なんとなくログをTreasureDataに突っ込み始めると、開始時期のデータが不完全な状態になっちゃいます。 というわけで『過去ログのアップも含めて、もれなくデータを突っ込むにはどうしたらいいのか』ということです！ 今回はこういう手順でやってみました。 …

前置きです。 IT界隈の人とHadoopの話をするとこういうギャップを感じます。 Hadoop使ってみたいところ >>> 実際に使っているところ みんな どう使って、どう収益に結びつけるか 設計、サーバ購入、構築、運用などなどの技術的コスト とか考え始めて止まっち…

ログの解析は日時でscpでかき集めてバッチ集計してるんだけど リアルタイムで集計したい もっと柔軟に集計したい という人は多いんじゃないでしょうか。 リアルタイム収集はFluentdを使えばいけそうですが、集計部分を柔軟にというとどうだろう。 CookpadやA…