fluentdでHBaseに送り込んだログをImpala or Hiveで集計
fluentdでnginxのログをHBaseとHDFSに送り込み、それぞれHive or Impalaで集計かけてみた。
View ArticleImpalaでJSONデータを扱えるのかどうか
前回までの投稿でfluentdからHBaseに送り込んだnginxのログデータにクエリをかけてみる、なんてのをやったが、HDFSに直に置いたJSONデータをHiveやImpalaでどう処理するか、という話。
View Articlefluentd + elasticsearch_headでお手軽ログ解析
前回投稿で導入したelasticsearch_headをreal worldに近い形で試してみたかったので、fluentdからElasticSerchにapacheのログを送り込んでみた。
View Articlefluentd + elasticsearch + Kibanaでログのヴィジュアル化
fluentd + elasticserch_head 検証の次に、Kibanaも導入してみた。Kibanaはelasticsearchからログの情報を引き出してGUIでヴィジュアライゼーションを実現してくれる、オープンソースのツール。Kibana2まではrubyで、最新のKibana3はHTML + JavaScriptで実装とのこと。
View ArticleApacheのログ + fluentd + ElastiCache for Redis
AWSのElastiCacheでRedisがサポート開始されて無料枠内で使用できるというので試してみた（実は無料期間がもうすぐ終わってしまうので駆け込みで）。かつ、ログをRedisに放り込めるfluentdのプラグインがあるので一緒に使ってみる。
View ArticleApacheログ + fluentd + Splunk Stormやってみる
一部巷で人気のビジュアライゼーションツール Splunkを使ってみた。Splunkはインストール版とクラウドサービス版があり、今回はクラウド版のSplunk Stormを試してみた。StormはTwitterが開発したストリームエンジン。旬なもの同士で結構ときめく組み合わせですw
View ArticleFluentd Fowarder -> Fluentd Collector -> Elasticsearchの設定
みんなやってるFluentd。Fowarder/Collectorノードの設定例なんてここに書くまでもないんだが、Flumeでやる場合との違いとか、自分の頭を整理しておきたかったのでメモしておく。
View ArticleFlume, FluentdのName node HA対応
ログ収集プロダクトの送信先がHadoop HDFSの場合、最近ではHA構成にするケースも多いはず。クライアント側から見るとName nodeが1台なら特に詰まるところもないが、HAになると「あれ、ここはどうするんだっけ」となったりするので Flume/Fluentdでそれぞれの設定例を書いておく。
View ArticleFluentd + MongoDB + Zoomdataでログデータ可視化
一応日本国内で、100名程度はその名を知っているであろう、ビジュアライゼーションツールのZoomdata。割と最近そのZoomdataがMongoDBの入力ソースに対応したので、Fluentd + MongoDB + Zoomdataでログ可視化やってみた。
View Article
