Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
自分のところでは、社内の様々なログをfluentdで集めているのだけど、それらをElasticsearchに入れて、Kibanaで見えるようした話を書いてみる. Fluentd, Elasticsearch, Kibanaな組み合わせは既に多くの人が使ってるし、ブログ等の記事も沢山ある. けど、いくつか 引っ掛かった点などもあるので、それらを書き留めて置こうと思う. 要件 fluentdでストリームで集めてるログを、リアルタイムに近い鮮度でKibanaで見たい. 見たい、というのは検索したり、集計・可視化したり、ということ Kibanaでは短期(2日とか)のログが見えれば良い 規模感的には、ログの種類(=fluentdのtag数)が200くらい、流量はピークで2万メッセージ/秒くらい. が、実際には最も流量の多いログは除いたので、この半分〜3分の1くらいの流量 10shard/index
最近遅ればせながら光の戦士になった増田です。サボり癖がなかなか直りません。 さて、この度 Elasticsearch と Kibana の社内事例を作ることが出来ましたので、興奮のあまりお伝えします。 ずっと導入したかった 2014 年 3 月に中途で入社して以降、導入したかったものの 1 つが Elasticsearch でした。個人ではすでに導入しており、効果を実感できていたためです。 その前段である fluentd の社内初事例が 2015 年 4 月のこちらの記事。気がつけば社内の他のプロジェクトにも導入が進んでいました。 ElastiCacheをCloudWatch+fluentd+Zabbixで監視する | feedforce Engineers' blog ところで私は先月から DF PLUS というサービスにフルコミットし、主にエラー管理やログ基盤などを整備しています。 エ
fluentdを使う時にまず知っておいたほうがよさそうなこと はじめに 朝からElasticsearchへのデータの投げ込み方を考えていました。 データベースやメッセージキューなどにデータを投げ込んでおいて、ニアリアルなバッチでElasticsearchに投げ込むよりも、fluentdを使う方が圧倒的に簡単で信頼性が高いものができますね。自分で作りこむのがバカらしくなりますね。 ということで、fluentd利用時に気を付けておきたいことについて調べてみました。内容は公式ドキュメントの内容をベースに自身で調べたことを追記しています。公式ドキュメントへのリンクも貼ってありますので適宜そちらをご覧いただければと。 環境 CentOS6.7 td-agent 0.12.19 Ruby2.2.2（リストアスクリプトで利用） Fluent-Logger(0.5.1) Elasticsearch2.1.
複雑な設定はありません．デフォルトで0.0.0.0:5044で起動し，topbeat，packetbeat，filebeatすべてのイベントを受け付けます．この設定だと固定タグですが，tagの代わりにmetadata_as_tagを設定すると，各イベントが持っているメタデータの設定を使うようになり，topbeatならtopbeatというタグが付くようになります．以下の"Elasticsearchに投げる設定例"を参照してください． filebeatが送ってくるイベントにはログそのものが含まれているので，これをbeatsプラグインの中でパースしたい場合には，in_tailのようにformatを指定すれば処理してくれるようになります． その他書いてない設定に関してはREADMEの設定セクションを参照してください． Elasticsearchに投げる設定例 各beatはlogstashのインデッ
目次 1. まえがき 2. pairsとシステム 3. kibana サンプルシステム構築 3.1 サンプルのサーバー構成例 3.2 fluentd 3.3 Elasticsearch 3.4 kibana 4. kibanaを使う 5. エウレカでの実際の活用事例 6. 〜終章〜 1. まえがき 1.1 対象者 気軽にデータ収集をしたいと思っている開発者 基本的なLinuxコマンドの理解がある方 1.2 この記事を読んで分かること fluentd x Elasticsearch x kibana を用いたアクセスログの収集・計測方法 pairsのシステム概要 私の好きなアニメ pairs高速化チーム 1.3 この記事を読んでも分からないこと 本格的な統計解析 恋人の作り方 1.4 自己紹介 はじめまして。サービス事業部の森川と申します。 エウレカには今年のはじめ頃にJoinしました。 エ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
