はてなブックマーク

こんにちは、こちらはTreasure Data Advent Calendar 9日目の記事です。 今回は、TDを利用する際に行っている簡単な監視について紹介いたします。 背景 SQLに慣れているエンジニア以外の人たちにもTDの利用を解放すると、どうしても効率的でないクエリが投げられてしまうことがあります。そうしたクエリがたくさん投げられてしまうと、計算リソースを消費してしまいTDとはいえジョブの実行が滞ってしまうことがあります。そうなるとログを集計したいと考えている人たちの作業が滞ってしまいます。そのため、TD上で現在実行中のジョブの監視をしています。 以下では、具体的な監視内容を紹介いたします。 全体的なジョブ数の監視 どのくらいジョブが実行されているかざっくりと知るために、10分置きに現在実行中のジョブ数を表示しています。スクリプトで実行して集計はしていますが意味合い的には を行って

こんにちは、こちらはFluentd Advent Calendar 6日目の記事となります。 このところBufferedOutput系のpluginのoptionについて質問されることが多かったので、せっかくですのでつらつらとここで紹介していこうかなと思います。なお、コードはfluentd v0.10.55です。 optionの挙動を把握するためにまずはfluentdが受け取ったレコードをどう処理していくのかを紹介し、その後fluentdの処理方法を踏まえて各optionを紹介していきます。 レコードの流れ はじめに、レコードを受け取ってからどう処理されてoutputされていくか簡単にレコードの処理を順を追って紹介いたします。 ① レコードを受け取りbufferingする input pluginがレコードを受け取ると、Engineを介してそのレコードのtagにマッチするoutput pl

グラフ表示ツールGrowthForecastのRuby実装版であるFocuslightがリリースされたということで、さっそく使ってみました。 インストール FocuslightのREADMEのInstallationに従って作業を行います。 環境 手元にあったvagrantのboxを適当に選んで、そこにFocuslightを構築しました。 Ubuntu 13.04 事前準備 FocuslightはRuby2.0以上を必要とするとのことなので、Ruby2.0以上の環境を用意しておきます。 加えて、RRDTool and its dependencies must be installed before installing Focuslight. とのことなので、RRDToolをインストールしておきます。

こんにちは、こちらはFluentd Advent Calendar 19日目の記事となります。 fluentdの動作を確認するときやpluginのデバッグをする時などに、print文を埋め込んだりしていましたが、ふとしたきっかけでtd-agentパッケージに「 fluent-debug 」なるものが同梱されていることを知りました。さっそく使ってみようと思いましたが、これに関する記事がほとんど出てきませんでした...。 というわけで、せっかくなので今回はfluent-debugを触ってみた話をしたいと思います。 fluent-debugとは 実行中のfluentdに対してgdbのように、アタッチして内部をごにょごにょできるツールで、 fluentdの公式ドキュメント にも記載されています。内部では dRuby を使っており、 DRbObject と DRbServer を利用することでflu