はてなブックマーク

tl;dr; fluetndに流れているイベントをWeb UI上で確認できる fluent-plugin-event-sniffer というプラグインを書いた。 https://github.com/choplin/fluent-plugin-event-sniffer 概要 以前、コマンドラインからfluentdのイベントを見ることができる、 fluent-tailというツールを書いた んですが、Webアプリ版が欲しいという声がチラホラあったので作りました。 デモ

tl;dr; タイトルの通り。RHEL6系なのでCentOS6、ScientificLinux6なども該当。 Pramiko ansibleは各ホストとの接続にはsshと使います。この時、sshにはControlPersistという機能に対応していることが必要で、opensshならバージョン5.6以上が対象です。ansibleのデフォルトの動作では、PATH上のsshコマンドがControlPersistに対応していればsshを使い、そうでない場合はparamikoというpythonのsshライブラリが用いられるようになっています。 RHEL6系のopensshはバージョン5.3の為、何も設定せずに使うとparamikoが用いられます。 Paramikoが遅い ところがこのparamikoを用いたansibleの実行はかなり遅いです。どの程度遅いかは末尾を参照。特に台数が多い場合にその影響

はじめに 本エントリーは PostgreSQL Advent Calendar 2012 に参加しています。 本エントリーではWindow関数がどういうものか、SQLでどう表すかについて説明します。 Window関数とは？ SQLにはWindow関数と呼ばれる機能があります。SQL:2003で定義されており、PostgreSQLには8.4から導入されています。 Window関数がどういうものかというと、wikipediaを見ると次のように書いてあります。 SQL において、窓関数もしくはウィンドウ関数 (英: window function) は結果セットを 部分的に切り出した領域に集約関数を適用できる、拡張された SELECT ステートメントである。 窓関数 (SQL)) より引用 分かったような分からないような説明ですね。 確かに上の説明の通りではあるのですが、なぜ必要になるのかを順を

tl;dr タイトルのまま 前置き fluentdクラスタのあるノードにだけ、そのノードに送信しているout_forwardがdetachされ続けるという症状が出ました。 調査したところ、外部への通知用に追加したhipchatプラグインを追加したところで症状が発生するようです。 原因 BufferedOutputプラグインでの write メソッドでのスタックトレースはこんな風になります。 /home/choplin/git/fluentd/lib/fluent/buffer.rb:296:in `write_chunk' /home/choplin/git/fluentd/lib/fluent/buffer.rb:276:in `pop' /home/choplin/git/fluentd/lib/fluent/output.rb:309:in `try_flush' /home/cho

PostgreSQL Advent Calendar 2013 の7日目の記事です。 前回 は配列や複合型などの既存の型を組み合わせることができる型を紹介したので、今回はpostgresで非構造化データ型を3種類紹介します。 半構造化データ型 厳密に定義はないと思うのですが、本エントリでは厳密な定義を持たずに、内部に配列やハッシュなどの構造と、値を持つようなデータを指すこととします。 postgresではいくつか半構造化データのフォーマットを型として扱うことができます。 使いどころ RDBMSでは、あらかじめテーブル設計を行って、各テーブルにどの様な値が入るかを型や制約を用いてスキーマとして定義します。一般的にデータの寿命は長く、一旦データベースに意図しない値が入ってしまうと、後々に渡って非常に厄介な事態を引き起こします。そのため、そうした意図しないデータを、永続化される前に水際で食い止め

Hadoop Advent Calendar 2013 4日目の記事です tl;dr explainとjob historyを読め 1 reducerは悪 data skewは悪 前書き みんな大好きSQLでHadoop上での処理を実行できるHiveにはみなさん普段からお世話になっていることでしょう。ちょっと調べ物でググる度に目に入る愛らいしいマスコットが、荒んだ心に清涼な風をはこんでくれます。 ですがHiveのクエリ言語はSQLではなくHiveQLですし、実行エンジンもRDBのそれとは全く異なるMapReduceです。SQLのつもりでHiveQLを書いていると地雷を踏んでしまうことがまれによくあります。本エントリでは陥りがちなHiveQLの落とし穴を2つ紹介します。 例1 SELECT count(DISTINCT user_id) FROM access_log SQLに慣れた方であれ

Motivation PostgreSQLのテーブルのカラム情報などを取得する | ExiZ.org を読んで気になったのでコメントしておきます 結論 psqlで\d使おう。 元エントリのクエリ 基本的には問題ないのですが SELECT relname AS table_name FROM pg_stat_user_tables pg_stat というテーブルは標準統計情報ビューと呼ばれます。ざっくりと説明すると、PostgreSQLは自身がどう使われているかについての情報を収集する機能があり、統計情報ビューを通してその情報を見ることができます。 このクエリの pg_stat_user_tables というビューではユーザーが定義したテーブルへのアクセスの状況を見ることができます。例えば、テーブルの大体の行数を調べたい時には、 select count(*) で計算しなおすのではなくて、こ

概要 postgres 9.2で追加されたjson型に、今開発中の9.3で新たに演算子/関数が追加されることが予定されています。 この変更によって、JSON型の中の任意の値を取得することが可能になります。 ところで、postgresには以前からhstoreというキーバリューの形で構造化データを扱う拡張が存在します。 9.3で追加されたjson演算子と、hstoreでどの程度パフォーマンス差があるのか、極々簡単に計測してみました。 リファレンス json演算子/関数 PostgreSQL: Documentation: devel: JSON Functions and Operators hstore演算子/関数 PostgreSQL: Documentation: devel: hstore 準備 postgres 9.3のビルド まだリリースされてないのでmasterをビルド。hsto

Haskell Day 2012 「すごいHaskellたのしく学ぼう」の発売を記念して開催された Haskell Day 2012 に参加してきました。 発表の内容は入門から応用まで、笑いもあれば学術研究のガチ発表まで多岐に渡っており、まさにHaskell尽くしの一日でした。 感想 Haskellのイベントにも関わらず(と言っては失礼ですが)180人近くが集まる大規模なイベントでした。Haskellの存在感は日毎に増しているようです。 しかし、個人的な感触ですが、@Lost_dog_さんの発表にありましたが、Haskellは近頃の注目度に反して実用レベルのコードを書いている人はあまりいないように思います。(私が正にそうなのですが、、、) 今回の発表ではGlossやYesodのライブコーディングやPersistentの紹介、（私は理解できませんでしたが）学術的な利用など、実践に近い発表も多

PostgreSQLのログをfluentd経由で回収するようにしたので設定を晒しておきます。ほぼ同じ設定を使いまわせるはずなので、fluentd & postgresの組み合わせを使っている人はどうぞ。 PostgreSQL側 postgresql.conf postgresのログの設定はこんな感じ。 # csvlogを出力 logging_collector = on log_destination = 'csvlog,stderr' # 1日でローテーション log_rotation_age = 1440 # /var/log/pgsql/postgres-%Y%m%d.(log|csv)に出力 log_directory = '/var/log/pgsql/' log_filename = 'postgres-%Y%m%d.log' # modeを644に log_file_mode

型クラスについてつらつら考えていたことをまとめておきます。マサカリ歓迎。 型クラスって？ 型クラスとは一言でいうと。 アドホック多相 を実現するもの です。モから始まる名状し難いあれとは直接は関係ありません。 ではアドホック多相とは何かというと 異なる型の間で共通したインターフェースでの異なる振る舞いを 定義済みの型に対して拡張する ような多相のことです。 異なる型間での共通したインターフェースでの異なる振る舞い Javaの継承やインターフェース、Scalaのtraitを用いることで、異なる型間での共通したインターフェースを管理することができます。 trait SomeTrait { def someMethod(): String } class Foo extends SomeTrait { def someMethod(): String = "foo" } class Bar ex

fluentdのログ 流行に敏いみなさまは既にfluentdのクラスタを組まれているかと思います 1 が、fluentd自体のログはどうしてますでしょうか？ サーバーに直接入って確認している？せっかくログアグリゲーターを組んでいるのだから、fluentd自体のログもfluentdで管理しませんか。 fluentdでは以下の様な match を定義しておくと、自身のログをメッセージとして流すようになっています。 <match fluent.**> ... </match> 流れてくるメッセージはこんな感じ。 fluent.info: {"message":"force flushing buffered events"} fluent.warn: {"message":"emit transaction failed"} fluent.error: {"message":"forward e

monitor_agent fluentd v0.10.33 で in_monitor_agent が追加されました。 in_monitor_agent は次の様なsourceを定義しておくと ... <source> type monitor_agent bind 0.0.0.0 port 24220 </source> ... http経由で、各pluginの内部の状態を取得することができるようになります。 $ curl http://localhost:24220/api/plugins plugin_id:object:3f8747e35fa4 type:forward output_plugin:false plugin_id:object:3f8747e34c30 type:debug_agent output_plugin:false plugin_id:object:3f8

case classとコレクションを相互変換したいことがたまにあるので方法をまとめておきます。 もちろんやり方は一つではないので一例です。 準備 scala 2.9.2で確認 scala> case class Foo(i: Int, s: String) defined class Foo 変換方法 List Listにするのは簡単ですが、case classに戻すのはリフレクションが必須でasInstanceOfが頻発して嫌な感じですね。 productIteratorの段階で型情報が失われてしまうのが原因ではないかと思います。 ref: scala - Instantiating a case class from a list of parameters - Stack Overflow case class -> List scala> val l = f.productIter

Go Conference 2013 spring で A Tour of Go をやっているのでExcersiseの解答をメモ Goらしくかけているかは分からないのでコメント歓迎です #23 Loops and Functions package main import ( "fmt" "math" ) func Sqrt(x float64) float64 { z := 1.0 for diff := 1.0; math.Abs(diff) > 1e-10; { diff = ((math.Pow(z, 2) - x) / (2.0 * x)) z = z - diff } return z } func main() { fmt.Println(Sqrt(2)) fmt.Println(math.Sqrt(2)) } #35 Slices package main import "

Overview ちょっと草植えときますね型言語 Grass をSQLで実装しましたという話. Grassはλ計算をベースにした関数型プログラミング言語です.公式ページの仕様を元にSQL(PostgreSQL)で実装しました. 他Grassについては上記の公式ページとかここら辺を参照. プログラミング言語/Grass - プログラミングスレまとめ in VIP うはｗｗｗ Mosh で Grass 実装したｗｗｗｗ - Higepon’s blog - Mona OS and Mosh Example SELECT run_grass('wwWWwv wwwwWWWwwWwwWWWWWWwwwwWwwv wWWwwwWwwwwWwwwwwwWwwwwwwwww'); run_grass ----------- ww (1 row) SELECT run_grass('wWWWwwwwWWW