こんにちは、リブセンスで統計や機械学習関係の仕事をしている北原です。今回は階層ベイズを使った小技の紹介です。推定にはStanを使います。 Webサービスに限らないかもしれませんが、CVRやCTRなど比率データを扱うことって多いですよね。弊社の求人サービスは成果報酬型であるため、各求人の採用率などを知りたいこともよくあります。しかし、求人別だとバイト求人や転職求人の応募数はそれほど多くないので、採用数を応募数で単純に割っただけでは極端な採用率になりがちです。今回は、このような分母の値が小さい比率のデータを、階層ベイズを使って計算する方法を紹介します。 応募数が少ないときの採用率計算の問題 まず、応募数が少ない求人の採用率計算が必要な理由と、このようなサンプルサイズが小さいデータの比率計算の問題について説明します。 その問題をふまえて、今回どのような推定を行いたいかを説明します。 弊社の成果報
Google Data Studio (データスタジオ) という可視化サービスがベータ版で使えるようになっていたので試してみた 見たい数値を一覧するためのダッシュボード的なものを作るためのサービスなので、いろんな場所からデータを取ってきて一箇所でまとめて確認するのが用途っぽい(今のところ似たようなサービス・ツールの方が機能が多そう データソース データソースとしてGoogle AnalyticsやBigQuery、Google Spreadsheet、MySQLなどを選んでデータを取ってこれる データソースを選んでGUIでグラフやテキストを配置していく データの既存のフィールドに関数を適用した結果の値を使うこともできる 使える関数のリスト 下の画像ではGoogle Analyticsの「ブラウザ」(Chrome, Firefoxなど)と「ブラウザのバージョン」(バージョンの番号)をCONC
こんにちは @shin0higuchiです！ 先日、恵比寿にて開催されたData Analytics Showcaseにて、私と弊社の@tereka114が登壇してきました。 www.db-tech-showcase.com それぞれ、次のテーマで発表しました。 @shin0higuchi：ビッグデータを高速に検索・分析する「Elasticsearch」～新プラグイン「Graph」を用いた販売データの関連分析～ @tereka114：デジタルデータの可視化基盤「ENdoSnipe」を使った、システムトラブルの未然防止、経営判断につながる可視化の実践 ビッグデータを高速に検索・分析する「Elasticsearch」～新プラグイン「Graph」を用いた販売データの関連分析～ 私(@shin0higuchi)は、人気急上昇中の全文検索エンジンElasticsearchの機能を利用したデータ分析に
こんにちは、ベガルタ仙台サポーターのCSMです。 本職は (たぶん) サーバ/インフラエンジニアです。 ※ CSM: 認定スクラムマスター 私はプリ画像というサービスを運営するコミュニティ事業部にインフラ・運用担当として所属しているのですが、今回はこのプリ画像ユーザの継続要因を決定木分析で調べてみたお話をします。 経緯部内のチャットツールで下記のような課題が挙がっていました。 施策を考える上で、継続率が高いユーザはなぜ継続率が高いのか知りたい 各アクションの日次件数は取れているが、そのアクションをしたユーザーの継続率の変化を追えてないので追う何回やれば継続率が高いのか、集計できないか検索1回だけだと継続率低いけど、5回やれば高い！とかがわかれば、より具体的なアプローチができそう例) Facebookは初日に友達７人以上と繋がると、その後の継続率がかなり高くなるよくある課題だと思います。 こ
データを扱うときに、きちんと定められたワークフローがあると助かります。具体的には、「ストーリーを伝える」（データの可視化／ジャーナリズム）ことだけを目的として分析を行いたいのか、それとも一定のタスク（データマイニング）をモデリングするためにデータに依存するシステムを構築することが目的なのか、プロセスが重要です。前もって方法論を定めておくことによって、チームの足並みが揃い、次に何をすべきか考え出そうとして無駄な時間を費やさなくて済みます。それによって早く結果が得られ、資料の公表も早くなります。 これを念頭に、Ashley Madisonの漏洩データ分析に関する 前回の記事 に続いて、私たちが現在使用しているワークフローをご紹介します。このワークフローは、データ漏洩（Ashleyのケースなど）を分析するためだけでなく、社内のデータの分析にも使用されます。ただし、重要な点として、このワークフロー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
