Download as PDF, PPTX
Uploaded byRecruit Lifestyle Co., Ltd.
CET(Capture EveryThing)プロジェクトにおけるﰀ機械学 習・データマイニング最前線
2016/2/4「ソフトウェアジャパン・ビッグデータ活用実務フォーラム」でのプレゼン資料です。
More Related Content
![[Track1-1] AIの売上予測を発注システムに組み込んだリンガーハットのデータ活用戦略](https://cdn.slidesharecdn.com/ss_thumbnails/datumstudiomitsuda-200819031400-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to CET(Capture EveryThing)プロジェクトにおけるﰀ機械学 習・データマイニング最前線
CET(Capture EveryThing)プロジェクトにおけるﰀ機械学 習・データマイニング最前線
- 1. ⼀一般社団法⼈人 情報処理理学会 SOFTWARE JAPAN 2016 ビッグデータ活⽤用実務フォーラム CET(Capture EveryThing)プロジェクトにおける 機械学習・データマイニング最前線 ⾼高柳柳慎⼀一 株式会社リクルートコミュニケーションズ ICTソリューション局アドテクノロジーサービス開発部 兼 株式会社リクルートライフスタイル ネットビジネス本部ディベロップメントデザインユニット アーキテクト2 兼 リーン開発グループ
- 2.
- 3. ⾃自⼰己紹介 • ⾼高柳柳慎⼀一 • 専⾨門：物理理学, 統計科学 • 経歴： – 2006: 北北海道⼤大学⼤大学院理理学研究科物理理学先⾏行行修⼠士卒 – 2006-‐‑‒2008: 某材料料系財団法⼈人 • 半導体試料料画像・測定装置スペクトルの解析ソフト開発 – 2008-‐‑‒2015: 某⾦金金融技術開発会社 • （俗にいう）クオンツ業務 – 2013:総合研究⼤大学院⼤大学複合科学研究科統計科学専攻博⼠士課程 – 2015:株式会社リクルートコミュニケーションズ・リクルートラ イフスタイル • サービス開発・データ分析/機械学習 3
- 4.
- 5.
- 6. リクルートコミュニケーションズの概要 6 • リクルートコミュニケーションズ – リクルートグループの機能会社 – 制作、流流通・宣伝、カスタマーサポート – デジタルマーケティング等の統括的な⽀支援 リクルートコミュニケーションズ メディア 制作 流流通・宣伝 カスタマー サポート サポート デジタル マーケティ ング
- 7.
- 8.
- 9. • リクルートライフスタイルの全サービス横 断で、リアルタイムにデータ（システムロ グ、ユーザの⾏行行動、在庫変動など）を収 集・分析するための基盤 • リアルタイムデータ分析に必要な処理理（収 集、加⼯工、集計、分析、可視化）を⼀一気通 貫で実施 • 少数精鋭なビジネス系メンバ、データサイ エンティスト、エンジニアでプロジェクト を推進 CETの概要・特徴 9�
- 10. • サービス・ビジネスに関するあらゆる情報 の変化（ユーザの⾏行行動、在庫量量の変動な ど）を、我々サービス提供者がリアルタイ ムに把握できていない • その結果、状況に応じて最適な施策を講じ ることができておらず、機会損失が発⽣生し ている CETが解決する課題 10� • リアルタイムなデータに対する適切切な処理理 を実施することで課題を解決
- 11. CETのログ収集システム構成 11� CET – Capture EveryThingサービス サービス 運⽤用者 機械学習 エンジニア データ 分析者 が 活⽤用 ELB Elasticsearch,Kibana BigQuery S3 APIELB Cloud Bigtable ＊GCP関連製品は技術検証中 Cloud Pub/Sub Cloud Dataproc,Apache Spark 計算結果を格納
- 12.
- 13. • Spark Streamingを使⽤用してウインドウ集計を 実施 • 定期的に直近のユーザ⾏行行動ログを集計し、宿 ページごとのUU数をリアルタイムに算出 ストリームデータ処理理事例例1 – じゃらん 13�
- 14. • Spark Streamingを使⽤用してログを定期的に集計 • 処理理時間が特定のしきい値を超えるログの件数を URLごとに集計し、結果をサービス運⽤用者へ通知 ストリームデータ処理理事例例2 – サービス共通 CET – Capture EveryThingサービス サービス 運⽤用者 ELB Cloud Pub/Sub Cloud Dataproc Apache Spark 14� Amazon SNS AWS Lambda メール Slack
- 15.
- 16.
- 17.
- 18.
- 19. CETのデータ分析環境(AET) 19 AWS S3 Elastic Search TreasureData RedShift Spark Notebook Docker ※⼀一部試験環境⽤用 AWS S3 Cloud Bigtable RUNDECK ※サーバ・バッチ起動管理理 Adhoc分析⽤用サーバ(EC2) Spark⽤用サーバ(EMR) Compute Engine ⾃自動 ロード バッチサーバ
- 20. 機械学習/データマイニングの流流れ • データの取得 – COLDデータ: 数億件のレコードをRedShift, TreasureDataで捌いて特徴量量抽出/⽣生成 – HOTデータ: CETのElastic Searchから取得 • 機械学習/データマイニングの実⾏行行 – 1,000万件程度度のレコードに対して実施 • 分析環境(AWS) – 基本的にはr3.2xlargeを複数⼈人で使⽤用 – 計算パワーが⾜足りないときは💰で殴る （インスタンスのグレードを上げる） • サービスへの展開 – BigTableに格納し、結果をAPI化 • バッチ処理理はRundeckで⼀一元管理理 • バッチサーバー構築はAnsible（絶賛作業中） 20
- 21.
- 22.
- 23.
- 24.
- 25.
- 26. • 在庫変動データに基づいた、在庫売り切切れ予測 • 予約が急激⼊入り始める時点の予測 • 多腕バンディットアルゴリズムを活⽤用した配信 • ディスプレイ広告配信の最適化 • リアルタイム異異常検知 今後対応を検討していること 26�
- 27.
- 28.
- 29.
- 30.
- 31.
- 32.
- 33. • SparkRをEC2上で動かして分散処理理して みる | Tech Blog | リクルートライフスタ イル RECRUIT LIFESTYLE http://engineer.recruit-‐‑‒lifestyle.co.jp/ techblog/2015-‐‑‒08-‐‑‒19-‐‑‒sparkr/ • 第4回 ［データ分析編］“制約なし”で⼤大 規模データ分析基盤を構築：リクルートラ イフスタイルの技術⼒力力を追え！｜gihyo.jp … 技術評論論社 http://gihyo.jp/dev/serial/01/recruit-‐‑‒ lifestyle/0004 （補⾜足）関連資料料 1/3 33�
- 34. • リクルートライフスタイル全サービス横断 のリアルタイムログ収集・可視化・分析基 盤@JAWS-‐‑‒UG Meguro #2 http://www.slideshare.net/ RecruitLifestyle/ss-‐‑‒53400381 • 「ビッグデータは“リアルタイム”でこそ価 値がある」CETエンジニア 吉⽥田啓⼆二⽒氏イ ンタビュー | Tech Blog | リクルートライ フスタイル RECRUIT LIFESTYLE http://engineer.recruit-‐‑‒lifestyle.co.jp/ techblog/2015-‐‑‒11-‐‑‒02-‐‑‒yoshida-‐‑‒ interview-‐‑‒1/ （補⾜足）関連資料料 2/3 34�
- 35.