MapR Hadoop M7
in CyberAgent AdTech Studio
2016 April 4th
CyberAgent, Inc. All Rights Reserved
自己紹介
Ken Takao
株式会社サイバーエージェント
アドテク本部 技術戦略部 技術戦略室
Central Infrastructure Agency
Infra Manager
アドテク本部の技術ボードメンバー
として分析基盤の構築や推進を行ってます。
サイバーエージェントとは?
OUR VISION
当社は1998年の創業以来、インターネットを軸に事業を展開し、
現在では当社の代表的なサービスである「Ameba」をはじめ、ス
マートフォン向けに多数のコミュニティサービスやゲームを提供
しています。2011年よりスマートフォン事業へ経営資産を大きく
シフトし、2014年9月期には売上高の約7割がスマートフォン事
業に転換。変化対応力を強みに事業拡大を続けております。
Ameba事業は、先行投資期から収穫期に移行。インターネット
広告事業においては、スマートフォン広告市場の約3割を取り扱
い、インターネット広 告 市 場 国 内ナンバーワンのシェアを拡 大
し、アドテクノロジー分野や動画広告など、新しい広告手法にも
積極的に取り組んでおります。2009年から展開するゲーム事業
においても、ネイティブゲームにて複数本のヒットタイトルが出る
など、国内有数のゲーム事業へ成長いたしました。
タイトル TITLE
タイトル TITLE
アドテクスタジオとは?
MapR Hadoop M7 in CyberAgent AdTech Studio
MapR Hadoop M7 in CyberAgent AdTech Studio
MapR Hadoop M7 in CyberAgent AdTech Studio
200名以上の
エンジニア
20以上の
広告システム
1000台以上の
物理サーバー GCP,AWS,
IDCF Cloudなど
マルチクラウド
10PB以上の
データ基盤
数百TBの
データ
ウェアハウス
Hadoop Platform
in AdTech Studio
アドテクスタジオのHadoop
現在10以上のHadoopクラスターが存在
・広告のレポート集計基盤
・アドホックなデータ分析
・巨大データストレージ
アドテクならではの要件
・想定容量10PB
・レイテンシー5ms以内
・構築期間2カ月
アドテクならではの要件
・想定容量10PB
クラウドだと2TBのディスクが24本のるサーバーが625台必要
・レイテンシー5ms以内
HBaseだとGCのタイミングでレイテンシー悪化
・構築期間2カ月
検証や構築、運用テストなど行うとギリギリ。
購入したサーバー
HP ProLiant
SL4540 Gen8
なんとDiskが60本搭載可能
1台あたり0.36PB(6TBx60本)
大量に購入
10PB!
トピック
高密度型サーバーを活用し、
容量を確保する一方でコストを削減
高密度型サーバーを使い切る
MAPRのパフォーマンス
IOが高速化すればするほど
伸びるパフォーマンス
MAPR HadoopとDWHの連携
グデータなど大規模な
データ量のファイルを
MAPR-FSに集約。
DWHでMAPR-FSを
POSIX CLIENTでマウ
ントし、超高速にデータ
をインポートし、必要な
時だけデータを入れて
集計
DWHでデータを読み込むときの
MAPR Hadoop側の転送スピード
Result
・約1TBのデータを30分程度でHadoopからDWHにIMPORT。
超高速なデータ集計基盤に!
・MAPR-FSではNFSでのマウントが可能となり、データのログ転送
回りのフローが大幅に簡略化!
・ただのストレージではなく、Hadoopコマンドが利用可能!
・ストレージ容量が10PBなので、今までデータ量を気にして消して
いたファイルも気兼ねなく保存し続けることが可能に。
・これによりデータを活用して配信に活用するスパンが短くなり、広
告効果が向上。
今後の展望
今後の展望
・アドテクにはリアルタイム性が必要
・より新しいデータをリアルタイムに活用したい
・コンバージド・データ・プラットフォームとして
機能追加された「MapR Streams」の活用を
検討中
Next Level
Project Ganesha
共通Hadoopクラスタと
それを取り巻くデータ処理環境を構築予定
ターゲット
 -個々に管理していたHadoopクラスタを集約することで
  リソースの効率化を行う
 -遊休リソースを分析業務に再分配
Project Ganeshaの全体像
Matrix
各システム
ストリーミング基盤
ログ
データ基盤

More Related Content

PDF
Google big query × Amazon redshift
PDF
10分でわかるサイバーエージェント広告部門のハイブリッドクラウド環境 公開用
PPTX
F.O.Xを支える技術
PDF
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
PDF
Ironicを運用して半年が経過しました - OpenStack最新情報セミナー(2016年7月)
PDF
How to work Tableau x Google Cloud Platform in CyberAgent AdTech Studio
PDF
広告におけるビッグデータの分析事例
PDF
AbemaTV Developer Conference 2016
Google big query × Amazon redshift
10分でわかるサイバーエージェント広告部門のハイブリッドクラウド環境 公開用
F.O.Xを支える技術
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
Ironicを運用して半年が経過しました - OpenStack最新情報セミナー(2016年7月)
How to work Tableau x Google Cloud Platform in CyberAgent AdTech Studio
広告におけるビッグデータの分析事例
AbemaTV Developer Conference 2016

What's hot (20)

PDF
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
PDF
データにまつわるWeb業界の仕事について
PDF
株式会社サイバーエージェント アドテクスタジオの技術と開発
PPTX
ハイブリッドクラウドで変わるインフラストラクチャ設計
PDF
モバイルファーストで業務効率化! ローカルデータベースが作業員を救う!
PPTX
クラウドの積極的利活用による生産性向上と経営に寄与する仕組みづくり
PDF
探検隊長が語るSoftLayerデザインパターン
PDF
TwilioJP-UG 大阪 第0回 「IoTな時代に向けて クラウドサービスで電話を使いたおそう」クロージング
PPTX
SAP Cloud Platform から Microsoft Azure サービス利用は便利だった
PDF
自治体Web service 021114
PPTX
Fiori 使わないと未来はない、SAPGUI撲滅キャンペーン
PPTX
ついに登場SAP Data Warehouse Cloud
PDF
Basis必見!次世代型ランドスケープ管理ツール「SAP LaMa」の威力
PDF
【SoftLayer事例】V-CUBE ミーティングを支えるSoftLayer
PDF
Mobile cloudnight 2015/11/11
PDF
行ってみよう、やってみよう!
PDF
Kymaではじめるマイクロサービスなサーバレス開発
PPTX
アナザーエデンを支える技術〜効率的なコンテンツ制作のための開発基盤〜
PPTX
StrongLoopでサクっと始めるAPIエコノミー
PDF
サイオステクノロジー
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
データにまつわるWeb業界の仕事について
株式会社サイバーエージェント アドテクスタジオの技術と開発
ハイブリッドクラウドで変わるインフラストラクチャ設計
モバイルファーストで業務効率化! ローカルデータベースが作業員を救う!
クラウドの積極的利活用による生産性向上と経営に寄与する仕組みづくり
探検隊長が語るSoftLayerデザインパターン
TwilioJP-UG 大阪 第0回 「IoTな時代に向けて クラウドサービスで電話を使いたおそう」クロージング
SAP Cloud Platform から Microsoft Azure サービス利用は便利だった
自治体Web service 021114
Fiori 使わないと未来はない、SAPGUI撲滅キャンペーン
ついに登場SAP Data Warehouse Cloud
Basis必見!次世代型ランドスケープ管理ツール「SAP LaMa」の威力
【SoftLayer事例】V-CUBE ミーティングを支えるSoftLayer
Mobile cloudnight 2015/11/11
行ってみよう、やってみよう!
Kymaではじめるマイクロサービスなサーバレス開発
アナザーエデンを支える技術〜効率的なコンテンツ制作のための開発基盤〜
StrongLoopでサクっと始めるAPIエコノミー
サイオステクノロジー
Ad

Viewers also liked (6)

PDF
How Do Newcomers Blend into a Group?: Study on a Social Network Game
PDF
サラリーマンのための計算社会科学
PDF
ソーシャル系Webサービスのデータを用いた社会科学 資料
PDF
社会関係の強さに基づく社会的グルーミング戦略の適応性
PDF
データファースト開発
PDF
Amebaにおけるレコメンデーションシステムの紹介
How Do Newcomers Blend into a Group?: Study on a Social Network Game
サラリーマンのための計算社会科学
ソーシャル系Webサービスのデータを用いた社会科学 資料
社会関係の強さに基づく社会的グルーミング戦略の適応性
データファースト開発
Amebaにおけるレコメンデーションシステムの紹介
Ad

Similar to MapR Hadoop M7 in CyberAgent AdTech Studio (6)

PDF
20130313 OSCA Hadoopセミナー
PDF
Our recent activities on cybersecurity researches using AI (Nov. 20, 2020)
PPTX
Amebaソーシャルゲームにおけるr活用の体制と事例のご紹介
PDF
aws seminer_so-net_public
PPTX
(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境
20130313 OSCA Hadoopセミナー
Our recent activities on cybersecurity researches using AI (Nov. 20, 2020)
Amebaソーシャルゲームにおけるr活用の体制と事例のご紹介
aws seminer_so-net_public
(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境

MapR Hadoop M7 in CyberAgent AdTech Studio