Upload
Download free for 30 days
Login
Submit Search
MapR Hadoop M7 in CyberAgent AdTech Studio
2 likes
4,197 views
Ken Takao
サイバーエージェントアドテクスタジオで利用しているHadoop基盤「MapR M7」の利用事例について話した時の資料です。
Technology
Read more
1 of 28
Download now
Download to read offline
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
More Related Content
PDF
Google big query × Amazon redshift
Fumihide Nario
PDF
10分でわかるサイバーエージェント広告部門のハイブリッドクラウド環境 公開用
Ken Takao
PPTX
F.O.Xを支える技術
Yuto Suzuki
PDF
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
Insight Technology, Inc.
PDF
Ironicを運用して半年が経過しました - OpenStack最新情報セミナー(2016年7月)
VirtualTech Japan Inc.
PDF
How to work Tableau x Google Cloud Platform in CyberAgent AdTech Studio
Ken Takao
PDF
広告におけるビッグデータの分析事例
Ken Takao
PDF
AbemaTV Developer Conference 2016
康洋 板敷
Google big query × Amazon redshift
Fumihide Nario
10分でわかるサイバーエージェント広告部門のハイブリッドクラウド環境 公開用
Ken Takao
F.O.Xを支える技術
Yuto Suzuki
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
Insight Technology, Inc.
Ironicを運用して半年が経過しました - OpenStack最新情報セミナー(2016年7月)
VirtualTech Japan Inc.
How to work Tableau x Google Cloud Platform in CyberAgent AdTech Studio
Ken Takao
広告におけるビッグデータの分析事例
Ken Takao
AbemaTV Developer Conference 2016
康洋 板敷
What's hot
(20)
PDF
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
Yahoo!デベロッパーネットワーク
PDF
データにまつわるWeb業界の仕事について
Masanori Takano
PDF
株式会社サイバーエージェント アドテクスタジオの技術と開発
Naoyuki Yamada
PPTX
ハイブリッドクラウドで変わるインフラストラクチャ設計
gree_tech
PDF
モバイルファーストで業務効率化! ローカルデータベースが作業員を救う!
kitsugi
PPTX
クラウドの積極的利活用による生産性向上と経営に寄与する仕組みづくり
gree_tech
PDF
探検隊長が語るSoftLayerデザインパターン
Maho Takara
PDF
TwilioJP-UG 大阪 第0回 「IoTな時代に向けて クラウドサービスで電話を使いたおそう」クロージング
Hiroyuki Hiki
PPTX
SAP Cloud Platform から Microsoft Azureサービス利用は便利だった
Masayuki Sekihara
PDF
自治体Web service 021114
伸夫 森本
PPTX
Fiori 使わないと未来はない、SAPGUI撲滅キャンペーン
Masayuki Sekihara
PPTX
ついに登場SAP Data Warehouse Cloud
Masayuki Sekihara
PDF
Basis必見!次世代型ランドスケープ管理ツール「SAP LaMa」の威力
Masayuki Sekihara
PDF
【SoftLayer事例】V-CUBE ミーティングを支えるSoftLayer
softlayerjp
PDF
Mobile cloudnight 2015/11/11
YUSUKE MORIZUMI
PDF
行ってみよう、やってみよう!
gree_tech
PDF
Kymaではじめるマイクロサービスなサーバレス開発
Shunichiro Yamamoto
PPTX
アナザーエデンを支える技術〜効率的なコンテンツ制作のための開発基盤〜
gree_tech
PPTX
StrongLoopでサクっと始めるAPIエコノミー
YUSUKE MORIZUMI
PDF
サイオステクノロジー
Nihei Tsukasa
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
Yahoo!デベロッパーネットワーク
データにまつわるWeb業界の仕事について
Masanori Takano
株式会社サイバーエージェント アドテクスタジオの技術と開発
Naoyuki Yamada
ハイブリッドクラウドで変わるインフラストラクチャ設計
gree_tech
モバイルファーストで業務効率化! ローカルデータベースが作業員を救う!
kitsugi
クラウドの積極的利活用による生産性向上と経営に寄与する仕組みづくり
gree_tech
探検隊長が語るSoftLayerデザインパターン
Maho Takara
TwilioJP-UG 大阪 第0回 「IoTな時代に向けて クラウドサービスで電話を使いたおそう」クロージング
Hiroyuki Hiki
SAP Cloud Platform から Microsoft Azureサービス利用は便利だった
Masayuki Sekihara
自治体Web service 021114
伸夫 森本
Fiori 使わないと未来はない、SAPGUI撲滅キャンペーン
Masayuki Sekihara
ついに登場SAP Data Warehouse Cloud
Masayuki Sekihara
Basis必見!次世代型ランドスケープ管理ツール「SAP LaMa」の威力
Masayuki Sekihara
【SoftLayer事例】V-CUBE ミーティングを支えるSoftLayer
softlayerjp
Mobile cloudnight 2015/11/11
YUSUKE MORIZUMI
行ってみよう、やってみよう!
gree_tech
Kymaではじめるマイクロサービスなサーバレス開発
Shunichiro Yamamoto
アナザーエデンを支える技術〜効率的なコンテンツ制作のための開発基盤〜
gree_tech
StrongLoopでサクっと始めるAPIエコノミー
YUSUKE MORIZUMI
サイオステクノロジー
Nihei Tsukasa
Ad
Viewers also liked
(6)
PDF
How Do Newcomers Blend into a Group?: Study on a Social Network Game
Masanori Takano
PDF
サラリーマンのための計算社会科学
Masanori Takano
PDF
ソーシャル系Webサービスのデータを用いた社会科学 資料
Masanori Takano
PDF
社会関係の強さに基づく社会的グルーミング戦略の適応性
Masanori Takano
PDF
データファースト開発
Katsunori Kanda
PDF
Amebaにおけるレコメンデーションシステムの紹介
cyberagent
How Do Newcomers Blend into a Group?: Study on a Social Network Game
Masanori Takano
サラリーマンのための計算社会科学
Masanori Takano
ソーシャル系Webサービスのデータを用いた社会科学 資料
Masanori Takano
社会関係の強さに基づく社会的グルーミング戦略の適応性
Masanori Takano
データファースト開発
Katsunori Kanda
Amebaにおけるレコメンデーションシステムの紹介
cyberagent
Ad
Similar to MapR Hadoop M7 in CyberAgent AdTech Studio
(6)
PDF
20130313 OSCA Hadoopセミナー
Ichiro Fukuda
PDF
Our recent activities on cybersecurity researches using AI (Nov. 20, 2020)
Takeshi Takahashi
PPTX
Amebaソーシャルゲームにおけるr活用の体制と事例のご紹介
Masanori Takano
PDF
aws seminer_so-net_public
awsadovantageseminar
PDF
So net
awsadvantageseminar
PPTX
(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境
Mitsutoshi Kiuchi
20130313 OSCA Hadoopセミナー
Ichiro Fukuda
Our recent activities on cybersecurity researches using AI (Nov. 20, 2020)
Takeshi Takahashi
Amebaソーシャルゲームにおけるr活用の体制と事例のご紹介
Masanori Takano
aws seminer_so-net_public
awsadovantageseminar
So net
awsadvantageseminar
(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境
Mitsutoshi Kiuchi
MapR Hadoop M7 in CyberAgent AdTech Studio
1.
MapR Hadoop M7 in
CyberAgent AdTech Studio 2016 April 4th CyberAgent, Inc. All Rights Reserved
2.
自己紹介
3.
Ken Takao 株式会社サイバーエージェント アドテク本部 技術戦略部 技術戦略室 Central Infrastructure
Agency Infra Manager アドテク本部の技術ボードメンバー として分析基盤の構築や推進を行ってます。
4.
サイバーエージェントとは?
5.
OUR VISION 当社は1998年の創業以来、インターネットを軸に事業を展開し、 現在では当社の代表的なサービスである「Ameba」をはじめ、ス マートフォン向けに多数のコミュニティサービスやゲームを提供 しています。2011年よりスマートフォン事業へ経営資産を大きく シフトし、2014年9月期には売上高の約7割がスマートフォン事 業に転換。変化対応力を強みに事業拡大を続けております。 Ameba事業は、先行投資期から収穫期に移行。インターネット 広告事業においては、スマートフォン広告市場の約3割を取り扱 い、インターネット広 告
市 場 国 内ナンバーワンのシェアを拡 大 し、アドテクノロジー分野や動画広告など、新しい広告手法にも 積極的に取り組んでおります。2009年から展開するゲーム事業 においても、ネイティブゲームにて複数本のヒットタイトルが出る など、国内有数のゲーム事業へ成長いたしました。
6.
タイトル TITLE
7.
タイトル TITLE
8.
アドテクスタジオとは?
12.
200名以上の エンジニア 20以上の 広告システム 1000台以上の 物理サーバー GCP,AWS, IDCF Cloudなど マルチクラウド 10PB以上の データ基盤 数百TBの データ ウェアハウス
13.
Hadoop Platform in AdTech
Studio
14.
アドテクスタジオのHadoop 現在10以上のHadoopクラスターが存在 ・広告のレポート集計基盤 ・アドホックなデータ分析 ・巨大データストレージ
15.
アドテクならではの要件 ・想定容量10PB ・レイテンシー5ms以内 ・構築期間2カ月
16.
アドテクならではの要件 ・想定容量10PB クラウドだと2TBのディスクが24本のるサーバーが625台必要 ・レイテンシー5ms以内 HBaseだとGCのタイミングでレイテンシー悪化 ・構築期間2カ月 検証や構築、運用テストなど行うとギリギリ。
17.
購入したサーバー HP ProLiant SL4540 Gen8
18.
なんとDiskが60本搭載可能 1台あたり0.36PB(6TBx60本)
19.
大量に購入 10PB!
20.
トピック 高密度型サーバーを活用し、 容量を確保する一方でコストを削減 高密度型サーバーを使い切る MAPRのパフォーマンス IOが高速化すればするほど 伸びるパフォーマンス
21.
MAPR HadoopとDWHの連携 グデータなど大規模な データ量のファイルを MAPR-FSに集約。 DWHでMAPR-FSを POSIX CLIENTでマウ ントし、超高速にデータ をインポートし、必要な 時だけデータを入れて 集計
22.
DWHでデータを読み込むときの MAPR Hadoop側の転送スピード
23.
Result ・約1TBのデータを30分程度でHadoopからDWHにIMPORT。 超高速なデータ集計基盤に! ・MAPR-FSではNFSでのマウントが可能となり、データのログ転送 回りのフローが大幅に簡略化! ・ただのストレージではなく、Hadoopコマンドが利用可能! ・ストレージ容量が10PBなので、今までデータ量を気にして消して いたファイルも気兼ねなく保存し続けることが可能に。 ・これによりデータを活用して配信に活用するスパンが短くなり、広 告効果が向上。
24.
今後の展望
25.
今後の展望 ・アドテクにはリアルタイム性が必要 ・より新しいデータをリアルタイムに活用したい ・コンバージド・データ・プラットフォームとして 機能追加された「MapR Streams」の活用を 検討中
26.
Next Level
27.
Project Ganesha 共通Hadoopクラスタと それを取り巻くデータ処理環境を構築予定 ターゲット -個々に管理していたHadoopクラスタを集約することで リソースの効率化を行う -遊休リソースを分析業務に再分配
28.
Project Ganeshaの全体像 Matrix 各システム ストリーミング基盤 ログ データ基盤
Download