平成最後の1月ですし、Databricksでもやってみましょうか

平成最後の1月ですし、
databricksでも
やってみましょうか
Azure Tech Lab #1
株式会社PLAN-B
システム開発本部テック&データラボ技術統括
Microsoft MVP for AI
得上竜一(@tottokug)

Azureに最適化・統合されたspark環境
Azure Databricksとは

インメモリでの
高速処理
便利なコンポーネントが
付属しているため
あらゆるユースケースに
対応できる
Spark
SQL
Spark Core
Spark
Streaming
MLlib GraphX
Apache Sparkとは
ビッグデータの並列分散処理フレームワーク

WEBから利用可能
インフラの管理不要
スケールアップ・アウト
が無停止で可能
Notebookにより
インタラクティブに
分析・開発可能
多彩なデータソース
Clusters Jobs Notebooks Data
Databricksとは
Apache SparkのPaaS

クラスター立ち上げDEMO

インスタンスストレージ
VMの
料金
DBUの
料金
BLOB
ストレージの
料金
起動した分だけ保存した分だけ
使った分だけ
＋＝お支払い
Azure Databricksの価格
VM料金+ DBU料金 + ストレージ料金

※2018/09 時点の情報
DBU料金はワークロードで違う
DBU
※ 1 時間あたりの処理能力の単位
データエンジニアリング
ジョブスケジューラ等によって実行される場合
自動起動のバッチ処理など
データ分析
アドホックコマンドなどのインタラクティブな機
能がクラスターで実行される場合

インスタンス
VMの料金
DBUの料金
例）データサイエンティストが分析のためNotebookを利用
業務時間中(10:00〜18:00)のみ起動
月にD3インスタンスを4台×8時間×20営業日の場合
※Standardレベル、データ分析ワークロード
35.40円 × 4台 × 160時間 = 22,656円/月
33.60円 × 4台 × 160時間 = 21,504円/月
44,160円/月
※2018/09 時点の情報
インスタンス料金例

インスタンス
VMの料金
DBUの料金
例）日時のETL処理をジョブスケジューラによって定期実行
月にD3インスタンスを4台×2時間×30日の場合
※Standardレベル、データエンジニアリングワークロード
35.40円 × 4台 × 60時間 = 8,496円/月
16.80円 × 4台 × 60時間 = 4,032円/月
12,528円/月
※2018/09 時点の情報
インスタンス料金例

詳細版はこちら
//aka.ms/databricksjp

Azure Machine Learning Serviceとの連携

Azure Machine Learning サービスの概要

平成最後の1月ですし、Databricksでもやってみましょうか

More Related Content

What's hot (20)

Similar to 平成最後の1月ですし、Databricksでもやってみましょうか (20)

More from Ryuichi Tokugami (20)

Recently uploaded (7)

平成最後の1月ですし、Databricksでもやってみましょうか