Delta lakesummary
- 2. 自己紹介 永田 亮磨(Ryoma Nagata) • BI専業ベンダー （株式会社ジール）勤務 • Microsoft AzureのData Platform関 連の導入・開発やワークショップ の講師をやってます Twitter:@ryomaru0825 Linkedin:ryoma-nagata-0825 Qiita:qiita.com/ryoma-nagata
- 4. OSSプロジェクト『Delta Lake』 • Databricksの機能であったDelta をOSS化（昨年のSpark + AI Summit 2019 Keynoteで発表） • ファイルシステム上で動作し UpdateなどのDML実行が可能 • 実態はparquetファイルのため高 圧縮率 • 現在version 0.5.0 • https://delta.io/
- 5. DatalakeとDWHの一般的な課題 Datalake • 柔軟に大容量データを格納可能 だが • 異なるシステムのストリーミング データの統合が困難 • データレイク内のデータ更新は不 可能 • データレイクへのクエリ速度は低 い DWH • 永続テーブルの高速なクエリ だが • アクセスがSQLに限定 • ストリーミングデータと保存データの 同時アクセスは困難 • スキーマ柔軟性の課題 • コンピューティングとストレージの密 結合
- 7. Big Data基盤に代表的なラムダアーキテクチャ • スピードレイヤ（速報データ）とバッチレイヤ（蓄積データ）により、リアルタイム分析と時系列分析を両立 • バッチレイヤで生データを保持し（DataLake）、ビジネスロジック変更後の再計算が可能 Big Data基盤の懸念 • https://docs.microsoft.com/ja-jp/azure/architecture/data-guide/big-data/#lambda-architecture データソース
- 8. ラムダアーキテクチャ Big Data基盤の懸念 • https://docs.microsoft.com/ja-jp/azure/architecture/data-guide/big-data/#lambda-architecture データソース 不正データ混入時の対応 table/ ├ 2020-01-01/ ├ 2020-01-02/ ├ 2020-01-03 │ └ data-01.parquet ・ ・ ・ パーティションに分散したデータの修正は 現実的？
- 10. Delta Lake 活用シーン① -安全なデータの追加 • 追加（append）、 上書き（overwrite）操作をアト ミックに実行 • テーブル挿入時には自動でス キーマ検証を行い、不正データ を例外処理することでデータを 保護 df.write .format("delta") .mode("append") .save("/mnt/delta/events") 連携データ 生データ保管 バッチデータ 保管テーブル追加 or 上書き （ACID） 不正列データ 生データ保管 バッチデータ 保管テーブルスキーマチェック
- 11. Delta Lake 活用シーン② -DMLによるデータ更新 • Update、Delete、 Mergeをサ ポートし、データの修正・削除 Upsertを実行 • タイムトラベルにより復元可能 • パーティションの利用により高 速化が可能 • Databricksでは先行利用できた が、Delta Lake 0.3.0リリースで 実装（Announcing the Delta Lake 0.3.0 Release） ID eventType timestamp 1 clck 2020/4/1 23:00 2 clck 2020/4/1 23:01 3 conversion 2020/4/1 23:02 UPDATE events SET eventType = 'click’ WHERE eventType = 'clck' ID eventType data 1 click AAA 2 click BBB 3 conversion CCC ID eventType data 3 conversion ccc' 4 conversion DDD MERGE INTO events USING updates ON events.eventId = updates.eventId WHEN MATCHED THEN UPDATE SET events.data = updates.data WHEN NOT MATCHED THEN INSERT (date, eventId, data) VALUES (date, eventId, data) ID eventType data 1 clck AAA 2 clck BBB 3 conversion ccc' 4 conversion DDD
- 12. Delta Lake 活用シーン③ -異なるソースデータの統合 • Structured-Streamingを利用し たDataframe操作により、バッ チ、ストリームを容易に結合可 能 • Structured-Streamingでは追加 されたファイルのみを正確に処 理 spark.readStream .format("delta") .load("/mnt/delta/events") Or events.writeStream .format("delta") .outputMode("append") .option("checkpointLocation", “path") .start("/delta/events") ストリーム データ ストリーム データ バッチデータ ストリームデータ 保管テーブル ストリームデータ 保管テーブル バッチデータ 保管テーブル 集計速報テーブル ストリームデータ 統合テーブル ストリーム ＆バッチデータ統 合テーブル
- 13. • Git • https://github.com/ryoma- nagata/MyDatabricks/blob/master/20200423demo/DeltaLakeDemo_JPNC ovid19.ipynb • Slide Share • https://www.slideshare.net/ssuser61ea57 DEMO
- 14. • https://pages.databricks.com/Solving-Business-Problems-Delta- Lake-eBook-lp.html?_ga=2.206963795.130091878.1587356867- 872940378.1579665710 • https://docs.delta.io/0.4.0/delta-intro.html • https://docs.microsoft.com/ja-jp/azure/databricks/delta/delta- intro • https://databricks.com/blog/2019/10/03/simple-reliable-upserts- and-deletes-on-delta-lake-tables-using-python-apis.html • https://docs.microsoft.com/ja-jp/azure/architecture/data- guide/big-data/#lambda-architecture • https://kb.databricks.com/delta/delta-merge-into.html 参考リンク
- 15. ご清聴ありがとうございました。