こんにちは、データ事業本部のキタガワです。 今回はDagsterとdbtの構成をDockerコンテナ上で動かすサンプルをサクッと作っていきたいと思います。 公式のチュートリアルで使われているdbtのサンプルリポジトリがアーカイブ化されていたりして、そのままでは動かないところがあったので、新しいサンプルリポジトリを用いて試してみた記録として残します。 Dagsterとは Dagsterはデータエンジニアのためのツールです。 いわゆるオーケストレーションを行うためのツールですがデータアセットに焦点を当てているところが特徴です。 中心にはSDA(Software-Defined Assets)という概念があり、データパイプラインにおいて実行されるタスクではなく、生成される永続的なデータ（データベースのテーブル、S3のファイル、機械学習モデルなど）を宣言的に定義する手法をとっています。 またDag
データオーケストレーションとは データオーケストレーションという言葉をご存知でしょうか？日本ではまだ耳慣れない言葉ですが、data orchestrationでgoogle検索すると実に3000万件以上ヒットし、世界的には十分に市民権を得ている言葉です。Databricksではデータオーケストレーションを以下のように説明しています。 データオーケストレーションとは データオーケストレーションとは、複数のストレージからサイロ化したデータを取り出し、組み合わせて整理し、分析に利用できるようにするための自動化されたプロセスです。 このプロセスでは、レガシーシステム、クラウドベースのツール、データレイクといったあらゆるデータセンターが接続されます。データは標準形式に変換されるため、理解しやすく、容易に意思決定に利用できます。 オーケストレーションとは、コンピュータシステム、アプリケーション、および
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
