はじめに 本記事では、Dagsterとオニオンアーキテクチャを組み合わせたETLパイプラインの実装について解説します。 Wikipedia APIからデータを取得してCSVに保存する具体例を通じて、保守性と拡張性を兼ね備えたデータパイプラインの構築方法を紹介します。 完全なコード例は以下のリポジトリで公開しています： https://github.com/nokoxxx1212/dagster-onion-example オニオンアーキテクチャとは 概要 オニオンアーキテクチャは、ソフトウェアの関心事を層で分離し、内側の層が外側の層に依存しないよう設計するアーキテクチャパターンです。 主要な4つの層から構成されます Domain層: ビジネスロジック・データモデル・抽象インターフェース Infrastructure層: 外部システム（API、データベース、ファイルシステム）の具体実装 Us
Google Cloud Next Tokyo 2025 のLT資料です
こんにちは。LOHACOのバックエンド開発部のさわだです。 新規開発するバッチの設計書を作成することになったのですが、設計書内のシーケンス図の作成にGitHub Copilot Agentを使用してみたところ作成にかかる時間を短縮できました。 今回は、GitHub Copilot Agentをシーケンス図の生成に活用する方法を紹介します。 背景 設計書はConfluence内に作成しており、今まではConfluenceのマクロにある作図ツールを使用してシーケンス図を作成していました。 この作図ツールは図形や矢印をGUI上で配置できるので直感的に操作可能ですが、手動で配置するのは手間と時間がかなりかかっていました。また、AIエージェント（以下、Agent）で設計書から実装のコードを生成する際に作図ツールで作成したシーケンス図をAgentは読み取ることができないため、シーケンス図もコードベース
はじめに こんにちは、atamaplus の takei です。 最近、趣味や業務でエージェントフレームワークであるMastra のワークフロー機能[1]を約 1 ヶ月ほど使ってみました。 実際に使ってみて非常に便利である一方で、適切に設計しないと型安全性や変更容易性（保守性）に課題が生じやすいと感じました。 特に以下のような課題に直面しました。 ステップ[2] の中で getInitData[3] や runtimeContext[4] を使うと型推論が効かず、型安全でないコードになる ステップがワークフロー定義に依存し、ワークフローの変更や他のワークフローでのステップの再利用が難しくなる ステップ内でのエラー発生がインターフェース上に明示されず、エラーハンドリング漏れの原因となる このような課題に対して、ステップはすべての依存関係と副作用を入出力スキーマで明示し、ワークフロー層でワーク
サーバサイドエンジニアの大澤です。主にETL処理のバッチ開発を行っています。 以前の記事で紹介していますが、マイクロアドではバッチ処理のワークフローを主にDigdagを使用して管理しています。 今回は、Digdagを1年以上使ってきてたどり着いた構成について紹介したいと思います。 Digdagバッチ CI/CDの構成 GitHub Enterprise上のバッチを管理しているリポジトリの変化に応じてJenkinsがビルド、テスト、コードチェック、デプロイまで行うようになっています。 バッチはDigdagとDockerを使用して動作するように作っているので、DockerレジストリとDigdagサーバに成果物を登録します。 成果物は対象のブランチに応じて行き先が変化し、masterブランチの変更の場合本番用の環境へ、その他の場合開発用の環境にデプロイされます。 CIの内容はリポジトリ内のJen
ジェネラティブエージェンツの大嶋です。 クラスの外部から依存を注入するDI（Dependency Injection）のPythonパッケージとしてInjectorがあります。 github.com この記事では、LangChainでDIライブラリのInjectorを使う例を紹介します。 ※LangChainを使うのはあくまで一例です。Injector自体は幅広く活用できます。 関数でChainを作成する実装 InjectorやDIの話に入る前に、なぜそのようなものがあると嬉しいのかから書いていきます。 LangChainでシンプルなRAGのChainを作成して実行する関数は、次のように実装できます。 def invoke_retrieval_chain(model: BaseChatModel, retriever: RetrieverLike): prompt = ChatPrompt
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
