タグ

関連タグで絞り込む (0)

  • 関連タグはありません

タグの絞り込みを解除

*programとpatternとwarehouseに関するsh19910711のブックマーク (2)

  • AIエージェントが真価を発揮するデータ基盤へ -メダリオンアーキテクチャ 2.0 と "プラチナレイヤー" を考える

    はじめに:データ基盤、AIエージェントにとって「輝いて」ますか? 生成AIAIエージェントの登場は、ビジネスの景色を一変させました。誰もが、自社のデータを使って革新的なAIアプリケーションを構築したいと考えています。しかし、ここで一つの大きな壁に直面します。 「我々のデータ基盤は、当に生成AIAIエージェント時代に対応できているのだろうか?」 これまで可視化・分析のために最適化されてきたデータ基盤は、残念ながら生成AIにとって必ずしも「最適な」データではありません。データがただそこにあるだけでは、生成AI時代の競争優位性は築けません。データが自ら価値を語り、アクションを促す、真に “輝く” 状態でなければならないのです。 記事では、AIエージェント時代のデータ基盤のあり方と、「メダリオンアーキテクチャ」をAIエージェント時代に合わせて2.0へと進化させる要素は何か?について考察しま

    AIエージェントが真価を発揮するデータ基盤へ -メダリオンアーキテクチャ 2.0 と "プラチナレイヤー" を考える
    sh19910711
    sh19910711 2025/07/12
    "BigQuery Auto Discovery: Cloud Storage上の非構造化データ(画像、音声、PDF等)を自動で検出し、メタデータを付与してBigQueryからアクセス可能なオブジェクトテーブルとしてカタログ化"
  • LLMの事前評価のシステムアーキテクチャを紹介します

    この記事の概要 こんにちは。PharmaX でエンジニアをしている諸岡(@hakoten)です。 この記事では、「YOJO事業部のプロダクト内で使用されているLLM(Large Language Models)の機能の性能を事前評価するための仕組み」について、システムのアーキテクチャをご紹介しています。 LLMを用いて実現している具体的な機能については詳しく触れていませんので、その点ご理解ください。 LLMにおける事前評価とは何か まず、プロダクトにおけるLLM(Large Language Models)機能の評価がどのようなものかについて簡単に説明します。 LLMの特徴の一つとして、「出力が確率的である(毎回異なる)」という点があります。そのため、LLMで生成された文章や出力に対しては、出力結果の良し悪しを定量的に計測する方法が必要になります。 弊社における定量的な計測は、大きく次の2

    LLMの事前評価のシステムアーキテクチャを紹介します
    sh19910711
    sh19910711 2024/05/09
    "LLMで生成された文章や出力に対しては、出力結果の良し悪しを定量的に計測する方法が必要 / CSVにはPromptLayerのrequest_idとバージョンをスコアとセット + Cloud Storageに保存 + Data Transfer Serviceを用いて、定期的にBigQueryに同期"
  • 1