Azure ML の新ツール Prompt Flow で遊ぶ

各機能や使い方など見ていこう。

Power Platform の人にも良さそう！？

内容

Azure ML Prompt Flow を使いながら、LLM をアプリとして使うために必要な前提知識や関連サービス、使いかたなどを共有する予定。ChatGPT (Web アプリ) しか使ったことないし、開発できない！って方は是非一度聞きに来て。

関連サービスとして以下も説明するはず

• Azure Open AI
• Azure Cognitive Search
• Azure ML 他の機能など

Prompt Flow の回

話は発散しがちになります

デモからやる

Prompt Flow 概要

• Connections
• Runtime/Compute
• Flows
• Standard
• Chat
• Vector index
• Jobs
• pipeline
• publish/endpoint

AI and Model

生成 AI

• 文字、画像、音声、映像、等
• GPT、Bard、LLAMA、等

Embedding

• ベクトル化

Azure Cognitive Service

APIs to understand the world. - Vision - Speech - Listen

開発者視点でのこれまでの API との違い

• 用途が多様
• 一度のコールで完結しない場合がある
• 結果が一定になりずらい
• モデル単体で完結しずらい

GPT モデル

• バージョンと種類
• codex
• chat
• completion、edit、等
• トークン上限
• パラメーター

LLM アプリ

必要な要素

• データ
• メモリ領域 (Chat)
• ナレッジデータベース (RAG)
• プロンプトテンプレート
• 外部 API 連携
• 実行環境
• VM
• Web App/API
• Functions
• K8S
• 独自モデル
• データ
• 学習
• モデル管理
• エンドポイント
• 実行環境

パターン

• Chat
• RAG (Retrieval Augmented Generation)
• 外部連携
• 検証

フレームワーク

• LangChain
• Semantic Kernel

データベース

• Relational DB
• SQL Server
• Postgres
• MySQL
• Sqlite
• Document DB
• Cosmos DB
• Mongo DB
• Couchbase
• Amazon Document DB
• Blob
• Azure Data Lake Storage
• Amazon S3
• Google Storage
• Vector DB
• Azure Cognitive Search
• Pinecone
• Postgres
• Redis

ベクター/ベクトルデータベース

ベクトルを利用した意図検索

• embeddings モデルによりベクトル化した情報がベース
• 各ベクトルの近傍データの検索

Embeddings モデル

• text-embedding-ada-002: 1536 次元のベクトル生成

用途

• 会話履歴の検索
• RAG に使うナレッジの検索

Azure Cognitive Search

• キーワード、フィルター、並べ替え、順位
• フルテキスト検索
• Semantic 検索
• ベクターのサポート
• ハイブリッド検索
• 各種 Azure サービスとの連携

Azure ML

機械学習に必要な環境を提供。データの準備から開発、デプロイまでの MLOps を実現するサービス

• 開発
• Notebook
• Auto ML
• GUI デザイナー
• アセット管理
• データ、データセットとバージョニング
• ジョブ管理
• カスタムコンポーネント
• パイプラインの作成、管理
• 実行環境の定義
• モデルの管理
• エンドポイントの作成、管理
• 管理
• VM
• 監視
• データのラベリング

Prompt flow

LLM アプリを GUI ベースで開発する機能

• コンポーネントを使った GUI でのフロー開発
• コネクター
• Open AI
• データベース
• Cognitive Services 等
• 実行完了
• ベクターインデックス

なぜ Prompt flow?

Power Platform との関係

注意点

コスト - 学習コスト - 課金