はてなブックマーク

Assistants API を使うと、データを分析し、ソリューションを提案し、タスクを自動化できる、高度な Copilot のようなエクスペリエンスを備えたアプリケーションを簡単に作成できます。2024/02/06 に Azure OpenAI Service でもパブリックプレビューが開始されました。 ステートレスな Chat Completions API であるのに比べて、ステートフルな Assistants API は、自動的に管理される永続的なスレッドがサポートされます。つまり、会話状態管理システムを開発し、モデルのコンテキスト ウィンドウの制約を回避する必要がなくなります。さらにアシスタントは、必要に応じて複数のツールに並列アクセスすることもできます。 以下のツールが利用可能です。 Code Interpreter Function calling（関数呼び出し） 動画でも解

Azure AI Search の誕生 Microsoft Ignite 2023 にて、Azure Cognitive Search のベクトル検索が GA となり、ブランド名が「Azure AI Search」となることが発表されました。Azure AI Search は AI を活用した情報検索プラットフォームとして位置づけられます。 Azure Cognitive Search はフルマネージドな全文検索エンジンとして長年にわたって世界で多くの企業のナレッジベースとして用いられてきました。2021 年、Microsoft 製の LLM である Turing モデルをベースにしたセマンティック検索機能を搭載し、既存の全文検索アルゴリズムにセマンティックリランカーを追加して検索精度の向上に寄与してきました。そして 2023 年、Azure OpenAI Service の発表と Emb

2023/3/10 の公開から 9 か月経ちましたが、GPT-4 Turbo with Vision のパブリックプレビュー開始などもあり例の RAG アーキテクチャのレポジトリがマルチモーダル対応したり他にもいろいろ改良されています。 GPT-4 Turbo with Vision による回答が可能に Azure AI Vision と Azure AI Search を使用した画像類似検索が可能に Thought process UI の改良 その他多数→別記事で解説予定 1. GPT-4 Turbo with Vision による回答が可能に GPT-4 Turbo with Vision を Azure AI Search と統合する例が含まれるようになりました。この機能により、テキストベースのコンテンツに加えて、財務書類などの画像やグラフのインデックス作成と検索が可能になります。

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Microsoft は 18 日、Azure Cognitive Search を用いた RAG システムの定量的評価結果を公表し、Azure Cognitive Search 独自の検索機能である、セマンティックハイブリッド検索（ハイブリッド＋セマンティックランカー）が最も高い品質を示すことが分かりました。また、チャンク分割戦略についての参考になるインサイトも提供しています。 Azure Cognitive Search のセマンティックハイブリッド検索の解説はこちらを参照ください。今回用いる用語の簡単な解説は以下です。 ハイブリッド

Azure Machine Learning / Azure AI Studio に Prompt flow が搭載され、パブリックプレビューが開始されました。Prompt flow は大規模言語モデル (LLM) を利用した AI アプリケーションの開発サイクル全体を合理化するように設計された新時代の開発ツールです。 Prompt flow には作成したフローのパフォーマンスを評価する機能が搭載されており、現在は 9 つの評価フローをギャラリーテンプレートから選択可能です。 本内容は「LLM in Production Meetup #1 LLMOps -LLMの評価・品質担保-」イベントで登壇した内容の詳細解説です。 自動評価メトリクス 自然言語モデルの評価をする際、人間の手作業に代わり自動的に評価するためのメトリクスがこれまで多数提案されてきました。昔ながらの n-gram ベースの

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに Azure OpenAI Developers セミナー第2回でも語らせていただきました、Azure Cognitive Search のベクトル検索、ハイブリッド検索、セマンティックハイブリッド検索のデモネタについて紹介します。 Azure Cognitive Search がベクトル検索に対応したことで、クラシカルなキーワード検索と組み合わせたハイブリッド検索が可能になりました。今回はいつもの戦国武将データセットを例に、それぞれの機能を比較していきましょう。 ベクトル検索 text-embeddings-ada-002 で

Azure Machine Learning に Prompt flow が搭載され、パブリックプレビューが開始されました。Prompt flow は大規模言語モデル (LLM) を利用した AI アプリケーションの開発サイクル全体を合理化するように設計された新時代の開発ツールです。 Azure AI Studio Azure AI Studio は Azure OpenAI Studio の Chat Playground や Azure Machine Learning の Prompt flow を包含するサービスというイメージですが、まだ全貌は明らかになっておりません。 Prompt flow は現状は Azure Machine Learning の中の 1 機能として公開されましたが、今後は Azure AI Studio なる UI からも呼べるようになるのではないかと思いま

今回は Copilot stack のカスタマイズの中心となるプラグイン開発について紹介します。 Copilot stack Copilot stack は大規模 LLM をオーケストレーターとして利用し、複数のプラグインや外部システムの情報と連携させて GPT-4 のプラグイン機能や Microsoft の各製品に搭載される Copilot と連携したり独自の Copilot を開発できるフレームワークです。 プラグイン開発 ChatGPT 規格のプラグインを開発すれば、以下のようにブラウザ版 GPT-4 だけでなく、Bing や Microsoft 365 Copilot、Windows Copilot などからも利用可能になります。当然、組織独自の Copilot と統合することもできます。このプラグインによって、最新の情報や組織内のデータを反映させた（Grounding）回答を行っ

はじめに Microsoft Build 2023 で発表のあった Azure OpenAI on your data のパブリックプレビューが開始されました。「on your data」の名前の通り、Azure OpenAI Studio の Chat Playground 上で Azure Cognitive Search のデータを参照し、モデルが知らない内容を答えられるようにしてからノーコードでAzure AD 認証付きチャットアプリのデプロイまでやってしまうという機能です。 内部アーキテクチャ 「on your data」の仕組みは以下のようなアーキテクチャになっていると考えられます。考えられますというのは、Azure Cognitive Search からの Grounding の処理が on your data REST API 内部で行われるため、詳細が隠蔽されているためで

はじめに Azure OpenAI Service を中心としたパートナーコミュニティも活発になってきてうれしい限りです。様々なパートナー様が ChatGPT を使ったソリューションを立てつけてくれています。私としてはさらに Azure OpenAI Serivce を使っていただきたいということで、その 1 つの案として「フォローアップ質問」を追加することをおすすめしております。 フォローアップ質問とは フォローアップ質問は、先に行われた質問や話題に対して、さらに詳細な情報や補足を求めるための質問です。通常、初めの質問や議論に基づいて、より深い理解を得るために使用されます。 Bing AI では上記の部分のことですね。 このフォローアップ質問をユーザーのさらに知りたい事、好奇心をくすぐるような事を先回りして候補を出せれば、まるで Wikipedia を一日中見てしまうような、より深い C

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Microsoft は 5 月 23 日、Build 2023「The era of the AI Copilot」のセッションにおいて、「Copilot Stack」開発フレームワークを発表しました。 「マイクロソフト、AI アプリや Copilot の構築フレームワークを明らかにし、AI プラグインエコシステムを拡充」 Copilot stack の具体的な話はコチラ↑ 開発者が独自のコパイロットを構築するための AI 開発フレームワークの概説 Copilot stack のコンポーネントは大きく分けて 3 層に分かれており、 アプ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに ついにこの時が来ましたね。 Azure Cognitive Search にベクトル検索機能が実装され、近似最近傍探索（ANN）が可能になります。これによって、Azure OpenAI Serivce の Embeddings API で生成したベクトルの永続的なフルマネージドベクトルデータベースとして利用できるだけでなく、既存の BM25 ベースの全文検索とのハイブリッド検索が可能になります。 2023/11/15 GA どなたでもお使いいただけます。 ポイント ベクトルデータベース Azure OpenAI の Embed

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに Azure 上で OpenAI をエンタープライズ利用するアーキテクチャがガンガン出てくるので自分用にメモ 1. ChatGPT × Cognitive Search を使ったエンタープライズサーチ 今一番バズってるアーキテクチャ。組織内の大量のドキュメントを ChatGPT で検索できる。多くの企業がまずこのアーキテクチャで実装を始めている。MS 公式 Tech Blog 記事は 153K Views というとんでもない View 数を記録。 ChatGPT(gpt-35-turbo)モデルでトレーニングされたデータに基づい

前回の記事では、ChatGPT と Azure Cognitive Search を組み合わせてエンタープライズサーチを構築するためのアーキテクチャ、サンプルコードについて解説しました。 今回は、このエンタープライズ チャットボットを各種データベースを用いてチャット履歴（記憶）を永続化したり、複数組み合わせたりして色々とカスタムしてみた記事です。 1. 一時的チャット履歴 このサンプルコードはシンプルなデモ用であり、フロントエンド側にチャット履歴の配列を持っているため、ブラウザを更新すると履歴はクリアされます。 一時的ではありますが、上記のような質問への回答もできます。 1.1. チャット履歴の実装 Azure OpenAI Serivce では 3/21 に Chat Completion API がプレビューで実装されました。Chat Completion API では、チャットの会話

Semantic Kernel (SK) は Microsoft が OSS として発表した、大規模言語モデル (LLM) をアプリにすばやく簡単に統合できる SDK です。SK は従来のプログラミング言語と最新のLLM AI "プロンプト" を簡単に組み合わせることができ、テンプレート化、チェーン化、埋め込みベースのメモリー、およびプランニング機能を備えています。 機能的には、LangChain や LlamaIndex に似たような機能を持っているライブラリです。現状は C# 向けにリリースされています。4/17 に Python 版 もリリースとなりました。ただし機能は部分的な実装である点にご注意ください。(FEATURE MATRIX) 6/23 Semantic Kernel が Copilot stack との連携を明確化しプラグインエコシステムと統合 Semantic Ker

2023/3/10 に Azure OpenAI Serivce で ChatGPT(gpt-35-turbo) がプレビューで利用可能になったと発表されました。この発表と同時に、ChatGPT と Azure Cognitive Search を組み合わせてエンタープライズサーチを構築するためのアーキテクチャ、サンプルコードが提供されました。 この発表およびサンプルコードの重要なポイントは以下です。 ChatGPT(gpt-35-turbo)モデルでトレーニングされたデータに基づいてテキストを生成するのではなく、企業内に閉じたデータのみから生成する方法の例を示しています トークンの制限(4,096)の壁をできるだけ回避するための手法を紹介しています 「引用」をテキストに付加することで信頼できる応答を生成します 今回はこのサンプルコードを自分で理解しやすいようにカスタマイズしつつ内容を解説

はじめに 巷では OpenAI が人気ですね。OpenAI の GPT-3 モデルを Azure 上でホスティングしたサービスである Azure OpenAI Service の GA によって企業はエンタープライズ用途で GPT-3 モデルを使用することができるようになりました。これにより Azure Cognitive Services と同様のセキュリティ機能、SLA、コンプライアンス、責任ある AI などのメリットを享受できます。 今回は私が好きな Azure Cogntive Search と Azure OpenAI を組み合わせるといったいどのようなことができるようになるのか、いろいろ試してみたいと思います。 🎉5/24 ついにベクトル検索機能が実装されました！ 組み合わせ方法 Azure Cogntive Search をメインにしてカスタムスキルを使えば Azure O