はてなブックマーク

はじめに 2023年11月Microsoft IgniteでAzure AI Search(旧：Cognitive Search)の大幅なアップデートがありました。Azure AI Searchでチャンキング＋ベクトル化を行うには、Azure OpenAI on your data経由で作ったり、公式が用意したPythonのデータ準備ツールなどを利用する必要がありました。今回、ようやくこの機能がプレビュー版としてAzure AI Searchに統合されたので使ってみたいと思います！ こちらが公式の記事となります。 試してみる Azure AI Searchのリソースにいくと「概要」に「データのインポートとベクター化」という項目が追加されました。クリックしましょう。 現状データソースは「Azure Blob Storage」もしくは「Azure Data Lake Storage Gen2」

はじめに 今回はLangChainを使ってCognitive SearchにベクトルDBを構築する方法について解説していきます。前回の記事ではベクトルDBの構築方法を詳しく取り上げましたが、それはCognitive Search側がデータソースに対して定期的にスキャンを行う、いわゆるPull型の仕組みとしています。 一方、ユーザーに特定のドキュメントをベクトルDBに登録してもらうなどのユースケースでは、Push型（イベントドリブン）のアーキテクチャを採用することが考えられます。今回紹介するLangChainを利用したベクトルDBの構築は、このPush型の方法に基づいています。この方法は簡潔に実装できるため、PoC（概念実証）の段階での利用にも適しています。なお、Cognitive Searchの言語アナライザーは日本語をサポートしています。 ※2023年8月22日時点で、Cognitive

はじめに この記事は、現在（2023年8月4日時点）パブリックプレビュー中のCognitive Searchのベクトル検索機能について、ベクトルDBの構築手順を解説する記事です。公式ドキュメントにはクイックスタート記事も公開されており、こちらのブログで日本語で丁寧に解説してくれています。 公式ドキュメントのクイックスタートを読んでいると、下記の課題に遭遇します。 PDFなどのドキュメントはどのように扱えばいいか？ チャンク分割やベクトル生成は具体的にどのように行えばよいか？ 言語アナライザーを日本にするにはどこを変えればよいか？ インデックスを自動更新するにはどうすれば良いか？ このような課題に対して、Azure公式のGitHubリポジトリにあるcognitive-search-vector-prにあるインデックス作成ツール(azure-search-vector-ingestion-py

6/22時点の課題 先日(6/19)発表されたAzure OpenAIのAdd your dataの機能を使うと簡単に独自データと連携できることを前回の記事で記載しました。「Upload files」を使うと手元にあるPDFをアップロードするだけで、チャンク分割からインデックス作成までワンクリックで自動実行され、GPTと連携することができます。 しかし、Add your data経由でCognitive Searchのインデックスを自動作成した場合、いくつかの課題があります。 [検索精度] Add your data経由でインデックスを作ると、contentフィールドの言語アナライザーが英語(デフォルト)になり、Cognitive Search自身の日本語の検索精度が少し悪い。使えないことは無いけど本番化にあたってはもう少し頑張ってほしいレベル。 [更新の自動化] Cognitive Se

はじめに 23年6月19日にAzure OpenAIに独自データを追加できる機能「Add your data」がパブリックプレビューで発表されました。GPTは自分が知らない情報に関して、答えることができないですが、この機能を使うことで独自のデータとGPTモデルを簡単に連携させることができ、GPTが知らない独自のデータを参照して回答を生成できるようになります。また、回答のソースを独自データに限定することもできるので、ChatGPTの活用の幅が大きく広がります。 一通り使ってみたので、具体的な利用方法を解説していきます(公式ドキュメントにも詳しく記載されています)。 (23年9月追記) Add your dataにベクトル検索の機能が追加されました。詳細はこちらのブログで丁寧に解説されていますので、ご参照ください。 独自データの追加 使えるモデルはチャット形式のモデル「gpt-3.5-turb

はじめに 何番煎じか分かりませんが、今回はLangChainとAzure OpenAI版ChatGPTの連携部分について、Pythonでの実装方法を解説していきます。最後にはPDFの質疑応答タスクについて、実装方法を解説します。本記事は23年5月16日時点の情報に基づいて、記事を作成しています。 ライブラリ 使用するライブラリとバージョンは下記の通りです。LangChainのバージョンは0.0.166です。LangChainのバージョンは毎日更新されているため、ご注意ください。 langchain==0.0.166 chromadb==0.3.21 事前準備 LangChainからAzure OpenAIの各種モデルを使うために必要な情報を整理します。 Azure OpenAIのモデルを確認 Azure上でモデルがデプロイされているかを確認します。Azure OpenAI Studioから