![•システム構築のプロセス評価、改善、策定、開発フレームワークの設計、実装管理、
プリセールスやプロジェクトの立ち上げなど
•ブログ ：http://blog.processtune.com
•プロフィール ：Tetsuro Takao on
Facebook, Twitter or http://mvp.microsoft.com
•コミュニティ ：.NETラボの運営スタッフ
https://dotnetlab.connpass.com/
•Microsoft MVP ：Developer Technologies
[July 2010 – June 2024]](https://image.slidesharecdn.com/ailocallaunch202402-240226084338-b614ac44/85/local-launch-small-language-model-of-AI-2-320.jpg)
![[Developers Summit 2018] Microsoft AIプラットフォームによるインテリジェント アプリケーションの構築](https://cdn.slidesharecdn.com/ss_thumbnails/20180215developerssummitmicrosoftaiplatform-180218215607-thumbnail.jpg?width=560&fit=bounds)
More Related Content
Similar to local launch small language model of AI. (20)
More from Takao Tetsuro (20)
local launch small language model of AI.
- 2. •システム構築のプロセス評価、改善、策定、開発フレームワークの設計、実装管理、 プリセールスやプロジェクトの立ち上げなど •ブログ ：http://blog.processtune.com •プロフィール ：Tetsuro Takao on Facebook, Twitter or http://mvp.microsoft.com •コミュニティ ：.NETラボの運営スタッフ https://dotnetlab.connpass.com/ •Microsoft MVP ：Developer Technologies [July 2010 – June 2024]
- 4. Phi-2：2.7billion Foundation model Microsoft Prometheus（GPT-4）：1trillion for Bing AI ? Copilot：billions Pretrained model (Bing Chat Copilot：1.7billion) Microsoft & NVIDIA Megatron-Turing NLG：530billion Microsoft Turing NLG：17billion Foundation model Microsoft Research Data&AI “Generate solutions from a wide range of options” ≠ “Fast inference calculations” and “Computations with low power consumption” The power required for calculation is small and inference calculations are fast. A task-specific AI that generates solutions from a limited range of attributes. AGI Artificial General Intelligence To get closer to human thinking using AI orchestration. The purpose is to exceed the limits of AI (as of 2023, it is said to be “Baby AGI”) MAI multimodal Artifical Intelligence Services in the area of advertising creative production：13billion Cyber Agent Japanese LLM：6.8billion Llama 2：7/13/70 billion Foundation model GPT-4：1.76trillion Foundation model GPT-5：17trillion? (GPT3x100) Foundation model Google PaLM2：340 billion Exact numbers are unknown due to internal document leak Technical report says PaLM 2-L（Unicorn）：340billion PaLM 2-M（Bison）： 147billion PaLM 2-S（Gecko）：30billion Google FLAN-UL5：50billion FLAN-UL2：20billion Google Pathways：540billion Claude 2：52billion 基盤モデル BloombergGPT：50billion Finance AWS Titan Foundation Model：100billion Amazon Olympus：2trillion for Alexa ? Amazon Alexa model：20billion AWS Titan Foundation Model IBM Japanese LLM：8billion IBM Granite：13billion Foundation mode; IBM watsonx Code Assistant for Z：20billion 115Languages support Such as gradual converting Cobol to Java Oracle Text Embeddings：355million Oracle Text Generation：52billion Oracle Text Summarization： 52billion Large scale Specialized Gemini Ultra：540billion Gemini Pro：60billion Gemini Nano-1：1.8billion Gemini Nano-2：3.25billion Orca-2：13billion 7billion Small model trainer model
- 5. AppleはAIビデオ圧縮のスタートアップWaveOneを買収したり、元Googleの検索責任者ジョン・ジャナンドレアを雇用したりするなど、AIに投資している。 同様に、Googleは2023年のGoogle IOで、Googleフォトから始まったMagic EraserがMagic Editorにアップグレードされたことを発表しており、すでにPixel 8にはG3チップが搭載されています。 AI AI AI 会話のリアルタイム翻訳 メールの概要生成 会議記録の生成 写真編集や撮影補助 本人確認が必要 インターネット接続が必要 クラウド コンピューティングの能力に依存 遅延が発生 https://blog.google/products/photos/google-photos-magic-editor-pixel-io-2023/ Magic Editor in Google Photos Apple unveils M3, M3 Pro, and M3 Max https://www.apple.com/newsroom/2023/10/apple-unveils-m3-m3-pro-and-m3- max-the-most-advanced-chips-for-a-personal-computer/ Google Tensor G3 https://blog.google/products/pixel/google-tensor-g3-pixel-8/
- 6. 出典：生成AIに“視覚”与える学習ライブラリ、自動運転EVベンチャー公開 最大700億パラメータの学習済みモデルも https://www.itmedia.co.jp/news/articles/2309/07/news175.html Prompt Llama 2-chat （Meta） ELYZA-Llama 2 （ELYZA） Japanese StableLM （Stability AI Japan） OpenLenda （Turing） RAG? 映像 信号機認識モデル タスク特化型モデル タスク特化型モデル タスク特化型モデル 道路状況を言語化 装置をオペレーション 装置をオペレーション 装置をオペレーション 言語による命令 自動運転 重要なポイント：企業における有用なMultimodal AIは、小型なタスク特化型 のモデルのコラボレーションによって組織のビジネス独自のAIを知財化していくこと。
- 7. 本来AIで実装する意味が無い事柄 （インターネットで検索できる知識、 誰もができる作業の自動化）を迅 速に解決するので、人員削減に利 用される。つまり、最終的には淘汰 される人間が増えるだけで、その効 率化は果たして意味があるのかどう か？を議論中 その企業の“イズム”に合致した資料、 コンプライアンスなどと現代のパラダイ ムやバズワードから解を生成 （RAG：Retrieval-Augmented Generation） NASAや気象庁、アイビーリーグ、 TOYOTAなど時代をけん引する必 要があるような企業戦略を立案する 補助的な役割など 企業が長年かけて蓄積してきたナ レッジを体系化して、データから情報 や解を導き出すスキームを創出する など、データやそのスキームを利用する 人間が変わっても同じ（またはそれ 以上の）価値を出せるようにする 対話型ロボットや画像生成などは、一人では思いつかなかったものを提供し、視野の拡大による生産性の向上が期待でき ます（≒警告：人知を超えた可能性） AIプロバイダーが膨大な電力を使って事前学習させたモデルを使って（必要に応じて組み合わせて ）組織独自のナレッジを管理する（企業戦略の補助） 大規模化 特化 社外秘 社内外 OpenAI CEO Sam Altman, US House Speaker Mike Johnson discuss AI's risk 米下院議長とオープンＡＩのＣＥＯ、ＡＩリスク巡り議論 https://www.reuters.com/technology/openai-ceo-sam-altman-us-house-speaker- mike-johnson-discuss-ais-risk-2024-01-11/ Hippocratic AI raises $50 million seed funding to build models for healthcare 医療業界向け特化した大規模言語モデル(LLM)を開発する"Hippocratic AI"が Seedで$50Mを調達 https://www.reuters.com/business/healthcare-pharmaceuticals/hippocratic-health- raises-50-mln-seed-funding-build-ai-model-2023-05-16/ Introducing BloombergGPT, Bloomberg’s 50-billion parameter large language model, purpose-built from scratch for finance 独自の金融ビジネス特化型AI「BloombergGPT」をBloombergが発表、金融 アナリストの業務や金融ニュースの作成を手助け可能 https://www.bloomberg.com/company/press/bloomberggpt-50-billion- parameter-llm-tuned-finance/ Small But Mighty: Small Language Models Breakthroughs in the Era of Dominant Large Language Models 小さくても強力: 支配的な大規模言語モデルの時代における小規模言語モデル のブレークスルー https://www.unite.ai/small-but-mighty-small-language-models-breakthroughs- in-the-era-of-dominant-large-language-models/ 多くの企業のニーズはこちら側
- 8. 出典：【Oracle Cloud ウェビナー】 LLM(大規模言語モデル)などの生成AIで圧倒的なコスト・パフォーマンスを提供するOracle AI インフラストラクチャ https://speakerdeck.com/oracle4engineer/ocwc_20231004_generativeai?slide=7
- 9. 図の出典：https://learn.microsoft.com/ja-jp/training/modules/introduction-end-analytics-use-microsoft-fabric/2-explore-analytics-fabric Microsoft Fabric でのガバナンスとコンプライアンス https://learn.microsoft.com/ja-jp/fabric/governance/governance-compliance-overview Delta Parquet 形式 AIモデル作成・管理 カスタムCopilot Purview Data Loss Protection Purview Information Protection 秘密度ラベル DLPポリシー アタッチ ポリシー統合 Copilot for Microsoft 365 Copilot for Fabric
- 10. Copilot for Fabric Copilot for Microsoft 365 秘密度ラベル DLPポリシー 図の出典：https://learn.microsoft.com/ja-jp/training/modules/introduction-end-analytics-use-microsoft-fabric/2-explore-analytics-fabric Microsoft Fabric でのガバナンスとコンプライアンス https://learn.microsoft.com/ja-jp/fabric/governance/governance-compliance-overview
- 13. Information source is Microsoft 365 data YES Microsoft 365 account access Customize for using company’s data YES No code Low code YES Azure AI Studio NO Semantic Kernel programming NO Copilot Studio Microsoft Syntex NO Identity Federation is complete YES with Entra ID Entra ID controls access Azure storages Azure AI Studio Semantic Kernel programming with non-Entra ID No code Low code YES Any tools of identity provider (if possible) NO programming （LangChain, Semantic Kernel） Connector is existing Azure AI Studio NO Several AI schemas of data source in individual access permission Multimodal AI orchestration programming 工数とトレードオフ 推奨 凡例 ステップ1: Microsoft 365 データを活用しますか? ステップ2: カスタマイズは必要ですか？ 開発方法は?
- 15. AI service Orchestration Models (Vector Embeddings, NLP※1) Vector Memory Storage Persistent Layer Microsoft Copilot（AI orchestration） （Microsoft 365 Copilot, …※2） Copilot Studio Copilot （ex. GitHub X is Codex + GPT- 4） Copilot Microsoft Azure tenant storage （SharePoint, GitHub, OneLake） Azure OpenAI Service Azure AI Studio Open AI （GPT3.5, 4） Azure AI Search JSONL file / Azure BLOB Programming area AI を導入時は、データ レイヤー、AI サービス、ベクター埋め込み機能、およびこれらのリソースにアクセスできるアカウントを設計します。 ※1：NLP (Natural Language Processing) ベクトル埋め込みによって文字やテキストを定量 化し、感情分析、機械翻訳、テキスト分類などを 実行します。 学習により、常識、言語理解、論 理的推論が可能になります。 ※2：Windows Copilot, GitHub Copilot, Security Copilot, Bing Chat Copilot, Power Platform Copilot, Dynamics 365 Copilot, Microsoft Syntex, Copilot for Azure, Fabric Copilot (Copilot for Data Science and Data Engineering, Copilot for Data Factory, Copilot for Power BI) Custom Web UI Semantic Kernel Phi-2 （& SLM container） Cosmos DB Ollama（後述） MongoDB
- 17. Model Vector Search Milvus vector DB Docker Windows Gremlin Vector schema Mongo DB Docker Windows Additional data Pipline Ollama API call RAG Embeddings area
- 18. docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
- 19. Model Phi-2 localllm Cloud Workstations Google Cloud Project Google Cloud Ollama (docker) Ubuntu WSL2 Windows Vector Search Milvus vector DB Docker Windows Gremlin Vector schema Mongo DB Docker Windows Additional data OllamaSharp Web App Graph API Semantic Kernel Kestrel Windows Pipline Ollama API call RAG Embeddings area
- 20. docker exec -it ollama ollama run phi GPU搭載PCの場合 docker exec -it ollama ollama run --gpu phi
- 21. docker exec -it ollama ollama pull llama2 docker exec -it ollama ollama run llama2
- 22. >>> /show 〇〇 >>> /bye
- 25. Model Phi-2 localllm Cloud Workstations Google Cloud Project Google Cloud Ollama (docker) Ubuntu WSL2 Windows Vector Search Milvus vector DB Docker Windows Gremlin Vector schema Mongo DB Docker Windows Additional data OllamaSharp Web App Graph API Semantic Kernel Kestrel Windows Pipline Ollama API call Office apps Microsoft 365 Entra ID Copilot for 〇〇 other resources RAG Embeddings area
- 27. Model Phi-2 localllm Cloud Workstations Google Cloud Project Google Cloud Ollama (docker) Ubuntu WSL2 Windows Vector Search Milvus vector DB Docker Windows Gremlin Vector schema Mongo DB Docker Windows Additional data OllamaSharp Web App Graph API Semantic Kernel Kestrel Windows Pipline Ollama API call Office apps Microsoft 365 Entra ID Copilot for 〇〇 other resources RAG Embeddings area
- 29. Model Phi-2 localllm Cloud Workstations Google Cloud Project Google Cloud Ollama (docker) Ubuntu WSL2 Windows Vector Search Milvus vector DB Docker Windows Gremlin Vector schema Mongo DB Docker Windows Additional data OllamaSharp Web App Graph API Semantic Kernel Kestrel Windows Pipline Office apps Microsoft 365 Entra ID Copilot for 〇〇 other resources RAG Ollama API call Embeddings area
- 30. docker pull milvusdb/milvus Ollamaの機能 GPU Acceleration Effortless Model Management Automatic Memory Management Support for a Wide Range of Models Effortless Setup and Seamless Switching Accessible Web User Interface (WebUI) Options
- 31. Model Phi-2 localllm Cloud Workstations Google Cloud Project Google Cloud Ollama (docker) Ubuntu WSL2 Windows Vector Search Milvus vector DB Docker Windows Gremlin Vector schema Mongo DB Docker Windows Additional data OllamaSharp Web App Graph API Semantic Kernel Kestrel Windows Pipline Office apps Microsoft 365 Entra ID Copilot for 〇〇 other resources RAG Ollama API call Embeddings area
- 34. Model Phi-2 localllm Cloud Workstations Google Cloud Project Google Cloud Ollama (docker) Ubuntu WSL2 Windows Vector Search Milvus vector DB Docker Windows Gremlin Vector schema Mongo DB Docker Windows Additional data OllamaSharp Web App Graph API Semantic Kernel Kestrel Windows Pipline Office apps Microsoft 365 Entra ID Copilot for 〇〇 other resources RAG Ollama API call Embeddings area 次回は開発部分をご説明します
- 36. OpenAI Brand guidelines https://openai.com/brand Google Brand Resource Center: Logos list https://about.google/brand-resource-center/logos-list/ PaLM 2 Technical Report https://ai.google/static/documents/palm2techreport.pdf MongoDB Brand Resources https://www.mongodb.com/brand-resources Gemini Cheat Sheet: Google’s State-of-the-Art Multimodal Assistant Explained https://gradientflow.com/gemini-cheat-sheet-googles-state-of-the-art-multimodal-assistant-explained/ Microsoft Research Data&AI https://www.microsoft.com/en-us/research/group/dataai/ Microsoft Copilot Studio https://www.microsoft.com/en-us/microsoft-copilot/microsoft-copilot-studio Azure AI Studio https://azure.microsoft.com/ja-jp/products/ai-studio クイック スタート: 独自のデータを使用して Azure OpenAI モデルとチャットする https://learn.microsoft.com/ja-jp/azure/ai-services/openai/use-your-data-quickstart?tabs=command-line%2Cpython&pivots=programming-language-studio THE BALANCING ACT OF TRAINING GENERATIVE AI https://www.nextplatform.com/2023/07/17/the-balancing-act-of-training-generative-ai/ 【Oracle Cloud ウェビナー】 LLM(大規模言語モデル)などの生成AIで圧倒的なコスト・パフォーマンスを提供するOracle AI インフラストラクチャ https://speakerdeck.com/oracle4engineer/ocwc_20231004_generativeai?slide=7 Pretrained Foundational Models in Generative AI https://docs.oracle.com/en-us/iaas/Content/generative-ai/pretrained-models.htm VizSeek: AI-based visual search platform deployment on Oracle Cloud https://docs.oracle.com/en/solutions/vizseek-on-oci/index.html#GUID-8F7CCB28-AAC9-4317-AD90-39246E19D29A
- 37. Oracle’s generative AI strategy https://blogs.oracle.com/ai-and-datascience/post/generative-ai-strategy Azure AI Search https://learn.microsoft.com/en-us/azure/search/search-what-is-azure-search Chroma https://docs.trychroma.com/ Pinecone (C#) https://about.google/brand-resource-center/logos-list/ Postgres (C#) https://about.google/brand-resource-center/logos-list/ Qdrant (C#) https://about.google/brand-resource-center/logos-list/ Redis (C#) https://about.google/brand-resource-center/logos-list/ SQLite (C#) https://about.google/brand-resource-center/logos-list/ Weaviate (C#) and for Python https://about.google/brand-resource-center/logos-list/ Chain-of-Thought Prompting Elicits Reasoning in Large Language Models https://arxiv.org/abs/2201.11903 Orca-2: Teaching Small Language Models How to Reason https://www.microsoft.com/en-us/research/publication/orca-2-teaching-small-language-models-how-to-reason/ TensorFlow Hub https://www.tensorflow.org/hub?hl=en MODEL ZOO https://pytorch.org/serve/model_zoo.html
- 38. How to Deploy Computer Vision Models Offline https://blog.roboflow.com/deploy-computer-vision-models-offline/ Use metadata to find content in document libraries in Microsoft Syntex https://learn.microsoft.com/en-us/microsoft-365/syntex/metadata-search Key concepts - Use Power Automate connectors in Microsoft Copilot Studio (Preview) https://learn.microsoft.com/en-us/microsoft-copilot-studio/advanced-connectors Manage your multi-cloud identity infrastructure with Microsoft Entra https://techcommunity.microsoft.com/t5/microsoft-mechanics-blog/manage-your-multi-cloud-identity-infrastructure-with-microsoft/ba-p/3709677 Customize a model with fine-tuning https://learn.microsoft.com/en-us/azure/ai-services/openai/how-to/fine-tuning?tabs=turbo%2Cpython&pivots=programming-language-studio Microsoft Copilot for Microsoft 365 overview https://learn.microsoft.com/en-us/microsoft-365-copilot/microsoft-365-copilot-overview Introducing BloombergGPT, Bloomberg’s 50-billion parameter large language model, purpose-built from scratch for finance https://www.bloomberg.com/company/press/bloomberggpt-50-billion-parameter-llm-tuned-finance/ GPTQ: ACCURATE POST-TRAINING QUANTIZATION FOR GENERATIVE PRE-TRAINED TRANSFORMERS https://arxiv.org/pdf/2210.17323.pdf Hugging Face https://huggingface.co/ TensorFlow Hub https://www.tensorflow.org/hub?hl=en PyTorch Zoo https://www.microsoft.com/en-us/research/publication/orca-2-teaching-small-language-models-how-to-reason/ Introducing Atlas Vector Search: Build Intelligent Applications with Semantic Search and AI Over Any Type of Data https://www.mongodb.com/blog/post/introducing-atlas-vector-search-build-intelligent-applications-semantic-search-ai Microsoft.SemanticKernel.Connectors.MongoDB https://github.com/microsoft/semantic-kernel/tree/main/dotnet/src/Connectors/Connectors.Memory.MongoDB
- 39. GPU は不要。localllm を使用してローカル CPU で生成 AI アプリを開発 https://cloud.google.com/blog/ja/products/application-development/new-localllm-lets-you-develop-gen-ai-apps-locally-without-gpus?hl=ja Docker hub: ollama/quantize https://hub.docker.com/r/ollama/quantize GitHub: Ollama WebUI https://github.com/open-webui/open-webui Open WebUI (Formerly Ollama WebUI) https://github.com/open-webui/open-webui Introducing Gemini: our largest and most capable AI model https://blog.google/technology/ai/google-gemini-ai/#sundar-note
Editor's Notes
- #2: Microsoft のSLMであるPhi-2をローカルで動かします。データ層と言語モデル、Semantic Karnel、UIのアーキテクチャーを解説し、RAGやベクターインデックスとの関連のお話をします。1月の振り返りでは、少し追加した情報があります。
- #3: 自己紹介をよむ 【クリック】
- #5: AIには大きさがあって目指すところが違います。LLMはAGIを目指していますしSLMはMultimodal AIやRAGを使ったタスク特化型のAIのコラボレーションによって企業の問題解決をしていくことを目指しています。これはあくまでクラウドAIのお話でした。Microsoft ResearchのOrca-2を追加しています。Orca-2はSLMを教育するモデルで、GPT-4だったらこのように推論するよという内容をSMLに教え込みます。そのためのデータセットの出力なども行います。ただし、ライセンス的にOrca-2で教育したモデルを商用利用することはできません。あくまでPoCや社内検証として利用することができます。
- #6: クラウドAIはEdge AIと目的が違います。これまでクラウドAIが注目されてきましたが2024年はEdge AIの時代に突入するかもしれません。クラウドAIを補完するEdge AIの時代が到来するには十分な理由になります。クラウドAIの補完とは、インターネットへの接続は必須であり、本人認証が必要だったりレスポンスの遅延が発生する可能性やクラウドのコンピューティングの能力に依存していることです。 ただし、現在「BYODの社内システムのアイデンティティとの紐づけ」や「社給端末の個人に特化した学習と社内でのロール（や認可）」に対して、要件や調整にヒューリスティックな解決を必要としますので、分散IDなどのインフラストラクチャーが成熟していない現段階では、Edge AIの企業導入にはまだハードルがあるといえます。
- #7: では、企業の問題解決に対して人と人、人と機械、企業と企業が協力して取り組むのと同じくAIも複数のタスク特化型のAIがコラボレーションして解決していくのか、大規模言語モデルを使って複数のタスクをこなすAIを構築していくのかを考慮すると、一般の多くの企業にとっては前者がその入り口になります。クラウドAIとEdge AIでもクラウドAI同士でも良いのですが、AIオーケストレーションによってAIの企業導入をスタートすることができるひとつの例が千葉のTuringという会社の取り組みです。 Multimodal AIは、AIオーケストレーションのひとつの形態です。Multimodal AIという文脈では画像や音声と文字などのデータの種類でのオーケストレーションが例に挙げられることが多いのですが、テキストとテキスト、文書と文書などの組合せも複数のモダリティとして理解するとSmall Language ModelのAIオーケストレーションの設計の幅が広がります。【図を説明：自動運転を車ごと開発している会社であり、現在信号の黄色だけを昼夜問わず適切に認識できるモデルを作成しています。そのようなタスク特化型AIが複数コラボレーションして車を自動運転します。】
- #8: 【図を説明：AIのサイズと情報の機密度を軸に分割しており、それぞれ特徴的な事例がすでに多数あり、日本の多くの企業にとってAIはタスク特化型のAI導入が有用と考えられる】 企業としては、おそらく右半分が戦略として有用かと思います。左については相当な規模の組織や莫大な資金を持つ組織だけが可能な領域だと思います。
- #9: その意味で多くの企業にとっては、AIは組織のデータ利活用のツールとして有用ということです。企業のデータ利活用を得意とするOracle Cloudのウェビナーではその取り組みを紹介しています。
- #10: もちろんエンタープライズReadyなMicrosoftも同様に簡単なAI利用から大規模な企業データの包括的な利活用に利用できるサービスがそろっています。Microsoft 365のデータ利活用からCopilot Studioを使ったビジネスインテリジェンス基盤であるPower Platformへの統合、OneLake上で統合されるDelta Parquet 形式のデータはSynapse Data ScienceによってAIのモデル作成・管理に利用できます。このモデルを使ってAzure AI Studioで作成されたカスタムCopilotはCopilot Studioで再利用することもできますし、Copilot for Fabric側で利用するフローを構築することもできます。OneLakeのデータは企業に導入されているPurviewの機能をそのまま使えます【説明：情報保護とデータ損失防止】。
- #11: 企業で簡単にAIを利用してMicrosoft 365データを利活用する例を2つ紹介します。
- #12: ひとつめは、企業でのAIによるMicrosoft 365データの利活用で最も簡単なのは用語ストアの出力とAzure Open AI ServiceのAdd your dataへのインポートです。ただし、左の画面を見ていただくとわかるのですがSharePoint管理センターの機能ですからMicrosoft 365管理者のロールが必要です。企業によってはこのロールを許可していない場合もあります。
- #13: もう一つはMicrosoft SyntexとPower Automateを使った文書自動生成です。例えば交通費精算書の作成申請などは自動化すべきだと思います。Microsoft Syntexはファイルのメタデータを自動的に収集してAIが分類、タグ付けなどを行える機能を持っていますのでSharePointに動的な表示を行ったりPower Automateを使ってフローを構築したりすることができます。
- #14: このようにMicrosoft 365データの利活用についてはすでにAIが使われていますので、設定やノーコード/ローコードでAIを企業に導入することができます。設計のステップとしてはMicrosoft 365データの利活用なのかどうか、カスタマイズが必要なのかどうかだけを判断することから始めます。Copilot Studioでデータとチャンネルを繋げるだけであったり、Microsoft Syntexでのメタデータによる自動振り分けやタグ付けでは足りない場合にのみ、では開発はどのように行っていくかを企業の特性に合わせて考えていけばいいわけです。 この際、重要な点はMicrosoft 365のデータように高度にセキュリティやプライバシー、企業のガバナンスが守られているかどうかという点です。AIが扱うデータがMicrosoft 365のデータでない場合は、Microsoft 365のデータのようにEntra IDでアイデンティティファブリックが完了しているかどうかによってAIの実装方法が変わってきます。Entra IDでないアイデンティティプロバイダーでアイデンティティファブリックが完了している場合は、そのアイデンティティプロバイダーが提供するツール群を使ってAIを構築していく必要があります。アイデンティティファブリックが完了していない場合は、それぞれのアイデンティティがアクセスできるデータをサイロ化した複数のAIをコラボレーションさせる必要があります。この場合は工数とのトレードオフになりますのでここでは推奨していません。
- #15: Microsoft 365のデータように高度にセキュリティやプライバシー、企業のガバナンスが守られているという点について、私が推奨するコンテンツがあります。これはMicrosoft 365習熟度モデルという設計概念で、レベル100～500までの習熟度が定義されていますので、皆さんの企業、または皆さんの顧客のレベルを評価し、上のレベルの習熟度に向けた取り組みを提案、実施していただけるといいと思います。
- #16: データ利活用という視点からAI導入する場合、「AIを使う人のアカウントがアクセスできる範囲のデータから結果が生成されること」を強く意識する必要があります。ネット検索を効率的に行いたい場合はインターネットすべてのリソースが解の生成元のデータとなりますので、非常に大きな言語モデルでないと広範なバリエーションの結果を迅速に得ることができません。しかし、企業内のデータならば小規模なAIで十分な解が得られると考えます。
- #17: 企業内のデータならば小規模なAIで十分な解が得られるという点が有用なのは、企業にAIを導入する際に稟議を通したり提案書を作成したりするのですが、その企業のテナントやデータが使えない場合があるからです。 AIの利点を訴求する場合はできればリアルなデータを使ってデータの利活用を訴求する方が効果が高いと思います。また提案のPoCなどを作成する場合、別途テナントを用意する必要がありますがその費用は持ち出しになると思います。 AIの開発環境構築は、すべてクラウドサービスを使ってでできることですが、みなさんがもっと手軽にスピーディにAI開発に着手できるよう、Microsoft ResearchのSLMであるPhi-2をローカルで動かして、AIが動く仕組みやRAG、ベクターインデックスとの関連を考えながら企画書やPoCを進めていく方法を解説します。
- #18: まずは、左のモデルの方から作っていきます。モデルのローカルLaunchのベースとなるのはOllamaです。AIの開発環境を構築する場合、Azure AI Studioのように完成された開発環境ではありませんが、クラウド側の開発環境としてGoogle CloudでもPythonユーザーが使いやすいCLI開発環境としてlocalllmがあります。また、LocalAI、Transformers、llama-cpp-pythonなども古くからあるローカルAI開発環境に利用されています。ここでは多くのモデルをサポートし、Web UIやC#ライブラリ、量子化用のGGUFファイルなどのエコシステムがそろっているOllamaを使った開発環境の例を使いますが、モデルの重み、構成、およびデータセットを管理できるローカルLauncherなら使いやすい環境を揃えてください。
- #19: いきなりdockerで実行させてますが、ローカルにインストールされていなければインストールから行います。
- #21: モデルも実行すると、ローカルに無い場合はインストールから始めます。
- #22: 「Ollama run」でモデルを実行するとそのまま会話をすることができますので、「pull」でなく「run」から始められます。Phi-2はそのままでは日本語で答えないのでモデルを切り替えてみます。ここでは「pull」をしてから「run」しています。「pull」は最新とローカルの差分をダウンロードします。
- #23: 「Ollama run」でモデルを実行するとそのまま会話をすることができますので、「pull」でなく「run」から始められます。Phi-2はそのままでは日本語で答えないのでモデルを切り替えてみます。ここでは「pull」をしてから「run」しています。「pull」は最新とローカルの差分をダウンロードします。
- #25: これは皆さんの開発スタイルに合わせて利用いただけたらと思います。左側のAutocoderはインテリセンスですね。Ollama APIを使ってモデルにいろいろ操作を加えるときのコーディング補助です。右側はCopilotなのでこのステップの次はコレでしょ的な補完をしてくれます。ジャストミートしなくともお作法を学べるツールです。
- #29: APIコンソールアプリは、オブジェクトの使い方のサンプル、Testsはテストプロジェクトなので.NET5.0で作成されているClientオブジェクトを利用します。このオブジェクトはOllama APIを操作するためのものですからOllamaSharpを使わず、そのままSemantic KernelからOllama APIを操作してもかまいません。
- #30: Embeddingsの説明をするためにVector databaseを使います。
- #32: Gremlinもインストールだけ済ませておきます。
- #35: Gremlinもインストールだけ済ませておきます。