發布日期：2024 年 5 月 14 日，上次更新日期：2024 年 5 月 20 日
我們正在開發網頁平台 API 和瀏覽器功能，這些功能可與瀏覽器中建構的 AI 模型、專家模型和大型語言模型 (LLM) 搭配使用。其中包括 Gemini Nano，這是 Gemini 系列 LLM 中最有效率的版本，專為在大多數新型電腦和筆記型電腦上執行本機運算而設計。有了內建 AI 技術，您的網站或網頁應用程式就能執行 AI 輔助工作，無須部署、管理或自行代管 AI 模型。
瞭解內建 AI 的優點、我們的導入計畫，以及如何善用這項技術。
內建 AI 技術對網頁程式開發人員的好處
瀏覽器會透過內建 AI 提供及管理基礎和專家模型。
內建 AI 有下列優點：
- 簡易部署：瀏覽器會發布模型、考量裝置功能，並管理更新。也就是說，您不需要負責透過網路下載或更新大型模型。您不必解決儲存空間淘汰、執行階段記憶體預算、服務成本和其他挑戰。
- 存取硬體加速功能：瀏覽器的 AI 執行時間已經過最佳化，可充分利用可用的硬體，無論是 GPU、NPU 或備用的 CPU 皆可。因此，應用程式可以在每部裝置上獲得最佳效能。
執行用戶端的好處
有了內建 AI，您就能執行 AI 用戶端，享有以下優勢：
- 機密資料的本機處理：用戶端 AI 可改善隱私權狀況。舉例來說，如果您要處理機密資料，可以為使用者提供端對端加密的 AI 功能。
- 快速的使用者體驗：在某些情況下，捨棄與伺服器的來回通訊，可讓您提供幾乎即時的結果。用戶端 AI 技術可提供可行功能，或是提供次佳的使用者體驗。
- 擴大 AI 存取權：使用者的裝置可承擔部分處理負載，以便使用更多功能。舉例來說，如果您提供進階 AI 功能，可以透過用戶端 AI 預覽這些功能，讓潛在客戶瞭解產品的優點，而您也不必額外付費。這種混合方法也可協助您管理推論成本，特別是針對經常使用的使用者流程。
- 離線 AI 用途：即使沒有網路連線，使用者仍可使用 AI 功能。這表示您的網站和網頁應用程式可以在離線或網路連線不穩定的情況下正常運作。
混合式 AI：用戶端和伺服器端
雖然用戶端 AI 可處理多種用途，但某些用途需要伺服器端支援。伺服器端 AI 是大型模型的絕佳選擇，而且可支援更多平台和裝置。
如果您的應用程式需要以下功能，不妨考慮採用混合式做法：
- 複雜度：特定且容易上手的用途，更容易透過裝置端 AI 技術支援。如果用途複雜，請考慮採用伺服器端實作方式。
- 彈性：預設使用伺服器端，當裝置離線或連線不穩定時，則使用裝置端。
- 優雅的備用方案：採用內建 AI 的瀏覽器需要時間，部分型號可能無法使用，舊版或效能較低的裝置可能不符合執行所有型號的硬體需求。為這些使用者提供伺服器端 AI。
舉例來說，如果您使用內建的提示 API (即將在原始試用版中推出)，該 API 只適用於 Windows、macOS 和 Linux 電腦上的 Chrome 瀏覽器和 Chrome 擴充功能。為確保所有使用者都能享有 AI 功能的優點，請使用 Firebase AI Logic 設定混合式架構。
使用 Gemini 模型時，您可以使用 Node.js 建構後端整合。
使用內建 AI
您可以透過工作 API (例如 Translator API 或 Summarizer API) 存取內建 AI 功能。任務 API 的設計目的，是針對指派作業執行最佳模型的推論。
在 Chrome 中，這些 API 是為了針對 Gemini Nano 執行推論，並使用精細調整或專家模型。Gemini Nano 是專為在大多數現代裝置上執行而設計，最適合用於語言相關用途，例如摘要、改寫或分類。
使用內建 AI 的時機
以下列舉內建 AI 技術可為您和使用者帶來的益處：
- AI 強化內容消費：包括摘要、翻譯、分類、特徵化，以及提供知識。
- AI 輔助內容創作：例如撰文輔助、校對、文法校正和改寫。
在 Chrome 穩定版和來源試用版中，您可以使用多個內建 AI API。搶先體驗計畫 (EPP) 參與者可使用探索性 API 和早期 API。
預覽新功能
我們需要您的意見來塑造 API，確保 API 可滿足您的用途，並在與其他瀏覽器供應商討論標準化時提供參考。
加入 EPP，針對內建 AI 概念提供早期意見回饋，並透過本機原型設計，發掘測試開發中的 API 的機會。