資料飛輪 (Data Flywheel)
資料飛輪是一種持續自我強化的循環機制，利用從互動或流程收集的資料不斷微調 AI 模型，生成更優異的結果，以及更寶貴的資料，持續進步。
AI 資料飛輪運作機制為何？
AI 資料飛輪會建立循環機制，讓 AI 模型以最新的機構知識和使用者意見回饋為師，持續進步。系統與環境互動時會收集意見回饋與新資料，然後用於微調及強化骨幹模型，驅動 AI 工作流程。這個過程必須整理收集到的資料，讓資料品質更高，然後用這份資料微調基礎模型，確保 AI 模型的準確度與效能持續提升，並且將執行 AI 工作流程的總體擁有成本 (TCO) 最佳化。
圖 1：資料飛輪：資料處理、模型客製化、評估、防護措施與部署的持續循環機制，利用企業資料改進 AI 系統
此外還設有 AI 防護措施，可維護代理互動的誠信與可靠性，確保輸出內容準確、合規且安全。 這種意見回饋與強化的持續循環機制，可讓 AI 系統的效能與日俱進。
這個工作流程分為六大步驟：
1. 處理資料：企業資料是 AI 資料飛輪的第一步，包括文字文件、影像、影片、表格與圖形等諸多形式。AI 資料飛輪必須處理資料，才能擷取及微調原始資料。原始資料會經過進一步篩選，去除雜亂資訊、個人可識別資訊 (PII)，以及具毒性或有害的資料，整理出高品質資料。
2. 客製模型：您可運用領域自適應預訓練 (DAPT)、LoRA 與監督式微調 (SFT) 等大型語言模型 (LLM) 技術，將特定領域知識與特定任務技能加入模型，更深入瞭解公司獨特的詞彙與前後文脈絡。
3. 評估模型：接著，您可評估模型的效能，驗證答案 (輸出) 是否符合應用程式需求。前三個步驟以迭代方式完成，以確保模型品質提升，而且結果符合預期使用案例的需求。
4. 實施 AI 防護措施：將 AI 防護措施加入客製模型，確保應用程式與使用者和環境互動時，符合企業的特定隱私、資安與安全需求。
5. 部署客製模型：系統執行時，通常必須從愈來愈多的資料來源持續擷取資訊。 實作高效的檢索增強生成 (RAG) 系統，可確保 AI 能存取最相關的前後文，以更準確高效的方式為預期的使用案例發揮用途。
6. 微調企業資料： AI 系統運用豐富的領域專業知識與企業資料，持續與環境互動、生成推論日誌，以及擷取人類和 AI 的意見回饋。因此，機構資料會透過新收集的資料與時俱進。這些資料會送回資料處理步驟，整個流程反覆重複，以迭代的方式將 AI 工作流程的成本效益與準確度最佳化。
核心價值在於持續掌握使用者意見回饋與系統行為。設置 AI 資料飛輪後，您便可根據現實世界的使用模式，提供更具智慧且更符合前後文的回應、提高準確度，甚至是蒸餾出更小且更高效的模型，最終將總體擁有成本最佳化。
為了擴大 AI 規模而採用資料飛輪策略的目的為何？
| 腳色 | 職責 |
|---|---|
| 資料工程師 | 必須整理結構化和非結構化數據，以產生用於訓練 AI 模型的高品質數據 |
| AI 軟體開發人員 | 必須利用精選資料集來進一步訓練 AI 模型，以滿足特定目的 |
| IT 和 MLOps 團隊 | 必須在安全的環境中部署模型，同時考慮使用和存取要求 |
| 人類參與流程和 AI 系統 | 必須審查所產生的機構知識並對資料庫進行持續調整，因為它會不斷提供回饋到資料引擎中 |
由端到端驅動的自動化資料飛輪，可簡化整個持續改善的流程。它減少了對人力的需求、將工具整合例行成本降至最低，並減輕人工審查的負擔。這種配置使得維護與擴大 AI 系統規模變得更容易，尤其是在打造複雜多代理系統時更是如此。
為什麼資料飛輪對於代理型和生成式 AI 工作流程很重要？
採用 AI 代理與生成式 AI 應用程式時，需要靠資料飛輪持續改善及調整應用程式。業務需求改變或複雜度提高時，效能和成本往往成為成功的差異化因素。
以全球數一數二大的電信公司 AT&T 為例。對於全年無休個人化線上客戶支援的需求愈來愈高，AT&T 正將 採用 AI 技術的代理擴大到整個企業，提供更快速準確的客戶服務。AT&T 面對模型漂移、運算需求不斷上升，以及即時資料存取需求等難題之際，採用 NVIDIA NIM™ 與 NeMo™ 微服務打造資料飛輪驅動的 AI 平台，在持續提升效能的同時，將成本、速度與合規性最佳化。
組織利用高效的 AI 資料飛輪可以：
- 為企業或客戶需求量身打造符合成本效益的應用程式。
- 為改善使用者體驗，打造個人化的產品和服務並持續加以精煉。
- 達成各項具體目標，例如為了改善生產力而提高銷售轉換率或實施自動化。
為了保持競爭優勢，組織可收集及處理新的互動資料、精煉 AI 模型、以及逐步加強 AI 應用程式的效能。從 LLM 到視覺語言模型 (VLM) 皆可整合各類資料。
此外，開發團隊也可在正式環境部署更小且更高效的模型，大幅降低 AI 工作流程的總體擁有成本。在某些情況下，建置資料飛輪節省了 98% 以上的推論成本，而且準確度絲毫不打折扣。
這種方法可大幅降低開發及部署代理型與生成式 AI 解決方案所需的時間與資源。
何時該自動化並加速資料飛輪？
若要解決與代理型 AI 技術相關的相依性問題，必須為 AI 加速資料飛輪。
舉例而言，如果沒有意見回饋與記錄的中央系統，就很難追蹤及分析系統效能，資料飛輪的速度可能因而變慢。無法準確反映現實世界場景的評估資料集，可能導致模型效能不佳。
隨著知識庫更新，系統意見回饋的相關性可能下降，導致飛輪難以持續改進。人為介入雖然有益，但是會消耗大量資源且費時。解決這個問題是加速資料飛輪並維持其效果的關鍵。
因此，如果很多互動都發生在系統層級，而且會影響效能，就有必要加速。舉例而言，準確度和符合人類偏好對生成式 AI 應用程式很重要。在代理型 AI 應用程式，必須由 AI 知識工作者制定精簡的計畫，並且有效執行。
| 營運需求 | 建議 |
|---|---|
| 促進資源密集型任務，例如訓練資料審查 | 透過集中使用者資料收集和自動洞察生成，使用者資料分類簡化了人工審核。 |
| 透過優化模型增強代理型 AI 和生成式 AI 應用 | 資料飛輪可以透過 Helm Chart 部署或針對工作流程特定部分的 API 呼叫來驅動。 |
| 執行安全部署並保護企業數據 | 在 GPU 加速的雲端或私人資料中心上執行端對端工作流程，可提供更高的安全性、隱私性、控制力和整合靈活性。 |
資料飛輪如何防止模型偏移與過時的回應？
部署 AI 應用程式時，確保程式提供最新回應是一大設計考量。
隨著資料飛輪設置從最新 AI 互動中擷取越來越多的資料，因此模型可持續精煉，防止模型偏移與過時的回應。 方法是建立持續回饋的循環機制，擷取現實世界的使用資料、評估模型效能，並且視需要觸發重新訓練或微調。使用者與系統互動時，飛輪會收集高訊號資料，例如錯誤的預測、低可信度輸出，或使用者行為不斷變化，並且利用這類資料改善未來的模型迭代。這類持續進行的精煉作業，有助於模型持續符合現有的使用者需求與情境，降低輸出隨著時間浮現過時或不準確的風險。
同時，設計精良的資料飛輪可將模型生命週期的關鍵環節自動化，例如評估、資料整理與微調，降低總體擁有成本。系統不必重新訓練大型模型，單純使用相關度最高的資料便可微調較小且經過最佳化的模型，不僅能確保與精選且正確無誤的最新真實資料保持一致，同時還可大幅降低運算與基礎設施成本。飛輪結合智慧型資料收集與高效的模型精煉技術，可確保正式環境中的可擴充 AI 實現不可或缺的長期效能、可靠性與成本效益。
如何開始使用資料飛輪？
利用資料飛輪打造新一代的代理型 AI 與生成式 AI 應用程式，需要快速迭代及使用機構資料。
NVIDIA NeMo™ 是建立資料飛輪用的端到端平台，可讓企業利用最新資訊持續將 AI 代理最佳化。
NeMo 可幫助企業 AI 開發者大規模輕鬆管理資料、利用熱門的微調技術客製 LLM、根據產業與客製的基準測試以一致的方式評估模型，並且以各種防護措施保護模型，最終產生根據事實基礎的合宜輸出內容。
這款端到端平台採用模組化 AIOps 微服務，以易於使用的 API 呼叫形式提供給開發團隊使用，讓他們利用專有資料，為建置資料飛輪將訓練及實驗模型的過程自動化及加速。
NeMo 平台包括：
- NeMo Curator：高效整理訓練 LLM 用的高品質資料集，可提升模型效能並加速部署 AI 解決方案。
- NeMo Customizer：這款高效能的可擴充微服務，利用 LoRA 和 DPO 等熱門的高效參數微調技術，簡化 LLM 的微調與對齊過程。
- NeMo Evaluator：這款企業級微服務提供生成式 AI 模型、合成資料生成，以及端到端 RAG 工作流程的業界標準基準測試。
- NeMo Guardrails：這款微服務可供開發者在 LLM 技術的應用程式中，實施穩健的安全與資安措施，確保這些應用程式可靠並符合組織原則與準則。
- NeMo Retriever：這個系列的微服務透過可擴充的資料擷取，以及兼顧準確度和隱私的檢索方式驅動 AI 資料飛輪。有了從大量資料快速產生理解情境回覆的能力，開發者便能將 AI 應用程式連接至各種資料來源、打造 AI 查詢引擎，並且以即時深入解析持續精煉 AI 模型。
此外，AI Data Flywheel NVIDIA Blueprint 採用 NVIDIA NIM 與 NeMo 微服務，提供了快速開始打造資料飛輪的參考架構。這款藍圖讓團隊能利用 AI 代理互動產生的正式環境流量，持續將 LLM 蒸餾為更小、更便宜且速度更快的模型，而且準確度不受影響。它能自動執行結構化實驗，探索可用模型空間，為推進到正式環境或更深入的人工評估，篩選出前景可期的高效候選模型。