Scribd
Upload
32 views11 pages

AI晶片市場與技術趨勢

AI technology

Uploaded by

ethan.lin.nabu
Copyright
© © All Rights Reserved
We take content rights seriously. If you suspect this is your content, claim it here.
Available Formats
Download as PDF, TXT or read online on Scribd
32 views11 pages

AI晶片市場與技術趨勢

AI technology

Uploaded by

ethan.lin.nabu
Copyright
© © All Rights Reserved
We take content rights seriously. If you suspect this is your content, claim it here.
Available Formats
Download as PDF, TXT or read online on Scribd
You are on page 1/ 11

AI 晶片市場與技術趨勢

Analysis of AI Chip Market and


Technology Trend

August 31, 2022

鍾淑婷 Shu-Ting Chung

ethanys.lin2024/08/06 14:06
AI 晶片市場與技術趨勢
Analysis of AI Chip Market and
Technology Trend

鍾淑婷 Shu-Ting Chung

摘要

2026 年全球 AI 晶片的市場預估會超過 860 億美元，占整體半導


體市場的占比提高到近 11%。AI 晶片市場在 2021 到 2026 的年複合成
長率為 19.9%，正以每年三倍的速度快速擴大它在整個半導體市場的
市占率。資料中心的伺服器將開始大量布建 AI 加速器以及靠近數據收
集端的資料分析需求大增，都是造成 AI 晶片快速成長的主要原因。若
依 AI 晶片的元件類型分類，主流的 AI 晶片包含了應用處理器、GPU、
FPGA、ASIC 等等，各類型都有其特性及用於 AI 硬體加速的優缺點。

August 31, 2022

ethanys.lin2024/08/06 14:06
一、全球 AI 晶片市場趨勢

2026 年全球 AI 晶片的市場預估會超過 860 億美元，占整體半導


體市場的占比提高到近 11%

預估在 2026 年，全球 AI 晶片的市場會超過 860 億美元，占整體半導體市場的


占比提高到快 11%。全球 AI 晶片市場在 2021 到 2026 的年複合成長率為 19.9%，
整體半導體市場則是 5.8%，這代表 AI 晶片正以每年三倍的速度快速擴大它在整個
半導體市場的市占率。

資料來源：工研院產科國際所
註：數據源自於 Gartner 於 2022 年 5 月所發布之數據

圖 1、全球 AI 半導體與整體半導體市場趨勢

有三大關鍵趨勢是造成 AI 晶片這樣高速成長的因素。第一個是資料中心的伺服
器將開始大量布建 AI 加速器，執行 AI 演算法需要大量標記數據來進行訓練，目前
大多是透過 GPU 和專用 ASIC 來執行。2020 年已配有加速器的資料中心伺服器不
到 3%，預計 2026 會成長到超過 15%。

第二個是目前資料中心裡的 GPU 大部分都只用於 AI 訓練，但隨著市場的成熟


和各類應用被廣泛部署，這些 GPU 晶片也將開始大量用於 AI 推論。

第三個是靠近數據收集端的資料分析需求將大增，終端設備產生的大量數據需
要被更有效的利用，需要透過在靠近資料收集端的設備中，佈建 AI 晶片來執行演算
法，相關的分析需求包含影像辨識、物件分類等，越來越多感測器都被導入消費性
電子產品中，來強化 AI 功能和使用者體驗，雖然也可以透過 MCU 和 MPU 來處理
演算法並進行分析，但就沒有針對各應用軟體做優化，如果要運行 AI 需要高階的

August 31, 2022 1

ethanys.lin2024/08/06 14:06
MCU，這也會在功耗和尺寸上帶來限制，預估 2026 年會有超過 10%的消費性電子
產品的應用處理器會加入 AI 功能；而超過 5%的安全監控攝影機也會有 on-device
的即時監控分析功能。

AI 半導體市場分布

若是從終端應用來看 AI 晶片的市場分布狀況，2026 年 AI 半導體市場以通訊用


(41.1%)、運算用(37.9%)和車用(11.1%)電子產品為三大類主要應用市場，三者合計
約有九成的市占率。工業領域和消費性電子產品則是持續高度成長並逐漸出現一定
的市場規模。

資料來源：工研院產科國際所
註：數據源自於 Gartner 於 2022 年 5 月所發布之數據

圖 2、各應用類別之全球 AI 半導體市場分布

若從 AI 晶片的元件類型來看它的市場分佈，可以看到占比最高的是涵蓋 AI 運
算功能的應用處理器晶片，但占比將逐年衰退。主要衰退來自多媒體 AP。目前市場
上主流的 AI 晶片為 ASSP (特定應用標準產品)，執行 AI 運算不是這些 IC 的主要目
的，例如手機應用處理器內有影像 AI 的演算法，可針對拍攝的照片進行處理，還有
應用於自動駕駛設備中的處理器、AIoT 處理器晶片等。

2020 和 2021 年 AI 晶片快速成長，2020 年成長率最高的晶片類型為 FPGA、


GPU 和 ASIC，但隨著各式 AI 晶片的推出，使用 GPU 做 AI 加速運算的成長率也
開始逐漸放緩，而 ASIC 和運算型 MPU 則是未來幾年值得關注的市場。要是把應用
處理器這類不是專門執行 AI 的晶片移除不看，那麼未來的 AI 加速器市場中，ASIC、
MPU 這兩類的占比呈現快速提高，到 2026 年則跟 GPU 呈現三分天下的狀態。

August 31, 2022 2

ethanys.lin2024/08/06 14:06
資料來源：工研院產科國際所
註：數據源自於 Gartner 於 2022 年 5 月所發布之數據

圖 3、各元件類別之全球 AI 半導體市場分布

二、AI 晶片類型及特性
此處所提及的 AI 晶片指的是用來運行深度學習等 AI 演算法的晶片，也就是所
謂的硬體加速器，是用來幫助處理器降低工作負載，提高總傳輸量並降低功耗的晶
片。依元件類型主要可以分成四種：

最傳統的是 CPU，但存在許多架構上的限制；第二個是 GPU，高效能平行運


算的特性非常適合用來執行 AI 演算法，但功耗較大，且架構也不是為了 AI 演算法
而設計；FPGA 則是具有高度靈活性，且不需晶圓製造的 lead-time，可以很快地面
對市場，缺點是運算速度較慢，功耗也不小；最後是 ASIC，因為是為了各應用而特
別設計的 AI 晶片，運算性能和能耗表現都最好，缺點是開發的成本很高，能否成功
進入市場的風險也高。

August 31, 2022 3

ethanys.lin2024/08/06 14:06
表 1、AI 晶片的種類

AI 晶片類型 特色 範例
 傳統運行架構
 進行複雜運算：單核心→多核心。需考量
CPU
核心間的通訊和功耗問題
 馮紐曼架構存在結構限制
 適合高性能平行運算
GPU  能效較差  Nvidia A100
 非為 AI 演算法而生，架構尚有缺陷
 靈活性高
 Xilinx Versal
FPGA  上市時間短(不需要製造時間)
 Intel Arria
 速度較慢、面積較大、功耗較 ASIC 大
 客製化滿足各類應用
 運算性能最好、能耗最佳  Google TPU
ASIC / SoC
 開發成本高  Graphcore IPU
 AI 技術更迭快速，晶片開發風險高
資料來源：工研院產科國際所

使用 GPU、FPGA 或 ASIC 來進行 AI 運算的話，不論是訓練或推論的速度，


都是使用一般處理器的數十到數千倍，可以達到真正的硬體加速。而 AI 晶片的效率
也是非常重要的，要使用 AI 晶片的成本除了晶片本身的生產成本外，運作時的能源
耗費也會導致大量的運行成本，選擇適合的 AI 晶片就可以優化演算法達到提升效能
的優勢。

表 2、各類 AI 晶片的效能比較

資料來源：工研院產科國際所

除了前面四個可以用來執行深度學習演算法的 AI 晶片以外，近幾年還有一些新
興 AI 晶片推出，例如類腦晶片，但目前大多都還沒正式商用，像是 IBM 在 2014 年

August 31, 2022 4

ethanys.lin2024/08/06 14:06
推出的 TrueNorth 晶片，還有 Intel 的 Loihi 系列晶片等等。類腦晶片的神經網路運
作模式會更像人的大腦，所以速度會更快，而事件驅動的特性也大大降低了它的功
耗，類腦晶片也可以只透過少量資料就進行學習，並對隨機雜訊具有高校正彈性和
容錯性，缺點是可擴充性較低。

表 3、深度學習 AI 晶片與類腦晶片比較

資料來源：工研院產科國際所

三、市場上的各類型 AI 晶片案例

GPU

GPU 用作 AI 晶片的例子首推 Nvidia，因為 GPU 是設計來針對眾多畫素做簡


單的大量平行運算，正好非常適合執行深度學習的演算法，下表為 Nvidia 在發展 AI
應用中，最具代表性的三種晶片或架構。

資料來源：工研院產科國際所

圖 4、具發展代表性的 Nvidia AI 晶片

2017 年推出的 volta 架構首次採用了為了深度學習而設計的 tensor 核心，主要


用於雲端伺服器。Xavier 則是投入了非常大量的研發資源，主要是針對 edge 端的
汽車應用，也是 Nvidia 後續汽車相關晶片和平台的重要基礎。A100 晶片則是擁有
大量電晶體，而且因為採用稀疏模型能大幅提升效能，是近年很受市場歡迎的指標
性 AI 晶片。

August 31, 2022 5

ethanys.lin2024/08/06 14:06
雖然 GPU 做為 AI 加速器的趨勢會開始式微，但 Nvidia 在 AI 晶片領域其實還
是相當具有競爭力，因為其 GPU 語言 CUDA 在市場上已經很普及了，能夠支援的
環境和開發者都很多，具有非常完整的生態系，因此還是很多企業在考慮 AI 加速器
時的首選晶片。

ASIC

ASIC 晶片的代表則是 Google 的 TPU，Google 在 2016 年 AlphaGo 圍棋世紀


對決大勝後，於 Google I/O 大會上正式發表了機器戰勝人類的幕後推手-TPU 晶片。
TPU 內建了高容量的記憶體，並透過犧牲運算精度來實現低功耗、高效率和縮小晶
片面積等優點。有些人會把 AI 晶片和高效能運算晶片 HPC 看做是同一件事，但其
實對運算的精度需求這一點就是 AI 跟 HPC 最大的不同之處。

Google 的 TPU 從 2016 年的 AlphaGO 圍棋世紀對決一戰成名後，目前已經推


出到第四代產品了，而且也有對外銷售，不再是只供 google 內部使用的晶片。

另外根據 Google 發表在 2021 年 6 月的《Nature》期刊上的文章，第五代 TPU


將使用強化學習和圖形神經網路(GNN)來協助晶片設計中的 floorplan 部分，也就是
用 AI 來設計 AI。

表 4、Google TPU 晶片演進


TPU v1 TPU v2 TPU v3 TPU v4
發布時間 2016 2017 2018 2020

是否對外銷售 僅供內部使用 v v V

製程 28nm 16nm 16nm 7nm

算力 23 TFLOPS 45 TFLOPS 100 TFLOPS 275 TFLOPS

記憶體 8GB DDR3 16GB HBM 32GB HBM

功耗 40W 200W 250W

訓練/推論 推論 訓練+推論 訓練+推論 訓練+推論


+水冷系統
其他 +浮點運算
以散熱
資料來源：工研院產科國際所

另一個值得關注的 ASIC 產品是英國的新創，同時也是歐洲最大的半導體獨角


獸公司 Graphcore 推出的 IPU 晶片。不同於 GPU，IPU 是針對機器學習的邏輯所
開發的架構，專門用來執行模型訓練和推論。

August 31, 2022 6

ethanys.lin2024/08/06 14:06
如果 GPU 能夠同時處理 ABCD，那 IPU 就是把 ABCD 都分成數十個小物件來
處理，每個部分都有其專精處理的特定運算，然後再做結合。因此 IPU 晶片在一些
標準化的應用處理上會顯得效率較低，需要搭配龐大的 CPU 做支援，所以 IPU 晶
片目前都是以伺服器等應用為主。

Graphcore 的 IPU 晶片在 2022 年已經發表到第三代了，也是全球第一顆採用台積


Wafer-on-wafer 技術的 3D 封裝處理器，目前的主要客戶是美國能源部的國家實驗室。

資料來源：Graphcore

圖 5、Graphcore IPU 晶片

表 5、Graphcore IPU 晶片演進

 2020 年 7 月發表
 tsmc 7nm 製程
 具 1472 個獨立的處理器核心，On-Chip Memory 達 900MB，
電晶體數量達 594 億顆，比同級的 Nvidia A100 的 540 億顆
第二代 IPU 晶片
多了 10%，比同級的 Nvidia A100 的 540 億顆多了 10%
GC200 (MK2)
 GC200 晶片並無單獨販售，而是搭配 Graphcore 的系統及
運算引擎 M2000 來銷售，M2000 內含四顆 GC200 晶片，
結合其獨家技術 Exchange-Memory，可讓數百 GB 的 Off-
Chip memory 在晶片旁發揮強大效用
 2022 年 3 月發表
 tsmc 7nm 製程

第三代 IPU 晶片  全球首個 3D 封裝處理器：採 tsmc wafer-on-wafer (WoW)技術


Bow  美國能源部(DOE)國家實驗室 Pacific Northwest(PNNL)將
是首批使用 Bow IPU 改進效能和能耗的客戶之一，預計作
為化學計算和網路安全等應用
資料來源：工研院產科國際所

August 31, 2022 7

ethanys.lin2024/08/06 14:06
IEKView
AI 演算法的效能需要完善的軟硬整合才能更加快速、更加聰明。因為涉及的領
域十分廣泛，所以可望帶來龐大的市場商機。AI 晶片市場成長速度非常快，且這個
領域目前還是百花爭鳴的狀態，由於進入的門檻比起過去欲跨入晶片產業來說是相
對低的，建議相關的專業人才可以評估自身研發能量，把握時機找到最適合切入 AI
晶片市場的機會所在。

低功耗是 AI 晶片能否真正商用的一個重要趨勢，改變架構或是微縮神經網路都
是可行的方向，MCU 的普及已幫 AIoT 打好基礎，若能再加入 tinyML 的優勢應該
能帶動下一波微型 Edge AI 應用市場。

August 31, 2022 8

ethanys.lin2024/08/06 14:06
以上報告所提供之資訊，在尖端科技發展與產業變動中，無法保證資訊的時
效性及完整性，使用者應自行承擔因使用本報告資料可能產生之任何損害。
著作權歸工研院所有，非經書面允許，不得以任何形式進行局部或全部之重
製、公開傳輸、改作、散布或其他利用本報告資料之行為。

會員服務專屬：http://www.iek.org.tw

服務專線：03-5912340
傳真電話：03-5820302
客服信箱：[email protected]

August 31, 2022 9

ethanys.lin2024/08/06 14:06

You might also like