人工智能熱潮面前，淘金洼地接踵而至，安防、醫療、零售、出行、教育、制造業……因循守舊的傳統行業正因為人工智能的嵌入而煥發出更多維度的商業機會，而這些機會都離不開基礎層算力的支持，于是「AI 芯片」成為了 2018 年度最為熱門的關鍵詞之一。

然而，一個尷尬卻無奈的現實正橫亙在人工智能落地之路上——算力捉襟見肘，走出測試階段的 AI 芯片寥寥無幾，特定計算需求無法滿足，導致再完美的算法也難以在實際場景中運行。

最典型的例子，安防市場談智能終端攝像頭已經有兩三年時間，盡管巨頭新秀的口號此起彼伏，但迫于芯片市場進度滯后，該類攝像頭至今仍未普及開來。但與此同時，算力的進步恰恰來自于算法的迭代和優化。算法和算力——雞和蛋的互生問題，正在相互促進卻又在彼此制約中發展。

今天，機器之心帶來一篇深刻講述 AI 芯片產業發展全貌的權威報告——由清華大學—北京未來芯片技術高精尖創新中心聯合發布的《人工智能芯片技術白皮書（2018）》。

《白皮書》編寫團隊資深權威，包括斯坦福大學、清華大學、香港科技大學、臺灣新竹清華大學及北京半導體行業協會，新思科技等在內的領域頂尖研究者和產業界資深專家，10 余位 IEEE Fellow，共同編寫完成。

《白皮書》發布儀式現場，照片從左至右分別為劉勇攀、尹首一、X.Sharon Hu、Kwang-Ting Tim Cheng、魏少軍、唐杉、Yiran Chen、吳華強。

《白皮書》以積極的姿態分享了近兩年來 AI 芯片與算法領域的諸多創新成果，通過客觀闡述 AI 芯片在軟硬件層面的技術難度，剖析 AI 芯片目前所處的產業地位、發展機遇與需求趨勢，梳理 AI 芯片產業現狀及各種技術路線，增進產業人士和從業者對于 AI 芯片市場的風險預判，以更為自信和從容的姿態迎接芯片市場的新機遇和新挑戰。

一、AI 芯片的基本定義

《白皮書》第一、二、三章開宗明義，綜述了 AI 芯片的技術背景，從多個維度提出了滿足不同場景條件下理想的 AI 芯片和硬件平臺的關鍵特征，提出 AI 芯片技術的重要地位以及對于我國未來芯片及人工智能領域發展的意義。

業界關于 AI 芯片的定義仍然缺乏一套嚴格和公認的標準。比較寬泛的看法是，面向人工智能應用的芯片都可以稱為 AI 芯片。由于需求的多樣性，很難有任何單一的設計和方法能夠很好地適用于各類情況。因此，學界和業界涌現出多種專門針對人工智能應用的新穎設計和方法，覆蓋了從半導體材料、器件、電 路到體系結構的各個層次。

該《白皮書》探討的 AI 芯片主要包括三類：

1）經過軟硬件優化可以高效支持 AI 應用的通用芯片，例如 GPU ;

2）側重加速機器學習（尤其是神經網絡、深度學習）算法的芯片，這也是目前 AI 芯片中最多的形式 ;

3）受生物腦啟發設計的神經形態計算芯片。

AI 技術的落地需要來自多個層面的支持，貫穿了應用、算法機理、芯片、工具鏈、器件、工藝和材料等技術層級。各個層級環環緊扣形成AI的技術鏈，而AI芯片本身處于整個鏈條的中部，向上為應用和算法提供高效支持，向下對器件和電路、工藝和材料提出需求。

針對應用目標是「訓練」還是「推斷」，把 AI 芯片的目標領域分成 4 個象限。

1、云端AI計算

面向云端 AI 應用，很多公司開始嘗試設計專用芯片以達到更高的效率，其中最著名的例子是 Google TPU，可以支持搜索查詢、翻譯等應用，也是 AlphaGo 的幕后英雄。

由于使用了專用架構，TPU 實現了比同時期 CPU 和 GPU 更高的效率。

針對云端的訓練和推斷市場，從芯片巨頭到初創公司都高度重視。英特爾宣布推出 Nervana 神經網絡處理器 (NNP)，可以優化 32GB HBM2、1TB/s 帶寬和 8Tb/s 訪問速度的神經網絡計算。 初創公司，如Graphcore、Cerebras、Wave Computing、寒武紀及比特大陸等也加入了競爭的行列。

此外，FPGA 在云端的推斷也逐漸在應用中占有一席之地。

微軟的 Brainwave 項目和百度 XPU 都顯示，在處理小批量情況下，FPGA 具有出色的推斷性能。目前， FPGA 的主要廠商如 Xilinx、Intel 都推出了專門針對 AI 應用的 FPGA 硬件（支持更高的存儲帶寬）和軟件工具；主要的云服務廠商，比如亞馬遜、微軟及阿里云等推出了專門的云端 FPGA 實例來支持 AI 應用。

2、邊緣 AI 計算

邊緣設備的覆蓋范圍其應用場景也五花八門。比如自動駕駛汽車可能就需要一個很強的計算設備，而在可穿戴領域，則要在嚴格的功耗和成本約束下實現一定的智能 。

目前應用最為廣泛的邊緣計算設備來自于智能手機，蘋果、華為、高通、聯發科和三星等手機芯片廠商紛紛推出或者正在研發專門適應AI應用的芯片產品。創業公司層面，主要為邊緣計算設備提供芯片和系統方案，比如地平線機器人、寒武紀、深鑒科技、元鼎音訊等。

傳統的 IP 廠商，包括 ARM、Synopsys 等公司也都為手機、智能攝像頭、無人機、工業和服務機器人、智能音箱以及各種物聯網設備等邊緣計算設備開發專用 IP 產品。

自動駕駛是未來邊緣 AI 計算的最重要應用之一，MobileEye SOC 和 NVIDA Drive PX 系列提供神經網絡的處理能力可以支持半自動駕駛和完全自動駕駛。

3、云和端的融合

總的來說，云和端各有其優勢和明顯短板。云側AI處理主要強調精度、處理能力、內存容量和帶寬，同時追求低延時和低功耗；邊緣設備中的 AI 處理則主要關注功耗、響應時間、體積、成本和隱私安全等問題。

在實際應用中，云和邊緣設備在各種 AI 應用中往往是配合工作。最普遍的方式是在云端訓練神經網絡，然后在云端（由邊緣設備采集數據）或者邊緣設備進行推斷。隨著邊緣設備能力不斷增強，云的邊界逐漸向數據的源頭，AI處理將分布在各類網絡設備中，未來云和邊緣設備以及連接他們的網絡可能會構成一個巨大的 AI 處理網絡，它們之間的協作訓練和推斷也是一個有待探索的方向。

二、突破 AI 芯片兩大困境

《白皮書》第四章分析在 CMOS 工藝特征尺寸逐漸逼近極限的大背景下，結合 AI 芯片面臨的架構挑戰，AI 芯片的技術趨勢。一方面，研究具有生物系統優點而規避速度慢等缺點的新材料和新器件，采用新的計算架構和計算范式，另一方面，將芯片集成從二維平面向三維空間拓展，采用更為先進的集成手段和集成工藝，將是 AI 芯片技術在很長一段時期內的兩條重要的路徑。

1、馮·諾伊曼的「內存墻」

在傳統馮·諾伊曼體系結構中，數據從處理單元外的存儲器提取，處理完之后在寫回存儲器。在 AI 芯片實現中，由于訪問存儲器的速度無法跟上運算部件消耗數據的速度，再增加運算部件也無法得到充分利用，即形成所謂的馮·諾伊曼「瓶頸」，或「內存墻」問題，是長期困擾計算機體系結構的難題。

提高 AI 芯片性能和能效的關鍵之一在于支持高效的數據訪問。目前常見的方法是利用高速緩存 (Cache) 等層次化存儲技術盡量緩解運算和存儲的速度差異。

從上圖可見，AI 芯片中需要存儲和處理的數據量遠遠大于之前常見的應用。 比如，在常見的深度神經網絡的主要參數中，VGG16 網絡需要 138M 個權重參數，一次推斷過程需要 15.5G 次乘累加運算。

不夸張地說，大部分針對 AI，特別是加速神經網絡處理而提出的硬件架構創新都是在和馮·諾伊曼的瓶頸做斗爭。概括來說，在架構層面解決這一問題的基本思路有兩種 :

1）減少訪問存儲器的數量，比如減少神經網絡的存儲需求(參數數量，數據精度，中間結果)、 數據壓縮和以運算換存儲等 ；

2）降低訪問存儲器的代價，盡量拉近存儲設備和運算單元的「距離」，甚至直接在存儲設備中進行運算。

2、摩爾定律「失效」

由于基礎物理原理限制和經濟的原因，持續提高集成密度將變得越來越困難。目前，CMOS 器件的橫向尺寸接近幾納米，層厚度只有幾個原子層，這會導致顯著的電流泄漏，降低工藝尺寸縮小的效果。此外，這些納米級晶體管的能量消耗非常高，很難實現密集封裝。

另外，目前 DRAM 技術已經接近極限，而物聯網 (IoT)、社交媒體和安全設備產生的大量數據所需要的存儲、交換和處理都需要大量的存儲器。非易失存儲技術的主力是 NAND 閃存，最先進的 3D NAND 具有多達 64 層和 256 Gb 的容量，預計于 2018 年進入市場。

由于 DRAM 和 NAND 閃存都是獨立于計算核心的，即使采用最小的 SRAM 單元填充 1 平方厘米芯片面積的一半，也只有約 128 兆的片上存儲容量。因此，我們有充足的理由開發提供大量存儲空間的片上存儲器技術，并探索利用片上存儲器去構建未來的智能芯片架構。

在計算架構和器件層面，類腦芯片是一個不錯的思路。神經元和大腦突觸的能量消耗比最先進的 CMOS 器件還低幾個數量級。理想情況下，我們需要具有生物系統優點而規避速度慢等缺點的器件和材料。

近年來，可以存儲模擬數值的非易失性存儲器發展迅猛，它可以同時具有存儲和處理數據能力，可以破解傳統計算 體系結構的一些基本限制，有望實現類腦突觸功能。

三、架構設計之三大趨勢

《白皮書》第五章討論了建立在當前 CMOS 技術集成上的云端和邊緣 AI 芯片架構創新。針對不同計算場景和不同計算需求，云端和終端芯片的架構設計趨勢將朝不同的方向發展，而軟件定義芯片已經成為靈活計算領域的主流。

1、云端訓練和推斷:大存儲、高性能、可伸縮

雖然訓練和推斷在數據精度、架構靈活和實時性要求上有一定的差別，但它們在處理能力(吞吐率)、可伸縮可擴展能力以及功耗效率上具有類似的需求。

NVIDA 的 V100 GPU 和 Google 的 Cloud TPU 是目前云端商用 AI 芯片的標桿。

（Cloud TPU 的機柜包括 64 個 TPU2，能夠為機器學習的訓練任務提供 11.5 PFLOPS 的處理能力和 4 TB 的 HBM 存儲器。這些運算資源還可以靈活地分配和伸縮，能夠有效支持不同的應用需求。）

從 NVIDA 和 Goolge 的設計實踐我們可以看出云端 AI 芯片在架構層面，技術發展呈現三大特點和趨勢：

1）存儲的需求 (容量和訪問速度) 越來越高。未來云端 AI 芯片會有越來越多的片上存儲器 (比如 Graphcore 公司就在芯片上實現的 300MB 的 SRAM)，以及能夠提供高帶寬的片外存儲器 (HBM2 和其它新型封裝形式)。

2）處理能力推向每秒千萬億次 (PetaFLOPS)，并支持靈活伸縮和部署。對云端 AI 芯片來說，單芯 片的處理能力可能會達到 PetaFLOPS 的水平。實現這一目標除了要依靠 CMOS 工藝的進步，也需要靠架構的創新。比如在 Google 第一代 TPU 中，使用了脈動陣列 (Systolic Array) 架構，而在 NVIDA 的 V100GPU 中，專門增加了張量核來處理矩陣運算。

3）專門針對推斷需求的 FPGA 和 ASIC。推斷和訓練相比有其特殊性，更強調吞吐率、能效和實時性，未來在云端很可能會有專門針對推斷的 ASIC 芯片 (Google 的第一代 TPU 也是很好的例子)，提供更好的能耗效率并實 現更低的延時。

2、邊緣設備：把效率推向極致。

相對云端應用，邊緣設備的應用需求和場景約束要復雜很多，針對不同的情況可能需要專門的架構設計。拋開需求的復雜性，目前的邊緣設備主要是執行「推斷」。衡量 AI 芯片實現效率的一個重要指標是能耗效率——TOPs/W，這也成為很多技術創新競爭的焦點。在 ISSCC2018 會議上，就出現了單比特能效達到 772 TOPs/W 的驚人數據。

在提高推斷效率和推斷準確率允許范圍內的各種方法中，降低推斷的量化比特精度是最有效的方法。此外，提升基本運算單元 (MAC) 的效率可以結合一些數據結構轉換來減少運算量，比如通過快速傅里葉變換 (FFT) 變換來減少矩陣運算中的乘法；還可以通過查表的方法來簡化 MAC 的實現等。

另一個重要的方向是減少對存儲器的訪問，這也是緩解馮·諾伊曼「瓶頸」問題的基本方法。利用這樣的稀疏性特性，再有就是拉近運算和存儲的距離，即的概念，比如把神經網絡運算放在傳感器或者存儲器中。

3、軟件定義芯片

對于復雜的 AI 任務，甚至需要將多種不同類型的 AI 算法組合在一起。即使是同一類型的 AI 算法，也會因為具體任務的計算精度、性能和能效等需求不同，具有不同計算參數。因此，AI 芯片必須具備一個重要特性:能夠實時動態改變功能，滿足軟件不斷變化的計算需求，即「軟件定義芯片」。

可重構計算技術允許硬件架構和功能隨軟件變化而變化，具備處理器的靈活性和專用集成電路的高性能和低功耗，是實現「軟件定義芯片」的核心，被公認為是突破性的下一代集成電路技術。清華大學微電子所設計的 AI 芯片 (代號 Thinker)，采用可重構計算架構，能夠支持卷積神經網絡、全連接神經網絡和遞歸神經網絡等多種 AI 算法。

Thinker 芯片通過三個層面的可重構計算技術，來實現「軟件定義芯片」，最高能量效率達到了 5.09TOPS/W :

1. 計算陣列重構：Thinker 芯片每個計算單元可以根據算法所需要的基本算子不同而進行功能重構，支持計算陣列的按需資源劃分以提高資源利用率和能量效率。

2. 存儲帶寬重構 :Thinker 芯片的片上存儲帶寬能夠根據 AI 算法的不同而進行重構。存儲內的數據分布會隨著帶寬的改變而調整，以提高數據復用性和計算并行度，提高了計算吞吐和能量效率。

3. 數據位寬重構 :為了滿足 AI 算法多樣的精度需求，Thinker 芯片的計算單元支持高低 (16/8 比特) 兩種數據位寬重構。高比特模式下計算精度提升，低比特模式下計算單元吞吐量提升進而提高性能。

采用可重構計算技術之后，軟件定義的層面不僅僅局限于功能這一層面。算法的計算精度、性能和能效等都可以納入軟件定義的范疇。

四、新興存儲技術打開新思路

《白皮書》第六章主要介紹對 AI 芯片至關重要的存儲技術，包括傳統存儲技術的改進和基于新興非易失存儲（NVM）的存儲器解決方案。

可以預見的是，從器件到體系結構的全面創新或將賦予 AI 芯片更強的能力。近期，面向數字神經網絡的加速器 (GPU、 FPGA 和 ASIC) 迫切需要 AI 友好型存儲器 ;中期，基于存內計算的神經網絡可以為規避馮·諾依曼瓶頸問題提供有效的解決方案 ；最后，基于憶阻器的神經形態計算可以模擬人類的大腦，是 AI 芯片遠期解決方案的候選之一。

1、AI 友好型存儲器

上圖顯示了新興存儲技術中帶寬和容量的快速增長。新興的 NVM 由于其相對較大的帶寬和迅速增長的容量，可以在 AI 芯片的存儲技術中發揮至關重要的作用。對于嵌入式應用，NVM 的片上存儲器也可以提供比傳統 NVM 更好的存取速度和低功耗，可在非常有限的功率下工作，這對于物聯網邊緣設備上的 AI 芯片特別具有吸引力。

2、片外存儲器

3D 集成已經被證明是增加商業存儲器的帶寬和容量的有效策略，其可以通過使用從底部到頂部的硅通孔 (TSV) 技術，堆疊多個管芯或者單片制造的方法來完成。DRAM 的代表作品包括 HBM 和混合存儲器立方體 (HMC)。

上圖顯示了 NVIDA 的 GPU 產品與 HBM 集成的 AI 應用程序。對于 NAND 閃存，3D NAND 正在深入研究。最近，三星已經開發出 96 層 3D NAND。

3、片上（嵌入型）存儲器

由于能夠連接邏輯和存儲器電路，并且與邏輯器件完全兼容，SRAM 是不可或缺的片上存儲器，其性能和密度不斷受益于 CMOS 的尺寸縮放。其易失性使得芯片上或芯片外的非易失性存儲器成為必須。當前主要和新興存儲器的器件指標如下：

此外，自旋力矩傳輸存儲器 (STT-MRAM) 由于其高耐久性和高速度被認為是 DRAM 的替代品。

五、五大計算技術開辟疆界

《白皮書》第七章重點討論 AI 芯片在工藝、器件、電路和存儲器方面的前沿研究工作，和以此為基礎的存內計算、生物神經網絡等新技術趨勢。

雖然成熟的 CMOS 器件已被用于實現這些新的計算范例，但是新興器件有望在未來進一步顯著提高系統性 能并降低電路復雜性。這其中包括近內存計算、存內計算，以及基于新型存儲器的人工神經網絡和生物神經網絡。

基于新興非易失性存儲器件的人工神經網絡計算最近引起了人們的極大關注。這些器件包括鐵電存儲器 (FeRAM)、磁隧道結存儲器 (MRAM)、相變存儲器 (PCM) 和阻變存儲器 (RRAM) 等，它們可用于構建待機功耗極低的存儲器陣列。更重要的是，它們都可能成為模擬存內計算 (Analog In-memory Computing) 的基礎技術，實現數據存儲功能的同時參與數據處理。這些器件一般都以交叉陣列 (crossbar) 的形態實現，其輸入 / 輸出信號穿過構成行列的節點。

上圖就是一個 RRAM 交叉陣列的例子，其中矩陣權重被表示為電導。交叉陣列非常自然地實現了向量和矩陣乘法，使用圖中集成 1024 單元的陣列進行并行在線訓練，清華大學吳華強課題組在國際上首次成功實現了灰度人臉分類。

另一種更具生物啟發性的方法是采用脈沖神經網絡等，更嚴格地模擬大腦的信息處理機制。IBM TrueNorth 和最近宣布的英特爾 Loihi 展示了使用 CMOS 器件的仿生脈沖神經網絡硬件實現。

六、神經形態芯片的終極夢想

《白皮書》第八章介紹神經形態計算技術和芯片的算法、模型以及關鍵技術特征，并分析該技術面臨的機遇和挑戰。

神經形態芯片 (Neuromorphic chip) 采用電子技術模擬已經被證明了的生物腦的運作規則，從而構建類似于生物腦的電子芯片，即「仿生電腦」。

廣義上來講，神經形態計算的算法模型可以大致分為人工神經網絡 (Artificial Neural Network, ANN)、脈沖神經網絡 (Spiking Neural Network, SNN)，以及其他延伸出的具有特殊數據處理功能的模型。在沒有歷史記憶情形下，SNN 與 ANN 具有一定程度的等價性。

借鑒生物腦的互聯結構，神經形態芯片可以實現任意神經元間的互聯。即在指定規模的仿生神經網絡下，任意一個神經元都可以把信息傳遞給指定的另一個或多個神經元。如此強大的細粒度互聯能力是其他神經網絡 / 深度學習芯片目前還無法做到的。

神經形態芯片在智能城市、自動駕駛的實時信息處理、人臉深度識別等領域都有出色的應用。如 IBM TrueNorth 芯片可以用于檢測圖像中的行人、車輛等物體，且功耗極低 (65mW)。它也可被用于語音、 圖像數據集識別等任務，準確性不遜于 CNN 加速器芯片。此外，在線學習能力也是神經形態芯片的一大亮點。

研究人員已證明，與其他典型的 SNN 網絡相比，在解決 MNIST 數字體識別問題上，英特爾 Loihi 芯 片將學習速度提高了 100 萬倍。

在傳統 CMOS 工藝下，神經形態芯片的物理結構較為成熟，但對于可以仿真大規模神經網絡而言 (如 大于人腦 1% 規模的系統而言)，仍存在很多挑戰，包括：

1）散熱問題將導致單芯片規模無法繼續增長，片上存儲和積分計算單元的密度不夠，導致集成的突觸和神經元數量無法繼續提升，功耗居高不下。

2）由于其陣列眾核的特性，在片上、跨芯片、跨板、多機等尺度下的互聯和同步問題突出。

3）為了提升密度，大多 ASIC 芯片可模擬的神經形態算法過于單一或簡化，缺乏靈活性和模仿真實生物神經元的能力。

七、AI 芯片的測試判斷

《白皮書》第九章探討了 AI 芯片的基準測試和發展路線圖。目前，我們還沒有看到任何公開、全面的針對 AI 芯片的基準測試工作。業界對于 AI 芯片的評估主要靠運行一些 常見的神經網絡以及其中使用較多的基本運算來進行，比如由百度提出 Deepbench。

EXCEL 中心的研究人員 (由美國 NSF 和 SRC 資助) 正在積極研究非馮·諾依曼硬件的基準測試方法學，比如針對 MNIST 數據集的任務。為了應對面向 AI 應用的硬件基準測試的相關挑戰，我們需要收集一組架構級功能單元，確定定量和定性的優值 (Figures of Merits, FoM) 并開發測量 FoM 的統一方法。

神經形態計算的材料和器件需要具備：

1) 多態行為，能夠根據過去的歷史決定當前狀態值 ;

2) 低能耗，能以很 低的能耗從一種狀態切換到另一種狀態 ;

3) 非易失性 :無需刷新就可以保持狀態的屬性 ;

4) 閾值行為 :受到重復激 勵后可以劇烈地改變某些屬性 ;

5) 容錯性。

判斷一顆基于某種特定器件工藝、電路形式和體系結構而實現的芯片好壞，在很大程度上取決于它針對的具體應用和算法 / 模型。為了對各種各樣的器件進行基準測試，有必要明確目標應用、適用的算法和模型以及電路設計等信息。

只有提供足夠詳細的信息，才可以既不限制選擇范圍，又同時明確器件需求。

《白皮書》最后一章對 AI 芯片的未來發展進行了展望。由于人工智能技術整體發展還處于初級階段，AI 芯片行業的發展也隨之面臨極大的不確定性。而這種不確定性恰恰為各種 AI 芯片技術創新提供了一個巨大的舞臺，我們可以期待在這個舞臺上看到前所未有的精彩表演。