當(dāng)AI大模型的熱潮持續(xù)兩年后，行業(yè)關(guān)注的焦點(diǎn)正從云端訓(xùn)練轉(zhuǎn)向端側(cè)推理。數(shù)據(jù)顯示，全球邊緣計(jì)算市場(chǎng)規(guī)模將從2020年的90億美元飆升至2030年的4450億美元，年復(fù)合增長(zhǎng)率高達(dá)48%。這背后是AI技術(shù)與端側(cè)場(chǎng)景的深度耦合——從智能穿戴到工業(yè)質(zhì)檢，從實(shí)時(shí)翻譯到視覺識(shí)別，邊緣AI正在重構(gòu)產(chǎn)業(yè)智能化的底層邏輯。

Arm作為邊緣計(jì)算領(lǐng)域的“幕后英雄”，其架構(gòu)支撐著數(shù)十億邊緣設(shè)備的運(yùn)行。近日，Arm推出全球首個(gè)Armv9邊緣AI計(jì)算平臺(tái)。該平臺(tái)專為物聯(lián)網(wǎng)應(yīng)用優(yōu)化，以全新的Cortex-A320 CPU和Ethos-U85 NPU為核心，支持運(yùn)行超10億參數(shù)的端側(cè)AI模型。其中，全新的基于Armv9架構(gòu)的超高能效Cortex-A320 CPU，其能效比較Cortex-A520提升了50%，更與Ethos-U85 AI加速器組成了邊緣AI時(shí)代的”黃金搭檔“，助力大模型與生成式AI在物聯(lián)網(wǎng)領(lǐng)域的落地。Arm不僅是“算力供給者”，也是“場(chǎng)景賦能者”。

最近兩年的AI技術(shù)日新月異，在如此高速發(fā)展的態(tài)勢(shì)之下，Arm全新的邊緣AI計(jì)算平臺(tái)背后有哪些關(guān)鍵點(diǎn)值得關(guān)注？對(duì)于AI行業(yè)的熱點(diǎn)，Arm又有什么見解？EEWorld與Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健進(jìn)行了深度訪談，并對(duì)一些熱門問題進(jìn)行了解析。

Armv9邊緣AI計(jì)算平臺(tái)：Arm為未來(lái)邊緣計(jì)算和AI處理提出的新范式

此次發(fā)布的Armv9邊緣AI計(jì)算平臺(tái)實(shí)現(xiàn)了CPU和AI加速器的深度配合。Cortex-A320可以為Ethos-U85提供更高的內(nèi)存容量與帶寬，讓大模型在Ethos-U85上的執(zhí)行如虎添翼。任何開發(fā)者們不希望在Ethos-U85上運(yùn)行的AI操作，可以回退到Cortex-A320，利用其Neon/SVE2引擎更靈活有效地在CPU上執(zhí)行。這使得智能物聯(lián)網(wǎng)與消費(fèi)類電子生態(tài)系統(tǒng)能夠在正確的時(shí)間，并在合適的地方運(yùn)行最適合的工作負(fù)載。

馬健表示，Arm此次發(fā)布的平臺(tái)不僅僅是一次漸進(jìn)式的升級(jí)，更代表了Arm為未來(lái)邊緣計(jì)算和AI處理提出的新范式。Cortex-A320是Arm首個(gè)專為物聯(lián)網(wǎng)應(yīng)用設(shè)計(jì)的Armv9架構(gòu)處理器，它將超高能效與先進(jìn)AI能力相結(jié)合，實(shí)現(xiàn)了前所未有的突破。當(dāng)Cortex-A320與Ethos-U85結(jié)合時(shí)，將催生出全新的應(yīng)用類別，為邊緣側(cè)AI應(yīng)用拓展更多可能性。

Cortex-A320的獨(dú)特之處

全新邊緣AI計(jì)算平臺(tái)將覆蓋多個(gè)應(yīng)用場(chǎng)景，實(shí)現(xiàn)包括視覺和自然語(yǔ)言在內(nèi)的多模態(tài)的環(huán)境感知與理解，進(jìn)而運(yùn)行智能體AI、自主規(guī)劃、執(zhí)行復(fù)雜任務(wù)等。該平臺(tái)具備強(qiáng)大的計(jì)算能力，Cortex-A320與Ethos-U85的組合，比去年基于Cortex-M85搭配Ethos-U85的平臺(tái)提升了八倍的ML計(jì)算性能，帶來(lái)了顯著的AI計(jì)算能力突破。

那么此次推出的超高能效Cortex-A320 CPU與Cortex-M85相比，究竟有哪些獨(dú)特之處?

對(duì)此，馬健深度解析了Cortex-A320和Cortex-M85的差異，具體包括：

第一，從內(nèi)存支持的角度，Cortex-M85作為一款32位的嵌入式處理器，最多能支持的內(nèi)存尋址空間是2的32次方，也就是4GB左右。在這樣一個(gè)有限的內(nèi)存空間內(nèi)，需要運(yùn)行操作系統(tǒng)、其他程序以及進(jìn)行內(nèi)存管理等，那么留給運(yùn)行模型的空間就會(huì)非常小。相比之下，Cortex-A320是64位處理器，在內(nèi)存方面能夠給到很好的支持。

第二，從內(nèi)存的分層管理角度，SRAM肯定是首選，但在需要更大內(nèi)存容量時(shí)，DRAM的加入變得至關(guān)重要。然而，一般的Cortex-M系列上面所運(yùn)行的操作系統(tǒng)很難同時(shí)管理DRAM、SRAM，并優(yōu)化DRAM的時(shí)延。Cortex-A系列可以運(yùn)行比較豐富的操作系統(tǒng)，這些操作系統(tǒng)本身其實(shí)就可以幫助完成這一任務(wù)，并且能夠更快地推動(dòng)產(chǎn)品上市。

第三，從生態(tài)角度，Arm的Cortex-A處理器系列的產(chǎn)品生態(tài)更加豐富。舉例來(lái)說(shuō)，對(duì)于Android生態(tài)中的數(shù)百萬(wàn)個(gè)應(yīng)用程序，借助Cortex-A的生態(tài)，這些應(yīng)用都可以無(wú)縫地移植到超高能效的設(shè)備上。

Arm對(duì)于產(chǎn)業(yè)熱點(diǎn)及趨勢(shì)的解析

熱點(diǎn)之一：DeepSeek

DeepSeek是最近一段時(shí)間的熱點(diǎn)，很多邊緣芯片和設(shè)備廠商都紛紛宣布支持接入DeepSeek。

馬健就此表示，DeepSeek在減小模型尺寸、增加模型效率方面帶來(lái)了創(chuàng)新。DeepSeek-R1最小可做到1.5B的體量，可以讓邊緣設(shè)備游刃有余地部署這些模型。DeepSeek降低了計(jì)算成本，并為更多邊緣AI應(yīng)用提供了重要機(jī)會(huì)。對(duì)于深耕計(jì)算領(lǐng)域的Arm而言，這代表了創(chuàng)新的速度正在加快，尤其是推理工具的創(chuàng)新速度，這也展現(xiàn)出了行業(yè)對(duì)計(jì)算性能和能效日益增長(zhǎng)的需求。

熱點(diǎn)之二：智能眼鏡

近來(lái)非常火熱的智能眼鏡正成為快速發(fā)展的新興市場(chǎng)，而Arm技術(shù)已被廣泛應(yīng)用于智能眼鏡等智能可穿戴設(shè)備，比如市場(chǎng)上頗受矚目的Meta Ray-Ban AR智能眼鏡，其搭載的正是Arm CPU。

因智能眼鏡體積小巧、重量輕盈，并且需要直接佩戴在面部，智能眼鏡對(duì)功耗及散熱有著極為嚴(yán)苛的要求。一旦散熱效果不理想，使用者在佩戴過程中便極易產(chǎn)生不適之感，嚴(yán)重影響產(chǎn)品體驗(yàn)。

談及智能眼鏡這一熱門應(yīng)用，馬健表示，Arm Cortex-A320在性能和功耗上有著卓越表現(xiàn)。相較于之前的Cortex-A CPU，Cortex-A320在能效方面有大幅提升。相信Cortex-A320搭配Ethos-U85的這一組合對(duì)于智能眼鏡來(lái)說(shuō)會(huì)是一個(gè)很好的解決方案。

熱點(diǎn)之三：邊緣側(cè)訓(xùn)練

當(dāng)被問及AI在邊緣側(cè)是否也有訓(xùn)練需求時(shí)，馬健認(rèn)為，有些場(chǎng)景是需要在邊緣進(jìn)行一些重訓(xùn)練的，尤其是在智能制造領(lǐng)域，鑒于數(shù)據(jù)隱私和安全的考量，很多廠商不愿將生產(chǎn)數(shù)據(jù)上傳至云端。因此，當(dāng)面臨新數(shù)據(jù)或新零件質(zhì)檢時(shí)，若需對(duì)模型進(jìn)行更新或微調(diào)，這些工廠更傾向于在邊緣側(cè)或終端側(cè)進(jìn)行操作。如果計(jì)算量比較小，比如只有幾個(gè)新的樣本，可以對(duì)模型做一些后訓(xùn)練微調(diào)，這完全可以在Cortex-A320搭配Ethos-U85的邊緣AI計(jì)算平臺(tái)上進(jìn)行。但如果本地收集數(shù)據(jù)量比較多，就可能需要部署在邊緣的AI服務(wù)器進(jìn)行重訓(xùn)練。

熱點(diǎn)之四：場(chǎng)景碎片化

此外，這幾年很多企業(yè)都會(huì)談到“邊緣AI場(chǎng)景碎片化”。對(duì)此，馬健認(rèn)為這是一個(gè)悖論。她表示，像數(shù)據(jù)中心這類場(chǎng)景，各企業(yè)用的計(jì)算平臺(tái)都非常類似，即使是有不同的數(shù)據(jù)中心加速器，所實(shí)現(xiàn)的功能也大都相近。而邊緣側(cè)應(yīng)用種類繁多，很難通過一種選擇滿足各類需求，針對(duì)性能、功耗的組合也更加多樣化，但這并不意味著我們不能通過某種方式來(lái)提供一定程度的統(tǒng)一性和靈活性，Arm邊緣AI計(jì)算平臺(tái)就是一個(gè)很好的范例，用IP異構(gòu)的方式構(gòu)建平臺(tái)解決方案，給邊緣側(cè)的合作伙伴提供更優(yōu)的性能和更大的靈活性。