日前，在NXP Connects 2020上，高級(jí)副總裁兼邊緣處理業(yè)務(wù)部總經(jīng)理Ron Martino與MCU/MPU工程部副總裁Kevork Kechichian進(jìn)行了爐邊談話，詳細(xì)介紹了NXP在嵌入式邊緣計(jì)算領(lǐng)域的具體工作，從物聯(lián)網(wǎng)智能家居到工業(yè)工廠自動(dòng)化以及汽車(chē)增強(qiáng)電子座艙等應(yīng)用。

構(gòu)建完整的嵌入式計(jì)算平臺(tái)

目前恩智浦的計(jì)算平臺(tái)從毫安級(jí)DMIPS的小型控制器擴(kuò)展到瓦級(jí)，且具有數(shù)十萬(wàn)DMIPS的復(fù)雜處理器，包括16nm FinFET甚至是5nm的芯片，具有百億個(gè)晶體管。（NXP 2020年6月宣布將成為第一家采用臺(tái)積電的5nm工藝技術(shù)開(kāi)發(fā)下一代“高性能安全計(jì)算”汽車(chē)芯片的公司。）

針對(duì)高端產(chǎn)品，除了制程工藝之外，NXP在設(shè)計(jì)中布局規(guī)劃，通過(guò)擺放不同的加速引擎。而針對(duì)電池供電的產(chǎn)品，NXP也進(jìn)行了相應(yīng)的電源優(yōu)化，提供了不同的電源模式，以及包括平衡性能、熱封套以及熱占位面積，乃至最終的封裝及量產(chǎn)等多種考量因素。

NXP整合了各類(lèi)邊緣計(jì)算平臺(tái)，從而作為子系統(tǒng)和單位進(jìn)行構(gòu)建。在此基礎(chǔ)上，每個(gè)產(chǎn)品在各處添加一些子系統(tǒng)。特別是在低端產(chǎn)品中，由于不能用堆疊晶體管來(lái)解決問(wèn)題且需要注重利潤(rùn)和成本，所以頗具挑戰(zhàn)性。同時(shí)針對(duì)平臺(tái)進(jìn)行的優(yōu)化也包括軟件及設(shè)計(jì)環(huán)境。

處理、連接與安全

談到人工智能和機(jī)器學(xué)習(xí)技術(shù)，實(shí)際上有許多不同的方法可以處理，包括CPU、GPU、DSP及多種硬件加速器等。NXP選擇IP授權(quán)及軟硬件結(jié)合的方式，結(jié)合實(shí)際應(yīng)用，優(yōu)化機(jī)器學(xué)習(xí)能力。“NXP大部分IP是授權(quán)獲得的，這對(duì)我們的流程以及如何管理各方面提出了更嚴(yán)格的要求，因?yàn)榕c不同的供應(yīng)商打交道會(huì)出現(xiàn)不同質(zhì)量的IP，特別是在機(jī)器學(xué)習(xí)方面。“Kechichian強(qiáng)調(diào)道。同樣在軟件層面，包括整個(gè)協(xié)議棧到軟件和應(yīng)用層，也需要進(jìn)行評(píng)估。通過(guò)種種優(yōu)化，NXP保證在面積單位及單位功耗上獲得了最高性能。

“任何人都可以集成并拼接不同的IP塊，但區(qū)別在于，真正優(yōu)化終端應(yīng)用性能以及與一支經(jīng)驗(yàn)豐富的團(tuán)隊(duì)以明智的方式完成這項(xiàng)工作。那么由于存在這方面的關(guān)聯(lián)，您需要連接多個(gè)IP用于數(shù)據(jù)源輸入，然后在其上執(zhí)行處理。”Martino說(shuō)道。

Martino表示，消費(fèi)者需求是用戶體驗(yàn)，包括應(yīng)用的運(yùn)行速度及應(yīng)用響應(yīng)需求的速度等。所以，NXP團(tuán)隊(duì)非常積極地運(yùn)行一些基準(zhǔn)測(cè)試。并且與客戶接觸時(shí)，重點(diǎn)詢問(wèn)他們想要解決的關(guān)于邊緣AI的痛點(diǎn)。

Martino以i.MX 8M plus為例，這是首個(gè)集成專(zhuān)用神經(jīng)處理單元(NPU)的i.MX系列產(chǎn)品，可在工業(yè)和物聯(lián)網(wǎng)(IoT)邊緣進(jìn)行高級(jí)機(jī)器學(xué)習(xí)推理，該產(chǎn)品也擴(kuò)展了其EdgeVerse產(chǎn)品組合。i.MX 8M Plus的NPU提供2.3 TOPS的算力，內(nèi)部包括最高2GHz的四核Arm Cortex-A53內(nèi)核，以及800MHz Cortex-M7實(shí)時(shí)處理器，此外還包括 800 MHz音頻DSP用于語(yǔ)音和自然語(yǔ)言處理，雙攝像頭圖像信號(hào)處理器(ISP)和3D GPU。

由于具有如此眾多的IP塊和子系統(tǒng)，復(fù)雜性與所對(duì)應(yīng)的優(yōu)化變得至關(guān)重要。“若僅從復(fù)雜性的角度來(lái)看，大多數(shù)IP經(jīng)過(guò)獨(dú)立驗(yàn)證，質(zhì)量可靠。但將它們投入使用后，挑戰(zhàn)就出現(xiàn)了，比如基于網(wǎng)絡(luò)的系統(tǒng)，節(jié)點(diǎn)數(shù)很重要，但這些節(jié)點(diǎn)之間的連接會(huì)使其變得更加復(fù)雜。每次添加新連接時(shí)，復(fù)雜性都會(huì)增加。如果您觀察我們的一些i.MX產(chǎn)品，它們已經(jīng)成為汽車(chē)中的全媒體中心。這些對(duì)計(jì)算高度敏感的多媒體處理器之間需要不同類(lèi)型的交互，如內(nèi)存相互傳輸數(shù)據(jù)、大量攝像頭、大量顯示單元、圖形處理等等。復(fù)雜性也由此而來(lái)。”Kechichian說(shuō)。

如何確定所有應(yīng)用場(chǎng)景問(wèn)題上，首先，驗(yàn)證所依據(jù)的空間是優(yōu)質(zhì)的。但由于它是具備多個(gè)處理元素的開(kāi)放平臺(tái)，所以您會(huì)看到每位客戶在里面添加自己擁有的各種不同的代碼庫(kù)。因此，NXP嘗試從傳統(tǒng)驗(yàn)證技術(shù)和正式技術(shù)來(lái)預(yù)測(cè)，從而覆蓋這一空間。同時(shí)，NXP還擁有早期模擬平臺(tái)。

Martino強(qiáng)調(diào)，未來(lái)無(wú)論是汽車(chē)、智能家居還是工廠自動(dòng)化，人與機(jī)器都有了更多全新交互，如何實(shí)現(xiàn)無(wú)縫用戶體驗(yàn)，如何讓機(jī)器始終以自動(dòng)化的方式操作，這是用戶體驗(yàn)最重要的地方。Martino念念不忘在CES 2020上展示駕駛員隨動(dòng)的汽車(chē)環(huán)視系統(tǒng)，就是無(wú)縫的切換視角。

此外，Martino還談到了NXP在無(wú)線通信、有線連接的IP及產(chǎn)品，通過(guò)收購(gòu)Marvell的無(wú)線業(yè)務(wù)以及本身?yè)碛械母黝?lèi)連接技術(shù)，NXP具有更加豐富的產(chǎn)品組合。

安全，則是邊緣計(jì)算中最為看重的，其中信息安全通常是由外部惡意代理引起的，而功能安全是系統(tǒng)固有的。作為幾十年安全領(lǐng)域?qū)＜遥琋XP為產(chǎn)品添加更多安全功能是滿足產(chǎn)品差異化的重要標(biāo)識(shí)，但是會(huì)增加現(xiàn)有復(fù)雜系統(tǒng)的開(kāi)銷(xiāo)，有時(shí)會(huì)減緩處理速度，增加功率。

用i.MX 8運(yùn)行Android 11，點(diǎn)亮屏幕，以便呈現(xiàn)出真正的爐邊對(duì)話，NXP如今除了強(qiáng)調(diào)產(chǎn)品本身特性之外，更關(guān)注產(chǎn)品的最終體驗(yàn)

集成平臺(tái)的挑戰(zhàn)

除了芯片本身的集成設(shè)計(jì)之外，大量產(chǎn)品路線及大量不同的流程是平臺(tái)開(kāi)發(fā)的更大挑戰(zhàn)。目前，NXP開(kāi)始與CTO辦公室合作并開(kāi)始研究如何最大限度地減少不同技術(shù)版本的數(shù)量，“我們將其稱(chēng)為對(duì)齊到網(wǎng)格，實(shí)際上它適用于所有不同的方面，我們努力確保提供一組有限的技術(shù)。”Martino說(shuō)道。

隨著平臺(tái)規(guī)模壯大，越來(lái)越多的IP將變得集中，如6到8個(gè)技術(shù)、設(shè)計(jì)、開(kāi)發(fā)方法。一切變得更加受控，這些類(lèi)型的交換將逐漸提供一個(gè)中心工程領(lǐng)域及增長(zhǎng)規(guī)模。

軟件和開(kāi)發(fā)環(huán)境同樣需要集成。NXP通過(guò)集成 MCU產(chǎn)品組合、RT、MCUXpresso，所有驅(qū)動(dòng)程序、固件和開(kāi)發(fā)環(huán)境集成到一個(gè)安裝包中以便客戶輕松高效地優(yōu)化其系統(tǒng)。這同樣適用于板級(jí)，在附加板上使用高端處理器從而獲得高級(jí)別的Wi-Fi功能，并且為了更方便使用能夠使BSP預(yù)加載固件驅(qū)動(dòng)程序。

當(dāng)然集成平臺(tái)并不意味著所有都會(huì)集成到一起。比如目前汽車(chē)中有大約300多個(gè)電子元件分散在各處，是孤立的，各種軟件協(xié)議棧是不一致的。在較為流行的域控制器架構(gòu)中，隨著協(xié)議不同仍然會(huì)采用分區(qū)架構(gòu)，但是每個(gè)區(qū)會(huì)有高度的集成化。

“軟件、硬件和支持集中到一起成為我們未來(lái)一個(gè)非常關(guān)鍵的部分。”Martino總結(jié)道。

從用戶體驗(yàn)來(lái)看，NXP正在行業(yè)中構(gòu)建一個(gè)能夠通過(guò)開(kāi)放標(biāo)準(zhǔn)和通用設(shè)備自我構(gòu)建并與浮于硬件之上的軟件和應(yīng)用層交互的平臺(tái)，從而提高效率并加以利用。比如將汽車(chē)鎖涉及到功能和消費(fèi)電子、工業(yè)、智能零售、基礎(chǔ)設(shè)施、辦公室、家居并將其聚集在一起，通過(guò)一致性將事物連接在一起。

“最終隨著我們推出廣泛的嵌入式計(jì)算，對(duì)于這些平臺(tái)的裁剪及優(yōu)化又將成為恩智浦的另一大優(yōu)勢(shì)。 ”Martino補(bǔ)充道。

模擬、仿真與建模

Martino特別強(qiáng)調(diào)NXP已經(jīng)開(kāi)始研究早期模擬、仿真和建模平臺(tái)。在實(shí)驗(yàn)室里就可以運(yùn)行這些平臺(tái)，可以提前了解并掌握如何處理所有復(fù)雜性，包括架構(gòu)探索、代碼開(kāi)發(fā)以便開(kāi)發(fā)出更優(yōu)質(zhì)的產(chǎn)品。尤其是隨著汽車(chē)開(kāi)始與周?chē)h(huán)境交互，出現(xiàn)了智慧城市等，應(yīng)用場(chǎng)景更加多樣，許多元素變得非常重要。

新思科技今年初也宣布，其支持NXP S32G車(chē)輛網(wǎng)絡(luò)處理器的虛擬器開(kāi)發(fā)套件(VDK)已全面上市。VDK已被NXP團(tuán)隊(duì)廣泛用于開(kāi)發(fā)其S32G賦能軟件和固件。VDK是使用虛擬樣機(jī)作為嵌入式目標(biāo)的軟件開(kāi)發(fā)套件，它不但使Tier 1、OEM和半導(dǎo)體公司能夠在硬件上市前數(shù)月便開(kāi)始軟件開(kāi)發(fā)、集成和測(cè)試，還能夠通過(guò)回歸測(cè)試實(shí)現(xiàn)靈活和可擴(kuò)展的部署，并通過(guò)故障注入提升測(cè)試覆蓋率，滿足高等級(jí)汽車(chē)功能安全要求，加速產(chǎn)品開(kāi)發(fā)和測(cè)試進(jìn)度。

一些全新的設(shè)計(jì)理念

Kechichian介紹，如今，NXP每三個(gè)半月就會(huì)將機(jī)器學(xué)習(xí)的計(jì)算能力提高一倍，然而汽車(chē)數(shù)據(jù)增長(zhǎng)速度更快，等到產(chǎn)生了大量數(shù)據(jù)而無(wú)法快速處理時(shí)，將以全新的方式借助人工智能來(lái)計(jì)算。

另外值得一提的是最新的適用于MCU的Glow，能夠?qū)C(jī)器學(xué)習(xí)模型部署到非常高效的用例、結(jié)合了擴(kuò)展的能力與縮減的能力且能夠優(yōu)化并使工作流程適合小計(jì)算內(nèi)存容量上的用例。率先開(kāi)發(fā)PyTorch的Facebook推出了開(kāi)源社區(qū)項(xiàng)目Glow（Graph Lowering神經(jīng)網(wǎng)絡(luò)編譯器），其目的是提供優(yōu)化，提高一系列硬件平臺(tái)上的神經(jīng)網(wǎng)絡(luò)性能。作為一種神經(jīng)網(wǎng)絡(luò)編譯器，Glow基于未優(yōu)化的神經(jīng)網(wǎng)絡(luò)生成高度優(yōu)化的代碼。這個(gè)特點(diǎn)有別于典型的神經(jīng)網(wǎng)絡(luò)模型處理，后者采用即時(shí)編譯，因而需要更高的性能，還會(huì)增加存儲(chǔ)器開(kāi)銷(xiāo)。像Glow這樣直接運(yùn)行優(yōu)化代碼可以顯著降低處理和存儲(chǔ)器要求。NXP也在Glow開(kāi)源社區(qū)中扮演著積極角色，幫助推廣和普及Glow的新功能。“我們?cè)跈M向擴(kuò)展機(jī)器學(xué)習(xí)功能時(shí)，也在按比例縮減，因此由電池供電的簡(jiǎn)單物聯(lián)網(wǎng)設(shè)備可以得到有效優(yōu)化。”Kechichian說(shuō)道。

針對(duì)一些計(jì)算高度密集型應(yīng)用處理器中，NXP提出了HUGI(Hurry Up and Get Idle)的概念，既“加快速度并進(jìn)入空閑狀態(tài)”。HUGI概念英特爾較早以前在移動(dòng)處理器產(chǎn)品組也提到過(guò)，在有運(yùn)算任務(wù)的時(shí)候，讓整個(gè)平臺(tái)迅速啟動(dòng)，發(fā)揮最大的潛力，盡快完成任務(wù)；在完成任務(wù)后，迅速進(jìn)入休眠，沉睡狀態(tài)越深越好。因此，HUGI不但提高了處理器性能，由于完成任務(wù)很快，因此其進(jìn)入休眠狀態(tài)時(shí)間相對(duì)延長(zhǎng)，從而能夠降低總體功耗，這樣就實(shí)現(xiàn)了提升性能的同時(shí)，降低（或至少維持）功耗，延長(zhǎng)電池續(xù)航時(shí)間的目的。

Kechichian介紹到，由于小型的人工智能邊緣處理器無(wú)法保持永不更換電池，因此需要越來(lái)越低的功耗，為此NXP已經(jīng)開(kāi)始考慮不同的電路技術(shù)，引入新設(shè)計(jì)權(quán)衡因素、新設(shè)計(jì)技術(shù)并獲得正確的技能組合以便專(zhuān)注于功耗， NXP也專(zhuān)門(mén)設(shè)有功耗主管或負(fù)責(zé)人，以確保功耗得到了最佳優(yōu)化。

“一年前，NXP完成了組織架構(gòu)和人員報(bào)告架構(gòu)的轉(zhuǎn)變，自此整個(gè)團(tuán)隊(duì)都按照這種新的指令方式展開(kāi)工作。不同的市場(chǎng)提出了非常廣泛的技術(shù)挑戰(zhàn)，需要從邏輯的角度來(lái)解決。我們聯(lián)系所有專(zhuān)家，建立一個(gè)良好的社區(qū)，吸引越來(lái)越多的人加入，幫助他們向資深人士學(xué)習(xí)。目前，我們有近52個(gè)項(xiàng)目處于不同的執(zhí)行階段且進(jìn)度都達(dá)到預(yù)期。”Martino在爐邊對(duì)話開(kāi)始時(shí)的談話，也是NXP一年來(lái)在邊緣處理領(lǐng)域所做的總結(jié)。