日前，芯原聯合Khronos（科納斯）組織在上海召開了技術研討會。在技術研討會上，包括來自科納斯、芯原、騰訊、阿里巴巴、ax株式會社、英特爾、中國移動研究院、彌知科技以及華為等多家廠商或機構進行了相關技術分享。

芯原商業運營高級副總裁汪洋在開幕致辭中說道，Vivante 2008年加入科納斯工業協會。隨著Vivante加入芯原之后，芯原也成為了協會董事會成員。汪洋介紹了芯原的一些針對視頻領域的合作項目。包括和Facebook合作，打造了視頻轉碼處理器，相比傳統的英特爾CPU解決方案，實現了6倍轉碼能力的提升，但功耗只有其1/13。“定制芯片方案越來越受到互聯網和云服務商的認同，因為無論從開發費用還是后期運營維護費用（主要是電費）來說，定制芯片變得越來越廣泛。”汪洋表示。

同時，汪洋也提到隨著數據處理量越來越大，傳輸也變得更加重要。芯原在2021年初，與Serdes IP 供應商Alphawave簽定獨家經銷協議，芯原成為其在中國大陸地區、香港特別行政區、澳門特別行政區的唯一銷售合作伙伴。以及全球首選ASIC合作伙伴。

汪洋說道，芯原不光是提供IP技術，更多是為產業提供從芯片硬件到軟件的全支撐，從系統平臺設計，IP設計服務到提供BIOS 驅動，API等。

科納斯工業協會主席、英偉達生態系統開發副總裁、OpenCL工作組主席Neil Trevett介紹了科納斯組織的情況。科納斯是由會員所驅動的工業協會，其目標是大家一起開發免版稅的標準以及蓬勃活躍的生態鏈，以把芯片加速的功效，用在要求苛刻的圖像渲染和涉及超大計算量的應用上。科納斯會員來自世界各地工業界的領袖。目前包括Vulkan、OpenGL、WebGL、OpenCL以及OpenXR等標準都由科納斯來負責維護。

Trevett表示，一個真正開放的標準，不能以任何一個公司為主導，最好可以每個公司都貢獻一點點。目前科納斯主要面向包括高性能3D圖像、3D資產授權和交付、可移植的XR虛擬和增強現實以及并行計算/視覺/機器學習和推理四大方向。

芯原執行副總裁、IP事業部總經理戴偉進則介紹了芯原Glass In Glass Out的發展策略。芯原的IP涵蓋ISP、GPU、VPU、NPU等。“OpenGL ES對Vivante非常重要，如果沒有科納斯，Vivante不可能開發如此眾多的創新產品。”戴偉進說道。“對于芯片開發來說，API是關鍵，主要是因為通過統一API可以直接對接軟件生態系統，滿足從高性能云到可穿戴的要求。”

在接下來的技術演講中，研討會主要分為了并行處理、視覺加速和推理，3D圖像，增強與虛擬現實三大部分。

并行處理、視覺加速和推理

在并行處理、視覺加速和推理部分，Trevett介紹了科納斯的API，包括OpenCL、OpenVX、SYCL以及Vulkan。

Vulkan光線追蹤是業界第一個開放、跨廠商、跨平臺的光線追蹤加速標準。Vulkan是輕量級API，大幅減少驅動程序，并為程序員提供更多的靈活性。OpenCL則是跨供應商的標準API，是第一個面向異構系統通用目的并行編程的開放式、免費標準，也是一個統一的編程環境，支持多核心CPU、GPU、NPU、DSP以及其他并行處理器。OpenVX是一種開放的，免版稅的標準，用于跨平臺加速計算機視覺應用程序。OpenVX可實現性能和功耗優化的計算機視覺處理，這在嵌入式和實時使用情況下尤其重要。SYCL是一種免版稅，跨平臺的抽象層，它允許使用標準ISO C ++編寫異構處理器的代碼，并在同一源文件中包含應用程序的主機代碼和內核代碼。

同時，Trevett還介紹了SPIR-V，SPIR-V正在推動用于表示并行計算和基于GPU的圖形的著色器和內核語言編譯器的生態系統革命。SPIR-V使高級語言前端能夠以標準化的中間形式發出程序，以供Vulkan，OpenGL或OpenCL驅動程序提取。SPIR-V消除了設備驅動程序中對高級語言前端編譯器的需求，從而大大降低了驅動程序的復雜性，使廣泛的語言和框架前端可以在各種硬件體系結構上運行，并促進開源分析生態系統，移植，調試和優化工具。

目前，科納斯正在嘗試建立嵌入式攝像頭API小組，如今包括汽車、工業自動化等領域越來越依賴于攝像頭，但并沒有廣泛的跨供應商標準，使得新的傳感器集成到嵌入式系統中的成本和時間依然漫長，為了保存客戶的軟硬件投資，該小組正在積極和歐洲機器視覺聯盟合作，以提供標準的跨平臺統一方案。

芯原機器學習軟件副總裁查凱南則介紹了芯原的神經網絡處理器技術。查凱南表示，目前芯原的人工智能算力可滿足從0.5 TOPS到200 TOPS，具有同一套軟硬件，因此短時間就可實現產品的縮放。查凱南說道，目前人工智能主要是三大領域，包括機器視覺，語音識別以及 像素級別的圖像處理。此外，查凱南還特別強調了芯原針對NPU的編譯器進行了投資，支持在線和離線編譯，滿足客戶的不同需求。

騰訊科技高級研究員倪輝則是介紹了使用Vulkan的通用神經網絡推理ncnn，ncnn是一個為手機端極致優化的高性能神經網絡前向計算框架。ncnn 從設計之初深刻考慮手機端的部署和使用。無第三方依賴，跨平臺，手機端 CPU 的速度快于目前所有已知的開源框架。基于 ncnn，開發者能夠將深度學習算法輕松移植到手機端高效執行，開發出人工智能 APP，將 AI 帶到你的指尖。ncnn 目前已在騰訊多款應用中使用，如 QQ，Qzone，微信，天天P圖等。Ncnn的好處在于是CPU框架中最快，安裝包體積最小，跨平臺兼容性中最好的。并且針對手機Arm平臺進行了各種優化。

3D圖像

科納斯工業協會開發者關系Kris Rose首先介紹了Vulkan的技術。他表示，Vulkan更強調應用層，淡化驅動層，因此效率更高，開發者可以與GPU更近。Vulkan支持各類平臺，因此一次渲染就可以部署到各個平臺中，并且MacOS和iOS也可以通過MoltenVK進行移植。如今無論是在游戲，還是非游戲的工業應用中，Vulkan都實現了快速發展。包括ILM、AImotive、Solidworks和Disso Systems等公司，都選擇了Vulkan。

芯原IP解決方案副總裁張慧明介紹了芯原的圖形處理器相關內容，張慧明表示，芯原持續進行光線追蹤的開發，并在NXP iMX8QM（采用了GC7000 GPU）上實現。

同時，針對可穿戴領域，芯原和科納斯共同推廣OpenVG應用場景，實現低成本高性能的UI。

阿里巴巴淘系技術部端智能團隊高級技術專家姜霄棠介紹了MNN框架，MNN 是一個輕量級的深度學習端側推理引擎，核心解決深度神經網絡模型在端側推理運行問題，涵蓋深度神經網絡模型的優化、轉換和推理。目前，MNN已經在手淘、手貓、優酷、聚劃算、UC、飛豬、千牛等 20 多個 App 中使用，覆蓋直播、短視頻、搜索推薦、商品圖像搜索、互動營銷、權益發放、安全風控等場景。具有通用性、輕量性、高性能以及易用性四大特點。Android 上提供了 OpenCL、Vulkan、OpenGL 三套方案，盡可能多地滿足設備需求，針對主流 GPU（Adreno和Mali）做了深度調優。

Ax株式會社數據科學部AI工程師胡筠介紹了公司情況，ax株式會社目前主要產品是對ailia SDK的開發和銷售，這是一個利用GPU進行高速推斷的AI框架，通過Vulkan對ONNX格式的AI模型，實現高速推斷。另外，ax還提供120多種已訓練完的模型，不需要訓練即可方便的加載到客戶的應用程序中，客戶也可以任意選擇加載自主訓練的模型。

增強與虛擬現實

英特爾AR/VR首席軟件架構師，OpenXR工作小組主席Brent Insko介紹了針對AR/VR的OpenXR技術更新。Insko表示，在使用OpenXR之前，應用程序開發人員必須根據每個平臺的專有API進行編程，因此無論是從開發的角度，還是從驗證和測試的角度，都將成為一項艱巨的挑戰。而OpenXR則允許開發人員使用通用的高性能API，OpenXR可以與任何3D API一起使用。Insko介紹道，目前微軟已經宣布，Minecraft的新RenderDragon渲染引擎正在通過OpenXR創建其桌面VR支持。目前OpenXR有手部和眼部追蹤功能，針對高級用戶界面的跨供應商擴展，以及試驗性的疊加層擴展。

“我們已經從微軟，Oculus和HTC得到了官方一致的運行時間。我們有來自Valve、Varjo和Collabora的預覽實現。并且得到了Unreal, Blender, Chrome, Edge的支持。”Insko說道。

芯原多媒體SoC平臺首席工程師妙維則表示，XR需要低功耗和低延遲技術來提升用戶體驗。針對這一用戶痛點，需要利用云計算、圖像切片、緊耦合的子系統等技術實現。芯原的無需DDR的直接渲染技術，同時滿足了高性能和低功耗的需求。

此外，中國移動研究院高級技術人員李可介紹了利用Cloud XR實現教育標準化的應用，彌知科技創始人、CEO張天夫介紹了通過小程序實現WebXR在線制作平臺，華為消費者BG AR/VR產品技術總監鄒文進則介紹了華為在XR上的成績，目前來講在AR建模技術上遠高于蘋果和谷歌。