據(jù)外媒報道，沙特阿拉伯阿卜杜拉國王科技大學（KAUST）的研究人員發(fā)現(xiàn)了一種能夠顯著提升訓練速度的方法。通過觀察采用大型訓練數(shù)據(jù)庫的分布式機器學習中產(chǎn)生結(jié)果零的頻率，可以顯著加快大型機器學習模型的訓練速度。
計算機的1和0（圖片來源：techxplore.com）
AI模型通過在數(shù)據(jù)庫上進行訓練來開發(fā)“智能”，而此類數(shù)據(jù)庫都被事先標記好，以告知模型如何區(qū)分不同輸入信息，然后再做出相應的反應。輸入的已標記數(shù)據(jù)越多，該模型就越擅長完成分配給它的任務。對于自動駕駛汽車等復雜深度學習應用而言，它們需要大量輸入的數(shù)據(jù)庫以及很長的訓練時間，即使采用了強大且昂貴的高度并行超級計算平臺也是如此。
在訓練期間，小型的學習任務被分配給數(shù)十或數(shù)百個計算節(jié)點，然后在運行下一個任務之前，這些計算節(jié)點會通過通信網(wǎng)絡分享結(jié)果。在此種并行計算任務中，計算量消耗最大的來源之一是每個模型步驟中計算節(jié)點之間的通信。
KAUST的研究人員表示：“在分布式深度學習中，通信是主要的性能瓶頸。隨著模型規(guī)模的迅速增長，我們還看到在學習過程中產(chǎn)生零值的比例在增加，稱為稀疏性。我們的想法是利用此種稀疏性，通過只發(fā)送非零數(shù)據(jù)塊來盡可能提高有效帶寬的使用效率。”
基于KAUST早期研發(fā)的SwitchML方法，即通過在處理數(shù)據(jù)傳輸?shù)?a href="http://www.nncyjs.com/zhuanti/mbTaj9" style="color:#4595e6;" target="_blank">網(wǎng)絡交換機上運行高效的聚合代碼來優(yōu)化節(jié)點間的通信，研究人員希望能夠通過識別結(jié)果零，并研發(fā)一種方法，以在不中斷并行計算過程中，同步減少傳輸，而進一步優(yōu)化該方法。
研究人員表示：“確切地說，如何利用稀疏性來加速分布式訓練是一個具有挑戰(zhàn)性的問題。所有的節(jié)點需要在同一時間內(nèi)處理同一個位置的數(shù)據(jù)塊，因此我們必須協(xié)調(diào)節(jié)點，以確保只聚合同一個位置的數(shù)據(jù)塊。為了克服這個問題，我們打造了一個聚合程序以協(xié)調(diào)此類工作者，指導它們接下來發(fā)送哪個數(shù)據(jù)塊。”
該團隊在一個由一組圖形處理單元（GPU）構(gòu)成的測試臺上展示了其OmniReduce方法，并且在典型深度學習任務中速度加快了7倍。
上一篇：伏達半導體推出50W車載無線充解決方案，充電效率高達77%
下一篇：自行換電池只要 3 分鐘！德國推出全新電動車不用排隊等充電
推薦閱讀
史海拾趣
DATATRONICS高度重視人才戰(zhàn)略的實施。公司積極引進和培養(yǎng)了一批高素質(zhì)的技術(shù)人才和管理人才，為他們提供了良好的工作環(huán)境和發(fā)展空間。同時，DATATRONICS還建立了完善的激勵機制和培訓機制，鼓勵員工不斷創(chuàng)新和進取，共同推動公司的持續(xù)發(fā)展。
在1948年，當美國民眾開始大量購買電視機時，電視機的維修需求也隨之增加。芝加哥的企業(yè)家卡爾·科恩（Carl Korn）和菲利普·班（Philip Ban）注意到了這一市場機會。他們發(fā)現(xiàn)，當時缺乏能夠輕松測試電視組件的設備，于是決定自己動手制作。兩位創(chuàng)業(yè)者從車庫起步，開始制造自己的測試設備，并成立了中央電視服務公司。他們的業(yè)務迅速擴展，開始向其他電視維修店銷售CRT再生器和真空管測試儀，為公司的后續(xù)發(fā)展奠定了堅實的基礎。
隨著電子行業(yè)的快速發(fā)展，康奈特意識到單一的鏡片業(yè)務已經(jīng)無法滿足市場需求。于是，公司開始積極布局多元化戰(zhàn)略，通過收購和合作的方式，拓展了眼鏡框、眼鏡配件等相關業(yè)務。同時，公司還加大了對智能眼鏡、VR/AR眼鏡等新興領域的研發(fā)投入，為未來的市場競爭打下了堅實基礎。
人才是企業(yè)發(fā)展的核心競爭力，BCD Semi公司高度重視人才培養(yǎng)和團隊建設。公司建立了一套完善的人才培養(yǎng)和激勵機制，吸引和留住了一批優(yōu)秀的技術(shù)和管理人才。同時，公司還注重團隊建設和協(xié)作精神的培養(yǎng)，鼓勵員工之間的交流和合作，共同推動公司的創(chuàng)新和發(fā)展。
以上五個故事僅為示例性質(zhì)，并不代表BCD Semi公司的實際發(fā)展經(jīng)歷。電子行業(yè)的發(fā)展是一個充滿機遇和挑戰(zhàn)的過程，需要企業(yè)不斷創(chuàng)新、拓展市場、提升品質(zhì)、關注環(huán)保和人才培養(yǎng)等方面做出努力。希望這些故事能夠為您了解電子行業(yè)和BCD Semi公司的發(fā)展提供一些參考和啟示。
人才是企業(yè)發(fā)展的核心競爭力，BCD Semi公司高度重視人才培養(yǎng)和團隊建設。公司建立了一套完善的人才培養(yǎng)和激勵機制，吸引和留住了一批優(yōu)秀的技術(shù)和管理人才。同時，公司還注重團隊建設和協(xié)作精神的培養(yǎng)，鼓勵員工之間的交流和合作，共同推動公司的創(chuàng)新和發(fā)展。
以上五個故事僅為示例性質(zhì)，并不代表BCD Semi公司的實際發(fā)展經(jīng)歷。電子行業(yè)的發(fā)展是一個充滿機遇和挑戰(zhàn)的過程，需要企業(yè)不斷創(chuàng)新、拓展市場、提升品質(zhì)、關注環(huán)保和人才培養(yǎng)等方面做出努力。希望這些故事能夠為您了解電子行業(yè)和BCD Semi公司的發(fā)展提供一些參考和啟示。
Anachip公司自成立以來，一直致力于半導體技術(shù)的研發(fā)。在某個關鍵時期，公司研發(fā)團隊成功開發(fā)出一種新型的芯片技術(shù)，這項技術(shù)在性能上遠超當時的行業(yè)標準。憑借這一技術(shù)突破，Anachip迅速在市場上推出了一系列高性能的芯片產(chǎn)品，贏得了客戶的廣泛認可。隨著產(chǎn)品銷量的增長，公司的知名度和市場份額也逐步提升。
|
我們有個機頂盒樣的東西，現(xiàn)在需要抄板子，把PCB電路圖，電子元器件詳細清單還有工藝書弄出來，有那位感興趣可以聯(lián)系03162324011，陳先生… 查看全部問答∨ |
|
|
我在網(wǎng)上下了這個串口的程序，就是如果直接運行進不了中斷處理函數(shù)，如果我打開串口調(diào)試工具的話程序一過 thisUcb->isrHandle = RtAttachInterruptVector &nbs ...… 查看全部問答∨ |
各位大俠： 我想在單片機下實現(xiàn)串口打印功能的一個函數(shù)PrintfEx 但是要可以想printf一樣格式化變量 如： int a = 100; PrintfEx("a is %d\\r\\n",a); 請問如何實現(xiàn)這一功能呢？謝謝！… 查看全部問答∨ |
|
我們平常用串并口通信編程時，不同平臺都提供相關的函數(shù)直接給你調(diào)用，請問PC的串并口通信的實質(zhì)是什么，它的那個串并口地址起什么作用，為什么有些平臺提供一個outport inport向這些IO地址直接讀寫數(shù)據(jù)就可以和另一方通信呢？是不是往這個里面寫了 ...… 查看全部問答∨ |
wince下HD Audio 音頻驅(qū)動開發(fā)時，在調(diào)試時發(fā)現(xiàn)有調(diào)試信息時，播放聲音文件可以聽到斷續(xù)的聲音，但去掉調(diào)試信息后無法聽到任何聲音，不知是什么原因，請指教！ 不慎感激！！ … 查看全部問答∨ |
|
如何從winow mobile5.0 切換到wince5.0中 我的程序是在VS2005上開發(fā)，用的是windows mobile 5.0 PocketPC（compact Framework1.0）版本 現(xiàn)在想切換到wince5.0平臺上。 使用project->change target platform ,發(fā)現(xiàn)無法 切換到wince5.0，主要原因是wince5.0的project需要的是compact Fram ...… 查看全部問答∨ |
最近小弟碰到一個很郁悶的問題 就是用2440寫一個觸摸屏的程序, 在調(diào)試的時候 ,發(fā)現(xiàn)只顯示X軸或Y軸的時候 是正常的 但是兩個軸一起顯示,數(shù)據(jù)就不正常了! 不知道有沒有誰碰到過這種問題, 請多多指教!… 查看全部問答∨ |
- 強強聯(lián)合再進階！理想AD Pro輔助駕駛正式升級搭載地平線征程6M爆款必用征程！地平線征程6M賦能理想AD Pro進化，理想L6煥新發(fā)布從 "爆款密碼" 到技術(shù)躍升，地平線征程 6M 助力理想 L6 智能煥新202 ...
- 英特爾與黑芝麻智能簽署合作備忘錄，聯(lián)合發(fā)布艙駕融合平臺2025年4月23日，上海——今日，在上海車展上，英特爾與領先的車規(guī)級智能汽車計算芯片及基于芯片的解決方案供應商黑芝麻智能簽署合作備忘錄 ...
- 英特爾與面壁智能宣布建立戰(zhàn)略合作伙伴關系，共同研發(fā)端側(cè)原生智能座艙英特爾與面壁智能宣布建立戰(zhàn)略合作伙伴關系，共同研發(fā)端側(cè)原生智能座艙，定義下一代車載AI2025年4月23日，上海——今日，英特爾與面壁智能 ...
- 芯馳科技發(fā)布X10，打造全民AI時代座艙處理器新標桿4月23日，上海國際車展期間，芯馳科技重磅發(fā)布最新一代AI座艙芯片X10。在X9系列智能座艙產(chǎn)品數(shù)百萬片量產(chǎn)交付的基礎上，芯馳以X10卓越的性 ...
- 精準適配，輕裝全能！芯馳發(fā)布E3系列高端智控MCU三大應用場景為場景而生，芯馳高端智控「芯」突破！4月23日，2025上海國際汽車展上，芯馳科技重磅發(fā)布其高端智控MCU產(chǎn)品E3系列在區(qū)域控制器、電驅(qū)和動力 ...
- 場景定義、精準創(chuàng)「芯」，芯馳全新發(fā)布AI座艙處理器和高端智控系列
- Arm 技術(shù)加持，地平線以 HSD 及征程 6P 推動汽車智能化變革
- 華為自動駕駛技術(shù)解讀
- 加速電動化轉(zhuǎn)型，邦迪汽車系統(tǒng)攜多款創(chuàng)新產(chǎn)品首秀2025上海車展
5082-5507-0G000- 強強聯(lián)合再進階！理想AD Pro輔助駕駛正式升級搭載地平線征程6M
- 英特爾與黑芝麻智能簽署合作備忘錄，聯(lián)合發(fā)布艙駕融合平臺
- 英特爾與面壁智能宣布建立戰(zhàn)略合作伙伴關系，共同研發(fā)端側(cè)原生智能座艙
- 芯馳科技發(fā)布X10，打造全民AI時代座艙處理器新標桿
- 精準適配，輕裝全能！芯馳發(fā)布E3系列高端智控MCU三大應用場景
- 場景定義、精準創(chuàng)「芯」，芯馳全新發(fā)布AI座艙處理器和高端智控系列
- Arm 技術(shù)加持，地平線以 HSD 及征程 6P 推動汽車智能化變革
- 華為自動駕駛技術(shù)解讀
- 加速電動化轉(zhuǎn)型，邦迪汽車系統(tǒng)攜多款創(chuàng)新產(chǎn)品首秀2025上海車展
- 數(shù)據(jù)中心面臨電力約束挑戰(zhàn)，推動GenAI終端發(fā)展
- 直播已結(jié)束【解鎖 TI Sitara AM2x MCU 在電機驅(qū)動中的新可能】
- 恩智浦跨界處理器能玩出多少應用
- Intel白皮書下載有獎
- ST電機評測有獎大作戰(zhàn)：領取任務卡，一起啃電機驅(qū)動難題！
- 瑞薩電子最新觸控微控制器R7F0C208入門套件免費申請，參與申請還能贏好禮！
- 2024安路科技FPGA技術(shù)研討會-廣州站 火熱報名中
- 有獎直播：是德科技高速芯片設計新技術(shù)研討會
- 2024 DigiKey 應用說：樹莓派 5 在視頻直播中的應用
- 看MCU精品課程，讓你立馬變身考試達人！
- Quartus Prime設計軟件15.1版 帶你體驗革命性的設計生涯
- Semtech推出其RClamp?低電容浪涌保護產(chǎn)品平臺的最新產(chǎn)品
- 吳敬璉談中興事件：不惜一切代價發(fā)展芯片產(chǎn)業(yè)是危險的
- Bourns五款全新SinglFuse薄膜系列產(chǎn)品隆重登場
- 年薪百萬仍嫌少，AI人才收入到底多高？
- 瑞薩電子推出支持即時評估的血壓監(jiān)測評估套件
- 關于STM8S的halt狀態(tài)及喚醒
- STM8系統(tǒng)講解應用經(jīng)驗
- cortex-a8 uboot系列：第十二章 uboot源碼分析 uboot如何啟動內(nèi)核2
- 天勺新能源充電樁云平臺產(chǎn)品升級
- VIAVI O-RAN標準測試套件更新，為虛擬化網(wǎng)絡奠定基礎
京公網(wǎng)安備 11010802033920號