娇小w搡bbbb搡bbb,《第一次の人妻》,中国成熟妇女毛茸茸,边啃奶头边躁狠狠躁视频免费观看

歷史上的今天

今天是:2024年10月19日(星期六)

正在發(fā)生

2021年10月19日 | 谷歌為何自研TPU芯片?團(tuán)隊(duì)成員深度披露

發(fā)布者:Chunjie2022 來(lái)源: 半導(dǎo)體行業(yè)觀察 手機(jī)看文章 掃描二維碼
隨時(shí)隨地手機(jī)看文章
現(xiàn)今,Google許多服務(wù),幾乎都跟AI有關(guān),舉凡是搜尋、地圖、照片和翻譯等等,這些AI應(yīng)用服務(wù),在訓(xùn)練學(xué)習(xí)和推論過(guò)程中,都使用到了Google的TPU。Google很早就在數(shù)據(jù)中心內(nèi)大量部署TPU,用于加速AI模型訓(xùn)練和推論部署使用,甚至不只自用,后來(lái)更當(dāng)作云端運(yùn)算服務(wù)或提供第三方使用,還將它變成產(chǎn)品銷(xiāo)售。


在今年線上臺(tái)灣人工智慧年會(huì)上,Google研究部門(mén)軟件工程師Cliff Young擔(dān)任第一天的主題演講,Cliff Young不只是Google Brain團(tuán)隊(duì)核心成員,更是Google TPU晶片主要設(shè)計(jì)者,一手設(shè)計(jì)和打造TPU,部署到Google數(shù)據(jù)中心內(nèi),作為AI硬件加速器,用于各種AI模型訓(xùn)練或推論。在加入Google前,他曾在DE Shaw Research和貝爾實(shí)驗(yàn)室,負(fù)責(zé)設(shè)計(jì)和建造實(shí)驗(yàn)室超級(jí)電腦。在整場(chǎng)演講中,他不只親自揭露Google決定自行開(kāi)發(fā)TPU的過(guò)程,針對(duì)深度學(xué)習(xí)革命對(duì)于未來(lái)AI發(fā)展影響,也提出他的最新觀察。

Cliff Young表示,深度學(xué)習(xí)神經(jīng)網(wǎng)路技術(shù)自2009年開(kāi)始在語(yǔ)音辨識(shí)大放異彩以來(lái),幾乎每年在不同領(lǐng)域應(yīng)用上,我們都能看到因?yàn)樯疃葘W(xué)習(xí)而有了突破性的發(fā)展,從AI影像識(shí)別、Al下棋、到Al視網(wǎng)膜病變判讀、語(yǔ)文翻譯、機(jī)器人揀貨等等,「這是我們以前從未想過(guò)的事。」

正因?yàn)椋疃葘W(xué)習(xí)的出現(xiàn),讓人類(lèi)在不同領(lǐng)域執(zhí)行任務(wù)的方式產(chǎn)生重大變化,他也以美國(guó)知名科學(xué)哲學(xué)家Thomas Kuhn提出的科學(xué)革命的發(fā)展模式來(lái)形容,深度學(xué)習(xí)本身就是一種科學(xué)革命的典范轉(zhuǎn)移,不只是常態(tài)科學(xué)。

Thomas Kuhn在《科學(xué)革命的結(jié)構(gòu)》一書(shū)中提出兩種科學(xué)發(fā)展模式,第一種是常態(tài)科學(xué)的模式,透過(guò)實(shí)驗(yàn)和證明來(lái)理解新事實(shí)的方法,當(dāng)出現(xiàn)舊科學(xué)無(wú)法認(rèn)同的新科學(xué)產(chǎn)生時(shí),就會(huì)產(chǎn)生新舊科學(xué)之間的沖突,衍生發(fā)展出另一種模式,也就是第二種的科學(xué)革命的模式,在此模式下,新科學(xué)模式將徹底顛覆舊科學(xué)的作法。「我認(rèn)為深度學(xué)習(xí)革命就是這樣一種轉(zhuǎn)變, 正在取代傳統(tǒng)電腦科學(xué)。」Cliff Young說(shuō)道。

更進(jìn)一步來(lái)說(shuō),他指出,深度學(xué)習(xí)是一種數(shù)據(jù)驅(qū)動(dòng)的決策過(guò)程,不同于傳統(tǒng)的stored value 或啟發(fā)式(heuristic)決策方法,深度學(xué)習(xí)算法使用可觀測(cè)的數(shù)據(jù),來(lái)提供人類(lèi)建立更好地決策的方式,比如運(yùn)用在使用者推薦,可以根據(jù)使用者輪廓或網(wǎng)路行為,來(lái)推薦適合的產(chǎn)品或給出最佳搜索結(jié)果。

但他也坦言,不像數(shù)學(xué)原理可以被解釋?zhuān)疃葘W(xué)習(xí)模型運(yùn)作原理目前仍難以解釋?zhuān)惨虼耍茖W(xué)家無(wú)法從這些為何可行的原因中,找到提高效率的更好的作法。但如果想完全理解和解釋深度學(xué)習(xí)運(yùn)作原理,依照過(guò)往工業(yè)革命的發(fā)展經(jīng)驗(yàn),得等到合成神經(jīng)動(dòng)力學(xué)的出現(xiàn)后,才有機(jī)會(huì)得到解釋?zhuān)瑒?dòng)輒可能耗費(fèi)數(shù)十年之久,所以,他也說(shuō):「從事深度學(xué)習(xí)研究,比起問(wèn)why,how更重要。」

Cliff Young回顧機(jī)器學(xué)習(xí)革命過(guò)程,可以2012年的AlexNet神經(jīng)網(wǎng)路架構(gòu)作為分水嶺,由Alex Krizhesky等人提出的AlexNet運(yùn)用GPU建立的深度學(xué)習(xí)模型,以85%準(zhǔn)確度刷新世界記錄,在當(dāng)年ImageNet圖像分類(lèi)競(jìng)賽中一舉奪冠。

這項(xiàng)競(jìng)賽后來(lái)也引起Google的高度關(guān)注,認(rèn)為深度學(xué)習(xí)技術(shù)大有可為,便開(kāi)始投入研究。但他們投入后發(fā)現(xiàn),深度學(xué)習(xí)模型在圖像識(shí)別和分類(lèi)的成效表現(xiàn),高度仰賴(lài)GPU的浮點(diǎn)運(yùn)算能力,需要消耗大量運(yùn)算資源供AI模型做學(xué)習(xí)訓(xùn)練,因模型訓(xùn)練運(yùn)用GPU衍生出的運(yùn)算成本十分昂貴。所以,Google才毅然決定自行開(kāi)發(fā)深度學(xué)習(xí)專(zhuān)用的處理器晶片,也就是TPU(Tensor processing unit)。

在投入深度學(xué)習(xí)研究3年后,2015年時(shí),Google開(kāi)發(fā)出第一代TPU處理器,開(kāi)始部署到自家的數(shù)據(jù)中心,用于深度學(xué)習(xí)的模型訓(xùn)練。

Google在2016年Google I/O大會(huì)首次揭露TPU,與當(dāng)時(shí)的CPU與GPU相比,Google的TPU不僅能提供高出30~100倍的每秒浮點(diǎn)運(yùn)算性能,在整體運(yùn)算效能上也有多達(dá)15到30倍的提升,甚至在效能/功耗比獲得有將近30~80倍的改善,Cliff Young表示,TPU很可能是當(dāng)時(shí)世上第一個(gè)實(shí)現(xiàn)以高記憶體容量的矩陣架構(gòu)設(shè)計(jì)完成的處理器。

當(dāng)年,Google擊敗韓國(guó)棋王李世石的AI電腦圍棋程式AlphaGo,背后功臣就是使用TPU運(yùn)算的伺服器機(jī)柜,Google Deepmind團(tuán)隊(duì)在AlphaGo中采用48個(gè)TPU用于AlphaGo的AI下棋推論, 與人類(lèi)進(jìn)行棋力比賽。

到目前為止,Google TPU一共歷經(jīng)4代發(fā)展演進(jìn),從初代TPU僅能應(yīng)用于推論,到第二代TPU開(kāi)始加入深度學(xué)習(xí)模型訓(xùn)練處理能力,對(duì)于網(wǎng)路吞吐量需求增高,而隨著運(yùn)算能力的提升,考慮到散熱問(wèn)題,所以新一代TPU開(kāi)始在散熱機(jī)制上結(jié)合液冷設(shè)計(jì),也就是第3代TPU,也因此增加TPU密度,到了最新第4代TPU,則推出無(wú)液冷的TPU v4i和采用分散式液冷的TPU v4兩種不同版本。

這幾年,深度學(xué)習(xí)硬件加速器越來(lái)越火紅,Cliff Young認(rèn)為,在AI訓(xùn)練和推論硬件發(fā)展上將出現(xiàn)轉(zhuǎn)變。他預(yù)測(cè),未來(lái)推論硬件設(shè)計(jì)上將更具多樣性,來(lái)發(fā)展出不同推理解決方案,來(lái)對(duì)應(yīng)不同場(chǎng)景的使用需求,從微瓦的超低功耗,到高效能運(yùn)算HPC以及超級(jí)電腦應(yīng)用。

另在AI訓(xùn)練硬件方面, 他表示,融合式硬件架構(gòu)將成為發(fā)展主流,尤其現(xiàn)在不少新推出的AI訓(xùn)練硬件,都有不少相似之處,像是在設(shè)計(jì)高密度運(yùn)算晶片Die時(shí),會(huì)采用HBM(高頻寬記憶體)整合設(shè)計(jì),還有建立高效能互連網(wǎng)路,用于傳輸訓(xùn)練數(shù)據(jù),如TPU就有使用ICI(Inter-Core Interconnect)來(lái)與其他TPU高速互連,其他還有如Nvidia的NVLink高速互連介面等。雖然這些技術(shù),都來(lái)自不同團(tuán)隊(duì),但他們都有個(gè)共通之處,就是在研究共同問(wèn)題想辦法找答案,他表示,透過(guò)這些技術(shù)融合,有機(jī)會(huì)可以找到好的解決方案。

Google數(shù)據(jù)中心內(nèi)目前部署了許多TPU Pod


另一方面,他也觀察到,近幾年,全球AI競(jìng)賽進(jìn)到白熱化階段,雖然加速深度學(xué)習(xí)在自然語(yǔ)言模型的突飛猛進(jìn),但也使得需要訓(xùn)練的AI模型越來(lái)越龐大,像是為了完成使用1,750億個(gè)神經(jīng)參數(shù)的GPT-3文字產(chǎn)生器模型的訓(xùn)練,OpenAI使用1萬(wàn)個(gè)GPU建立運(yùn)算叢集,以petaflops算力花了3,640天來(lái)訓(xùn)練該模型。

為了訓(xùn)練出像GPT-3這樣的超大AI模型,Google也以多個(gè)TPU互連建立TPU Pod叢集,來(lái)打造超級(jí)電腦叢集,放在自己的數(shù)據(jù)中心內(nèi)加速AI模型的訓(xùn)練。過(guò)去幾年Google TPU Pod也從一開(kāi)始256個(gè)TPU、增加到1,024個(gè),到現(xiàn)在一個(gè)Pod擁有多達(dá)4,096個(gè)運(yùn)算節(jié)點(diǎn)。以上圖在Google數(shù)據(jù)中心使用的TPU Pod為例,分上下二層建立TPU Pod叢集,每層配置多臺(tái)機(jī)架式機(jī)柜,每臺(tái)機(jī)柜中安裝了數(shù)十個(gè)TPU,包括TPU v2與TPU v3,再透過(guò)網(wǎng)路線來(lái)與其他TPU高速互連。

但想要跟上深度學(xué)習(xí)發(fā)展腳步,Cliff Young認(rèn)為,不能僅靠加大訓(xùn)練用的運(yùn)算機(jī)器,現(xiàn)有的軟硬件架構(gòu)設(shè)計(jì)也得跟著轉(zhuǎn)變才行,他提出materials -application codesign協(xié)同設(shè)計(jì)的概念,認(rèn)為未來(lái)深度學(xué)習(xí)架構(gòu)設(shè)計(jì),需要結(jié)合包含從物理到應(yīng)用所有層面的協(xié)同設(shè)計(jì),他認(rèn)為這是打破摩爾定律瓶頸,找到深度學(xué)習(xí)發(fā)展新出路的方法。

他進(jìn)一步說(shuō)明,在傳統(tǒng)協(xié)同設(shè)計(jì)中,硬件和軟件之間僅靠一層單薄的ISA指令集架構(gòu)作為聯(lián)系溝通,但在以DSA(Domain-specific Architecture)專(zhuān)用領(lǐng)域架構(gòu)為主的協(xié)同設(shè)計(jì)中,則由包含許多不同軟件層,架構(gòu)層,以及不同介面組合而成。其中軟件層方面,包括函式庫(kù)、編譯器、應(yīng)用程式、模型、演算法、Numerics等,硬件架構(gòu)方面包括物理設(shè)計(jì)、半導(dǎo)體材料、架構(gòu)及微架構(gòu)等。這些軟硬件協(xié)同設(shè)計(jì),未來(lái)可以運(yùn)用到深度學(xué)習(xí)架構(gòu)設(shè)計(jì)優(yōu)化上,像是在記憶體技術(shù)中,能大幅降低模型訓(xùn)練過(guò)程對(duì)于位元(bits)覆寫(xiě)使用,以及加入采用較慢的記憶體讀取速度的設(shè)計(jì)等。


引用地址:谷歌為何自研TPU芯片?團(tuán)隊(duì)成員深度披露

上一篇:蘋(píng)果的“王炸芯片”來(lái)了!它有什么不一樣?
下一篇:臺(tái)灣地震!傳臺(tái)積電、聯(lián)電等晶圓廠受影響

推薦閱讀

10月18日,2018瓷博會(huì)將在景德鎮(zhèn)國(guó)際會(huì)展中心舉行。經(jīng)過(guò)14年的磨練,瓷博會(huì)已經(jīng)在國(guó)內(nèi)外形成了廣泛的知名度和影響力。據(jù)統(tǒng)計(jì),今年瓷博會(huì)國(guó)內(nèi)參展的規(guī)模企業(yè)達(dá)到468家;境外參展企業(yè)有21家。作為本次展會(huì)最大的亮點(diǎn),景德鎮(zhèn)市政府首次與國(guó)內(nèi)領(lǐng)先的移動(dòng)互聯(lián)網(wǎng)企業(yè)獵豹移動(dòng)合作,引入機(jī)器人為大會(huì)提供講解服務(wù),這在全國(guó)乃至世界范圍內(nèi)陶瓷專(zhuān)業(yè)展會(huì)服務(wù)中尚...
/*********************************************************** -功能描述:開(kāi)機(jī)初始化 -參數(shù)說(shuō)明:無(wú)-返回說(shuō)明:無(wú)***********************************************************/void Init_Start(void){ ADC_InitTypeDef ADC_InitStruct; /*ADC配置*/ ADC_InitStruct.refSource = REF_INT; //內(nèi)部基準(zhǔn)源 ADC_InitStruct.dataAlign =...
本文作者:德州儀器副總裁兼處理器事業(yè)部總經(jīng)理Sameer Wasson由于新冠疫情,我和我的家人不得不尋找另一種方法來(lái)購(gòu)物和購(gòu)買(mǎi)必需品。盡管網(wǎng)上購(gòu)物比以往任何時(shí)候都更容易,即使在我們居住的城市地區(qū),訂單的交付現(xiàn)在變得不那么復(fù)雜,也更加可靠。隨著越來(lái)越多的人被隔離在家里,送貨速度可能已經(jīng)慢了幾天,但大多數(shù)零售商都能保持營(yíng)業(yè)并交付訂單。這是一項(xiàng)...
1 概述在諸多的總線標(biāo)準(zhǔn)中,各種總線都稱(chēng)是標(biāo)準(zhǔn)的,但在市場(chǎng)競(jìng)爭(zhēng)不能劃地為界的行業(yè)或領(lǐng)域,各種總線都互相滲透。例如DeviceNet廣泛應(yīng)用于汽車(chē)、物料搬運(yùn)和制造加工業(yè),但在歐洲,Profibus標(biāo)準(zhǔn)也是這些領(lǐng)域的有力競(jìng)爭(zhēng)者且占據(jù)了絕對(duì)的份額。此外,Profibus標(biāo)準(zhǔn)在一些特定行業(yè)的應(yīng)用也非常廣泛,像Profibus DP在汽車(chē)工廠中的應(yīng)用就是如此。然而,有一個(gè)很...

史海拾趣

問(wèn)答坊 | AI 解惑

新任版主報(bào)道,給大家問(wèn)安

      大家好,新任版主報(bào)道,先給各位高手問(wèn)安啦!祝大家工作順利......      本人杭州電子科技大學(xué)在校大三學(xué)生,自認(rèn)為單片機(jī)(主攻51和AVR),電源,FPGA,ProtelDXP技術(shù)不錯(cuò).特申請(qǐng)來(lái)本站做版主,希 ...…

查看全部問(wèn)答∨

推挽放大器的前端電路

C:\\Documents and Settings\\Administrator\\桌面\\推挽放大器的前端電路.JPG…

查看全部問(wèn)答∨

一位電子工程大四學(xué)生的反思和拷問(wèn)

博文《教育需要良心——回歸工程教育的痛苦思考與實(shí)踐》真實(shí)地反映了現(xiàn)在大學(xué)教育中存在的問(wèn)題,在此我舉例證實(shí)一下,大四階段,我也遇到了兩位不負(fù)責(zé)任的老師典型。 第一個(gè)是教我們電子技術(shù)的。她上課的時(shí)候完全是照著PPT念,并且PPT都是從網(wǎng)上下 ...…

查看全部問(wèn)答∨

3*1W 隔離式驅(qū)動(dòng)方案;安規(guī)不好過(guò)

目前調(diào)試的FSEZ1317方案: 輸入85-265                    輸出10V  350MA                    已過(guò) EMI ...…

查看全部問(wèn)答∨

急!修改wince5.0 ie的語(yǔ)言支持包

請(qǐng)問(wèn)一下,有沒(méi)有人知道如何修改wince5.0下IE的語(yǔ)言包 如,中文->韓文 …

查看全部問(wèn)答∨

請(qǐng)問(wèn):有誰(shuí)使用過(guò)亞控公司嵌入版組態(tài)王

問(wèn)題如題:我主要想知道你們都應(yīng)用在哪個(gè)方面了?例如水處理?還是物流管理?最好能發(fā)個(gè)相關(guān)的圖片上來(lái)。謝謝…

查看全部問(wèn)答∨

請(qǐng)問(wèn)在WinCE下視頻播放上面的半透明的菜單式如何做的

首先覺(jué)得用GDI不現(xiàn)實(shí),因?yàn)橐曨l的播放著的,下面的東西是可變的,半透不好做。 其次,用OpenGl ES?整個(gè)OpenGL的播放器也不簡(jiǎn)單,會(huì)很麻煩,雖然用OpenGl做半透簡(jiǎn)單 最后用OSD,這方面又和驅(qū)動(dòng)關(guān)聯(lián)太緊了,沒(méi)有怎么看過(guò)。 大家給點(diǎn)建議。…

查看全部問(wèn)答∨

怎樣實(shí)現(xiàn)隔離式交流調(diào)壓功能?

本人采用晶閘管,BTA41-800B,想實(shí)現(xiàn)市電220V輸入,0~40V經(jīng)過(guò)變壓器隔離過(guò)的交流輸出,用50W變壓器(帶有負(fù)載),可實(shí)現(xiàn)線性正玄波調(diào)壓,如果換成200W變壓器(帶負(fù)載),控制門(mén)極幅度時(shí),會(huì)出現(xiàn)變壓器共振,變壓器無(wú)法輸出正玄波。 請(qǐng)問(wèn)晶閘管與輸 ...…

查看全部問(wèn)答∨

FPGA_EDITOR手動(dòng)布線后如何提取文件后仿的

FPGA_EDITOR手動(dòng)布線后如何提取文件后仿的 用VERTIEX4的芯片,自己手動(dòng)用FPGA—EDITOR布局布線,生成ncd,pcf文件,可是現(xiàn)在有個(gè)問(wèn)題是我不知道用生成的NCD和PCF文件如何在ISE下提取出后仿模型?…

查看全部問(wèn)答∨

關(guān)于USB的應(yīng)用?48K數(shù)據(jù)15ms完成傳輸?如何實(shí)現(xiàn)

我想使用STM32的USB,達(dá)到下面要求:1、STM32里48K的數(shù)據(jù)能在15ms內(nèi)完成傳輸?shù)絇C,并且開(kāi)始傳輸時(shí)間不確定的。HID的最多是64K/S,1ms 1筆事務(wù),每筆事務(wù)最多64BYTE,不可行;要用什么方式實(shí)現(xiàn)?2、STM32能根據(jù)PC發(fā)送的命令操作,返回一段 ...…

查看全部問(wèn)答∨
小廣播
最新半導(dǎo)體設(shè)計(jì)/制造文章

 
EEWorld訂閱號(hào)

 
EEWorld服務(wù)號(hào)

 
汽車(chē)開(kāi)發(fā)圈

 
機(jī)器人開(kāi)發(fā)圈

電子工程世界版權(quán)所有 京ICP證060456號(hào) 京ICP備10001474號(hào)-1 電信業(yè)務(wù)審批[2006]字第258號(hào)函 京公網(wǎng)安備 11010802033920號(hào) Copyright ? 2005-2025 EEWORLD.com.cn, Inc. All rights reserved
主站蜘蛛池模板: 南宁市| 晋中市| 乐至县| 红安县| 奇台县| 犍为县| 石屏县| 陆良县| 潼南县| 福清市| 麻城市| 鄂伦春自治旗| 澄江县| 民权县| 西丰县| 长宁县| 泰和县| 吉木萨尔县| 江西省| 张家口市| 同仁县| 文登市| 西藏| 曲靖市| 民勤县| 句容市| 犍为县| 防城港市| 普陀区| 海丰县| 甘肃省| 牡丹江市| 平潭县| 德惠市| 蒙自县| 佛教| 临西县| 保亭| 和静县| 安康市| 栾城县|