深度學習對機器學習有什么樣的影響

PartyLikeLizLemon：

?

現在機器學習有很多研究看起來似乎轉向了深度學習。請問您認為這現象會對機器學習研究的多樣性有什么負面影響嗎？是否應該徹底放棄其他范式的研究，如概率圖模型、支持向量機等來支持深度學習研究呢？要知道這些模型在當下的表現可能不是很好，但也不排除在未來會出現突破，就像深度學習在上世紀90年代的那樣。

?

Yann LeCun：

?

當AI技術繼續發展時，我感覺，深度學習只是其中的一部分。你可以在復雜的（可能是動態的）圖中集成參數化模塊，并根據數據進行優化參數，這種想法并沒有過時。從這個意義上，只要我們還沒有找到不需使用梯度優化參數的高效方法，深度學習就不會過時。也就是說，正如今天我們所知，對于完整的AI，僅有深度學習是不夠的。我一直認為，定義動態深度架構（即按程序定義計算圖，其結構隨著新的輸入而改變）的能力可以將深度學習泛化為可微編程（Differentiable Programming）。

?

但實際上，我們至少遺漏了兩件事：(1)能夠推理的學習機器，而不僅僅是感知和分類；(2)學習機器可以通過觀察世界來學習，而不需要人工訓練的訓練數據，也不需要與現實世界進行太多的交互。有些人把這叫做無監督學習，但這句話太含糊了。

?

我們需要的是，讓機器能夠學會模仿人類嬰兒和動物的行為，它們主要通過觀察，只需很少的交互就能建立世界的模型。我們怎么才能讓機器做到這一點呢？這就是未來十年的挑戰。

?

關于你的第二個問題，深度學習和圖模型之間并不存在對立關系。你可以如此使用圖模型例如因子圖，其中的因子是完整的神經網絡。這些都是正交的概念。人們曾在深度學習框架上構建了概率編程框架（Probabilistic Programming frameworks），例如Uber的Pyro，就是建立在PyTorch上（概率編程可看作是圖模型的泛化，類似可微編程是深度學習的泛化）。在圖模型中使用反向傳播梯度進行推理是非常有用的，當數據匱乏并可以進行手動特征化時，SVM/核方法、樹模型等更好用。

Eric Horvitz：

?

深度神經網絡進行分類和預測的表現讓人興奮不已。當這些方法結合了強化學習時，我們看到，目標識別、語音識別、翻譯、甚至學習最優策略的準確率都在不斷提高。然而，AI是一個很寬泛的領域，其下有很多令人驚嘆、前途光明的分支學科，并且，AI的機器學習分支也有大量的分支。

?

我們需要繼續深入投資開發有前途的AI技術（結合各方取得的進步），包括概率圖模型、決策理論分析、邏輯推理、規劃、算法博弈論、元推理和控制論等已有的豐碩成果。我們還要進行更為廣泛的探索，如將有限理性模型泛化到開放世界中研究智能體的限度。

?

我們在Microsoft研究院做了一個研究，同時在推動DNN，以便更廣泛地投資于AI領域的人才和項目，正如我們1991年成立以來所做的那些。當然，我們也對理解如何將邏輯推理和DNN以及其他形式的機器學習相結合感興趣，例如，我們在關于DNN和邏輯示例相結合的工作中，做到自動編程。在這些結合中，我們看到了一些很好的機會。

?

AI時代，就業會發生哪些變化

english_major：

?

您認為對下一代而言，有哪些職業會被AI取代，又有哪些職業是安全的呢？我是以經常為學生提供就業選擇建議的高中老師身份來提問的。很多人談論人工智能顛覆的行業主要集中在駕駛汽車方面，而忽略了其他領域。我現在有個學生想成為飛行員，我讓他了解一下無人駕駛飛機，但他并不認為這是威脅。我給學生們講，貿易行業是比較保險的選擇，尤其是那種需要大量流動性的貿易。另外，還有哪些領域現在看起來比較安全呢？

?

Peter Norvig：

?

我認為，與其考慮職業，不如思考任務更為有意義。如果一位雄心勃勃的商業飛行員在1975年尋求建議，那么就該這么建議：你喜歡起飛和著陸嗎？未來很多年你都可以這么建議。很遺憾的是，這個任務幾乎全部實現了自動化。因此，我認為大多數領域都是安全的，但你在任何工作中所做的任務組合都將會改變，不同職業之間的報酬差異也會改變，而且每個工種所需的人數也會改變。我們很難預測這些變化。比如，現在很多人在開卡車，但未來有一天，這些長途駕駛大多數會變成自動化。我想，駕駛座應該還會坐著一個人，但他們的工作重點是裝卸貨物和客戶關系/推銷，而非駕駛。如果他們最終可以在行駛時在駕駛室內睡覺，或者編排更大規模的卡車車隊，那么你會認為，我們需要的卡車司機會更少，但如果卡車運輸成本相對于鐵路或海路運輸下降，則需求可能會增長。因此，現在很難預測幾十年后的事兒，我的建議是，保持靈活性并為學習新事物做好準備，無論是某個職業內任務發生變化還是更換職業。

?

Eric Horvitz：

?

AI技術的發展會對經濟中的勞動力產生多重影響。我相信有些變化可能是顛覆性的，并且可能會很快就出現，這樣的顛覆可能會出現在汽車司機上。其他影響還包括工作執行的方式和人們執行不同領域的任務的方式。總的來說，我對AI技術的發展對工作分配和工作性質的影響持積極態度。我看到很多任務都得到了更復雜的自動化的支持，而不是被它們取代了。其中就包括藝術和科學探索領域內的工作，以及需要人類精細操作的工作。另外還有很多工作，需要依賴人與人之間相互合作和照顧，比如教學、指導、醫療照護、社會工作和撫養孩子等等。關于后者，我希望在這個自動化日益增多的世界里，能看到更為顯著的“關愛經濟”的興起和支持。

?

人們可能對近期一些關于思考未來狀況的研究感興趣。這里有一份非常有意思的研究，思考了機器學習的進步在特定功能方面對工作的影響： http://science.sciencemag.org/content/358/6370/1530.full 。我給諸位推薦這篇文章，因為這是一篇能夠幫助公眾了解如何將某些結構組合起來預測人工智能和工作就業的未來的文章。

?

順便說一句：昨天我們在Austin的美國科學促進會（AAAS）舉行了一次會議，討論人工智能的進步是如何增強人類能力和改變任務的。 你可以訪問這個網址：

?

https://aaas.confex.com/aaas/2018/meetingapp.cgi/Session/17970

?

Yann LeCun：

?

我們還需要等很久很久才能有機器人管道工、木匠、手藝人、理發師等等。一般來說，人工智能不會取代工作，但會改變工作。最終而言，藉由人工智能，每個工作都會因此更為高效。但是，需要人類創造力、互動和情商方面的工作，很長時間內并不會消失。科學、工程、藝術、工藝制造等創造性的工作，還會繼續保留。

?

如何構建通用人工智能

Youarenotright2：

?

請問如何將任務特定的AI突破到更為通用的人工智能？就目前看來，我們似乎花費了大量的精力用于圍棋競賽，或者使用深度學習來執行特定的科學任務。這些成就非常炫酷，但是，相比大多數人心目中的AI來說，還很狹隘。我們如何構建能夠適應任意任務通用人工智能呢？我覺得通過簡單的拼湊數百萬個任務特定的應用，并不能構建通用智能。

?

Yann LeCun：

?

依我看，讓機器通過觀察來學習世界預測模型是通用人工智能的最大障礙。人類嬰兒和很多動物似乎都可以通過觀察世界并與其互動獲得一種常識（盡管與我們的強化學習系統相比，它們只需很少量的互動），我的直覺是，大腦中很大一部分是預測機器。它訓練自身以預測所有事物（預測未見過的事物，如從過去和現下的經驗預測未來），通過學習預測，大腦構建了層次化的表征。預測模型可用于規劃和學習新的任務，只是和世界的交互很少很少。目前的“無模型”強化學習系統，如AlphaGo Zero，需要與“世界”進行大量的互動來學習（雖然它們確實學習的很不錯）。它們在圍棋或象棋上表現很好，但這樣的“世界”太過簡單，太過確定，而且可以同時在許多計算機上高速運行。與這樣的“世界”互動很容易，但在現實世界中卻行不通。你總不能將汽車開到懸崖五萬次才學會“不要把車開到懸崖邊”的規則吧？大腦的世界模型會告訴我們（哪怕只有一次經驗）：把車開到懸崖是很壞的主意。我們如何讓機器學習也擁有這樣的世界模型呢？

?

Eric Horvitz：

?

是的，最近人工智能領域取得的勝利確實推動了應用的發展，公眾也把AI炒作得很厲害。但是，目前人工智能實際上就是智能而狹隘的“專家”。

?

我們遠遠沒有取得人類智能的終極奧義，其中就包括人類如何在開放世界中以無監督的方式學習（如人們一聽到“人工智能”一詞就聯想到很多事情）、形成“常識”的機制以及我們為什么能夠輕松歸納那么多事情的秘密。

?

目前有幾個研究方法可以促進通用智能的發展。一種方法是采用綜合人工智能方法：將多種特定能力（如語音識別、自然語言、視覺、規劃和推理）有機結合起來，然后探索這些應用的關聯性問題。另一種方法是研究像DNN的核心方法論，探索其中更通用的結構。在此，我推薦一篇文章，可以給我們提供一個有趣的通向通用人工智能的框架和方向：

?

http://erichorvitz.com/computational_rationality.pdf

?

對入門AI從業者的建議

ta5t3DAra1nb0w：

?

我是一名核工程/等離子體物理學研究生，正計劃轉向AI研究。關于AI領域：AI研究的下一個里程碑是什么？當前的挑戰是什么？關于該領域的專業技能發展：為了在該領域取得成功，我需要具備那些重要的技能/知識？您對剛入門的人有什么一般性的建議或者推薦的學習資源嗎？

?

Yann LeCun：

?

下一個里程碑是深度無監督學習，可以進行推理的深度學習系統。無監督學習的挑戰是，如何學習世界的層次化表征，從而理解變化的解釋因素。我們如何訓練機器學習在不完全可預測的世界中進行預測？就好比我掉落了一支筆，你并不能真正預測它會以什么樣的姿勢落地。什么樣的學習模式可以用來訓練機器去預測這支筆將落到地上平躺著，而不指定它的方位呢？換言之，我們如何讓機器學習世界的預測模型，因為這個世界并非完全可以預測的。

?

關鍵技能：對連續數學（線性代數、多元微積分、概率統計、優化學等）的掌握/良好的直覺。熟練的編程技能。熟練的科學方法論。最重要的是：創造力和直覺。

?

Peter Norvig：

?

我希望能看到能真正理解人類語言并能進行實際對話的智能虛擬助理，它將是很重要的里程碑。它最大的挑戰是將我們很在行的模式匹配結合抽象推理和規劃，但目前我們只能在非常形式化的領域中可以做得很好，如國際象棋，但這點在現實世界并不夠。

?

我認為物理學家身份是你的一大優勢，有很合適的數學背景以及實驗、建模和處理不確定性、誤差的思維。我見過很多物理學家在這方面做得很好，例如Yonatan Zunger博士，是弦理論物理學家，現在是Google搜索的頂尖人士；Yashar Hezaveh、Laurence Perreault Levasseur和Philip Marshall，這些人并沒有深度學習的背景，但他們在幾個月的緊張學習中，發表了一篇關于將深度學習應用于引力透鏡的里程碑式的論文。

?

為了保持競爭優勢是否會保密算法和架構

vermes22：

?

貴司是否會為競爭優勢故意保留一些算法/架構的秘密？我知道數據集是巨大的競爭優勢，但算法也是如此嗎？換言之，如果貴司在某個算法/架構取得了突破性的成就，比如下一代CNN或下一代LSTM，你們會不會為了科學發展而公開它？還是會為了保存競爭優勢而保留秘密呢？

?

Peter Norvig：

?

截至目前，你可以看到我們三家公司（以及其他公司）發布了很多通用算法，我認為我們也將會繼續這樣做。我認為原因有三點。首先，我們相信科學發展；其次，競爭優勢來自于你使用算法所做的努力及圍繞創造某個產品所有的過程，而非核心算法本身；最后，你無法將它們作為機密獨吞，如果我們能想到，同一研究領域的其他人也能想到。

?

Yann LeCun：

?

在我司FAIR，我們會公開我們所做的每一件事。原因如下：

?

（1） 正如Peter所言，“我們相信科學發展，而競爭優勢來自于你使用算法所做的奴隸，以及圍繞創造某個產品所有的過程，而不是核心算法本身。”我還想補充一點：競爭優勢也來自于你將算法/模型轉化成產品或服務的速度。

?

（2） 現今AI的主要問題并不是一家公司是否領先于另一家（沒有一家公司會一直領先于其他公司），而是AI領域本身需要在一些重要方向上快速推進。我們都希望智能虛擬助理具備一定程度的常識，但我們目前并不知道怎么做出來。我們誰也不可能只憑一己之力去解決這個問題，我們需要整個研究界的合作來取得進展。

?

（3） 除非你允許科學家發布研究成果，否則你不能吸引他們；只有以其對更廣闊的研究界的學術影響來評估他們（至少占部分），你才能留住他們。

?

（4） 除非你告訴他們必須發布成果，才能得到可靠的研究成果。如果不打算公開成果的話，人們通常會更加草率。

?

（5） 公開創新性研究成果能夠使公司成為領導者和創新者。這有助于招募最優秀的人才。在科技行業中，吸引最優秀人才的能力就意味著一切。

?

Eric Horvitz：

?

Microsoft研究院是1991年創立的一家開放的研究實驗室。我們實驗室的基礎是，研究人員可以自由決定是否發布研究成果、分享想法和學識，這個基礎已經融入到我們實驗室的基因中了。看到其他公司也在朝著這個方向前進，我覺得這很棒。在Peter的答案基礎上，我想，偉大的創新和知識產權是圍繞不同領域的實際產品化實現的細節開發出來的，這些可能無法像核心技術進展那樣共享出來。

?

AI如何為用戶保護隱私

cdnkevin：

?

很多人擔心在使用Siri、Google Home等語音助手會引起隱私泄露。隨著人工智能越來越滲入我們日常生活中，有什么措施能夠使得用戶在使用AI時同時保護其行為數據嗎？

?

Eric Horvitz：

?

我能理解這種擔心。我很高興的是，我看到我們公司的員工是如何嚴肅、認真對待終端用戶數據的，數據采取了嚴格的匿名制，并在很短的時間內即刪除，還為用戶提供了多種方法來檢查、控制和刪除數據。

?

隨著歐洲GDPR（General Data Protection Regulation，一般數據保護法案）的生效，對終端用戶數據的將會有更為嚴格的把控。

?

我們密切關注Microsoft研究部門和整個公司在隱私、可信度和服務責任方面的情況，包括人工智能應用和服務的創新。

?

人們真正關心的是我們公司內外的隱私政策，我們很高興看到在保護用戶隱私方面做出了努力，如私下訓練AI系統和為用戶提供更多選擇。在幾年前的IAPP會議上曾經討論過后者的解決方案，你可查看這篇這份研究報告：

?

http://erichorvitz.com/IAPP_Eric_Horvitz.pdf

Peter Norvig：

?

這里有個可以將您的數據從Google導出的鏈接：

?

https://takeout.google.com/settings/takeout?pli=1

?

這里還有個從Google刪除你數據的鏈接：

?

https://support.google.com/accounts/answer/465?co=GENIE.Platform%3DDesktop&hl=en

?

許多人并不想刪除他們所有的數據，但會使用匿名、未經登錄的方式來避免在記錄中出現某些信息。

如何阻止“偽AI”

?

stochastic_gradient：

?

作為一個機器學習從業者，我對漫天遍地的“偽AI”越來越感覺到厭倦。比如，Sophia，只不過是一個設置了預編答案的木偶，卻被視作一個有生命的意識的存在。提及機器學習的職位空缺中有95%并非AI職位，只不過加上了“AI”、“機器學習”這種流行詞使該公司看上去更有吸引力。

?

在我看來，這個世界上只有幾千人從事機器學習的工作，但卻有100倍的人在假裝從事AI。這是病啊得治！它上海了所有人，還奪走了現在機器學習真正的成果。我們能夠采取什么措施來阻止這種行為嗎？

?

Peter Norvig：

?

不必擔心。這并非AI領域獨有的現象。每當出現一個熱詞時，總有一些人想用不恰當的方式來利用它。人工智能和機器學習是如此，像“有機”、“無麩質”、“范式轉移”、“中斷”、“中樞”等也是如此，它們只能獲得一些短期關注，最終還是會逐漸消失。

?

Eric Horvitz：

?

我認同Peter的看法。很高興看到公眾對AI研究的熱情，但是確實存在一些過熱、誤解的地方，就像那些以各種方式躍躍欲試的人一樣（包括給所有的一律冠以“人工智能”）。

?

Mark Twain曾經說過：“歷史不會重演，但總是驚人的相似。”（History doesn't repeat itself, but it rhymes.）在20世紀80年代中期的專家系統也曾出現過AI過熱的局面。1984年，一些AI科學家警告說，錯誤的熱情和辜負期望可能會導致興趣和資金的崩潰。事實上，過了幾年后我們就進入了被稱為“AI寒冬”的時期。我并不認為這一次還會發生這樣的情況，我想，這次大火中會有炙熱的余燼，繼續推動AI領域前進。但AI科學家繼續教育多個領域的人們關于我們實際取得的成果也很重要，而不是自從“人工智能”一詞首次使用這65年以來我們一直努力解決的困難問題。

?

Yann LeCun：

?

作為嚴肅的機器學習/人工智能的專家，當他們看到這種情況時，都會毫不猶疑抄起電話吼：胡說八道，放狗屁！我就是這么做的。是的，“AI”已經成為商業熱詞，但今天人工智能/機器學習領域仍然有很多嚴肅的、酷炫的工作。

?

量子計算是否推動人工智能的發展

Sol-Om-On：

?

量子計算的發展是否推動了人工智能的研究？您如何看待未來二者的整合？

?

Peter Novig：

?

我想做的許多事情，量子計算并沒有提供幫助。我經常想要通過一個相對簡單的算法來處理海量文本，但量子計算對此毫無幫助。

?

然而，量子計算可能有助于更高效地搜索深度網絡的參數空間。我并不清楚是否有人做出了這樣的量子算法來實現這一點，不考慮硬件機器是否能實現，但在理論上可能是有用的。

?

Yann LeCun：

?

推動？我當然不這么認為。對我來說，我根本不清楚量子計算能對人工智能有什么樣的影響，在短期內更不可能。

?

深度學習的趨勢會怎樣？

PartyLikeLizLemon：

?

請問您認為深度學習知識一時的狂熱，還是長期的趨勢？雖然我知道基于深度學習的模型在計算視覺和自然語言處理方面有巨大的改進。但在機器學習中，新范式的出現，并且完全聚焦這一點只是時間早晚的問題。您認為深度學習是解決視覺和NLP問題的模式嗎？還是不久就會有新范式出現呢？

?

Peter Norvig：

?

我認為“深度學習”這個品牌已經創造了如此大的價值，無論底層技術發生多大的變化，它都會維持很長的時間。因此，即使CNN和ReLu轉向膠囊或者其他東西，但我覺得，“深度學習”這個詞還將持續。

?

至于基本概念或方法，我認為我們在模式匹配問題上做得很好，但并不擅長關系推理和規劃方面。我們能夠做一些抽象的形式，但還不夠，所以我們需要大量的新思想。

?

讓我們先看看出場的三位AI大佬們：

?

Yann LeCun

Facebook 人工智能實驗室（FAIR）主任

紐約大學數據科學中心創始人

紐約大學計算機科學、神經科學、電子電氣科學教授

?

Eric Horvitz

前AAAI（美國人工智能協會）主席

Microsoft總部研究院院長、技術院士

?

Peter Norvig

Google研究總監

曾任職于NASA、南加州大學和伯克利大學

AAAI、ACM成員