2020機器學(xué)習(xí)框架走向大融合！Jeff Dean、PyTorch之父等展望AI大勢

人工智能不再準(zhǔn)備有一天改變世界，它正在改變世界。新年伊始，VentureBeat轉(zhuǎn)向了AI領(lǐng)域最敏銳的頭腦，重新審視了2019年取得的進步，并展望了機器學(xué)習(xí)在2020年將如何發(fā)展。

受訪者包括Google AI負責(zé)人Jeff Dean、PyTorch的創(chuàng)始人Soumith Chintala、加州大學(xué)教授Celeste Kidd、英偉達機器學(xué)習(xí)研究總監(jiān)Anima Anandkumar和IBM研究總監(jiān)Dario Gil。

每個人對新的一年都有預(yù)測，但是這些人正在塑造未來。這些在AI社區(qū)中具有權(quán)威的人，他們珍視科學(xué)追求，他們獲得了實至名歸的榮譽。盡管一些人預(yù)測了半監(jiān)督學(xué)習(xí)和神經(jīng)符號方法等子領(lǐng)域的進展，但幾乎所有ML專家都表示同意，2019年，基于Transformer的自然語言模型方面取得了巨大進展，而像面部識別這樣的技術(shù)繼續(xù)引起爭議。相比看到AI領(lǐng)域準(zhǔn)確率的提高，他們更希望看到AI的價值。

先總結(jié)一下這次AI專家們預(yù)測的一些趨勢：

隨著Transformers推動了巨大的飛躍，自然語言模型的進步是2019年的一件大事。在2020年尋找更多基于BERT和基于Transformer的模型的變體。

人工智能行業(yè)應(yīng)該尋找方法來評估模型輸出的準(zhǔn)確性。

諸如半監(jiān)督學(xué)習(xí)，機器學(xué)習(xí)的神經(jīng)符號方法之類的方法以及諸如多任務(wù)和多模式學(xué)習(xí)之類的子領(lǐng)域可能會在未來一年取得進展。

與生物統(tǒng)計數(shù)據(jù)（如語音記錄）相關(guān)的倫理挑戰(zhàn)可能會繼續(xù)引起爭議。

諸如量化之類的編譯器和方法可能會在PyTorch和TensorFlow這些機器學(xué)習(xí)框架中作為優(yōu)化模型性能的方式而流行。

PyTorch創(chuàng)始人Soumith Chintala ：機器學(xué)習(xí)框架走向大融合

PyTorch是當(dāng)今世界上最受歡迎的機器學(xué)習(xí)框架。它是2002年問世的Torch開源框架的衍生產(chǎn)品，自2015年發(fā)布以來，其擴展工具和庫均穩(wěn)步增長。

今年秋天，F(xiàn)acebook發(fā)布了支持量化和TPU的PyTorch 1.3，以及深度學(xué)習(xí)可解釋性工具Captum和面向移動設(shè)備的PyTorch Mobile。還有諸如PyRobot和PyTorch Hub等其他產(chǎn)品和工具，可用于共享代碼并推進機器學(xué)習(xí)研究的可重復(fù)性。

Chintala在今年秋天在PyTorch開發(fā)者大會上曾表示，他認為2019年機器學(xué)習(xí)領(lǐng)域幾乎沒有突破性進展。

“實際上，我認為自從Transformer架構(gòu)問世以來，我們基本上沒有什么開創(chuàng)性的新東西……卷積網(wǎng)絡(luò)在2012年就進入了黃金期，而Transformer則是在2017年左右。當(dāng)然，這是我的個人看法，”他說。

Chintala表示，DeepMind的AlphaGo在強化學(xué)習(xí)方面的貢獻確實是開創(chuàng)性的，但對于現(xiàn)實世界中的實際任務(wù)，很難實現(xiàn)這一結(jié)果。Chintala還認為，機器學(xué)習(xí)框架（如PyTorch和TensorFlow）的發(fā)展改變了研究人員的研究思路和方式。

“從某種意義上說，這是一個突破，讓研發(fā)速度比以前快了一兩個數(shù)量級。”

今年，谷歌和Facebook的開源框架引入了量化功能，以提高模型訓(xùn)練的速度。在未來的幾年內(nèi)，Chintala認為PyTorch的JIT編譯器和Glow等神經(jīng)網(wǎng)絡(luò)硬件加速器的重要程度和應(yīng)用范圍都有望實現(xiàn)“爆炸式增長”。

“有了PyTorch和TensorFlow，目前框架的融合過程已經(jīng)開始。之所以現(xiàn)在框架推出了量化功能，以及其他一系列較低層級的工具，是因為下一場戰(zhàn)爭是框架的編譯器之爭。比如XLA，TVM，以及PyTorch的Glow，在接下來的幾年中，深度學(xué)習(xí)框架的焦點將是如何更智能地實現(xiàn)量化，如何更好地促進框架間的融合，如何更有效地使用GPU，如何為新硬件進行自動編譯等等。”

Chintala預(yù)測，AI社區(qū)將在2020年之前將更多精力放在AI模型更廣泛意義的性能提升上，不僅僅是精度，也要重視其他因素，比如建立模型所需的能耗、如何解釋模型的輸出、AI如何更好地反映人們想要建立的社會類型。

“回想過去五六年，我們基本上只是關(guān)注準(zhǔn)確性，我認為2020年將是我們開始以更復(fù)雜的方式思考的一年。”

Jeff Dean ：多模式學(xué)習(xí)將取得新突破

Jeff Dean領(lǐng)導(dǎo)Google AI已有近兩年時間，他已經(jīng)在Google工作了二十年，是Google許多早期搜索和分布式網(wǎng)絡(luò)算法的架構(gòu)師，也是Google Brain的早期成員之一。

Jeff Dean上個月出席NeurIPS 2019，就ASIC半導(dǎo)體設(shè)計的機器學(xué)習(xí)以及AI社區(qū)應(yīng)對氣候變化等話題進行了演講。他預(yù)計2020年，多模式學(xué)習(xí)領(lǐng)域?qū)⑷〉眠M展，這是一種依靠多種媒體進行訓(xùn)練的AI，而多任務(wù)學(xué)習(xí)則涉及旨在一次完成多個任務(wù)的網(wǎng)絡(luò)。

毫無疑問，2019年機器學(xué)習(xí)最明顯趨勢之一是基于Transformer的自然語言模型的持續(xù)壯大。Google于2018年開源了基于Transformer的模型BERT。據(jù)GLUE排行榜的數(shù)據(jù)顯示，今年發(fā)布的許多性能最佳的模型（如Google的XLNet，微軟的MT-DNN，F(xiàn)acebook的RoBERTa）都基于Transformer。XLNet 2將于本月晚些時候發(fā)布。

他表示：“ 我認為目前的研究路線在生成實用機器學(xué)習(xí)模型方面非常有成果，現(xiàn)在的機器學(xué)習(xí)模型比過去能夠完成的復(fù)雜得多，但未來仍有增長空間。“我們?nèi)匀挥型麆?chuàng)建更多的上下文相關(guān)的模型。目前BERT和其他模型可以很好地處理數(shù)百個單詞，但不能很好處理帶上下文的10000個單詞。”

Jeff Dean希望今后能夠少強調(diào)一些最新技術(shù)，而傾向于構(gòu)建更強大的模型。

Celeste Kidd：2020年可能意味著“神經(jīng)網(wǎng)絡(luò)不可解釋”這一觀念的終結(jié)

加州大學(xué)伯克利分校的發(fā)展心理學(xué)家，Kidd實驗室主管

Celeste Kidd與團隊成員在Kidd實驗室探索孩子們?nèi)绾螌W(xué)習(xí)。她們的洞察可以幫助神經(jīng)網(wǎng)絡(luò)的創(chuàng)造者——正試圖用與撫養(yǎng)孩子不太不同的方式來訓(xùn)練模型。

在人工智能領(lǐng)域，“黑盒”一詞已經(jīng)存在多年。它被用來批評神經(jīng)網(wǎng)絡(luò)缺乏可解釋性，但Kidd認為2020年可能意味著“神經(jīng)網(wǎng)絡(luò)不可解釋”這一觀念的終結(jié)。她說：“黑匣子的論點是虛假的……大腦也是黑匣子，我們在理解大腦如何工作的方面取得了很大進步。”

為了解開對神經(jīng)網(wǎng)絡(luò)的這種認識，Kidd將目光投向了像MIT-IBM Watson AI Lab的執(zhí)行主任Aude Oliva這樣的人的工作。她說：“我們在討論這個問題，你可以解剖它們，把它們拆開，看看它們是如何工作的，并對它們進行實驗，就像我們理解認知一樣。”

在2020年，她希望看到人們更多地意識到技術(shù)工具和技術(shù)決策在現(xiàn)實生活中的影響，并摒棄工具制造商不對人們使用工具的行為負責(zé)任的觀點。她說：“我聽到很多人試圖為自己辯護，說他們自己不是真相的主持人；我認為必須提高人們對這種不誠實態(tài)度的認識。我們作為社會人，特別是作為正在開發(fā)這些工具的人們，確實需要直接意識到隨之而來的責(zé)任。”

Dario Gil：神經(jīng)符號和常識推理是MIT-IBM?Watson Lab的一項旗艦計劃

IBM研究主管

他預(yù)測，在架構(gòu)的精度降低的情況下使訓(xùn)練更有效率，會取得持續(xù)的進展。開發(fā)更有效的AI模型是NeurIPS的一個重點，IBM Research在NeurIPS引入了8位精確模型的深度學(xué)習(xí)技術(shù)。

他說：“我們用現(xiàn)有的硬件和GPU架構(gòu)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的方式仍然是如此普遍低下。因此，對這此進行真正根本性的反思非常重要。我們必須提高AI的計算效率，這樣才能做得更多。”

Gil引用的研究表明，每三個半月對機器學(xué)習(xí)訓(xùn)練的需求就會翻一番，遠遠快于摩爾定律預(yù)測的增長速度。Gil還對人工智能如何幫助加速科學(xué)發(fā)現(xiàn)感到興奮，但IBM的研究將主要集中于機器學(xué)習(xí)的神經(jīng)符號方法上。

在2020年，Gil希望人工智能從業(yè)者和研究人員把重點放在準(zhǔn)確性以外的指標(biāo)上，以考慮投入生產(chǎn)的模型的價值。將領(lǐng)域轉(zhuǎn)向構(gòu)建可信系統(tǒng)，而不是將準(zhǔn)確性放在首位，這將是繼續(xù)采用人工智能的中心支柱。

Gil相信，要想讓更多具備數(shù)據(jù)科學(xué)和軟件工程技能的人使用人工智能，就必須擺脫這樣一種觀念——只有少數(shù)機器學(xué)習(xí)的奇才能夠做人工智能。他說：“如果我們把人工智能作為一個神話般的領(lǐng)域，只對從事這方面研究的博士開放，那么這并不能真正促進人們對人工智能的使用。”

在未來一年里，Gil對神經(jīng)符號人工智能特別感興趣。IBM將尋求神經(jīng)符號方法來增強概率編程等功能——人工智能在其中學(xué)習(xí)如何操作程序，以及能夠共享決策背后的推理的模型。他認為，通過這些神經(jīng)符號方法將學(xué)習(xí)和推理結(jié)合起來，其中符號維度嵌入到學(xué)習(xí)程序中，已經(jīng)證明可以用所需的一小部分數(shù)據(jù)來學(xué)習(xí)。因為學(xué)習(xí)了一個程序，最終得到了一些可解釋的東西；因為有一些可解釋的東西，又得到了更可信的東西。

公平性、數(shù)據(jù)完整性、數(shù)據(jù)集的選擇等問題、“任何與生物識別有關(guān)的問題”將繼續(xù)受到廣泛關(guān)注，也將繼續(xù)受到關(guān)注。面部識別得到了很多關(guān)注，但這只是個開始。語音數(shù)據(jù)和其他形式的生物識別技術(shù)將會越來越敏感。一切與人的身份、生物特征以及人工智能在分析方面取得的進展，都將繼續(xù)是前沿和中心。

除了神經(jīng)符號和常識推理（MIT-IBM?Watson Lab的一項旗艦計劃）外，IBM Research在2020年還將探索AI的量子計算與模擬硬件（超越降低精度的架構(gòu)）。

Nvidia機器學(xué)習(xí)研究總監(jiān)Anima Anandkumar：希望看到更多針對特定行業(yè)的文本模型

Anandkumar加入了GPU制造商Nvidia，此前她在AWS擔(dān)任首席科學(xué)家。在英偉達，人工智能研究在多個領(lǐng)域繼續(xù)進行，從醫(yī)療保健的聯(lián)合學(xué)習(xí)到自動駕駛、超級計算機和圖形學(xué)。

英偉達和Anandkumar在2019年的一個重點領(lǐng)域是強化學(xué)習(xí)的模擬框架，該框架正變得越來越受歡迎和成熟。

在2019年，我們看到了英偉達的自動駕駛平臺和Isaac機器人模擬平臺的興起，以及從模擬和生成對抗網(wǎng)絡(luò)生成合成數(shù)據(jù)的模型。

去年還迎來了AI的興起，例如StyleGAN（一種可以使人們質(zhì)疑自己是看的是計算機生成的人臉還是真實的人的技術(shù)）和GauGAN（可以用畫筆生成風(fēng)景）。StyleGAN2 上個月首次亮相。

GAN是可以模糊現(xiàn)實界限的技術(shù)，Anandkumar認為，它們可以幫助AI社區(qū)解決一些主要的挑戰(zhàn)，例如能抓握的機器人手和自動駕駛。

Anandkumar還希望在未來一年內(nèi)看到迭代算法、自監(jiān)督和訓(xùn)練模型的自訓(xùn)練方法的進展，這些模型可以通過使用未標(biāo)記的數(shù)據(jù)進行自訓(xùn)練來改進。

在2019年8月，英偉達推出了Megatron自然語言模型。Megatron擁有80億個參數(shù)，被譽為全球最大的基于Transformer的AI模型。Anandkumar說，她對人們開始將模型表征為具有個性或字符的方式感到驚訝，并且她希望看到更多針對特定行業(yè)的文本模型。

(轉(zhuǎn)自：https://mp.weixin.qq.com/s/NwlVzJN9h3xLD4So7l-XqQ?如有侵權(quán)，請聯(lián)系刪除)

機器學(xué)習(xí) 人工智能

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。