厚積薄發(fā)！華為云7篇論文被AAAI收錄，2021年AI行業(yè)技術(shù)風(fēng)向標看這里！

全球人工智能領(lǐng)域的頂級學(xué)術(shù)會議AAAI 2021將于2月2日-9日在線上召開。論文錄用結(jié)果顯示，華為云的7篇AI科研成果被收錄。論文內(nèi)容涉及聯(lián)邦學(xué)習(xí)、深度學(xué)習(xí)、機器學(xué)習(xí)、自然語言處理、遷移學(xué)習(xí)、知識計算等技術(shù)領(lǐng)域，充分展現(xiàn)了華為云在人工智能領(lǐng)域的基礎(chǔ)研究實力。技術(shù)創(chuàng)新和應(yīng)用落地是這些論文的亮點，相關(guān)技術(shù)目前已在油氣勘探、藥物研發(fā)、AI開發(fā)、智能交通等業(yè)務(wù)場景下規(guī)模化落地，加速行業(yè)智能升級。

AAAI每年評審并收錄來自全球最頂尖的人工智能領(lǐng)域?qū)W術(shù)論文，代表全球AI技術(shù)的趨勢和未來。

以下是華為云此次入選7篇論文介紹：

論文一：業(yè)界首創(chuàng)自分組個性化聯(lián)邦學(xué)習(xí)框架，并已落地華為云ModelArts

論文標題：《非獨立同分布下的自分組個性化聯(lián)邦學(xué)習(xí)》（Personalized Cross-Silo Federated Learning on Non-IID Data）

論文地址：https://arxiv.org/abs/2007.03797

聯(lián)邦學(xué)習(xí)機制以其獨有的隱私保護機制受到很多擁有高質(zhì)數(shù)據(jù)的大客戶青睞。但是，各大客戶的數(shù)據(jù)分布非常不一致，對模型的需求也不盡相同，這些在很大程度上制約了傳統(tǒng)聯(lián)邦學(xué)習(xí)方法的性能和應(yīng)用范圍。華為云自研FedAMP聯(lián)邦學(xué)習(xí)框架使用獨特的自適應(yīng)分組學(xué)習(xí)機制（如圖一）讓擁有相似數(shù)據(jù)分布的客戶進行更多合作，并對每個客戶的模型進行個性化定制，從而有效處理普遍存在的數(shù)據(jù)分布不一致問題，并大幅度提高聯(lián)邦學(xué)習(xí)性能。通過與中國科學(xué)院上海藥物所在AI藥物聯(lián)邦學(xué)習(xí)上的合作，F(xiàn)edAMP優(yōu)質(zhì)的性能獲得了蔣華良院士的高度認可，并在中國醫(yī)藥創(chuàng)新與投資大會上吸引了眾多醫(yī)療制藥廠商洽談合作。

圖1 FedAMP聯(lián)邦學(xué)習(xí)框架

論文二： 首次提出利用物理信息深度學(xué)習(xí)的框架將二階交通理論模型融合到神經(jīng)網(wǎng)絡(luò)中，以高效解決交通態(tài)的估值的問題：（Physics-Informed Deep Learning for Traffic State Estimation: A Hybrid Paradigm Informed By Second-Order Traffic Models）

交通態(tài)的估值需要解決如何使用稀疏的傳感器（如傳感線圈，浮動車）數(shù)據(jù)將整條道路的交通態(tài)（如速度，流量，密度）完整地估計出來。這對算法的數(shù)據(jù)效率有著非常高的要求，而傳統(tǒng)的純交通模型和純機器學(xué)習(xí)的解決方案的效果均不理想。針對這些問題，本論文提出了基于物理信息深度學(xué)習(xí)框架，通過對激勵函數(shù)和連接權(quán)重的特殊設(shè)計，將復(fù)雜的二階交通模型編碼到神經(jīng)網(wǎng)絡(luò)中去（圖二-a），讓神經(jīng)網(wǎng)絡(luò)在高階交通理論的約束下進行訓(xùn)練。具體方法是，使用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)進行交通態(tài)的估值，然后將估值進一步輸入到物理信息神經(jīng)網(wǎng)絡(luò)中去，計算出該估值的理論余量來量化偏移交通理論的程度。這個理論余量為估值網(wǎng)絡(luò)的訓(xùn)練提供了重要的正則化信息，大大提高了估值模型的訓(xùn)練效率和估值精度。如圖（圖二-b）所示，本方法可以基于很少的觀測數(shù)據(jù)獲得更高的估值準確度。

本文是華為員工在哥倫比亞大學(xué)深造期間完成的工作。

（a)

（b)

圖2 編碼了二階交通理論模型的物理信息神經(jīng)網(wǎng)絡(luò)與交通態(tài)估值結(jié)果

論文三：使用圖卷積網(wǎng)絡(luò)擬合權(quán)值共享神經(jīng)結(jié)構(gòu)搜索的搜索空間，提升神經(jīng)結(jié)構(gòu)搜索魯棒性。（Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks）

論文地址：https://arxiv.org/pdf/2004.08423.pdf

權(quán)值共享的神經(jīng)結(jié)構(gòu)搜索通過訓(xùn)練一個包含所有分支的超網(wǎng)絡(luò)來復(fù)用不同操作上的計算量，以子網(wǎng)絡(luò)采樣的方式評估網(wǎng)絡(luò)結(jié)構(gòu)，大幅度提高了搜索速度。然而，這種子網(wǎng)絡(luò)采樣的方式并不能保證子網(wǎng)絡(luò)的評估性能準確反映其真實屬性。本文認為產(chǎn)生這一現(xiàn)象的原因是使用共享權(quán)值構(gòu)建子網(wǎng)絡(luò)的過程中產(chǎn)生了權(quán)值失配，使得評估性能中混入了一個隨機噪聲項。本論文提出使用一個圖卷積網(wǎng)絡(luò)來擬合采樣子網(wǎng)絡(luò)的評估性能，從而將這個隨機噪聲的影響降至最低。實驗結(jié)果表明，使用本方案后，子網(wǎng)絡(luò)的擬合性能與真實性能間的排序相關(guān)性得到有效提高，最終搜索得到的網(wǎng)絡(luò)結(jié)構(gòu)性能也更加優(yōu)異。此外，本方案通過圖卷積網(wǎng)絡(luò)擬合了整個搜索空間中子網(wǎng)絡(luò)的評估性能，因此可以很方便地選取符合不同硬件約束的網(wǎng)絡(luò)結(jié)構(gòu)。

圖3 總體框架示意圖

論文四：首次提出基于多輪閱讀理解的框架解決實體鏈接問題

實體鏈接是將文本中提到的實體鏈接到知識庫中對應(yīng)實體的任務(wù)，目的是解決實體存在的歧義性問題，但由于名稱的變化和實體的模糊性，此任務(wù)十分具有挑戰(zhàn)性，尤其是短文本的實體鏈接，由于句子長度短，在鏈接過程中，每個待消歧的實體能利用的上下文信息非常有限。針對這個任務(wù)，本論文提出了一個多項選擇閱讀理解的框架，為句子中每個待消歧的實體分別生成一個問題，并將知識庫中的候選實體轉(zhuǎn)換成候選答案集，通過這樣一個設(shè)計，實體鏈接轉(zhuǎn)換為了一個閱讀理解的問題（圖1 Local部分）。在選擇正確答案的過程中，待消歧實體的上下文信息與知識庫中的候選實體之間獲得了充分的交互，同時多個候選實體間的區(qū)別也得到了潛在地考慮。為了進一步捕捉句子內(nèi)待消歧實體間的主題一致性來提高鏈接的準確率，本文采用了多輪閱讀理解的方式以序列去處理多個待消歧的實體（圖1 Global部分），為句子內(nèi)多個實體的消歧提供了更豐富的信息。另外，為了解決短文本中常見的不可鏈接問題（即知識庫中沒有對應(yīng)的實體），本文額外設(shè)計了一個兩階段的驗證機制來判斷實體是否可被鏈接。本論文提出的方法在多個中英文數(shù)據(jù)集上均取得了目前最優(yōu)的實體鏈接效果。

圖4 基于多輪閱讀理解的實體鏈接框架

論文五：首次提出基于多尺度地質(zhì)知識遷移的跨區(qū)塊油氣儲集層分類算法，利用遷移學(xué)習(xí)提升跨區(qū)塊油氣儲集層分類效果。（Cross-Oilfield Reservoir Classification via Multi-Scale Sensor Knowledge Transfer）

油氣儲集層分類是油氣勘探中的一個關(guān)鍵步驟（如圖一所示），自動準確的油氣儲集層分類方法不僅可以降低油氣行業(yè)專家的工作負擔(dān)，也可以幫助油氣勘探公司做出最優(yōu)的開采決策。當(dāng)前已有的油氣儲集層分類主要關(guān)注在單一區(qū)塊上的分類效果，但是在新區(qū)塊上應(yīng)用效果卻不盡如人意。因此，如何遷移地層特征從而實現(xiàn)跨區(qū)塊也能準確分類是一個富有挑戰(zhàn)的任務(wù)。本論文首次提出了一種多尺度傳感器抽取方法從多元測井記錄中抽取地質(zhì)特征的多尺度表示，然后設(shè)計了一種encoder-decoder模塊來充分利用目標和源區(qū)塊的特有特征，最后通過一個知識遷移模塊來學(xué)習(xí)特征不變性表示，從而將地質(zhì)知識從源區(qū)塊遷移到目標區(qū)塊。真實油氣數(shù)據(jù)上的實驗結(jié)果表明本論文精心設(shè)計的遷移學(xué)習(xí)方法，可以提升分類模型在新區(qū)塊上的分類表現(xiàn)，相較于基線算法可以有%6.1的效果提升。

圖5 油氣勘探工作流

論文六：首次提供基于超幾何分布的概率模型，用于解決遠程監(jiān)督命名實體識別中的去噪問題。（Denoising Distantly Supervised Named Entity Recognition via

a Hypergeometric Probabilistic Model）

遠程監(jiān)督是一種常見的機器學(xué)習(xí)范式，可以降低對標注數(shù)據(jù)的依賴。但是遠程監(jiān)督往往會引入噪聲，從而影響學(xué)習(xí)效果。對于基于遠程監(jiān)督的命名實體識別（NER）來說，如何有效去噪就是一個十分重要的問題。以往的去噪方法主要基于實例層次的統(tǒng)計結(jié)果，往往忽略了不同數(shù)據(jù)集不同實體類型之間噪聲分布的差異性，從而導(dǎo)致這些方法何難適用于高噪聲比例的設(shè)定。本論文提出了一種基于超幾何分布的學(xué)習(xí)方法，同時考慮噪聲分布和實例層次的置信度。具體而言，我們將每個訓(xùn)練batch里面噪聲樣本的數(shù)量建模成一個由噪聲比例決定的超幾何分布，這樣一來每個實例都可以通過上一輪訓(xùn)練獲得的置信度來決定是噪聲還是正確樣本。實驗結(jié)果表明本論文提出的方法可以有效去除遠程監(jiān)督范式引入的噪聲，顯著提升NER的效果。

該工作由華為云團隊與中科院軟件所合作完成。

論文七：提出基于對抗學(xué)習(xí)與相似性增強的域泛化訓(xùn)練新框架，在域泛化行人再識別領(lǐng)域創(chuàng)下新紀錄 （Dual Distribution Alignment Network for Generalizable Person Re-Identification）

域泛化是一種適用于現(xiàn)實應(yīng)用場景的機器學(xué)習(xí)范式，對于行人再識別問題，域泛化是指在大規(guī)模多源數(shù)據(jù)上進行模型訓(xùn)練，期望模型在任意未知的場景中都能夠直接適用。現(xiàn)實應(yīng)用中，大規(guī)模訓(xùn)練數(shù)據(jù)往往難以收集，域泛化方法正是一個使得模型能夠低成本快速部署的優(yōu)秀方案。以往的方法對域間的巨大差異缺乏有效的處理手段，同時忽略了域間樣本可能的相似性信息。在數(shù)據(jù)域?qū)用妫菊撐奶岢隽诵碌膶箤W(xué)習(xí)方法，通過減少中心域與外圍域的差異，實現(xiàn)了域間差異的有效消除；在樣本層面，本論文通過增強來自不同域的相似樣本之間的相似性，進一步對齊來自不同域的樣本特征分布。在這兩個方面的共同作用下，本論文的雙重分布對齊網(wǎng)絡(luò)實現(xiàn)了新的性能突破。實驗表明，所提方法在公共測試基準數(shù)據(jù)集上取得了當(dāng)前最好的結(jié)果。

該工作由華為云團隊與廈門大學(xué)合作完成。

圖7 針對域泛化行人再識別問題的雙重分布對齊網(wǎng)絡(luò)示意圖

為了更好地賦能產(chǎn)業(yè)升級，華為云持續(xù)深耕AI基礎(chǔ)研究和落地應(yīng)用，打造更懂世界的AI。2020年以來，華為云EI研究團隊已在圖像分類、弱標注場景下的圖像分類、圖像檢測，多模態(tài)數(shù)據(jù)處理、語音語義等領(lǐng)域取得多項世界第一。未來，華為云將持續(xù)把AI前沿算法產(chǎn)品化，并開放給各行業(yè)的AI開發(fā)者使用，通過技術(shù)創(chuàng)新驅(qū)動產(chǎn)業(yè)智能升級。

AI 機器學(xué)習(xí) 神經(jīng)網(wǎng)絡(luò)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。