破除“迷信”！周志華：深度學習新模型“深度森林”，有望打破神經網絡壟斷

對于上述在機器學習算法創新研究及產業落地方面的焦點話題，在 8 月 31 日下午舉行的以“算法定義 AI 未來”為主題的國際前沿算法峰會上，機器學習之父 Tom Mitchell、香港科技大學教授楊強、南京大學人工智能學院院長周志華、北京大學信息院王立威等四位人工智能領域的頂尖學者和專家進行了分享和探討，并帶來了無監督學習、新型深度學習、AutoML、聯邦學習等研究方向上的新銳觀點。

以下為四位專家的演講內容精華，有刪減：

機器學習之父 Tom Mitchell 談無監督學習研究新進展

Tom 介紹，他和他的團隊目前在進行一個“永無止境的語言學習”的項目，名為 NELL 項目。該項目自 2010 年起立項，機器每天 24 小時不間斷工作，工作內容主要有兩件事，一是不斷學習網絡上的知識，二是學習比昨天做的更好，挖掘更多準確的數據。

NELL 研發團隊致力于從網絡中挖掘非結構性文本并將其變成知識庫基礎，截止到 2018 年 9 月，NELL 項目已經擁有了 1.2 億三元的數據知識庫，算法的邏輯推理、學習、準確率等能力都在逐年提升，此外，它還可以擴展已知的關系本體，參加一些新型的關系，所有這些均基于原始未標注的數據。

從 NELL 項目中， Tom 等人發現程序更容易從已標注的數據當中學習，對已標注的數據學習起來非常簡單，而學習單一的函數非常困難。目前在 NELL 項目中已有十個標注的模型，有超過 2500 萬個未標注的數據。

“希望我今天的分享能讓大家弄清楚最關鍵的點，在現實世界中，非標記的數據要遠多于標注的數據，機器學習非常重要的一點是要學習如何將非標記的數據進行分類“，Tom 表示，現在 NELL 用未經標注的數據進行學習訓練時的準確性已經大大提高，分類能力是其一大優勢，團隊目前已有超過 4000 個分類方法。

前沿算法是 AI 的“先行區”

香港科技大學教授楊強在題為《人工智能的“先行區”》的演講分享了其在自動機器學習和聯邦遷移學習領域的的新洞察。

楊強將前沿算法比作人工智能的“先行區”，算法、大數據和算力是人工智能的三要素，接下來，楊強從這三大要素詳細展開，娓娓道來。

其中，算法是人工智能的熱點，過去往往需要很多人工來調參，一個人工智能應用的實現，在算法層面是一個非常冗長的過程，需要很多專家的參與，而目前人工智能領域最缺的恰恰就是專家。那么，算法設計和算法的配置是否可以實現自動化呢？為了解決人才缺乏問題，一個新的方向 — AutoML 出現了，AutoML 即自動化機器學習，調參、配置、評估等流程均通過機器自動化來完成。

如何能夠用自動化的方法做優化？主要有三方面：一是配置空間，包括數據預期預處理，變量有數據清洗、樣本選擇、樣本增強等；二是特征抽取，特征可以用不同的方法轉化合成也可以通過學習進行新的特征發現。三是模型的訓練。

遷移學習是否可以實現自動化，有沒有空間可以把遷移學習的問題變成路徑優化的問題，如何做保護隱私自動化的遷移學習？

在大數據方面，?現在常常會遇到數據不夠，數據分散、割裂，數據孤島等難題。“AI 是基于大數據的，數據是 AI 的’石油’，就像車一定要有汽油才可以開”。

楊強表示，針對小數據和細碎數據的問題，目前有兩個前沿的研究方向，一是遷移學習，如何從大數據的領域遷移到小數據的領域，把知識帶過去。現在，很多遷移學習方法已經在不同的應用場景取得了成功，如銀行大額貸款等金融場景。二是打破數據孤島，通過聯邦學習來解決細碎數據的問題。細碎數據、割裂分布的數據易面臨隱私安全的挑戰，在保障隱私的情況下，可通過建立共享模型來解決，這并不是真正交換數據，而是交換一些受到加密保護的模型參數，在這過程中用到的算法叫做聯邦學習。當兩方數據交叉非常小的情況下，可以利用遷移學習增強聯邦學習，這種方法適合銀行、電商、零售等跨行業的機構間使用。

在算力方面，算力是離不開芯片的，假設有多個芯片合作，怎樣實現高效計算，是否有更高效的算法提高效率？楊強提到，現在有一種技術叫做 RDMA，將其應用在 AI 網絡計算的機構上，就可以解決上述問題。

周志華：新型深度學習的探索 — 深度森林

ACM/AAAI/IEEE Fellow，南京大學計算機系主任、人工智能學院院長周志華的演講無疑是最受觀眾期待的，他帶來了關于新型深度學習的前沿觀點。

“眾所周知，深度學習取得了巨大成功。但從學術上來講，深度學習到底是什么？” 演講伊始，周志華率先拋出問題，“我想絕大多數人對于這個問題的回答，首先會說深度學習就是深度神經網絡，在大多數人看來這是兩個詞，事實上，它們是近義詞。談深度神經網絡總離不開從神經網絡開始。所謂的神經網絡就是簡單的數學函數經過迭代后得到的數學系統，其實，我們完全可以從數學上、工程上去理解它的背后到底發生了什么“。

今天談深度神經網絡會談到模型、算法、參數等。我們現在有了很多層，有些甚至多達一千多層、兩千多層，在這樣龐大的計算系統中，需要將許多中間參數訓練出來。

近段時間業界有人討論人工智能成功有三個條件，大數據、強大的算力和算法的改進。神經算法、BP 算法早就有了，現在的深度神經網絡只不過是有了強大的算力，把老東西放在新的東西上就行了。周志華認為，這個說法是錯誤的，五六層的神經網絡需要的算力在九十年代已經具備了，后來才有了這方面大量的研究并研發出成功的技術，我們用 BP 算法訓練神經網絡要做梯度優化，防止深度消失，這是今天深度神經網絡的中心內容 。

“現在深度神經網絡雖然很成功，但背后還有很多問題沒有回答。比如說最關鍵的一點，為什么要做得深？做得深了看似比做得淺了好，大家都往深了去做，但這件事情背后的道理是什么？到今天為止，學術界沒有得到所有人都能公認可行的解釋“。

周志華現場詳細談到了一種解釋，該解釋希望從模型復雜度的角度探討為什么做得深。如果模型越復雜會有很大的容量及很強的泛化能力，提高復雜度就可以提高能力。將神經網絡變寬、變深可以提高其復雜度，變寬的同時便增加了基函數的個數，變深時增加了個數及嵌套迭代的函數數量。此外，更大的數據、更強的計算設備、訓練技巧會促使我們使用更高復雜度的模型，深度神經網絡就是一種容易使用的高復雜度模型。不過，周志華認為，這個觀點仍然沒有解釋清楚深的為什么好，淺的沒那么好。

”深度神經網絡取得成功背后的奧秘，可能隱藏三件事：第一，逐層加工處理，第二，內置特征變換，第三，模型復雜度夠。這只是猜測，我們沒有辦法從數學上證明，但假設這個猜測是成立的，會給我們帶來非常有趣的啟發和暗示。其中一個啟發是，完全有可能設計出神經網絡之外的深度神經模型“。加之，深度神經網絡有很多缺陷，因此，周志華團隊做出了基于決策數的深度模型 — 深度森林。

深度森林不使用 BP 算法，是基于非可微構建的。自提出后，深度森林已有了比較成功的應用，其和螞蟻金服就金融場景展開合作，研究檢測非法套現的算法，目前該實驗中的數據量規模非常大，訓練數據為一億三千萬的真實交易，測試數據為五千多萬個真實交易。

周志華表示目前已經和英特爾成立了人工智能聯合中心，共同研究非神經網絡模型對芯片設計可能帶來的啟發，及從指令級上優化是否有好處。現在的智能化應用越來越離不開 CPU、TensorFlow，周志華等人發現，神經網絡之外的很好的模型可能會打破神經網絡獨有的壟斷，也可以降低“缺芯少魂”的風險。

“森林模型其實還在探索，現在有應用已經超出預期，但它仍存在一些問題，比如單樣性、硬件加速等問題。現在不知道森林模型能走多遠，但以前我們都只知道深度學習就是深度神經網絡，現在知道還可以有別的東西，這只是一個開始 “。

深度學習理論研究存在大量空白

“近幾年，深度學習非常成功，但反思一下主要是在應用上的成功，深度學習在理論方面其實還有大量的空白，目前關于深度學習的理論，我們還處在一個非常初期的階段”，北京大學信息學院教授王立威表示。

他認為深度學習的理論研究主要有兩個目的，首先是深刻了解深度學習機制，最終目的是希望通過理論研究設計出更好的算法及更好的結構。

首先從神經網絡訓練算法上看，深度神經網絡訓練本質是一個優化的問題，最大的特點是非凸優化，針對這方面，近期王立威團隊進行了嚴格理論數學上的研究，通過網絡帶寬度能達到一定程度、網絡參數是隨機的點初始這兩條假設，可以得到結論：過去一年來，我們常說深度學習實際上是非凸優化的問題，但當網絡充分寬時，實際上網絡的輸出對于網絡的參數是非常接近線性的，對線性的模型就很大簡化了神經網絡訓練。此外，從初始點出發，用一階優化方法就可以找到全局最優點。

有了上述結論后，值得思考的另一個問題是，當自然網絡夠寬后，一定要用 SDG 等一階優化方法嗎，有沒有更好的優化方法來訓練深度神經網絡？

王立威表示，在網絡足夠寬的情況下，完全可以找到更好的訓練方法，比如用二階優化的方法，其中有一類算法是高斯牛頓法，非常適合神經網絡足夠寬的情形。他認為，如何探索用高斯牛頓二階算法優化神經網絡，使它比現在常用的一階算法準確率更高，這是未來非常值得探索的方向。

網絡設計方式既不同于過去人憑經驗積累設計網絡的結構，也不同機器自動搜索設計網絡的結構，王立威等人把網絡結構的設計轉化成一個數學問題，可以把網絡結構和微分方程的數值解緊密聯合起來。“ 我們可以找到與之唯一對應的微分方程數值解的方法。在過去針對 ResNet ，我們找到了最簡單的微分方程數值解的方法 —歐拉法。我們研究發現 Transformer 對應的是對流擴散方程，該方程是數學物理里非常基本的方程。

在微分方程數值解領域，王立威等人做了一些調研發現，在這個領域里沒有任何人用 Lie-Trotter splitting 數值解方法，因為它是次優的數值解方法。那在微分方程數值解里能否找到更好的方法呢？答案確實是存在的。王立威團隊提出了一個新理論：可以用新的 Strang-Marchuk splitting 微分方程數值解推法反推新的 Transformer 結構。

轉自：https://www.infoq.cn/article/QQXTHOosCrx1yku9d44H

EI 深度學習 AI

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。