《深度學習：主流框架和編程實戰》——1.5　深度學習展望

1.5　深度學習展望

隨著硬件計算能力的提升以及大規模數據集的出現，深度學習已經成為機器學習中一個重要的領域，下面對深度學習的一些模型進行介紹。

卷積神經網絡（Convolutional Neural Network，CNN）是一類適用于處理圖像數據的多層神經網絡。CNN從生物學上的視覺皮層得到啟發：視覺皮層存在微小區域的細胞對于特定區域的視野十分敏感，這就對應著CNN中的局部感知區域。在CNN中，圖像中的局部感知區域被當作層次結構中的底層輸入數據，信息通過前向傳播經過網絡中的各個層，每一層都由過濾器構成，以便能夠獲得觀測數據的一些顯著特征，局部感知區域能夠獲得一些基礎的特征，還能提供一定程度對位移、拉伸和旋轉的相對不變性。CNN通過結合局部感知區域、共享權重、空間或者時間上的降采樣來充分利用數據本身包含的局部性等特征，優化網絡結構；通過挖掘數據空間上的相關性，來減少網絡中可訓練參數的數量，以達到改進反向傳播算法效率。

長短期記憶（Long Short-Term Memory，LSTM）網絡主要適用于處理序列數據。LSTM網絡是一種特殊的RNN（循環神經網絡），但網絡本質與RNN是一樣的。在傳統的神經網絡模型中，網絡的傳輸是從輸入層到隱藏層再到輸出層，層與層之間是全連接的，每層之間的節點是無連接的。這其中存在一定的問題，即傳統的神經網絡對于處理時序問題無能為力。LSTM網絡可以解決長時期依賴的問題，主要是因為LSTM網絡有一個處理器，其中放置了“三扇門”，分別稱為輸入門、遺忘門和輸出門。一個信息進入LSTM網絡當中，可以根據規則來判斷是否有用，只有符合算法認證的信息才會留下，不符合的信息則通過遺忘門被“遺忘”。所以可以很好地處理序列數據。

受限玻耳茲曼機（RBM）是一種用隨機神經網絡來解釋的概率圖模型。RBM適用于處理語音、文本類數據。當使用RBM建立語音信號模型時，該模型使用對比散度（CD）算法進行有效訓練，學習與識別任務關聯性更高的特征來更好地得到信號的值。在文檔分類問題中，直接將不規范的文檔內容作為輸入會產生過高的輸入數據維數，而無法對其進行處理，因此有必要對文檔進行預處理，選擇詞組出現的頻率作為特征項以提取能夠表示其本質特征的數據，使用RBM可從原始的高維輸入特征中提取可高度區分的低維特征，然后將其作為支持向量機的輸入進行回歸分析，從而實現對文檔的分類。

生成對抗式網絡（GAN）適用于處理圖像數據，估計樣本數據的分布，解決圖片生成問題。GAN包含一個生成模型（Generative Model）G和一個判別模型（Discriminative Model）D，生成模型G捕捉樣本數據的分布，即生成圖片；判別模型D是一個二分類器，判別圖片是真實數據還是生成的。在訓練過程中，首先固定一方，再更新另一個模型的參數，以此交替迭代，直至生成模型與判別模型無法提高自己，即判別模型無法判斷一張圖片是生成的還是真實的。模型的優化過程是一個二元極小極大博弈問題，在G和D的任意函數空間中，存在一個唯一的解，G恢復訓練數據分布，D在任何地方都等于0.5。該網絡可以為模擬型強化學習做好理論準備，在缺乏數據的情況下，可以通過生成模型來補足。

深度學習算法在大規模數據集下的應用取得突破性進展，但仍有以下問題值得進一步研究。

1）無標記數據的特征學習。當前，標記數據的特征學習占據主導地位，但是對于標記數據來說，一個相當困難的地方在于將現實世界的海量無標記數據逐一添加人工標簽，是很費時費力且不現實的。所以，隨著科學研究的發展，無標記數據的特征學習以及將無標記數據進行自動添加標簽的技術會成為研究主流。

2）模型規模與訓練速度、訓練精度之間的權衡。一般地，在相同數據集下，模型規模越大，則訓練精度越高，訓練速度越慢。對于模型優化，諸如模型規模調整、超參數設置、訓練時調試等，其訓練時間會嚴重影響其效率。所以，如何在保證一定的訓練精度的前提下提高訓練速度是很有必要的一個研究課題。

3）大規模數據集的依賴性。深度學習最新的研究成果都依賴于大規模數據集和強大的計算能力，如果沒有大量真實的數據集，沒有相關的工程專業知識，探索新算法將會變得異常困難。

4）超參數的合理取值。深度神經網絡以及相關深度學習模型應用需要足夠的能力和經驗來合理地選擇超參數的取值，如學習速率、正則項的強度以及層數和每層的單元個數等，一個超參數的合理值取決于其他超參數的取值，并且深度神經網絡中超參數的微調代價很大，所以有必要在超參數這個重要領域內做更進一步的研究。

在許多領域深度學習都表現出巨大的潛力，但深度學習作為機器學習的一個新領域現在仍處于發展階段，仍然有很多工作需要開展，很多問題需要解決，盡管深度學習的研究還存在許多問題，但是現有的成功和發展表明深度學習是一個值得研究的領域。

神經網絡 深度學習

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。