《深度學(xué)習(xí)之圖像識(shí)別：核心技術(shù)與案例實(shí)戰(zhàn)》 ——1.2 卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

1.2? 卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

在傳統(tǒng)的模式識(shí)別模型中，特征提取器從圖像中提取相關(guān)特征，再通過分類器對(duì)這些特征進(jìn)行分類。使用梯度下降法的前饋全連接網(wǎng)絡(luò)可以從大量的數(shù)據(jù)中學(xué)習(xí)復(fù)雜的高維且非線性的特征映射，因此傳統(tǒng)的前饋全連接網(wǎng)絡(luò)（BP神經(jīng)網(wǎng)絡(luò)）被廣泛用于圖像識(shí)別任務(wù)（其結(jié)構(gòu)可參考圖1.4，參數(shù)更新參見式（1.2）至式（1.15）。雖然可以直接將圖像中的像素特征（向量）作為輸入信號(hào)輸入到網(wǎng)絡(luò)中，但基于全連接神經(jīng)網(wǎng)絡(luò)的識(shí)別還存在一些問題。

首先，隱藏層神經(jīng)元數(shù)量越多的全連接網(wǎng)絡(luò)包含的連接權(quán)值參量就越多，則越增加系統(tǒng)消耗和內(nèi)存占用，并且需要更大的訓(xùn)練集來(lái)確定連接權(quán)值。

其次，對(duì)于圖像或者音頻而言不具備平移、旋轉(zhuǎn)、拉伸的不變性，輸入到神經(jīng)網(wǎng)絡(luò)前必須經(jīng)過預(yù)處理。以手寫字符為例，如圖1.6所示，對(duì)其進(jìn)行歸一化會(huì)導(dǎo)致字符的大小、傾斜程度及位置發(fā)生改變，再加上書寫風(fēng)格的差異，會(huì)導(dǎo)致圖像特征發(fā)生變化。對(duì)于這些可能出現(xiàn)的問題，往往需要更多的神經(jīng)元來(lái)增強(qiáng)網(wǎng)絡(luò)的魯棒性。

最后，全連接的網(wǎng)絡(luò)忽略了輸入的拓?fù)浣Y(jié)構(gòu)。在一幅圖像中，相鄰的像素相關(guān)性較高的可以歸為一個(gè)區(qū)域，像素之間相關(guān)性較低的則可視為圖片中的不同區(qū)域，利用這個(gè)特性進(jìn)行局部特征的提取有巨大的優(yōu)勢(shì)。但如何充分利用這些局部信息呢？

圖1.6? 不同風(fēng)格的手寫字符示意圖

20世紀(jì)60年代，Hubel和Wiesel在研究貓腦皮層中負(fù)責(zé)處理局部敏感和方向選擇的神經(jīng)元時(shí)，發(fā)現(xiàn)了一種特別的網(wǎng)絡(luò)結(jié)構(gòu)顯著降低了反饋神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，隨即提出了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）的概念。

目前，CNN已經(jīng)成為眾多科學(xué)領(lǐng)域的研究熱點(diǎn)之一，該網(wǎng)絡(luò)不需要對(duì)圖像進(jìn)行復(fù)雜的預(yù)處理，可以直接輸入原始圖像，因此在計(jì)算機(jī)視覺方面得到了廣泛的應(yīng)用。本章節(jié)也將對(duì)卷積神經(jīng)網(wǎng)絡(luò)做一個(gè)基本的介紹。

1.2.1? 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)依舊是層級(jí)網(wǎng)絡(luò)，不過層的功能和形式發(fā)生了變化，也是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的改進(jìn)。其主要包含數(shù)據(jù)輸入層（Input Layer）、卷積計(jì)算層（Convolutional Layer）、ReLU激勵(lì)層（Relu Layer）、池化層（Pooling Layer）及全連接層（Full Connection Layer）。

數(shù)據(jù)輸入層主要是對(duì)原始圖像數(shù)據(jù)進(jìn)行預(yù)處理，其中包括去均值，把輸入數(shù)據(jù)各個(gè)維度都中心化為0；歸一化，減少各維度數(shù)據(jù)因取值范圍不同而帶來(lái)的干擾。

與普通前饋神經(jīng)網(wǎng)絡(luò)的不同之處在于，卷積神經(jīng)網(wǎng)絡(luò)包含普通神經(jīng)網(wǎng)絡(luò)沒有的特征處理器，它是由卷積層和池化層（也稱為降采樣層）構(gòu)成的。

首先介紹一下卷積操作的數(shù)學(xué)意義。相信大家在學(xué)習(xí)中已經(jīng)接觸過卷積的概念，從數(shù)學(xué)上講，卷積是一種運(yùn)算，令(x·w)(t)稱為x、w的卷積，其連續(xù)的定義為：

（1.16）

離散的定義為：

（1.17）

若將一張二維圖像x作為輸入，使用一個(gè)二維的卷積核w，則輸出可表示為：

（1.18）

卷積在此就是內(nèi)積，根據(jù)多個(gè)確定的權(quán)重（卷積核），對(duì)某一范圍內(nèi)的像素進(jìn)行內(nèi)積運(yùn)算，輸出就是提取的特征，具體可視化的卷積操作將在1.2.2節(jié)進(jìn)行介紹。

在卷積層中，一個(gè)神經(jīng)元只與鄰層部分（通常為方陣區(qū)域）的神經(jīng)元連接，包含若干個(gè)特征平面（FeatureMap），每個(gè)特征平面由多個(gè)神經(jīng)元按矩陣形式排列組成，同一特征平面的神經(jīng)元共享權(quán)值（卷積核）。共享權(quán)值（卷積核）大大減少了網(wǎng)絡(luò)各層之間的連接，降低了過擬合的風(fēng)險(xiǎn)。

一般的卷積神經(jīng)網(wǎng)絡(luò)包含多個(gè)卷積層，一個(gè)卷積層可以有多個(gè)不同的卷積核。通過將多個(gè)不同的卷積核進(jìn)行處理提取出圖像的局部特征，每個(gè)卷積核映射出一個(gè)新的特征圖，再將卷積輸出結(jié)果經(jīng)過非線性激活函數(shù)的處理后輸出。

接下來(lái)對(duì)激活函數(shù)處理的結(jié)果進(jìn)行降采樣，也叫做池化（Pooling），通常有均值子采樣（Mean Pooling）和最大值子采樣（Max Pooling）兩種形式。

池化用于壓縮網(wǎng)絡(luò)參數(shù)和數(shù)據(jù)大小，降低過擬合。如果輸入為一幅圖像，那么池化層的主要作用就是壓縮圖像的同時(shí)保證該圖像特征的不變性。例如，一輛車的圖像被縮小了一倍后仍能認(rèn)出這是一輛車，這說(shuō)明處理后的圖像仍包含著原始圖片里最重要的特征。圖像壓縮時(shí)去掉的只是一些冗余信息，留下的信息則是具有尺度不變性的特征，是最能表達(dá)圖像的特征。池化操作的作用就是把冗余信息去除掉，保留重要的信息，這樣可以在一定程度上防止過擬合，方便網(wǎng)絡(luò)的優(yōu)化。

全連接層，即兩層之間所有神經(jīng)元權(quán)重連接，通常全連接層在卷積神經(jīng)網(wǎng)絡(luò)尾部，跟傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)神經(jīng)元的連接方式相同。

卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法也同一般的機(jī)器學(xué)習(xí)算法類似，先定義損失函數(shù)Loss Function，計(jì)算和實(shí)際結(jié)果的差值，找到最小化損失函數(shù)的參數(shù)值，利用隨機(jī)梯度下降法進(jìn)行權(quán)值調(diào)整。

訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)時(shí)，網(wǎng)絡(luò)的參數(shù)往往需要進(jìn)行fine-tuning，就是使用已用于其他目標(biāo)、預(yù)訓(xùn)練模型的權(quán)重或者部分權(quán)重，作為初始值開始訓(xùn)練，這樣可以很快收斂到一個(gè)較理想的狀態(tài)。

卷積神經(jīng)網(wǎng)絡(luò)通過局部感受野（Local Receptive Fields）、權(quán)值共享（Shared Weights）、下采樣（sub-sampling）實(shí)現(xiàn)位移、縮放和形變的不變性，主要用來(lái)識(shí)別位移、縮放及其他形式扭曲不變性的二維圖形。

權(quán)值共享大大降低了網(wǎng)絡(luò)的復(fù)雜性，特別是多維輸入向量的圖像可以直接輸入網(wǎng)絡(luò)這一特點(diǎn)避免了特征提取和分類過程中數(shù)據(jù)重建的復(fù)雜過程。同一特征映射面上的神經(jīng)元權(quán)值相同，因此網(wǎng)絡(luò)可以并行學(xué)習(xí)，這也是卷積網(wǎng)絡(luò)相對(duì)于全連接神經(jīng)網(wǎng)絡(luò)的一大優(yōu)勢(shì)。

圖像識(shí)別 圖像識(shí)別服務(wù) Image 圖像識(shí)別服務(wù)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。