吃瓜筆記《機器學(xué)習(xí)》周志華——第五章 神經(jīng)網(wǎng)絡(luò)

吃瓜筆記《機器學(xué)習(xí)》周志華——第五章 神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)：具有適應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反應(yīng)。

神經(jīng)元模型：一個_神經(jīng)元_收到的刺激超過閾值（threshold/bias），它就會被激活。概括為_M-P神經(jīng)元模型_：n個帶權(quán)輸入 → \rightarrow →與threshold比較 → \rightarrow →激活函數(shù)處理產(chǎn)生輸出。

激活函數(shù)中1代表興奮，0代表不興奮。理想中激活函數(shù)位階躍函數(shù)，為方便處理用連續(xù)的Sigmoid函數(shù)。

神經(jīng)網(wǎng)絡(luò)：神經(jīng)元按一定_層次結(jié)構(gòu)_連接。

神經(jīng)網(wǎng)絡(luò)可以視為包含了許多參數(shù)的數(shù)學(xué)模型，由若干函數(shù)（如 y j = f ( ∑ i w i x i ? θ j ) y_j = f(\sum_i w_i x_i - \theta_j) yj =f(∑i wi xi ?θj )）相互嵌套得到。

感知機有兩層神經(jīng)網(wǎng)絡(luò)，輸出層為M-P神經(jīng)單元——“閾值邏輯單元”。

各神經(jīng)元的 ω \omega ω和 θ \theta θ取適當(dāng)?shù)闹担梢詫崿F(xiàn)邏輯與、或、非運算。

給定訓(xùn)練集， ω \omega ω和 θ \theta θ可以通過學(xué)習(xí)得到。 θ \theta θ可視為固定輸入為1的啞結(jié)點（dummy node）。

感知機的學(xué)習(xí)規(guī)則：

當(dāng)前訓(xùn)練樣例為(x,y)，當(dāng)前感知機輸出位 y^ \hat{y}，則權(quán)重調(diào)整為：

ω i ← ω i + Δ ω i \omega_i \leftarrow \omega_i + \Delta\omega_i ωi ←ωi +Δωi ， Δ ω i = η ( y ? y ^ ) x i \Delta\omega_i = \eta(y - \hat{y})x_i Δωi =η(y?y^ )xi

η \eta η為學(xué)習(xí)率（learning rate）

感知機只有輸出層神經(jīng)元進行激活函數(shù)處理，即只有一層功能神經(jīng)元（functional neuron）。

線性可分：存在線性超平面將兩類模式分開。

若兩類模式

線性可分（如與、或、非），感知機的學(xué)習(xí)過程會收斂（vonverge）；

若線性不可分（如異或），則會發(fā)生振蕩（fluctuation），不能穩(wěn)定。

解決非線性可分問題要使用_多層功能神經(jīng)元_。

隱層或隱含層（hidden layer）：輸出層與輸入層之間的一層神經(jīng)元。

隱含層和輸出層都具有激活函數(shù)。

多層前饋神經(jīng)網(wǎng)絡(luò)（multi-layer feedforward neural networks）：

每層神經(jīng)元與下層完全互連

同層間無連接

無跨層連接

輸入層神經(jīng)元的唯一作用是接受輸入，不進行函數(shù)處理

隱層和輸出層包含功能神經(jīng)元

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程：根據(jù)_訓(xùn)練數(shù)據(jù)_調(diào)整神經(jīng)元之間的“連接權(quán)”（connection weight），以及每個功能神經(jīng)元的閾值。

深度學(xué)習(xí)（deep learning）是很深層的神經(jīng)網(wǎng)絡(luò)。其提高容量的方法是增加隱層數(shù)目，這比增加隱層神經(jīng)元數(shù)目更有效，這樣不但增加了擁有激活函數(shù)的神經(jīng)元數(shù)目，而且增加了激活函數(shù)嵌套的層數(shù)。

該模型太復(fù)雜，下面給出兩種節(jié)省開銷的訓(xùn)練方法：無監(jiān)督逐層訓(xùn)練、權(quán)共享。

無監(jiān)督逐層訓(xùn)練（unsupervised layer-wise training）：

預(yù)訓(xùn)練（pre-training）：每次訓(xùn)練一層，將上層作為輸入，本層結(jié)果作為下層的輸入。

微調(diào)訓(xùn)練（fine-training）：預(yù)訓(xùn)練結(jié)束后的微調(diào)。

可視為將大量參數(shù)分組，每組先找到好的設(shè)置，基于局部較優(yōu)進行全局尋優(yōu)。

權(quán)共享（weight sharing）：讓一組神經(jīng)元使用相同的連接權(quán)。這在卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）發(fā)揮了重要作用。

機器學(xué)習(xí) 神經(jīng)網(wǎng)絡(luò)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。