PyTorch實(shí)現(xiàn)正則化和Dropout

文章目錄

1. Dropout原理

2. pytorch實(shí)現(xiàn)Dropout

3. PyTorch添加L1及L2正則化

1. Dropout原理

想要提高神經(jīng)網(wǎng)絡(luò)的表達(dá)或分類能力，最直接的方法就是采用更深的網(wǎng)絡(luò)和更多的神經(jīng)元，即deeper and wider。但是，復(fù)雜的網(wǎng)絡(luò)也意味著更加容易過(guò)擬合。于是就有了Dropout，大部分實(shí)驗(yàn)表明其具有一定的防止過(guò)擬合的能力。最早的Dropout可以看Hinton的這篇文章 《Improving neural networks by preventing co-adaptation of feature Detectors》。

(1) 由于隨機(jī)的讓一些節(jié)點(diǎn)不工作了，因此可以避免某些特征只在固定組合下才生效，有意識(shí)地讓網(wǎng)絡(luò)去學(xué)習(xí)一些普遍的共性（而不是某些訓(xùn)練樣本的一些特性）

(2) Bagging方法通過(guò)對(duì)訓(xùn)練數(shù)據(jù)有放回的采樣來(lái)訓(xùn)練多個(gè)模型。而Dropout的隨機(jī)意味著每次訓(xùn)練時(shí)只訓(xùn)練了一部分，而且其中大部分參數(shù)還是共享的，因此和Bagging有點(diǎn)相

pytorch 機(jī)器學(xué)習(xí)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。