《MXNet深度學(xué)習(xí)實戰(zhàn)》

智能系統(tǒng)與技術(shù)叢書

MXNet 深 度 學(xué) 習(xí) 實 戰(zhàn)

魏凱峰　著

PREFACE

前　　言

為什么要寫這本書

深度學(xué)習(xí)領(lǐng)域開始受到越來越多的關(guān)注，各大深度學(xué)習(xí)框架也孕育而生，在這個階段，我被深度學(xué)習(xí)深深吸引并逐漸開始學(xué)習(xí)相關(guān)知識。研究生畢業(yè)后，我繼續(xù)從事算法相關(guān)的工作，具體而言是深度學(xué)習(xí)算法在圖像領(lǐng)域的應(yīng)用，也就是常說的計算機(jī)視覺算法。

MXNet和PyTorch這兩個框架我都非常喜歡，不過目前市面上關(guān)于MXNet框架的書籍較少，而且MXNet發(fā)展至今各種接口比較穩(wěn)定，用戶體驗挺不錯的，所以最終決定以MXNet框架來寫這本深度學(xué)習(xí)實戰(zhàn)教程。MXNet是亞馬遜官方維護(hù)的深度學(xué)習(xí)框架，在靈活性和高效性方面都做得很棒，非常推薦讀者學(xué)習(xí)。

本書的寫作難度比想象中要大許多，在寫作過程中許多零散的知識點(diǎn)需要想辦法串聯(lián)起來，讓不同知識儲備的人都能看懂，許多環(huán)境依賴需要從頭到尾跑一遍來確認(rèn)清楚。寫書和寫博客（AI之路）最大的區(qū)別在于書籍在出版后修正比較麻煩，不像博客，隨時發(fā)現(xiàn)錯誤都可以修改，因此在寫作過程中對許多細(xì)節(jié)和措辭都推敲了很久，自己也從中學(xué)到了許多。

讀者對象

隨著深度學(xué)習(xí)的快速發(fā)展和相關(guān)學(xué)習(xí)資料的出版，深度學(xué)習(xí)入門門檻越來越低，競爭也越來越激烈，相關(guān)從業(yè)者不僅要有堅實的算法基礎(chǔ)，更要具備一定的實戰(zhàn)經(jīng)驗，相信本書能夠幫助你更好地入門深度學(xué)習(xí)。

本書面向的讀者為：

計算機(jī)視覺算法從業(yè)者或愛好者

準(zhǔn)備入門深度學(xué)習(xí)的讀者

使用MXNet框架進(jìn)行算法實現(xiàn)的讀者

本書特色

假如一本書只是單純介紹算法內(nèi)容，那其實和直接看論文沒有太大區(qū)別；假如一本書只是單純介紹框架接口，那其實和直接看接口文檔沒有太大區(qū)別。在筆者看來，算法是思想，框架是工具，用框架實現(xiàn)算法才能體現(xiàn)算法的價值，因此這本書將算法和框架結(jié)合起來，通過講解算法和個人項目經(jīng)驗介紹如何使用MXNet框架實現(xiàn)算法，希望能夠幫助讀者領(lǐng)略算法之美。

本書是從一名算法工程師的角度出發(fā)介紹算法實現(xiàn)，整體上偏基礎(chǔ)和細(xì)節(jié)，能夠幫助入門者少走彎路。隨著這幾年深度學(xué)習(xí)的快速發(fā)展，眾多深度學(xué)習(xí)框架對各類接口的封裝都很完善，使用起來非常方便，但是部分深度學(xué)習(xí)入門者僅僅停留在跑通demo卻不理解細(xì)節(jié)內(nèi)容的層面，這也常常被人調(diào)侃有些浮躁，通過本書，筆者希望讀者不僅能夠靈活調(diào)用這些接口實現(xiàn)算法，而且能夠理解這些接口的內(nèi)在含義，不斷夯實自己的算法基礎(chǔ)。

如何閱讀本書

本書分為四大部分：

第一部分為準(zhǔn)備篇（第1～2章），簡單介紹深度學(xué)習(xí)相關(guān)的基礎(chǔ)背景知識、深度學(xué)習(xí)框架MXNet的發(fā)展過程和優(yōu)缺點(diǎn)，同時介紹基礎(chǔ)開發(fā)環(huán)境的構(gòu)建和docker的使用，幫助讀者構(gòu)建必要的基礎(chǔ)知識背景。

第二部分為基礎(chǔ)篇（第3～7章），介紹MXNet的幾個主要模塊，介紹MXNet的數(shù)據(jù)讀取、數(shù)據(jù)增強(qiáng)操作，同時介紹了常用網(wǎng)絡(luò)層的含義及使用方法、常見網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計思想，以及介紹模型訓(xùn)練相關(guān)的參數(shù)配置。

第三部分為實戰(zhàn)篇（第8～10章），以圖像分類、目標(biāo)檢測和圖像分割這三個常用領(lǐng)域為例介紹如何通過MXNet實現(xiàn)算法訓(xùn)練和模型測試，同時還將結(jié)合MXNet的接口詳細(xì)介紹算法細(xì)節(jié)內(nèi)容。

第四部分為擴(kuò)展篇（第11～12章），主要介紹Gluon和GluonCV。Gluon接口是MXNet推出的用于動態(tài)構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)的重要接口，GluonCV則是一個專門為計算機(jī)視覺任務(wù)服務(wù)的深度學(xué)習(xí)庫。

本書按照由淺至深的順序進(jìn)行編寫，如果你是一名初學(xué)者，那么建議從第1章的基礎(chǔ)理論知識開始學(xué)習(xí)，如果你是一名經(jīng)驗豐富的資深用戶，能夠理解MXNet的相關(guān)基礎(chǔ)知識和使用技巧，那么你可以直接閱讀實戰(zhàn)部分的內(nèi)容。

勘誤和支持

致謝

首先要感謝MXNet的開發(fā)者們，是你們創(chuàng)造并一直維護(hù)這個高效便捷的深度學(xué)習(xí)框架，讓眾多深度學(xué)習(xí)愛好者能夠通過MXNet享受算法帶來的樂趣。

感謝MXNet社區(qū)中每一位為MXNet的發(fā)展和推廣做出貢獻(xiàn)的朋友，是你們帶領(lǐng)我走進(jìn)MXNet并逐漸喜歡上它，你們的活力與堅持將使得MXNet的明天更加美好。

感謝機(jī)械工業(yè)出版社華章公司的楊福川老師、李良老師和張錫鵬老師，在這一年多的時間中始終支持我的寫作，你們的鼓勵和幫助引導(dǎo)我順利完成全部書稿。

感謝那些通過華章鮮讀購買和閱讀早期電子版書籍的讀者們，你們的支持讓我更加有動力不斷完善這本書的內(nèi)容，也讓我更加確信自己在做一件非常有意義的事情。

最后感謝我的家人將我培養(yǎng)成人，你們永遠(yuǎn)是我最堅實的后盾！

謹(jǐn)以此書獻(xiàn)給眾多熱愛深度學(xué)習(xí)算法及MXNet的朋友們！

魏凱峰

CONTENTS

目　　錄

前言

第1章　全面認(rèn)識MXNet1

1.1　人工智能、機(jī)器學(xué)習(xí)與深度學(xué)習(xí)2

1.1.1　人工智能2

1.1.2　機(jī)器學(xué)習(xí)2

1.1.3　深度學(xué)習(xí)4

1.2　深度學(xué)習(xí)框架4

1.2.1　MXNet6

1.2.2　PyTorch6

1.2.3　Caffe/Caffe27

1.2.4　TensorFlow7

1.2.5　其他7

1.3　關(guān)于MXNet8

1.3.1　MXNet的發(fā)展歷程8

1.3.2　MXNet的優(yōu)勢9

1.4　MXNet開發(fā)需要具備的知識10

1.4.1　接口語言11

1.4.2　NumPy11

1.4.3　神經(jīng)網(wǎng)絡(luò)11

1.5　本章小結(jié)12

第2章　搭建開發(fā)環(huán)境13

2.1　環(huán)境配置14

2.2　使用Docker安裝MXNet19

2.2.1　準(zhǔn)備部分19

2.2.2　使用倉庫安裝Docker20

2.2.3　基于安裝包安裝Docker23

2.2.4　安裝nvidia-docker23

2.2.5　通過Docker使用MXNet25

2.3　本地pip安裝MXNet27

2.4　本章小結(jié)29

第3章　MXNet基礎(chǔ)31

3.1　NDArray31

3.2　Symbol37

3.3　Module43

3.4　本章小結(jié)48

第4章　MNIST手寫數(shù)字體分類50

4.1　訓(xùn)練代碼初探52

4.2　訓(xùn)練代碼詳細(xì)解讀55

4.2.1　訓(xùn)練參數(shù)配置56

4.2.2　數(shù)據(jù)讀取59

4.2.3　網(wǎng)絡(luò)結(jié)構(gòu)搭建59

4.2.4　模型訓(xùn)練61

4.3　測試代碼初探62

4.4　測試代碼詳細(xì)解讀64

4.4.1　模型導(dǎo)入64

4.4.2　數(shù)據(jù)讀取66

4.4.3　預(yù)測輸出67

4.5　本章小結(jié)68

第5章　數(shù)據(jù)讀取及增強(qiáng)69

5.1　直接讀取原圖像數(shù)據(jù)70

5.1.1　優(yōu)點(diǎn)及缺點(diǎn)70

5.1.2　使用方法71

5.2　基于RecordIO文件讀取數(shù)據(jù)75

5.2.1　什么是RecordIO文件75

5.2.2　優(yōu)點(diǎn)及缺點(diǎn)76

5.2.3　使用方法76

5.3　數(shù)據(jù)增強(qiáng)78

5.3.1　resize79

5.3.2　crop83

5.3.3　鏡像89

5.3.4　亮度90

5.3.5　對比度92

5.3.6　飽和度 94

5.4　本章小結(jié)95

第6章　網(wǎng)絡(luò)結(jié)構(gòu)搭建97

6.1　網(wǎng)絡(luò)層98

6.1.1　卷積層98

6.1.2　BN層106

6.1.3　激活層108

6.1.4　池化層111

6.1.5　全連接層114

6.1.6　損失函數(shù)層116

6.1.7　通道合并層119

6.1.8　逐點(diǎn)相加層121

6.2　圖像分類網(wǎng)絡(luò)結(jié)構(gòu)122

6.2.1　AlexNet123

6.2.2　VGG124

6.2.3　GoogleNet125

6.2.4　ResNet128

6.2.5　ResNeXt130

6.2.6　DenseNet131

6.2.7　SENet132

6.2.8　MobileNet134

6.2.9　ShuffleNet136

6.3　本章小結(jié)138

第7章　模型訓(xùn)練配置140

7.1　問題定義141

7.2　參數(shù)及訓(xùn)練配置142

7.2.1　參數(shù)初始化142

7.2.2　優(yōu)化函數(shù)設(shè)置144

7.2.3　保存模型145

7.2.4　訓(xùn)練日志的保存146

7.2.5　選擇或定義評價指標(biāo)147

7.2.6　多GPU訓(xùn)練150

7.3　遷移學(xué)習(xí)151

7.4　斷點(diǎn)訓(xùn)練153

7.5　本章小結(jié)154

第8章　圖像分類156

8.1　圖像分類基礎(chǔ)知識157

8.1.1　評價指標(biāo)158

8.1.2　損失函數(shù)160

8.2　貓狗分類實戰(zhàn)160

8.2.1　數(shù)據(jù)準(zhǔn)備161

8.2.2　訓(xùn)練參數(shù)及配置165

8.2.3　數(shù)據(jù)讀取168

8.2.4　網(wǎng)絡(luò)結(jié)構(gòu)搭建170

8.2.5　訓(xùn)練模型171

8.2.6　測試模型176

8.3　本章小結(jié)179

第9章　目標(biāo)檢測180

9.1　目標(biāo)檢測基礎(chǔ)知識182

9.1.1　數(shù)據(jù)集184

9.1.2　SSD算法簡介188

9.1.3　anchor189

9.1.4　IoU194

9.1.5　模型訓(xùn)練目標(biāo)195

9.1.6　NMS199

9.1.7　評價指標(biāo)mAP201

9.2　通用目標(biāo)檢測202

9.2.1　數(shù)據(jù)準(zhǔn)備203

9.2.2　訓(xùn)練參數(shù)及配置205

9.2.3　網(wǎng)絡(luò)結(jié)構(gòu)搭建208

9.2.4　數(shù)據(jù)讀取215

9.2.5　定義訓(xùn)練評價指標(biāo)218

9.2.6　訓(xùn)練模型220

9.2.7　測試模型221

9.4　本章小結(jié)224

第10章　圖像分割225

10.1　圖像分割226

10.1.1　數(shù)據(jù)集227

10.1.2　評價指標(biāo)229

10.1.3　語義分割算法230

10.2　語義分割實戰(zhàn)231

10.2.1　數(shù)據(jù)準(zhǔn)備232

10.2.2　訓(xùn)練參數(shù)及配置233

10.2.3　數(shù)據(jù)讀取237

10.2.4　網(wǎng)絡(luò)結(jié)構(gòu)搭建240

10.2.5　定義評價指標(biāo)245

10.2.6　訓(xùn)練模型249

10.2.7　測試模型效果251

10.3　本章小結(jié)253

第11章　Gluon255

11.1　Gluon基礎(chǔ)256

11.1.1　data模塊256

11.1.2　nn模塊260

11.1.3　model zoo模塊265

11.2　CIFAR10數(shù)據(jù)集分類267

11.2.1　基于CPU的訓(xùn)練代碼267

11.2.2　基于GPU的訓(xùn)練代碼272

11.2.3　測試代碼275

11.3　本章小結(jié)276

第12章　GluonCV278

12.1　GluonCV基礎(chǔ)279

12.1.1　data模塊280

12.1.2　model zoo模塊285

12.1.3　utils模塊292

12.2　解讀ResNet復(fù)現(xiàn)代碼293

12.2.1　導(dǎo)入模塊296

12.2.2　命令行參數(shù)設(shè)置296

12.2.3　日志信息設(shè)置297

12.2.4　訓(xùn)練參數(shù)配置298

12.2.5　模型導(dǎo)入300

12.2.6　數(shù)據(jù)讀取301

12.2.7　定義評價指標(biāo)303

12.2.8　模型訓(xùn)練303

12.3　本章小結(jié)308

機(jī)器學(xué)習(xí) 深度學(xué)習(xí)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。