《深度學習：卷積神經網絡從入門到精通》

智能系統與技術叢書

深度學習：卷積神經網絡從入門到精通

李玉鑑　張　婷　單傳輝　劉兆英　等著

PREFACE

前　　言

卷積神經網絡是一種特殊的多層感知器或前饋神經網絡，具有局部連接、權值共享的特點，其中大量神經元按照一定方式組織起來對視野中的交疊區域產生反應。其前身是日本學者Fukushima在感受野概念的基礎上提出的神經認知機模型。利用神經認知機的思想，LeCun等人在1998年提出了卷積神經網絡的現代雛形LeNet。2012年，Krizhevsky等人取得了卷積神經網絡研究的重大突破，提出了著名的AlexNet。AlexNet在ImageNet的大規模圖像分類競賽中取得優異成績，為深度學習的全面推廣立下了汗馬功勞。隨后，卷積神經網絡模型如雨后春筍般出現，如VGGNet、GoogLeNet、SPPNet、ResNet、DenseNet、Faster R-CNN、YOLO、SSD、FCN、PSPNet、Mask R-CNN、SiameaseNet、SqueezeNet、DCGAN、NIN，以及在人工智能游戲中用到的深度強化模型等。

本書的最大特色是對卷積神經網絡進行由淺入深的分類描述，依次包括：現代雛形、突破模型、應變模型、加深模型、跨連模型、區域模型、分割模型、特殊模型、強化模型和頂尖成就。這種分類框架是在模型概述和預備知識的基礎上逐步展開的，既方便讀者入門學習，又有助于讀者深入鉆研。

本書的另一大特色是結合Caffe或TensorFlow的代碼來說明各種卷積神經網絡模型的具體實現過程，并通過應用案例說明其價值和意義所在。典型的應用案例包括：字符識別、交通標志識別、交通路網提取、大規模圖像分類、人臉圖像性別分類、圖像目標檢測、圖像語義分割、圖像實例分割、人臉圖像生成、Flappy Bird智能體、AlphaGo的仿效圍棋程序等。讀者可以通過運行各個應用案例的程序代碼和實驗數據，檢驗其演示效果。

作　者

2018年4月于北京工業大學

CONTENTS

目　　錄

前言

第1章　概述? 1

1.1　深度學習的起源和發展? 1

1.2　卷積神經網絡的形成和演變? 4

1.3　卷積神經網絡的應用和影響? 6

1.4　卷積神經網絡的缺陷和視圖? 9

1.5 卷積神經網絡的GPU實現和cuDNN庫? 10

1.6　卷積神經網絡的平臺和工具? 10

1.7　本書的內容結構和案例數據? 13

1.7.1　內容結構? 13

1.7.2　案例數據? 15

第2章　預備知識? 22

2.1　激活函數? 22

2.2　矩陣運算? 23

2.3　導數公式? 24

2.4　梯度下降算法? 25

2.5　反向傳播算法? 26

2.5.1　通用反向傳播算法? 27

2.5.2　逐層反向傳播算法? 28

2.6　通用逼近定理? 31

2.7　內外卷積運算? 31

2.8　膨脹卷積運算? 32

2.9　上下采樣運算? 33

2.10　卷積面計算? 34

2.11　池化面計算? 36

2.12　局部響應歸一化? 36

2.13　權值偏置初始化? 37

2.14　丟失輸出? 37

2.15　丟失連接? 38

2.16　隨機梯度下降算法? 39

2.17　塊歸一化? 39

2.18　動態規劃算法? 40

第3章 卷積神經網絡的現代雛形——LeNet? 41

3.1　LeNet的原始模型? 41

3.2　LeNet的標準模型? 43

3.3　LeNet的學習算法? 44

3.4　LeNet的Caffe代碼實現及說明? 46

3.5　LeNet的手寫數字識別案例? 54

3.6　LeNet的交通標志識別案例? 58

3.6.1 交通標志數據集的格式轉換? 58

3.6.2　交通標志的識別分類? 60

3.7　LeNet的交通路網提取案例? 63

3.7.1　交通路網的人工標注? 64

3.7.2　交通路網的圖像塊分類? 67

3.7.3 交通路網的圖像塊分類LeNet? 69

3.7.4 交通路網的自動提取代碼及說明? 71

3.7.5 交通路網的自動提取程序運行結果? 75

第4章 卷積神經網絡的突破模型? 78

4.1　AlexNet的模型結構? 78

4.2 AlexNet的Caffe代碼實現及說明? 82

4.3 AlexNet的Caffe大規模圖像分類案例及演示效果? 95

4.4 AlexNet的TensorFlow代碼實現及說明? 97

4.5 AlexNet的TensorFlow大規模圖像分類案例及演示效果? 103

4.6　AlexNet的改進模型ZFNet? 107

第5章 卷積神經網絡的應變模型? 109

5.1　SPPNet的模型結構? 109

5.2 SPPNet的Caffe代碼實現及說明? 112

5.3 SPPNet的大規模圖像分類案例及演示效果? 114

第6章 卷積神經網絡的加深模型? 118

6.1 結構加深的卷積網絡VGGNet? 118

6.1.1　VGGNet的模型結構? 118

6.1.2 VGGNet的TensorFlow代碼實現及說明? 120

6.1.3 VGGNet的物體圖像分類案例? 129

6.2 結構更深的卷積網絡GoogLeNet? 130

6.2.1　GoogLeNet的模型結構? 130

6.2.2 GoogLeNet的TensorFlow代碼實現及說明? 136

6.2.3 GoogLeNet的鮮花圖像分類案例? 149

第7章 卷積神經網絡的跨連模型? 154

7.1　快道網絡HighwayNet? 154

7.2　殘差網絡ResNet? 155

7.2.1　ResNet的模型結構? 155

7.2.2 ResNet的Caffe代碼實現及說明? 157

7.2.3 ResNet的大規模圖像分類案例? 163

7.3　密連網絡DenseNet? 169

7.3.1　DenseNet的模型結構? 169

7.3.2 DenseNet的Caffe代碼實現及說明? 171

7.3.3 DenseNet的物體圖像分類案例? 174

7.4　拼接網絡CatNet? 178

7.4.1　CatNet的模型結構? 178

7.4.2 CatNet的Caffe代碼實現及說明? 179

7.4.3 CatNet的人臉圖像性別分類案例? 183

第8章 卷積神經網絡的區域模型? 190

8.1　區域卷積網絡R-CNN? 190

8.2 快速區域卷積網絡Fast R-CNN? 191

8.3 更快區域卷積網絡Faster R-CNN? 193

8.3.1 Faster R-CNN的模型結構? 193

8.3.2 Faster R-CNN的TensorFlow代碼實現及說明? 196

8.3.3 Faster R-CNN的圖像目標檢測案例及演示效果? 216

8.4　你只看一次網絡YOLO? 220

8.4.1　YOLO的模型結構? 220

8.4.2 YOLO的TensorFlow代碼實現及說明? 226

8.4.3 YOLO的圖像目標檢測案例及演示效果? 239

8.5　單次檢測器SSD? 242

8.5.1　SSD的模型結構? 242

8.5.2 SSD的TensorFlow代碼實現及說明? 245

8.5.3 SSD的圖像目標檢測案例及演示效果? 260

第9章 卷積神經網絡的分割模型? 266

9.1　全卷積網絡FCN? 266

9.1.1　FCN的模型結構? 266

9.1.2 FCN的Caffe代碼實現及說明? 269

9.1.3 FCN的圖像語義和幾何分割案例? 272

9.2 金字塔場景分析網絡PSPNet? 277

9.2.1　PSPNet的模型結構? 277

9.2.2 PSPNet的TensorFlow代碼實現及說明? 282

9.2.3 PSPNet的圖像語義分割案例及演示效果? 291

9.3 掩膜區域卷積網絡Mask R-CNN? 294

9.3.1 Mask R-CNN的模型結構? 294

9.3.2 Mask R-CNN的Keras和TensorFlow代碼實現及說明? 297

9.3.3 Mask R-CNN的圖像實例分割案例及演示效果? 318

第10章 卷積神經網絡的特殊模型? 325

10.1　孿生網絡SiameseNet? 325

10.1.1 SiameseNet的模型結構? 325

10.1.2 SiameseNet的Caffe代碼實現及說明? 326

10.1.3 SiameseNet的手寫數字驗證案例? 328

10.2　擠壓網絡SqueezeNet? 331

10.2.1 SqueezeNet的模型結構? 331

10.2.2 SqueezeNet的Caffe代碼實現及說明? 334

10.2.3 SqueezeNet大規模圖像分類案例? 337

10.3 深層卷積生成對抗網絡DCGAN? 339

10.3.1 DCGAN的模型結構? 339

10.3.2 DCGAN的TensorFlow代碼實現及說明? 340

10.3.3 DCGAN的CelebA人臉圖像生成案例? 345

10.4　網中網NIN? 348

10.4.1　NIN的模型結構? 348

10.4.2 NIN的Caffe代碼實現及說明? 350

10.4.3 NIN大規模圖像分類案例? 353

第11章 卷積神經網絡的強化模型? 356

11.1　強化學習的基本概念? 356

11.2 深度強化學習網絡的學習算法? 358

11.3 深度強化學習網絡的變種模型? 359

11.4 深度強化學習網絡的Flappy Bird智能體案例? 361

11.4.1 笨笨鳥網絡的開發環境和工具包? 362

11.4.2 笨笨鳥網絡的代碼實現及說明? 363

11.4.3 笨笨鳥網絡的學習訓練過程? 367

11.4.4 笨笨鳥網絡的演示效果? 370

第12章 卷積神經網絡的頂尖成就——AlphaGo? 371

12.1　人工智能棋類程序簡介? 371

12.2　AlphaGo的設計原理? 373

12.2.1　總體思路? 373

12.2.2　訓練流程? 374

12.2.3　搜索過程? 377

12.3　AlphaGo Zero的新思想? 380

12.4 仿效AlphaGo的圍棋程序案例MuGo? 383

12.4.1　MuGo的開發環境? 383

12.4.2 MuGo的代碼實現及說明? 386

12.4.3 MuGo的學習訓練過程? 401

12.4.4 MuGo的演示效果? 403

附錄A　Caffe在Windows上的?安裝過程? 406

附錄B　Caffe在Linux上的安裝?過程? 409

附錄C　TensorFlow在Windows?上的安裝過程? 412

附錄D　TensorFlow在Linux?上的安裝過程? 414

參考文獻? 416

深度學習 卷積神經網絡 神經網絡

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。