《深入理解AutoML和AutoDL：構建自動化機器學習與深度學習平臺》

智能系統與技術叢書

深入理解AutoML和AutoDL：構建自動化機器

學習與深度學習平臺

王健宗　瞿曉陽　著

Praise

贊　　譽

—楊強　IEEE Fellow/IAPR Fellow/AAAS Fellow/ACM杰出科學家/

微眾銀行首席人工智能官/香港科技大學計算機與工程系教授

—俞棟　騰訊AI Lab副主任/西雅圖人工智能實驗室負責人

AutoML可以使機器學習的調參建模流程實現自動化，大大降低機器學習的門檻，讓用戶在沒有豐富機器學習經驗的情況下也能開發機器學習模型，大大縮短創建模型的時間。王健宗博士的這本書不僅非常系統、深入地講解了AutoML和AutoDL的理論知識和核心技術，而且給出了具體的工程實踐方法。對于想學習AutoML和AutoDL技術或搭建自動化機器學習平臺的讀者來講，本書有很大的參考價值。

—李曉林　美國佛羅里達大學教授/

同盾科技副總裁兼人工智能研究院院長

自動化機器學習探索一種“學習的學習”模式，既是國際學術界熱點研究問題，也是工業界急需的核心技術。本書是國內頂尖AI專家王健宗博士在實踐中摸索出的自動化機器學習理論、方法與系統框架，具有極高的學術和應用價值。

—陳為　教授/博導/浙江大學計算機學院副院長

AutoML在機器學習的發展過程中一直是研究者的夢想，讓模型的超參數甚至模型結構本身就可以通過學習過程自動探索到最優解。王健宗等著的這本AutoML專著涵蓋自動化特征工程、自動化超參優化，以及神經網絡架構搜索等前沿技術方法。從理論和實踐雙重維度，對自動化機器學習做了全面介紹，對工程實踐也有很好的指導意義。

—李磊　字節跳動人工智能實驗室總監

AutoML的概念于2012年由學術界提出，當時的目的是解決編程時人工調校參數的問題。在谷歌、微軟等公司的大力推動下，目前AutoML的研究越來越深入，應用越來越廣泛。AutoML可以幫助選擇模型并選擇超參數，成為機器學習和AI自動化和平民化的重要方向。王博士的這本書填補了AutoML中文圖書的空白，從理論與實踐的雙重維度，對AutoML和AutoDL的入門知識和進階知識做了全面介紹，值得一讀！

—陳繼東　螞蟻金服ZOLOZ全球可信身份平臺負責人/資深數據專家

AutoML是當前AI領域的前沿方向之一，由谷歌等巨頭引領，讓深度學習的使用更趨自動化、民主化，是降低機器學習門檻的一大利器。王健宗博士查閱并解讀了近百篇論文，詳盡介紹了最前沿的AutoML算法和技術，本書堪稱打開AutoML和AutoDL深入學習之門的神奇鑰匙。

—楊靜　新智元創始人兼CEO

如今，自動化機器學習技術已經風靡全球。模型選擇、特征工程、調參等工作自動化之后，普通民眾學習AI以及專業人士運用AI的效率得到了極大提升。王博士既是奮斗在科研一線的AI專家，又是平安科技的大型AI項目負責人，理論與實踐能力均爐火純青，寫這本書再適合不過。相信很多人能從本書中受益。

—周磊（July）　七月在線創始人兼CEO

Preface

前　　言

為什么要寫這本書

“人工智能”“機器學習”“深度學習”“聯邦學習”“自動化”等已經成為互聯網行業使用最頻繁的詞匯，在人工智能發展日益成熟的今天，越來越多的研究者將目標聚焦于“自動化”。出于對AutoML技術出現的振奮和對人工智能的熱情與投入，我們逐漸萌生了撰寫這本書的想法，我們想讓更多的人了解AutoML，了解我們身邊最前沿的技術和知識，最終能夠讓天下沒有難的AI，實現普惠AI。如果一定要問我們寫這本書的原因，我覺得可以歸結為如下三點：

首先，已經有多家互聯網公司發布了AutoML平臺，毫無疑問AutoML已經成為目前各大公司的“護城河”，我們希望通過本書來揭開AutoML平臺的神秘面紗。基于AutoML平臺，專業編程人員和非專業人員均可快速創建項目并訓練模型，但是，由于國內至今還沒有一本關于AutoML算法介紹的書籍，平臺用戶只知其然卻不知其所以然。

其次，我們想要通過本書建立一套完整的AutoML知識體系。很多AutoML從業者懂技術，但是缺少一套完整的知識體系來支撐自己的核心技術，有鑒于此，我們在開始撰寫本書前做的第一件事就是建立知識體系，包括自動化機器學習、神經架構搜索的核心算法、自動化模型壓縮、模型調參、深度學習的垂直領域應用以及元學習等。這套知識體系可以幫助很多從業者認清技術方向，也可以幫助初期從業者選擇研究領域。我們期望有更多人來為AutoML這個誕生僅僅一年半的新技術添磚加瓦，共建AutoML生態。

最后，我們希望這本書能為更多非專業人員帶來價值。本書的初期定位是AutoML入門書籍，換句話說，我們撰寫的初衷是想為更多不懂算法但是熱愛AI技術的愛好者提供一些思路和理解角度。因此，我們在本書中盡量使用白話來解釋算法思想，從人工智能的初期發展到AutoML技術的成熟，可以讓每一個非技術人員快速理解AutoML。

對于本書，我們傾注了很多熱情和心血，從2017年年底AutoML技術開始出現就開始深入探索，接著起草最初書稿框架到成型歷時一年多，其中經過了多次章節結構調整和修改，查閱并解讀近百篇AI前沿論文，才有了今天大家看到了這本書。在本書中，我們從0到1介紹了AutoML技術的方方面面，希望這本書能帶給你驚喜。

讀者對象

本書適用于非計算機專業研究人員、期望轉型AI領域的技術愛好者，同樣也適用于初級、中級和高級的人工智能算法工程師、項目經理和產品經理等。

本書特色

AutoML技術的發展日新月異，諸多科學家和研究者會在論文中發表自己的研究成果，但是目前國內還沒有一本講解AutoML發展和技術的書籍。本書聚焦于AutoML，從無到有地介紹了AutoML的發展過程以及相關的算法。本書涉及AutoML技術的多個方面，從AutoML到AutoDL，最后延伸到元學習，為讀者提供了一套完整的知識體系。

如何閱讀這本書

本書是關于自動化人工智能的一本入門級書籍，書中涵蓋了大部分基礎知識，因此非專業人士也可以讀懂。自動化人工智能的最重要的兩個分支是自動化機器學習和自動化深度學習，因此，本書的核心和聚焦在這兩大研究領域，旨在為專業人士和剛入門的學者提供一些研究方向和思路。

從邏輯上，全書一共分為四個部分。

第一部分（第1～2章）是關于人工智能的基礎概述，并介紹了現有的AutoML平臺。

第二部分（第3～6章）是自動化機器學習，這里的機器學習是指統計機器學習，這一部分主要介紹了基本的機器學習知識以及自動化特征工程、自動化模型選擇和自動化超參優化。

第三部分（第7～13章）是自動化深度學習，眾所周知，近年來深度學習的研究開展得如火如荼，為了拓展讀者的知識領域和研究思路，我們在這一部分花費了大量的篇幅來介紹近幾年最前沿的算法和技術，這也是全書最核心的章節。

第四部分（第14章）是關于元學習的內容，我們認為元學習應該是獨立于統計機器學習和深度學習的一個研究領域，因為元學習跳出了學習“結果”的這種思想，學習的是“學習過程”，這也是自動化人工智能的理想目標。因此，我們將元學習單獨作為一個部分，作為全書內容的升華，讀者可以在本書的引導下展開更深入的研究。

我們將本書的重點內容羅列為以下幾點：

1）自動化特征工程生成方法，分別是深度特征合成算法、Featuretools自動特征提取以及基于時序特征的自動化特征工程。

2）自動化模型選擇方法，包括貝葉斯優化算法、進化算法、分布式優化等。

3）自動化超參優化，主要有序列超參優化、進化算法的運用以及遷移學習方法。

4）神經架構搜索，主要搜索算法有強化學習和進化算法。

5）神經架構搜索加速方案，包括權值共享法、超網絡、網絡態射法、代理評估模型以及可微分神經架構搜索。

6）模型壓縮和加速方案，包括量化、修剪法、稀疏化以及輕量級模型設計。

專業讀者或具體從業者可根據自己的研究領域以及感興趣情況選擇以上部分內容重點閱讀。對于非專業讀者，本書中也有最基本的算法入門介紹，可以將本書作為一本AutoML入門書籍進行全書通讀。

勘誤和支持

本書并沒有涵蓋AutoML研究領域的全部知識，因為這個領域的知識體系之龐大，不是一本書就可以介紹完的。譬如我們書中所涉及的圖計算網絡、超網絡、蒙特卡洛樹搜索以及元學習都可以成為一個獨立的研究課題。在AutoML技術的發展過程中，很多前沿算法會不斷被提出和更新，因此書中的內容會存在一定的局限性。

yfc@hzbook.com，我們會認真采納你的意見和建議。這本書的結束并不意味著我們的研究就此結束，我們還需要不斷挖掘其中的精華與奧妙，期待能夠得到你們的真摯反饋和支持。

致謝

在本書的撰寫和研究期間，感謝多名AutoML技術愛好者（趙淑貞、尚迪雅、曾昱為、吳文啟、唐彥璽、張君婷、賀凡等）的參與支持。

感謝出版社對本書的耐心修訂和整理，沒有他們，就沒有今天這本書的出版。

最后，我要感謝讀者，感謝讀者對我們的信任。我們盡最大努力想要給大家呈現一本邏輯清晰、技術易懂的入門書籍，感謝讀者選擇了這本書，選擇就是對我們最大的信任。

謹以此書獻給AutoML的技術愛好者和研究者們！

王健宗

2019年8月于深圳

CONTENTS

目錄

贊譽

前言

第1章　人工智能概述1

1.1　全面了解人工智能1

1.1.1　人工智能定義1

1.1.2　弱人工智能、強人工智能與超人工智能2

1.1.3　人工智能三大主義3

1.1.4　機器學習與深度學習4

1.2　人工智能發展歷程5

1.3　深度學習的崛起之路7

1.3.1　人臉識別的起源7

1.3.2　自動駕駛的福音7

1.3.3　超越人類的AI智能體8

1.3.4　懂你的AI8

1.3.5　奔跑、飛行以及玩游戲的AI8

1.3.6　人人都可以創造屬于自己的AI8

1.4　深度學習的發展9

1.4.1　計算機視覺9

1.4.2　自然語言處理10

1.4.3　語音識別11

1.5　下一代人工智能11

1.6　參考文獻13

第2章　自動化人工智能14

2.1　AutoML概述14

2.1.1　什么是自動化14

2.1.2　AutoML的起源與發展15

2.2　AutoML的研究意義17

2.2.1　AutoML的研究動機17

2.2.2　AutoML的意義和作用18

2.3　現有AutoML平臺產品21

2.3.1　谷歌Cloud AutoML21

2.3.2　百度EasyDL23

2.3.3　阿里云PAI24

2.3.4　探智立方DarwinML28

2.3.5　第四范式AI ProphetAutoML29

2.3.6　智易科技30

2.4　參考文獻31

第3章　機器學習概述32

3.1　機器學習的發展32

3.1.1　“機器學習”名字的由來32

3.1.2　“機器學習”的前世今生33

3.1.3　“機器學習”的理論基礎34

3.2　機器學習的實現方法36

3.2.1　分類問題36

3.2.2　回歸問題38

3.2.3　聚類問題39

3.3　自動化機器學習40

3.3.1　機器學習面臨的問題40

3.3.2　為什么會產生AutoML41

3.4　參考文獻41

第4章　自動化特征工程43

4.1　特征工程43

4.1.1　什么是特征43

4.1.2　什么是特征工程44

4.2　特征工程處理方法45

4.2.1　特征選擇45

4.2.2　數據預處理47

4.2.3　特征壓縮48

4.3　手工特征工程存在的問題49

4.4　自動化特征工程50

4.4.1　什么是自動化特征工程50

4.4.2　機器學習和深度學習的特征工程51

4.5　自動化特征工程生成方法52

4.5.1　深度特征合成算法52

4.5.2　Featuretools自動特征提取52

4.5.3　基于時序數據的自動化特征工程56

4.6　自動化特征工程工具67

4.6.1　自動化特征工程系統67

4.6.2　自動化特征工程平臺71

4.7　參考文獻75

第5章　自動化模型選擇76

5.1　模型選擇76

5.2　自動化模型選擇77

5.2.1　基于貝葉斯優化的自動化模型選擇78

5.2.2　基于進化算法的自動化模型選擇84

5.2.3　分布式自動化模型選擇86

5.2.4　自動化模型選擇的相關平臺92

5.3　自動集成學習94

5.3.1　集成學習基礎94

5.3.2　集成學習之結合策略97

5.3.3　自動化模型集成98

5.4　參考文獻99

第6章　自動化超參優化101

6.1　概述101

6.1.1　問題定義103

6.1.2　搜索空間103

6.1.3　搜索策略103

6.1.4　評價預估104

6.1.5　經驗遷移加速105

6.2　基本方法105

6.2.1　網格搜索105

6.2.2　隨機搜索105

6.3　基于模型的序列超參優化106

6.3.1　代理模型的選擇108

6.3.2　代理模型的更新108

6.3.3　新超參組的選擇109

6.3.4　基于高斯過程回歸的序列超參優化111

6.3.5　基于隨機森林算法代理的序列超參優化112

6.3.6　基于TPE算法的序列超參優化114

6.3.7　SMBO的進階技巧114

6.4　基于進化算法的自動化超參優化115

6.4.1　基于進化策略的自動化超參優化115

6.4.2　基于粒子群算法的自動化超參優化116

6.5　基于遷移學習的超參優化加速方法117

6.5.1　經驗遷移機制117

6.5.2　經驗遷移衰退機制117

6.5.3　經驗遷移權重機制117

6.5.4　優化過程的試點機制118

6.6　參考文獻118

第7章　深度學習基礎120

7.1　深度學習簡介120

7.1.1　什么是神經元120

7.1.2　人工神經網絡的發展歷程121

7.1.3　深度學習方法123

7.2　卷積神經網絡簡介123

7.2.1　卷積層123

7.2.2　池化層125

7.2.3　全連接層126

7.3　CNN經典模型126

7.3.1　LeNet126

7.3.2　AlexNet127

7.3.3　VGGNet128

7.3.4　GoogLeNet129

7.3.5　ResNet130

7.3.6　DenseNet131

7.4　循環神經網絡132

7.4.1　基本循環神經模型132

7.4.2　LSTM模型133

7.4.3　GRU模型134

7.5　參考文獻134

第8章　自動化深度學習概述136

8.1　深度學習vs自動化深度學習136

8.2　什么是NAS136

8.2.1　問題定義137

8.2.2　搜索策略139

8.2.3　加速方案140

8.3　NAS方法分類140

第9章　基于強化學習的AutoDL142

9.1　強化學習基礎142

9.1.1　強化學習簡介142

9.1.2　基本要素及問題定義144

9.1.3　發展歷史144

9.1.4　基本方法146

9.2　兩類基本模型147

9.2.1　TD經典算法148

9.2.2　DQN系列算法149

9.2.3　策略梯度算法152

9.3　強化學習之Actor-Critic系列154

9.3.1　Actor-Critic算法154

9.3.2　確定性策略梯度155

9.3.3　深度確定性策略梯度157

9.3.4　異步優勢Actor-Critic算法158

9.3.5　近端策略優化160

9.3.6　分布式近端策略優化164

9.4　基于強化學習的自動搜索166

9.5　基本搜索方法166

9.5.1　基于層的搜索166

9.5.2　基于塊的搜索169

9.5.3　基于連接的搜索171

9.6　進階搜索方法173

9.6.1　逆強化學習173

9.6.2　圖超網絡174

9.6.3　蒙特卡洛樹搜索175

9.6.4　知識提煉（教師網絡）177

9.7　參考文獻179

第10章　基于進化算法的AutoDL181

10.1　啟發式算法181

10.1.1　隨機搜索182

10.1.2　近鄰搜索183

10.1.3　進化計算187

10.1.4　啟發式算法的局限性189

10.2　初代進化算法190

10.2.1　基本術語190

10.2.2　基礎算子191

10.2.3　遺傳算法196

10.2.4　進化策略198

10.2.5　進化規劃199

10.3　其他近代進化算法200

10.3.1　遺傳編程算法簇200

10.3.2　群體算法—以PSO為例205

10.3.3　文化基因算法207

10.3.4　差分進化算法208

10.3.5　分布估計算法208

10.4　進化神經網絡209

10.4.1　簡介209

10.4.2　神經網絡編碼方式210

10.4.3　競爭約定211

10.4.4　網絡結構的創新性212

10.4.5　NAS之進化算法212

10.5　細粒度的神經進化（NEAT算法）213

10.5.1　基因編碼214

10.5.2　基因的可追溯性216

10.5.3　通過物種形成保護創新結構216

10.6　粗粒度的神經進化（CoDeep-NEAT算法）218

10.6.1　DeepNEAT算法218

10.6.2　CoDeepNEAT算法219

10.7　block-level的進化220

10.7.1　Genetic CNN算法220

10.7.2　CGP-CNN方法222

10.8　基于node-level的網絡架構進化224

10.8.1　思想簡介224

10.8.2　基本算法設計225

10.8.3　信息復用與加速226

10.9　基于NAS搜索空間的網絡架構進化227

10.9.1　思想簡介227

10.9.2　基本算法設計227

10.9.3　信息復用與加速228

10.10　基于層次拓撲表示的網絡進化方法228

10.10.1　思想簡介228

10.10.2　分級表示229

10.10.3　隨機的層次分級進化230

10.11　參考文獻230

第11章　AutoDL高階233

11.1　搜索加速之權值共享法233

11.1.1　ENAS233

11.1.2　基于稀疏優化的NAS235

11.2　基于one-shot模型的架構搜索236

11.2.1　超網絡的應用236

11.2.2　基于one-shot的搜索237

11.2.3　實例級架構搜索238

11.2.4　單路徑超網絡240

11.3　搜索加速之代理評估模型241

11.3.1　代理模型241

11.3.2　PNAS中的LSTM代理242

11.4　基于網絡態射法的神經架構搜索244

11.4.1　網絡態射的提出244

11.4.2　什么是網絡態射244

11.4.3　網絡態射+迂回爬山法246

11.5　可微分神經架構搜索247

11.5.1　可微分神經架構搜索的來源247

11.5.2　可微分神經架構搜索的方法248

11.6　參考文獻250

第12章　垂直領域的AutoDL252

12.1　AutoCV252

12.1.1　Auto-DeepLab（圖像語義分割）252

12.1.2　隨機連線神經網絡257

12.2　AutoVoice261

12.2.1　關鍵詞定位問題定義261

12.2.2　隨機自適應架構搜索原理262

12.2.3　SANAS模型262

12.3　AutoNLP263

12.3.1　什么是自注意力機制263

12.3.2　初識Transformer模型265

12.3.3　Evolved Transformer結構266

12.4　參考文獻270

第13章　自動化模型壓縮與加速271

13.1　從生物角度看模型壓縮的重要性271

13.1.1　人腦神經元的修剪271

13.1.2　大腦的冗余性272

13.1.3　修剪的意義273

13.2　模型壓縮發展概述274

13.3　入門級方法：量化技術275

13.3.1　量化技術275

13.3.2　二值化網絡276

13.3.3　TensorRT277

13.4　初級方法：修剪法278

13.4.1　修剪法278

13.4.2　修剪與修復279

13.5　中級方法：稀疏化技術281

13.5.1　正則化281

13.5.2　知識精煉281

13.5.3　張量分解281

13.6　高級方法：輕量級模型設計284

13.6.1　簡化卷積操作284

13.6.2　深度可分離卷積285

13.6.3　改進的Inception287

13.7　自動化模型壓縮技術289

13.7.1　AMC算法289

13.7.2　PocketFlow框架291

13.8　基于AutoDL的輕量級模型292

13.8.1　問題定義292

13.8.2　帕累托最優問題293

13.8.3　進化算法的應用294

13.8.4　強化學習的應用296

13.8.5　可微分架構搜索298

13.9　參考文獻300

第14章　元學習302

14.1　什么是元學習302

14.1.1　基本介紹302

14.1.2　經典案例303

14.1.3　深入了解元學習304

14.1.4　元學習應用的發展306

14.2　元學習的通用流程306

14.2.1　基本定義306

14.2.2　流程框架306

14.3　從模型評估中學習307

14.3.1　任務無關推薦308

14.3.2　參數空間設計308

14.3.3　參數轉換309

14.3.4　學習曲線310

14.4　從任務屬性中學習310

14.4.1　元特征310

14.4.2　學習元特征311

14.4.3　相似任務的熱啟動優化311

14.4.4　元模型311

14.4.5　管道合成312

14.4.6　是否調整312

14.5　從先前模型中學習312

14.5.1　遷移學習313

14.5.2　神經網絡中的元學習313

14.5.3　小樣本學習314

14.5.4　監督學習之外的方法315

14.6　基于模型的方法316

14.6.1　記憶增強神經網絡316

14.6.2　元網絡317

14.6.3　模型無關的元學習方法317

14.6.4　利用注意力機制的方法319

14.6.5　基于時間卷積的方法320

14.6.6　基于損失預測的方法321

14.6.7　元強化學習321

14.7　基于度量的方法322

14.7.1　Siamese網絡322

14.7.2　匹配網絡324

14.7.3　關系網絡324

14.7.4　原型網絡325

14.8　基于優化的方法326

14.8.1　基于LSTM網絡的元學習者326

14.8.2　未知模型的元學習326

14.8.3　Reptile：可擴展元學習方法327

14.8.4　基于梯度預測的方法327

14.9　參考文獻329

結束語332

云學院 深度學習 AI 機器學習

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。