【昇騰CANN訓(xùn)練營第二期】【模型營】高玩賽作業(yè)：深度學(xué)習(xí)之后的發(fā)展（一篇寫跑了題的命題作文）

本帖來自論壇帖：https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=146061

其實張小白根本就駕馭不了這么宏大的主題，也不知道阿ZUN哥為啥要出這樣的題目，張小白心想，可能是因為他特別想給人打分（而且聽說新手營的作業(yè)是好是壞他打的都是滿分），所以張小白其實也很想得到這個選題的滿分（30分）。當(dāng)然，當(dāng)看到不超過三頁紙這個要求的時候，張小白徹底放棄了。因為作為話癆的張小白，如果寫一篇少于三頁紙的博客，他一定是瘋了。（不信請大家移步：

https://bbs.huaweicloud.com/community/usersnew/id_1552550689252345

）要是找到一篇篇幅少的，張小白就把自己的性 別去掉。

2019年之前，張小白對于AI的認(rèn)識，除了王力宏和李開復(fù)的那首《AI愛》，其實還僅限于各種影視，比如斯皮爾伯格的《人工智能》、《少數(shù)派報告》，還有Root和Shaw的《疑犯追蹤》等等。那個時候的AI可能都是小孩子或女孩子。

張小白從“云享讀書會”（

https://bbs.huaweicloud.com/forum/thread-114236-1-1.html

）開始，就跟華為云結(jié)下了不解之緣，2020年，張小白參加了《華為云2020 AI實戰(zhàn)營》，就開始了在人工智能、機器學(xué)習(xí)、深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等方面的漫長的“淺度學(xué)習(xí)”過程。

盡管AI（人工智能）、ML（機器學(xué)習(xí)）、DL（深度學(xué)習(xí)）之間有什么大圈包中圈包小圈的說法，淺薄的張小白只能認(rèn)為這三個基本上是一個東西。如果市面上《人工智能》（Stephen Lucci等）、《深度學(xué)習(xí)》（Ian Goodfellow等）、《機器學(xué)習(xí)》（周志華）、甚至《智能計算系統(tǒng)》（陳云霽）這樣的名字，都可以認(rèn)為是深度學(xué)習(xí)的書。

很多書里面的章節(jié)大多是卷積神經(jīng)網(wǎng)絡(luò)，如圖像分類（AlexNet、VGG、ResNet等）、圖像檢測（YoLo、SSD、FastRCNN等）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN、LSTM、GRU等）、對抗生成網(wǎng)絡(luò)（BigGAN、老譚生成器StyleGAN等），加上編程框架（TensorFlow和Keras、PyTorch、MindSpore、PaddlePaddle和早期的MXNet、Caffe等）。有些較為實戰(zhàn)的書還提供了Python、線性代數(shù)、微積分概率論、數(shù)理統(tǒng)計等前置知識的介紹。

隨著深度學(xué)習(xí)的“深度進步”，又有如聯(lián)邦學(xué)習(xí)（一種保護數(shù)據(jù)隱私基本上的分布式學(xué)習(xí)技術(shù)）、強化學(xué)習(xí)（不同于監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)，通過接受環(huán)境對動作的反饋獲取學(xué)習(xí)信息并更新模型參數(shù)）、集成學(xué)習(xí)（組合多個弱監(jiān)督模型以期待得到一個更好更全面的強監(jiān)督模型）、TinyML（在IoT和微處理器等超低功耗設(shè)備上進行AI計算）、AutoML（模型自動化學(xué)習(xí)參數(shù)無需人工干預(yù)）和分布式人工智能（基于分布式計算框架、高層聯(lián)邦體系HLA、Multi-Agent體系的群體智能計算）等等概念涌現(xiàn)出來。（當(dāng)然，張小白對于以上所有名詞的認(rèn)識大概僅僅在看目錄的層次。）

不得不說，《華為云2020 AI實戰(zhàn)營》真的是張小白系統(tǒng)學(xué)習(xí)深度學(xué)習(xí)的啟蒙教程。雖然在學(xué)習(xí)的時候感覺到云里霧里的，但是反復(fù)的灌輸也能讓張小白擁有一些刻板的印象，比如在圖像分類、物體檢測、圖像分割、人臉識別、OCR、視頻分析、NLP、語音識別等等應(yīng)用上，AI到底在做什么？而華為云的ModelArts也是張小白在擁有Atlas 200DK之前學(xué)習(xí)AI的重要途徑。BTW：今年的《華為云2021 AI實戰(zhàn)營》又開啟了，學(xué)習(xí)的內(nèi)容似乎更豐富了。所以張小白又報名參加了（只是可能沒那么多時間去學(xué)了......）

張小白后來通過華為云官網(wǎng)、論壇、微信群和華為小助手朋友圈等等，進一步了解了昇騰（華為基于昇騰NPU為基礎(chǔ)的AI全棧）、MindSpore（華為自研的深度學(xué)習(xí)框架）、鯤鵬（基于ARM架構(gòu)的鯤鵬 CPU為基礎(chǔ)的國產(chǎn)生態(tài)）、NAIE（基于電信業(yè)務(wù)場景的深度學(xué)習(xí)體系）、HiLens（使用了昇騰Atlas310芯片卻不歸屬于昇騰部門的產(chǎn)品）、AIoT（IoT部門向AI伸出的魔手）等華為各種涉及或者接近AI相關(guān)的產(chǎn)品或者服務(wù)?？梢赃@樣說，AI已經(jīng)進入到了華為產(chǎn)品和服務(wù)的各個細(xì)分領(lǐng)域。當(dāng)然了，對于華為內(nèi)部，也是時而和氣生財、時而刀光劍影。

張小白評估了一下自己的實力，覺得還是從應(yīng)用的角度著手去了解深度學(xué)習(xí)、了解華為的深度學(xué)習(xí)的產(chǎn)品。就此張小白先二手入手了一臺Atlas 200DK，開始了征戰(zhàn)AI的實踐旅程。要說在云上的ModelArts，讓人感悟到AI的強大，那么手邊的200DK，真的讓自己覺得“AI在身邊”。

就像老師（忘記是哪個老師了，是不是老譚？）在CANN訓(xùn)練營課程里講的那樣——應(yīng)用營讓人做出個應(yīng)用、這只是把深度學(xué)習(xí)當(dāng)做是一個黑盒子，模型營卻是讓人進入這個盒子，看看它的構(gòu)造。比如它到底用的是啥神經(jīng)網(wǎng)絡(luò)，它有可能用怎樣的框架實現(xiàn)。當(dāng)然，算子營就是更進一步了，它的目的是讓大家在昇騰環(huán)境中，把別的框架的東西都挪到華為的昇騰環(huán)境上來，如果無法運行，就做出自定義算子讓它運行。

這里還是要細(xì)說一下張小白與MindSpore的結(jié)緣。張小白在2020年9月，是應(yīng)IoT團隊的邀請參加了HC2020大會，但是卻參加了昇騰的訓(xùn)練營。聽了王南老師和大毛老師的課程，這才對MindSpore和CANN有所了解，特別是得到了王南老師的MindSpore的贈書。（參見張小白HC淘金記

https://bbs.huaweicloud.com/blogs/198312

https://bbs.huaweicloud.com/blogs/198316

）HC大會結(jié)束后，張小白就在十一假期開始折騰MindSpore的安裝，在MindSpore論壇瘋狂發(fā)貼（美其名曰圖文直播），直到現(xiàn)在也一發(fā)不可收拾（

https://bbs.huaweicloud.com/forum/thread-114102-1-1.html

）。盡管很多AI大佬覺得張小白寫的東西簡單到不值得一提，沒啥技術(shù)含量，可是張小白的能力可能也僅僅止步于此。沒辦法，有多大能力，就盡多大的責(zé)任。雖然張小白一直都喜歡超級英雄（無論是漫威的還是DC的），雖不能至，心向往之，只好筆耕不輟，繼續(xù)努力吧。

張小白參加了MindSpore的線上各種訓(xùn)練營，比如《MindSpore第五期兩日集群營》《MindSpore 21天實戰(zhàn)營》等。張小白從MindSpore1.0開始看，一直到現(xiàn)在的MindSpore1.3，確實一直在豐富自己的內(nèi)涵，除了張小白自己小作坊學(xué)習(xí)的比如PyNative模式、單節(jié)點緩存Cache、端側(cè)推理、端云訓(xùn)練、分布式部署Serving等等之外，還有特別高大上的量子學(xué)習(xí)MindQuantum、盤古超大自動并行模型、遷移學(xué)習(xí)、聯(lián)邦學(xué)習(xí)Federated、調(diào)試調(diào)優(yōu)工具MindInsight、高階API工具TinyMS、MindSpore Lite（含IoT）等等。

如果說，MindSpore通過黃之鵬大哥大和胡曉曼大姐大帶領(lǐng)的團隊的努力，將MindSpore變成了目前最受歡迎的國產(chǎn)開源框架，那么昇騰則是靠軟硬件結(jié)合，走出了一條產(chǎn)業(yè)化的路線。

盡管如此，學(xué)習(xí)昇騰的路線還是尤為艱難的。深度學(xué)習(xí)=算法+算力+數(shù)據(jù)。算法可以通過看論文和看ModelZoo的代碼大概知道怎么回事兒，數(shù)據(jù)可以從公網(wǎng)下載一些公共的數(shù)據(jù)集，但是算力，推理類產(chǎn)品Atlas200DK動輒3999，訓(xùn)練類產(chǎn)品基本上不提供給開發(fā)者。這個時候只能求助于ModelArts上的昇騰集群，可是19.9元一小時的費用真的讓“仙人止步”。但是，如果開發(fā)者都買了GeForce RTX 3080、3090來做AI計算，那么又跟昇騰幾乎是沒關(guān)系了。（當(dāng)然MindSpore還是會支持的）。張小白從去年想買一臺能做深度學(xué)習(xí)的電腦到現(xiàn)在，硬是沒有成功。所以，可能除了一些AI的企業(yè)或者是大型企業(yè)，AI的學(xué)習(xí)可能跟一般的開發(fā)者要絕緣了。這就像目前的教育減負(fù)一樣，都提倡素質(zhì)教育，不給學(xué)生增加負(fù)擔(dān)，那只有富豪的孩子才會花錢請私人教師，而窮人是沒有進一步上升的空間了。這點可能是昇騰的運營者需要關(guān)注的問題，除了跟高校和企業(yè)合作之外（聽說都有免費送學(xué)生Atlas設(shè)備玩的，張小白甚是羨慕），難道就沒有獨立開發(fā)者的深度學(xué)習(xí)的修煉之路了嗎？

絕望中的張小白隱約看到了一絲的希望，就是華為及其昇騰團隊，還一直把免費的培訓(xùn)，有獎品的培訓(xùn)，送代金券的培訓(xùn)作為讓開發(fā)者學(xué)習(xí)華為產(chǎn)品的動力。盡管能被利益誘惑來的，一定會被別的更大的利益誘惑走，但是總會剩下一批被培養(yǎng)出了感情的華為開發(fā)者。他們也許熱衷于當(dāng)大魔王（不停的參加模王賽以獲得巨額獎金），也許熱衷于精讀論文、研究新特性（寫活動體驗以獲得家居小獎品），也許熱衷于參與微信群里的討論（天南海北的人一起欺負(fù)小助手），也許還剩下一個孤獨的折騰者——張小白，以一己之力購買了2臺二手的Atlas 200DK和二手的Atlas 200 HiLens，并在眾多的AI牛人面前硬搶一些散落在地上的金幣碎片，臉皮厚得令人發(fā)指。

讓我們回歸主題，張小白學(xué)習(xí)了深度學(xué)習(xí)之后，深度學(xué)習(xí)會怎么發(fā)展？阿ZUN哥一直說深度學(xué)習(xí)是個工程科學(xué)，也就是“事實、結(jié)果、數(shù)據(jù)是硬道理，沒有什么理論可言”。張小白的理解就是，深度學(xué)習(xí)是一門披著科學(xué)外衣的玄學(xué)、煉丹學(xué)。有些熟練的大魔王甘道夫們，已經(jīng)熟悉了煉丹的技巧，但是這是他們耐以生存的本領(lǐng)，一般也不會輕易教給別人。而一些不會煉丹的張小白們，他們最好期待華為的團隊把這些高階的API都做好，比如CANN的MindX SDK，又比如MindSpore的TinyMS，或者像一個簡單的DataSet函數(shù)，這樣就可以知其然而不知其所以然地加載數(shù)據(jù)集、調(diào)通模型，搭建好自己想做的應(yīng)用。讓凱撒的歸凱撒，撒旦的歸撒旦，好好當(dāng)一個應(yīng)用玩家。

所以，匯總起來就是：深度學(xué)習(xí)將沿著簡單化和復(fù)雜化兩條路線發(fā)展，簡單的地方，一般的初學(xué)者能夠通過幾句話搭建模型，實現(xiàn)低代碼甚至無代碼的構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)；而復(fù)雜的地方，讓想學(xué)習(xí)深度學(xué)習(xí)算法的人進一步研究算法，想研究深度學(xué)習(xí)模型的人進一步擴展模型，想做深度學(xué)習(xí)應(yīng)用的人去進一步研究應(yīng)用如何快速搭建。

而最重要的是：張小白能在里面找到自己的一席之地。

（全文完，謝謝閱讀）

昇騰 機器學(xué)習(xí) 深度學(xué)習(xí)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。