中科大研二學生，深度學習放棄，淺度學習入門！?

乍看題目，你可能會認為我在故弄玄虛，不過我覺得對我而言說深度學習確確實實不很恰當。首先，在這一年的學習中，我自己做的模型并沒有那么“深”，一般十幾層就結束了；其次，在學習深度學習的過程中，越發覺得自己很多方面研究的都不深入，比如對于我常用的生成對抗網絡（GAN）而言，至今也沒有把GAN相關的經典的paper讀完，很多背后的數學原理也不清楚，學無涯，知無盡，由儉入奢易，由淺入深難，對于深度學習這方面，自己知道的還是很淺。

在談談自己的學習之路，或者說騙人之路前，先介紹下自己吧，混個臉熟，以后有機后蹭飯。本人現在在中國科學技術大學讀研二，科研至今，手里只有一篇ACMMM的paper，一篇IEEE期刊在審。對于做CV的而言，沒有篇CVPR，真的不敢露面。所以我就隨便寫寫，大家隨便看看好了。

陰差陽錯入坑

入坑深度學習，不是我刻意跟風，或者被薪資吸引，而是因為各種陰差陽錯。剛得知被科大錄取，激動萬分，然后開始選導師。本科時一直在做機器人比賽，于是給學院的大牛陳小平教授發了郵件，石沉大海；又想想，在中科院實習時一直做Android，不如找個研究Android的老師吧，尷尬地發現全學院沒有研究這個的；最后中科院實習時的boss推薦了中科大的一個學長，學長給了我寫了個推薦名單，然后就都發了郵件，選了回復我最早的老師。額，那時連老師做什么的都不知道；哈，我對整個計算機體系都感興趣，就沒有糾結專業方向。

朦朦朧朧學習

和老師簽過協議后，交到研招辦，算是正式成為老師的弟子了。接下來，導師發了兩個視頻鏈接給我：一個是Coursera上的Machine?Learning課程，也就是大家熟悉的andrew ng的課程；另一個是Coursera上的概率圖模型課程。我入門就看了第一個視頻，這個視頻真的是經典，而且老師的語速很慢，看英語也不費勁，關鍵是有字幕，后來還發現竟然還有中文的字幕，真的是良心之作。一邊做畢設一邊看，大概用了一個月修完了該課程，拿到了證書。對于后一個概率圖的課程，真的是看不懂，而且連字幕也沒有，小姐姐說話還聽不懂。最后只好放棄了。

七月份剛剛拿到本科***書，休整了下來到了科大，進入實驗室開始學習。開始時手上沒有具體的工作，師兄說你先看看我們實驗室一代代傳下來的《統計學習方法》吧。拿起書，上面還有歷年師兄留下的筆記痕跡，心中充滿的神圣感。于是開始學習起來，前前后后，朦朦朧朧地讀了兩遍。師兄說SVM很重要，于是我又自己一邊讀，一邊自己嘗試實現了SMO算法。這樣學習了Coursera的課程和閱讀了《統計學習方法》，大概知道了些機器學習的概念和算法。正巧，導師準備進軍深度學習——實驗室以前只是做概率圖模型，于是買了一些書籍，然后我就開始了《Tensorflow實戰》的學習（至于Python，是我大二開始用的）?，F在看來，拿一個框架來學習深度學習真的是最好的方式，如果一上來就讀Goodfellow的厚厚的一本《Deep?Learning》，估計要被一堆概念和公式嚇死。在閱讀《Tensorflow實戰》的過程中，自己比著寫了書上所有的代碼，偶爾也會遇到API更新、版本不同的問題，所幸網上都找到了解決方案。對于Tensorflow的學習，感覺隨便找本書，或者跟著官方的文檔進行學習都是可以的，工具的掌握有利于我們去學習知識，但工具本身并不能成為我們糾結的地方。一些大佬的paper通常會開源代碼，如果大佬用Pytorch實現的，就需要你再去學習Pytorch。因此，掌握多種工具也是必修課，但一定要把其中一種學扎實。對于《統計學習方法》這本書，可謂是不得不讀。在三年前，師兄面試準備BAT就看了這一本書，三年后的今天，雖然只憑借這一本書完全不夠用，但是經典依舊是經典。

跌跌撞撞科研

老板不知道從哪里看了一篇文章，感覺可以拿來“利用”一下，于是就讓我和師姐一起做。這篇文章是關于生成對抗網絡的，我和師姐都沒做過，而且師姐也和我一樣剛剛接觸深度學習。于是開始了GAN的學習之路。首先從網上找來各種關于講GAN的博文，亂七八糟的都有，瀏覽了一遍。接下來，去看了Goodfellow的提出GAN的那篇文章，和師姐討論了這篇文章講的是什么，大概算是知道了GAN的存在和基本的原理。

接下來就是設計網絡結構，使用tensorflow實現代碼，實現自定義設計的rank?loss，在三個標準的數據庫上進行實驗。在最終被ACMMM接收前并不是一帆風順的，期間出現了各種問題，后來自己總結出了一些：

（1）前期的調研要做充足：比如做GAN相關的，就要把近幾年頂會，一區期刊以及引用量高的關于GAN的文章認真閱讀，不能局限于自己本身的研究方向，你做的是風格遷移并不意味著在科研時不去讀GAN做樣本擴充的文章；閱讀自己領域的比較好的文章，總結這些文章的模型特點，實驗條件（比如利用哪些數據庫進行了驗證，數據集的劃分），實驗分析和實驗結果，是否有公開代碼（這點也很重要，因為你很可能需要跑別人的代碼來做對比實驗）；思考自己提出的方案創新點在哪里，是不是已經有人做過我提出的方法了。

（2）GPU保證是必須的，對于做深度學習，現在數據量巨大，動不動就要跑幾天，沒有GPU真的很難做出成果，畢竟對于科研抑或是學習、比賽而言，時間比金錢更重要。即使買不起GPU，也可以在網上租GPU資源來使用。

（3）不斷地學習：在科研期間，讀了不少論文，也評審了不少文章，通讀了周志華老師的西瓜書。技術在不斷更新，需要我們時刻去學習充實自己。同時對于你用的工具，也要關注社區的動向，比如對于tensorflow而言，最近的Google開發者大會就提出了用Eager模式搭建模型，用Datasets處理數據，用Feature?Columns提取特征，用Keras或Estimators搭建模型，用SavedModel打包模型的高效地進行模型原型設計、訓練和生成投入的模式。使用這種模式，我們可以大大節省時間成本。發現自己還有身邊的一些人，在習慣于一種模式后，就大概率地不愿意去接納新的模式，我發現自己使用slim搭建模型比較多，就不太情愿去學習Keras或者Estimators，這樣對于以后的發展有害無利，自己現在也在改變。

一無是處后記

這一年來，陸陸續續也在csdn上寫了20幾篇機器學習、人工智能方向的博文，基本都是為了整理下自己讀的文章和學習的知識。加上以前寫的亂起八糟的東西，寫了130篇，有了20W的訪問量，勉強算個中游分子，與大佬們相比還遙不可及。今年7月23號開始，轉移寫文章陣地到了自己的公眾號上，陸陸續續也有了300多個粉絲，算是一點小小的成就吧。把自己學到的東西整理出來，既能鞏固自己的知識，又能分享給大家，何樂而不為呢？自己和很多人一樣，都是AI這個龐大網絡中的一個小小的神經元，盡管我們很微小，但也為AI開花結果做著一點點貢獻。借用喜歡的作家魯迅先生的話——真正的勇士敢于直面慘淡的人生，敢于正視淋漓的鮮血；真的勇士，將更奮力而前行！

也可以關注本次征文的合作主辦方異步社區公眾號，異步圖書

本文轉載自異步社區

智能數據

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。