專家解惑 | 關于華為云盤古大模型，你想問的都在這里~

4月25日，華為云發布盤古系列超大規模預訓練模型，包括30億參數的全球最大視覺（CV）預訓練模型，以及與循環智能、鵬城實驗室聯合開發的千億參數、40TB訓練數據的全球最大中文語言（NLP）預訓練模型。

其中，盤古NLP大模型由華為云、循環智能和鵬城實驗室聯合開發，具備領先的語言理解和模型生成能力：在權威的中文語言理解評測基準CLUE榜單中，盤古NLP大模型在總排行榜及分類、閱讀理解單項均排名第一，刷新三項榜單世界歷史紀錄；總排行榜得分83.046，多項子任務得分業界領先, 向人類水平（85.61）邁進了一大步。

外界對盤古大模型充滿了好奇，在華為開發者大會（Cloud）期間，參與大模型開發的兩位華為云專家回答了以下幾個大家關心的問題。

謝凌曦博士專訪

Q:作為一個開發者，請問這些預訓練模型的易用性如何？使用成本有多高？

謝凌曦：預訓練模型設計的目的就是為了讓大家降低使用成本。模型的預訓練過程，成本是比較高的，但這個成本不需要開發者來承擔。而在使用這些大模型的時候，它本身的易用性會使得使用成本進一步降低，達到一個比較合適的水平。比如說，我們會開發出一些比較通俗易懂的Pipeline，如果你是有一定基礎的開發人員，你可以從我們的Pipeline當中去做更多的定制化的開發，更好地去釋放我們預訓練模型的能力。如果你只是一個AI開發小白，想用大模型去做AI簡單的開發，我們也會給你更加通俗易懂的界面，讓大家能夠用一些拖拉拽的方式使用盤古大模型。總體來講，大家在使用預訓練模型的時候，計算時長、調參所需要重復的代價等都會被降到很低，總體來講是對開發者非常友好的。

Q：對于新入門計算機視覺的人來說，需要掌握什么哪些知識才能快速進入到學習和研發中？

謝凌曦：人工智能、計算機視覺，經過幾十年的發展，到現在已經擁有很龐大的知識體系。如果一個初學者想要把這些東西都了解以后再開始做研究，效率會稍微有點低。我給大家的建議是，你在學習過程當中，可以先找準一個問題。剛開始的時候，這個問題可能是相對初級的問題，但一定有具體的場景。比如想做弱監督學習，一般就是遇到某個實際的問題，它確實需要弱監督算法。但是這個時候我是不是一定要掌握全監督才能去做弱監督呢？并不是這樣的。你可以先去查閱一些資料，了解當前的弱監督學習方法，它的基線是什么，它的前沿在哪里。然后你就可以開始做一些簡單的實驗。實驗的過程當中，一般會遇到一些困難或者一些疑惑。解決這些困難和疑惑的過程，一般就會把你引導到它的基礎，比如說全監督到底是怎么做的。當你有了更多基礎以后，回過頭來，也會發現你對當前做的算法有了一個更好的理解。所以我的建議是大家可以找一本機器學習、計算機視覺這類介紹比較深入的教材去看。但是不要局限于這個教材：一邊做具體的課題，一邊去學習知識，效率會比較高。

張曉鵬博士專訪

Q：盤古CV大模型有哪些成功的落地？跟業界相比處在什么位置？

張曉鵬：視覺預訓練CV大模型，結合相關流程化開發，已經在華為內部以及其他合作項目上，有100+成功落地，這些方向涵蓋了各行各業，包括工業視覺、網絡審查、零售商超，以及醫療等場景，都獲得了一些相較于之前不使用預訓練大模型更高的結果。在某些場景上，比如剛才提到的遙感影像分割，我們通過設計針對遙感影像的預訓練算法，在沒有增加額外標注代價的情況下，達到了最多12%的分割精度提升。還有另外一個比較有意思的現象，我們使用超大規模圖像進行的預訓練模型具有更好的可遷移性，即直接把這樣一個模型，遷移到了工業質檢的缺陷上進行推理，我們非常欣喜地發現，我們在下游數據集上沒有進行任何微調，但是在工業缺陷檢測上，獲得了比之前我的模型不停地高度的優化，甚至利用下游的數據微調更好的結果，這個結果基本上會高出3到4個百分點。這個啟發我們，模型數據一旦夠多，其實它的泛化能力能夠獲得更好的保障。

第二，我們是國內最早做視覺預訓練大模型的公司之一。在國外是Facebook和谷歌從2019年開始在圖像上做了一些應用。我們視覺預訓練模型大概從2019年底的時候就開始了，通過自研的一些列改進算法，我們首次在基于imagNet 的無監督預訓練模型線性分類精度上達到了全監督基線的水平，同時在小樣本學習上大大領先現有技術，這些都是業界領先的成果。

Q：?華為的預訓練是采用什么類型數據和學習任務？大模型如何保證端側性能？

張曉鵬：針對視覺圖像不同角度，以及不同場景的變化，我們采取的方法非常簡單。一，我們可能有海量數據集，這個數據集規模已經達到了億級甚至十億級這樣的規模，我們相信這個海量的數據集，它能夠建模，我們實際場景圖像的方方面面。另外一個，我們采取了什么樣的學習方式。其實它的一個核心思想，就是2019年開始，比較火的基于全局的對比度自監督學習方法。當然我們在這上面做了很多改進。包括如何來利用弱標簽信息，如何把全局的信息拓展到局部來更好建模局部相關關系。同時也會呼應剛才提到的，如何處理不同視角，不同尺度圖像問題，怎么來讓它進行高效的建模，這里面就是讓它進行不同的數據增強，我們在預訓練算法里面，集成了十余種數據增強方法，讓它通過不同的數據增強，使得整個模型具有針對不同數據增強的不變性。到目前為止，我們在一個大模型，搭載模型蒸餾、抽取以及行業大模型，我們現在已經適配了大概十余種預訓練模型。而這十余種模型都是通過我們一個大模型的抽取，蒸餾所得到的，它在相應的行業上，得到了非常大的精度提升。同時也極大的減少了標注代價以及模型迭代周期。

Q：華為的預訓練模型是如何結合不同行業知識，解決標注數據大的問題？

張曉鵬：舉一個我們在HDC Cloud上發布的國網電力智能巡檢的例子，這就是非常典型的利用盤古CV大模型解決行業知識。在國網電力巡檢模型開發的過程中，它有海量的數據，標注非常困難，我們做了什么呢？通過我們的視覺預訓練算法，在海量的巡檢數據上進行預訓練，這個預訓練是利用了無人機巡檢的數十TB，上百萬規模的數量，進行預訓練，它的預訓練可以看到我們非常多的數據，它的內在分布。我們的大模型，模型參數越大，也看了更多的數據，所以說它能夠更好的建模無人機巡檢過程中的圖片的細微差異。利用我們的視覺預訓練大模型，它能夠提供更好的表征以后，因為它的缺陷和正常樣本的表征能力更強，我們在標注代價上，基本上減少了80%以上，這一塊整個在人力上是一個非常大的提升。除了減少標注，我們一個模型可以適配我們電力行業一百多種缺陷，從而讓模型迭代周期大大減少，整個迭代效率大概提升了10倍，我們在每次迭代過程中反饋給人需要標注的整體的工作量就會越少，通過這兩種模式，我們實現了在電力行業方面，利用我們視覺預訓練模型，極大的提升了我們的開發效率。

AI 專家 機器學習

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。