披荊斬棘的華為云哥哥們，6個月火速煉成千億參數(shù)大模型！

6個月的時間為約定

他們就這樣硬生生地打造了個全球領(lǐng)先

「華為云盤古大模型」

-業(yè)界首個千億級生成與理解中文NLP大模型

-業(yè)界最大的CV大模型

而在這場攻堅戰(zhàn)中，華為云人工智能領(lǐng)域首席科學家田奇和團隊成員擔起了重擔。田奇在學術(shù)圈可以說是位老將。

但，當時的事實卻是：

他在華為云任職才剛剛滿半年，

并且面臨的還是“首個”“最大”級別的挑戰(zhàn)。

很重要，一定要“啃”下來。

這是田奇在心中默默許下的承諾。

「大模型是趨勢，更是必爭的高地」

時間線先拉回到2018年。

當時的預訓練模型，可以說是成功激活了深度神經(jīng)網(wǎng)絡，以及對大規(guī)模無標注數(shù)據(jù)的自監(jiān)督學習能力。

它一定程度上打開了深度學習模型規(guī)模與性能齊飛的局面（尤其是自然語言處理）。

國際巨頭們在嘗到預訓練模型帶來的“甜頭”之后，開始對它展開了激烈的競爭，競相追逐模型規(guī)模和性能的新高度。

當時，AI對企業(yè)的滲透率也逐年提升，正在加速進入千行百業(yè)。而華為云也早已將AI作為重要賽道。但AI的短板也越發(fā)地明顯起來——AI應用的碎片化。

簡單來說，就是團隊開發(fā)了一個AI模型，但在應用過程中，往往會因為場景的多樣性、復雜性，無法達到“以一敵十”的效果。

而大模型所體現(xiàn)出來的驚艷效果，正是強悍的自我學習、應萬變的能力。大模型正在成為AI發(fā)展趨勢，是必爭的高地，“需要且必要”。

于是，華為云盤古大模型團隊開始“匯聚英才”，初始團隊個個都是NLP、CV的技術(shù)專家，同時還集結(jié)了一些外部合作伙伴和高校的力量。這些人最終成為了華為云盤古大模型最為中堅的力量。

不過在此之后，第二個問題也隨之而來——該怎么做？

當時大模型在國內(nèi)外的情況是：國外對NLP大模型的關(guān)注度較高，而且已經(jīng)取得了較好的成績；但國內(nèi)外對CV方面的大模型關(guān)注度都不高。

基于這樣的一個現(xiàn)狀，田奇團隊很快便找到差異化的突破口：從CV著手，與NLP并行；二者結(jié)合語言、圖像，搞多模態(tài)；最后還有一個科學計算。

當然，大模型四個大方向的制定，也是以華為云自身業(yè)務為出發(fā)點。不難看出，田奇團隊要打造的大模型，不再是一個方向的“單項選手”，而是全能型的那種。

也正是由于打造大模型的必要性，以及打法的差異化，2020年11月，“華為云盤古大模型”的設(shè)想在內(nèi)部立項成功……

好的開局已經(jīng)鋪設(shè)好，但接下來的路才是攀峰的開始。

雖說得益于華為在AI領(lǐng)域已有的功底：左手一個CANN算子（異構(gòu)計算框架），右手MindSpore（全場景AI計算框架）和ModelArts（一站式AI開發(fā)平臺），工程方面的挑戰(zhàn)并沒有成為最大的阻力。反倒是那些非技術(shù)問題，成為了團隊最大的壓力。

他們面臨的第一個困難，便是“與時間賽跑”。國內(nèi)外廠商紛紛在大模型上發(fā)力。很明顯的一個趨勢是，參數(shù)規(guī)模在不斷擴大、能力在大幅提升，而迭代的速度卻越來越快。

正因如此，留給他們打造盤古大模型的時間是真的不多，而且一開始田奇團隊人數(shù)也并不充裕。為了解決這個問題，田奇給他的團隊成員們封了一個稱號——特戰(zhàn)隊員：

“我們在做NLP、CV和多模態(tài)大模型的時候，團隊成員的身份是會互換的。比如一個CV專家，可能也會去參與NLP和多模態(tài)大模型的開發(fā)，甚至他的CV知識都會靈活運用到其它領(lǐng)域中。而且在后期，這些技術(shù)專家們還需要更長遠地去考慮商業(yè)化模式方面的問題。”

這還不算完，在處理諸如醫(yī)療方面的問題時，團隊成員還得跟醫(yī)學等行業(yè)專家“登門請教”。因為唯有如此，才能讓大模型在應用的過程中拿捏得住。一人多用，是有種特戰(zhàn)隊員的意思了。

除了時間，數(shù)據(jù)和資源又是一道大坎。畢竟要訓練大模型，數(shù)據(jù)是必不可缺的要素；而訓練，又需要消耗大量的算力。比如訓練一個千億參數(shù)的盤古NLP大模型，可能需要2000塊v100甚至更多的機器，一起跑上5、6個月。

為此，田奇團隊采取的對策，總結(jié)為一個詞就是——合作。例如數(shù)據(jù)方面，他們便找到了氣象局等合作伙伴；資源、算力方面，又尋求與鵬城實驗室進行合作。

但可想而知其間過程的復雜，談下來合作的難度，定然不會是一蹴而就的事情……

就這樣，零星的幾個人為了一個共同的目標，排除萬難地熬過了大半年時間。

「是上陣的時刻了」

2021年4月25日，這是屬于田奇和“特戰(zhàn)隊員”們的高光時刻。

在這一天，一年一度的華為開發(fā)者大會（HDC.Cloud）隆重召開。縱觀整場發(fā)布會，主角之一就是田奇和團隊成員們打造的華為云盤古大模型。

“Hi，盤古”。

這一聲久違了的喚醒，終于讓田奇在公眾面前說了出來。

田奇：什么樣的車沒有油也可以跑？

盤古：新能源車和自行車沒有油都可以跑。當然，還有玩具車。

田奇：什么是碳中和？碳排放主要來自于哪些行業(yè)？

盤古：碳中和就是把人為排放的二氧化碳，通過植樹造林、節(jié)能減排等形式抵消掉，從而使得釋放到大氣中的總碳量凈值為零。目前發(fā)電和供熱行業(yè)、制造和建筑業(yè)是主要的碳排放行業(yè)……

這便是他與盤古流暢且超出眾人意料的對話，盤古的常識推理等能力展露無疑。

田奇進一步解釋道：

這段話的背后盤古模型閱讀和理解了大量的相關(guān)文章，通過小樣本學習對意圖進行識別，轉(zhuǎn)化為知識庫和數(shù)據(jù)庫查詢，并根據(jù)返回的結(jié)果，生成最終的答案。

這種方式與GPT-3等僅基于端到端生成的方式不同，可以更準確地處理復雜場景，結(jié)合領(lǐng)域知識，具備更大的商業(yè)價值。

而通過這一次的亮相，華為云盤古大模型更加詳細的全貌也一并公布了出來。

橫攬AI領(lǐng)域四大熱門方向：

自然語言處理（NLP）大模型

計算機視覺（CV）大模型

多模態(tài)大模型

科學計算大模型

縱達業(yè)界能力之最：

華為云盤古NLP大模型：是業(yè)界首個千億參數(shù)中文語言預訓練模型，預訓練階段學習了40TB中文文本數(shù)據(jù)，是最接近人類中文理解能力的AI大模型。

華為云盤古CV大模型：是目前業(yè)界最大的視覺預訓練模型，包含超過30億參數(shù)。

具體來說，當時盤古NLP大模型在權(quán)威的中文語言理解評測基準CLUE榜單中，總成績及分類、閱讀理解單項刷新三項榜單世界歷史紀錄，總成績得分83.046。而盤古CV大模型，則在ImageNet 1%、10%數(shù)據(jù)集上的小樣本分類精度上，達到了業(yè)界最高水平。

而更為重要的，華為云盤古大模型的真奧義，實則是直擊痛點——天下苦AI開發(fā)久矣。

即便到了現(xiàn)在，AI開發(fā)的過程，較為貼切的比喻應該是“作坊模式”，換言之，就是需要手動的工作太多、太頻繁。而華為云盤古大模型所提供的方式，可以理解為工廠模式。

具體來說，就是“預訓練+下游微調(diào)”，這也是與目前全球主流大模型（如Bert）所匹配的一種模式，擁有極強的泛化能力。換言之，這個模型可以做到“舉一反三”……

但要說上陣，真正一層的含義并不是在發(fā)布會上的首秀，而是下場去在真實場景中發(fā)揮它的作用和價值。

這，也是令盤古大模型團隊成員們更為激動的事情。

截至目前，華為云盤古大模型已經(jīng)在多個行業(yè)、100多個場景中發(fā)光發(fā)熱，包括能源、零售、金融、工業(yè)、醫(yī)療、環(huán)境、物流等等。

「就很神奇、非常激動」

這是來自于盤古大模型的服務客戶——國網(wǎng)重慶永川供電公司技術(shù)人員真真實實的反應。這家公司是國內(nèi)最早應用無人機電力智能巡檢技術(shù)的電網(wǎng)企業(yè)之一。

傳統(tǒng)的無人機智能巡檢AI模型開發(fā)主要面臨兩大挑戰(zhàn)：

一是如何對海量數(shù)據(jù)進行高效標注。

二是缺陷種類多達上百種，需要數(shù)十個AI識別模型，開發(fā)成本高。

而盤古CV大模型的到來，就很好地解決了這兩大難題。例如在數(shù)據(jù)標注方面，盤古 CV 大模型利用海量無標注電力數(shù)據(jù)進行預訓練，并結(jié)合少量標注樣本微調(diào)的高效開發(fā)模式，提出了針對電力行業(yè)的預訓練模型。

在應用之后，樣本篩選效率提升約30倍，篩選質(zhì)量提升約5倍：以永川每天采集5萬張高清圖片為例，可節(jié)省人工標注時間 170 人天。

而在模型通用性方面，結(jié)合盤古搭載的自動數(shù)據(jù)增廣以及類別自適應損失函數(shù)優(yōu)化策略，可以做到一個模型適配上百種缺陷。具體來說，一個模型就可以替代永川原先的20多個小模型，極大地減少了模型維護成本，平均精度提升18.4%，模型開發(fā)成本降低90%。

在應用華為云盤古大模型的前后，效能差距之大，也難怪客戶會發(fā)出如此的感嘆了。

「披荊斬棘的科學家“哥哥們”」

田奇，就是在華為云盤古大模型背后披荊斬棘的“哥哥們”中的一個。

他本科畢業(yè)于清華大學電子工程系，碩士畢業(yè)于美國德雷塞爾大學，后赴美國伊利諾伊大學香檳分校學習，師從Thomas S. Huang教授，并獲得博士學位。

在2002年至2019年期間，歷任美國德克薩斯大學圣安東尼奧分校計算機系助理教授、副教授、和正教授。

他在學術(shù)界這一呆，便是十七載。

在計算機視覺及多媒體方向頂級期刊及會議如IEEE TPAMI、IJCV、TIP、TMM、CVPR、ICCV、ECCV、ACM MM上發(fā)表文章超過650篇。

田奇于2017年UTSA校長杰出研究獎、2018年入選國家級領(lǐng)軍人才創(chuàng)新項目。他還是國家自然科學基金海外杰青、中國科學院海外評審專家、IEEE Fellow（2016）、國際歐亞科學院院士（2021）……

然而，就在一片美好未來的學術(shù)道路中，田奇在2018年，卻做出了一個改變?nèi)松壽E的決定：離開學術(shù)界，加入華為諾亞方舟實驗室，出任計算視覺首席科學家。

為什么會如此？田奇對此解釋說：

“我在德克薩斯大學圣安東尼奧分校做了17年的老師，教的本科學生換了一批又一批，永遠是18歲到22歲。

但我一直希望能夠?qū)⑽覀児餐鲞^的東西投入到真實場景中，看能不能給社會提供作用、發(fā)揮價值。”

從中不難看出，其實在田奇的內(nèi)心中，一直是有一顆科技向善的種子，他想把技術(shù)用起來，要讓技術(shù)改變?nèi)藗兊纳睢⒏纳飘a(chǎn)業(yè)的運作。

當然，田奇所在的盤古大模型團隊、以及“特戰(zhàn)隊員”們，也是擁有著同樣的理想。

值得一提的是，團隊在組建之后其實是在不斷壯大中的，如今已包括3位華為天才少年、20多位博士、30多位工程師和50多位來自C9高校的參與者。

他們夜以繼日地付出和拼搏，為的是一個共同目標：引領(lǐng)工業(yè)化AI開發(fā)的新模式，降低AI使用的門檻，實現(xiàn)低成本、大規(guī)模的復制。

當然，除了田奇和他的隊員們，盤古大模型的成功出道，同時也離不開華為云各部門之間的整體協(xié)作和付出。

對于盤古大模型接下來的發(fā)展計劃，田奇表示：

“大模型不光是一個算法、架構(gòu)這么簡單，它實則是一個產(chǎn)品。而一個真正的產(chǎn)品和一個模型之間，還有很長的一段距離。這個里面牽扯到各個環(huán)節(jié)：如何持續(xù)打磨這個產(chǎn)品的質(zhì)量，讓它的用戶體驗、性能會越來越好。”

以及在性能、體驗提升的過程當中，又如何做到盡可能地減少碳排放，做到綠色AI，這也是田奇和團隊要發(fā)力的地方……

那么華為云的科學家們，能帶著固有的初心，將盤古大模型這個產(chǎn)品打磨到何種程度？

值得拭目以待！

AI 機器學習

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔相應法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔相應法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。