千億參數(shù)的盤古大模型是如何煉成的？

天地混沌如雞子，盤古生在其中，萬八千歲，天地開辟，陽清為天，陰濁為地，盤古在其中。

——三國(guó)·吳·徐整《三五歷紀(jì)》

“每個(gè)人都生活在特定的時(shí)代，每個(gè)人在特定時(shí)代中的人生道路各不相同。在同一個(gè)時(shí)代，有人慨嘆生不逢時(shí)，有人只愿安分……”這是2021年北京高考命題作文“論生逢其時(shí)”的開頭。

答題的是一位既沒上過小學(xué)，也沒讀過初中、高中的特殊考生。他只是在短時(shí)間內(nèi)學(xué)習(xí)了大量人民日?qǐng)?bào)的文章，然后憑借自己的閱讀理解、文本聯(lián)想以及語言生成能力，寫出這篇看似“像模像樣”的高考作文。（延展閱讀：今天參加高考的有1078萬考生和一個(gè)AI）

是的，它是一個(gè)AI——華為云盤古大模型，就在昨天2021世界人工智能大會(huì)（WAIC2021）上剛被評(píng)選為大會(huì)的“鎮(zhèn)館之寶”！在現(xiàn)場(chǎng)，觀眾可與大模型互動(dòng)，直接給對(duì)方出題。比如，一句“明明明明明白白白白喜歡他，但他就是不說，他很高冷?！?/p>

這句話里，“明明”顯示一個(gè)人名，而后又作為形容詞，且整句需要斷句。但當(dāng)記者向大模型提問 “白白喜歡誰？”時(shí)，大模型很快回答“明明”。回答正確！雖然盤古沒有寒窗苦讀十幾年，但它也經(jīng)歷了上億參數(shù)的“學(xué)習(xí)”。

比如理解下面這兩句話：

1、小明在讀一本書，通過不斷堅(jiān)持，克服各種困難，最后讀完了。

2、小紅在畫畫，期間遇到了很多困難，最后也完成了這副畫作。

雖然上面兩句話的人物和事件都不相同，但盤古也能和我們?nèi)祟愐粯?，從中提取一個(gè)相同的含義：鍥而不舍。這個(gè)能力其實(shí)已經(jīng)在華為開發(fā)者大會(huì)（Cloud）2021現(xiàn)場(chǎng)有所展示。我們不禁想問道盤古大模型是如何做到如此“聰慧”的呢？

為了更深入理解千億參數(shù)的盤古大模型，我們采訪到了盤古大模型研發(fā)員謝凌曦，考慮到大模型涉及到的一些技術(shù)比較晦澀，所以謝博士以非常通俗的方式為我們娓娓道來了盤古大模型研發(fā)的“前世今生”，以及它背后的艱難往事。

何為大模型：AI落地千行百業(yè)的必由之路

神話傳說里，盤古開天辟地，宇宙從一片混沌變得有序，談盤古大模型，謝凌曦從人工智能的誕生開始說起。

上世紀(jì)50年代，AI概念被提出，人們使用人工設(shè)計(jì)規(guī)則的方式去定義AI。到了80年代，在大數(shù)據(jù)的浪潮下，人們通過訓(xùn)練數(shù)據(jù)模型的方式來實(shí)現(xiàn)AI。后期隨著數(shù)據(jù)規(guī)模擴(kuò)大以及算力的發(fā)展，深度學(xué)習(xí)掀起新浪潮，各種AI模型不斷涌現(xiàn)。

直到近兩年，我們開始將跨領(lǐng)域的知識(shí)整合到AI模型中，基于Transformer結(jié)構(gòu)的各種大模型出現(xiàn)，包括OpenAI的GPT-3，以及盤古大模型，“它們打開了深度學(xué)習(xí)模型的規(guī)模與性能共同發(fā)展的局面，達(dá)到了深度學(xué)習(xí)領(lǐng)域新的高度?！?謝凌曦推了推眼鏡說道。

過去十年，AI 算法對(duì)算力的需求增長(zhǎng)了40萬倍，神經(jīng)網(wǎng)絡(luò)從小模型到大模型已經(jīng)成為了必然的發(fā)展趨勢(shì)。大模型能夠解決 AI 模型定制化和應(yīng)用開發(fā)碎片化，它可以吸收海量的知識(shí)，提高模型的泛化能力，減少對(duì)領(lǐng)域數(shù)據(jù)標(biāo)注的依賴。

大模型一方面激活了深度神經(jīng)網(wǎng)絡(luò)對(duì)大規(guī)模無標(biāo)注數(shù)據(jù)的自監(jiān)督學(xué)習(xí)能力，同時(shí)對(duì)于 AI 框架的深度優(yōu)化和并行能力都有很高的要求，是深度學(xué)習(xí)框架下將AI做到極致的集大成者?！皬膫鹘y(tǒng)方法到深度學(xué)習(xí)，這是一次大的跳躍，而在深度學(xué)習(xí)這個(gè)臺(tái)階上，大模型已經(jīng)站在了最前面，等待著下一個(gè)臺(tái)階的出現(xiàn)。”

當(dāng)前盤古系列超大規(guī)模預(yù)訓(xùn)練模型，包括NLP大模型、CV大模型、多模態(tài)大模型、和科學(xué)計(jì)算大模型。模型大意味著它吸收了海量數(shù)據(jù)知識(shí)，以盤古NLP大模型為例，它學(xué)習(xí)了40TB的中文文本數(shù)據(jù)；盤古CV大模型則包含了30億+參數(shù)。這些數(shù)據(jù)提高了大模型的泛化能力，提升算法對(duì)新鮮樣本的適應(yīng)能力，從而學(xué)到隱含在數(shù)據(jù)背后的規(guī)律，減少對(duì)領(lǐng)域數(shù)據(jù)標(biāo)注的依賴。

當(dāng)大模型可以從小數(shù)據(jù)樣本中學(xué)習(xí)更多，也能幫助我們打開走向通用AI的大門，它可以解決AI模型定制化和應(yīng)用開發(fā)碎片化的難題。

謝凌曦給我們算了一筆賬，他認(rèn)為AI算法落地難不是因?yàn)樗鼰o法解決實(shí)際問題，而是應(yīng)用場(chǎng)景太狹窄，每個(gè)痛點(diǎn)都需要定制化開發(fā)，從而導(dǎo)致投入的成本和人力過高。一旦場(chǎng)景變化，整個(gè)模型可能都需要重新開發(fā)。而大模型是一種工業(yè)化AI開發(fā)的新模式，可以解決小模型的定制化難題，讓一個(gè)模型可以應(yīng)用到多個(gè)場(chǎng)景中，讓AI真正落地到千行百業(yè)中。

盤古NLP大模型

在最近的CLUE榜單上，盤古的NLP模型在總榜、閱讀理解排行榜和分類任務(wù)排行榜上都位列第一，總榜得分比第二名高出一個(gè)百分點(diǎn)。為了說明盤古的NLP模型是如何在理解能力上接近人類的，回到文章的開頭，謝凌曦舉了我們開篇提到的那個(gè)“鍥而不舍”的例子解釋：

1、小明在讀一本書，通過不斷堅(jiān)持，克服各種困難，最后讀完了。

2、小紅在畫畫，期間遇到了很多困難，最后也完成了這副畫作。

人類可以很容易的通過邏輯判斷能力知道兩件事表達(dá)的是同一個(gè)意思：鍥而不舍，但大模型需要大量的數(shù)據(jù)投喂和學(xué)習(xí)，去捕捉元素與元素之間的關(guān)系，比如兩段文本之間的關(guān)系，幾段文本之間，哪兩段之間關(guān)系更近一些，才能得出邏輯性的判斷結(jié)論。

還是上面的例子，如果把2改成為“小明在讀一本書，期間遇到很多困難，可最后也沒能讀完”，這樣1和2的文字非常相似，但其實(shí)兩者表達(dá)的是完全不同的含義。

大模型需要學(xué)會(huì)判斷這種關(guān)系，謝凌曦解釋道，

盤古CV大模型

針對(duì)盤古CV大模型，謝凌曦同樣先舉了一個(gè)例子：如何區(qū)分白色貓和白色狗的圖片？人類看到這兩張圖片能一眼識(shí)別出來哪只是貓，哪只是狗，那么大模型面對(duì)這些是如何處理的呢？

謝凌曦強(qiáng)調(diào)圖像中非常重要的一個(gè)東西就是層次化的信息，

盤古CV大模型首次兼顧了圖像判別與生成能力，能同時(shí)滿足底層圖像處理與高層語義的理解需求，同時(shí)能夠融合行業(yè)知識(shí)的微調(diào)，快速適配各種下游任務(wù)。

另外，為了解決模型大，數(shù)據(jù)多帶來的學(xué)習(xí)效率低，表征性能弱的問題，盤古CV大模型在預(yù)訓(xùn)練階段主要集中在數(shù)據(jù)處理、架構(gòu)設(shè)計(jì)和模型優(yōu)化三個(gè)階段進(jìn)行優(yōu)化。目前盤古CV大模型在Image Net 1%、10%數(shù)據(jù)集上的小樣本分類精度上均達(dá)到目前業(yè)界最高水平。

為“應(yīng)用”而生，盤古賦能更多用戶

大模型訓(xùn)練在各方面突破，也為缺乏大量數(shù)據(jù)的行業(yè)鋪上接入智能時(shí)代的軌道。正如華為云人工智能領(lǐng)域首席科學(xué)家、IEEE Fellow田奇教授在發(fā)布盤古大模型所提到的，盤古大模型是為各行業(yè)的應(yīng)用而生，盤古具備前所未有的泛用性，無論是2B場(chǎng)景或是2C場(chǎng)景。

行業(yè)知識(shí)來源于行業(yè)數(shù)據(jù)，盤古團(tuán)隊(duì)使用了大量行業(yè)語音和文本數(shù)據(jù)，借助這些數(shù)據(jù)進(jìn)行微調(diào)，模型的行業(yè)特定意圖和知識(shí)理解能力得以大幅提高。

以盤古CV大模型為例，其在電力巡檢行業(yè)中表現(xiàn)出超強(qiáng)的應(yīng)用能力。它利用海量無標(biāo)注電力數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，并結(jié)合少量標(biāo)注樣本微調(diào)的高效開發(fā)模式，節(jié)省人工標(biāo)注時(shí)間。在模型通用性方面，結(jié)合盤古搭載的自動(dòng)數(shù)據(jù)增廣以及類別自適應(yīng)損失函數(shù)優(yōu)化策略，極大地降低了模型維護(hù)成本。

謝凌曦還談到，除了行業(yè)的應(yīng)用，面向開發(fā)者方面，盤古大模型正在逐步上線到華為云AI資產(chǎn)共享社區(qū)（AI Gallery）。在平臺(tái)上盤古會(huì)開發(fā)出一些比較通俗易用的工作流：如果你是有一定基礎(chǔ)的開發(fā)人員，可以從工作流中做更多的定制化開發(fā)，更好地釋放預(yù)訓(xùn)練模型的能力；如果你只是一個(gè)AI開發(fā)小白，想用大模型做簡(jiǎn)單的AI開發(fā)，盤古也會(huì)給你更加通俗易懂的界面，讓大家用一些拖拉拽的方式去實(shí)現(xiàn)。后續(xù)盤古會(huì)針對(duì)開發(fā)者推出系列的課程，指導(dǎo)開發(fā)者基于盤古大模型在實(shí)踐場(chǎng)景中開發(fā)應(yīng)用。

另一方面，盤古也希望和開發(fā)者共成長(zhǎng)?！按竽Ｐ椭皇且粋€(gè)抓手，讓它應(yīng)用到實(shí)際場(chǎng)景中。不僅更好的幫助用戶提高訓(xùn)練的進(jìn)度和縮短訓(xùn)練的時(shí)間，而且模型上的應(yīng)用數(shù)量增多，用戶的成本自然而然就降低了?！?謝凌曦表示，盤古的發(fā)展單靠我們團(tuán)隊(duì)是遠(yuǎn)遠(yuǎn)不夠的，我們還需要和開發(fā)者一起建設(shè)好這個(gè)生態(tài)。

談到盤古大模型的未來，謝凌曦有個(gè)簡(jiǎn)單的小目標(biāo)——把盤古推向下一個(gè)技術(shù)爆發(fā)點(diǎn)。AI大模型是深度學(xué)習(xí)的最高階段，往下走可能是一條平的直線，大家都在等待跳躍的那一天。華為云一直在努力，用各種原創(chuàng)技術(shù)去推動(dòng)，解決AI開發(fā)者實(shí)際會(huì)遇到的問題，最本質(zhì)的目的是賦能千行百業(yè)的AI落地。

道阻且長(zhǎng)，行則將至。正如盤古大模型的名字一樣，華為也希望以大模型為抓手，把AI推向一個(gè)前所未有的高度，讓我們往下一代AI去走，劈開AI未來道路上的“混沌”。

-END-

7月15日14:30 華為云TechWave云安全專題日，圍繞零信任、云原生安全等熱點(diǎn)話題，華為云攜行業(yè)大咖共話云原生安全技術(shù)，發(fā)布華為云最新安全產(chǎn)品和解決方案，分享行業(yè)最佳應(yīng)用實(shí)踐，探討企業(yè)云上安全之道。

AI 機(jī)器學(xué)習(xí) 深度學(xué)習(xí)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。