匠心故事 |“盤古”開天記，AI落地時

預訓練大模型，打開不止一種可能

有這樣一個案例，某工廠的IT負責人想要應用AI，咨詢之后卻發現開發成本過于高昂，人才、算力、算法等條件都不具備，最后只能作罷。

有這樣一位朋友，任職于某家AI技術供應商，他們推出的行業解決方案備受好評，卻在實際進入商業化階段時，發現大量客戶都需要定制，只能讓公司的AI專家四處奔波，解決用戶的細小問題，最后利潤卻連人員開支都無法覆蓋。

還有這樣一條朋友圈。一位AI開發者惋惜中文世界缺少NLP預訓練大模型。

其實，這些朋友都遇到了同一個問題：一道名為“AI開發”的產業天塹。

當我們談論AI時，總是會將其效果等同于數據集、實驗室里的能力上限，卻忽略了在真實的開發、訓練、部署中，AI有著太多碎片化與不確定性的因素。

而跨過這道產業天塹，也成為了一場名副其實的全球大賽。這場賽跑中至關重要的一個項目，名為“預訓練大模型”。

隨著預訓練大模型的產業與戰略價值在國際上水漲船高，致力于將AI打造為新一代信息技術核心抓手的中國產學各界出現了一絲緊迫。

中文世界什么時候能迎來強大可用的預訓練大模型？面對AI開發的”天塹”，我們有什么自己的辦法？

就在種種聲音不斷發酵的同時，華為云人工智能領域首席科學家田奇，正在和團隊一同發起一次安靜的沖鋒。

這次沖鋒的“行動代號”，叫做——盤古大模型。

「天塹：“小作坊式”的AI開發困境」

「登山：盤古大模型背后的人與事」

▲華為云人工智能領域首席科學家田奇

一是模型要大，可以吸收海量數據；

二是網絡結構要強，能夠真正發揮出模型的性能；

三是要具有優秀的泛化能力，可以真正落地到各行各業的工作場景。

首先希望能夠把機器視覺、NLP、語音，甚至計算機圖形學的技術結合起來，形成多模態的預訓練大模型，增強預訓練大模型的跨領域協同落地能力。另外，AI落地中還有一個十分重要的領域是科學計算。海洋、氣象、制藥、能源等領域都有非常強的知識處理、科學計算需求。用AI的方法去求解科學計算問題，將帶來十分巨大的價值潛力。因此，多模態與科學計算大模型，將是盤古接下來的行動方向。

比如盤古大模型的核心開發過程，就是以海量有效數據進行模型預訓練，實現吸收大量數據之后模型的高度智能化。那么數據和算力從哪來，就成為了一個不可避免的問題。在盤古大模型的開發過程中，華為云和合作伙伴的多方推動，確保了所需數據和算力資源的保障到位。即便華為云擁有非常好的資源基礎，在千億參數級別的大模型面前也依舊存有不足。為此，田奇團隊也嘗試了與合作伙伴的緊密協作，調用一切資源來確保開發進度。比如團隊同著名的鵬城實驗室合作，來完成了模型訓練所需算力的調用。

而在數據與知識方面，盤古大模型的開發團隊經常會遇到與具體行業知識體系、數據系統的磨合問題。這在具體過程中經常出現意料之外的情況。比如一個醫學數據的準確率，顯然應該依賴醫學專家的解答。但在具體場景中，往往醫學專家的判斷準確率也并不高。這類AI之外領域的情況，往往會反向影響到盤古大模型的開發。為此，盤古大模型團隊需要與具體的行業專家進行反復溝通，希望把他們的知識或者直觀感受，轉化為計算機可量化的模型，再對訓練出的結果進行協同驗證。這種反復的跨領域溝通與聯動，才最終可能達成關于AI的共識。

在盤古大模型開發過程中，由于時間緊張、訓練難度與成本巨大，并且還是機器視覺與NLP雙模型同時推動，自然也需要內部團隊的“超人發揮”。田奇回憶，團隊內部都叫自己“特戰隊員”，也就是角色需要經常互換，工作需要相互支撐，哪里缺人就要哪里頂上。一個技術專家，同時也要考慮很多產業落地、商業化方面的問題。

「翻越：“盤古”究竟強在何處？」

在盤古大模型的研發過程中，團隊考慮到真實的產業場景中有大量的內容理解需求，比如客服、智能對話等等，于是給盤古大模型設計了兼顧架構，能夠同時高度完成理解與生成任務。

再來看具體一些的技術差異，盤古大模型提升了復雜場景下的小樣本學習能力，在小樣本學習上提升了一個數量級的效率；在微調能力上，盤古有著更好的數據吸收理解能力，可以在真實行業場景中實現提升模型應用效率；再有盤古大模型集成行業知識的能力更強，其采用更靈活的模塊設計，能夠根據業務場景適配，提升行業知識吸收效率。

在技術創新之外，盤古大模型還是一個天然瞄準AI工業化、現實場景的項目。在立項初期，研發團隊就與合作伙伴進行了一系列商業化驗證，以此來確保盤古大模型走入真實產業場景中的效率和適應能力。這也是盤古大模型的一大差異，它并非為實驗室而創造，而是將工業化的一面放置在更高的優先級上，是一個以商業價值驅動研發創新的“實干模式”大模型。

再有一點，盤古大模型與其他預訓練大模型不同的是，團隊在研發過程中始終將生態化、協同創新納入考量。盤古大模型是一個開放、可生長的產業實體，可以在各個環節引入生態合作伙伴、高校科研團隊，以及不同領域AI開發者的力量。這樣確保了盤古大模型的融入產業鏈條、搭建生態化合作的能力。從技術化、商業化、生態化三個層面，盤古大模型都驅動預訓練大模型來到了一個新的階段，建造了一個從“作坊式AI開發”到“工業化AI開發”的轉換基礎。

「燈火：大模型的落地進行時」

在盤古大模型的落地進程中，也經常會出現一些“意外”的驚喜。比如在國家電網巡檢案例中，由于缺陷種類復雜多樣，傳統的方法需要對大多數缺陷適配特定模型以滿足性能需求，這樣100余種缺陷就需要開發20+模型，造成模型迭代維護困難。盤古大模型創造性的提供行業預訓練模型，得益于其突出的特征表達能力，能夠做到一個模型適配所有缺陷，極大地提升了開發效率，同時識別效果平均提升超過18%。同時，盤古大模型還提供針對零樣本的缺陷檢測功能，能夠快速判斷新缺陷，真正貼近于巡檢員能力。

「思索：AI工業化的虹吸與變革」

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。