HDC.Cloud 2021 | 華為云發布全球最大預訓練模型，開啟工業化AI開發新模式

4月25日，華為云發布盤古系列超大規模預訓練模型，包括30億參數的全球最大視覺（CV）預訓練模型，以及與循環智能、鵬城實驗室聯合開發的千億參數、40TB訓練數據的全球最大中文語言（NLP）預訓練模型。后續，華為云還將陸續發布多模態、科學計算等超大預訓練模型。

華為云人工智能領域首席科學家、IEEE Fellow田奇表示：“預訓練大模型是解決AI應用開發定制化和碎片化的重要方法。華為云盤古大模型可以實現一個AI大模型在眾多場景通用、泛化和規?；瘡椭?，減少對數據標注的依賴，并使用ModelArts平臺，讓AI開發由作坊式轉變為工業化開發的新模式。”

全球最大中文語言預訓練模型，刷新CLUE三項榜單世界紀錄

盤古NLP大模型是全球最大的千億參數中文語言預訓練模型，由華為云、循環智能和鵬城實驗室聯合開發，預訓練階段學習了40TB中文文本數據，并通過行業數據的樣本調優提升模型在場景中的應用性能。

盤古NLP大模型在三個方面實現了突破性進展：

第一，具備領先的語言理解和模型生成能力：在權威的中文語言理解評測基準CLUE榜單中，盤古NLP大模型在總排行榜及分類、閱讀理解單項均排名第一，刷新三項榜單世界歷史紀錄；總排行榜得分83.046，多項子任務得分業界領先, 向人類水平（85.61）邁進了一大步。

在NLPCC2018文本摘要任務中，盤古NLP大模型取得了Rouge平均分0.53的業界最佳成績，超越第二名百分之六十。

第二，盤古NLP大模型在預訓練階段沉淀了大量的通用知識，既能做理解又能做生成。除了能像GPT-3等僅基于端到端生成的方式以外，大模型還可以通過少樣本學習對意圖進行識別，轉化為知識庫和數據庫查詢。通過功能的模塊化組合支持行業知識庫和數據庫的嵌入，進而對接行業經驗，使能全場景的快速適配與擴展。比如在華為云和循環智能合作構建的金融客服場景中，盤古NLP大模型能更好地賦能銷售環節，幫助服務人員快速提升業務水平，重塑消費者體驗。

第三，盤古NLP大模型采用大模型小樣本調優的路線，實現了小樣本學習任務上超越GPT系列。比如在客戶需求分析場景中，使用盤古NLP大模型生產語義標簽時，得到目標結果所需的樣本量僅為GPT系列模型的十分之一，即AI生產效率可提升十倍。

30億參數，全球最大視覺預訓練模型

盤古CV大模型是目前業界最大的視覺預訓練模型，包含超過30億參數。盤古CV大模型首次兼顧了圖像判別與生成能力，從而能夠同時滿足底層圖像處理與高層語義理解需求，同時能夠方便融合行業知識微調，快速適配各種下游任務。盤古CV大模型性能表現優異，在ImageNet 1%、10%數據集上的小樣本分類精度上均達到目前業界最高水平（SOTA）。

盤古CV大模型致力于解決AI工程難以泛化和復制的問題，開創AI開發工業化新模式，大大節約研發成本。此外，盤古CV大模型提供模型預訓練、微調、部署和迭代的功能，形成了AI開發完整閉環，極大提升AI開發效率。目前，盤古CV大模型已經在醫學影像、金融、工業質檢等100余項實際任務中得到了驗證，不僅大幅提升了業務測試精度，還能平均節約90%以上的研發成本。

盤古CV大模型助力無人機電力智能巡檢

國網重慶永川供電公司是國內早期應用無人機電力智能巡檢技術的電網企業。傳統的無人機智能巡檢AI模型開發主要面臨兩大挑戰：一是如何對海量數據進行高效標注；二是缺陷種類多達上百種，需要數十個AI識別模型，開發成本高。

華為云與國網重慶永川供電公司合作，在無人機智能巡檢AI模型開發上，華為云盤古CV大模型相對于傳統開發模式，展現了其強大的優勢。

在數據標注方面，盤古CV大模型利用海量無標注電力數據進行預訓練，并結合少量標注樣本微調的高效開發模式，獨創性地提出了針對電力行業的預訓練模型，使得樣本篩選效率提升約30倍，篩選質量提升約5倍，以永川每天采集5萬張高清圖片為例，可節省人工標注時間170人天。

在模型通用性方面，結合盤古搭載的自動數據增廣以及類別自適應損失函數優化策略，可以做到一個模型適配上百種缺陷，替代原有20多個小模型，極大地減少了模型維護成本，平均精度提升18.4%，模型開發成本降低90%。

盤古大模型背后的支撐

盤古NLP大模型涉及千億參數、40TB訓練數據，對算法、算力、海量數據處理、并行優化都提出了很大挑戰。

在算法方面，華為云的算法團隊和循環智能（Recurrent AI）的NLP團隊聯合攻關，突破了大模型微調的難題。

鵬城實驗室的國內最大規模AI訓練集群鵬城云腦II，在盤古NLP大模型訓練中展示出強大的AI算力和數據吞吐能力，為盤古大模型訓練打下堅實的基礎。

另一方面，華為底層軟件、訓練框架、ModelArts平臺協同優化，充分釋放算力，達成全棧性能最優。首先，針對底層算子性能，基于華為CANN采用了算子量化、算子融合優化等技術，將單算子性能提升30%以上。其次，華為MindSpore創新性地采用了“流水線并行、模型并行和數據并行”的多維自動混合并行技術，大幅降低了手動編碼的工作量，并提升集群線性度20%。華為云ModelArts平臺提供E級算力調度，同時結合物理網絡拓撲，提供動態路由規劃能力，為大模型訓練提供了最優的網絡通信能力。此外，借助ModelArts平臺的高效處理海量數據能力，僅用7天就完成了40TB文本數據處理。

輯

截至目前，華為云已經在全國10多個行業超過600個項目進行了人工智能落地和實踐，幫助城市、交通、醫療、鋼鐵、紡織、能源、金融等行業智能升級。未來，華為云將持續通過技術創新，驅動產業智能升級。

AI 機器學習

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。