【云駐共創】華為全聯接2021 智能基座專場

      網友投稿 895 2025-04-02

      華為全聯接2021 ------智能基座線上專場


      深化新工科人才培養,推進數字化產業升級

      共建昇騰繁榮生態,助推人工智能產業快速發展

      目錄

      前言和導讀 2

      邁向AI時代 | 人工智能發展趨勢 3

      一、 以企業為主體,提供昇騰全棧AI軟硬件先進技術 8

      1.1 昇騰AI基礎軟硬件平臺 8

      1.2 華為昇騰生態 10

      二、 以高校為主體,培養產業人才、繁榮昇騰技術生態 17

      2.1 產業發展聚集人才 17

      2.2 昇騰眾智計劃簡介 18

      2.3 最強的智是眾智,最大的力是合力! 20

      三、MindSpore介紹 22

      3.1 邁向AI時代 | 每一個人都是AI的開發者,時代洪流需要你(MindSpore) 22

      3.2 全場景AI計算框架MindSpore 23

      3.3?MindSpore并行模型訓練的特點 25

      四、 萌新闖蕩模型王者體驗賽之路(體驗CANN模型移植) 28

      4.1 ?Ascend 介紹 29

      4.2 ?AI異構計算架構CANN的定義 29

      4.3 萌新之路上的學習資源 30

      4.4 萌新之路上看的書 30

      4.5 萌新AI學習Tips 31

      五、 小白如何拿大獎 32

      5.1 信息來源 32

      5.2 遷移流程(應用層面) 35

      5.3 性能調優(先) 37

      5.4 精度調優(后) 38

      5.5 Git提交PR 39

      5.6 總結與感想 39

      六、 六邊形戰士養成計劃 ------ 智能基座社團運營框架分享 40

      6.1組織---組織架構完備 41

      6.2 溝通---加強聯系 41

      6.3 宣傳---多元化宣傳 42

      6.4 實踐---實戰汲取經驗 42

      6.5 創新---基于昇騰全棧自主開發 43

      6.6 傳承——基礎創新,一脈相承 43

      總結: 44

      前言和導讀

      華為全聯接2021智能基座線上分會場,覆蓋所有智能基座高校的昇騰線上分會場,華為專家攜手昇騰優秀開發者及智能基座社團社長一同探討人工智能產業發展。

      人工智能已經成為產業智能化轉型升級的重要引擎,成為推動產業高質量發展的助推器,成為經濟發展新動能的重要來源。人工智能正在積極的影響著經濟、社會、生活發展的方方面面。人工智能處于爆發式增長的前夜,未來,聯接AI、云、計算、行業應用等多種先進技術的機會相互催化,有機融合;必將催生大量的技術創新和應用創新,為社會發展開啟了充滿想象的廣闊前景。

      人工智能是社會發展和技術創新的產物,是促進人類進步的重要技術形態。人工智能發展至今,已經成為新一輪科技革命和產業變革的核心驅動力,正在對世界經濟、社會進步和人民生活產生極其深刻的影響。于世界經濟而言,人工智能是引領未來的戰略性技術,全球主要國家及地區都把發展人工智能作為提升國家競爭力、推動國家經濟增長的重大戰略。

      邁向AI時代 | 人工智能發展趨勢

      我們從人類社會的發展來看,經歷了農耕時代、工業時代、電氣時代和當今的網絡時代,現在正是跨越智能時代的關鍵技術節點,很大程度上就看深度學習等關鍵AI技術能否擔當得起如蒸汽機、電燈和互聯網這樣重大的歷史性變革技術使命。

      人工智能技術是IT和通信產業60年發展的總成果,它是一種新的通用目的技術,它將橫跨整個經濟的的多種用途,具有巨大的技術互補和溢出效應。“華為在實踐中發現,人工智能不但可以替代人,還能夠自動降低生產成本,這是人工智能與信息化最大的不同,也是其最有價值的特點。”AI不僅可以幫助人們以更高的效率解決已經解決的問題,也可以解決很多沒有解決的問題。

      數據和人才是人工智能的兩大重點。在數據上,中國互聯網發展已經實現了大量的數據積累;而AI人才上,過去十年,中國的AI研究人員數量已經超過了其他國家。所以中國如果抓住機會,依然可以像在移動互聯網時代一樣引領世界潮流。

      過去五年,我們已經看到,在移動這個領域,因為中國的應用導向在移動互聯網已經引領了世界潮流。我相信在AI這個新的領域里面,中國如果抓住這個機會,依然可以像在移動互聯網一樣,引領世界潮流。而且這次跟移動互聯網不太一樣的地方在于,這次可能我們在技術上也能引領世界潮流,也能抓住這個機會,因為我們人才儲備相當豐厚了,這是為什么對中國在AI這個浪潮中如此有信心一個根本的原因。

      我國人工智能研究起步較晚,我國人工智能在基礎理論和原創算法上的積淀較淺,在一些關鍵元器件上依然依賴進口。由此可見,相關專業人才、特別是高端人才極度匱乏。上圖我們可以得知中國高端AI人才約977人,排名第六。不及美國的1/5,位于美/英/德/法/意之后全球頂尖Al企業人才,美國企業占有絕對優勢。

      但是除了尖端科研人才之外,國內以工程運用為導向的中間層AI人才儲備充裕:一方面,以微軟亞洲研究院為代表的國外知名企業研究所針對中國市場培養了一批優質的種子人才;另一方面,多家國外高校、研究所等機構也為中國培養了一批優秀的歸國學子,這些人才共同構成了國內整體的AI人才生態,并且已經成為了我國AI產業的中堅力量,在質量以及數量上都不容小覷。

      中國發展人工智能有四大優勢:政策優勢、海量數據資源優勢、應用場景優勢和青年人才優勢。而且中國正在培養更多Al人才:2019頂級Al峰會中的中國論文,29%—作是本科生,同時也在招募全球AI人才,并吸引海外Al人才回國,在前十輸出國之間的論文引用關系網中美國、中國是核心,英國、澳大利亞、德國、加拿大、法國、伊朗、意大利、西班牙...中國的高質量AI論文占比已全面超越美國!

      我們正身處于百年未有之大變局,云計算、大數據、人工智能、5G、IoT等技術與應用,與千行百業的融合不斷加速和深入,數字化轉型、智能化升級成為世界的主旋律。

      顯然,人才培養已經成為信息時代的關鍵。沒有足夠多、足夠好的人才,一切都無從談起。我們知道,無論大學的職能如何變化,人才培養的中心地位從未改變,最好的人才培養場所必然是大學。

      華為與諸多國內外高校的合作,由來已久。遠的不說,去年9月,教育部正式啟動建設“教育部——華為‘智能基座’產教融合協同育人基地”項目,就是鮮明的例證之一。

      “智能基座”項目的推出,在很短的實踐里就得到了高校的積極響應。據不完全統計,截至當前,已經有70余所大學與華為展開“智能基座”項目的合作。通過與教育部的合作,華為希望和廣大高校建設更多的“智能基座”產教融合協同育人基地,目標是在5年內發展300萬高校開發者,為新計算產業生態的發展提供充足的技術人才儲備。

      高校為主培養出來的尖端人才來看,國內,中國高等教育機構培養出的學生理論基礎扎實,但實操能力仍需要提高。從過去多年產教融合的實踐來看,在傳統的計算機教育中,引入像華為這樣積極的產業因素,對教師、學生的裨益足夠巨大。

      一方面,教師得以跳出既往的思維和老化的教學內容,能夠與時俱進地展開教學工作;另一方面,學生也能夠在夯實計算機核心基礎知識的基礎上,更好地掌握計算機核心技能和核心能力,為走向社會做好儲備。

      在這樣的前提之下,教學可以促進更多科研成果的落地,而科研成果也能夠更好地向教學進行轉化,二者之間形成了良好的循環與互動,這也是當前國家對高校科技產業的具體指向之一。

      一、?以企業為主體,提供昇騰全棧AI軟硬件先進技術

      1.1 昇騰AI基礎軟硬件平臺

      在人工智能時代,數以萬億計的前端智能設備和無所不在的智能應用,使得人工智能變得多樣化與碎片化。如果要實現應用在終端和云端互通互聯,就要求整個產業在通用的平臺之上構建一個比以往更開放、更靈活的協作模式和生態系統。

      華為基于昇騰基礎軟硬件平臺,包括昇騰處理器、Atlas系列硬件、異構計算架構CANN(音同CAN)、AI框架MindSpore及AI應用使能ModelArts等,已初步構建了一個完整的人工智能產業生態。

      昇騰全棧AI軟硬件平臺基于華為昇騰系列AI處理器和業界主流異構計算部件,通過模塊、板卡、小站、一體機等豐富的產品形態,打造面向"端、邊、云"的全場景AI基礎設施方案。昇騰著力培育自由開放的開發者環境,打造中國最好用的AI基礎軟硬件平臺。

      未來三年,AI將深度融入到生產、科研及個人生活中。其中,AI將深度推進產業融合,從“輔助智能”到“原生智能”;AI將加速科研創新,從局部使用到全面加速;AI將重塑個人生活體驗,從技術嘗鮮到生活習慣。

      為此,華為打造了一平臺+雙驅動的AI產業布局,深耕AI根技術,構筑AI新生態。一方面,華為構筑AI技術生態,另一方面,培養AI商業生態,最終實現AI行業牽引與賦能的商業正循環。

      1.2 華為昇騰生態

      目前,華為昇騰生態擁有開發者超35萬,擁有教育部智能基座72個,在全國100多個高校開設人工智能課程,整機合作伙伴達到9個,其余合作伙伴超500個,發布的聯合解決方案600多個。

      基于以上積累,華為今年發布的“鵬程·盤古”鵬城實驗室超大模型,成為業界首個全開源 2000 億參數中文預訓練語言模型;華為云盤古大模型也達到1100億參數,并涵蓋自然語言處理(NLP)大模型,計算機視覺(CV)大模型,多模態大模型,科學計算大模型。

      值得一提的是,在最新發布的IO500榜單中,鵬城實驗室等單位聯合研發的“鵬城云腦II”分別以7043.99和1129.75的得分,高居IO500總榜榜首和10節點榜單榜首。

      華為將持續打造極致性能,極簡易用的昇騰基礎軟硬件平臺。比如,每代硬件算力密度提升100%,軟硬件協同優化性能翻倍,新增覆蓋4個科研領域,每年發布3個SDK。

      算力成為制約AI行業發展的主要因素,為此,華為還將為AI行業持續提供普惠算力,讓部分AI能夠用得起、用得好、用得放心。為此,華為在今后發展中將不斷夯實基礎設施,打斷建設人工智能計算中心;強化生態運營,建設昇騰人工智能生態創新中心;打破數據孤島,持續開放共享數據集。

      MindSpore是端邊云全場景按需協同的華為自研AI計算框架,提供全場景統一API,為全場景AI的模型開發、模型運行、模型部署提供端到端能力。

      MindSpore采用端-邊-云按需協作分布式架構、微分原生編程新范式以及AI Native新執行模式,實現更好的資源效率、安全可信,同時降低行業AI開發門檻、釋放昇騰芯片算力,助力普惠AI。

      經過MindSpore社區開發者們勤奮耕耘,在這個豐收的季節,為大家奉上全新的1.5版本,在這個版本中我們正式發布MindSpore中文名:昇思。與此同時為大家帶來全新科學計算行業套件MindScience、親和算法庫MindSpore Boost、支持混合專家(MoE)與異構并行、集群調優支持大規模分布式訓練,并完善控制流使用,新增對外開放機制等諸多新特性,在使能科研創新和應用中不斷努力!

      大模型訓練考驗的是算法、數據、框架、資源調度等全棧和全流程的綜合能力

      內置業界維度最多,種類最全的分布式并行策略集合,支持不同種類、不同規模的大模型

      原創多維度自動混合并行核心技術,支持百億~萬億參數超大模型在K級集群自動并行訓練

      創新AI分布式并行編程范式,一行代碼實現串行算法并行化,最小化用戶編碼和調優代價

      深度學習使能MindX DL和智能邊緣使能MindX Edge,幫助開發者快速搭建深度學習和邊緣推理的基礎平臺;MindX DL(昇騰深度學習組件)是支持昇騰訓練服務器、昇騰推理服務器的深度學習組件參考設計,提供昇騰處理器資源管理和監控、昇騰處理器優化調度、分布式訓練集合通信配置生成等基礎功能,快速使能合作伙伴進行深度學習平臺開發。

      實操:基于ECS-Al彈性云服務器的mxVision OSD實驗

      實驗地址:

      https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=146214

      MindStudio 為開發者提供了一套簡單易用的開發工具,可高效完成端到端開發,讓開發者從算子開發、模型訓練、模型推理、應用開發、應用部署的全流程 “拎包入住”,無需在不同工具上完成,顯著降低開發門檻。

      昇騰計算產業的目標,就是推動AI成為通用目的技術。隨著AI技術的快速發展,以及與產業的深度融合,就其本身而言,AI技術已經到達了大規模應用的臨界狀態,AI+行業已是一觸即發。我們相信,未來幾年將會有百萬量級的開發者,基于昇騰計算產業進行智慧應用的開發,而昇騰的應用場景,也將會觸及到社會和生活的方方面面,推動各個行業的智能化發展。

      年輕的昇騰計算產業,剛剛走過三年的早期歷程,但是產業生態已經枝繁葉茂,顯示出強大的生命力和生態的優越性。在促進產業創新、聚合產業力量等方面,開始發揮出獨特的價值。

      二、?以高校為主體,培養產業人才、繁榮昇騰技術生態

      2.1 產業發展聚集人才

      通過三類實踐活動,面向學習、面向實戰、面向創新,層層深入,加速學生從理論知識向實踐成果快速轉化。

      “創新驅動產業發展,產業發展聚集人才,而人才又激發創新,引領產業持續發展。人才發展是產業發展的基礎,我們發展計算產業,一直把人才發展作為重中之重。”

      【云駐共創】華為全聯接2021 智能基座專場

      華為與教育部合作,共同成立“智能基座”產教融合協同育人基地;以鯤鵬、昇騰和華為云為技術底座,建立高校人才培養體系,通過產學研協同為計算產業推廣及高質量發展奠定人才基礎……

      2.2 昇騰眾智計劃簡介

      昇騰計算產業是基于昇騰系列處理器和基礎軟件構建的全棧AI計算基礎設施、行業應用及服務,包括昇騰系列處理器、系列硬件、CANN異構計算架構、AI計算框架、應用使能、開發工具鏈、管理運維工具、行業應用及服務等全產業鏈。昇騰計算產業的發展需要整個產業鏈的共同參與,打造強大的昇騰計算產業生態。

      昇騰眾智計劃是華為圍繞昇騰基礎軟件平臺推出的一項生態合作計劃,旨在匯聚高校、科研院所、企業等組織和機構的開發團隊,通過項目合作方式,基于昇騰基礎軟硬件平臺開發算子、網絡模型及行業參考設計,不斷豐富昇騰計算產業生態,為加速千行百業智能化升級貢獻智慧與力量。

      2.3 最強的智是眾智,最大的力是合力!

      2021年中國軟件產業年會上,華為正式發布“鯤鵬眾智計劃”和“昇騰眾智計劃”,包含500+任務包,超過1億的激勵獎金,匯聚產業界的智慧和力量,加速基礎軟件關鍵技術的創新和突破。

      鯤鵬、昇騰兩大眾智計劃是華為圍繞鯤鵬、昇騰基礎軟件平臺推出的生態合作計劃,以項目合作的方式,吸引高校、企業、個人開發者加入,共同開發加速庫、工具插件、算子、網絡模型、行業參考設計等。依托眾智計劃輸出的創新成果,將在社區開源、開放,與全產業鏈成員共享。

      線上申請入口:

      https:/ fwww.hiascend.com/ecosystem/all-wisdom

      線下:

      詳細活動介紹和需求任務選擇,技術溝通

      一直以來,華為聚焦鯤鵬和昇騰基礎軟硬件創新,開源操作系統openEuler、企業級數據庫openGauss和全場景AI計算框架MindSpore,推動社區發布技術領先的軟件版本;開放鯤鵬應用使能套件BoostKit、昇騰應用使能套件MindX和全流程工具鏈(包括鯤鵬DevKit和昇騰MindStudio),實現極致性能和極簡開發。這些創新是全產業鏈共同的財富,將進一步推動產業的繁榮與發展。

      惟創新者進,惟創新者強!歡迎廣大開發者訪問鯤鵬社區和昇騰社區,了解眾智計劃詳情。

      星火燎原,期待更多業界引領者!

      三、MindSpore介紹

      3.1 邁向AI時代 | 每一個人都是AI的開發者,時代洪流需要你(MindSpore)

      MindSpore?是一個全場景 AI 計算框架,它的特性是可以顯著減少訓練時間和成本(開發態)、以較少的資源和最高能效比運行(運行態),同時適應包括端、邊緣與云的全場景(部署態)。

      針對不同的運行環境,MindSpore 框架架構上支持可大可小,適應全場景獨立部署。MindSpore 框架通過協同經過處理后的、不帶有隱私信息的梯度、模型信息,而不是數據本身,以此實現在保證用戶隱私數據保護的前提下跨場景協同。除了隱私保護,MindSpore 還將模型保護內建于框架中,實現模型的安全可信。

      3.2 全場景AI計算框架MindSpore

      AI框架是什么?

      Al框架是Al根技術,算法模型開發必備工具;

      數據、算法、算力是Al的三要素:Al框架使用算力,利用數據集進行算法模型的開發和訓練;

      MindSpore是什么?

      MindSpore是華為自研的Al框架,意圖打造支撐全場景應用的Al計算框架,通過技術創新.引領Al框架技術演進方向,成為中國Al生態的核心抓手;

      MindSpore以開發者為中心,可根據應用價值與客戶一起聯合創新。

      關于MindSpore的戰略

      MindSpore華為Al戰略之一,突破關鍵核心技術,打造中國自己的具有國際影響力的Al框架根技術和根社區,實現讓“AI算法莊稼”長在中國的“黑土地上”;

      對我國在AI領域實現產業領先、避免AI框架被卡脖子作出華為公司的貢獻。

      MindSpore是華為公司推出的新一代深度學習框架,是源于全產業的最佳實踐,最佳匹配昇騰處理器算力,支持終端、邊緣、云全場景靈活部署,開創全新的AI編程范式,降低AI開發門檻。

      MindSpore框架架構總體分為MindSpore前端表示層、MindSpore計算圖引擎和MindSpore后端運行時三層。

      MindSpore前端表示層(MindExpression,簡稱ME)

      該部分包含Python API、MindSpore IR(Intermediate representation,簡稱IR)、計算圖高級別優化(Graph High Level Optimization,簡稱GHLO)三部分。

      Python API向用戶提供統一的模型訓練、推理、導出接口,以及統一的數據處理、增強、格式轉換接口。

      GHLO包含硬件無關的優化(如死代碼消除等)、自動并行和自動微分等功能。

      MindSpore IR提供統一的中間表示,MindSpore基于此IR進行pass優化。

      MindSpore計算圖引擎(GraphEngine,簡稱GE)

      該部分包含計算圖低級別優化(Graph Low Level Optimization,簡稱GLLO)、圖執行。

      GLLO包含硬件相關的優化,以及算子融合、Buffer融合等軟硬件結合相關的深度優化。

      圖執行提供離線圖執行、分布式訓練所需要的通信接口等功能。

      MindSpore后端運行時,該部分包含云、邊、端上不同環境中的高效運行環境

      3.3?MindSpore并行模型訓練的特點

      1、開發態友好

      ①自動微分,網絡+算子統一編程,函數式/算法原生表達,反向網絡算子自動生成

      ②自動并行,模型自動切分實現高效率的模型并行

      ③自動調優,動態圖+靜態圖同一套代碼

      2、運行態高效

      ①On-Device執行,發揮升騰大算力

      ②Pipeline優化,提升并行線性度

      ③深度圖優化,自適應AI Core算力和精度

      3、部署態靈活

      ①端-邊-云按需協同計算,更好的保護隱私

      ②端-邊-云統一架構,實現一次開發,按需部署

      端云協同MindSpore依托華為“端—邊—云”的業務場景,在隱私保護日漸重要的情況下,致力于支持全場景部署,并打通云到端全流程。MindSpore針對全場景提供一致的開發和部署能力,以及按需協同能力,讓開發者能夠實現AI應用在云、邊緣和手機上快速部署,全場景互聯互通,實現更好的資源利用和隱私保護,創造更加豐富的AI應用。

      在科研合作上,165+基于MindSpore開發的AI頂會論文;70+篇專利護航,擁有雄厚的專利積累;100+高校教學AI專業課基于MindSpore。

      在開發者情況上,有62+萬,突破62+萬下載量,擁有50+萬開發者數量;2900+普通貢獻者3400+人,核心貢獻者900+人。

      在生態拓展上,170+網絡模型,覆蓋CV/NLP等通用場景;3700+APP基于MindSpore Lite開發,調用量3億+天;28家ISV獲得MindSpore技術認證。

      在開源社區與治理上,獲得可信開源社區認證,首批且AI類項目唯一獲《可信開源社區評估體系》認證;Gitee綜合指數第一,社區活躍度、影響力碼云開源項自中綜合排名第—。

      MindSpore通過開源社區拓展千校萬里行計劃,關于人才培養,培養AI開發者,讓MindSpore成為高校學生必備技能,智能基座+沃土計劃+新工科。

      MindSpore開源社區成長計劃,通過解決初、中和高不同難易題目(補充文檔、修復bug、元應用案例、開發算子等)累積積分,贏得各種重磅大獎以及開發者證書,開源實踐經驗+擴充個人技術圖譜+團隊協作能力。

      活動入口:

      https://gitee.com/mindspore/communitylissues/4BD5F

      四、萌新闖蕩模型王者體驗賽之路(體驗CANN模型移植)

      4.1 ?Ascend 介紹

      Ascend社區是基于華為Ascend解決方案打造的開源社區,該社區面向開發者提供基于華為昇騰AI處理器的CANN開放平臺,讓開發者可以便捷高效的編寫在特定硬件設備上運行的人工智能應用程序。如進一步學習,請至昇騰社區了解更多詳細信息。

      Ascend社區包含多個項目,主要項目簡介如下,您可以根據實際場景,在對應的項目中拉取代碼修改、編譯,提交issue和PR等。

      4.2 ?AI異構計算架構CANN的定義

      CANN是華為針對Al場景推出的異構計算架構,通過提供多層次的編程接口,支持用戶快速構建基于Ascend平臺的Al應用和業務。

      CANN包含:

      統一APP編程語言:提供一套標準的ACL編程接口,對應用程序開發者屏蔽底層多種芯片差異,提升用戶APP編程易用性。

      統一網絡構圖接口:提供了標準的昇騰計算AIR,支持多框架,支持用戶在昇騰芯片上快速部署神經網絡業務

      高性能計算引擎以及算子庫:通過高性能編譯引擎/執行引擎/調優引擎和預置高性能算子庫,支撐客戶快速部署神經網絡業務、降低部署成本并最大程度發揮昇騰計算能力

      基礎服務:驅動、虛擬化、媒體、集合通信等能力

      4.3 萌新之路上的學習資源

      學機器學習基礎看《李宏毅機器學習》

      https://www.bilibili.com/video/BV1JA411c7VT

      華為云學院上也有不少昇騰Al相關資源

      華為云學院:https://education.huaweicloud.com/

      想知道昇騰怎么玩轉去昇騰社區就對了,那里真的什么資料都有哦

      昇騰社區:

      https://www.hiascend.com/

      想了解CANN就看老譚的B站吧

      B站@起飛的老譚:

      https://space.bilibili.com/668461244

      4.4 萌新之路上看的書

      《深度學習》(又名花書)

      《機器學習》(又名西瓜書)

      《動手學深度學習》

      《神經網絡與深度學習》

      《機器學習實戰-基于Scikit-Learn和TensorFlow》

      《昇騰AI處理器架構與編程》

      《深度學習與MindSpore實踐》

      4.5 萌新AI學習Tips

      多實踐,在掌握基礎知識的基礎上通過實踐可以學的更快。

      多找代碼,逛GITHUB看相似代碼找靈感。

      多看API,通過API可以迅速掌握使用方法。

      多交流,一群人永遠比一個人學的更優效率。

      多打比賽,Kaggle、天池、華為云大賽平臺都有很多比賽,有時間可以去參與一下,比賽的案例和現實實際有點相似。

      多寫博客,把學習新的記錄下來,不是為了有多少人看,而是為了在以后學習工作中還可以回憶回憶曾經踩過的坑和走過的路。

      五、小白如何拿大獎

      5.1 信息來源

      1、昇騰論壇

      www.hiascend.com—>開發者一>異騰論壇

      比賽模型 王者挑戰賽

      MindSpore 社區網絡模型征集活動

      比賽和活動: 第三期CANN訓練營

      2、MindSpore 官網

      mindspore.cn

      :視頻教程

      MindSpore官網www.mindspore.cn :文檔一>MindSpore一>遷移指南

      3、Gitee 倉庫 ?www.gitee.com/mindspore/models

      3、群:

      微信群、QQ群 通過查找資料、仔細思考、查看API以及源碼、動手實踐

      5.2 遷移流程(應用層面)

      目標:PyTorch—>MindSpore,訓練精度和性能達標,推理精度達標。

      1、確定遷移目標

      找到一個合適的、可達成的標準:Github、非集成的

      2、處理遷移目標

      刪除模型定義腳本中的冗余代碼,復現指標(可選),看論文

      3、使用MindConverter遷移模型定義腳本

      基于AST的腳本轉換

      屬于MindInsight的子模塊。通過對原腳本的抽象語法樹進行解析、編輯,將其替換為MindSpore的抽象語法樹,再利用抽象語法樹生成代碼。

      PyTorch和MindSpore在一些基礎API的定義上比較相似,其實是自動替換了對應的API。

      轉換命令 :mindconverter --in_file /path/to/model.py --output/path/to/output/dir

      生成:基于MindSpore實現的模型定義文件、轉換報告。

      手動修改︰MindSpore官網一>文檔一>設計和規格一>算子匹配一>API映射。

      驗證ms模型前向傳播:

      通過報錯找到錯誤行,打印出一些相關輸出的形狀,同樣打印出PyTorch模型中對應輸出的形狀作對比,一步步找錯誤修改。

      基于圖結構的腳本生成

      將包含網絡模型結構和權重信息的onnx模型文件遷移成Mindspore框架下的模型定義腳本和ckpy權重文件。

      基于PyTorch代碼導出onnx模型文件。

      遷移命令:mindconverter --model_file /path/to/model.onnx --shape SHAPE --input_nodesinput_node_name --output_nodes output_node_name ,

      其中--model_file指定onnx模型文件路徑;--shape指定模型輸入shape信息,多輸入場景以空格分隔;--input_nodes指定模型輸入節點名稱,多輸入場景以空格分隔;--output_nodes指定模型輸出節點名稱,多輸出場景以空格分隔﹔轉換結果默認輸出到$PwD/output。

      可以先通過Netron加載onnx模型文件,獲取形狀和節點名稱等所需信息。另外,需手動補齊丟失的Dropout算子。

      四、數據預處理(可參考gitee倉庫中官方代碼)

      五、處理模型訓練代碼(可參考gitee倉庫中官方代碼)

      六、訓練

      首先,動態圖模式調試,之后切成靜態圖模式進行訓練。

      靜態圖模式:Python代碼并不是由Python解釋器去執行,而是將代碼編譯成靜態計算圖,然后執行靜態計算圖。動態圖可以訓練不一定保證靜態圖也可以訓練。

      尋找不符合靜態圖語法規范的部分︰動態圖模式下,依次在“def construct(self, x):”前添加“@ms_function”裝飾器。(可選)

      5.3 性能調優(先)

      在Ascend910Al處理器上使用MindSpore Profiler進行性能調試,單卡。

      (1)準備訓練腳本︰在train.py文件中添加MindSpore Profiler相關接口得到train_profiler.py文件。

      (2)訓練∶將訓練輪數epoch改為3,在數據處理文件中加載數據集的部分處修改訓練樣本數量,如在de.GeneratorDataset中添加設置num_samples=10*batch_size。開始訓練,得到性能數據。

      (3)啟動MindInsight:通過命令“mindinsight start --summary-base-dir ./profiler_data"啟動MindInsight。

      (4)訪問可視化界面∶瀏覽器登錄http://127.0.0.1:8080(默認端口號)訪問可視化界面,若使用Xshell遠程訪問訓練服務器進行訓練,則需要在Xshell上進行SSH相關配置。

      (5)修改算子︰根據“full_op_name”查找耗時算子所在位置,修改該算子。

      5.4 精度調優(后)

      一般更換優化器,修改初始學習率、學習率衰減策略、訓練輪數等。

      具體可參考MindSpore官網,www.mindspore.cn一>文檔->編程指南―>精度調優―>精度調優思路和方法。

      5.5 Git提交PR

      1、注冊碼云賬號,本地電腦安裝git。

      2、登錄gitee,進入MindSpore/models倉,點擊右上角“Fork”。

      3、本地電腦新建文件夾,進入該空文件夾后右擊鼠標,左擊“Git Bash Here”。

      4、在彈出的cmd中輸入命令“git config user.name gitee_name”和“git config user.email gitee_email"依次配置gitee的用戶名和郵箱;之后輸入命令“git init”、 “git remote add origin鏈接地址”(鏈接地址是自己倉庫中Forked的MindSpore/models鏈接);輸入命令“git pull origin master"( master可改成分支名),下載代碼倉文件到本地;創建新分支“git branch新分支名”;進入新分支“git checkout新分支名”;將需要提交的文件復制粘貼到models/research/cv(對應領域文件)中;將本地文件加入緩存區“git add.”;添加提交PR的描述“git commit -m“本次提交的描述””﹔推送到遠程代碼倉庫“git push-f”。

      5、登錄gitee,進入自己Fork的倉庫,選擇目標分支,點擊“+ Pull Request”,填寫相關信息完成PR的提交。

      6、提交的PR中評論“/retest”過CI門禁,檢查語法規范。

      5.6 總結與感想

      1.版本更新速度快

      2.API較為友好

      3.動態圖模式易于調試

      4.訓練速度快

      5.并行訓練的設置簡單

      6.MindInsight工具

      7.模型部署較為簡單

      8.合理利用官方文檔

      9.參考Gitee/MindSpore/models倉庫昇騰社區

      10.Gitee提issue(問題)

      六、六邊形戰士養成計劃 ------ 智能基座社團運營框架分享

      6.1組織---組織架構完備

      技術部:負責昇騰、鯤鵬等技術指導,為社團成員提供幫助;定期展開培訓、教學等。

      宣傳部:負責組織和推廣各類活動,例如校園行,各類比賽和講座等,活動結束后撰寫新聞稿、微信推文等。

      秘書組織策劃部:負責各類社團內務工作安排,進行活動申請、場地申請,報銷等。

      6.2 溝通---加強聯系

      加強與華為對接老師的聯系——承接相關活動,預約技術人員舉辦技術講座

      加強與學校指導老師的聯系——提供創新、實踐等方面的指導,及時調整技術發展路線

      加強不同學校智能基座社團的聯系——了解其它學校社團活動、發展策略,及時優化社團發展規劃

      6.3 宣傳---多元化宣傳

      線上線下相結合:

      不定期舉辦昇騰技術沙龍,邀請華為技術人員舉行技術講座。

      聯系學院、校團委,借助其公眾號完成大型活動的宣傳。

      建立社團自身的微信公眾號等線上平臺宣傳社團內部的小型活動,吸引其它同學參與其中。

      6.4 實踐---實戰汲取經驗

      賽事實踐——利用華為昇騰掌握Al知識

      大一:經典昇騰系列大賽,baseline實現

      大二:昇騰賽事主力軍,提供更優秀的項目解決方案。

      大三:融入昇騰生態,獨立團隊開發

      框架:基于MindSpore的網絡模型開發:CANN訓練營、阿里天池氣象和海洋預測、kaggle降雨量預測等

      云端訓練:通過學校智能基座項目負責人申請昇騰910云端算力完成模型訓練

      端側推理:向學校申請華為Altas 20ODK使用權,將訓練完成的模型遷移到Altas 200DK,移到Altas 200DK,進行簡單應用。

      6.5 創新---基于昇騰全棧自主開發

      一、強強聯手,推陳出新

      1、模型遷移———Tensorflow/pytorch2MindSpore深度學習在大氣科學的應用mini版“昇騰計算+南信氣象”生態

      昇騰計算+南信氣象

      前沿探索

      應用氣象模型于不同場景基于MindSpore構建更穩定更精確的氣象側網絡模型。

      另辟蹊徑,獨樹一幟

      基于MindSpore的AI開發創新經典深度學習模型的實現與驗證神經網絡的簡單應用。

      基于MindSpore的科學研究——機器視覺,圖像/文本生成等,基于Altas200DK開發板的模型創新應用。

      邊緣端模型遷移

      端到邊,深度模型應用更形象生動的應用,例:行人檢測,人臉年齡估計…….

      創新 ----->?傳承

      創新不是在時代發展的浪潮中區盲目追求潮流,而是在自己熟悉的領域一點點去推動一塵不變的現狀。無論是“昇騰計算+南信氣象”生態的構建還是AI開發創新,這都不是一朝一夕可以完成,最理想中的社團是把這些項目一代又一代不斷去推陳出新。最后,或許已經看不到最初項目的影子,但我們還知道它還是它,只不過換了一件外衣!

      6.6 傳承——基礎創新,一脈相承

      一、技術成果傳承

      通過基礎訓練繼承社團已有科研成果,在此基礎上再做創新改進。

      二、社團文化傳承

      以構建“昇騰計算+南信氣象”生態作為社團發展的核心思想,緊跟昇騰計算前沿技術,為中國氣象事業進獻綿薄之力。

      三、鉆研精神傳承

      不定期舉行研討會,將模型開發、代碼編寫、創新應用中遇到的問題集中討論,養成社員鉆研問題的精神和團隊意識。

      總結:

      華為匯聚各方力量,大力發展“昇騰”計算產業生態,積極建設以人工智能計算中心為代表的新型城市基礎設施,讓智能觸手可及;持續打造昇騰基礎軟硬件平臺,并探索和建立“專家+行家”的新合作模式;堅持“有所為有所不為”,與多方合作伙伴共同繁榮人工智能產業新生態。

      深耕AI根技術,繁榮昇騰生態。站在信息時代的轉折時刻,我們正見證人工智能逐漸改變世界。“華為始終堅持有所為,有所不為。”在未來,昇騰AI還將持續加強人工智能企業培育力度,加快人工智能與各行業融合創新,加大人工智能人才培養和吸引力度,持續賦能產業發展,助力產業轉型升級,加快我國經濟新舊動能轉換。華為將加速推動我國人工智能計算產業的新變革,賦能產業智能新升級,推動智慧城市4.0加速發展。

      注:本文整理自【內容共創系列】之

      華為全聯接2021 智能基座專場

      查看活動詳情:

      https://bbs.huaweicloud.com/blogs/302011

      版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。

      版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。

      上一篇:環形排列文字(環形的環字怎么寫)
      下一篇:Python如此神奇,讓繁瑣工作自動化
      相關文章
      亚洲中文字幕乱码一区| 亚洲午夜精品一级在线播放放 | 亚洲va无码手机在线电影| 亚洲日韩精品无码专区加勒比☆| 91亚洲va在线天线va天堂va国产 | 国产亚洲av片在线观看18女人| 精品亚洲成A人在线观看青青| 久久无码av亚洲精品色午夜| 亚洲精品无码久久久久牙蜜区| 亚洲色大成网站www尤物| 亚洲一区二区三区在线网站| 亚洲一卡2卡3卡4卡国产网站 | 亚洲伊人久久大香线蕉啊| 亚洲影院在线观看| 亚洲高清无在码在线无弹窗| 亚洲视频一区在线观看| 久久久亚洲欧洲日产国码aⅴ | 亚洲第一页日韩专区| 亚洲男人av香蕉爽爽爽爽| 亚洲精品tv久久久久久久久久| 亚洲精品国产精品乱码不卞| 亚洲一级黄色视频| 亚洲乱码无码永久不卡在线| 亚洲成在人线av| 亚洲最大福利视频网站| 亚洲欧洲日韩国产| 亚洲mv国产精品mv日本mv| 亚洲国产视频久久| 亚洲国产成人精品无码区二本| 亚洲GV天堂GV无码男同| 亚洲AV成人潮喷综合网| 国产精品亚洲αv天堂无码| 亚洲综合在线另类色区奇米| 亚洲处破女AV日韩精品| 久久精品国产亚洲AV电影| 亚洲午夜电影在线观看高清| 亚洲综合色丁香婷婷六月图片| 亚洲精品无码永久在线观看男男| 国产精品亚洲综合一区在线观看| 亚洲AV无码成H人在线观看 | 亚洲精品亚洲人成在线播放|