華為云ModelArts零基礎入門使用方法丨【AI賀新年】

本篇內容一共3500字，以貓狗分類項目為例展示對ModelArts所有基礎用法。這些模塊在一次模型訓練中不需全部用到，請根據需要跳轉到相應模塊：.

想快速完整體驗深度學習/機器學習流程的初學者->自動學習

已經完成項目代碼，想提高訓練速度/習慣使用notebook，想要邊寫邊調試的專業人士->開發環境

需要用到逐個功能/在其中訂閱個別產品（如算法、AI應用等）->數據管理、算法管理、訓練管理、AI應用管理、部署上線

基本介紹

ModelArts是華為開發的人工智能領域使用的線上云平臺，可以有效解決算法工程師們設備硬件性能低，不能夠高效地訓練模型、評估效果等問題。就比如說，尤其是接觸深度學習以來，隨著模型層數越來越深，自己的電腦配置已經遠遠達不到跑模型的標準了，但又不想立即換電腦。這時按需收費的云平臺就是最合適的選擇，ModelArts就是這類產品。

話不多說，上教程。

準備工作

1. 找到產品

在華為云官網上切換為中國站。

點擊人工智能->AI平臺ModelArts。

2. 注冊/登錄賬號

如果之前沒有華為云賬號需要注冊一個，并且需要實名認證，此處需要18歲以上，若是未成年，可以拿家長的身份證進行認證。登錄完之后選擇管理控制臺。

3. 上傳數據集

數據提取

體驗數據標注 (src:kaggle)：

鏈接：catdog dataset 提取碼：xcb1

完整項目（數據集已標注，無需解壓）：

鏈接：catdog 提取碼：scef

機器學習、深度學習需要訓練樣本，所以想在云端操作數據，首先需要將本地數據上傳到華為云的服務器中。但是只依靠電腦上傳效率低，如果數據量過大的話，需要下一個配套軟件OBS Browser+。

OBS Browser+

下載方式很簡單，打開此鏈接華為云OBS Browser+下載，選擇合適的版本進行安裝。

下載后登錄有三種方式，AK密鑰方式、賬號登錄、授權碼登錄。第一次可以使用AK和賬號登錄。

賬號登錄方式可以為剛剛注冊的華為云賬號，但只支持賬號名登錄，不支持手機登錄，比較簡單方便。

AK方式需要按照操作獲取AccessKey，驗證一下手機號即可，也非常方便。

點擊獲取AcessKey會彈出以下界面。

按照提示輸入手機號驗證，完畢后點擊下載文件，點擊csv文件將AK和SAK復制到登錄界面中。登錄完成進入以下界面。

為了更好管理云平臺中的數據，需要為每個項目數據創建一個桶，相當于一個文件夾，也可以叫做硬盤的分區。

創建完成之后將數據上傳即可。

使用步驟

一、 自動學習

此步驟是通過機器學習使不具備算法開發能力的業務開發者實現算法的開發，也可以用來幫助初學者了解整個機器學習/深度學習的流程。這里會從零完整演示一個項目，如果讀者是專業人士，請移步到板塊二。

1. 將賬號授權。

2. 創建項目

這里以物體檢測為例。物體檢測與圖像分類的區別是它除了能夠識別類別，還能判斷出物體的位置。

3. 標注數據

如果數據集已經完成標注可以跳過此步。

這樣就標記好一張照片啦！接下來把剩下的都標記出來。

如果數據集中自帶標記數據，就將標記的xml文件和源圖在OBS中存儲放在一個文件夾中，在已標記中同步數據源即可。如圖所示：

4. 訓練數據

使用的是華為云中自帶的算法訓練，所以相當“傻瓜式操作”，上手非常容易。

確認提交后，等待一段時間。注意自動學習免費版本僅用于體驗，訓練超過一小時會自動終止，相當于白訓練了，所以樣本量不能太大！博主訓練了將近500張圖片，訓練了25分鐘（效率可參考）。出現以下界面就代表訓練完成了。接下來就需要部署上線，測試我們模型在真實情況下的準確率。

5. 部署上線

點擊上傳、預測即可顯示出算法的威力，僅有500張訓練照片，可以看出來云端內置算法預測精度還是比較準確的。

二、數據管理

此模塊可以用來標注數據，存儲訓練數據，也可以將自己創建的數據分享到社區。如果數據量少的可以直接在這個步驟上傳，數據量大的需要借助華為云對象存儲OBS將數據批量上傳，速度非常快。

1. 數據集

想要把OBS的數據加載到ModelArts，使他們產生聯系，首先需要創建一個數據集。如果在自動學習中已經體驗一遍了，這里應該有剛才加載的數據集，若沒有，則需要按照上文同樣方法進行創建。

2. 數據標注

步驟與上文自動學習部分數據標注大致相同。當然這里可以團隊合作一起標注。

但需要注意的是盡管有多邊形可以更精準的勾勒出狗狗位置，但與算法不兼容，訓練時會報錯；后面幾種效果也不是很理想，所以最好選用矩形標記。

當數據標注完成后，點擊發布，可以生成一個版本，再后續訓練過程中可以直接使用，或在下一個操作中出錯可以恢復到當前狀態。

3. 標注團隊

團隊一起合作標注的步驟是首先創建一個團隊。

其次在標注作業創建過程中選擇“啟用團隊標注”，選擇對應團隊即可。

4. 數據處理

此模塊是針對圖像的預處理模塊，如數據清洗、數據增強等可以使數據更可靠，從而提升模型預測準確率。目前只包含圖像預處理，文本預處理需要自行解決。

步驟為：點擊數據處理->創建->選擇合適的處理方式（數據增強/數據清洗等）->定義圖片輸入輸出目錄->點擊創建，然后等待部署成功，顯示如下。

三、開發環境

開發環境相當于為開發者創建一個可以在線編寫代碼的集成環境IDE，可以將本地代碼復制到這里，也可以直接編寫，方便調試。在這一步直接像在自己電腦上的notebook里面一樣操作，只是使用了云端的CPU和GPU進行加速，針對此項目不需要再使用后續模塊。

創建完之后點擊進入notebook。

輸入以下命令并運行，可以將OBS數據同步過來。第一個路徑指OBS中項目文件路徑，第二個指服務器存放路徑。

import moxing as mox mox.file.copy_parallel('obs://XXX/XXX','/home/ma-user/work')

中途創建可視化，打開terminal輸入tensorflow --logdir 存放路徑

打開控制板中的tensorboard即可看到

四、算法管理

其實相當于算法代碼管理，可以保留原始版本記錄，將代碼更好的管理起來，但在此模塊中并不能訓練。

在上傳到ModelArts后臺之前需要先將代碼文件夾存放到OBS中，存放的步驟同上文(準備工作->上傳數據集)。

想要后續在ModelArts上訓練，由于ModelArts是將OBS中的數據下載到后臺再進行訓練的，因此源代碼中的訓練路徑這時不可用，需要當做一個參數動態調節。想實現添加參數需要兩步：

在建立算法時要創建輸入參數、輸出參數

添加輸入參數之后會自動添加對應的超參，也就是為了在自己的代碼中識別出這是個外部的參數可以做修改，相當于在源代碼中加入以下語句（默認存放數據的路徑參數叫data_url，名稱根據自己的代碼調整）：

parser.add_argument('--data_url', type=str, default=None, help='test')

也可以自行添加超參（訓練時可以手動修改的參數），如max_epochs等。

隨后點擊確定算法就創建成功了。

五、訓練管理

調整好點擊創建，開始訓練，訓練完后會顯示已完成。

六、AI應用管理

1. AI應用

如果訓練出來的結果不錯，可以將算法代碼（帶調整好的參數）一起保存為一個模型，也叫AI應用。點擊一個訓練任務，可以直接創建AI應用。另華為云中有內置效果不錯的模型，可以訂閱拿來使用。

2. 模型轉換

這部分板塊適用于將算法集成于硬件中（例如攝像頭），可以將數據格式進行轉換。

七、部署上線

這一步就是模型上線直接利用真實值看效果了，初學者使用在線服務足矣。

點擊可以上線的模型（AI應用），點擊在線服務。

基本上不做修改，保持默認即可。

打開部署任務，依次上傳圖片、點擊預測，結果如下。

八、AI Gallery社區

前面七個板塊都是供開發者進行模型實操作業，而AI Gallery社區更像是聚集各個優秀開發者的一個大家庭。在此模塊，每個人都可以通過論壇、活動等模塊了解行內最新消息；跟著教學模塊的路線學習提升自己；還可以參加活動比賽提升世面、認識大佬；查找案例庫對行業中的熱門方向擁有較強的把握，對于找工作的人士有相當大的指引作用。

總之，想學好AI的朋友一定不要錯過這個網站。鏈接在此，趕快進來逛逛吧！

總結

總體看來ModelArts較同類產品還是非常具有優勢的，尤其是在可用性、完善性、易用性方面，對初學者來說非常友好。當然還有更高級更專業的功能等著我們去探索。此刻就行動起來吧，高峰只對攀登它而不是仰望它的人來說才有真正意義。

活動名稱及鏈接地址：【華為云AI賀新年】有獎征文火熱進行中：https://bbs.huaweicloud.com/blogs/325842

AI開發平臺ModelArts

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。