如何使用pyCharm與ModelArts公有云服務聯動開發,快速且充分地利用云端GPU計算資源
其實ModelArts的幫助手冊上已經有一篇文檔:https://support.huaweicloud.com/bestpractice-modelarts/modelarts_10_0021.html,但是我覺得可能開發者還是會存在一些小疑問,所以我自己在本地做了嘗試,截圖說明過程。

我們實際上使用一個PyCharm ToolKit工具來幫助建立從本地pyCharm IDE到ModelArts的連接通道,本案例我使用MXNet實現手寫數字圖像識別應用的示例,在本地快速完成代碼編寫,發布到ModelArts公有云完成模型的訓練和模型生成,生成的模型可以進一步快速進行部署(本文沒有覆蓋該步驟)。
安裝toolkit前需要先安裝2019.2版本(目前toolkit僅適配該版本)的pycharm,-是:
https://download.jetbrains.com/python/pycharm-professional-2019.2.exe?_ga=2.11170941.815358500.1587189937-686177363.1586569505,也可以去華為云官網下載(好處是那里會持續更新版本,較為及時):https://developer.huaweicloud.com/tools。
需要注意,如果已經安裝了高版本的pyCharm,需要首先卸載(自動)已安裝的pyCharm:
下載一個工具Pycharm-ToolKit-PC-2019.2-HEC-1.3.0.zip,連接本地IDE與云之間的鏈路:
https://www.jetbrains.com/pycharm/download/other.html
解壓后看到一堆jar文件,
接著回到pyCharm IDE,打開Settings:
找到Plugins,選擇一個插件:
點擊RestartIDE:
重啟后看到如下界面:
然后我們需要去ModelArts網站申明秘鑰:
申請秘鑰:
短信驗證碼注冊成功后,請務必把csv文件保存到本機。
回到pyCharm IDE:
注意,如果填寫秘鑰鍵值對成功后,Edit Credential應該是要打鉤的,如果沒有,請查看網絡連接是否存在問題,例如不允許連接外網,或是對訪問外網有限制。
注意,需要你重新點擊edit credential按鈕,退出后就能看到打鉤了。
這樣我們就完成了pyCharm IDE與ModelArts的對接工作,進入下一步,實際訓練一個模型。
首先,下載手寫字的數據集:https://modelarts-cnnorth1-market-dataset.obs.cn-north-1.myhuaweicloud.com/dataset-market/Mnist-Data-Set/archiver/Mnist-Data-Set.zip
登錄華為云上傳OBS:
創建兩個文件夾,一個用于存放數據集,一個用于存放訓練生成的日志(需要傳回到pyCharm IDE并顯示):
接著在pyCharm打開工程,點擊“Run Training Job”:
填寫參數,可以參考ModelArts訓練模型時填寫的參數:
訓練完成后,訓練模型保存在OBS中 /工程名/output/V0006/
AI開發平臺ModelArts GPU加速云服務器
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。