上手ModelArts可能會遇到的問題

前言：

通過軟件杯的比賽有幸接觸到了華為云ModelArts平臺，在學習人工智能的過程中，由于本地硬件的不足及環境的配置產生種種錯誤，在前期便花費了大量時間。配置好環境之后由于GPU配置導致訓練時間過長，而ModelsArts平臺能夠在云上快速配置環境，其優秀的GPU使訓練時間大打折扣。這使我們能夠快速地訓練模型，節約了大量時間成本。除此之外，華為云上的一些自動學習教程如物體檢測，圖像分類等，有助于新手進行入門。但在初次使用ModelsArts訓練過程中難免會遇到一些問題，本文章總結了一些剛接觸ModelsArts平臺可能會遇到的問題。

將本地與OBS桶文件傳輸：

OBS桶可用于存放大容量文件，且存取速度極快。OBS Browser+是可進行圖形可視化操作的工具，方便ModelArts開發環境，obs桶，本地環境文件的傳輸。

下載完OBS Browser+后即可創建桶，然后可將本地的文件或文件夾上傳到obs桶中。

ModelArts開發環境與OBS桶文件傳輸：

首先需進入ModelArts開發環境，創建notebook實例，資源、類型、規格可自行按需選擇，存儲配置選擇云硬盤（EVS），注：筆者在使用時選擇對象存儲服務（OBS）無法將文件與obs桶相互傳輸。使用云硬盤evs可使用moxing進行文件傳輸，且文件傳輸效率快。

創建實例后，接下來將演示如何將obs桶中的文件傳輸到notebook中。如圖，要將名為ton中的文件夾data中的文件train.txt傳輸到notebook中

則需要在notebook中輸入以下代碼

import?moxing?as?mox??? mox.file.copy('obs://ton/data/train.txt','./data/train.txt')

如圖，train.txt已傳輸到notebook中文件夾data（若無該文件夾則新建）。

若要傳輸文件夾

import?moxing?as?mox??? mox.file.copy_parallel('obs://ton/data/folder','./data/folder')

可以看到，名為folder文件夾中的所有文件已被傳輸至notebook中。

同理，將notebook中的文件傳輸至obs桶中，只需將路徑調換即可。

工作路徑：

在使用notebook開發環境中，需要用到終端，如需要打開根目錄下的文件hello.py

則可進入終端輸入以下指令，效果如下圖所示

cd?work python?hello.py

安裝庫：

由于notebook實例停止運行時除了work工作路徑下的文件會被清空，因此每次進行訓練時都需要重新安裝依賴庫，建議將所有需要安裝的庫寫在一個txt文件中，這樣可通過pip一鍵安裝，節約時間。如requirements.txt文件中記錄了以下需要安裝的庫。

接下來需要進入requirements.txt所在路徑（本文中該文件位于根目錄work下）

cd?work pip?install?-U?-r?requirements.txt

執行完指令后可以看到庫正在安裝，且速度極快。

以上即為總結的所有內容。

AI開發平臺ModelArts 對象存儲服務 OBS

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。