ModelArts專屬池訓練+SFS場景使用方法

鏡像倉庫使用

SWR服務簡介

容器鏡像服務（SoftWare Repository for Container，簡稱SWR）是一種支持鏡像全生命周期管理的服務。通過該服務可快速享有云上的鏡像安全托管及高效分發服務，并且可配合云容器引擎 CCE、云容器實例 CCI使用，獲得容器上云的順暢體驗。

詳細文檔介紹參考： https://support.huaweicloud.com/productdesc-swr/swr_03_0001.html

實操步驟

創建組織

進入swr服務再選定region。北京四的頁面如： https://console.huaweicloud.com/swr/?region=cn-north-4#/app/dashboard

然后按下圖操作創建組織

登陸鏡像倉庫

按下圖操作獲取登陸指令

按下圖操作獲取下載命令，或聯系相關人員直接獲取

在linux服務器上，安裝docker軟件后，直接載命令行輸入對應登陸指令即可登陸，之后再輸入下載指令即可下載容器鏡像到本地。

鏡像改名及上傳，其中“${}”為可變量。

docker tag ${image_name}:${image_version} swr.cn-north-4.myhuaweicloud.com/${organization_name}/${image_name}:${image_version} docker push swr.cn-north-4.myhuaweicloud.com/${organization_name}/${image_name}:${image_version}

其他容器鏡像構建及調試操作

參考文檔： https://bbs.huaweicloud.com/blogs/285590

共享硬盤使用

ECS服務介紹： https://support.huaweicloud.com/productdesc-ecs/zh-cn_topic_0013771112.html

SFS服務介紹： https://support.huaweicloud.com/productdesc-sfs/zh-cn_topic_0034428718.html

ECS節點掛載共享硬盤

前提條件：

1.ECS節點和SFS的共享硬盤在相同的VPC或者對應VPC能夠互聯

2.ECS節點安裝了NFS客戶端

操作步驟：

設置華為云鏡像源

sudo sed -i "s@http://.*archive.ubuntu.com@http://repo.huaweicloud.com@g" /etc/apt/sources.list sudo sed -i "s@http://.*security.ubuntu.com@http://repo.huaweicloud.com@g" /etc/apt/sources.list

安裝NFS客戶端，掛載對應盤

sudo apt-get update sudo apt-get install nfs-common

獲取掛載命令，并掛載NFS存儲

首先保證對應目錄存在，然后輸入對應指令即可。命令參考：

mkdir -p /mnt/sfs_turbo mount -t nfs -o vers=3,nolock 192.168.0.169:/ /mnt/sfs_turbo

共享硬盤數據操作

數據拷貝操作與linux節點的本地目錄一致。

普通節點可以直接ssh登陸，并通過scp上傳、下載數據。也可以通過obsutil（ https://support.huaweicloud.com/utiltg-obs/obs_11_0001.html ）下載OBS桶的數據。

其他特殊場景請聯系環境管理員或提工單咨詢。

創建訓練作業

創建訓練作業

進入ModelArts服務，并選定region。北京四鏈接如： https://console.huaweicloud.com/modelarts/?region=cn-north-4#/trainingJobs

配置訓練作業參數，重點關注：鏡像id，啟動命令，資源規格，掛載路徑。其中掛載路徑需要和啟動命令匹配。

詳細配置可以參考截圖：

查看作業詳情

先打開列表，選擇需要的任務。

選擇對應版本（默認選擇最新版本）

在“日志”、“資源占用情況”子頁簽分別查看日志信息和各節點的CPU、GPU利用率。多子節點時可以手動切換，界面如截圖：

查看正在運行的作業列表

在作業列表頁，按圖片說明進行狀態篩選即可

AI開發平臺ModelArts 彈性文件服務 機器學習

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。