從ModelArts-Lab AI實戰營第二期談如何優雅的上傳對象到OBS

到了晚上，在群友jimmy和Sun的熱心提點下，說通過另外一種類似命令行操作窗口的小軟件，可以獲得很穩定的上傳效果，而且速度還很快，是華為內部的一個工程師告訴的方法，于是，我就去嘗試用obsutil這個工具去上傳數據集，在他們兩個提點下，我去仔細的看完官方提供的obsutil使用方法，終于搞定了怎么快速，穩定的把模型訓練需要的“燃油”---數據集優雅的上傳到華為云的 SBS桶里，而且經過實測，速度確實很快，五百多MB通過我100M的網速 5分鐘就是上傳到了 OBS桶里，為了方便后面訓練模型，優雅的上傳自己的數據集到華為云上，下面把詳細的步驟告訴大家，以便大家后續開心的在華為云上訓練自己的模型。

1、下載obsutil上傳工具

先去-根據自己的操作系統下載好對應的obsutil文件。下載完成后windows環境下在解壓文件夾里記得先執行文件夾下的setup.bat。

2、使用obsutil上傳文件

打開obsutil后，發現其類似于一個命令行窗口，如下所示，針對我等習慣windows下的小白，其實其操作基本和命令行操作類似

如果你要上傳一個文件，就用如下命令，比如我這次要上傳貓狗數據集 ?dog_and_cat_25000.tar.gz 到我在上一集創建的OBS桶

obsutil cp d:\dog_and_cat_25000.tar.gz obs://ai-course-teddybear/dog_and_cat_recognition/data

輸入上述命令，當然，你也可以復制我的命令，在本地隨便一個文檔粘貼然后修改好你的命令，再粘貼到你命令窗口，回車，就開始穩定流暢的上傳你的數據集了，就這么簡單，上傳過程如下。

3、如果你要你的一個文件夾及里面所有的文件，其命令如下：

obsutil ? ? ?cp d:\temp obs://bucket-test/temp -f -r

以我第四期上傳 D盤下的VOC2007 為例，首先還是可以通過 OBSBrowser 在自己的桶里建立文件夾PracticeCamp-Phase-4，然后輸入如下命令：

obsutil cp d:\VOC2007 obs://ai-course-teddybear/PracticeCamp-Phase-4 -f -r

看到進度條后，就表示正在把我本地 D盤下的VOC2007文件夾上傳到我剛剛在我自己桶里的PracticeCamp-Phase-4文件夾

4、通過obsutil 創立文件夾

如果自己電腦上沒有安裝 OBSBrowser 或者不想那么麻煩，也可以通過如下命令在桶里建立文件夾，比如我新建一個Test文件夾

obsutil mkdir obs://ai-course-teddybear/PracticeCamp-Phase-4/Test

7/28 補充如下：

5、通過obsutil 刪除你桶里的對象

如果你哪天覺得自己桶里很多無用的數據集占用了過多的空間的話，你可以通過如下命令刪除一些內容。

obsutil rm obs://ai-course-teddybear/dog_and_cat_recognition/data/dog_and_cat_25000.tar.gz -f

下面是刪除里指定文件里的所有內容：

obsutil rm obs://ai-course-teddybear/dog_and_cat_recognition/data -r -f

util?rm?obs://bucket-test/key?-fDelete?object?[key]?in?the?bucket?[bucket-test]?successfully!

好了，以上就是給各位分享 怎么優雅的上傳數據集和在桶里創立文件夾，通過以上方法，可以快速，穩定的把自己的數據集上傳到華為云的OBS服務器里，再結合Modelarts平臺訓練模型，以上，就是如何優雅的上傳對象到OBS，完~

OBS 深度學習 ModelArts

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。