ModelArts中使用開發環境的notebook上傳數據集至OBS

使用ModelArts通常需要上傳較大的數據集到OBS，我們可以選擇OBS客戶端上傳，在沒有OBS客戶端的情況下，則可以選擇使用NoteBook上傳數據，來提高數據上傳的效率。下面介紹一下如何借助NoteBook上傳數據集到OBS。

1、創建一個notebook，此處建議選擇掛載在EVS硬盤下，方便NoteBook多次啟動數據不會丟失。

2、打開notebook，點擊右上角new按鈕，點擊Terminal打開一個Terminal

3、使用wget命令（wget https://modelarts-cnnorth1-market-dataset.obs.cn-north-1.myhuaweicloud.com/dataset-market/Flowers-Data-Set/archiver/Flowers-Data-Set.zip）， 下載數據集至默認目錄,可以使用pwd查看當前目錄，ls查看該目錄下是否包含下載的數據集。

4、解壓下載的數據集到指定文件夾,解壓命令：unzip Flowers-Data-Set.zip -d /home/ma-user/Flowers-Data-Set

5、cat README,使用其中的for Conda-python3命令激活一個Conda環境

6、python,打開python環境，import moxing as mox，引用moxing

7、使用moxing接口上傳數據集至OBS指定目錄（moxing接口指導文檔：https://github.com/huaweicloud/ModelArts-Lab/blob/master/docs/moxing_api_doc/MoXing_API_File.md）

上傳命令：mox.file.copy_parallel('/home/ma-user/Flowers-Data-Set', 's3://modelarts-cn-north-4-08aae033/mnist_pycharm/dataset')

8、查看OBS路徑，數據集上傳成功

備注：下載數據集同理，使用moxing接口，路徑反向即可。

Python 對象存儲服務 OBS

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。