開源社區(qū)ipynb如何運(yùn)行到ModelArts notebook上

1. 使用Notebook實(shí)例，兩種方式

ModelArts CodeLab

ModelArts Notebook

1. 使用Notebook實(shí)例，兩種方式

ModelArts CodeLab

ModelArts Notebook

2. 內(nèi)容上傳到Notebook實(shí)例上

Git clone, 直接對(duì)于要訪問(wèn)的代碼倉(cāng)庫(kù)進(jìn)行clone操作，例如可以在terminal中執(zhí)行

通過(guò)wget直接在notebook中下載對(duì)應(yīng)的notebook文件

通過(guò)網(wǎng)頁(yè)進(jìn)行直接上傳，小于100MB文件，適合小文件直接上傳

大文件需要通過(guò)對(duì)象存儲(chǔ)（OBS）進(jìn)行中轉(zhuǎn)。適合大文件遷移，OBS公網(wǎng)上傳大帶寬，內(nèi)網(wǎng)下載網(wǎng)絡(luò)黑科技

3. 打開并運(yùn)行Notebook內(nèi)容，notebook文件大多以ipynb文件作為后綴，完成運(yùn)行環(huán)境差異適配

根據(jù)ipynb文件內(nèi)容，選擇合適的Kernel。

運(yùn)行依賴按需進(jìn)行補(bǔ)充

數(shù)據(jù)環(huán)境不一致

硬件環(huán)境適配

代碼適配

最后一步，分享出來(lái)讓小伙伴學(xué)習(xí)一下？

ModelArts平臺(tái)支持的云原生notebook，即開即用，免費(fèi)算力。適合快速、臨時(shí)使用

優(yōu)點(diǎn)：免費(fèi)，快速內(nèi)容接入。缺點(diǎn)：資源受限使用。

ModelArts控制臺(tái)->總覽->開發(fā)工具

參考：https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0339.html

專業(yè)版Notebook實(shí)例，以更靈活的資源配置支持通用和專業(yè)級(jí)的AI開發(fā)與探索。適合專業(yè)場(chǎng)景并長(zhǎng)期使用

優(yōu)點(diǎn)：資源配置充足且靈活，例如存儲(chǔ)、計(jì)算資源及鏡像更多樣化。缺點(diǎn)：實(shí)例生命周期需要自己管理

ModelArts控制臺(tái)->開發(fā)環(huán)境->notebook

參考：https://support.huaweicloud.com/engineers-modelarts/modelarts_30_0004.html

cd /home/ma-user/work # 該目錄為持久化存儲(chǔ)掛載的根目錄 git clone https://github.com/ageron/handson-ml.git

cd /home/ma-user/work # 該目錄為持久化存儲(chǔ)掛載的根目錄 wget https://zh-v2.d2l.ai/d2l-zh.zip

上傳內(nèi)容到OBS

下載OBS內(nèi)容到Notebook中

參考：https://support.huaweicloud.com/engineers-modelarts/modelarts_30_0010.html

實(shí)操試一下？ Run in ModelArts

notebook實(shí)例中一般預(yù)置了一個(gè)或者多個(gè)IPython Kernel，每個(gè)kernel對(duì)應(yīng)一個(gè)獨(dú)立已經(jīng)預(yù)裝AI引擎并配置好的Conda env，可以直接作為IPython的運(yùn)行環(huán)境

社區(qū)的notebook文件很多沒法直接運(yùn)行，原因大多在于ipynb發(fā)布者的環(huán)境和真實(shí)運(yùn)行的環(huán)境依賴不一致導(dǎo)致，首先要確保notebook中依賴的內(nèi)容都已經(jīng)正常的安裝。依賴安裝可以通過(guò)pip或者conda的方式進(jìn)行安裝。以動(dòng)手學(xué)深度學(xué)習(xí)的notebook為例，這些案例均無(wú)法直接在ModelArts notebook實(shí)例中直接運(yùn)行，需要額外添加一個(gè)notebook cell，用于安裝d2l的package

pip install d2l

注：pip源在實(shí)例上已經(jīng)配置好，直接可用。conda源需要用戶手工配置，建議調(diào)測(cè)狀態(tài)下可以配置為清華源。

如果安裝或升級(jí)后依然找不到依賴，建議執(zhí)行 restart kernel強(qiáng)制生效

參考:https://support.huaweicloud.com/engineers-modelarts/modelarts_30_0021.html

國(guó)內(nèi)的網(wǎng)絡(luò)下載大部分?jǐn)?shù)據(jù)集、預(yù)訓(xùn)練模型是可以的，直接在notebook中通過(guò)wget的方式能夠進(jìn)行下載。例如

cd /home/ma-user/work wget https://zh-v2.d2l.ai/d2l-zh.zip

但是對(duì)于google drive或者百度網(wǎng)盤這種，一般無(wú)法直接通過(guò)wget命令下載的內(nèi)容，需要首先進(jìn)行下載，再通過(guò)OBS中轉(zhuǎn)到notebook中，并且根據(jù)代碼內(nèi)容，放置到指定目錄完成內(nèi)容加載。參考大文件上傳

notebook運(yùn)行有些會(huì)依賴GPU等AI計(jì)算硬件，需要對(duì)應(yīng)進(jìn)行匹配，否則無(wú)法直接運(yùn)行，例如ModelArts提供CPU、GPU、Ascend等規(guī)格供選擇，ModelArts Notebook通過(guò)console頁(yè)面創(chuàng)建的實(shí)例中，可以在停止?fàn)顟B(tài)下修改規(guī)格；或者在ModelArts CodeLab中，可以通過(guò)規(guī)格切換到指定的計(jì)算規(guī)格上去。

開源社區(qū)中，例如github，星象比較好的內(nèi)容一般質(zhì)量較高，但是也經(jīng)常中間會(huì)有一些bug，如果運(yùn)行有問(wèn)題，需要結(jié)合調(diào)試輸出或日志查看。

ModelArts提供的一鍵分享功能可以方便的進(jìn)行ipynb文件的分享和協(xié)作。創(chuàng)建分享后，任何人都可以通過(guò)分享的鏈接在ModelArts CodeLab中直接打開查看并運(yùn)行已分享內(nèi)容。建議分享到AI Gallery讓更多的同學(xué)都能看到:-)

AI開發(fā)平臺(tái)ModelArts 對(duì)象存儲(chǔ)服務(wù) OBS

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。