在ModelArts使用AI推理框架ModelBox開發(fā)

ModelBox簡介

ModelBox是華為云ModelArts集成的一款易用、高效、高擴展的AI推理開發(fā)框架，通過模塊拖拽連線的方式將推理應用流程可視化展示，并預置了豐富的流單元供開發(fā)人員直接使用，降低了應用開發(fā)難度，支持C++、Python、Java等多種開發(fā)語言，硬件支持GPU、NPU，可以幫助開發(fā)者快速完成AI推理應用的開發(fā)和上線工作。

用戶可在ModelArts開發(fā)環(huán)境中一鍵創(chuàng)建ModelBox實例并通過VsCode遠程連接實例，方便地利用云上的GPU/D310資源進行推理應用開發(fā)和調試，當前在上海一區(qū)域以白名單形式開放。

創(chuàng)建ModelBox實例

進入上海一區(qū)域的ModelArts新版開發(fā)環(huán)境,如果訪問不了可以提工單申請白名單。

在新版開發(fā)環(huán)境中點擊創(chuàng)建，選擇ModelBox鏡像:

規(guī)格選擇T4，配置SSH遠程開發(fā)所需的密鑰對和白名單IP。遠程訪問白名單配置為將要訪問這個ModelBox實例的本地機器IP，可以在本地的瀏覽器搜索“本地IP查詢”，查出來的就是本地對外的互聯(lián)網(wǎng)IP。

點擊確認后，等待實例創(chuàng)建完成。

連接并配置實例

連接實例

首先本地安裝VSCode IDE，建議安裝1.57版本或以下，最新版本的VSCode遠程連接時有一些問題。

參考幫助文檔的準備、Step1、Step2這三個章節(jié)，進行實例連接。

開發(fā)首個AI應用

開發(fā)環(huán)境預置了一個AI應用樣例：車輛檢測，是指通過模型檢測行駛的視頻流中的車輛，體驗這個樣例需要如下幾個操作：

1）創(chuàng)建樣例工程

2）推理流圖開發(fā)運行

3）查看推理結果

創(chuàng)建AI應用

打開terminal，執(zhí)行命令：

ma-admin createproject

命令執(zhí)行完后會在/home/ma-user/work/my_project目錄下創(chuàng)建modelbox_demo工程，

使用VSCode的OpenFolder打開該工程目錄：

README文檔是對工程目錄結構的介紹。

工程帶的樣例在solution/traffic目錄下，flowunit是功能單元，graph代表由功能單元組成的圖，圖即為整個應用的處理流程，在ModelBox中，應用都是用圖的形式來表達的。

編譯構建運行

使用VSCode快捷鍵Ctrl + Shift + P:

選擇cmake configure執(zhí)行

選擇cmake build target

下一步的選擇框輸入目錄名traffic

編譯OK。

或者也可以直接使用命令行進行編譯構建：

cd build && cmake .. && make traffic

構建完成后，執(zhí)行如下命令運行應用：

python tools/run.py --graph solution/traffic/graph/vehicle_detection/vehicle_detection.toml

執(zhí)行后，日志會輸出到terminal控制臺上，通過查看日志可以看到流圖已經(jīng)運行起來了。

查看推理結果

在瀏覽器地址欄輸入推理視頻結果的查詢地址：

rtsp://localhost/test

瀏覽器彈出如下框點擊Open

此時本地的播放器會自動啟動并播放推理視頻流。如果無法播放，是因為本地的播放器不支持rtsp流，需要安裝支持rtsp流的播放器，例如PotPlayer。

如果播放器OK但是仍舊播放不出來，有可能是視頻較短已經(jīng)播放結束了，可以停掉當前運行的腳本后再重新運行一次。

播放效果如圖：

AI AI開發(fā)平臺ModelArts 彈性負載均衡 ELB

版權聲明：本文內容由網(wǎng)絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內刪除侵權內容。

版權聲明：本文內容由網(wǎng)絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內刪除侵權內容。