帶你來秋日嘗鮮 | ModelArts AI市場算法Fast-SCNN使用指導

雙十一到了，秋風瑟瑟，不能光顧著剁手是不是，是時候貼貼秋膘，嘗嘗鮮了，特意送來新鮮出爐的ModelArts AI市場算法Fast-Scnn（以下簡稱為本算法），附上使用秘籍，保證輕松上手。

本算法使用Cityscapes高質量標注數據集中的train集和val集，使用train集訓練，在val集上測試達到了mIOU=68.668的準確率。

1. 準備數據集

本算法支持的數據集格式為Cityscapes數據集。

Cityscapes數據集包含來自50個不同城市的街道場景中記錄的各種立體聲視頻序列集，以及較大的20000個弱注釋幀集和5000個幀的高質量像素級注釋。因此，該數據集比已有的類似數據集大一個數量級。有關帶注釋的類的詳細信息和注釋示例可在數據集官網上找到。

Cityscapes 數據集旨在用于:

(1) 評估視覺算法在語義城市場景理解的主要任務上的性能：像素級，實例級和全景語義標記；

(2) 支持旨在利用大量（弱）注釋數據的研究，例如用于訓練深度神經網絡。

可點此鏈接下載gtFine_trainvaltest.zip 和 leftImg8bit_trainvaltest.zip 兩個文件，如下圖所示：

gtFine_trainvaltest.zip解壓后的目錄結構如下（本算法訓練不需自行解壓，可直接使用壓縮包）：

└─gtFine

├─test

├─train

└─val

leftImg8bit_trainvaltest.zip解壓后的目錄結構如下（本算法訓練不需自行解壓，可直接使用壓縮包）：

└─leftImg8bit

├─test

├─train

└─val

如果您需要使用自己的數據集進行訓練，則需要將數據目錄整理成和上面一樣的形式。更詳細的數據集說明請查看Cityscapes數據集官網上的描述。

ModelArts使用對象存儲服務（OBS）來存儲數據，實現安全、高可靠和低成本的存儲需求。OBS Browser+是一款用于訪問和管理對象存儲服務（Object Storage Service，OBS）的圖形化工具，支持完善的桶管理和對象管理操作。OBS Browser+的圖形化界面可以非常方便地讓用戶在本地對OBS進行管理，例如：創建桶、上傳下載文件、瀏覽文件等。

具體操作步驟如下：

（1）點此下載OBS Browser+，下載完成后解壓縮，雙擊exe進行安裝，安裝完成后運行；

（2）登錄界面如下圖所示，需要您填寫賬號名、Access Key ID（AK）和Secret Accsee Key（SK），參考此文檔，獲取AK和SK，華為云上的許多產品都需要用到訪問密鑰，請妥善保存該密鑰文件，然后參考下圖填寫您的華為云賬號名及剛獲取的AK和SK，點擊登錄；

（3）參考下圖，點擊“創建桶”，輸入桶名稱，注意：區域要選擇華北-北京四、標準存儲、私有、關閉多AZ，桶名需自定義，OBS桶名要全局唯一，如提示桶名已存在，則需要您修改為其他名稱，比如本文設置桶名為fast-scnn。您設置的桶名必須與此不同，如在下文的操作指導中看到fast-scnn，請主動將桶名替換為您自己的桶名，下文將不再進行提示；

（4）點擊桶名稱，進入到桶中，點擊“新建文件夾”，輸入文件夾名稱，如“train_input”，點擊進入文件夾，再新建“datasets”，點擊“上傳”->“添加文件”-> 選擇本地下載好的數據集壓縮包（之所以選壓縮包格式是因為如果數據集比較大，上傳壓縮包比上傳文件夾快很多） –> 確定，如下圖所示；

（5）點擊OBS Browser+左側的“任務管理”，可查看數據上傳進度。如下圖所示，點擊設置，在基礎設置中，設置最大并發數為最大值50，可以加快數據上傳速度

2. 訂閱本算法

點擊本頁面右上方的【訂閱】按鈕。然后點擊頁面下方的【下一步】按鈕，再點擊【確認付款】按鈕，最后點擊【確定】按鈕進入我的訂閱頁面，可以看到剛剛訂閱的算法。點擊【應用控制臺】超鏈接，選擇華北-北京四區域，進入算法管理頁面。

如下圖所示，點擊“同步”按鈕，同步算法，可以點擊刷新按鈕，刷新狀態。當狀態變成就緒時，表示同步成功，注意請使用最新版的，目前應該是6.0.0版本，基本版本以訂閱情況。

3. 創建訓練作業

點擊上圖中的“創建訓練作業”，按照下表填寫訓練作業參數：

點擊下一步，提交，訓練作業的狀態會經歷“初始化”、“部署中”、“運行中”和“運行成功”四個狀態。訓練作業運行成功后，在上表中指定的“模型輸出”路徑下會自動生成model目錄，該目錄下有模型文件、ModelArts平臺推理腳本（config.json、customize_service.py）和其他運行模型必備的文件。

4. 模型導入

準備好模型及相關的必備文件后，您可以將生成的模型導入至ModelArts模型管理。具體操作如下：

（1）在ModelArts控制臺的左側導航欄點擊“模型管理” -> “模型”，點擊右側頁面中的“導入”。在導入模型頁面填寫名稱，選擇元模型來源，可以直接從訓練中選擇(推薦使用這種方法，簡單方便，與訓練無縫銜接)，也可以從OBS中選擇。如果是從OBS中選擇，則需要選擇到model目錄的上一級目錄；例如，本次可選擇的目錄為obs://fast-scnn/algorithms/train_output，如下圖所示：

注意：選擇好元模型路徑后，“AI引擎”會自動填充。如未能自動填充，請檢查元模型路徑是否是model目錄的上一級目錄，或者model目錄下是否包含模型配置文件config.json。

（2）點擊“立即創建”，需要一點時間來等待模型導入和構建，當模型版本狀態為“正常”后，即表示模型導入成功。

5. 創建在線服務

在ModelArts上，可以將模型部署為在線服務，然后上傳圖片進行預測，直接在網頁端觀察預測結果，本算法支持CPU和GPU部署。

部署為在線服務具體步驟如下：

（1）在ModelArts左側導航欄中選擇“部署上線 -> 在線服務”，然后點擊頁面中的“部署”；

（2）在部署頁面填寫參數，其中在“模型列表”選擇要導入的模型及版本，計算節點規格選擇CPU即可；

（3）點擊“下一步”，參數確認無誤后，點擊“提交”。

提交后，您可以在在線服務列表中查看部署進度，當狀態變為“運行中”后，點擊服務名稱，進入詳情頁面，點擊“預測”，上傳圖片進行測試。測試結果如下圖所示，右側為得到的預測結果，不同的數字表示不同的類別。

6. 創建批量服務

在ModelArts上，還可以將模型部署為批量服務，從OBS加載測試集圖片進行預測，然后將預測結果輸出到OBS，本算法支持CPU和GPU部署。

部署為批量服務具體步驟如下：

（1）在ModelArts左側導航欄中選擇“部署上線 -> 批量服務”，然后點擊頁面中的“部署”；

（2）在部署頁面填寫參數，其中在“模型列表”選擇要導入的模型及版本，填寫輸入數據目錄和輸出數據目錄，計算節點規格選擇“CPU 2核 8GB”，計算節點個數設為1；

這里的輸入數據目錄位置為存放待預測圖像的位置，注意該位置下僅能存放待預測圖片，而輸出數據目錄位置為空文件夾即可，可自行定義。

（3）點擊“下一步”，參數確認無誤后，點擊“提交”。

提交后，您可以在批量服務列表中查看部署進度，當狀態變為“運行中”后，表示正在預測中，當狀態變為“運行完成”，表示這批圖片已經預測結束，預測結果是一批txt文件，保存在上圖指定的OBS輸出數據目錄位置中，可以前往該目錄查看結果。

7. 模型評估

參考本文第2節中的步驟，創建“訓練作業”，按照下表設置訓練參數：

點擊下一步，提交，訓練作業的狀態會經歷“初始化”、“部署中”、“運行中”和“運行成功”四個狀態。訓練作業運行成功后，在上表中指定的“模型輸出”路徑下會自動生成_result目錄，其中包含推理后的.png圖片和推理結果_results.txt文件。其中_results.txt文件包含驗證結果，如圖所示。

好了，到此即將結束了，這次嘗鮮大家感覺怎么樣呢？期待大家在下方分享使用體驗和感受，有問題也可以提哦，直接在下方回帖就行，會進盡量解答的。

PS：祝大家雙十一快樂，估計最快樂的就是馬爸爸了。

AI開發平臺ModelArts EI企業智能 EI智能體 AI AI平臺

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。