基于HiLens Studio開發行人檢測與跟蹤應用

本博客指導用戶使用華為云HiLens的HiLens Studio 平臺 ，實現簡單的行人檢測與跟蹤應用。通過創建技能項目、轉換原始模型、推理代碼解讀、運行技能等步驟，能夠了解行人檢測算法、檢測與跟蹤技能邏輯、學會如何使用HiLens Studio創建技能并成功實現技能應用等。

1 創建技能項目

步驟 1 點擊進入 HiLens Studio ， 點擊 “HiLens管理控制臺”頁面的“技能開發>HiLens Studio”，打開“HiLens StudioGetting Started”頁面。

步驟 2 在“HiLens StudioGetting Started”頁面， 點擊 “New Project” 按鈕， 彈出“選擇模板創建HiLens Studio項目”對話框。

步驟 3 在 “選擇模板創建HiLens Studio項目”對話框中， 點擊 "Pedestrian_Detection_and_Tracking"模板（Python語言）的“新建技能”。

步驟 4 在“創建技能”頁面 可以修改技能的基本信息，如名稱、版本號，可以為技能添加圖標和描述，也可以不 改任何信息，直接點擊“確定”。

將會自動跳轉到HiLens Studio主頁。

2 轉換原始模型

在model文件夾下預置的是Tensorflow版本的行人檢測模型，并不能在HiLens上直接進行使用，所以要將原始的Tensorflow模型轉換為HiLens可以支持的Ascend模型。

步驟 1 點擊 “Terminal>New Terminal”，打開終端。

步驟 2 ???? 復制以下命令在打開的終端中執行，如下圖所示（ 圖片中 紅色下劃線 即為下方需要執行的模型轉換 命令）：

/opt/ddk/bin/aarch64-linux-gcc7.3.0/omg --model=./model/yolo3_resnet18_pedestrian_det.pb --input_shape='images: 1,352,640,3' --framework=3 --output=./model/pedestrian_det --insert_op_conf=./model/aipp.cfg

以上命令使用華為Ascend芯片的OMG（Offline Model Generator，離線模型生成器）工具，將模板中提供的原始TensorFlow版本的行人檢測模型轉換為HiLens可以支持的Ascend模型。其中的參數解釋如下：

--model: 原始模型文件的路徑；

--input_shape: 原始模型輸入節點的名稱與shape；

--framework: 原始模型的框架類型，0代表Caffe，3代表TensorFlow；

--output: 轉換后的模型輸出路徑（包含文件名，會自動以“.om”后綴結尾）；

--insert_op_conf: 對模型輸入數據進行預處理的配置文件路徑，即aipp配置文件。

本案例中的aipp配置文件內容如上所示，其中指定了轉換后模型的輸入數據格式為uint8類型的RGB格式圖像（input_format），輸入圖像的尺寸為640x352（src_image_size_w/h），3通道數據的方差（var_reci_chn_0/1/2 ）為 0.003922 （1/ 255 ， 指的是輸入數據除以255）。使用了aipp配置文件 （ aipp配置文件不是必須 的，但是加了這個文件推理性能有很大優化 ） 轉換后的模型，某些預處理操作（如色域轉換、歸一化等）會內置在模型中，在推理時性能會更優。

步驟 3 ???? 成功后會在model文件夾下出現華為HiLens支持推理的.om文件。

本案例中使用的yolo3_resnet18_pedestrian_det.pb模型，是使用來自于ModelArts AI Gallery的“物體檢測YOLOv3_ResNet18”算法訓練得到的，您可以在華為云學院沙箱實驗室列表中，搜索“基于ModelArts實現行人檢測模型訓練和部署”實驗名，然后點擊進入該實驗，即可按照實驗文檔訓練得到該模型，訓練好的模型會存儲在OBS中。

注： Studio從ModelArts導入模型操作

? 單擊 “File> Import File (s) from OBS ”

? 找到 您想要導入的模型 在OBS中的具體位置 ， 單擊 “import”，模型將會出現在 當前工程目錄 下。

3 準備測試數據

步驟 1 ???? 本次實驗中，我們在test目錄中預置了測試視頻camera0.mp4，供用戶使用。

用戶也可以上傳自己的視頻進行測試，只需在文件目錄區的空白處點擊右鍵，選擇“Upload Files…”，即可將本地的文件上傳至HiLens Studio。

4 推理代碼解讀

在“src>main>python ” 的main.py 文件的代碼中，主要用到 Yolo3和Tracker兩個類。

步驟 1 ???? 首先會利用我們轉換的pedestrian_det.om，創建一個檢測模型Yolo3類的實例person_det。

步驟 2 ???? person_det會使用Yolo3類的infer函數，進行模型推理并返回檢測結果。

步驟 3 接下來會使用Yolo3類的draw_boxes函數，在返回檢測結果的圖像上畫出檢測框。

步驟 4 main.py初始化-。即連續3s匹配到的目標才創建跟蹤對象，允許跟蹤對象丟失的最大時間3s，跟蹤對象匹配時的最小iou閾值為0.5（iou衡量了兩個邊界框重疊地相對大小）。

步驟 5 利用Tracker類的update函數進行多目標跟蹤，再用draw_tracking_object函數在多目標的檢測結果中畫出跟蹤框。

5 運行技能 —— 使用視頻文件

步驟 1 打開“src>main>python”下的main.py文件。

步驟 2 選擇上方導航欄的 中的“Read Stream from File ”，將使用工程目錄中的視頻文件進行推理測試，單擊 執行推理代碼。

步驟 3 在右側的“Video Output” 看到視頻的行人檢測結果。

步驟 4 取消main.py腳本中tracker相關代碼的注釋。

步驟 5 選擇上方導航欄的 中的“Read Stream from File ”，單擊 執行推理代碼。

步驟 6 在右側的“Video Output” 看到視頻的行人檢測與跟蹤結果。

6 關閉 HiLens Studio

步驟 1 點擊 “File>Shutdown HiLens Studio”出現對話框。

步驟 2 點擊 “Shutdown HiLens Studio”對話框的“OK”，退出HiLens Studio。

想了解更多的AI技術干貨，歡迎上華為云的AI專區，目前有AI編程Python等六大實戰營供大家免費學習。（六大實戰營link:http://su.modelarts.club/qQB9）

AI 華為HiLens

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。