ModelArts與無感識別技術生態的思考

1 ModelArts現狀和發展的特點

1.1 ModelArts的現狀和發展的概述

ModelArts 是華為全棧全場景 AI 解決方案面向用戶和開發者的門戶，作為一站式 AI 開發平臺，提供海量數據預處理及半自動化標注、大規模分布式訓練、自動化模型生成，及端 - 邊 - 云模型按需部署能力，幫助用戶快速創建和部署模型，管理全周期 AI 工作流。

1.2 ModelArts發展點

1.2.1 數據處理

AI 開發過程中經常需要處理海量數據，數據準備與標注往往耗費整體開發一半以上時間。ModelArts 數據處理框架包含數據采集、數據篩選、數據標注、數據集版本管理功能，支持自動化和半自動化的數據篩選功能，自動化的數據與標注及輔助自動化標注工具。AI 開發者可基于框架實現數據標注全流程處理.

1.2.2 算法開發

深度學習需要大規模的加速計算，往往需要大規模 GPU 集群進行分布式加速。而現有的開源框架需要算法開發者寫大量的代碼實現在不同硬件上的分布式訓練，而且不同框架的加速代碼都不相同。為了解決這些痛點，需要一種輕型的分布式框架或者 SDK，構建于 TensorFlow、PyTorch、MXNet 等深度學習引擎之上，使得這些計算引擎分布式性能更高，同時易用性更好，ModelArts 的 MoXing 可以很好地解決這些痛點.

簡化調參，集成多種調參技巧包，如數據增強的調參策略，可簡化 AI 算法工程師的模型調優痛苦。

簡化分布式，支持將單機代碼自動分布式，使算法工程師不需要學習分布式相關的知識，在自動化分布式的同時，也優化了分布式的性能，自動化和高性能是相輔相成的。

1.2.3 模型訓練

模型訓練中除了數據和算法外，開發者花了大量時間在模型參數設計上。模型訓練的參數直接影響模型的精度以及模型收斂時間，參數的選擇極大依賴于開發者的經驗，參數選擇不當會導致模型精度無法達到預期結果，或者模型訓練時間大大增加。

ModelArts 高性能分布式訓練優化點：

第一，自動混合精度訓練（充分發揮硬件計算能力）

第二，動態超參調整技術（動態 batch size、image size、momentum 等）

第三，模型梯度的自動融合、拆分

第四，基于 BP bubble 自適應的計算 - 通信算子調度優化

第五，分布式高性能通信庫（nstack、HCCL）

第六，分布式數據 - 模型混合并行

第七，訓練數據壓縮、多級緩存

1.2.4 模型部署

通常 AI 模型部署和規?；涞胤浅碗s。如智慧交通，在獲得訓練好的模型后，需要部署到云、邊、端多種場景。端邊云協同 AI 應用開發和部署服務。

ModelArts 平臺端云協同關鍵技術點包括：

第一，針對不同類型的端側平臺，支持模型拆分、任務拆分，從而讓端云協同起來。

第二，利用模型管理能力，進行版本管理、模型搜索、模型復用。

第三，支持對第三方平臺的管理，針對模型安全進行權限認證，計費管理。

ModelArts 端云結合方案，在圖片清晰度檢測、智慧小區人臉識別等實際場景進行了應用。如在交警場景就使用 ARM 架構邊緣云進行信控和流量檢測，優化了交通燈、路燈等市政設施的控制，如對燈光亮度調整達到了 40% 節能的水平。

1.2.5 AI市場

AI 市場是在 ModelArts 的基礎上構建的開發者生態社區，提供模型、API 的交易，數據、競賽案例等內容的共享功能，為高?？蒲袡C構、AI 應用開發商、解決方案集成商、企業及個人開發者等群體，提供安全、開放的共享及交易環境，加速 AI 產品的開發與落地，保障 AI 開發生態鏈上各參與方高效地實現各自的商業價值。

1.2.6 自動學習

ModelArts 通過機器學習的方式幫助不具備算法開發能力的業務開發者實現算法的開發，基于遷移學習、自動神經網絡架構搜索實現模型自動生成，通過算法實現模型訓練的參數自動化選擇和模型自動調優的自動學習功能，讓零 AI 基礎的業務開發者可快速完成模型的訓練和部署。依據開發者提供的標注數據及選擇的場景，無需任何代碼開發，自動生成滿足用戶精度要求的模型?？芍С謭D片分類、物體檢測、預測分析、聲音分類場景?？筛鶕罱K部署環境和開發者需求的推理速度，自動調優并生成滿足要求的模型。

華為與世界雨林保護組織的合作項目里，采用了 ModelArts 自動學習聲音分類功能，實現對電鋸和卡車噪音的精準識別，結果比很多博士手工調參精度還要高。

1.2.7 AI開發流程管理

AI 開發過程中，如果開發者手動管理 AI 開發數據集、模型、訓練參數，當需要大量的調優迭代時，實驗過程難以追蹤，結果難以復制?，F有的代碼管理產品不適合管理 AI 資產如圖片、視頻類的數據集，二進制的模型，部署后的 Web Services 等。為了解決這些問題，ModelArts 提供 AI 開發全生命周期管理，從原始數據、標注數據、訓練作業、算法、模型、推理服務等，提供全流程可視化管理服務。

2.ModelArts端邊云協同部署對無感識別技術的支撐與迭代

從理論研究來談論。目前，對無感支付沒有權威、標準的概念界定。在建研無感支付課題組認為，無感支付是用某種獨一無二的特征標的物綁定銀行賬戶或支付工具，通過一系列技術加以識別該特征標的物，從而完成支付。無感支付體現三個特征：一是支付身份認證方法不再是ID卡，密碼等傳統方式。二是支付不再作為一個獨立的環節出現，沒有專門的支付動作。三是支付速度高速化，目前普遍認為不超過2秒。根據無感支付的概念界定，無感支付技術是以識別技術為基礎。目前識別技術主要可劃分為三類，即光學識別、聲學識別、各類波的識別，這些技術為無感支付提供了基礎的理論條件。

從技術層面實施來說。各類無感識別應用技術的支撐即精度要無窮接近于1?；诠鈱W、聲學、各類波的識別端（自帶ascend、MindSpore）+無感邊緣服務+ModelArts平臺的全棧支撐綜上所述一一對應。端邊云的協同部署將非難實例高效解決在端，特殊定制化實例化解在邊緣服務，難題型實例利用光纖、5G、6G網絡連接ModelArts交給atelas900集群解決，讓精度和速度完美匹配。

從代碼開發層面來說。ModelArts是一個通用AI開發平臺，具體開發出什么東西，主要取決于開發人員的技術能力和開發方向?；贛odelArts上開發無感支付的業務模型，對能力和方向的考驗同樣是廣袤的。

2.1 勞動者港灣人工智能垃圾分類的部署

在華為云上海2019HC全聯接大會上，見證了基于ModelArts的端邊云協同部署，啟發式開發了端云協同系統即勞動者港灣人工智能垃圾分類系統。ModelArts提供云服務加載模型和提供算力，安卓系統為端并可部署于全國勞動者港灣。

2.1.1 創意簡介

勞動者港灣垃圾分類AI，目的在于構建基于深度學習技術的圖像分類模型，實現垃圾圖片類別的精準識別，參考深圳垃圾分類標準，按可回收物、廚余垃圾、有害垃圾和其他垃圾四項分類。

2.1.2 痛點分析（背景及需要解決的問題）

如今，垃圾分類已成為社會熱點話題。其實在2019年4月26日，我國住房和城鄉建設部等部門就發布了《關于在全國地級及以上城市全面開展生活垃圾分類工作的通知》，決定自2019年起在全國地級及以上城市全面啟動生活垃圾分類工作。到2020年底，46個重點城市基本建成生活垃圾分類處理系統。

隨著人工智能深度學習在無感識別技術領域的應用和發展，讓我們看到了利用AI來自動進行垃圾分類的可能，通過在建研無感支付課題組的研究學習，攝像頭拍攝垃圾圖片，檢測圖片中垃圾的類別，從而可以讓機器自動進行垃圾分揀，極大地提高垃圾分揀效率。

2.1.3 具體解決方案

在勞動者港灣部署一臺普通Android手機作為人工智能垃圾分類系統的端，利用WIFI或5G、4G網絡連接華為云ModelArts服務器提供算力支撐。端云協同的部署利于單點服務大眾，更利于點線面的鋪開。打破了國外谷歌公司端云協同人工智能領域的壟斷。可有效解決人民對垃圾分類的疑惑與全民垃圾分類的普及問題。當下云端和安卓端已推出第一版，人工智能模型在華為的2019HC大會中獲得了榮譽證書。

2.1.4 創意亮點

本創意的創新點就是助力和解決垃圾分類的難點，讓人民的生活少花精力在這個局面，助力人民生活更加美好。本創意應用了人工智能技術，采取端、云協同的方式實現垃圾分類。即可單一部署，也可全局全行部署。全行推行，將對社會、環保、民生等多個方面帶來文明與進步。其精準分類后的垃圾，可變現、可回收、可節約社會資源、可協同社會與生態的良性發展，實現人民對美好生活的向往。

2.1.5 運用到的技術與知識點

模型采用ModelArts平臺，使用的TensorFlow1.6框架，分別嘗試了SENet、resnet50、resnet152、SEResNet,通過baseline比對調優后最終采用殘差50網絡計算，9輪訓練達到鞍點測試集精度穩定在0.8756。

在多達1000次的訓練中，發現優化器采取二分類對殘差50網絡模型的精度提升顯著。但由于是40類以上的垃圾分類識別，0.9287的驗證集精度并不能維持真理，在測試集中表現只能達到0.6813的精度。在多次嘗試后，優化器采用多分類，測試集精度才回到0.8756。

在后期的版本中，將總結迭代余弦退火學習率，進一步將測試集精度提高到0.95以上。

3.ModelArts支撐的無感識別技術生態展望

支付意味著現金流，有資金流動的地方就是金融服務可以覆蓋的地方。無感識別支付的應用必須從“生態系統”的角度來實現。在“生態系統”下，支付僅僅是開始而非結束。以支付為前端入口，通過支付給生態帶來更多的基礎用戶和數據，由此打開更多的流量入口，引出更多的風口。一方面，支付有效促進C端用戶和G端政府、B端企業（企業服務）之間的連接；另一方面，每一次支付都是高質量數據誕生的過程，通過支付數據判斷用戶喜好、支付能力、消費地點等，從而完善肖像數據圖，挖掘潛在的需求。以下將選擇ModelArts支撐的支付機構（以下簡稱“支付機構”）為例，對支付機構在無感支付的“生態”應用方面進行展望。

3.1 無人值守停車場

推出汽車智能收費機器人套件，采用車輛立體識別技術替代傳統的車牌技術，智能計算標準化定價，車主提前通過ModelArts支撐的支付機構手機銀行或小程序聯動識別實現愛車與賬戶的綁定，駕車離場時自動扣費抬桿放行。

3.1 ETC的迭代----高速通行

基于汽車電子標識技術的應用，車主提前將汽車信息與銀行賬戶進行關聯，充分發揮數據提取與應用的功能優勢，解決銀行與用戶之間信息不對稱的問題，實現全天候自動提取車輛屬性信息、位置信息以及狀態信息。通過收費閘口時，電子車牌準確識別并通過與電子車牌關聯的銀行賬戶中自動扣除費用，實現車輛動態通行收費，避免可能出現的擁堵狀況。運用ModelArts迭代訓練視頻識別的模型后，用戶車主和高速路網中心免去了安裝ETC的讀寫設備及其過程，即提高了高速閘機通行的效率、又降低了多方應用成本。

在互聯網金融領域，交通大數據運用的最大價值就在于為銀行打造真實的生產、生活場景，通過真實場景產生信息、存儲信息、挖掘信息等，以此產生更透明、更高效的金融交易活動。

4.結束語

ModelArts是當前世界算力、推理、精度最快的技術之一，發展現狀及探討未來發展無感支付的前景對人工智能領域是非常有利有益的。相信隨著計算機科學技術發展，人們也將享受ModelArts訓練和部署模型帶來的更加便利的生活。

https://bbs.huaweicloud.com/blogs/124266?ticket=ST-44908-0gTotggWS76l6xZSV2Q1GEut-sso&ticket=ST-60893-YCzi9PWZP66LQypFdBu36jZH-sso

參考文獻 ：

[1] Schroff F, Kalenichenko D, Philbin J. Facenet: A unified embedding for face recognition and clustering[J]. arXiv preprint arXiv:1503.03832, 2015.

[2] G-washington , 華為云ModelArts 2.0來襲

[3]? 陳亮 AI前線 深度解讀華為云AI開發平臺ModelArts技術架構

[4］張倩雯，莊 毅． 基于機器學習的指令 SDC 脆弱性分析方法 ［J］． 小型微型計算機系統，2018，39( 4) : 725-731．

[5］邱飛岳，胡 烜，王麗萍，等． 分組分解的多目標粒子群進化算法研究［J］． 小型微型計算機系統，2017，38( 8) : 1824-1828．

[6] 張雨石 https://blog.csdn.net/stdcoutzyx/article/details/46687471

本文來自“華為開發者社區”

華為 ModelArts

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。