DevRun Live第四場：直達AI前沿，“攻城獅”們，Let’s go！

最近天氣回暖，好消息也越來越多，中國“戰疫”不斷收復失地，大家的生活也在漸漸恢復正常。對于愛學習的“攻城獅”們來說，還有一個好消息，那就是華為“DevRun Live”開發者沙龍在3月20日再次上線。

這次沙龍活動也有三場直播，三位來自華為的技術大咖和一位特邀的合作伙伴專家分別介紹了AI在網絡故障數據分析中的應用，以及基于聯邦學習的AI模型共建共享。既有高深的技術理論，也有生動的案例介紹，帶著愛學習的同學們直達網絡AI科技前沿。

最近天氣回暖，好消息也越來越多，中國“戰疫”不斷收復失地，大家的生活也在漸漸恢復正常。對于愛學習的“攻城獅”們來說，還有一個好消息，那就是華為“DevRun Live”開發者沙龍在3月20日再次上線。

這次沙龍活動也有三場直播，三位來自華為的技術大咖和一位特邀的合作伙伴專家分別介紹了AI在網絡故障數據分析中的應用，以及基于聯邦學習的AI模型共建共享。既有高深的技術理論，也有生動的案例介紹，帶著愛學習的同學們直達網絡AI科技前沿。

1

揭秘網絡AI領域

10大公開數據集應用及標準

此次沙龍的第一場演講由華為云NAIE首席數據治理專家周堯主講，他揭秘了網絡AI領域10大公開數據集應用及標準，并介紹了如何獲取十大公開數據集、獲取后如何使用這些數據集。周堯還詳細說明了數據治理過程中要盡量避免的一些問題，以及典型數據集開發模型的價值。

如今文本、圖片、語音、視頻等領域的AI數據集雖多，但具體到網絡領域，卻很少有高質量的數據集可用。這一方面與專業性和安全性有關，另一方面，網絡數據也存在標準復雜、標注難度大等問題，數據治理成本較高。

首先，數據采集的來源可能包括網元、網管和其他管理系統等。比如網絡故障場景就需要采集無線基站、承載接入、承載匯聚等領域多個設備的告警數據。這個過程非常繁瑣，而且需要慎重處理好隱私防護、數據安全問題。

其次，采集到的數據后，需要進行數據清洗，解決數據缺損、謬誤、格式不同等問題。不同場景下往往還會有特定的數據清洗操作。

然后，為便于后續的數據分析，原始數據還需要根據用途轉換為相應的主題模型，比如時空數據模型、設備數據模型、故障數據模型等，可以作為電信網絡的標準化數據用于深度挖掘。

接下來的流程是數據標注，即對整理后的數據樣本添加一個標簽，注明與該數據相關的重要信息。比如多個基站、傳輸節點出現連接中斷告警，運維專家會判斷可能是斷電、光路故障或硬件故障，這些經驗可以作為故障數據的一個重要標注。同時，通信設備的產品文檔中也會給出內在的層次邏輯關系，據此可以提取一些告警關系，用于告警數據的標注。

華為從業務出發，經過數據采集、數據清洗、數據轉換、數據標注、數據質量評估和數據集生成六個步驟，獲得了涉及接入網、核心網、無線網、數據通信等多個領域的十大公開數據集。

2

打破數據孤島，

聯邦學習技術AI模型上開發實踐

當前運營商網絡及企業專網的相關網絡數據無法上傳到公有云，數據存儲在各個分散的網絡局點機房。面對“數據孤島”難題，華為網絡AI架構師江濤帶來了自己的“殺手锏”，這就是如何確保數據在客戶機房的情況下，使用聯邦學習技術開發訓練出模型。

帶著口罩的江濤很有大師風范，講演中隨手拈來、揮灑自如，技術大咖的風度令人折服。通過這場沙龍，大家可以了解運營商網絡及企業專網數據無法上云的原因，通信網絡聯邦學習的應用架構及關鍵組成，以及如何使用聯邦學習進行模型開發和訓練。

聯邦學習(Federated Learning)是一種多用戶共享的機器學習技術，可以在不共享本地數據的前提下，讓參與的用戶共建共享AI模型。這種技術的原理是各參與方在本地進行模型訓練，然后將訓練結果加密上傳到云端，與其它參與方的訓練結果匯聚形成一個公共模型，然后再將這個公共模型從云端下發給各參與方。

聯邦學習優點在于可以在保護隱私的前提下，匯聚更多的數據資源用于機器學習。對于高度重視數據安全、隱私保護的電信行業來說，這一技術無疑極具實用價值。為此華為網絡AI引擎推出了聯邦學習服務，并已經被用于華為CloudMSE基于SA(Service awareness)技術的業務管理。

比如某國運營商禁止使用VoIP業務，但VoIP應用種類多、版本更新頻繁，很多還是加密的，這就需要SA技術支持對VoIP軟件的檢測和控制。這種情況下，運營商可以引入聯邦學習技術來迅速建立對VoIP應用的智能識別能力。此外，聯邦學習還被華為用于識別不限流量套餐用戶與他人共享，P2P、VoIP應用“惡意”占用大量網絡資源等，使得運營商可以利用SA技術控制網絡流量的異常增加。

為避開SA技術的流量檢測和控制，很多VPN和VoIP服務采用了DomainFronting技術，大大增加了流量識別的難度。不過華為聯邦學習平臺解決了數據流量有安全防護情況下的分布式訓練問題，大大提升了流量識別的準確率。

目前華為聯邦學習服務內置有聯邦匯聚、梯度分叉、多方計算、壓縮算法等能力，這些算法可以通過共同訓練獲得優于單獨訓練的效果。用戶只需要從華為NAIE的聯邦學習平臺上下載一個客戶端，就可以加入聯邦學習實例，并能夠查看可視化訓練狀態，共享訓練的成果。

現實中很多應用場景都可以輕松改造成華為聯邦學習平臺模式，借助其隱私保護和分布式訓練的能力，大大加快AI模型的訓練速度。

3

跨域網絡故障根

因告警識別效率提升達40%的秘密

近年來，網絡性能越來越強、功能越來越多，但隨之而來的是網絡結構越來越復雜，運維越來越困難，而智能運維技術被認為是面向未來的解決之道。在第三場演講直播中，來自華為的AI算法專家劉天賜就分享了“跨域網絡故障根因告警識別效率提升達40%的秘密”。這次演講還邀請到了來自重慶環聯科技的大數據專家唐旭，介紹了與華為合作開發網絡故障識別方案的成果和經驗。

華為AI算法專家劉天賜

從華為的實踐經驗來看，運用知識圖譜、機器學習等AI技術，結合網絡拓撲對告警數據進行分析、快速聚合，從而實現對故障的快速定位和精準識別。據測算，跨域網絡故障根因告警識別效率可以因此提升40%，整體運維效率可以因此提升約30%。

開發者們從中不僅可以了解到跨域復雜網絡故障定位的難點、典型網絡故障的特征及業務問題以及如何應用網絡拓撲、告警數據和知識圖譜等AI技術結合開發出故障識別模型。

重慶環聯科技大數據專家唐旭

在3月13日舉行的第三期沙龍活動中，華為云自然語言處理技術專家鄭毅曾介紹過知識圖譜的構建流程及方法。現在的問題是，知識圖譜既然可以讓AI可以像人一樣理解世界，那么能不能讓AI像網絡專家一樣理解網絡，解決復雜網絡的智能運維問題呢？華為在這一領域做了很多探索。

首先要明確一點，通信網絡知識圖譜與一般知識圖譜有很大的差異。比如在內容上，前者更注重知識深度和完備性，在交互方式上更關注面向問題的目標導向性問答，而后者則更像是開放式的聊天問答。歸根結底，人們需要AI像網絡運維專家那樣，可以透過故障表象推測出可能存在于多個環節的問題根源。更進一步，人們需要AI能實現高度智能化的網絡自動駕駛，大大減輕運維人員的值守壓力和應急任務量。

目前華為已經建立起了一套網絡運維知識圖譜的方法論和標準規范，大致上可以劃分成知識來源、知識建模、知識存儲、知識抽取、知識表示和知識融合幾個方面。

從知識來源來看，網絡運維知識蘊藏在告警信息、數據采集以及配置、日志等文檔中，也蘊藏在使用手冊、故障案例、交流論壇以及專家的腦海中。要將這一切融入知識圖譜，就需要配備相應的信息抓取工具，并能夠從這些來源不同、結構不同的數據源中獲取知識語料。

提取到知識語料之后，要從中提取到有價值的知識，必須事先設計知識模型，建立知識圖譜的數據模式(schema)。在具體操作時，可以采用自上而下的方法，由專家利用建模工具來手工編輯schema；也可以采用自下而上的方法，根據源數據的結構、語料的規范標準等，將數據中蘊含的信息以知識圖譜的形式表達出來。以故障傳播知識圖譜為例，不但需要涵蓋故障位置、故障表現、故障表現間的傳遞和依賴關系等等，還需要補齊語義知識。比如應該把“NE”自動等同于“網元”，把“Pod起不來”這樣的語句自動識別為一種故障現象。

網絡故障知識的存儲需要數據庫，這種數據庫不僅要具備圖查詢、圖計算功能，也需要有語義關聯庫、支持故障問答的符號化知識等。因此需要在圖數據庫的基礎上開發一些特定功能。

知識抽取是一個比較復雜的問題，因為知識往往蘊含在不同來源、不同格式的數據和文檔中，從中提取、識別知識都需要開發相應的技術和工具。要知道，僅文本信息的識別、信息提取就是一個非常復雜的科學問題。

知識表示和知識融合是產生知識圖譜的關鍵環節。抽取到的知識往往是缺乏關聯的，要形成完善的知識圖譜，還需要利用多種算法來發現各個實體間的關系，包括各種故障特征之間的傳導關系等。

Go 視頻直播 AI 機器學習

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。