通信領域數據治理漫談之數據管理服務

通信行業是最早展開信息化改造的行業之一。作為數據管道，在運營過程中積累了大量數據，包括通信基礎設施數據、運營數據以及由其衍生的預算、財務等各類數據。這些數據日積月累的沉淀積累到通信運營商的IT系統中，如何讓這些花費大量成本收集到的數據產生價值，支撐業務創新，解決痛點，產生效益是亟需解決的問題。然而，通信領域數據價值密度低，數據來源多，數據格式多，場景復雜，運營商憑借一己之力很難全部搞定。是否可以有一家通信領域經驗豐富，能夠提供端到端技術支撐的企業協助運營商，高效地分析治理通信數據，并解決通信業務中的問題？

與此同時，我們已經真正來到了Data時代，并正在邁向AI自動的未來。要讓人工智能技術真正可以發揮預期的作用，大數據又是至關重要的條件，因為數據和特征決定了機器學習的上限。只有獲取更為準確、及時、一致的高質量數據，才能提供高可靠、高價值的智能化服務。根據埃森哲在2018年4月的一份調研發現，中國制造企業在運用人工智能技術時面臨一系列挑戰。其中，52%的受訪中國企業將數據質量列為突出挑戰，數據安全與網絡安全緊隨其后（47%）。

未來5年，通信行業將成為全球最大的AI市場，而有效的通信數據治理是無法繞開的檻。

華為NAIE(原SoftCOM AI)的數據湖解決方案以元數據驅動，基于華為在通信領域大規模的研發經驗和服務經驗，以及部署網絡的經驗，以業務case為突破點，提供通信領域數據模型，輔以一套簡單易用的數據治理工具服務，幫助運營商在最短時間內構建可支撐業務的通信領域數據湖。

其中，針對網絡自動駕駛提供多領域數據模型，覆蓋網絡、能源、云核等多個領域，同時解決跨域數據共享問題，統一數據的業務解釋口徑，幫助領域外的數據使用者快速準確理解數據的本質。當前NAIE數據湖已提供500+數據模型，支撐了20+的AI項目，通過治理過后的高質量數據，使能機器學習算法和模型取得較好的效果。

華為NAIE數據湖方案中的數據資產管理服務對數據從計劃、獲取、存儲、共享、維護、應用、消亡生命周期的每個階段里可能引發的各類數據質量問題，進行識別、度量、監控、預警等一系列管理活動，并通過改善和提高組織的管理水平使得數據質量獲得進一步提高。下面將詳細介紹華為NAIE數據資產管理服務相關功能。

提供使用簡易的元數據管理工具，配備可視化界面配置表和字段，幫助用戶在多種類型數據倉庫中快速開發數據模型。

提供向導式的數據集成可視化操作界面，提供“拖拉拽”的圖形化開發模式，內置多種計算算子，通過流程組合和參數配置，零編碼即可快速構建數據集成業務流程。

針對通信領域數據特點，基于不同業務場景內置不同質量監控程序，對生產數據進行實時監控和管理，當出現臟數據時實時終止數據處理流程，防止數據污染擴散。

除了數據質量問題，數據治理的另一個重點要求是數據安全。需要提供各種安全防護手段，確保數據的合法合規使用。華為NAIE(原SoftCOM AI)數據資產管理服務提供多種方法比如數據脫敏、敏感信息檢測、數據權限控制等。

幫助數據擁有者對數據定密定級，對數據使用者做到字段級別權限控制。

基于GDPR要求，系統預置多種數據脫敏方案，幫助用戶快速完成對數據的脫敏訴求。

提供敏感數據檢測能力，基于預置的規則，快速發現數據中的敏感信息。

檢測規則配置：

最后，結合通信領域業務場景數據特點，NAIE(原SoftCOM AI）數據資產管理服務從加快人工智能應用創新和開發角度出發，提供時序數據標注服務和數據探索服務，幫助樣本標注效率提升，從而縮短訓練數據集準備周期。

幫助數據開發工程師/算法專家快速發現時序數據中的不同點，增加數據的業務知識，將數據轉換為樣本，幫助機器學習進行訓練，提升模型效果。

發現不同數據集之間的關聯關系。通過編寫SQL（結構化查詢語言）的方式就可以對多種數據源進行聯合查詢操作，包括：HIVE（基于Hadoop的一個數據倉庫工具）、HDFS（Hadoop分布式文件系統）、OBS（華為云對象存儲系統），并可以實現異構數據源聯合查詢。

查詢返回的結果以excel方式展現，并支持通過內置函對返回頁面的數據進行探索，并通過數據可視化，幫助數據使用者輕松發現數據的規律。

華為NAIE(原SoftCOM AI）數據資產管理服務通過華為在通信領域長久積累下的經驗，幫助運營商以快捷、高效、低成本的方式治理好數據，并形成數據湖，支撐通信網絡邁向自動駕駛。

NAIE 網絡智能體

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。