2020HDC.Cloud | 網(wǎng)絡(luò)智能運(yùn)維下的知識圖譜

讓AI更智能，谷歌要用知識圖譜讓AI像人一樣理解世界。

讓AI更智能，我們要用知識圖譜讓AI像網(wǎng)絡(luò)專家一樣了解網(wǎng)絡(luò)。

知識圖譜引領(lǐng)人工智能從感知階段演進(jìn)到認(rèn)知階段，成為當(dāng)前的熱點(diǎn)技術(shù)之一，受到ICT產(chǎn)學(xué)研界的重點(diǎn)關(guān)注。

為什么人們?nèi)绱酥匾曋R圖譜技術(shù)？

因?yàn)橹R圖譜不僅能夠通過為萬事萬物建立起全方位的鏈接，支撐基于常識知識和概念知識的搜索類需求，催生了Google、百度、Amazon Go、微軟 Bing等搜索技術(shù)的智能化升級，而且讓各行業(yè)應(yīng)用在知識圖譜加持下獲得新進(jìn)展，誕生出各種領(lǐng)域知識圖譜應(yīng)用，如智能問答、金融征信、醫(yī)藥研發(fā)、公安技偵、互聯(lián)網(wǎng)+生活服務(wù)等等。

不同行業(yè)不同場景對不同的知識領(lǐng)域提出了各種訴求，催生出知識圖譜工程和NLP各種技術(shù)的爆炸式增長，同時對知識抽取和數(shù)據(jù)處理技術(shù)提出了各種各樣的技術(shù)需求。

華為網(wǎng)絡(luò)人工智能希望能夠利用知識圖譜技術(shù)解決網(wǎng)絡(luò)領(lǐng)域典型場景下的智能化運(yùn)維問題，也對如何構(gòu)建圖譜、應(yīng)用圖譜提出了各種訴求：從知識內(nèi)容看，不同于百科類知識圖譜，網(wǎng)絡(luò)領(lǐng)域知識圖譜更關(guān)注網(wǎng)絡(luò)領(lǐng)域的知識深度和完備性，從人機(jī)交互技術(shù)角度講，不同于開放式聊天的交互方式，網(wǎng)絡(luò)領(lǐng)域更關(guān)注面向解決問題的目標(biāo)導(dǎo)向性問答體驗(yàn)。比如說，一個電信核心網(wǎng)絡(luò)運(yùn)維專家可以回答和解決的一些專業(yè)領(lǐng)域問題，機(jī)器是否也能做到，甚至進(jìn)行更為深刻的理解和推理演繹，進(jìn)而讓機(jī)器能輔助人達(dá)到提高運(yùn)維效率，降低運(yùn)維成本和節(jié)省時間的目的；未來演進(jìn)到網(wǎng)絡(luò)自動駕駛的高級階段，可以減少甚至消除網(wǎng)絡(luò)運(yùn)維工程師和網(wǎng)絡(luò)專家的運(yùn)維值守壓力和起夜率，提供更精準(zhǔn)更人性化的智能服務(wù)，善莫大焉。

構(gòu)建知識圖譜的流程主要可以分為知識獲取、知識融合、知識驗(yàn)證、知識計(jì)算、知識應(yīng)用等幾個步驟，華為網(wǎng)絡(luò)人工智能基于NAIE平臺需要知識圖譜工程系統(tǒng)在此基礎(chǔ)上設(shè)立領(lǐng)域知識標(biāo)準(zhǔn)規(guī)范、細(xì)化知識加工技術(shù)鏈條、完善運(yùn)營運(yùn)維與可信能力等等。總體構(gòu)想如下圖所示：

打開來看看這一塊、那一塊、方方面面都有啥：

從來源形式上看，知識蘊(yùn)藏在結(jié)構(gòu)化（例如：告警、指標(biāo)等）、半結(jié)構(gòu)化（例如：配置、日志、規(guī)范化產(chǎn)品文檔）、非結(jié)構(gòu)化（例如：實(shí)踐手冊、故障案例、分享帖子）數(shù)據(jù)中，甚至在專家的腦子里。這些網(wǎng)絡(luò)知識來源于support網(wǎng)站的產(chǎn)品文檔，運(yùn)維專家的維護(hù)文檔，發(fā)生告警故障時的現(xiàn)網(wǎng)抓包數(shù)據(jù)，現(xiàn)網(wǎng)環(huán)境的配置文檔數(shù)據(jù)，運(yùn)維專家的經(jīng)驗(yàn)沉淀文檔或者故障傳播知識采集等，相應(yīng)的我們需要配套對接獲取這些數(shù)據(jù)的工具，可以復(fù)用現(xiàn)有NAIE平臺的數(shù)據(jù)采集工具，也需要補(bǔ)齊諸如抓包數(shù)據(jù)獲取工具、接口，文檔數(shù)據(jù)獲取鏈接通道與管理工具等，以便從不同來源、不同結(jié)構(gòu)的數(shù)據(jù)源中獲取知識語料。

有了語料，我們面臨的第一個重要問題是，我們需要什么樣的知識？或者說我們需要在數(shù)據(jù)中提取出哪些有價值的知識才能解決我們面臨的故障運(yùn)維問題？這就需要有效的知識組織結(jié)構(gòu)，我們在數(shù)據(jù)獲取之前就需要先設(shè)計(jì)知識模式，建立知識圖譜的數(shù)據(jù)模式（schema）。通常模式設(shè)計(jì)方法有兩種：一種是自頂向下的方法，網(wǎng)絡(luò)專家與建模專家利用知識圖譜建模工具手工編輯schema；另一種是自底向上的方法，基于來源數(shù)據(jù)的結(jié)構(gòu)、語料的規(guī)范標(biāo)準(zhǔn)，以圖技術(shù)組織知識結(jié)構(gòu)設(shè)計(jì)，包括：實(shí)體（點(diǎn)）建模、屬性建模、關(guān)系（邊）建模，將數(shù)據(jù)中蘊(yùn)含的知識組織形式以圖的方式表達(dá)建立起來，從現(xiàn)有的高質(zhì)量數(shù)據(jù)源中進(jìn)行映射。數(shù)據(jù)建模的重要性在于這項(xiàng)工作是知識圖譜工程所有工作的基礎(chǔ)，因此標(biāo)準(zhǔn)規(guī)范的 schema設(shè)計(jì)能有效降低領(lǐng)域知識抽取使用對接的總體成本。

舉個例子，我們做故障傳播知識圖譜，就需要定義故障在哪里發(fā)生（產(chǎn)品對象），發(fā)生了什么故障（告警、指標(biāo)異常、故障現(xiàn)象、日志異常），所發(fā)生的故障之間有什么傳遞或依賴關(guān)系（告警間的關(guān)系、告警與指標(biāo)異常的關(guān)系、指標(biāo)異常間的關(guān)系、故障現(xiàn)象間的關(guān)系等等）。要注意的一點(diǎn)是，分類標(biāo)準(zhǔn)定義數(shù)據(jù)中蘊(yùn)含的很重要的知識，需要在設(shè)計(jì)中體現(xiàn)出來。此外只有這個業(yè)務(wù)知識還是不夠，對于支撐良好的人機(jī)交互還需要補(bǔ)齊網(wǎng)絡(luò)領(lǐng)域的語義知識。比如：當(dāng)NE這個縮略語出現(xiàn)時，要知道這里說的是“網(wǎng)元”，不是“東北”；當(dāng)“Pod起不來”出現(xiàn)時，說的是一個進(jìn)程失敗故障現(xiàn)象，不是叫Pod的家伙睡懶覺。

有了知識模型，知識的組織和擺放就有了貨架，知識如何按貨架擺放就需要知識存儲，要存好還要好用是知識存儲技術(shù)的關(guān)鍵，重要考慮的是選什么樣的數(shù)據(jù)庫按設(shè)計(jì)好的schema來存。要不要選關(guān)系數(shù)據(jù)庫或者NoSQL數(shù)據(jù)庫？要用什么樣的圖數(shù)據(jù)庫？這些都需要根據(jù)數(shù)據(jù)場景仔細(xì)選擇。

WikiData選擇了Virtuso，CN-DBpedia 實(shí)際上是基于mongo 數(shù)據(jù)庫，一般基于特定領(lǐng)域的知識圖譜都可能會按需用到某個圖數(shù)據(jù)庫，選擇RDF Store還是Property Graph，需要綜合考慮知識來源、使用方式和應(yīng)用特點(diǎn)。網(wǎng)絡(luò)故障知識不僅需要圖查詢、圖計(jì)算，也需要理解語義、承載故障問題的答案，因而最理想的圖數(shù)據(jù)庫是即能并行化部署、支撐關(guān)系存儲、支持圖計(jì)算，又能有效存儲RDF形式的知識，支撐語義理解所需的詞典表、三元組、符號化知識表示，目前受限于實(shí)體名單的限制，我們只能在合規(guī)的開源圖數(shù)據(jù)庫和自研圖數(shù)據(jù)庫中做選擇，這也催生了我們對自研圖數(shù)據(jù)庫的一些關(guān)鍵訴求——多能力融合，當(dāng)滿足該需求的版本正式發(fā)布后，相信對開發(fā)者來說是一個值得期待的選擇。

我們知道，分布在網(wǎng)上的知識常常以分散、異構(gòu)的形式存在，傳統(tǒng)的數(shù)據(jù)清洗抽取方式不一定適用于知識抽取，很多問題不能解決，因此需要針對知識來源格式和知識抽取目標(biāo)有針對性的設(shè)計(jì)抽取工具能力。目前我們利用自研的基于正則表達(dá)的**化抽取工具TIE作為機(jī)器數(shù)據(jù)知識抽取工具；對于文檔知識抽取，情況稍微復(fù)雜些，首先我們需要保留產(chǎn)品文檔組織結(jié)構(gòu)中的章節(jié)段落分類分層知識，利用文檔元數(shù)據(jù)解析XML標(biāo)簽，獲得段落句子級別的抽取中粒度知識，然后需要利用神經(jīng)網(wǎng)絡(luò)模型和NLP工具針抽取詞級別的細(xì)粒度知識，包括實(shí)體詞和特征詞間的分類、關(guān)系等。通常抽取結(jié)果需要迭代和驗(yàn)證來提高新詞發(fā)現(xiàn)準(zhǔn)確率，這樣來將不同源不同結(jié)構(gòu)的數(shù)據(jù)融合成統(tǒng)一表示的不同顆粒度的知識，存入知識庫中。

單靠抽取獲得的知識，在關(guān)系表達(dá)層面往往是稀疏的，說白了就是關(guān)系是不足的，往往需要通過各種算法自動挖掘、發(fā)現(xiàn)新的關(guān)系，做知識補(bǔ)全。我們需要的知識補(bǔ)全能力不僅包括實(shí)體間的關(guān)系補(bǔ)全，也包括各種故障特征傳導(dǎo)關(guān)系的補(bǔ)全。例如故障A的可能原因可能與故障B的可能影響表達(dá)的是一個意思，那就需要在“原因”與“影響”間補(bǔ)全一個相似關(guān)系。這樣的知識補(bǔ)全是對細(xì)粒度級別知識抽取的有效補(bǔ)充。

純文本數(shù)據(jù)中獲取知識會涉及到的實(shí)體識別、實(shí)體鏈接、關(guān)系識別、概念抽象等，需要用到許多自然語言處理的技術(shù)，包括但不僅限于分詞、樣本標(biāo)注、詞性標(biāo)注、同義詞提取等等。

做好知識加工準(zhǔn)備，只是完成了AI應(yīng)用開發(fā)的一部分準(zhǔn)備工作，如何利用獲取到的知識，最重要的是解決關(guān)鍵應(yīng)用場景問題，實(shí)現(xiàn)業(yè)務(wù)價值，才能體現(xiàn)技術(shù)的價值。

2020年華為開發(fā)者大會HDC.Cloud上，華為網(wǎng)絡(luò)人工智能將線上直播對知識圖譜構(gòu)建和應(yīng)用場景做一個系統(tǒng)性介紹，希望我們在開發(fā)過程中的一些創(chuàng)新嘗試和實(shí)踐經(jīng)驗(yàn)?zāi)軌蚪o廣大開發(fā)者提供一些有益的參考，敬請期待！

HDC游記

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。