從圖引擎平臺技術，看華為云EI的決心和野心

圖是抽象能力很強的模型，能用來建模各種場景。在Facebook和Twitter這類社交網絡中，以個體為單位的社會關系構成了盤根錯節的一張網。如果將這張網看作為圖（這里的圖指代的是通過圖來組織數據，做關系計算），那么其構造中「點」就是人，「邊」即為人與人之間的關系。

華為云EI圖引擎首席架構師X博開篇即解釋道，華為內部有大量的網絡規劃需求，同時外部面向的電商、金融等行業也有廣泛的圖上建模及分析查詢需求，這就使圖計算工具的誕生成為了必然。此外，整個圖計算領域可進一步細分為查詢分析、計算引擎、存儲管理、可視化等子方向，但截至目前并沒有一種高效涵蓋所有子方向的圖引擎。所以，圖引擎平臺的產生之意也是為了讓普通用戶、開發者和ISV能快速建模、高效計算，從而提升圖分析與計算的質效和速度。

EYWA提供了從底層圖存儲和管理、核心的高性能計算引擎，到面向上層的圖分析、圖查詢這樣一整套解決方案。在華為云EI整體戰略中，圖引擎是基礎平臺服務之一，主要為之上的通用服務和行業服務提供基礎的建模和計算能力。

隨著業界對圖分析及計算的重視加深，X博也相信不久的將來，圖的查詢語言或許會做到統一，計算模型也會得以不斷發展；從主流的BSP、GAS到MEGA model，計算框架會逐漸被優化；硬件上對GPU、SSD等的探索也會使計算性能進一步提升。

華為云AI的兩個重要方向一是視覺，一是語音。當視覺、語音被結構化成數據和數組之后，后面就是向量，向量的也可以利用圖的技術來處理。因此可見，圖引擎或許是華為云EI戰略中非常重要的一枚棋子，成與敗，或皆由這匹馬車拉動。

拋磚引玉：從圖引擎平臺技術創新談「EI」

EYWA的底層為圖存儲和管理模塊，負責數據的「接入」；中間層是負責數據「運算」的核心的高性能計算引擎以及負責數據「處理」的面向上層應用的圖分析和圖查詢模塊；最上面是通過標準接口輸出負責數據結果「呈現」。

結合目前圖計算領域的特性和需求來看，平臺可用性和易用性的關鍵點或許在于四點：

1. 支持大規模的超大圖計算和查詢；

2. 兼顧圖計算和圖查詢的高并發、低延時要求；

3. 能對接標準的查詢接口和查詢語言；

4. 可集成實現計算、查詢、存儲等一體化需求（例如，Neo4j、Titan等擅長于圖數據的實時查詢，但并不能高效地對圖數據進行離線分析；Turi、GraphX側重圖數據的離線分析和挖掘，卻不能對屬性圖進行管理，且不支持實時查詢）。

正如上文所說，圖計算領域目前要想實現集計算、查詢、存儲等于一體的平臺也并非易事。華為云曾挑選、測試了幾款主流的圖計算平臺及圖數據庫，并詳細分析了它們的優劣勢：例如Neo4j、Titan等具備數據持久化能力，但在數據量大的情況下性能劇烈退化且分析功能較弱，Pregel、Powergraph和GraphX又不能有效支持在線分析和查詢擴展。

實際上，圖引擎的這種誕生和創新很大程度上反映了華為云的AI戰略。

對照而言，圖引擎基礎平臺更多的是解決規則不太確定的問題，無論是借助圖模型關系分析制定決策也好，還是為行業圖計算發展提供新的解決方案也好，EYWA對應的終歸是空間和規則的不確定性，基于對圖的分析計算與建模，用于指導研發設計、運維運營等。而這，也為華為云EI兩條落地方向敲下一記重錘。

追本溯源：圖引擎的迭代勾勒著「EI」的難與痛

另外，企業級AI對于解決方案完備性具有更高要求，可以看到，無論BAT還是科大訊飛，都在快速鋪建圍繞自身技術的生態和產業鏈。同樣，同一平臺解決方案的完備性對產品走向市場而言具有重要價值。

采訪中，X博為我們講述了EYWA一共經歷的三次迭代，我們或許可以管中窺豹，看出EI實現的不易與艱難：

第二次迭代：此后，團隊開始重構圖切分、計算框架等核心模塊，將整個平臺服務化。這個過程中又遇到了分布式編程困難（進程同步、數據一致等），開發調試過程漫長等困難。期間，圖引擎團隊摸索和總結了PSW框架、邊集流組織等創新技術，而這時的系統性能也已比開源系統性能提速了數倍。

例如，當前圖計算領域巨大數據量的情況下，實現高效高并發的查詢是一大難點。于是，EYWA開啟了一項通過擴線查詢模擬對社交網絡節點的ego-net的探索。為測試探索結果，華為云用全球計算機排名Graph500提供的Kronecker代碼在對該數據集進行擴展，形成了具有2.5億點110億邊的大圖和5.2億點和1011億邊的超大圖，優化后的實驗結果顯示在百億邊圖100并發下的3跳擴線查詢總響應時間基本維持在0.1秒以內。

圖引擎的落地與展望：怎么看EI的未來

為何要以內部落地來舉例，根源在于華為自身是其EI應用的天然場景之一。華為供應鏈每年都需要處理大量的單據或用技術支撐物流等業務的發展。它也將EI服務能力延展到了多個行業場景中，千億規模圖數據復雜計算與處理就是其中重要一項。

他說，未來EYWA計劃加入更多的智能技術，其中包括：

具有半監督/無監督學習的ML能力（Google有團隊在此方向上發力）；

高階圖算法，圖嵌入，影響力模型；

概率圖模型，對推理、故障定界、異常檢測、行為檢查都有用。

技術演進層面上，EYWA下一步的努力方向是提供更好的圖切分、更快的數據加載等；優化任務并行和任務調度；進行系統性能優化和架構升級以及探索GPU、FPGA對計算加速的幫助。

圖引擎服務

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。