圖卷積神經網絡初探

你吃過牛角甜甜圈嗎（cronuts）？

這一被時代雜志稱為“2013年25個最佳發明之一”的神奇美食，帶著甜甜圈的可愛外貌與牛角面包的酥軟內里，從美國紐約席卷全球。直到今天，世界各地的甜品店依然熱衷于開發各種口味的cronuts，引得饕餮們紛紛自掏腰包。

再看一眼圓圓胖胖的cronuts，各位擦擦口水回到正題，接下來，本文將介紹近年來引爆學術界的另一樣“牛角甜甜圈”：

Graph Convolutional Network——圖卷積神經網絡，顧名思義，它是圖與卷積神經網絡（CNN）的結合體。

CNN在圖像識別、NLP等領域擁有廣泛的應用場景，技術日臻成熟，常用于分類、識別等任務。通過將數據映射到低維的歐式空間，可以有效地采用CNN進行運算。圖像中的像素點具有明確的上下左右位置關系，語句中的文字具有清晰的序列結構，均可轉換為低維的歐幾里得結構化數據，輸入到神經網絡中進行特征提取和計算。

常規卷積操作與圖數據結構

圖作為一種通用的數據結構，可以用來刻畫現實世界中的很多問題，例如社交場景的用戶網絡、電商場景的用戶和商品網絡、電信場景的通信網絡、金融場景的交易網絡和醫療場景的藥物分子網絡等等。相比文本、語音和圖像領域等易處理成歐式空間的數據而言，非歐空間的圖數據（如上右圖），無序才是常態。雖然可以用鄰接矩陣、度矩陣等來表示圖的結構信息，或者節點的特征矩陣等來表示圖的屬性信息，但如何將二者結合以產生高效的低維空間映射，成為當前圖結構數據與CNN之間難以逾越的鴻溝。反過來說，解決這個問題，就架起了圖與CNN連通的橋梁。

作為CNN的靈魂人物，卷積層承擔了特征提取的任務。想要建立GCN，必須要面對來自靈魂的拷問：圖結構數據上的卷積是什么？怎么求？

本文無意列舉許多關于卷積定義的數學公式，簡而言之，卷積運算的實質是加權求和和參數共享。如下GCN流程圖所示，從圖結構數據到神經網絡，卷積操作必不可少，但在圖結構中無法運用常規的卷積操作形成Feature Map，需要“特殊設計”。

GCN流程圖

當前的圖卷積操作方式分成兩類：譜域（Spectral Domain）和空域（Spatial Domain/Vertex Domain）。

基于譜的方法利用圖的Laplacian矩陣的特征向量和特征值，經過一系列的特征分解、近似和歸一化（同樣不想貼公式），最終形成特征在不同層之間的傳播公式：

來自論文：Kipf T N, Welling M. Semi-supervised classification with graph convolutional networks[J]. arXiv preprint arXiv:1609.02907, 2016.

如上的公式將圖的結構信息（）作為卷積核，與特征信息（H）矩陣做卷積操作，實現了圖結構數據到歐式空間數據的轉換。但這種基于譜的方法有一個缺陷：產生的模型不可移植。由于卷積核是整圖的鄰接矩陣和度矩陣轉換產生，一旦圖的結構發生變化，模型需要重新訓練。

為了解決這個問題，一批基于Spatial Domain/Vertex Domain的GCN算法被研發出來，例如大名鼎鼎的GraphSage、首次應用于工業生產的PinSage，以及GAT、FastGCN等等。這些GCN們網絡結構多樣，采樣方式繁多，但都有一個共同的特點：利用節點的鄰域進行特征的卷積操作，換言之，特征加權求和。

公式為GraphSage中提出的通用特征提取框架，它不再以傳統GCN中顯式的作為卷積核，而是采用鄰域采樣方法+Aggregator模擬卷積操作。常用的鄰域采樣方法有隨機選擇、random walk、概率分布等，Aggregator則可以為Mean、Pooling、LSTM等。在這個框架下，通過變換采樣方法和Aggregator，就可以得到一種新型的GCN，非常有利于開發新算法。最重要的是，它僅僅利用圖的局部結構信息，可被圖的不同區域、甚至是不同圖共享。

由于基于Spatial Domain的GCN們，擁有計算代價小、可移植、泛化能力強等特點，在工業級生產過程中，具有廣泛的應用前景。

以上，是筆者目前了解到的兩種主要的圖卷積操作方法，它們成功將圖數據與CNN連接起來，造就了新的AI神器GCN。不知在你眼中，GCN這種“牛角甜甜圈”究竟是擁有牛角面包內餡的甜甜圈，還是長著甜甜圈外表的牛角面包呢？

卷積神經網絡 神經網絡 機器學習

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。