圖神經(jīng)網(wǎng)絡(luò)理論述評(píng)與應(yīng)用初探

陳 明 魏哲巍

中國(guó)人民大學(xué) 北京 100872

引言

近年來(lái)，人工智能技術(shù)取得了巨大的成功，影響到了人們生活的方方面面，其中，深度學(xué)習(xí)(Deep Learning)作為人工智能技術(shù)中最關(guān)鍵的一部分，發(fā)展尤為迅速。深度學(xué)習(xí)推進(jìn)了模式識(shí)別和數(shù)據(jù)挖掘領(lǐng)域的研究，將現(xiàn)實(shí)世界中的每一個(gè)概念都定義為更加抽象的概念，即通過(guò)深度神經(jīng)網(wǎng)絡(luò)來(lái)提取樣本特征。目標(biāo)檢測(cè)、機(jī)器翻譯、語(yǔ)音識(shí)別等許多機(jī)器學(xué)習(xí)任務(wù)曾高度依賴(lài)手工特征工程來(lái)提取信息特征，但多種端到端深度學(xué)習(xí)方式(卷積神經(jīng)網(wǎng)絡(luò)、長(zhǎng)短期記憶網(wǎng)絡(luò)和自編碼器)改變了這種狀況。深度學(xué)習(xí)在多個(gè)領(lǐng)域的成功主要?dú)w功于計(jì)算資源的快速發(fā)展(如GPU)、大量訓(xùn)練數(shù)據(jù)的收集，還有深度學(xué)習(xí)從歐幾里得數(shù)據(jù)(如圖像、文本和視頻)中提取潛在表征的有效性。盡管深度學(xué)習(xí)已經(jīng)在歐幾里得數(shù)據(jù)中取得了很大的成功，但許多領(lǐng)域存在非歐幾里德空間的底層結(jié)構(gòu)數(shù)據(jù)，包括計(jì)算社會(huì)科學(xué)中的社會(huì)網(wǎng)絡(luò)、通信中的傳感器網(wǎng)絡(luò)以及腦成像中的功能網(wǎng)絡(luò)等等，這樣的數(shù)據(jù)龐大且復(fù)雜，它們需要有效分析。例如，在電子商務(wù)領(lǐng)域，一個(gè)基于圖的學(xué)習(xí)系統(tǒng)能夠利用用戶(hù)和產(chǎn)品之間的交互以實(shí)現(xiàn)高度精準(zhǔn)的推薦；在化學(xué)領(lǐng)域，分子被建模為圖，新藥研發(fā)需要測(cè)定其生物活性；在論文引用網(wǎng)絡(luò)中，論文之間通過(guò)引用關(guān)系互相連接，需要將它們分成不同的類(lèi)別，圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Networks，GNNs)應(yīng)運(yùn)而生。從視覺(jué)推理到開(kāi)放性閱讀理解問(wèn)題，從藥物分子的研發(fā)到醫(yī)療診斷，從交通流量預(yù)測(cè)到3D點(diǎn)云數(shù)據(jù)的學(xué)習(xí)，幾年時(shí)間，圖神經(jīng)網(wǎng)絡(luò)技術(shù)的相關(guān)應(yīng)用研究已經(jīng)拓展到了極其寬廣的局面上，展示出了極其重要且極具滲透性的應(yīng)用能力，并帶來(lái)極高的產(chǎn)業(yè)價(jià)值。

1 圖神經(jīng)網(wǎng)絡(luò)

圖(Graph)是計(jì)算機(jī)科學(xué)中一類(lèi)重要的數(shù)據(jù)結(jié)構(gòu)，與“文本”“圖像”“語(yǔ)音”共同構(gòu)成數(shù)字世界的基礎(chǔ)組成部分。圖結(jié)構(gòu)通過(guò)將現(xiàn)實(shí)場(chǎng)景中的實(shí)體轉(zhuǎn)化為節(jié)點(diǎn)，將實(shí)體間的關(guān)系轉(zhuǎn)化為邊，借助節(jié)點(diǎn)和邊的數(shù)據(jù)結(jié)構(gòu)對(duì)實(shí)體及其關(guān)系進(jìn)行抽象建模。在“萬(wàn)物互聯(lián)”的大環(huán)境下，圖結(jié)構(gòu)對(duì)現(xiàn)實(shí)場(chǎng)景中研究對(duì)象間的作用關(guān)系具有很強(qiáng)的表達(dá)能力。

將傳統(tǒng)的深度學(xué)習(xí)算法應(yīng)用于圖時(shí)存在諸多挑戰(zhàn)，與圖像、音頻和文本具有清晰的網(wǎng)格結(jié)構(gòu)不同，圖具有不規(guī)則的結(jié)構(gòu)，如圖1所示，與網(wǎng)格結(jié)構(gòu)相比，圖的節(jié)點(diǎn)無(wú)序，圖中的每個(gè)節(jié)點(diǎn)都與其周?chē)钠渌?jié)點(diǎn)存在復(fù)雜的依賴(lài)關(guān)系[1]。因此現(xiàn)有的深度學(xué)習(xí)算法，例如，卷積神經(jīng)網(wǎng)絡(luò)(CNNs)僅適用于網(wǎng)格結(jié)構(gòu)數(shù)據(jù)(圖像)，遞歸神經(jīng)網(wǎng)絡(luò)(RNNs)僅適用于序列(文本)數(shù)據(jù)。圖神經(jīng)網(wǎng)絡(luò)的核心在于建模節(jié)點(diǎn)間的依賴(lài)關(guān)系，從而對(duì)圖節(jié)點(diǎn)進(jìn)行表示，并對(duì)接下游機(jī)器學(xué)習(xí)任務(wù)。

圖1 網(wǎng)格數(shù)據(jù)(左)與圖數(shù)據(jù)(右)

基本的圖神經(jīng)網(wǎng)絡(luò)模型最初由譜方法導(dǎo)出，將卷積核作用在譜空間的輸入信號(hào)上，并利用卷積定理實(shí)現(xiàn)圖卷積，以完成節(jié)點(diǎn)之間的信息聚合。在信號(hào)上的卷積被定義為

1.1 圖神經(jīng)網(wǎng)絡(luò)的空間鄰域聚合

從研究層面來(lái)說(shuō)，GCN將圖神經(jīng)網(wǎng)絡(luò)從譜域卷積的研究轉(zhuǎn)向了空間域卷積的研究。為了適應(yīng)現(xiàn)實(shí)世界中復(fù)雜的圖數(shù)據(jù)，研究人員通過(guò)設(shè)計(jì)不同聚合函數(shù)來(lái)結(jié)合中心節(jié)點(diǎn)和其鄰域節(jié)點(diǎn)信息。一個(gè)有效方法是將注意力機(jī)制融入到圖學(xué)習(xí)方案中。注意力機(jī)制通過(guò)允許模型專(zhuān)注于輸入中最相關(guān)的部分，從而幫助模型做出決策，在融合注意力機(jī)制的GNN模型中，圖鄰接矩陣僅被用來(lái)定義鄰域節(jié)點(diǎn)，而節(jié)點(diǎn)間的權(quán)重計(jì)算則依賴(lài)于節(jié)點(diǎn)特征。例如圖注意力網(wǎng)絡(luò)GAT[4]的注意力權(quán)重計(jì)算公式為其中可學(xué)習(xí)參數(shù)用于計(jì)算節(jié)點(diǎn)間的注意力權(quán)重。如圖2所示，得到注意力權(quán)重后每個(gè)鄰居節(jié)點(diǎn)按照不同的權(quán)重聚合信息到目標(biāo)節(jié)點(diǎn)。大量研究表明，注意力機(jī)制在生物分子領(lǐng)域尤為重要。相比GCN和GraphSAGE[5]等僅利用均值權(quán)重聚合的模型，GAT和GrapStar[6]等方法學(xué)習(xí)到的權(quán)重分布方差更大，在標(biāo)準(zhǔn)的蛋白質(zhì)功能分類(lèi)任務(wù)中的預(yù)測(cè)精度可以提升20%左右。注意力也使模型的結(jié)果更易于解釋。例如，通過(guò)分析模型對(duì)醫(yī)學(xué)本體圖中不同組件的關(guān)注度，可以確定導(dǎo)致特定醫(yī)療狀況的主要因素[7]。然而目前基于注意力機(jī)制的圖模型參數(shù)量大，運(yùn)行效率不高；其次，大多數(shù)基于注意力的圖神經(jīng)網(wǎng)絡(luò)僅通過(guò)節(jié)點(diǎn)特征學(xué)習(xí)聚合權(quán)重，忽視了圖結(jié)構(gòu)信息。因此如何使注意力機(jī)制結(jié)合圖結(jié)構(gòu)信息，如何提升注意力圖模型的運(yùn)行效率仍然具有很大的挑戰(zhàn)。

圖2 圖注意力網(wǎng)絡(luò)根據(jù)權(quán)重聚合信息

1.2 深度圖神經(jīng)網(wǎng)絡(luò)

盡管目前圖神經(jīng)網(wǎng)絡(luò)的表現(xiàn)力得到了廣泛的認(rèn)可，但目前大多數(shù)GNN模型都是淺層網(wǎng)絡(luò)，如GCN和GAT等都在兩層模型中實(shí)現(xiàn)了最佳預(yù)測(cè)性能。這種淺層結(jié)構(gòu)限制了它們從高階鄰居中提取信息的能力。然而，疊加更多網(wǎng)絡(luò)層并增加非線性往往會(huì)降低這些模型的性能，隨著層數(shù)的增加，GNN中節(jié)點(diǎn)的表示傾向于收斂到某個(gè)值，因此節(jié)點(diǎn)變得不可區(qū)分，這種現(xiàn)象被稱(chēng)為過(guò)度平滑。有許多研究工作表明這種過(guò)度平滑更深層的原因是隨機(jī)游走的穩(wěn)態(tài)分布(Steady-State Distribution)，因此阻礙或改變穩(wěn)態(tài)分布的收斂是緩解過(guò)度平滑的可行方式。例如通過(guò)密集跳躍連接來(lái)組合模型每一層的輸出，來(lái)學(xué)習(xí)不同圖子結(jié)構(gòu)的不同階表示，以保持節(jié)點(diǎn)表示的局部性；或者在訓(xùn)練時(shí)從輸入圖中隨機(jī)刪除一些邊，以此緩解過(guò)度平滑的收斂速度并提高模型泛化能力。這些方法在全監(jiān)督的直推式或歸納式學(xué)習(xí)中將圖模型層數(shù)增加至16到32層，且大幅度提升了模型預(yù)測(cè)性能。然而增加的模型層數(shù)使得模型訓(xùn)練時(shí)更易受到過(guò)擬合的影響，因此如何在學(xué)習(xí)高階交互信息的同時(shí)保證模型泛化性是該研究中需要重點(diǎn)關(guān)注的。另一方面，還可以將GNN中的信息傳播和特征變換解耦，用PPR(Personalized PageRank)或者HKPR(熱核PageRank)等存在局部性的圖傳播方案代替原本GNN中的高階概率轉(zhuǎn)移方案，從而避免過(guò)平滑，例如SGC[8]、APPNP[9]、GDC[10]等方法。雖然可以在學(xué)習(xí)圖中高階交互關(guān)系時(shí)避免過(guò)平滑，但這些方法只是對(duì)每一層的鄰域特征進(jìn)行線性組合，失去了深層非線性結(jié)構(gòu)的強(qiáng)大表達(dá)能力，可能會(huì)限制相應(yīng)的GNN模型性能。目前的深度圖神經(jīng)網(wǎng)絡(luò)理論集中于同質(zhì)圖的研究，而在具有多種節(jié)點(diǎn)和邊類(lèi)型的異構(gòu)圖中，如何訓(xùn)練深層模型，從而盡可能的捕獲高階交互所帶來(lái)的收益，是一個(gè)重要研究方向。

2 圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練技術(shù)

隨著互聯(lián)網(wǎng)中數(shù)據(jù)量的高速增長(zhǎng)，現(xiàn)實(shí)世界的圖很容易有數(shù)千萬(wàn)甚至數(shù)十億個(gè)節(jié)點(diǎn)和邊。因此，如何設(shè)計(jì)可伸縮模型，最好是相對(duì)于圖節(jié)點(diǎn)數(shù)量或邊數(shù)量具有線性時(shí)間復(fù)雜度的模型，是一個(gè)關(guān)鍵問(wèn)題。經(jīng)典的GCN使用的是一階拉普拉斯多項(xiàng)式濾波器近似圖上的卷積操作，并使用全批量訓(xùn)練網(wǎng)絡(luò)，時(shí)間復(fù)雜度與卷積層數(shù)呈線性關(guān)系，但需要將全部圖結(jié)構(gòu)及其節(jié)點(diǎn)特征加載進(jìn)顯存，無(wú)法支持大規(guī)模圖數(shù)據(jù)的訓(xùn)練。GraphSAGE[4]利用小批量訓(xùn)練提高GCN模型的收斂性并通過(guò)隨機(jī)游走采樣來(lái)減少學(xué)習(xí)節(jié)點(diǎn)的表示所需的鄰域大小，緩解“鄰居爆炸”問(wèn)題，但是訓(xùn)練的時(shí)間復(fù)雜度和GCN階數(shù)仍呈指數(shù)關(guān)系，僅能支持淺層模型的訓(xùn)練，無(wú)法發(fā)揮深層神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)。Cluster-GCN[11]使用圖聚類(lèi)算法預(yù)先將圖分割為多個(gè)子圖，每個(gè)子圖作為一個(gè)批量來(lái)進(jìn)行GCN的訓(xùn)練，將訓(xùn)練的時(shí)間復(fù)雜度和GCN階數(shù)降為線性關(guān)系，但對(duì)于大規(guī)模的圖數(shù)據(jù)，標(biāo)注數(shù)據(jù)非常稀少，圖聚類(lèi)無(wú)法控制將指定個(gè)數(shù)的標(biāo)注節(jié)點(diǎn)分配到同一個(gè)子圖，影響了小批量訓(xùn)練的效果。最近，GraphSAINT[12]提出了多種輕量級(jí)采樣算法(例如節(jié)點(diǎn)采樣、隨機(jī)游走采樣)來(lái)代替圖聚類(lèi)，提高了采樣的速度與靈活性，可以支持只包含少量標(biāo)記數(shù)據(jù)的半監(jiān)督學(xué)習(xí)任務(wù)。但是如何在大規(guī)模圖數(shù)據(jù)中學(xué)習(xí)遠(yuǎn)距離節(jié)點(diǎn)之間的關(guān)系、提高圖模型推理速度仍然是有待解決的問(wèn)題。

另外有很多研究者嘗試從系統(tǒng)角度提高圖學(xué)習(xí)效率。PyG[13]是幾何深度學(xué)習(xí)庫(kù)，利用稀疏GPU加速和高效的小批量處理來(lái)實(shí)現(xiàn)高數(shù)據(jù)吞吐量，并為不規(guī)則數(shù)據(jù)(圖、點(diǎn)云、流形)提供統(tǒng)一易用的接口。Wang等人構(gòu)建的圖上深度學(xué)習(xí)軟件包DGL[14]，可以集成不同深度學(xué)習(xí)框架(PyTorch、TensorFlow、MXNet)，提供send、recv兩種基本原語(yǔ)執(zhí)行圖計(jì)算，自動(dòng)檢測(cè)操作模型并進(jìn)行優(yōu)化，在生命科學(xué)、知識(shí)圖、推薦系統(tǒng)、自然語(yǔ)言處理和圖像處理等不同領(lǐng)域?yàn)橛脩?hù)提供靈活的接口。Euler[15]是阿里提出的工業(yè)級(jí)分布式圖學(xué)習(xí)框架，通過(guò)緩存批訓(xùn)練過(guò)程中的中間結(jié)果，優(yōu)化批訓(xùn)練所需的指數(shù)級(jí)計(jì)算力，并利用分布式并行支持?jǐn)?shù)十億級(jí)別圖的訓(xùn)練。阿里還搭建了綜合圖神經(jīng)網(wǎng)絡(luò)平臺(tái)AliGraph[16]，根據(jù)度分布優(yōu)化緩存，在分布式環(huán)境中優(yōu)化圖存儲(chǔ)、分割及采樣算子，并利用異步訓(xùn)練等技術(shù)提高圖模型訓(xùn)練效率，應(yīng)用于多種業(yè)務(wù)場(chǎng)景。

3 圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用

圖神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、推薦系統(tǒng)、網(wǎng)絡(luò)分析、交通、分子預(yù)測(cè)、組合優(yōu)化等領(lǐng)域。下面介紹了圖神經(jīng)網(wǎng)絡(luò)幾種具有代表性的應(yīng)用場(chǎng)景。

3.1 計(jì)算機(jī)視覺(jué)

圖形神經(jīng)網(wǎng)絡(luò)的最大應(yīng)用領(lǐng)域之一是計(jì)算機(jī)視覺(jué)，在圖像分類(lèi)、視覺(jué)推理、語(yǔ)義分割、場(chǎng)景圖生成和動(dòng)作識(shí)別等多個(gè)方面都存在利用圖結(jié)構(gòu)的方法。

圖像分類(lèi)是計(jì)算機(jī)視覺(jué)領(lǐng)域中一項(xiàng)非?；A(chǔ)和重要的任務(wù)，受到了廣泛的關(guān)注。利用圖神經(jīng)網(wǎng)絡(luò)可以將結(jié)構(gòu)信息融合到圖像分類(lèi)中。例如可以構(gòu)建知識(shí)圖，其中每個(gè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)對(duì)象類(lèi)別，并將節(jié)點(diǎn)的單詞嵌入作為預(yù)測(cè)不同類(lèi)別分類(lèi)器的輸入，由此構(gòu)建的知識(shí)圖可以作為零樣本識(shí)別的額外信息。此時(shí)GNN可以在圖像之間進(jìn)行消息傳遞，學(xué)習(xí)圖像之間的相似性，實(shí)現(xiàn)零樣本或少樣本識(shí)別。相比于基于CNN的分類(lèi)模型，上述方法在零樣本識(shí)別任務(wù)中的預(yù)測(cè)精度提升約4%左右。隨著圖的增大，基于CNN的模型性能幾乎沒(méi)有改變，而基于GNN的分類(lèi)效果可以持續(xù)上升。此外，捕獲到圖交互信息的分類(lèi)模型可以穩(wěn)健地處理知識(shí)庫(kù)中的臟數(shù)據(jù)。但是零樣本識(shí)別任務(wù)完全依靠類(lèi)別間的消息傳遞進(jìn)行學(xué)習(xí)，存在非平衡環(huán)境的問(wèn)題，即因?yàn)槟硹l消息的錯(cuò)誤而擴(kuò)大錯(cuò)誤范圍面導(dǎo)致識(shí)別的不可靠性，因此在今后的工作中可以嘗試添加主動(dòng)學(xué)習(xí)，即在識(shí)別過(guò)程中添加少量與用戶(hù)的問(wèn)答，及時(shí)糾正錯(cuò)誤。

計(jì)算機(jī)視覺(jué)系統(tǒng)通常需要結(jié)合空間和語(yǔ)義信息進(jìn)行推理。因此，為推理任務(wù)生成圖是很自然的。典型的視覺(jué)推理任務(wù)是視覺(jué)問(wèn)答，即回答給定圖片的相關(guān)問(wèn)題。為回答該問(wèn)題，需要學(xué)習(xí)圖中各個(gè)部分的空間關(guān)系，但是傳統(tǒng)的基于CNN或者LSTM的視覺(jué)問(wèn)答算法受只能編碼單一向量的限制而只能處理圖中某一部分，如CNN特征向量不能有效地捕捉多個(gè)對(duì)象實(shí)例、LSTM將問(wèn)題處理為一系列的詞因此不能反映語(yǔ)言結(jié)構(gòu)的真實(shí)復(fù)雜性。相反，Teney等人[17]分別構(gòu)建圖像場(chǎng)景圖和問(wèn)題句法圖，然后用GNN來(lái)訓(xùn)練嵌入以預(yù)測(cè)最終答案。實(shí)驗(yàn)表明通過(guò)使用GNN，在“抽象場(chǎng)景”多項(xiàng)選擇基準(zhǔn)測(cè)試中，準(zhǔn)確率從71.2%提高到74.4%，在更具挑戰(zhàn)性的“平衡”場(chǎng)景中，準(zhǔn)確率從34.7%提高到39.1%。除了學(xué)習(xí)圖像的空間信息，Norcliffebrown等人[18]還構(gòu)造了問(wèn)句間的關(guān)系圖，從而執(zhí)行更精細(xì)的關(guān)系探索和更可解釋的推理過(guò)程。雖然視覺(jué)問(wèn)答研究已經(jīng)取得一些研究，但就從目前發(fā)展形勢(shì)來(lái)看仍然面臨一定局限性。比如現(xiàn)有方法整體準(zhǔn)確率不夠高，特別是在較有挑戰(zhàn)性的“平衡”場(chǎng)景下，準(zhǔn)確率遠(yuǎn)低于人類(lèi)水平。改進(jìn)方向可以關(guān)注在如何提升圖像和文本之間的關(guān)系特征，現(xiàn)有方法分別關(guān)注在這兩方面的各自表示而沒(méi)有將它們很好地融合。

此外，視覺(jué)推理還可用于目標(biāo)檢測(cè)、交互檢測(cè)和區(qū)域分類(lèi)。在目標(biāo)檢測(cè)中，GNN可以用于計(jì)算感興趣區(qū)域特征；在交互檢測(cè)中，GNN可以用作人與目標(biāo)之間的消息傳遞工具，如圖3所示，其中紅色標(biāo)記人，綠色標(biāo)記物，白色為交互行為生成的圖；在區(qū)域分類(lèi)中，GNN可以對(duì)連接區(qū)域和類(lèi)的圖進(jìn)行推理[19]。

圖3 人-物交互圖

語(yǔ)義分割是圖像理解的重要一步。這里的任務(wù)是為圖像中的每個(gè)像素分配唯一的標(biāo)簽(或類(lèi)別)，即密集的分類(lèi)問(wèn)題。近年來(lái)興起的自動(dòng)駕駛、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)等應(yīng)用都需要用到語(yǔ)義分割技術(shù)。由于圖像中的區(qū)域通常不是網(wǎng)格狀的，并且三維語(yǔ)義分割和點(diǎn)云分類(lèi)等需要利用更多的幾何信息，因此很難用二維CNN進(jìn)行建模。因此可以在點(diǎn)云的基礎(chǔ)上構(gòu)造了k近鄰圖，圖中的每個(gè)節(jié)點(diǎn)都對(duì)應(yīng)了一組點(diǎn)，并與一個(gè)隱藏的表示向量相關(guān)聯(lián)，利用GNN作為傳播模型，按一定的時(shí)間步長(zhǎng)展開(kāi)后，以每個(gè)節(jié)點(diǎn)的隱藏狀態(tài)為輸入，預(yù)測(cè)其語(yǔ)義標(biāo)簽。GNN利用了二維顯示信息和三維幾何關(guān)系，能夠捕獲圖像中的長(zhǎng)期依賴(lài)關(guān)系，是傳統(tǒng)方法難以建模得到的。但是目前已有的數(shù)據(jù)集并不能滿(mǎn)足語(yǔ)義分割發(fā)展的需求，因此構(gòu)建數(shù)據(jù)量大、種類(lèi)豐富且有效的數(shù)據(jù)集非常重要。此外，現(xiàn)有的三維數(shù)據(jù)較為單一，大部分局限于室內(nèi)場(chǎng)景和城市街道場(chǎng)景，而少有戶(hù)外點(diǎn)云場(chǎng)景數(shù)據(jù)集與遙感三維數(shù)據(jù)集。

圖形神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)中應(yīng)用的可能方向也在不斷增加，例如基于結(jié)構(gòu)化場(chǎng)景圖的生成圖像方法，可以顯式地描述對(duì)象和關(guān)系，并生成具有許多可識(shí)別對(duì)象的復(fù)雜圖像；將人體骨骼連接形成圖，應(yīng)用時(shí)空神經(jīng)網(wǎng)絡(luò)識(shí)別視頻中的人類(lèi)動(dòng)作有助于從機(jī)器方面更好地理解視頻內(nèi)容。

3.2 自然語(yǔ)言處理

雖然文本是單詞序列，圖神經(jīng)網(wǎng)絡(luò)仍可以應(yīng)用于多種基于文本的任務(wù)，例如文本分類(lèi)、機(jī)器翻譯、關(guān)系抽取等。文本分類(lèi)是自然語(yǔ)言處理中一個(gè)重要而經(jīng)典的問(wèn)題，可用于文檔組織、新聞過(guò)濾、垃圾郵件檢測(cè)、觀點(diǎn)挖掘等應(yīng)用中。傳統(tǒng)的文本分類(lèi)模型如RNN和CNN等，都能很好地捕捉局部連續(xù)詞序列中的語(yǔ)義和句法信息，但可能會(huì)忽略具有非連續(xù)和遠(yuǎn)距離語(yǔ)義的語(yǔ)料庫(kù)中的全局詞共現(xiàn)。運(yùn)用GNN便可解決上述問(wèn)題，有三種建模方式。第一，通過(guò)詞共現(xiàn)網(wǎng)絡(luò)建模文本信息從而進(jìn)行文本分類(lèi)，其中詞共現(xiàn)網(wǎng)絡(luò)的節(jié)點(diǎn)是非停用詞、連邊是在給定窗口下的詞共現(xiàn)關(guān)系。第二，利用文檔間的結(jié)構(gòu)信息構(gòu)建文檔關(guān)系網(wǎng)絡(luò)進(jìn)行文本分類(lèi)。第三，將文檔和單詞同時(shí)作為節(jié)點(diǎn)來(lái)構(gòu)建異構(gòu)語(yǔ)料庫(kù)圖，使用異構(gòu)圖神經(jīng)網(wǎng)絡(luò)直接來(lái)學(xué)習(xí)單詞和文檔的嵌入。多種基準(zhǔn)評(píng)測(cè)表明，在沒(méi)有任何外部詞嵌入或者知識(shí)庫(kù)的情況下，基于GNN的文本分類(lèi)效果要優(yōu)于基于RNN或CNN的分類(lèi)效果。此外，隨著訓(xùn)練數(shù)據(jù)百分比的降低，基于GNN的文本分類(lèi)效果相對(duì)于其他方法變得更加突出，這表明基于GNN的文本分類(lèi)對(duì)較少訓(xùn)練數(shù)據(jù)具有魯棒性?；贕NN的文本分類(lèi)效果最佳的主要原因是建模成圖既能捕捉文檔詞關(guān)系，又能捕捉全局詞關(guān)系。但是值得注意的是，傳統(tǒng)GNN不適合做情感分類(lèi)任務(wù)，例如在電影評(píng)論數(shù)據(jù)集MR[20]上GNN的效果不如CNN和RNN，這是因?yàn)閭鹘y(tǒng)GNN無(wú)法建模在情感分類(lèi)中非常重要的詞序，且MR構(gòu)建的圖結(jié)構(gòu)較為稀疏，限制了節(jié)點(diǎn)間消息的傳遞。因此如何在GNN模型中建模節(jié)點(diǎn)順序信息，并提升GNN模型在稀疏圖上的性能，是一個(gè)重大的挑戰(zhàn)。

機(jī)器翻譯旨在利用神經(jīng)網(wǎng)絡(luò)將文本從源語(yǔ)言自動(dòng)翻譯成目標(biāo)語(yǔ)言，它通常被任務(wù)是一個(gè)“序列到序列”的任務(wù)，使用序列編解碼器完成。例如Transformer[21]引入注意力機(jī)制，代替了傳統(tǒng)RNN模型。實(shí)際上，Transformer假設(shè)所有單詞之間有一個(gè)完全連通的圖形結(jié)構(gòu)，這就給基于GNN的機(jī)器翻譯帶來(lái)了可能。傳統(tǒng)序列編解碼器缺乏任何語(yǔ)法或語(yǔ)言層次結(jié)構(gòu)的明確建模，因此添加句法信息并不會(huì)對(duì)翻譯效果帶來(lái)提升。而依賴(lài)GNN實(shí)現(xiàn)的編碼器可以實(shí)現(xiàn)自動(dòng)將源語(yǔ)句的句法鄰域信息合并到特征向量中，從而潛在地提高翻譯輸出的質(zhì)量。Bastings等人[22]首次完全依賴(lài)GNN實(shí)現(xiàn)機(jī)器翻譯，GNN使用源語(yǔ)句的預(yù)測(cè)句法依賴(lài)樹(shù)來(lái)產(chǎn)生對(duì)其句法領(lǐng)域敏感的單詞表示，即編碼器的隱藏層。輸入源語(yǔ)句至GNN，模型會(huì)返回目標(biāo)語(yǔ)句。此外，Marcheggiani[23]等人利用句法GNN整合了關(guān)于源句謂詞論元結(jié)構(gòu)的信息，即語(yǔ)義角色表征，并比較了僅整合句法信息、僅整合語(yǔ)義信息和兩者的結(jié)果。相比傳統(tǒng)的序列化算法，GNN的使用使得對(duì)象之間的復(fù)雜的語(yǔ)義關(guān)系得到了有效的挖掘[24]，在各項(xiàng)自然語(yǔ)言處理任務(wù)上都出現(xiàn)了一定的提升。

3.3 推薦系統(tǒng)

不論是電商還是社交網(wǎng)絡(luò)，用戶(hù)和商品的交互關(guān)系、用戶(hù)和用戶(hù)的關(guān)注關(guān)系天然形成了圖結(jié)構(gòu)，因此圖神經(jīng)網(wǎng)絡(luò)在推薦系統(tǒng)中變得無(wú)處不在。在基于圖的推薦系統(tǒng)中，以項(xiàng)目和用戶(hù)為節(jié)點(diǎn)，其中的文本圖像等信息形成節(jié)點(diǎn)特征，項(xiàng)目與項(xiàng)目、用戶(hù)與用戶(hù)、用戶(hù)與項(xiàng)目之間的關(guān)系形成邊，推薦系統(tǒng)的關(guān)鍵是評(píng)價(jià)一個(gè)項(xiàng)目對(duì)用戶(hù)的重要性。因此，可以將其轉(zhuǎn)換為一個(gè)鏈路預(yù)測(cè)問(wèn)題，目標(biāo)是預(yù)測(cè)用戶(hù)和項(xiàng)目之間丟失的鏈接。RNN等序列模型只能對(duì)相鄰的兩個(gè)項(xiàng)目或物品的單向轉(zhuǎn)移關(guān)系進(jìn)行建模，忽略了其他項(xiàng)目，而GNN可以捕獲節(jié)點(diǎn)間的高階交互關(guān)系從而學(xué)習(xí)出高質(zhì)量的節(jié)點(diǎn)表示。雖然基于GNN的推薦系統(tǒng)已經(jīng)取得了很大的進(jìn)展，但一些挑戰(zhàn)仍然沒(méi)有得到很好的解決，因此需要作出更多的努力。首先，在現(xiàn)實(shí)世界中，對(duì)象(包括用戶(hù)和項(xiàng)目)以及它們之間的關(guān)系隨著時(shí)間的推移而變化，從而產(chǎn)生的是動(dòng)態(tài)圖而非靜態(tài)圖。這種動(dòng)態(tài)可能會(huì)對(duì)推薦結(jié)果產(chǎn)生重大影響，甚至?xí)S著時(shí)間的推移而改變。然而這種情況往往被忽視或研究較少。其次，是基于因果推理的關(guān)系圖學(xué)習(xí)。因果推理是發(fā)現(xiàn)對(duì)象或動(dòng)作之間因果關(guān)系的主要技術(shù)。盡管在可解釋的推薦方面已經(jīng)取得了一些進(jìn)展，但是我們還遠(yuǎn)遠(yuǎn)沒(méi)有完全理解用戶(hù)選擇的原因和意圖，這對(duì)于做出可靠的、可解釋的推薦是非常關(guān)鍵的。

3.4 其他領(lǐng)域

除了以上三個(gè)領(lǐng)域外，圖神經(jīng)網(wǎng)絡(luò)還可以應(yīng)用于眾多領(lǐng)域，如交通流量預(yù)測(cè)，通過(guò)將路網(wǎng)數(shù)據(jù)轉(zhuǎn)換為時(shí)空?qǐng)D結(jié)構(gòu)，利用GNN結(jié)合RNN在時(shí)空?qǐng)D上進(jìn)行多元時(shí)間序列預(yù)測(cè)，從而進(jìn)行出行路線指導(dǎo)；將原子和化學(xué)鍵轉(zhuǎn)換為圖結(jié)構(gòu)從而進(jìn)行分子性質(zhì)預(yù)測(cè)；將不同模態(tài)的醫(yī)學(xué)影像利用圖神經(jīng)網(wǎng)絡(luò)結(jié)合，學(xué)習(xí)腦功能分區(qū)對(duì)雙向情感障礙的影響等等。

4 結(jié)語(yǔ)

圖神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，很好地填補(bǔ)了將深度學(xué)習(xí)應(yīng)用于關(guān)系數(shù)據(jù)建模的技術(shù)空白，實(shí)現(xiàn)了圖數(shù)據(jù)與深度學(xué)習(xí)技術(shù)的有效結(jié)合。隨著圖神經(jīng)網(wǎng)絡(luò)研究的發(fā)展與落地，超大規(guī)模圖數(shù)據(jù)、動(dòng)態(tài)圖數(shù)據(jù)、實(shí)時(shí)交互式等應(yīng)用場(chǎng)景也為圖學(xué)習(xí)的研究帶來(lái)了新的挑戰(zhàn)。例如，如何在連續(xù)時(shí)間內(nèi)對(duì)網(wǎng)絡(luò)變化進(jìn)行建模，如何支持模型參數(shù)的增量更新，如何保證可解釋性和魯棒性等。圖上深度學(xué)習(xí)是關(guān)系數(shù)據(jù)建模的一個(gè)重要組成部分，這是一個(gè)很有前途和快速發(fā)展的研究領(lǐng)域，也是朝著人工智能技術(shù)未來(lái)邁出的重要一步。