基于異質(zhì)網(wǎng)絡(luò)層次注意力機(jī)制的基因功能預(yù)測(cè)

萬(wàn)美含,熊 贇,朱揚(yáng)勇

(1.復(fù)旦大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院,上海 200433; 2.上海市數(shù)據(jù)科學(xué)重點(diǎn)實(shí)驗(yàn)室,上海 200433;3.上海先進(jìn)通信與數(shù)據(jù)科學(xué)研究院,上海 200433)

0 概述

基因是具有功能性的DNA片段[1]。由于可通過(guò)功能產(chǎn)物的表達(dá)或基因表達(dá)調(diào)控來(lái)影響生物體性狀[2],因此確定基因的功能是生物學(xué)中的核心問(wèn)題之一,其對(duì)了解疾病的生化過(guò)程、識(shí)別和驗(yàn)證新藥物的靶點(diǎn)等都具有重要意義[3]。

基因組測(cè)序的快速發(fā)展使得生物數(shù)據(jù)庫(kù)中基因和基因組序列的數(shù)據(jù)規(guī)模爆炸式增長(zhǎng),但其中有大量的基因功能仍是未知的[4]。因此,通過(guò)已有的基因特性信息對(duì)基因的功能進(jìn)行預(yù)測(cè)是目前的研究熱點(diǎn)。

目前,已有大量的基因功能預(yù)測(cè)方法被提出,總體可歸為兩類:一類是基于guilt-by-association原則的方法,即與相似的生物物質(zhì)(如疾病)相連的基因應(yīng)共享相同的功能[5],通過(guò)融合不同類型的生物數(shù)據(jù),構(gòu)建一個(gè)與基因功能相關(guān)的網(wǎng)絡(luò)來(lái)預(yù)測(cè)基因的功能[6];另一類是基于基因本體(Gene Ontology,GO)的方法,即基因本體通過(guò)結(jié)構(gòu)化的術(shù)語(yǔ)以分子功能、生物過(guò)程和細(xì)胞成分3種屬性來(lái)描述基因,如文獻(xiàn)[7-9]利用基因本體計(jì)算不同基因之間的相似度,實(shí)現(xiàn)對(duì)基因功能的準(zhǔn)確預(yù)測(cè)。本文結(jié)合上述兩類方法,將基因本體數(shù)據(jù)作為基因節(jié)點(diǎn)的屬性,使用多種數(shù)據(jù)源構(gòu)建一個(gè)基因功能相關(guān)異質(zhì)信息網(wǎng)絡(luò)。

近年來(lái),注意力機(jī)制受到學(xué)者的關(guān)注[10],且在各個(gè)研究領(lǐng)域得到廣泛應(yīng)用。在異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)方面,文獻(xiàn)[11]構(gòu)建了HAN模型,通過(guò)引入層次注意力機(jī)制進(jìn)行異質(zhì)網(wǎng)絡(luò)節(jié)點(diǎn)表示學(xué)習(xí),文獻(xiàn)[12]在其基礎(chǔ)上使用節(jié)點(diǎn)結(jié)構(gòu)特征信息構(gòu)建了HANE模型,但該模型僅適用于無(wú)節(jié)點(diǎn)屬性的異質(zhì)網(wǎng)絡(luò)。本文將HANE模型擴(kuò)展到屬性異質(zhì)信息網(wǎng)絡(luò)(Attributed Heterogeneous Information Network,AHIN)中,構(gòu)建一個(gè)具有節(jié)點(diǎn)屬性的基因功能相關(guān)異質(zhì)信息網(wǎng)絡(luò),并在此基礎(chǔ)上提出基于層次注意力機(jī)制的基因節(jié)點(diǎn)表示學(xué)習(xí)方法HAGE。

1 相關(guān)定義

本文通過(guò)結(jié)合多種類型的公開數(shù)據(jù)集,構(gòu)建一個(gè)具有節(jié)點(diǎn)屬性的基因功能相關(guān)異質(zhì)信息網(wǎng)絡(luò),并在該網(wǎng)絡(luò)上應(yīng)用基于層次注意力機(jī)制的網(wǎng)絡(luò)表示學(xué)習(xí)方法,為每一個(gè)基因節(jié)點(diǎn)生成一個(gè)節(jié)點(diǎn)嵌入向量,該向量可用于后續(xù)的基因功能預(yù)測(cè)任務(wù)。對(duì)上述過(guò)程中使用的相關(guān)概念進(jìn)行形式化定義:

定義1異質(zhì)信息網(wǎng)絡(luò)[13]是具有多種節(jié)點(diǎn)類型或(和)多種邊類型的網(wǎng)絡(luò),表示為G=(V,E,T),其中,V是節(jié)點(diǎn)的集合,E是邊的集合。同時(shí),φ:V→Tv是節(jié)點(diǎn)到節(jié)點(diǎn)類型的映射,φ:E→Te是邊到邊類型的映射,Tv和Te是預(yù)設(shè)的節(jié)點(diǎn)和邊的類型,并滿足|Tv|+|Te|>2,T=Tv∪Te。

由于本文使用的異質(zhì)信息網(wǎng)絡(luò)是基于基因-疾病關(guān)系網(wǎng)絡(luò)、基因-miRNA關(guān)系網(wǎng)絡(luò)和miRNA-疾病關(guān)系網(wǎng)絡(luò)生成的,因此其中包含3種節(jié)點(diǎn)類型(基因、疾病和miRNA)和3種邊類型(基因-疾病關(guān)系、基因-miRNA關(guān)系和miRNA-疾病關(guān)系)[14]。

定義2網(wǎng)絡(luò)模式[15]是定義在節(jié)點(diǎn)類型和邊類型上的一個(gè)有向圖,表示為SG={Tv,Te}。

本文構(gòu)建的基因功能相關(guān)異質(zhì)信息網(wǎng)絡(luò)的網(wǎng)絡(luò)模式如圖1所示。

圖1 基因功能相關(guān)網(wǎng)絡(luò)模式

本文中使用的元路徑及其含義如表1所示。

表1 基因功能相關(guān)網(wǎng)絡(luò)中的元路徑及其含義

2 HAGE模型結(jié)構(gòu)

在基因功能相關(guān)異質(zhì)信息網(wǎng)絡(luò)的基礎(chǔ)上,本文提出基于層次注意力機(jī)制的基因節(jié)點(diǎn)表示學(xué)習(xí)方法HAGE,為每一個(gè)節(jié)點(diǎn)學(xué)習(xí)一個(gè)節(jié)點(diǎn)嵌入向量。HAGE模型主要包括3個(gè)部分,即節(jié)點(diǎn)特征抽取、節(jié)點(diǎn)層次的注意力機(jī)制和元路徑層次的注意力機(jī)制。

2.1 節(jié)點(diǎn)特征抽取

給定一個(gè)異質(zhì)信息網(wǎng)絡(luò)G=(V,E,T)以及元路徑集合{P1,P2,…,Pm},對(duì)于V中的每一個(gè)節(jié)點(diǎn)vi,本文從2個(gè)方面考慮該節(jié)點(diǎn)的特征:節(jié)點(diǎn)的屬性信息ai以及該節(jié)點(diǎn)在網(wǎng)絡(luò)中的結(jié)構(gòu)特征fi。

在構(gòu)建的基因功能相關(guān)網(wǎng)絡(luò)中,基因節(jié)點(diǎn)屬性ai來(lái)自于基因本體數(shù)據(jù),將每個(gè)基因?qū)?yīng)的本體術(shù)語(yǔ)轉(zhuǎn)化為multi-hot編碼并作為基因節(jié)點(diǎn)的屬性。

對(duì)于節(jié)點(diǎn)網(wǎng)絡(luò)中的結(jié)構(gòu)特征fi,本文使用基于元路徑的連接分布來(lái)描述。在異質(zhì)網(wǎng)絡(luò)中,不同的元路徑具有不同的語(yǔ)義信息,因此,不同元路徑下相同節(jié)點(diǎn)間的連接分布也是不同的。對(duì)于同一對(duì)基因節(jié)點(diǎn)A和B,其通過(guò)元路徑基因-疾病-基因連接的路徑與通過(guò)元路徑基因-miRNA-基因連接的路徑完全不同,并且路徑的權(quán)重和數(shù)量也不同,因此,其連接分布也完全不同。

(1)

下面對(duì)連接強(qiáng)度矩陣IP進(jìn)行歸一化,作為節(jié)點(diǎn)結(jié)構(gòu)特征矩陣FP:

(2)

最后,將每個(gè)節(jié)點(diǎn)vi的節(jié)點(diǎn)屬性與其基于元路徑的結(jié)構(gòu)特征進(jìn)行拼接并作為節(jié)點(diǎn)的特征向量:

(3)

2.2 節(jié)點(diǎn)層次的注意力機(jī)制

首先在節(jié)點(diǎn)層次上使用注意力機(jī)制來(lái)學(xué)習(xí)基于元路徑鄰居節(jié)點(diǎn)的重要性,并通過(guò)聚合這些擁有不同權(quán)重的鄰居節(jié)點(diǎn)得到新的特征向量,即如果基因A具有功能f,其鄰居節(jié)點(diǎn)中功能與功能f相同或更近似的節(jié)點(diǎn)應(yīng)具有更大的權(quán)重,通過(guò)聚合不同鄰居節(jié)點(diǎn)的嵌入向量及其權(quán)重來(lái)更新基因節(jié)點(diǎn)A的嵌入向量。

(4)

其中,anode是一個(gè)深度神經(jīng)網(wǎng)絡(luò),代表節(jié)點(diǎn)層次的注意力機(jī)制。對(duì)于給定的元路徑P,基于該路徑的所有鄰居節(jié)點(diǎn)共享anode。

(5)

其中,σ是激活函數(shù),W是權(quán)重矩陣,aP是基于元路徑P節(jié)點(diǎn)層次的注意力向量。

(6)

(7)

給定一系列元路徑的集合{P1,P2,…,Pm},基于節(jié)點(diǎn)特征向量并利用節(jié)點(diǎn)層次的注意力機(jī)制可以得到m組新的節(jié)點(diǎn)特征向量{ZP1,ZP2,…,ZPm}。

2.3 元路徑層次的注意力機(jī)制

基于節(jié)點(diǎn)層次的注意力機(jī)制可以得到不同元路徑下新的節(jié)點(diǎn)特征向量,為得到最終的節(jié)點(diǎn)嵌入向量,需要對(duì)不同元路徑下的節(jié)點(diǎn)特征向量進(jìn)行融合。

在異質(zhì)網(wǎng)絡(luò)中,不同的元路徑代表不同的語(yǔ)義信息,因此,需要為不同的元路徑分配不同的權(quán)重。使用一個(gè)元路徑層次的注意力機(jī)制[11]來(lái)學(xué)習(xí)不同元路徑的重要程度βP。給定元路徑的集合{P1,P2,…,Pm}以及基于節(jié)點(diǎn)層次注意力機(jī)制得到的新的節(jié)點(diǎn)特征向量{ZP1,ZP2,…,ZPm},為每個(gè)元路徑Pi學(xué)習(xí)一個(gè)權(quán)重系數(shù)βPi,定義為:

βPi=ameta(ZPi)

(8)

其中,ameta是一個(gè)深度神經(jīng)網(wǎng)絡(luò),代表元路徑層次的注意力機(jī)制。不同的元路徑將學(xué)習(xí)到不同的權(quán)重,對(duì)基因功能預(yù)測(cè)任務(wù)更重要的元路徑將具有更大的權(quán)重。

為學(xué)習(xí)不同元路徑的重要程度,首先對(duì)基于節(jié)點(diǎn)層次的注意力機(jī)制得到的節(jié)點(diǎn)特征向量進(jìn)行非線性變換,然后將變換后的特征向量與元路徑層次的注意力向量q的相似度作為元路徑的重要程度。因此,對(duì)于元路徑Pi,其重要程度wPi表示為:

(9)

其中,W是權(quán)重矩陣,b是偏置向量,q是元路徑層次的注意力向量。

得到每條元路徑的重要程度wi后,對(duì)它們進(jìn)行歸一化處理,得到每條元路徑的權(quán)重系數(shù)βi:

(10)

對(duì)不同元路徑下的節(jié)點(diǎn)特征向量進(jìn)行融合,得到最終的節(jié)點(diǎn)嵌入矩陣Z:

(11)

為提高模型的精度,本文增加一個(gè)全連接層用于分類,并利用部分有標(biāo)簽的節(jié)點(diǎn)對(duì)模型進(jìn)行優(yōu)化,使用交叉熵作為損失函數(shù):

(12)

其中,VL為擁有標(biāo)簽的節(jié)點(diǎn)集合,Yl為節(jié)點(diǎn)的標(biāo)簽,Zl為該節(jié)點(diǎn)的最終節(jié)點(diǎn)嵌入矩陣,C是分類器的參數(shù)。最后通過(guò)反向傳播對(duì)模型進(jìn)行優(yōu)化,學(xué)習(xí)節(jié)點(diǎn)的節(jié)點(diǎn)嵌入向量。

2.4 HAGE算法描述

注意力的計(jì)算可以在所有節(jié)點(diǎn)和元路徑下單獨(dú)計(jì)算,因此,HAGE模型支持并行運(yùn)算。給定一個(gè)元路徑P,節(jié)點(diǎn)層次的注意力機(jī)制時(shí)間復(fù)雜度為O(VPF1F2K+EPF1K),其中,VP是節(jié)點(diǎn)的數(shù)量,EP是基于元路徑的節(jié)點(diǎn)對(duì)的數(shù)量,K是多頭注意力機(jī)制的數(shù)量,F1是節(jié)點(diǎn)特征的數(shù)量,F2是輸出的節(jié)點(diǎn)嵌入向量的維度。總體的時(shí)間復(fù)雜度與節(jié)點(diǎn)數(shù)量以及基于元路徑的節(jié)點(diǎn)對(duì)呈線性關(guān)系。

HAGE模型的算法描述如下:

算法1HAGE算法

輸入異質(zhì)信息網(wǎng)絡(luò)G=(V,E,T),元路徑集合{P1,P2,…,Pm},節(jié)點(diǎn)屬性集合{ai,i∈V},多頭注意力機(jī)制數(shù)量K

輸出節(jié)點(diǎn)嵌入矩陣Z

for i∈V do

end

for Pi∈{P1,P2,…,Pm} do

for k=1,2,…,K do

for i∈V do

end

計(jì)算節(jié)點(diǎn)層次的特征向量

end

拼接得到節(jié)點(diǎn)層次的嵌入向量

end

計(jì)算元路徑層次的權(quán)重系數(shù)βPi;

end

反向傳播并更新HAGE模型的參數(shù);

return節(jié)點(diǎn)嵌入矩陣Z

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文構(gòu)建的具有節(jié)點(diǎn)屬性的基因功能相關(guān)異質(zhì)信息網(wǎng)絡(luò)使用以下數(shù)據(jù)集:

1)使用DisGeNET[19]數(shù)據(jù)集構(gòu)建基因-疾病關(guān)系網(wǎng)絡(luò)。每條邊的權(quán)重根據(jù)可靠性設(shè)為0～1,選取數(shù)據(jù)集中權(quán)重在0.3以上的3 833條基因-疾病關(guān)系來(lái)構(gòu)建網(wǎng)絡(luò)。

2)使用miRTarBase[20]數(shù)據(jù)集構(gòu)建基因-miRNA關(guān)系網(wǎng)絡(luò)。miRTarBase是一個(gè)手工收集的經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證的miRNA及其靶基因關(guān)系的數(shù)據(jù)集,選取其中7 150對(duì)經(jīng)過(guò)蛋白質(zhì)印跡法以及報(bào)告基因分析驗(yàn)證的基因-miRNA關(guān)系,并將權(quán)重設(shè)為1。

3)使用2個(gè)數(shù)據(jù)集構(gòu)建miRNA-疾病關(guān)系網(wǎng)絡(luò)。第1個(gè)數(shù)據(jù)集來(lái)自文獻(xiàn)[21]提供的242條miRNA-疾病關(guān)系;第2個(gè)數(shù)據(jù)集來(lái)自miRNet[22]數(shù)據(jù)集,選取其中疾病名稱可以對(duì)應(yīng)到OMIM編號(hào)的666條miRNA-疾病關(guān)系。將2個(gè)數(shù)據(jù)集進(jìn)行融合,去除重復(fù)數(shù)據(jù)后,共有267個(gè)miRNA和59個(gè)疾病組成的878條miRNA-疾病關(guān)系。由于可信度較高,因此將權(quán)重設(shè)為1。

4)使用基因本體GO數(shù)據(jù)庫(kù)[23-24]中得到所有基因節(jié)點(diǎn)的本體信息,將其作為基因節(jié)點(diǎn)的節(jié)點(diǎn)屬性,共得到4 402個(gè)基因節(jié)點(diǎn)的基因本體信息。

5)使用MSigDB[25]基因集數(shù)據(jù)庫(kù)中的基因家族作為節(jié)點(diǎn)的標(biāo)簽。MSigDB將數(shù)據(jù)庫(kù)中的基因集按照PubMed中文獻(xiàn)的定義進(jìn)行分類,同一家族的基因具有相似的功能性,它們具有同源性或者生物化學(xué)活性。結(jié)果總共有1 185個(gè)基因節(jié)點(diǎn)獲得了所屬的基因家族標(biāo)簽。

實(shí)驗(yàn)數(shù)據(jù)集具體描述如表2所示。

表2 實(shí)驗(yàn)數(shù)據(jù)集描述

3.2 對(duì)比算法

為評(píng)估本文方法的性能,選取以下算法作為對(duì)比方法:

1)GraphSAGE[26]。GraphSAGE通過(guò)聚集局部鄰居節(jié)點(diǎn)的特征來(lái)學(xué)習(xí)節(jié)點(diǎn)的節(jié)點(diǎn)嵌入向量。本文使用平均聚合器版本的GraphSAGE來(lái)證明為不同鄰居節(jié)點(diǎn)以及元路徑分配不同注意力的重要性。

2)GAT[27]。GAT是一個(gè)基于注意力機(jī)制的同質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)方法,其注意力系數(shù)通過(guò)單層前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)。本文在不同元路徑上使用GAT,選擇表現(xiàn)最好的作為最終結(jié)果。

3)HAGE w/o struc。HAGE w/o struc是HAGE的變種,其僅使用節(jié)點(diǎn)屬性作為節(jié)點(diǎn)初始特征向量,不考慮節(jié)點(diǎn)在網(wǎng)絡(luò)中的結(jié)構(gòu)特征。

4)HAGE w/o node。HAGE w/o node是HAGE的變種,其不使用節(jié)點(diǎn)層次的注意力機(jī)制,僅為不同的基于元路徑的鄰居節(jié)點(diǎn)分配相同的權(quán)重系數(shù)。

5)HAGE w/o meta。HAGE w/o meta是HAGE的變種,其不使用元路徑層次的注意力機(jī)制,僅為不同的元路徑分配相同的權(quán)重系數(shù)。

3.3 實(shí)驗(yàn)設(shè)置

隨機(jī)初始化模型參數(shù),并且使用Adam[28]作為模型的優(yōu)化器。其中,學(xué)習(xí)率設(shè)置為0.001,正則化參數(shù)設(shè)置為0.005,多頭注意力機(jī)制數(shù)量K設(shè)置為8,元路徑層次的注意力向量q的維度為128,最終的節(jié)點(diǎn)嵌入向量維度為128。實(shí)驗(yàn)運(yùn)行環(huán)境為64位Linux系統(tǒng),GPU為NVIDIA GTX 1080 Ti。

3.4 節(jié)點(diǎn)分類

本文使用Micro-F1、Macro-F1、Average Precision 和AUC作為模型評(píng)價(jià)指標(biāo),實(shí)驗(yàn)結(jié)果如表3所示。

由表3可以看出,在Micro-F1、Macro-F1、Average Precision和AUC這4種不同的指標(biāo)下,HAGE模型的分類效果均為最優(yōu)。相比于GraphSAGE和GAT 2種同質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)方法,HAGE由于考慮異質(zhì)網(wǎng)絡(luò)的特點(diǎn)即不同元路徑具有不同的語(yǔ)義信息,為不同的元路徑分配不同的權(quán)重,因此能夠取得更好的分類性能。與HAGE w/o struc、HAGE w/o node和HAGE w/o meta相比,HAGE的分類效果均有所提升,由此表明同時(shí)考慮網(wǎng)絡(luò)結(jié)構(gòu)特征、節(jié)點(diǎn)層次以及元路徑層次注意力機(jī)制的重要性。

3.5 模型性能分析

為分析本文模型的效率性能,構(gòu)建不同規(guī)模的屬性異質(zhì)信息網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn),結(jié)果如表4所示。

表4 本文模型時(shí)間效率

3.6 參數(shù)敏感性分析

對(duì)實(shí)驗(yàn)中使用的參數(shù)敏感性進(jìn)行測(cè)試,研究不同參數(shù)對(duì)模型結(jié)果的影響。

1)多頭注意力機(jī)制數(shù)量

為測(cè)試多頭注意力機(jī)制的效果,設(shè)置不同K值進(jìn)行測(cè)試,當(dāng)K=1時(shí)退化為單頭注意力機(jī)制,實(shí)驗(yàn)結(jié)果如圖2所示?？梢钥闯?隨著K值的增加,AUC的值也得到提升,當(dāng)K=8時(shí)模型的分類性能最好。

圖2 多頭注意力機(jī)制數(shù)量對(duì)AUC的影響

2)元路徑層次的注意力向量維度

元路徑層次的注意力機(jī)制的分類效果受元路徑層次的注意力向量q的影響,因此,在不同維度的注意力向量q下進(jìn)行測(cè)試,實(shí)驗(yàn)結(jié)果如圖3所示?？梢钥闯?當(dāng)注意力向量q的維度為128時(shí),模型的分類性能最好。

圖3 元路徑層次的注意力向量維度對(duì)AUC的影響

3)節(jié)點(diǎn)嵌入向量的維度

模型的分類效果受最終的節(jié)點(diǎn)嵌入向量Z維度的影響,因此對(duì)不同維度的節(jié)點(diǎn)嵌入向量Z進(jìn)行測(cè)試,實(shí)驗(yàn)結(jié)果如圖4所示?？梢钥闯?模型的分類性能在維度為128時(shí)效果最好,后續(xù)隨著維度的繼續(xù)增加,AUC略微降低。

圖4 節(jié)點(diǎn)嵌入向量維度對(duì)AUC的影響

3.7 注意力機(jī)制性能分析

在學(xué)習(xí)基因節(jié)點(diǎn)的嵌入向量時(shí),本文考慮了不同元路徑下的鄰居節(jié)點(diǎn)以及元路徑的重要性,并為它們分配不同的權(quán)重系數(shù)。為更好地理解權(quán)重的意義,分別從節(jié)點(diǎn)層次注意力機(jī)制以及元路徑層次注意力機(jī)制方面進(jìn)行分析。

1)節(jié)點(diǎn)層次注意力機(jī)制

本文以基因CHEK2為例,其基于元路徑基因-疾病-基因(GDG)的鄰居如圖5所示,注意力權(quán)重系數(shù)如圖6所示。其中,基因CHEK2、BRCA2、RB1、BRCA1和TP53同屬于家族tumor suppressors(抑癌基因),RNASEL屬于家族protein kinases(蛋白激酶),HOXB13屬于家族homeodomain proteins(同源域蛋白),PIK3CA屬于家族oncogenes(致癌基因)。

圖5 基因CHEK2在元路徑GDG下的鄰居

圖6 基因CHEK2鄰居的權(quán)重系數(shù)分布

從圖6可以看出,具有相同或相似功能的同家族的鄰居基因節(jié)點(diǎn)的權(quán)重系數(shù)較大,其他家族的鄰居基因節(jié)點(diǎn)權(quán)重系數(shù)較小。其中BRCA1的權(quán)重最高,文獻(xiàn)[29]指出CHEK2和BRCA1參與的DNA修復(fù)有關(guān),與乳腺癌發(fā)生有較密切的關(guān)系,因此,它們之間的功能關(guān)聯(lián)更密切。由此可見(jiàn),本文模型可以較好地學(xué)習(xí)到基因節(jié)點(diǎn)層次的重要性。

2)元路徑層次注意力機(jī)制

為分析模型學(xué)習(xí)到的不同元路徑的權(quán)重系數(shù)是否反映了該元路徑對(duì)基因功能預(yù)測(cè)任務(wù)的重要性,對(duì)比僅使用該元路徑進(jìn)行基因功能預(yù)測(cè)的結(jié)果以及該元路徑的注意力權(quán)重系數(shù),結(jié)果如圖7所示。

圖7 3種元路徑的AUC與注意力權(quán)重系數(shù)對(duì)比

由圖7可以看出,單個(gè)元路徑的預(yù)測(cè)結(jié)果與該元路徑的注意力權(quán)重系數(shù)是成正比的,即該元路徑單獨(dú)進(jìn)行基因功能預(yù)測(cè)時(shí)得到的AUC越高,其注意力權(quán)重系數(shù)越大。由此可見(jiàn),本文模型能夠較好地學(xué)習(xí)到不同元路徑對(duì)基因功能預(yù)測(cè)任務(wù)的重要性。

4 結(jié)束語(yǔ)

本文提出基于異質(zhì)網(wǎng)絡(luò)層次注意力機(jī)制的基因節(jié)點(diǎn)表示學(xué)習(xí)方法HAGE。結(jié)合不同來(lái)源的數(shù)據(jù)集構(gòu)建一個(gè)具有節(jié)點(diǎn)屬性的基因功能相關(guān)網(wǎng)絡(luò),使用節(jié)點(diǎn)屬性以及節(jié)點(diǎn)在網(wǎng)絡(luò)中的結(jié)構(gòu)特征作為節(jié)點(diǎn)初始向量,并通過(guò)層次注意力機(jī)制為每一個(gè)基因節(jié)點(diǎn)學(xué)習(xí)一個(gè)節(jié)點(diǎn)嵌入向量,將其用于后續(xù)的基因功能預(yù)測(cè)任務(wù)。實(shí)驗(yàn)結(jié)果表明,與GraphSAGE、GAT等方法相比,本文方法能夠取得較好的預(yù)測(cè)效果。下一步將把本文方法拓展到不同的生物數(shù)據(jù)集中進(jìn)行預(yù)測(cè),如蛋白質(zhì)交互網(wǎng)絡(luò)、miRNA基因共表達(dá)網(wǎng)絡(luò)和代謝網(wǎng)絡(luò)等。