潘柏儒 丁衛(wèi)平 鞠恒榮 黃嘉爽 程 純 沈鑫杰 耿 宇
近年來,圖卷積神經(jīng)網(wǎng)絡(Graph Convolutional Neural Network, GCN)在各領域都得到廣泛應用.在交通流預測領域,Zhao等[1]提出時態(tài)圖卷積神經(jīng)網(wǎng)絡,使用GCN學習復雜的拓撲結構,獲取空間相關性,并將網(wǎng)絡應用于城市道路網(wǎng)的交通預測.Yu等[2]提出時空卷積網(wǎng)絡,使用的拓撲圖可區(qū)分相鄰道路連接的權重,采用GCN進行交通預測.在社交分析領域,Ying等[3]結合隨機游走和GCN,將只適用于小規(guī)模用戶群體的推薦系統(tǒng)擴充到適用于數(shù)億用戶的推薦系統(tǒng).在疾病分類任務中,Parisot等[4]將受試者表示為一個稀疏圖,圖的節(jié)點與基于圖像的特征向量相關聯(lián).之后,Parisot等[5]構建稀疏圖,將受試者的特點和特征均整合到稀疏圖中,對它們之間的相互作用進行建模.
上述對于傳統(tǒng)GCN的研究,通常先構造一個拓撲圖用于描述節(jié)點之間的聯(lián)系,再根據(jù)該拓撲圖使用各種方法進行節(jié)點特征的更新.然而,傳統(tǒng)拓撲圖只能表示確定性關系,無法描述真實世界的不確定性關系.在社交網(wǎng)絡中,Kipf等[6]將GCN應用于空手道俱樂部網(wǎng)絡[7],將該數(shù)據(jù)集建模為表示確定關系的拓撲圖,然后分類.Liu等[8]根據(jù)給定社會文本構建拓撲圖,利用GCN提取社會文本的情感特征.
目前,研究人員嘗試結合不確定性關系和傳統(tǒng)拓撲圖.Zadeh等[9]引入模糊集理論,試圖使用模糊集理論處理圖中的不確定因素.Rosenfeld等[10]嘗試使用模糊圖刻畫節(jié)點之間的不確定信息.特別是在節(jié)點分類任務中,Huang等[11]構造具有不確定性的圖,以此進行疾病預測,提高對疾病預測的準確率和受試者人群的分類精度.Yao等[12]構建多個鄰接矩陣表示拓撲圖的不確定性,并將基于注意力的特征聚合策略引入圖卷積的計算中,得到較高的分類精度.由此可看出,引入不確定關系對提升GCN的分類準確率是有幫助的.
上述研究通常只適用于特定的圖數(shù)據(jù)集,如Cora、Citeseer、Pubmed數(shù)據(jù)集[13],或適用于可簡單轉變成拓撲圖結構的數(shù)據(jù).在交通流預測中,Cui等[14]將地點建模成圖節(jié)點,將地點之間的距離建模成邊權值.除了這種內容較單一、較好轉換格式的數(shù)據(jù)集以外,還存在一種醫(yī)學圖像數(shù)據(jù)集,它同時包含成像數(shù)據(jù)和非成像數(shù)據(jù).在這種醫(yī)學圖像數(shù)據(jù)集上:成像數(shù)據(jù)是指受試者的神經(jīng)影像數(shù)據(jù),如功能性磁共振圖像(Functional Magnetic Resonance Imaging, fMRI);非成像數(shù)據(jù)是指受試者對應的表型屬性,包括每位受試者對應的年齡、性別、采集地點等,這些數(shù)據(jù)是以表格形式呈現(xiàn)的固定信息,而非fMRI醫(yī)學影像的形式.
目前這種同時包含成像數(shù)據(jù)和非成像數(shù)據(jù)的醫(yī)學圖像數(shù)據(jù)集也廣泛應用于構造圖結構中,一般情況下,節(jié)點表示受試者(患者或健康對照組),并伴有一組特征,而圖的邊以直觀方式結合主體之間的關聯(lián),這種表示允許在疾病分類任務中同時結合豐富的成像信息和非成像信息及主體特征.以往用于疾病預測的基于圖的方法只關注受試者之間的兩兩相似性,依賴受試者特定的成像特征向量,忽略個體特征,未能對它們之間的相互作用建模.例如,Tong等[15]使用監(jiān)督學習進行分類,Wolz等[16]、Brosch等[17]使用無監(jiān)督任務進行分類,Parisot等[18]采用聚類進行人群分析,均是因為它們有能力容納復雜的成對互動,并能整合非成像信息.Wang等[19]提出一種漸進的方法,旨在從觀察到的成像特征中學習親和矩陣,同時使用已知的表型標簽對訓練數(shù)據(jù)進行驗證,旨在使用表型信息增強成像.也就是說,利用成像數(shù)據(jù)和非成像數(shù)據(jù),將受試者作為圖節(jié)點,并從成像數(shù)據(jù)中提取特征向量與其關聯(lián),邊權值從非成像數(shù)據(jù)(表型屬性)中編碼受試者和他們特征之間的成對相似性,就可在一個單一框架中結合成像數(shù)據(jù)和非成像數(shù)據(jù).
然而,上述方法仍存在兩點缺陷:1)采用模糊集理論刻畫不確定關系時,需要附加信息或先驗知識,但這些信息可能不容易得到;2)刻畫不確定性關系時需要使用固定的圖數(shù)據(jù)集或可簡單轉變成拓撲圖結構的數(shù)據(jù),而未涉及到同時包含成像數(shù)據(jù)和非成像數(shù)據(jù)的醫(yī)學圖像數(shù)據(jù)集.
為了解決上述問題,本文提出基于粗糙圖的圖卷積神經(jīng)網(wǎng)絡算法(Graph Convolutional Neural Network Algorithm Based on Rough Graphs, RG-GCN).首先,針對不確定性關系,構造可表示這種不確定關系的拓撲圖——粗糙圖.由于Pawlak[20]提出的粗糙集可用于定量分析并處理不精確、不一致、不完整的信息與知識,也不需要先驗知識,所以本文首先使用非成像數(shù)據(jù)刻畫節(jié)點間的邊,并將這種傳統(tǒng)拓撲圖的邊理論與粗糙集中的上下近似關系結合,較好地表示不確定性關系,把這種能表示節(jié)點間不確定關系的邊定義為粗糙邊,從而得到粗糙圖.然后,基于該粗糙圖更新節(jié)點特征,利用粗糙權重系數(shù)訓練粗糙圖.最后,把訓練后的粗糙圖作為GCN的輸入,采用半監(jiān)督分類方式進行節(jié)點分類.
圖是描述一組對象的結構,其中某些對象對在某種意義上是“相關的”[21].給定一個無向圖G={V,E},其中,V表示節(jié)點集,E表示邊集,節(jié)點集中的節(jié)點表示實際個體,邊集中的邊表示個體和個體之間的關系.圖G含有n個節(jié)點,vi表示圖G中的第i個節(jié)點.圖G的鄰接矩陣W的大小為n×n,鄰接矩陣W的第i行第j列的數(shù)字Wij表示節(jié)點vi、vj之間的權重.當節(jié)點vi、vj之間無連接時,設它們之間的權重為0.該拓撲圖的構圖方式為:若節(jié)點對(vi,vj)之間存在相同的屬性M,則該節(jié)點對(vi,vj)之間的權值增加1.
粗糙集理論基于不可分辨關系對數(shù)據(jù)進行劃分,利用上下近似集對目標進行描述[22].
假設連續(xù)值信息系統(tǒng)表示為
S=(U,AT=C∪D,f,V),
f(x,a)∈Va.
圖卷積神經(jīng)網(wǎng)絡是用于圖數(shù)據(jù)的神經(jīng)網(wǎng)絡模型.圖卷積神經(jīng)網(wǎng)絡的傳播規(guī)則如下[23]:
在兩層GCN中,A表示鄰接矩陣,在預處理步驟中,首先計算
使模型更簡潔,而
(1)
其中:W(0)∈RC×H表示輸入層到隱藏層的權重矩陣,隱藏層有H個特征;W(1)=RH×F表示隱藏層到輸出層的權重矩陣;X表示輸入圖信號,對應圖上就是點的輸入特征;ReLU(·)和softmax(·)表示激活函數(shù).
圖提供一種直觀的方式建模受試者(作為節(jié)點)及它們之間的關聯(lián)或相似性(作為邊).文獻[15]~文獻[18]均利用非成像數(shù)據(jù)構造節(jié)點間的邊,利用現(xiàn)有的互補性非成像數(shù)據(jù)描述圖結構中主體之間的相似性.但是在此基礎上構造的邊是表示確定性關系的邊,邊權值為固定值.為了更好地處理真實世界中的不確定關系,本文提出基于粗糙圖的GCN(RG-GCN),結合粗糙集中表示不確定性關系的上下近似理論和傳統(tǒng)拓撲圖的邊理論,也就是說,將使用非成像數(shù)據(jù)構造、表示確定性關系的邊轉換成可以表示不確定性關系的粗糙邊,即利用這種方式處理不確定性關系.
基于上述討論,為了能更好地表示具有不確定性的圖數(shù)據(jù),并對這種具有不確定性的圖數(shù)據(jù)進行分類,本文提出基于粗糙圖的圖卷積神經(jīng)網(wǎng)絡,實現(xiàn)對節(jié)點間不確定性關系的刻畫,以及對不確定性圖結構的處理,提高算法的運行效率和分類準確率.
RG-GCN具體框圖如圖1所示.在圖中,S表示圖節(jié)點,GRough表示本文構造的粗糙圖,GRough中的實線表示粗糙圖的上近似邊(Ei-),虛線表示粗糙圖的下近似邊(Ei-).需要注意的是,正文中使用的符號V表示拓撲圖中的節(jié)點.圖1中的S本質上也是表示拓撲圖中的節(jié)點,但由于本文實驗是基于醫(yī)學圖像數(shù)據(jù)集進行的,是將每位受試者(Subject)作為圖中的節(jié)點,所以在畫圖時直接使用受試者的表達S.S是基于醫(yī)學圖像數(shù)據(jù)集對節(jié)點的更精細表示,可更好地在圖中體現(xiàn)本文實驗采用的是醫(yī)學圖像數(shù)據(jù)集,后文中的圖也是如此.
圖1 RG-GCN框圖Fig.1 Framework of RG-GCN
RG-GCN分類過程如下.首先,從節(jié)點的成像數(shù)據(jù)中提取節(jié)點特征.再從節(jié)點的表型屬性中選擇較關鍵的表型屬性,根據(jù)其不確定程度把對應的屬性劃分成兩組不同的非成像表型屬性:上近似非成像表型屬性集合Mmax={Mhmax}和下近似非成像表型屬性集合Mmin={Mhmin},其中,Mhmax表示上近似非成像表型屬性集合中的上近似非成像表型屬性,Mhmin表示下近似非成像表型屬性集合中的下近似非成像表型屬性.并利用對應非成像表型屬性的關系構造節(jié)點之間的粗糙邊,得到粗糙圖GRough.然后,利用節(jié)點間的粗糙權重系數(shù)αij分別訓練粗糙圖對應的上近似圖GMAX和下近似圖GMIN,得到訓練后的粗糙圖GRough′.最后,將訓練后的粗糙圖GRough′作為GCN的輸入,通過式(1)對其進行訓練,輸出經(jīng)過GCN訓練和優(yōu)化的結果,得到圖節(jié)點的分類結果.
需要注意的是,非成像互補數(shù)據(jù)可提供關鍵信息以解釋受試者特征向量之間的關聯(lián),因此選擇最能解釋成像數(shù)據(jù)之間相似性或受試者標簽之間相似性的表型測量方法是必要的.本文通過粗糙集中能表示不確定性關系的上下近似理論分別劃分上近似非成像數(shù)據(jù)和下近似非成像數(shù)據(jù),分別構造上近似邊和下近似邊.從粗糙集可知,集合X關于R的上近似是那些可能屬于X的對象組成的最小集合,集合X關于R的下近似是肯定屬于X的對象組成的最大集合,即上近似類似取大的可能范圍,下近似類似取更精確、小的范圍.所以,本文使用上下近似理論將具有準確數(shù)值的非成像數(shù)據(jù)劃分成如下兩類.1)若非成像數(shù)據(jù)對應的數(shù)值的任何差別都可直接判別為完全不相同,這類非成像數(shù)據(jù)劃分為下近似非成像數(shù)據(jù);2)若非成像數(shù)據(jù)對應的數(shù)值雖然不相同,但在相差很小的范圍以內,并不會有很大差別,這類非成像數(shù)據(jù)劃分為上近似非成像數(shù)據(jù).
表型屬性可提供關鍵信息,解釋節(jié)點和節(jié)點之間的關系.本文利用表型屬性定義精確的鄰域系統(tǒng),優(yōu)化圖卷積的性能.
為了克服傳統(tǒng)拓撲圖中邊只能表示確定性關系的缺點,結合傳統(tǒng)拓撲圖與粗糙集理論,提出一種工具圖——粗糙圖.
根據(jù)定義可知,上近似類似取大的可能范圍,下近似類似取更精確、小的范圍,所以利用粗糙集的上下近似理論,將具有準確數(shù)值的非成像數(shù)據(jù)劃分成下近似非成像數(shù)據(jù)和上近似非成像數(shù)據(jù).根據(jù)這種劃分對傳統(tǒng)拓撲圖的邊理論進行一般化推廣:使用上近似非成像數(shù)據(jù)劃分上近似邊,使用下近似非成像數(shù)據(jù)劃分下近似邊.
定義1給定節(jié)點集V={v1,v2,…,vv},根據(jù)上述非成像表型屬性的劃分標準,該節(jié)點集對應非成像表型屬性劃分為一組上近似非成像表型屬性Mmax={Mhmax}和一組下近似非成像表型屬性Mmin={Mhmin}.對于Mmin,如果兩個節(jié)點在其對應的下近似表型屬性中的對應數(shù)值相同,且具有該特征的表型屬性的個數(shù)為i1個,則稱兩個節(jié)點之間存在i1條下近似邊Ei-;對于Mmax,如果兩個節(jié)點在對應的上近似表型屬性中的對應數(shù)值在一定規(guī)則下可判為等價,且具有該特征的表型屬性的個數(shù)為i2個,則稱兩個節(jié)點之間存在i2條上近似邊Ei-.
定義2給定節(jié)點集V={v1,v2,…,vv},根據(jù)上述非成像表型屬性的劃分標準,該節(jié)點集對應非成像表型屬性劃分為一組上近似非成像表型屬性Mmax={Mhmax}和一組下近似非成像表型屬性Mmin={Mhmin},則該拓撲圖根據(jù)不同的非成像表型屬性對應的上近似鄰接矩陣和下近似鄰接矩陣分別為
(2)
(3)
其中,v、w表示節(jié)點集中不同的節(jié)點,Sim(Av,Aw)表示節(jié)點之間相似性的度量,增加最相似圖節(jié)點之間的邊權值,γmax、γmin表示表型度量之間距離的度量.
相似性度量
(4)
其中,ρ表示相關距離,σ表示核的寬度,x(v)表示從節(jié)點v成像數(shù)據(jù)中提取的特征向量.
根據(jù)Mmax和Mmin的不同,分別定義γmax和γmin如下.γmax為一個單位階躍函數(shù):
(5)
其中θ表示設置的閾值.
γmin為標準的克羅內克函數(shù)δ:
(6)
定義3若給定粗糙圖GRough,其節(jié)點集V={v1,v2,…,vv},根據(jù)上述非成像表型屬性的劃分標準,該節(jié)點集對應非成像表型屬性劃分為一組上近似非成像表型屬性Mmax={Mhmax}和一組下近似非成像表型屬性Mmin={Mhmin}.節(jié)點的上近似邊集Ei-={e1-,e2-,…,ei-},i-表示上近似邊的個數(shù),節(jié)點的下近似邊集Ei-={e1-,e2-,…,ei-},i-表示下近似邊的個數(shù).初始化節(jié)點的上近似邊集和下近似邊集
e1-=e2-=…=ei-=e1-=e2-=…=ei-=0.
如果節(jié)點之間存在相同屬性Mhmin或等價屬性Mhmax,則對應的邊權值加1.將得到的鄰接矩陣A與相似性度量結合,可得到該粗糙圖的鄰接矩陣ARough.最終根據(jù)節(jié)點集V、上近似邊集Ei-和下近似邊集Ei-定義該粗糙圖.
如果圖中所有的邊都為下近似邊,稱該圖為下近似圖GMIN,其下近似鄰接矩陣為Wmin(v,w).如果圖中所有的邊都為上近似邊,稱該圖為上近似圖GMAX,其上近似鄰接矩陣為Wmax(v,w).如果圖中存在上近似邊,也存在下近似邊,該圖稱為粗糙圖GRough,即
GRough=GMAX+GMIN.
(7)
粗糙圖的鄰接矩陣為:
ARough=Wmax(v,w)+Wmin(v,w).
(8)
如圖2所示,根據(jù)定義2和定義3可知,假如給定節(jié)點集S={S1,S2,…,S6},該節(jié)點集對應一組上近似非成像表型屬性
Mmax={M1max,M2max,M3max}
和一組下近似非成像表型屬性
Mmin={M1min,M2min,M3min}.
S1和S2之間具有等價的M1max和M3max,具有相同的M1min和M2min,可得S1和S2之間存在兩條上近似邊、兩條下近似邊,且S1和S2之間上近似邊權值為2,下近似邊權值也為2.S1和S3之間具有等價的M3max,具有相同的M2min,可得S1和S3之間存在一條上近似邊、一條下近似邊,且S1和S3之間上近似邊權值為1,下近似邊權值也為1.同理可得到其它任意兩節(jié)點間上近似邊、下近似邊、上近似邊權值和下近似邊權值.若只關注兩點間的上近似邊(圖中節(jié)點間為實線的邊),得到上近似圖GMAX,將得到的上近似邊權值和節(jié)點間的γmax結合,得到上近似鄰接矩陣Wmax(v,w).若只關注兩點間的下近似邊(圖中節(jié)點間為虛線的邊),得到下近似圖GMIN,將得到的下近似邊權值和節(jié)點間的γmin結合,得到下近似鄰接矩陣Wmin(v,w).根據(jù)式(7)和已得到的上近似圖GMAX、下近似圖GMIN,得到粗糙圖GRough,根據(jù)式(8)和已得到的上近似鄰接矩陣Wmax(v,w)、下近似鄰接矩陣Wmin(v,w),得到粗糙圖的鄰接矩陣ARough.
圖2 粗糙圖的構造Fig.2 Construction of rough graphs
若圖G中包含n個節(jié)點,使用一個n×n的方陣A,并使每個節(jié)點都分別對應某行(列).既然圖描述這些節(jié)點各自對應的屬性之間的關系,故可將任意一對節(jié)點v、w之間可能存在關系與矩陣A中對應的單元A[v,w]和A[w,v]對應.從鄰接矩陣的定義上看,若有S個圖節(jié)點,構造的下近似鄰接矩陣Wmin(v,w)為一個S×S的方陣,每個節(jié)點都分別對應于某行(列),且下近似圖描述這些節(jié)點各自對應屬性之間的關系,故可將任意一對節(jié)點v、w之間可能存在關系與矩陣Wmin(v,w)中對應的單元Wmin[v,w] 和Wmin[w,v]對應.結合定義3可知:每對節(jié)點間對應的下近似邊的權值表示存在關系,0表示不存在關系,滿足對稱鄰接矩陣的定義,所以下近似矩陣Wmin(v,w)為對稱的.同理,構造的上近似鄰接矩陣Wmax(v,w)為一個S×S的方陣,每個節(jié)點都分別對應于某行(列),且下近似圖描述這些節(jié)點各自對應屬性之間的關系,故可自然地將任意一對節(jié)點v、w之間可能存在關系與矩陣Wmax(v,w)中對應的單元Wmax[v,w] 和Wmax[w,v]對應.結合定義3可知:每對節(jié)點間對應的上近似邊的權值表示存在關系,0表示不存在關系,滿足對稱鄰接矩陣的定義,所以上近似矩陣Wmax(v,w)為對稱的.根據(jù)式(8)可知粗糙圖GRough對應的鄰接矩陣為ARough.
基于上述討論,本文給出算法1.
算法1粗糙圖的生成
輸入拓撲圖中的節(jié)點V={v1,v2,…,vv},
一組非成像上近似表型屬性Mmax={Mhmax},
一組非成像下近似表型屬性Mmin={Mhmin}
輸出粗糙圖GRough
step 1 任取一對節(jié)點v、w,判斷該節(jié)點對之間在Mmin中是否具有相同屬性,如果有,則說明該節(jié)點對之間存在下近似邊Ei-.
step 2 重復step 1,直到該節(jié)點對中所有的Mmin都完成對比,若該節(jié)點對在下近似屬性集中具有完全相同的i1個屬性個數(shù),則使用對應的i1個下近似邊Ei-連接兩個節(jié)點.
step 3 重復step 2,直到該圖中任意兩個節(jié)點對(v,w)的Mmin被對比完成為止.
step 4 得到原始下近似鄰接矩陣Wmin0(v,w).
step 5 由式(4)得到相似性度量Sim(Av,Aw).
step 6 利用Sim(Av,Aw)對Wmin0(v,w)進行訓練,得到下近似矩陣Wmin(v,w).
step 7 任取一對節(jié)點vi、vj,判斷在一定規(guī)則下該節(jié)點對是否存在等價的上近似屬性Mmax,如果有,則說明該節(jié)點對之間存在上近似邊Ei-.
step 8 重復step 7,直到該節(jié)點對中所有的Mmax都完成對比,若在一定規(guī)則下該節(jié)點對在Mmax中具有能被判斷為等價的i2個屬性個數(shù),則用對應的i2個上近似邊Ei-連接兩個節(jié)點.
step 9 重復step 8,直到該圖中任意兩個節(jié)點對(v,w)的上近似表型屬性被對比完成為止.
step 10 得到原始上近似鄰接矩陣Wmax0(v,w).
step 11 利用Sim(Av,Aw)對Wmax0(v,w)進行訓練,得到上近似矩陣Wmax(v,w).
step 12 通過式(8)構造粗糙圖的鄰接矩陣ARough,得到對應的粗糙圖GRough.
因為粗糙圖GRough是由上近似圖GMAX和下近似圖GMIN共同構成的,其中上近似圖GMAX和下近似圖GMIN具有不同的權重系數(shù),并且在構圖時對粗糙圖GRough的影響是不同的,所以引入節(jié)點間的粗糙權重系數(shù)αij,對上近似圖GMAX和下近似圖GMIN進行訓練.
節(jié)點間的粗糙權重系數(shù)為:
(9)
其中,hi、hj、hk表示不同的節(jié)點特征,函數(shù)a表示一個單層的前饋網(wǎng)絡,W∈RF′×F表示權重矩陣,F(xiàn)表示每個節(jié)點特征的數(shù)量,F(xiàn)′表示輸出節(jié)點的特征維數(shù),維數(shù)由具體的參數(shù)設定,與輸入節(jié)點特征維數(shù)F相比,可能存在維數(shù)不一致.
通過節(jié)點間的粗糙權重系數(shù)αij,對粗糙圖GRough進行訓練:
GRough′=αijGMAX+(1-αij)GMIN.
(10)
粗糙權重系數(shù)αij的構造如圖3所示.使用αij訓練粗糙圖GRough的過程如圖4所示.由于上近似圖GMAX和下近似圖GMIN在構造GRough時對其影響不同,所以利用αij訓練上近似圖GMAX,利用1-αij訓練下近似圖GMIN,再結合兩者訓練后的結果,得到訓練后的粗糙圖GRough′.
圖3 粗糙權重系數(shù)αij的構造Fig.3 Construction of rough weight coefficient αij
圖4 GRough訓練過程Fig.4 Training process of GRough
RG-GCN步驟如下所示.
算法2RG-GCN
輸入拓撲圖中的節(jié)點V={v1,v2,…,vv},
一組上近似非成像表型屬性Mmax={Mhmax},
一組下近似非成像表型屬性Mmin={Mhmin},
圖節(jié)點特征h=(h1,h2,…,hv),
權重矩陣W
輸出節(jié)點的分類結果
step 1 由式(4)得到相似性度量Sim(Sv,Sw).
step 2 構造表型度量之間最大距離的度量,由式(5)得到γmax.
step 3 構造表型度量之間最小距離的度量,由式(6)得到γmin.
step 4 通過圖節(jié)點集V和Mmax,按照式(2)構造上近似圖鄰接矩陣Wmax(v,w),得到上近似圖GMAX.
step 5 通過圖節(jié)點集V和Mmin,按照式(3)構造下近似圖鄰接矩陣Wmin(v,w),得到下近似圖GMIN.
step 6 通過式(8)構造粗糙圖鄰接矩陣ARough,得到粗糙圖GRough.
step 7 由式(9)求得粗糙權重系數(shù)αij.
step 8 由式(10)對粗糙圖GRough進行訓練.
step 9 得到訓練后的粗糙圖GRough′.
step 10 將訓練后的粗糙圖GRough′作為圖卷積神經(jīng)網(wǎng)絡的輸入,通過式(1)對其進行訓練.
step 11 得到GCN的輸出結果.
本文選取ABIDE數(shù)據(jù)集[24-25]進行實驗,該數(shù)據(jù)集包含受試者的信息,可構成特定的粗糙圖.ABIDE數(shù)據(jù)集收集來自不同國際采集站點的數(shù)據(jù),并公開分享1 112名受試者的神經(jīng)成像(fMRI)和表型數(shù)據(jù).本文選擇Abraham等[26]使用的符合成像質量和表型信息標準的871名受試者的數(shù)據(jù),包括403名自閉癥(Autistic Spectrum Disorder, ASD)患者和468名健康對照者,具體信息如表1所示,本文將健康對照者與ASD患者分開.
表1 ABIDE數(shù)據(jù)集信息Table 1 Information of ABIDE dataset
ABIDE數(shù)據(jù)庫提供表型屬性列表.本文選擇數(shù)據(jù)較完整的6個不同的表型屬性:性別(SEX)、年齡(AGE)、采集地點(SITE)、言語智商(VIQ)、操作智商(PIQ)、全量表智商(FIQ).對于Mmin,選擇SEX、AGE、SITE_ID作為3個下近似表型屬性.對于Mmax,選擇VIQ、PIQ、FIQ作為3個上近似表型屬性.
將ABIDE數(shù)據(jù)集上每個受試者作為一個節(jié)點,選取受試者不同的表型屬性,進行表型屬性之間關系的對比,刻畫節(jié)點之間的上近似邊和下近似邊,得到一個粗糙圖.
本文采用的實驗平臺為PC(Intel(R) Core(TM) i9-10900K CPU@3.70 GHz,64GB RAM),NVIDIA RTX3090 GPU,Windows10操作系統(tǒng),開發(fā)工具為JetBrains PyCharm,使用Python語言實現(xiàn)算法.
在訓練過程中,采用NLL(Negative Log-Likeli-hood)損失作為訓練的損失函數(shù),迭代次數(shù)設置為10 000,初始化學習率設置為0.005,選擇Adam(Adaptive Moment Estimation)優(yōu)化器更新參數(shù).
對比預測的標簽值和真實的標簽值,可得到混淆矩陣中的真陽性TP、真陰性TN、假陽性FP、假陰性FN.其中,TP表示標簽為“健康”的受試者分為“健康”,TN表示標簽為“患病”的受試者分為“患病”,F(xiàn)P表示標簽為“患病”的受試者分為“健康”,F(xiàn)N表示標簽為“健康”的受試者分為“患病”.
為了評估分類性能,本文使用如下6個評估指標:分類準確度(Accuracy, ACC)、敏感性(Sensi-tivity, SEN)、特異性(Specificity, SPE)、陽性預測值(Positive Predictive Value, PPV)、陰性預測值(Nega-tive Predictive Value, NPV)、平衡準確度(Balance Accuracy, BAC).ACC表示將受試者分類正確的概率,SEN表示將健康的人分類正確的概率,SPE表示將患者分類正確的概率,PPV表示預測為健康的人的樣本中真正為健康的人所占的比例,NPV表示預測為患者的樣本中真正為患者所占的比例.評估指標定義如下:
為了驗證本文方法的有效性,實驗中選取如下對比算法.
1)采用Linear中的嶺回歸器進行分類[27].該分類器使用最小二乘損失適應分類模型,首先將二進制目標轉換為{-1,1},然后將問題視為回歸任務,優(yōu)化二進制目標.
2)GNN(Graph Neural Network)[28].直接作用于圖結構上的神經(jīng)網(wǎng)絡.利用GNN提取每個節(jié)點的特征向量,用于預測每個節(jié)點的標簽.
3)GAT(Graph Attention Network)[29].采用注意力機制對鄰近節(jié)點特征加權求和,鄰近節(jié)點特征的權重完全取決于節(jié)點特征.
4)GCN.利用一小部分帶有標簽的節(jié)點進行半監(jiān)督學習,結合這部分節(jié)點的圖結構和節(jié)點特征,進行節(jié)點分類.GCN中這種結合鄰近節(jié)點特征的方式和圖的結構相關.
5)文獻[4]算法(Graph Convolutional Networks for Brain Analysis in Populations).將受試者表示為一個稀疏圖,關聯(lián)圖的節(jié)點與基于圖像的特征向量.
6)文獻[5]算法.構建稀疏圖,將受試者的特點和特征均整合到稀疏圖中,對它們之間的相互作用進行建模.
本文采用ABIDE數(shù)據(jù)集上不相同的6個表型屬性(SEX、SITE、AGE、FIQ、VIQ、PIQ)進行構圖,采用粗糙圖的構圖方式,判斷節(jié)點對中是否具有相同屬性,若具有相同屬性,節(jié)點對中對應的邊權值加1,由此得到拓撲圖A.再使用Linear、GNN、GAT、GCN、文獻[4]算法、文獻[5]算法對其進行分類.選擇SEX、SITE_ID、AGE作為下近似表型屬性,選擇FIQ、VIQ、PIQ作為上近似表型屬性,構造粗糙圖Arough.
各方法對傳統(tǒng)拓撲圖進行分類的指標值對比如表2所示,表中黑體數(shù)字表示最優(yōu)值.由表可看出:在ACC、SEN、SPE、BAC指標上,深度學習方法明顯好于Linear,Linear在PPV指標上略高于GAT,但仍低于GNN、GCN、文獻[4]算法、文獻[5]算法;Linear在NPV指標上略高于GNN、文獻[5]算法,但仍低于GAT、GCN、文獻[4]算法.這說明采用深度學習算法會得到較高的指標值,因此本文選擇深度學習算法是有效的.
表2 各算法在ABIDE數(shù)據(jù)集上的指標值結果對比
為了驗證粗糙圖的分類效果,本文把粗糙圖Arough作為GCN的輸入,構成RG-GCN.由表2可看出,RG-GCN的ACC、SEN、SPE、PPV、BAC均明顯高于其它算法,只有NPV處于中等,還有待提升.
RG-GCN可有效增加ACC,這表明本文構造的粗糙圖可準確刻畫不確定性關系.這些結果表明,基于粗糙圖的GCN的分類算法有助于提高對潛在自閉癥患者進行人群診斷的準確率.
構圖方式的不同會影響算法的分類準確率.為了表現(xiàn)不同的構圖方式對分類準確率的影響,采用RG-GCN驗證粗糙圖的分類準確率.對于RG-GCN,采取15種不同的構圖方式,對比不同的粗糙圖結構在RG-GCN上的分類準確率.
本文采用SEX、SITE、AGE構造下近似圖A1;采用FIQ、VIQ、PIQ構造上近似圖A2;采用SEX、SITE、AGE、FIQ構造粗糙圖A3;采用SEX、SITE、AGE、FIQ、VIQ、PIQ構造粗糙圖A4;采用SEX、SITE、AGE、PIQ構造粗糙圖A5;采用SEX、SITE、AGE、VIQ構造粗糙圖A6;采用SEX、SITE、AGE、PIQ、VIQ構造粗糙圖A7;采用SEX、SITE、AGE、PIQ、FIQ構造粗糙圖A8;采用SEX、SITE、AGE、VIQ、PIQ構造粗糙圖A9;采用SEX、FIQ、VIQ、PIQ構造粗糙圖A10;采用SITE、FIQ、VIQ、PIQ構造粗糙圖A11;采用AGE、FIQ、VIQ、PIQ構造粗糙圖A12;采用SEX、SITE、FIQ、VIQ、PIQ構造粗糙圖A13;采用SEX、AGE、FIQ、VIQ、PIQ構造粗糙圖A14;采用SITE、AGE、FIQ、VIQ、PIQ構造粗糙圖A15.A3、A5~A9具有完全相同的下近似表型屬性,A10~A15具有相同的上近似表型屬性.
這15種不同結構的粗糙圖在RG-GCN上的分類準確率如圖5所示.由圖可看出,粗糙圖A4的準確率最高,可達到75%.
圖5 不同的粗糙圖在RG-GCN上的ACC值對比Fig.5 ACC comparison of different rough graphs under RG-GCN
除ACC之外,本文還給出其它相關指標的對比結果,具體如表3所示,表中黑體數(shù)字表示最優(yōu)值.本文還把A3、A5~A9統(tǒng)稱為下近似表型圖Alower,取A3、A5~A9各項指標的平均值作為下近似表型圖的指標值;把A10~A15統(tǒng)稱為上近似表型圖Aupper,取A10~A15各項指標的平均值作為上近似表型圖的指標值.由表3可見,粗糙圖A4在ACC、SEN、PPV上均取得最高值,在BAC上僅略低于A14,在SPE、NPV上的效果中等,還有提升的空間,所以粗糙圖A4整體指標值較優(yōu),因此本文選擇粗糙圖A4的構圖方式是有效的.
表3 不同的粗糙圖在RG-GCN上的指標值對比
為了進一步驗證RG-GCN的有效性,選擇A1~A4這4種粗糙圖,均采用5種不同初始化種子數(shù),計算分類準確率,結果如圖6所示.由圖可看出,不同的初始化種子數(shù)對粗糙圖分類準確率存在一定影響,但粗糙圖A4的分類準確率始終最高,這表明本文構造粗糙圖選取的6個評價指標是合理的.
圖6 不同的初始化種子數(shù)和粗糙圖結構對節(jié)點分類準確率 的影響Fig.6 Effect of different initialized seed number and rough graph structure on accuracy of node classification
本節(jié)選擇西南大學縱向成像多模態(tài)(SLIM)腦部數(shù)據(jù)集[30],包括494名健康受試者(年齡范圍為19歲~80歲,187名男性,308名女性)的腦部rs-fMRI圖像.腦部rs-fMRI圖像為受試者的成像數(shù)據(jù),非成像數(shù)據(jù)包括年齡、慣用手等基本人口統(tǒng)計信息和對不同掃描圖像的質量評估措施.
本次實驗采用的平臺、參數(shù)設計、評估屬性與3.2節(jié)相同.不同的是,3.3節(jié)是對受試者是否患病進行分類,這里是對受試者的性別進行分類.
各對比算法在SLIM數(shù)據(jù)集上的指標值對比結果如表4所示,表中黑體數(shù)字表示最優(yōu)值.由表可看出,RG-GCN在ACC、SEN、NPV、BAC上優(yōu)于其它算法,由此驗證RG-GCN的有效性.
表4 各算法在SLIM數(shù)據(jù)集上的指標值對比結果
因為現(xiàn)實生活中具有很多不確定性關系,本文考慮這種不確定性關系,結合粗糙集理論和圖卷積神經(jīng)網(wǎng)絡,提出基于粗糙圖的圖卷積神經(jīng)網(wǎng)絡算法(RG-GCN).首先,結合傳統(tǒng)拓撲圖的邊理論與粗糙集的上下近似理論,將表示確定關系的邊轉換成表示不確定關系的粗糙邊,利用表型屬性的不同含義分別刻畫上近似邊和下近似邊,從而得到粗糙圖.然后,引入粗糙權重系數(shù),利用粗糙權重系數(shù)訓練本文構造的粗糙圖,解決GCN只能訓練確定性圖這一問題,以此提高分類準確度.在ABIDE數(shù)據(jù)集上的實驗表明,RG-GCN可有效將節(jié)點標簽信息傳播到未標記的節(jié)點,合理處理不確定性關系,較準確地分類節(jié)點,得到較高的分類準確率.今后會進一步考慮將粗糙集理論融入GCN的卷積層中,處理節(jié)點特征中不確定、不精確信息.