基于深度學(xué)習(xí)的大腦性別差異分析

溫景熙，于胡飛，辛江，唐艷

中南大學(xué)計算機(jī)學(xué)院，湖南 長沙 410083

1 引言

研究表明，不同性別的人在認(rèn)知、行為和智力[1-2]等方面存在差異。人腦功能在性別之間的差異也非常明顯，主要表現(xiàn)在情感處理[3]、身體感知[4]、數(shù)學(xué)運(yùn)算[5]和運(yùn)動控制[6-7]等方面。然而，盡管有許多針對性別功能差異的研究，但大多未得到一致的認(rèn)可。本文致力于大腦性別差異研究，進(jìn)一步發(fā)現(xiàn)和證明男女之間的大腦差異。

磁共振成像（magnetic resonance imaging，MRI）是一種非侵入性成像技術(shù)，它利用磁共振原理從人體獲得電磁信號，從而重建出人體信息。目前，基于MRI的人腦研究已得到廣泛應(yīng)用。彌散張量成像（diffusion tensor imaging，DTI）是一種特殊的MRI技術(shù)，它通過追蹤大腦纖維束中水分子的移動方向來表征神經(jīng)纖維的結(jié)構(gòu)。彌散張量成像可以通過計算各向異性分?jǐn)?shù)（fraction anisotropy，F(xiàn)A）來定量評估神經(jīng)纖維的各向異性。研究發(fā)現(xiàn)，通過計算FA可以觀察大腦發(fā)育、衰老過程中的細(xì)微變化[8-9]。目前，有非常多的研究者致力于DTI的性別差異研究。參考文獻(xiàn)[10]通過DTI來觀察不同性別中的白質(zhì)微觀結(jié)構(gòu)；參考文獻(xiàn)[11]則發(fā)現(xiàn)了不同性別與行為發(fā)展之間的聯(lián)系。然而也有研究認(rèn)為，研究的現(xiàn)狀尚不能確定男女大腦是否存在差異，仍需要更多的研究來證明[12]。

深度學(xué)習(xí)是一種非常強(qiáng)大的機(jī)器學(xué)習(xí)方法，它通過深層網(wǎng)絡(luò)提取數(shù)據(jù)中的非線性特性，并通過堆疊多個非線性層來構(gòu)建復(fù)雜的函數(shù)模型，這使得深度學(xué)習(xí)擁有非常強(qiáng)的表征和學(xué)習(xí)能力[13]。同時，深度學(xué)習(xí)還展現(xiàn)了強(qiáng)大的小樣本學(xué)習(xí)能力[14-16]，尤其是遷移學(xué)習(xí)方法，它通過凍結(jié)預(yù)訓(xùn)練模型的淺層網(wǎng)絡(luò)，僅重新訓(xùn)練最后幾層網(wǎng)絡(luò)即可達(dá)到小樣本下模型的快速學(xué)習(xí)目的。因此對于難以采集的MRI數(shù)據(jù)的研究，深度學(xué)習(xí)方法顯得尤為重要。目前，深度學(xué)習(xí)已經(jīng)被廣泛應(yīng)用到MRI的研究中，并且取得了不錯的效果。在參考文獻(xiàn)[17]中，研究人員利用深度學(xué)習(xí)對腫瘤進(jìn)行分類，得到了97%的準(zhǔn)確率，而他們的實(shí)驗(yàn)數(shù)據(jù)只有66個MRI樣本；在參考文獻(xiàn)[18]中，作者利用深度學(xué)習(xí)確定了大腦中用于區(qū)分不同年齡的關(guān)鍵腦區(qū)。在大腦性別分類方面，同樣有非常多基于深度學(xué)習(xí)的研究[19-21]。

研究大腦性別差異，特征可視化是必不可少的。在傳統(tǒng)的機(jī)器學(xué)習(xí)方法中，特征由人手工構(gòu)造。而在深度學(xué)習(xí)中，隨著隱藏層的加深，特征被不斷地抽象，人們越來越難以理解，而提取關(guān)鍵特征也變得非常不易。在一項(xiàng)基于深度學(xué)習(xí)性別分類的研究中，研究人員嘗試采用逐次保留一個腦區(qū)的方式來證明不同大腦腦區(qū)的性別差異，并且根據(jù)神經(jīng)網(wǎng)絡(luò)第一個隱藏層的特征圖的均值和信息熵，提出男性大腦比女性大腦更為復(fù)雜的可能性[21]。在深度學(xué)習(xí)的研究中，已有許多可靠的特征可視化方法相繼被提出，其中導(dǎo)向梯度類激活圖（gradient-weighted class activation mapping，Grad-CAM）方法[22]被廣泛推崇。在深度學(xué)習(xí)MRI領(lǐng)域，Grad-CAM方法也逐漸被應(yīng)用于大腦的差異分析。在參考文獻(xiàn)[23]關(guān)于大腦MRI的年齡預(yù)測中，通過Grad-CAM方法發(fā)現(xiàn)了大腦額葉區(qū)與年齡變化相關(guān)。

本文收集了大量DTI數(shù)據(jù)，通過預(yù)處理得到標(biāo)準(zhǔn)大小的FA；然后根據(jù)FA構(gòu)建3D卷積神經(jīng)網(wǎng)絡(luò)（3D-CNN），實(shí)現(xiàn)大腦性別的可靠分類；最后通過構(gòu)建3D導(dǎo)向梯度類激活圖結(jié)構(gòu)實(shí)現(xiàn)性別特征的可視化，并根據(jù)可視化結(jié)果進(jìn)行性別差異分析。

2 DTI性別分類及特征可視化方法

為了研究不同性別之間的大腦差異以及在性別分類中不同腦區(qū)的重要性，首先需要保證深度學(xué)習(xí)模型分類的可靠性；然后提取數(shù)據(jù)在不同類別中的顯著特征，通過顯著特征得到一般性（平均）大腦性別差異；最后將差異對應(yīng)到各個腦區(qū)上，得到腦區(qū)的重要性情況。本節(jié)將詳細(xì)介紹如何通過3D卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行性別分類，并通過神經(jīng)網(wǎng)絡(luò)模型的可視化方法得到與類別相關(guān)的重要特征。在此，輸入神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)是DTI的全腦FA，即大小為182×218×182的三維腦圖。

2.1 基于3D卷積神經(jīng)網(wǎng)絡(luò)的性別分類模型

本文采用3D卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行性別分類。3D卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示，模型分為輸入、卷積、全連接和輸出4個部分。其中輸入是一個三維腦圖，輸出是性別分類的結(jié)果。在卷積過程中，本文采用全卷積的形式，即在下采樣的過程中使用移動步長為2×2×2的卷積代替步長為2的池化。模型中包含7個卷積層，卷積核大小都為3×3×3，卷積核數(shù)量分別為16、32、32、64、64、128、128。在每個卷積層的后面，都有一個批歸一化層[24]和一個LeakyReLU激活層[25]。在最后一層卷積完成后，將特征圖伸展成一維，然后進(jìn)入全連接層。模型中包含2層全連接，第一個全連接層有64個神經(jīng)元，緊接著一個ReLU激活層[26]。由于樣本標(biāo)簽編碼采用獨(dú)熱編碼的形式，第二個全連接層共有2個神經(jīng)元，全連接層后面緊接著Softmax激活層。

圖1 3D卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

2.2 基于3D導(dǎo)向梯度類激活圖的特征可視化方法

神經(jīng)網(wǎng)絡(luò)能夠很好地預(yù)測性別，但是不能直接得到深層網(wǎng)絡(luò)提取到的性別特征。導(dǎo)向梯度類激活圖是神經(jīng)網(wǎng)絡(luò)模型可視化的一種方法[22]，它同樣適用于本研究中3D圖像的特征可視化。該方法的可視化結(jié)果由導(dǎo)向反向傳播圖和特征熱圖兩個矩陣點(diǎn)乘得到。導(dǎo)向反向傳播圖由深層特征圖導(dǎo)向反向傳播得到，該圖表示網(wǎng)絡(luò)模型提取到的所有性別特征。特征熱圖先通過類別對深層特征圖求梯度，該梯度表示特征圖對預(yù)測類別正負(fù)影響的大小，然后對i、j、k3個方向進(jìn)行全局平均池化（global average pooling，GAP），得到單個通道上的特征圖權(quán)重：

其中，p表示最后一層特征圖序列中單個通道上的特征圖，c表示單個輸入對應(yīng)的類別，yc表示預(yù)測值，表示第p個通道的特征圖在i、j、k上的體素，Z1表示最后一層特征圖中單個通道特征圖的體素數(shù)量。接著，根據(jù)這個特征圖權(quán)重對特征圖進(jìn)行加權(quán)和計算，并執(zhí)行一次ReLU操作（去除與當(dāng)前類別無關(guān)的值）得到特征熱圖：

最后，對特征熱圖進(jìn)行上采樣（線性插值），得到與原圖大小相同的特征熱圖。

在全連接之前的特征圖大小為8×10×8，縮放后大小為182×218×182。線性插值的過程會使得特征熱圖變得非常模糊且不準(zhǔn)確。于是本文對Grad-CAM做了一些改進(jìn)，如圖2所示。首先通過反向求導(dǎo)得到最后一層特征圖的梯度值φ，然后對該梯度進(jìn)行一次ReLU操作來去除與類別無關(guān)的數(shù)值；接著對倒數(shù)第二層下采樣（即倒數(shù)第三層卷積）后的特征圖進(jìn)行一次反向求導(dǎo)，得到對最后一層中與類別相關(guān)的信息的貢獻(xiàn)值，并進(jìn)行一次全局平均池化操作，得到單個通道上的特征圖權(quán)重：

圖2 DTI性別分類特征可視化結(jié)構(gòu)

最后，將兩個特征熱圖根據(jù)一定的權(quán)值（λ、μ）相加，得到最終的特征熱圖：

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集及預(yù)處理

本文數(shù)據(jù)來自美國南加州大學(xué)的人類連接組項(xiàng)目（human connectome project，HCP）的公開數(shù)據(jù)集[27]。該數(shù)據(jù)集包括1 055個健康成年人腦的彌散張量成像數(shù)據(jù)，其中男性487個，女性568個，年齡范圍為22～35歲。

在預(yù)處理過程中，本文將數(shù)據(jù)放入功能磁共振成像軟件庫FSL（FMRIB software library）[28]進(jìn)行格式轉(zhuǎn)換、B0提取、波腦、渦流矯正和計算張量等，得到各向異性分?jǐn)?shù)。由于FA是一個不標(biāo)準(zhǔn)的三維腦圖，與標(biāo)準(zhǔn)的DTI 1 mm各向同性模板（FMRIB58_FA）存在差異，需要進(jìn)行一次非線性配準(zhǔn)，將FA配準(zhǔn)到該標(biāo)準(zhǔn)空間中[29]。最后得到一個大小為182×218×182的三維腦圖。

3.2 全卷積神經(jīng)網(wǎng)絡(luò)分類結(jié)果比較

由于DTI數(shù)據(jù)量較少，本文模型采用十折交叉驗(yàn)證的方式進(jìn)行模型評估。首先將數(shù)據(jù)隨機(jī)分成10份，并保證每份數(shù)據(jù)的男女比例盡可能相等，然后分別將其中的一份作為驗(yàn)證集進(jìn)行模型驗(yàn)證。在模型優(yōu)化中，采用交叉熵?fù)p失函數(shù)來計算損失，優(yōu)化器采用Adam（學(xué)習(xí)率為0.000 1，衰減率為0.5）。通過反向傳播對模型參數(shù)進(jìn)行優(yōu)化。

通過本文實(shí)驗(yàn)設(shè)計的全卷積神經(jīng)網(wǎng)絡(luò)，10次驗(yàn)證的平均分類結(jié)果達(dá)到了96.2%的準(zhǔn)確率。在數(shù)據(jù)相同且同樣十折交叉驗(yàn)證的條件下，普通3D-CNN的模型分類準(zhǔn)確率為93.3%[21]，相比之下，本實(shí)驗(yàn)?zāi)Ｐ蜏?zhǔn)確率有了2.9%的提升。而對比機(jī)器學(xué)習(xí)方法支持向量機(jī)（support vector machine，SVM）78.2%的準(zhǔn)確率，本文模型的準(zhǔn)確率提升更大。

3.3 可視化方法對比

基于Grad-CAM的可視化方法可以得到導(dǎo)向反向傳播和類激活圖2個三維矩陣，如圖3所示。其中導(dǎo)向反向傳播矩陣包含了從最深層特征圖中提取到的所有特征，這些特征同時包含了男性和女性的全部特征，對類別并不敏感，如圖3（a）所示。特征熱圖則與類別相關(guān)，其中由最后一層特征圖得到的特征熱圖在較大范圍內(nèi)顯示了關(guān)鍵特征所在的位置，但圖片面積較大、腦區(qū)分布較多，導(dǎo)致顯著區(qū)域過大，難以判斷關(guān)鍵特征所屬腦區(qū)，如圖3（b）所示。相比之下，本文提出的特征可視化方法得到的特征熱圖不僅能觀察到更準(zhǔn)確的特征位置，同時還保證了不損失最深層特征圖提取到的重要信息，如圖3（d）所示。

在特征熱圖的權(quán)重選擇中，當(dāng)λ=1、、μ=0時，特征位置非常不明確，無法判斷關(guān)鍵特征所在腦區(qū)，如圖3（b）所示；當(dāng)λ= 0 .5、μ= 0 .5時，特征位置相對改善，但仍然存在一些不明確的區(qū)域，如圖3（c）所示；而當(dāng)λ= 0 .3、μ= 0 .7時達(dá)到最佳，特征位置非常明確，同時還盡可能地保留了最深層特征圖的信息，如圖3（d）所示。

圖3 可視化方法結(jié)果對比

3.4 性別分類中的重要腦區(qū)分析

白質(zhì)和灰質(zhì)是人腦的重要組成部分，研究者根據(jù)大腦區(qū)域功能的不同進(jìn)行腦區(qū)劃分。根據(jù)國際腦圖譜協(xié)會的劃分標(biāo)準(zhǔn)，將大腦白質(zhì)分成48個感興趣腦區(qū)（白質(zhì)標(biāo)簽JHU-ICBM-labels）。同時，根據(jù)人類腦網(wǎng)絡(luò)組圖譜（human brainnetome atlas）的劃分方法，將大腦灰質(zhì)分成246個感興趣腦區(qū)（灰質(zhì)標(biāo)簽BN_Atlas_246）。由于預(yù)處理時將FA配準(zhǔn)到了標(biāo)準(zhǔn)空間，可確定每個輸入數(shù)據(jù)的腦區(qū)位置是固定的，可以根據(jù)不同腦區(qū)對應(yīng)特征熱圖的體素值之和，得到不同腦區(qū)在性別分類中的重要性排名。如圖4和圖5所示，在性別分類中不同腦區(qū)對類別的貢獻(xiàn)是不一樣的，有些腦區(qū)對性別分類起到了非常重要的作用。

在圖4中，男性和女性排名最高的兩個白質(zhì)腦區(qū)都為胼胝體壓部和小腦中腳。胼胝體橫跨縱向裂縫的一部分，連接左右大腦，從而使它們之間能夠進(jìn)行通信[30]。有研究認(rèn)為，男性胼胝體與半球內(nèi)的聯(lián)系更大，而女性胼胝體與半球之間的聯(lián)系更為緊密[31]。小腦中腳是連接小腦與腦橋的結(jié)構(gòu)，是將小腦與腦橋相聯(lián)系的高級神經(jīng)中樞，它保證了隨意運(yùn)動的精確和有效[32]。研究表明，運(yùn)動和運(yùn)動強(qiáng)度與小腦功能連通性變化相關(guān)[33]。因此，本研究結(jié)果顯示，小腦中腳存在性別差異，可能與成年男女運(yùn)動強(qiáng)度和運(yùn)動量有關(guān)。

圖4 白質(zhì)感興趣區(qū)域體素和排名（各腦區(qū)根據(jù)體素和大小升序進(jìn)行標(biāo)簽）

在圖5中，男性排名最高的兩個灰質(zhì)腦區(qū)分別為左腦頂葉下葉腹側(cè)區(qū)（IPL,A39rv_L）和額上回中間區(qū)（SFG, A9m_R），女性排名最高的兩個灰質(zhì)腦區(qū)分別為右腦頂葉下葉腹側(cè)區(qū)（IPL, A39rv_R）和梭狀回腹腔區(qū)（FuG, A20rv_R）。頂葉下葉腹側(cè)區(qū)是頂葉的一部分，該區(qū)域跟語言功能、數(shù)學(xué)運(yùn)算和身體形象感知等功能有關(guān)[34]。本研究中男性左腦頂葉下葉和女性右腦頂葉下葉分別排名較高，體現(xiàn)了不同性別在該腦區(qū)存在差異，同時揭示了在左右腦的頂葉下葉之間存在功能差異的可能性。此外，額上回是與自我意識相關(guān)的腦區(qū)，與感覺系統(tǒng)的動作相關(guān)[35]。梭狀回的功能目前尚不清楚，有研究認(rèn)為該腦區(qū)可能與顏色信息處理相關(guān)[36]。

圖5 灰質(zhì)感興趣區(qū)域體素和排名（各腦區(qū)根據(jù)體素和大小升序進(jìn)行標(biāo)簽）

3.5 男女平均顯著特征對比及分析

為了顯示一般情況下顯著特征所在腦區(qū)，需要找到顯著特征所在位置。因此在不同性別的全腦中，本文將特征熱圖按體素求平均，得到平均結(jié)果。如圖6所示，平均顯著特征主要分布在胼胝體壓部和左腦基底神經(jīng)節(jié)背尾狀兩個腦區(qū)。其中，基底神經(jīng)節(jié)是一組大腦皮層下核的總稱，它與大腦皮層、丘腦和腦干等腦區(qū)緊密相連?；咨窠?jīng)節(jié)具有多種功能，包括控制自主運(yùn)動、程序?qū)W習(xí)、認(rèn)知和情緒等[37-38]。此外，基底神經(jīng)節(jié)在性別中也存在差異，如參考文獻(xiàn)[39]認(rèn)為不同性別可能會影響基底神經(jīng)節(jié)的體積。從圖6（b）、圖6（d）可知，不同性別在左腦基底神經(jīng)節(jié)背尾狀的特征都較為顯著，這可能是該腦區(qū)在不同性別中的結(jié)構(gòu)或者纖維束存在差異。該實(shí)驗(yàn)結(jié)果至少揭示了在控制自主運(yùn)動能力、程度學(xué)習(xí)能力或者情緒變化等大腦功能中的一種或幾種性別差異。

圖6 男女顯著特征對比

3.6 男女之間不同腦區(qū)的差異

在參考文獻(xiàn)[21]中，作者通過神經(jīng)網(wǎng)絡(luò)第一個隱藏層得到的特征圖的均值和信息熵，發(fā)現(xiàn)男女之間存在差異。尤其是信息熵，在32個特征圖中男性信息熵大于女性的明顯較多。該研究發(fā)現(xiàn)，在特征熱圖分腦區(qū)的體素值求和中，男性數(shù)值大的腦區(qū)也明顯多于女性。其中，在白質(zhì)中男性體素值之和大于女性的腦區(qū)為39個，女性大于男性的腦區(qū)為9個；在灰質(zhì)中男性體素值之和大于女性的腦區(qū)為239個，女性大于男性的腦區(qū)為7個。這些結(jié)果進(jìn)一步發(fā)現(xiàn)和證明了男女大腦之間存在非常大的差異。

4 結(jié)束語

本文使用深度學(xué)習(xí)方法在DTI數(shù)據(jù)上進(jìn)行了性別分類，并使用深度神經(jīng)網(wǎng)絡(luò)可視化方法對性別特征進(jìn)行了提取和分析。在模型分類中，本文提出的全卷積網(wǎng)絡(luò)模型達(dá)到了更高的分類精度。在可視化方法中，本文通過最后兩層下采樣后的特征圖獲得特征熱圖，從圖3可以看出，在可視化的結(jié)果中顯著特征的位置更為準(zhǔn)確。本文根據(jù)特征熱圖的體素值來進(jìn)行腦區(qū)排名和求平均顯著特征。從圖4和圖5可以看出，不同腦區(qū)在不同性別中的重要性是不同的，尤其表現(xiàn)在白質(zhì)中的胼胝體壓部和小腦中腳，灰質(zhì)中男性的左腦頂葉下葉腹側(cè)區(qū)和額上回中間區(qū)及女性的右腦頂葉下葉腹側(cè)區(qū)和梭狀回腹腔區(qū)。從圖6可以看出，性別分類的顯著特征主要表現(xiàn)在胼胝體壓部和左腦基底神經(jīng)節(jié)背尾狀兩個腦區(qū)。本文還通過特征熱圖的分腦區(qū)的體素值求和發(fā)現(xiàn)，無論在白質(zhì)中還是在灰質(zhì)中，男性數(shù)值大的腦區(qū)都遠(yuǎn)遠(yuǎn)多于女性。上述所有結(jié)果都證明了男女大腦之間存在明顯差異，尤其是胼胝體、頂葉下葉和基底神經(jīng)節(jié)等多個腦區(qū)，它們與運(yùn)動能力、數(shù)學(xué)運(yùn)算、身體形象感知和情緒控制等方面相關(guān)。

本文提出的可靠的深度學(xué)習(xí)分類方法將有機(jī)會被用于臨床分析。通過模型得到的一般性男女大腦結(jié)構(gòu)將有利于發(fā)現(xiàn)與性別相關(guān)的疾病患病情況和觀察大腦的病變過程。本文設(shè)計的深度學(xué)習(xí)分類模型以及可視化方法也為以后對大腦MRI的各種研究提供了參考。本文在可視化結(jié)果中進(jìn)一步發(fā)現(xiàn)和證明了大腦的性別差異，其中主要的差異表現(xiàn)在胼胝體、頂葉下葉和基底神經(jīng)節(jié)等腦區(qū)中。該結(jié)果對分析大腦性別差異具有一定的參考價值，同時也為以后更深入、更具體的性別差異分析提供了一定的指導(dǎo)。

然而，本文的深度學(xué)習(xí)模型雖然能夠準(zhǔn)確地預(yù)測性別，但本文數(shù)據(jù)來自單個數(shù)據(jù)域，并不一定能夠很好地解決來自不同數(shù)據(jù)域的性別分類問題。此外，MRI特征可視化一直都是非常重要的研究內(nèi)容，尤其在DTI數(shù)據(jù)中，當(dāng)前的研究仍然缺少有效的方法。在未來的工作中，筆者將繼續(xù)研究不同性別的人的大腦MRI數(shù)據(jù)，從而進(jìn)一步發(fā)現(xiàn)和證明男女之間的大腦差異。