基于帶池化層圖神經(jīng)網(wǎng)絡(luò)的乳腺超聲圖像小樣本分類研究

李林翰

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

0 引言

乳腺癌是現(xiàn)如今最為常見(jiàn)的癌癥之一，對(duì)于乳腺癌的早期診斷是極其重要的。相較于X 射線和活檢來(lái)說(shuō)，超聲診斷具有安全、靈活、無(wú)創(chuàng)等優(yōu)勢(shì)，因而被廣泛應(yīng)用。醫(yī)生可以根據(jù)乳腺超聲圖像進(jìn)行診斷腫瘤的良、惡性，此過(guò)程主要依賴于醫(yī)生的專業(yè)能力而會(huì)存在一定得誤診，因此提供標(biāo)準(zhǔn)且智能的模型來(lái)輔助醫(yī)生判斷乳腺超聲圖像中腫瘤的良、惡性是不可或缺的。

因?yàn)榕臄z設(shè)備、隱私、數(shù)據(jù)處理等因素，標(biāo)準(zhǔn)的乳腺超聲圖像數(shù)據(jù)量有限，同時(shí)某些罕見(jiàn)的乳腺腫瘤可用數(shù)據(jù)量極少，因此對(duì)于乳腺超聲圖像小樣本學(xué)習(xí)的研究是十分關(guān)鍵的。并且醫(yī)學(xué)圖像間極高的相似性，也可由超聲圖像遷移至其他類型的醫(yī)學(xué)圖像去解決新型突發(fā)時(shí)的需要，例如新冠肺炎早期CT 影響的判斷。

深度學(xué)習(xí)在醫(yī)學(xué)圖像處理等領(lǐng)域因其極好的效果而發(fā)揮著非常重要的作用[1-3]，但是其都依賴于大量數(shù)據(jù)訓(xùn)練，當(dāng)數(shù)據(jù)缺乏時(shí)，深度學(xué)習(xí)模型極易過(guò)擬合。本文針對(duì)樣本量有限的問(wèn)題，結(jié)合少樣本學(xué)習(xí)（few-shot learning）思想[4-5]和圖神經(jīng)網(wǎng)絡(luò)[6]提出了基于可池化的圖神經(jīng)網(wǎng)絡(luò)的小樣本乳腺超聲圖像良、惡性分類模型，充分發(fā)揮少樣本學(xué)習(xí)在小數(shù)據(jù)處理方面的優(yōu)勢(shì)，以及借助圖神經(jīng)網(wǎng)絡(luò)的度量學(xué)習(xí)方法來(lái)處理相似性極高的醫(yī)學(xué)圖像。

1 基本概念

1.1 少樣本學(xué)習(xí)

少樣本學(xué)習(xí)主要對(duì)數(shù)據(jù)采樣得到多個(gè)任務(wù)T，T 包含S 和Q，前者是有標(biāo)簽的訓(xùn)練數(shù)據(jù)，后者是無(wú)標(biāo)簽的測(cè)試數(shù)據(jù)。在訓(xùn)練階段采用多次少量的思想，利用T進(jìn)行模型訓(xùn)練。S 和Q 可包含N個(gè)類別，每個(gè)類別K個(gè)樣本，此被稱為N-wayK-shot。少樣本學(xué)習(xí)模型主要分為度量學(xué)習(xí)[5,7-8]和元學(xué)習(xí)[4]兩類：前者通過(guò)嵌入模塊后計(jì)算相似性來(lái)縮小解空間，后者讓模型自己學(xué)會(huì)學(xué)習(xí)來(lái)自適應(yīng)小樣本的分布。本文在少樣本學(xué)習(xí)的基礎(chǔ)上進(jìn)行了修改使其符合我們的乳腺超聲圖像分類的需求，即訓(xùn)練時(shí)，T 中的S 和Q 都從訓(xùn)練集中采樣；而測(cè)試時(shí)，S 和Q 分別從訓(xùn)練集和測(cè)試集中采樣。

1.2 圖神經(jīng)網(wǎng)絡(luò)

圖神經(jīng)網(wǎng)絡(luò)[6]是借助卷積神經(jīng)網(wǎng)絡(luò)思想的圖結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)模型，用于非結(jié)構(gòu)化數(shù)據(jù)的特征提取和分類等場(chǎng)景。圖神經(jīng)網(wǎng)絡(luò)主要包含受圖像卷積啟發(fā)的圖卷積[6,9]操作，圖中每個(gè)頂點(diǎn)都與和他相鄰的頂點(diǎn)存在一定的關(guān)系，因此通過(guò)結(jié)合鄰接頂點(diǎn)來(lái)更新當(dāng)前頂點(diǎn)可使其具備更多信息和更高泛化性，例如社交網(wǎng)絡(luò)、分子結(jié)構(gòu)等場(chǎng)景。因圖神經(jīng)網(wǎng)絡(luò)本身的度量特性，圖神經(jīng)網(wǎng)絡(luò)也被應(yīng)用于少樣本學(xué)習(xí)問(wèn)題中[10-11]。本文實(shí)現(xiàn)了帶有池化層的圖卷積處理，根據(jù)樣本間關(guān)聯(lián)構(gòu)建圖，不斷更新圖使其達(dá)到平衡狀態(tài)來(lái)對(duì)測(cè)試樣本與訓(xùn)練樣本進(jìn)行相似性計(jì)算從而分類腫瘤。

1.3 人類思維模式

小樣本學(xué)習(xí)也符合人類的學(xué)習(xí)模式[12]，利用少量數(shù)據(jù)就可以實(shí)現(xiàn)學(xué)習(xí)而不需要深度學(xué)習(xí)所需的海量數(shù)據(jù)的訓(xùn)練過(guò)程。具體來(lái)說(shuō)，對(duì)于高相似性且樣本量極少情況下分類問(wèn)題，人類無(wú)法獲取高區(qū)分性和代表性的特征，而是將未知樣本與已知樣本進(jìn)行比較，選擇相似性更高的樣本進(jìn)行判斷。這個(gè)過(guò)程類似于度量學(xué)習(xí)，圖神經(jīng)網(wǎng)絡(luò)中計(jì)算鄰接矩陣就是相似性度量的過(guò)程，最后根據(jù)鄰接矩陣中包含的相似性信息解決問(wèn)題。

2 引入池化層的圖神經(jīng)網(wǎng)絡(luò)

少樣本學(xué)習(xí)大多采用相似性計(jì)算的方式來(lái)對(duì)T 中的Q 進(jìn)行分類，這主要依賴于數(shù)據(jù)量少，無(wú)法從極少的數(shù)據(jù)中獲取足夠的信息優(yōu)化大量的參數(shù)。度量學(xué)習(xí)所需要訓(xùn)練的參數(shù)量少，甚至不需要學(xué)習(xí)額外的參數(shù)，只需學(xué)習(xí)嵌入模塊參數(shù)即可。結(jié)合少樣本學(xué)習(xí)隨機(jī)采樣組合成不同包含少量樣本的T，其組成的多樣性能夠進(jìn)一步提高模型的學(xué)習(xí)能力，并且組成相似度計(jì)算的T 組合的數(shù)量能夠緩和過(guò)擬合現(xiàn)象。圖神經(jīng)網(wǎng)絡(luò)核心思想就是借助相似度來(lái)更新頂點(diǎn)信息，具體的來(lái)說(shuō)便是圖注意力網(wǎng)絡(luò)[13]。

本文對(duì)于小樣本乳腺超聲圖像分類問(wèn)題，提出的帶池化層的圖神經(jīng)網(wǎng)絡(luò)模型框架如圖1 所示，首先從訓(xùn)練集采樣T 并提取特征，其中實(shí)線和虛線分別對(duì)應(yīng)訓(xùn)練和測(cè)試圖像（圖中的問(wèn)號(hào)頂點(diǎn)）；之后構(gòu)建圖結(jié)構(gòu)，紅色和綠色頂點(diǎn)分別為良性和惡性訓(xùn)練樣本，問(wèn)號(hào)則對(duì)應(yīng)測(cè)試樣本，邊的粗細(xì)表示相似度，越粗則相似性越高；通過(guò)圖的不斷更新，最后計(jì)算測(cè)試圖像和每類訓(xùn)練圖像相似性去高者為預(yù)測(cè)標(biāo)簽。測(cè)試過(guò)程與之類似，只是測(cè)試圖像從測(cè)試集中取得。整體框架包含特征提取和圖神經(jīng)網(wǎng)絡(luò)（圖更新），后者可分為圖卷積和圖池化兩部分。

圖1 本文模型結(jié)構(gòu)框架

2.1 特征提取

由于乳腺超聲圖像本身的質(zhì)量較差，而邊緣細(xì)節(jié)包含了重要的判別信息，例如腫瘤輪廓、紋理、腫瘤邊緣等，因此本文采用了直方圖均衡化加強(qiáng)了超聲圖像中的邊緣信息并將灰度范圍進(jìn)行了統(tǒng)一。將直方圖均衡化的圖像xHE采用卷積神經(jīng)網(wǎng)絡(luò)φCNN()?進(jìn)行特征提取得到樣本特征φCNN()xHE，用于圖的構(gòu)建中作為圖頂點(diǎn)ν0。

2.2 圖神經(jīng)網(wǎng)絡(luò)

圖神經(jīng)網(wǎng)絡(luò)本質(zhì)目的上是對(duì)圖進(jìn)行不斷更新使其達(dá)到平衡狀態(tài)，即圖更新過(guò)程。針對(duì)小樣本學(xué)習(xí)的圖神經(jīng)網(wǎng)絡(luò)主要可分為兩部分：圖卷積更新頂點(diǎn)和重新相似性來(lái)更新鄰接矩陣[10-11,13]。因?yàn)闃颖玖繕O小且醫(yī)學(xué)圖樣本間極高相似性，極易出現(xiàn)過(guò)光滑現(xiàn)象，所以極少層數(shù)更新即可達(dá)到穩(wěn)定，本文采用池化處理來(lái)減少必要的計(jì)算并概括每類樣本特征，根據(jù)提取的泛化特征來(lái)實(shí)現(xiàn)分類。圖2 展示了簡(jiǎn)單的一層的圖更新流程，多層更新則對(duì)其不斷堆疊即可。

圖2 帶池化層的一層圖更新流程

（1）圖卷積

圖注意力網(wǎng)絡(luò)是將鄰接頂點(diǎn)按一定權(quán)重進(jìn)行聚合來(lái)更新當(dāng)前頂點(diǎn)，此權(quán)重可以采用頂點(diǎn)間相似性來(lái)表示。本文依據(jù)此思想，將采樣得到的T 中圖像特征φCNN(xHE)作為頂點(diǎn)v0，圖像相似性作為邊A0初始化圖（鄰接矩陣初始化準(zhǔn)則：同類別訓(xùn)練樣本相似度為1，不同類別為0，測(cè)試樣本與所有訓(xùn)練樣本相似度皆為0.5），多次的圖卷積處理使得相同類別的頂點(diǎn)越發(fā)接近、不同類別的頂點(diǎn)越發(fā)疏遠(yuǎn)，從而達(dá)到分類的目的。其中圖卷積主要包含兩部分：頂點(diǎn)vm更新和鄰接矩陣Am計(jì)算。

頂點(diǎn)更新的思路是對(duì)當(dāng)前頂點(diǎn)結(jié)合與其鄰接的頂點(diǎn)信息來(lái)計(jì)算新一層的頂點(diǎn)，這其中采用了鄰接矩陣，鄰接矩陣可看作圖中的邊，表示了頂點(diǎn)之間的相似性，因此與鄰接頂點(diǎn)聚合時(shí)根據(jù)相似性按權(quán)重計(jì)算新的頂點(diǎn)特征，本質(zhì)是注意力機(jī)制。頂點(diǎn)更新如下式（1）所示。

式（1）中，表示第m層的第i個(gè)樣本特征，f(?;θm)采用參數(shù)為θm的多層感知機(jī)將聚合特征降維，gcni(?,?)表示進(jìn)行圖卷積來(lái)更新頂點(diǎn)i，||是聚合操作，本文采用了向量拼接串聯(lián)方式。

鄰接矩陣的更新是重新計(jì)算頂點(diǎn)相似性的過(guò)程，可以采用固定度量方式：余弦相似性、歐氏距離、馬氏距離等，也可以利用神經(jīng)網(wǎng)絡(luò)自發(fā)學(xué)習(xí)度量方式。本文采用后者通過(guò)計(jì)算頂點(diǎn)間差值絕對(duì)值經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)度量方法來(lái)得到鄰接矩陣，如下式（2）所示。

其中，是鄰接矩陣m的第i行第j列數(shù)據(jù)，即頂?shù)亩鄬痈兄獧C(jī)來(lái)計(jì)算相似性，使其具備學(xué)習(xí)能力而不采用固定的相似度衡量方式。

T 中的shot 值越大，其覆蓋的范圍就越大，但計(jì)算量會(huì)升高，且隨著層數(shù)增加會(huì)出現(xiàn)過(guò)光滑問(wèn)題（隨著圖卷積層增多導(dǎo)致各節(jié)點(diǎn)變化量極小、效果降低），因此本文引入了圖池化過(guò)程。

（2）圖池化

圖池化和圖像池化層類似，將卷積得到的感受野特征姜維，最后得到能表征樣本的高層次特征。圖池化層將同類別的多個(gè)頂點(diǎn)取均值或最大值作為池化后的頂點(diǎn)，從而減少圖的大小以及使其泛化性提高，主要依據(jù)的思路就是通過(guò)圖卷積后的同類別頂點(diǎn)具有極高的相似性，因此不需要保留全部頂點(diǎn)的信息，只需要將其泛化至可高度概括的特征即可，因而本文采用了均值池化的方式。

在每層頂點(diǎn)和鄰接矩陣更新后，分別對(duì)頂點(diǎn)和鄰接矩陣進(jìn)行均值池化，頂點(diǎn)池化如下式（3）所示。

2.3 預(yù)測(cè)與訓(xùn)練

通過(guò)多層更新，最后一層的鄰接矩陣包含了樣本間的關(guān)聯(lián)信息，通過(guò)相似性即可完成類別預(yù)測(cè)。通過(guò)多層圖卷積和圖池化處理，訓(xùn)練樣本具有更高的泛化和總結(jié)性，因此根據(jù)測(cè)試樣本與訓(xùn)練樣本的相似度計(jì)算所屬類別概率，如式（5）所示。

其中，Cl={C0,C1} 是良性或者惡性類別，即根據(jù)最后一層M的鄰接矩陣M的測(cè)試樣本所處行進(jìn)行預(yù)測(cè)，其預(yù)測(cè)標(biāo)簽為概率之和較大的類別，即:

3 實(shí)驗(yàn)數(shù)據(jù)

本文在四川大學(xué)華西醫(yī)院取得的來(lái)自1339 個(gè)病幅。我們將其劃分為兩部分：5%數(shù)據(jù)（約67 幅）用于訓(xùn)練，剩余95%數(shù)據(jù)（約1272 幅）用于測(cè)試。我們采用了五折交叉嚴(yán)重，惡性腫瘤視為正類，良性腫瘤視為負(fù)類。圖像統(tǒng)一尺寸為168×168，池化層圖神經(jīng)網(wǎng)絡(luò)的相關(guān)參數(shù)設(shè)置：way 值為2，即共良性和惡性兩類；shot值設(shè)為16；層數(shù)設(shè)為5，即進(jìn)行5 次圖更新；學(xué)習(xí)率為0.001；batch 設(shè)為16；迭代次數(shù)為1000 此。

為比較本文帶池化層圖神經(jīng)網(wǎng)絡(luò)的小樣本分類模型的性能，將其與深度學(xué)習(xí)模型、乳腺超聲圖像處理模型和圖神經(jīng)網(wǎng)絡(luò)的少樣本學(xué)習(xí)模型三類進(jìn)行對(duì)比。深度學(xué)習(xí)模型采用了在ImageNet 數(shù)據(jù)集上預(yù)訓(xùn)練的VGG-16 和Inception-V3 模型，并在約67 幅乳腺超聲圖像訓(xùn)練集上微調(diào)；超聲圖像處理模型采用了AGNetwork[3]和NF-NET[14]模型，前者解決了乳腺超聲圖像的定位和分類問(wèn)題，后者能在有噪聲的數(shù)據(jù)集上精確分類；圖神經(jīng)網(wǎng)絡(luò)的少樣本學(xué)習(xí)模型采用GNN[10]和EGNN[11]模型，兩者都在Mini-ImageNet 上效果顯著。衡量指標(biāo)采用分類準(zhǔn)確率、敏感度、特異性、F1 分?jǐn)?shù)和AUC。

表1 展示了不同模型的實(shí)驗(yàn)結(jié)果，本文的帶池化層圖神經(jīng)網(wǎng)絡(luò)在分類準(zhǔn)確率和誤診率等指標(biāo)表現(xiàn)最好，AG-Network 的漏診率低但誤診率高，即傾向于將腫瘤劃分為惡性而失去分類基準(zhǔn)。深度學(xué)習(xí)模型預(yù)訓(xùn)練后與少樣本學(xué)習(xí)（從頭學(xué)習(xí)）效果類似。結(jié)果表明了在此類小樣本分類問(wèn)題下，本文模型相較于其他類型模型具有較大優(yōu)勢(shì)。

表1 針對(duì)乳腺超聲圖像小樣本分類問(wèn)題的不同模型分類結(jié)果對(duì)比

4 結(jié)語(yǔ)

醫(yī)學(xué)圖像因疾病的罕見(jiàn)姓、突發(fā)性以及設(shè)備要求高等因素，標(biāo)準(zhǔn)且高質(zhì)量圖像數(shù)據(jù)有限，但醫(yī)學(xué)圖像的小樣本學(xué)習(xí)的研究尚缺乏，本文從乳腺超聲圖像入手進(jìn)行小樣本分類的研究，結(jié)合了少樣本學(xué)習(xí)和圖神經(jīng)網(wǎng)絡(luò)并引入圖池化來(lái)解決小樣本分類問(wèn)題。從人類對(duì)于小樣本問(wèn)題的思維模式出發(fā)，通過(guò)結(jié)合注意力機(jī)制和池化的圖神經(jīng)網(wǎng)絡(luò)能夠高度概括每個(gè)類別的特征，并結(jié)合少量多次的概念學(xué)習(xí)度量方法來(lái)完成分類，并和其他深度學(xué)習(xí)模型、醫(yī)學(xué)圖像處理模型等比較發(fā)揮了杰出的效果，提供了將小樣本學(xué)習(xí)應(yīng)用于實(shí)際場(chǎng)景中的途徑。但是如果能夠結(jié)合遷移學(xué)習(xí)和元學(xué)習(xí)的思路，在其他醫(yī)學(xué)圖像上進(jìn)行預(yù)訓(xùn)練來(lái)指導(dǎo)后續(xù)的小樣本分類問(wèn)題將會(huì)有更大的提升。