改進(jìn)BYOL 的非小細(xì)胞肺癌表皮生長因子受體基因突變預(yù)測

楊嘉楠，王忠昊，王昊霖，耿國華，曹 欣*

（1.西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院，陜西 西安 710127；2.西北大學(xué) 文化遺產(chǎn)數(shù)字化國家地方聯(lián)合工程研究中心，陜西 西安 710127）

1 引言

肺癌是對人類健康和生命威脅最大的惡性腫瘤之一，我國的肺癌發(fā)病率和死亡率都居于第一［1-2］。根據(jù)病理類型肺癌可分為非小細(xì)胞肺癌（Non-small Cell Lung Cancer，NSCLC）和小細(xì)胞肺癌（Small Cell Lung Cancer，SCLC），其中非小細(xì)胞肺癌約占肺癌總發(fā)病率的80%～85%［3］。近年來，基于非小細(xì)胞肺癌驅(qū)動(dòng)基因的靶向藥物不斷出現(xiàn)，其療效可靠、副作用輕微，已成為最受關(guān)注的治療方法之一。在驅(qū)動(dòng)基因中，表皮生長因子受體（Epidermal Growth Factor Receptor，EGFR）是目前突變率最高的靶基因，也是非小細(xì)胞肺癌患者應(yīng)用最廣泛的靶基因之一［4-5］。大量研究表明，只有對EGFR 突變敏感的人才能受益于靶向藥物EGFR 酪氨酸激酶抑制劑（Epidermal Growth Factor Receptor Tyrosine Kinase Inhibitor，EGFR-TKI）［6］。因 此，EGFR 基因檢測的突變狀態(tài)已成為臨床應(yīng)用靶向藥物的先決條件［7］，突變檢測的結(jié)果尤其重要。

18F-氟-2-脫氧葡萄糖（18F-fluoro-2-deoxyglucose，18F-FDG）［8］PET/CT 顯像是目前在醫(yī)院臨床上最常用的分子成像方式，它是一種結(jié)合細(xì)胞糖代謝和組織形態(tài)學(xué)的雙模態(tài)影像學(xué)檢查方法，廣泛應(yīng)用于惡性腫瘤、心血管和神經(jīng)系統(tǒng)等領(lǐng)域［9］。中國原發(fā)性肺癌診療規(guī)范明確指出，18FFDG PET/CT 是肺癌診斷，臨床分期與再分期、療效判定和預(yù)后預(yù)測的最優(yōu)手段［10］。18F-FDG PET/CT 顯像技術(shù)，可以更為精準(zhǔn)地診斷臨床患者EGFR 基因是否發(fā)生突變，輔助指導(dǎo)臨床靶向藥物的應(yīng)用［11］。

對于非小細(xì)胞肺癌EGFR 基因突變預(yù)測，近年來的研究主要圍繞著影像組學(xué)和機(jī)器學(xué)習(xí)展開。影像組學(xué)是近年來醫(yī)學(xué)中的熱點(diǎn)領(lǐng)域，它將癌癥成像特征與基因表達(dá)相關(guān)聯(lián)。影像組學(xué)具有反映病變生物學(xué)行為的多個(gè)定量特征，可對病變的基因表型和突變情況進(jìn)行預(yù)測［12］。Zhang 等［13］利用定量影像組學(xué)標(biāo)志物和臨床變量預(yù)測非小細(xì)胞肺癌EGFR 的突變狀態(tài)，對180例非小細(xì)胞肺癌患者提取反映腫瘤異質(zhì)性和表型的485 個(gè)定量特征，利用基于多變量Logistic模型預(yù)測EGFR 的突變狀態(tài)。結(jié)果發(fā)現(xiàn)，影像組學(xué)特征具有預(yù)測非小細(xì)胞肺癌EGFR 突變狀態(tài)的潛能，且影像特征預(yù)測非小細(xì)胞肺癌是否存在EGFR 突變的價(jià)值顯著優(yōu)于單獨(dú)使用臨床變量模型。

機(jī)器學(xué)習(xí)算法能夠在沒有明確指令的情況下執(zhí)行特定任務(wù)，它依賴于模式和推理。這些算法被饋送數(shù)據(jù)并且能夠創(chuàng)建復(fù)雜的數(shù)學(xué)模型。雖然線性回歸等基本學(xué)習(xí)模型能夠?qū)€性關(guān)系進(jìn)行建模，但更高級的機(jī)器學(xué)習(xí)模型，例如邏輯回歸、支持向量機(jī)（Support Vector Machine，SVM）和隨機(jī)森林具有更高的模型容量，以及非線性建模的潛力［14-16］。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子集，它使用多個(gè)表示層從原始輸入中逐步提取更高級別的特征［17］。對于非小細(xì)胞肺癌的預(yù)測，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)可以結(jié)合使用：深度學(xué)習(xí)用于提取CT/PET 掃描特征［18］，而機(jī)器學(xué)習(xí)用于建立各種特征之間的關(guān)系。Wang 等［19］使用卷積神經(jīng)網(wǎng)絡(luò)VGG-16 模型，以96 例肺癌患者的CT 圖像作為網(wǎng)絡(luò)輸入，預(yù)測非小細(xì)胞肺癌EGFR 的突變狀態(tài)，取得了不錯(cuò)的效果。然而，這種方法需要依賴大量專家手工標(biāo)注的患者圖像數(shù)據(jù)，耗費(fèi)大量的資源。在專家手工標(biāo)注的患者圖像數(shù)據(jù)數(shù)量不充足的情況下，網(wǎng)絡(luò)訓(xùn)練出的模型會因樣本重復(fù)率太高而過擬合。

為了解決專家手工標(biāo)注的患者圖像數(shù)據(jù)不足的問題，人們將視線轉(zhuǎn)向了無監(jiān)督神經(jīng)網(wǎng)絡(luò)。無監(jiān)督神經(jīng)網(wǎng)絡(luò)不需要大量專家手工標(biāo)注的患者圖像數(shù)據(jù)，就能區(qū)分患者病歷的陰性、陽性。Francisco 等［20］提出了一種無監(jiān)督遷移學(xué)習(xí)方法，先在一個(gè)胸部CT 圖像數(shù)據(jù)集進(jìn)行卷積自編碼器的預(yù)訓(xùn)練，然后為訓(xùn)練出的卷積自編碼器增加分類器，在另一個(gè)包含EGFR 突變狀態(tài)信息的肺癌患者CT 圖像數(shù)據(jù)集進(jìn)行任務(wù)訓(xùn)練。這種方法的優(yōu)勢在于不需要大量專家手工標(biāo)注的患者圖像數(shù)據(jù)，然而其預(yù)測結(jié)果準(zhǔn)確率卻不如有監(jiān)督訓(xùn)練方法。

隨著深度學(xué)習(xí)領(lǐng)域的高速發(fā)展，PIRL［21］，CPC［22］，SimCLR［23］，MoCo［24］，SwAV［25］、SimSiam［26］和BYOL［27］等自監(jiān)督對比學(xué)習(xí)方法脫穎而出。與傳統(tǒng)的分類方法不同，對比學(xué)習(xí)并不去學(xué)習(xí)一張圖片歸屬于哪個(gè)類別，取而代之的是去學(xué)習(xí)各個(gè)圖片實(shí)例之間的相似點(diǎn)與不相似點(diǎn)，通過縮小相似圖像間的距離，增加不相似圖像間的距離，在向量空間上完成圖像樣本的聚類，構(gòu)建成向量字典。通過對比學(xué)習(xí)訓(xùn)練出的模型不需要大量已標(biāo)注數(shù)據(jù)，就能有效地提取圖像特征［28］，得到接近有監(jiān)督方法的預(yù)測準(zhǔn)確度。

本文提出了一種基于改進(jìn)BYOL 的非小細(xì)胞肺癌EGFR 基因突變預(yù)測方法。對患者肺部病灶區(qū)CT 和PET 雙模態(tài)圖像進(jìn)行優(yōu)化處理，在通道維度上將它們連接并作為網(wǎng)絡(luò)模型的輸入。同時(shí)，修改了BYOL 網(wǎng)絡(luò)投影層中非線性多層感知器（Multilayer Perceptron，MLP）的層數(shù)，提升了網(wǎng)絡(luò)預(yù)測準(zhǔn)確率。通過調(diào)整任務(wù)階段頂層分類器，使模型的預(yù)測準(zhǔn)確率進(jìn)一步提升。

2 基本原理

2.1 材 料

從醫(yī)院處獲得了近幾年來非小細(xì)胞肺癌EGFR 基因突變檢測的患者CT 圖像與PET 圖像。為了制作非小細(xì)胞肺癌EGFR 基因突變數(shù)據(jù)集，需要對原始圖像進(jìn)行預(yù)處理。使用專家勾畫MASK 文件對CT 原圖與PET 原圖進(jìn)行勾畫操作，只保存患者病灶區(qū)部分的CT，PET 圖像。然后，計(jì)算出PET 數(shù)據(jù)對應(yīng)的SUV 值作為新的PET 數(shù)據(jù)。

在計(jì)算時(shí)本文使用基于DICOM 標(biāo)簽的計(jì)算規(guī)則［29］：

其中：XPET為PET 數(shù)據(jù)讀取的一個(gè)三維矩陣，YSUV為SUV 計(jì)算后新PET 數(shù)據(jù)的三維矩陣，變量DRT為放射性核素總劑量，WP為患者體重，IR為重定標(biāo)截距，SR為重標(biāo)斜率，TA為采集時(shí)間，TRS為放射性藥物起始時(shí)間，LRH為放射性核元素的半衰期（秒）。

對CT 圖像數(shù)據(jù)使用中值濾波法去除噪聲，以優(yōu)化CT 圖像數(shù)據(jù)。將處理后的CT-PET 圖像按4∶1 劃分為訓(xùn)練集和測試，用于網(wǎng)絡(luò)的訓(xùn)練與測試。

2.2 方 法

2.2.1 網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)的整體流程如圖1 所示。從非小細(xì)胞肺癌EGFR 基因突變數(shù)據(jù)集中讀取患者病灶區(qū)的CT-PET 圖像對作為網(wǎng)絡(luò)的輸入x～D，其中D表示非小細(xì)胞肺癌EGFR 基因突變數(shù)據(jù)集，x是從D中均勻采樣得到的CT-PET 圖像對。通過t和t'兩種不同的圖像增強(qiáng)操作組得到x的兩個(gè)不同的視圖v和v'。fθ和fφ表示兩個(gè)網(wǎng)絡(luò)結(jié)構(gòu)相同但是網(wǎng)絡(luò)權(quán)重參數(shù)不同的卷積自編碼器。將x的兩個(gè)不同的視圖v和v'分別經(jīng)過fθ和fφ兩個(gè)卷積自編碼器正向傳播得到y(tǒng)θ和y'φ。gθ和gφ表示兩組網(wǎng)絡(luò)結(jié)構(gòu)相同但是網(wǎng)絡(luò)權(quán)重參數(shù)不同的投影層非線性多層感知器。然后，yθ和y'φ分別經(jīng)過gθ和gφ兩組 非線性多 層感知 器得到zθ和z'φ。對z'φ進(jìn)行停止梯度傳播得到sg(z'φ)，而zθ則經(jīng)過預(yù)測層qθ傳播得到qθ(zθ)。最后，使用sg(z'φ)和qθ(zθ)進(jìn)行損失計(jì)算，反向傳播更新online 網(wǎng)絡(luò)權(quán)重參數(shù)并依照online 網(wǎng)絡(luò)權(quán)重參數(shù)調(diào)整target 網(wǎng)絡(luò)權(quán)重參數(shù)。

網(wǎng)絡(luò)中卷積自編碼器采用ResNet-50 網(wǎng)絡(luò)框架［30］，去除了網(wǎng)絡(luò)頂端的全連接層分類器。投影層使用3 層非線性多層感知器，通過3 個(gè)以ReLU激活函數(shù)和批量歸一化操作隔開的全連接層，將卷積自編碼器提取的特征降維，對網(wǎng)絡(luò)輸出的特征向量做L2 正則化操作，將投影特征向量的長度進(jìn)行歸一化后投影在投影空間，即投影在一個(gè)長度為1 的單位超球面上。預(yù)測層和投影層結(jié)構(gòu)類似，將提取的特征向量映射到單位超球面上，同時(shí)使online 網(wǎng)絡(luò)和target 網(wǎng)絡(luò)不一致，此時(shí)任何圖片經(jīng)過網(wǎng)絡(luò)投影后，在投影空間里面所有圖像的映射都不會坍塌到同一個(gè)點(diǎn)，避免產(chǎn)生模型坍塌現(xiàn)象，學(xué)習(xí)不到有用的信息。損失函數(shù)使用均方差（Mean Squared Error，MSE）損失函數(shù)，即：

其中：x和y表示兩個(gè)特征矩陣，i為其下標(biāo)，n為矩陣元素總數(shù)。通過最小化online 網(wǎng)絡(luò)和target網(wǎng)絡(luò)映射在單位超球面上的距離來優(yōu)化online 網(wǎng)絡(luò)權(quán)重參數(shù)。

通過損失函數(shù)計(jì)算梯度并反向傳播，更新online 網(wǎng)絡(luò)的各層權(quán)重參數(shù)，見式（3）：

其中：θ是online網(wǎng)絡(luò)權(quán)重參數(shù)，δ是學(xué)習(xí)率，optimizer 是梯度優(yōu)化器，?L是損失值的梯度。target 網(wǎng)絡(luò)由于梯度停止操作，無法通過梯度反向傳播更新網(wǎng)絡(luò)權(quán)重參數(shù)。取而代之，target 網(wǎng)絡(luò)的權(quán)重參數(shù)會隨著online 網(wǎng)絡(luò)的權(quán)重參數(shù)改變，見式（4）：

其中：φ是target 網(wǎng)絡(luò)的權(quán)重參數(shù)，τ是超參數(shù)，介于0～1 之間，這里取τ=0.99。

2.2.2 損失函數(shù)原理

BYOL 網(wǎng)絡(luò)通過對輸入圖像使用兩種不同的隨機(jī)圖像增強(qiáng)操作，產(chǎn)生2 張不同的視圖，將兩張視圖輸入網(wǎng)絡(luò)兩個(gè)不同的分支，最終將特征向量映射在單位超球面上。BYOL 網(wǎng)絡(luò)認(rèn)為同一張圖片的兩種不同的視圖應(yīng)該互為正例，它們的特征向量映射在單位超球面上時(shí)應(yīng)該盡量地靠近對方。因此，BYOL 網(wǎng)絡(luò)的損失函數(shù)目標(biāo)是最小化同一張圖片兩個(gè)不同視圖特征向量映射在單位超球面上的距離。BYOL 的損失函數(shù)如下：

L1是余弦相似度的變形，它的最小值相當(dāng)于兩個(gè)特征向量余弦相似度的最大值，也就是說隨著損失函數(shù)的縮小，兩個(gè)視圖的特征向量在單位超球面上的映射之間的距離會越來越近。由于online 和target 兩個(gè)網(wǎng)絡(luò)分支不對稱，所以BYOL網(wǎng)絡(luò)會交換兩個(gè)圖像增強(qiáng)后的視圖，使其沿另一個(gè)分支路進(jìn)行前向傳播，計(jì)算損失值L2。

所以BYOL 網(wǎng)絡(luò)的最終損失函數(shù)如下：

其中：online(v1)，online(v2)分別為視圖1、視圖2在online 網(wǎng)絡(luò)的輸出特征向量，target(v1)，target(v2)分別為視圖1、視圖2 在target 網(wǎng)絡(luò)的輸出特征向量。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)框架Fig.1 Network structure frame

2.2.3 雙模態(tài)通道維度連接

Liu［31-32］、Zeng［33］、Wang［34］和Yin 等［35］的研究結(jié)果表明，CT 和PET 圖像對患者EGFR 等相關(guān)基因突變、生物靶向治療療效的預(yù)測及動(dòng)態(tài)評估具有一定價(jià)值。從CT 和PET 圖像中提取出來的圖像紋理特征可以用來預(yù)測非小細(xì)胞肺癌患者EGFR 的突變情況。這里將非小細(xì)胞肺癌患者肺部病灶區(qū)的CT 和PET 圖像在通道維度上連接疊加作為網(wǎng)絡(luò)的輸入，將112×112×1 尺寸的圖像矩陣在通道維度上連接，得到一個(gè)112×112×2 尺寸的新圖像矩陣，作為網(wǎng)絡(luò)的輸入，見圖2。

圖2 CT，PET 圖像的通道連接Fig.2 Channel connection of CT and PET images

2.2.4 圖像增強(qiáng)

BYOL 網(wǎng)絡(luò)通過對同一張圖片采用兩種不同的圖像增強(qiáng)，產(chǎn)生兩種視圖，然后將兩種視圖分別輸入網(wǎng)絡(luò)的兩個(gè)不同分支得到輸出計(jì)算的損失值。由于這兩個(gè)視圖是由同一張圖片變換而成，因此它們應(yīng)該屬于同一個(gè)實(shí)例，經(jīng)過網(wǎng)絡(luò)提取的特征向量映射在單位超球面上時(shí)，視圖之間的距離應(yīng)盡可能地小。然而，如果兩個(gè)視圖過于相似，會出現(xiàn)模型坍塌現(xiàn)象，影響網(wǎng)絡(luò)訓(xùn)練結(jié)果。因此，對比學(xué)習(xí)需要采用一種圖像增強(qiáng)方式，使得同一張圖片經(jīng)過圖像增強(qiáng)變換出來的兩個(gè)視圖在保持原實(shí)例特征的前提下盡量不相似。

本文從基礎(chǔ)圖像增強(qiáng)方法庫中挑選出幾種適合單通道灰度圖像的圖像增強(qiáng)方法（高斯模糊、水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、銳化和縮放后隨機(jī)裁剪），如圖3 所示。從這幾種隨機(jī)增強(qiáng)庫中每次隨機(jī)選出不定數(shù)量且參數(shù)隨機(jī)的圖像進(jìn)行組合。通過隨機(jī)挑選得到的兩個(gè)增強(qiáng)操作組會產(chǎn)生兩個(gè)在保持原圖像實(shí)例特征的前提下，盡可能不相似的視圖。

圖3 圖像增強(qiáng)結(jié)果Fig.3 Image augmentation results

2.2.5 網(wǎng)絡(luò)實(shí)現(xiàn)

本文提出的方法分為預(yù)訓(xùn)練和任務(wù)網(wǎng)絡(luò)訓(xùn)練兩部分。在預(yù)訓(xùn)練階段，將無標(biāo)簽數(shù)據(jù)集輸入網(wǎng)絡(luò)，經(jīng)過200 個(gè)Epochs 的迭代不斷優(yōu)化網(wǎng)絡(luò)權(quán)重參數(shù)，使網(wǎng)絡(luò)學(xué)會將輸入的樣本進(jìn)行分類，對比學(xué)習(xí)網(wǎng)絡(luò)會縮小相似樣本間的距離，擴(kuò)大不相似樣本間的距離，最終所有輸入的數(shù)據(jù)樣本被聚為兩類：陰性和陽性。在任務(wù)網(wǎng)絡(luò)訓(xùn)練階段，將少量含標(biāo)簽的數(shù)據(jù)集（僅使用20%標(biāo)注數(shù)據(jù)）輸入網(wǎng)絡(luò)，并在網(wǎng)絡(luò)頂部增加分類器，經(jīng)過100 個(gè)Epochs 的迭代優(yōu)化，得到最終訓(xùn)練好的模型。任務(wù)網(wǎng)絡(luò)訓(xùn)練階段因?yàn)橛袑＜覙?biāo)注的陰性、陽性標(biāo)簽，可以為預(yù)訓(xùn)練階段的模型分出來的兩個(gè)類型確定陰性、陽性。具體實(shí)驗(yàn)參數(shù)如表1 所示，預(yù)訓(xùn)練網(wǎng)絡(luò)和訓(xùn)練任務(wù)網(wǎng)絡(luò)都使用Adam 梯度優(yōu)化器，經(jīng)過調(diào)試將學(xué)習(xí)率設(shè)置為0.000 3，訓(xùn)練時(shí)的Batch Size 設(shè)置為35。預(yù)訓(xùn)練網(wǎng)絡(luò)和訓(xùn)練任務(wù)網(wǎng)絡(luò)的Epoch 分別為200 和100。在訓(xùn)練階段與測試階段將112×112×1 大小的PET 與CT 圖像融合，形成雙通道112×112×2 的矩陣并輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練及測試，詳細(xì)參數(shù)見表1。如圖4 所示，Loss 曲線經(jīng)過多個(gè)Epochs 的迭代最終達(dá)到收斂。

表1 網(wǎng)絡(luò)訓(xùn)練超參數(shù)Tab. 1 Network training hyper-parameters

圖4 訓(xùn)練Loss 曲線Fig.4 Training loss curve

2.2.6 評價(jià)指標(biāo)

使用專家的手動(dòng)標(biāo)注作為基本事實(shí)，本文使用ROC曲線（Receiver Operating Characteristic Curve）以及曲線下面積（Area Under the Curve，AUC）對網(wǎng)絡(luò)進(jìn)行定量評估［36-37］。

ROC 曲線是基于混淆矩陣得出的。一個(gè)二分類模型的閾值可能設(shè)定為高或低，每種閾值的設(shè)定會得出不同的真正例率（TPR）和假正例率（FPR），將同一模型每個(gè)閾值的（FPR，TPR）坐標(biāo)都繪制在ROC 空間里，就成為特定模型的ROC 曲線。ROC 曲線橫坐標(biāo)為假正例率，縱坐標(biāo)為真正例率。使用ROC 曲線作為模型分類性能的評判標(biāo)準(zhǔn)有兩個(gè)優(yōu)點(diǎn)：（1）ROC 曲線簡單、直觀，通過圖示可觀察分析學(xué)習(xí)器的準(zhǔn)確性，并可用肉眼做出判斷；ROC 曲線將真正例率和假正例率以圖示方法結(jié)合在一起，可準(zhǔn)確反映某種模型真正例率和假正例率的關(guān)系，是檢測準(zhǔn)確性的綜合代表；（2）ROC 曲線不固定閾值，允許中間狀態(tài)的存在，利于使用者結(jié)合專業(yè)知識權(quán)衡漏診與誤診的影響，選擇一個(gè)更加合適的閾值作為診斷參考值。

AUC 就是ROC 曲線的下面積。在比較不同的分類模型時(shí)，AUC 值越大的分類器，分類準(zhǔn)確率越高。

3 實(shí)驗(yàn)和結(jié)果分析

3.1 對比實(shí)驗(yàn)

實(shí)驗(yàn)使用由醫(yī)院提供的180 余名患者肺部CT 和PET 成像，對每個(gè)患者的CT 和PET圖像進(jìn)行勾畫操作，只保存患者肺部病灶區(qū)。將CT和PET 圖像成對保存，制成肺部非小細(xì)胞肺癌EGFR 數(shù)據(jù)集。實(shí)驗(yàn)環(huán)境統(tǒng)一使用NVIDIA Ge-Force TITAN V顯卡，Python 版本為3.7，CUDA 版本為10.2，所用 框架為Pytorch 1.10.1 版本。使用本文提出的網(wǎng)絡(luò)獲得基于非小細(xì)胞肺癌EGFR 基因突變數(shù)據(jù)集上的預(yù)測結(jié)果，并與目前廣泛應(yīng)用的醫(yī)學(xué)圖像影學(xué)以及主流有監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)VGG-16，ResNet-50，Inception v3 及無監(jiān)督遷移學(xué)習(xí)CAE 方法進(jìn)行對比。實(shí)驗(yàn)結(jié)果如表2 所示。

表2 不同方法非小細(xì)胞肺癌EGFR 基因突變的預(yù)測AUCTab. 2 Predicting AUC for EGFR gene mutation in non-small cell lung cancer by different methods

本文通過使用改進(jìn)的BYOL 網(wǎng)絡(luò)進(jìn)行自監(jiān)督訓(xùn)練，使用無標(biāo)簽圖像，即未通過專家標(biāo)注的圖像數(shù)據(jù)，迭代200 個(gè)Epochs 訓(xùn)練出一個(gè)ResNet-50 預(yù)訓(xùn)練模型，再使用少量有標(biāo)簽圖像（20%的已標(biāo)注數(shù)據(jù)）迭代100 個(gè)Epochs 微調(diào)預(yù)訓(xùn)練的網(wǎng)絡(luò)模型，得到任務(wù)網(wǎng)絡(luò)模型。圖4 為網(wǎng)絡(luò)訓(xùn)練時(shí)的損失下降曲線。在不需要大量標(biāo)記數(shù)據(jù)的情況下獲得了77% AUC，比傳統(tǒng)的影像組學(xué)（67% AUC）的預(yù)測效果更好，還高于使用普通卷積神經(jīng)網(wǎng)絡(luò)的有監(jiān)督方法，和目前比較主流的無監(jiān)督遷移學(xué)習(xí)方法（68% AUC）。雖然本文提出的方法AUC 低于融入患者臨床信息的ResNet-50 網(wǎng)絡(luò)，但是該方法是自監(jiān)督訓(xùn)練，不需要大量的人工標(biāo)注數(shù)據(jù)集，也不需要患者的大量臨床信息特征，具有更大的發(fā)展?jié)摿ΑＦ鋬?yōu)勢總結(jié)如下：（1）該方法預(yù)測得到的AUC 高于傳統(tǒng)影像組學(xué)及卷積神經(jīng)網(wǎng)絡(luò)的AUC；（2）使用自監(jiān)督學(xué)習(xí)，不需要大量人工標(biāo)記數(shù)據(jù)，不需要患者的臨床信息，更加便捷、節(jié)省成本；（3）使用對比學(xué)習(xí)方法，讓相似的病灶區(qū)樣本間距離縮短，不相似的病灶區(qū)樣本間距離增大，學(xué)習(xí)到樣本間的相似性，更好地進(jìn)行分類預(yù)測。

3.2 消融實(shí)驗(yàn)

為了進(jìn)一步探究網(wǎng)絡(luò)結(jié)構(gòu)對本文提出的基于雙模態(tài)的改進(jìn)BYOL 對比學(xué)習(xí)網(wǎng)絡(luò)的影響，本文通過一系列消融實(shí)驗(yàn)，分別探究了頂層分類器、投影層非線性MLP 層數(shù)和雙模態(tài)數(shù)據(jù)集的影響。

3.2.1 頂層分類器對性能的影響

本文在任務(wù)模型的輸出部分分別使用了全連接層、支持向量機(jī)和隨機(jī)森林3 種分類器，實(shí)驗(yàn)結(jié)果見圖5。其中，全連接分類器的分類預(yù)測由全連接神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，以ReLU 函數(shù)為激活函數(shù)，最后使用交叉熵?fù)p失函數(shù)進(jìn)行損失計(jì)算；支持向量機(jī)分類器基于1 024 維輸入向量的線性核函數(shù)的SVM 模型進(jìn)行分類；隨機(jī)森林分類器基于輸入1 024 維特征向量，使用隨機(jī)森林和L1 正則化進(jìn)行分類。3 種分類器分別得到了77%AUC，75% AUC，74% AUC。從表3 可以看出，使用全連接分類器取得的實(shí)驗(yàn)結(jié)果略優(yōu)于其他兩種方法。

表3 消融實(shí)驗(yàn)結(jié)果Tab. 3 Ablation experiment results

圖5 三種分類器預(yù)測AUCFig.5 AUC of three classifiers

3.2.2 投影層非線性MLP 層數(shù)對性能的影響

Chen T 等［23］和Chen X L 等［26］發(fā)現(xiàn)，通過增加投影層非線性MLP 的層數(shù)可以有效提高對比學(xué)習(xí)網(wǎng)絡(luò)模型的分類準(zhǔn)確率。而原始BYOL網(wǎng)絡(luò)的投影層只有2 層非線性MLP，因此實(shí)驗(yàn)投影層分別使用2 層非線性MLP 和3 層非線性MLP 訓(xùn)練出的模型進(jìn)行分類。結(jié)果顯示，3 層非線性MLP 訓(xùn)練出的模型得到了77% AUC，高于2 層非線性MLP 訓(xùn)練出的模型（74%AUC）。由此表明，通過增加投影層非線性MLP 的層數(shù)可以有效地提高對比學(xué)習(xí)網(wǎng)絡(luò)模型的分類準(zhǔn)確率。

3.2.3 雙模態(tài)對性能的影響

已有研究表明［31-37］，CT 和PET 圖像在預(yù)測非小細(xì)胞肺癌EGFR 突變中具有一定的參考價(jià)值。本文將患者病灶區(qū)的CT 圖像和PET 圖像信息融合起來作為網(wǎng)絡(luò)的輸入。實(shí)驗(yàn)分別使用患者病灶區(qū)CT 圖像和PET 圖像的融合信息與只使用CT 圖像信息作為網(wǎng)絡(luò)輸入訓(xùn)練網(wǎng)絡(luò)，最終分別得到了77% AUC 和75% AUC。從實(shí)驗(yàn)結(jié)果可以看出，同時(shí)使用患者病灶區(qū)的CT 圖像和PET 圖像兩個(gè)模態(tài)時(shí)可以得到更好的效果。

4 結(jié)論

本文基于改進(jìn)BYOL 的自監(jiān)督非小細(xì)胞肺癌EGFR 基因突變預(yù)測方法，以BYOL 自監(jiān)督對比網(wǎng)絡(luò)為基礎(chǔ)對其網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，加深了非線性MLP 的層數(shù)，同時(shí)融合了CT 和PET 兩個(gè)模態(tài)的圖像數(shù)據(jù)，指導(dǎo)網(wǎng)絡(luò)提取更有效的圖像特征，提高預(yù)測準(zhǔn)確度。本文所提的網(wǎng)絡(luò)結(jié)構(gòu)與方法最終得到了77% AUC，相對于傳統(tǒng)的影像組學(xué)方法的分類結(jié)果提高了7% AUC，相對于有監(jiān)督VGG-16 網(wǎng)絡(luò)的分類結(jié)果提高了5% AUC。在不需要大量專家手工標(biāo)注數(shù)據(jù)集及大量患者臨床數(shù)據(jù)的情況下（僅使用20%標(biāo)注數(shù)據(jù)），該方法僅比融合了患者大量臨床信息等數(shù)據(jù)的有監(jiān)督網(wǎng)絡(luò)低9% AUC，能夠有效地指導(dǎo)醫(yī)師無創(chuàng)且自動(dòng)地根據(jù)患者的CT，PET 圖像判斷是否發(fā)生非小細(xì)胞肺癌EGFR 基因突變，從而幫助患者進(jìn)行EGFR 靶向治療，展示了其輔助臨床決策的潛力。

醫(yī)學(xué)圖像并不像普通圖像那樣包含大量場景，所以高級語義特征（如病灶區(qū)的形狀、輪廓）以及低級語義特征（如病灶區(qū)的邊緣、紋理）都很重要。后續(xù)的研究中，會繼續(xù)關(guān)注跟隨對比學(xué)習(xí)圖像分類方面的最新進(jìn)展，探究AUC 更高的醫(yī)學(xué)圖像分類方法。