基于生成對(duì)抗網(wǎng)絡(luò)的肺結(jié)節(jié)良惡性診斷算法

羅家健, 馮 寶, 陳相猛, 顧正暉

(1. 華南理工大學(xué) 自動(dòng)化科學(xué)與工程學(xué)院, 廣東 廣州 510640; 2. 桂林航天工業(yè)學(xué)院 醫(yī)學(xué)人工智能實(shí)驗(yàn)室, 廣西 桂林 541004; 3. 江門市中心醫(yī)院 放射科, 廣東 江門 529030)

癌癥是目前世界上導(dǎo)致死亡的一個(gè)重要因素,而其中肺癌是死亡率最高的癌癥之一.肺結(jié)節(jié)是早期肺癌的典型表現(xiàn)形式之一[1],有良惡性之分,其中肺結(jié)核(lung tuberculosis,LTB)[2]是典型的良性肺結(jié)節(jié),肺腺癌(lung adenocarcinoma,LAC)[3]是典型的惡性肺結(jié)節(jié).臨床中肺結(jié)核與肺腺癌的治療措施并不相同.肺結(jié)核患者需要進(jìn)行抗炎治療,肺腺癌患者則需要手術(shù)治療或者放化療[4].肺結(jié)核和肺腺癌在CT影像中均可表現(xiàn)為實(shí)性肺結(jié)節(jié),是典型的“異病同影”,為術(shù)前鑒別診斷帶來了較高的挑戰(zhàn).為了準(zhǔn)確區(qū)分兩者,病理活檢是一個(gè)比較有效的方法[5].然而,病理活檢是一種侵入式的診斷方法,易造成癌細(xì)胞針道播散且不可作為重復(fù)監(jiān)測手段[6].因此,尋找一種非侵入式的預(yù)測模型對(duì)肺結(jié)核和肺腺癌進(jìn)行鑒別診斷，對(duì)提高影像科醫(yī)生診斷效率具有重要意義.

影像組學(xué)(radiomics)是當(dāng)前醫(yī)工交叉學(xué)科的研究熱點(diǎn)之一,通過高通量地提取包括形狀、紋理、小波等圖像特征,同時(shí)綜合有效臨床信息,構(gòu)建腫瘤輔助診斷的定量模型[7].Chen等[8]和Demir等[9]通過影像組學(xué)方法,從肺結(jié)節(jié)CT影像中提取包括形態(tài)、紋理、小波等特征構(gòu)建影像組學(xué)模型,在進(jìn)行肺結(jié)節(jié)良惡性分類實(shí)驗(yàn)中取得了較好的結(jié)果.盡管影像組學(xué)方法已經(jīng)在肺癌、乳腺癌等多個(gè)領(lǐng)域得到了應(yīng)用[10-12],但圖像特征提取依賴于精確的病灶分割結(jié)果,耗時(shí)耗力,重復(fù)性欠佳,不適合開展大數(shù)據(jù)分析.此外,影像組學(xué)方法所使用的經(jīng)驗(yàn)性特征并未考慮到數(shù)據(jù)的個(gè)體差異性,可能導(dǎo)致模型在不同數(shù)據(jù)集下的性能表現(xiàn)差異較大.

不同于影像組學(xué)方法,基于深度學(xué)習(xí)的數(shù)據(jù)驅(qū)動(dòng)類方法能夠提取出特異性較強(qiáng)的特征,相比于經(jīng)驗(yàn)特征,基于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)特征具有較高的魯棒性和穩(wěn)定性[13-15].然而,在臨床數(shù)據(jù)分析中,獲取規(guī)模較大的患者數(shù)據(jù)是非常困難的.此外,實(shí)性肺結(jié)節(jié)CT影像數(shù)據(jù)中,肺腺癌樣本數(shù)量遠(yuǎn)大于肺結(jié)核樣本數(shù)量,存在嚴(yán)重的樣本不均衡現(xiàn)象,進(jìn)一步加劇了訓(xùn)練模型時(shí)出現(xiàn)的過擬合問題.為解決這一問題,Shen等[16]采用傳統(tǒng)數(shù)據(jù)增廣方式擴(kuò)充肺癌數(shù)據(jù)集,在不同方向上平移2個(gè)像素點(diǎn)實(shí)現(xiàn)增廣;Zhang等[17]提出特征表征與相似性矩陣的聯(lián)合學(xué)習(xí)方法,從大量未標(biāo)記數(shù)據(jù)中找到與原始數(shù)據(jù)集最為相近的樣本;Zhao等[18]基于空間轉(zhuǎn)換模型和外觀轉(zhuǎn)換模型,將有標(biāo)簽的腦部MRI數(shù)據(jù)變換為新的樣本數(shù)據(jù).

針對(duì)實(shí)性肺結(jié)節(jié)的臨床CT影像數(shù)據(jù),傳統(tǒng)增廣方法擴(kuò)充后的數(shù)據(jù)集容易導(dǎo)致數(shù)據(jù)分布發(fā)生變化,大量的未標(biāo)記數(shù)據(jù)同樣難以獲得.本文提出一種基于生成對(duì)抗網(wǎng)絡(luò)的實(shí)性肺結(jié)節(jié)輔助診斷算法.首先,利用生成對(duì)抗網(wǎng)絡(luò)對(duì)肺結(jié)節(jié)CT影像數(shù)據(jù)進(jìn)行增廣,避免了傳統(tǒng)數(shù)據(jù)增廣方式的弊端,并在增廣后的數(shù)據(jù)集上訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取.然后,通過主成分分析對(duì)深度學(xué)習(xí)特征進(jìn)行降維,提高深度特征的魯棒性及穩(wěn)定性.最后聯(lián)合深度特征與主觀征象,通過集成分類器對(duì)單個(gè)病例進(jìn)行診斷.

1 實(shí)驗(yàn)數(shù)據(jù)與儀器

1.1 病例數(shù)據(jù)集

本研究使用的實(shí)驗(yàn)數(shù)據(jù)集為江門市中心醫(yī)院的臨床數(shù)據(jù)和中山大學(xué)附屬第五醫(yī)院的臨床數(shù)據(jù).江門市中心醫(yī)院的臨床數(shù)據(jù)包括362個(gè)病例,包含130個(gè)肺結(jié)核病例和232個(gè)肺腺癌病例;中山大學(xué)附屬第五醫(yī)院的臨床數(shù)據(jù)包括219個(gè)病例,包含45個(gè)肺結(jié)核病例和174個(gè)肺腺癌病例.用于構(gòu)建模型的臨床數(shù)據(jù)的納入標(biāo)準(zhǔn)為:①所有病例中的肺結(jié)節(jié)均為實(shí)性肺結(jié)節(jié);②肺結(jié)節(jié)最大徑大于3 mm,小于30 mm;③CT影像在患者手術(shù)前兩周獲得;④病理學(xué)檢測結(jié)果是病灶類別標(biāo)簽的金標(biāo)準(zhǔn);⑤主觀征象由有著10年以上經(jīng)驗(yàn)的放射科醫(yī)生讀取.

在本研究中,江門市中心醫(yī)院的臨床數(shù)據(jù)作為構(gòu)建組合模型的內(nèi)部數(shù)據(jù)集,用于對(duì)組合模型進(jìn)行訓(xùn)練和內(nèi)部驗(yàn)證.內(nèi)部數(shù)據(jù)集隨機(jī)劃分為訓(xùn)練集和測試集,其中訓(xùn)練集包含108個(gè)肺結(jié)核病例和162個(gè)肺腺癌病例,測試集包含22個(gè)肺結(jié)核病例和70個(gè)肺腺癌病例.中山大學(xué)附屬第五醫(yī)院的臨床數(shù)據(jù)作為外部驗(yàn)證集,用于對(duì)組合模型進(jìn)行外部檢驗(yàn),模型在外部驗(yàn)證集上的性能表現(xiàn)可以作為衡量其泛化能力的指標(biāo)之一.

1.2 儀器與方法

采用雙能量Siemens Somatom Flash及Toshiba Aquilion One 64層螺旋CT機(jī)進(jìn)行胸部CT掃描.進(jìn)行CT平掃時(shí),要求病人采取仰臥位并深吸一口氣,掃描范圍為胸廓入口至雙側(cè)腎上腺.掃描參數(shù)如下:管電壓120 kV,自動(dòng)管電流調(diào)制,螺距0.75～1.5 mm,準(zhǔn)直0.625～1.25 mm,掃描視野為200 mm×200 mm,CT重建矩陣尺寸為512像素×512像素,重建層厚10-3mm,層距0.8～3 mm,沒有進(jìn)行CT增強(qiáng).掃描劑量根據(jù)病人的身高體重指數(shù)確定,范圍為50～150 mJ·kg-1·cm.圖像分析使用肺窗(窗寬: 1500 HU,窗位:-400 HU).

2 算法框架

本文方法從以下三個(gè)角度緩解因醫(yī)學(xué)影像數(shù)據(jù)量較小導(dǎo)致的過擬合問題:①使用真實(shí)樣本構(gòu)成的CT影像數(shù)據(jù)集訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)(generative adversarial network, GAN),擬合臨床CT數(shù)據(jù)所處的概率分布,并從中重新采樣得到生成樣本;②在增廣后的數(shù)據(jù)集上訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)提取深度特征,并采用主成分分析進(jìn)行特征降維,去除CT影像中存在的噪聲與偽影;③篩選符合統(tǒng)計(jì)檢驗(yàn)的臨床信息及主觀征象,與降維后的深度特征結(jié)合,以支持向量機(jī)為基學(xué)習(xí)器,使用自舉匯聚的集成方法構(gòu)建集成分類器,對(duì)CT影像特征向量進(jìn)行分類.本文算法的結(jié)構(gòu)框圖如圖1所示.

2.1 生成對(duì)抗網(wǎng)絡(luò)擴(kuò)充數(shù)據(jù)集

本文通過生成對(duì)抗網(wǎng)絡(luò)對(duì)臨床數(shù)據(jù)進(jìn)行增廣.生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練過程本質(zhì)上是生成器(generator)和判別器(discriminator)之間的零和博弈,訓(xùn)練完成后生成器得以擬合從隨機(jī)噪聲數(shù)據(jù)到真實(shí)數(shù)據(jù)分布的映射,使生成樣本具有與真實(shí)數(shù)據(jù)相同的概率分布[19].生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練過程如圖2所示.

圖1 本文所提出的算法結(jié)構(gòu)框圖Fig.1 Structure diagram of the proposed algorithm

圖2 生成對(duì)抗網(wǎng)絡(luò)擴(kuò)充數(shù)據(jù)集的訓(xùn)練過程Fig.2 Training process using generative adversarial network to augment dataset

針對(duì)生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練過程穩(wěn)定性較差、容易出現(xiàn)模式崩塌和模式丟棄等問題,目前已有多種用于提升生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性方法,包括Salimans等[20]在判別器中使用小批量數(shù)據(jù)，Arjovsky等[21]使用Wasserstein距離作為判別器的損失函數(shù)等.針對(duì)實(shí)性肺結(jié)節(jié)影像數(shù)據(jù)樣本不均衡的情況,本研究采用基于帶有梯度懲罰項(xiàng)的WGAN(Wasserstein generative adversarial network with gradient penalty,WGAN-GP)[22],對(duì)實(shí)性肺結(jié)節(jié)的CT影像數(shù)據(jù)集進(jìn)行擴(kuò)充,其中判別器的損失函數(shù)為

L=Ez～pz(z)[D(G(z))]-Ex～pdata(x)[D(x)]+λEz～pz(z)[(‖zD(z)‖2-1)2].

(1)

式中:E[·]為期望；pz(z)為隨機(jī)噪聲分布;pdata(x)為真實(shí)樣本的數(shù)據(jù)分布;D(·)為判別器;G(·)為生成器;λ為梯度懲罰系數(shù);為梯度.

WGAN-GP中判別器的損失函數(shù)利用其對(duì)輸入到生成器的隨機(jī)噪聲的梯度作為正則化項(xiàng),同時(shí)去除了原來WGAN的權(quán)重截?cái)嗪团齽t化,解決了WGAN中存在的梯度消失和梯度爆炸的問題,提高了生成樣本的質(zhì)量和穩(wěn)定性.對(duì)于實(shí)性肺結(jié)節(jié)CT臨床數(shù)據(jù),梯度項(xiàng)Ez～pz(z)[(‖zD(z)‖2-1)2]使判別器輸出對(duì)噪聲的梯度的2-范數(shù)盡可能接近1,避免生成器陷入局部最小導(dǎo)致模式崩塌,從而迫使生成器捕捉病灶ROI中更多的細(xì)節(jié),例如肺結(jié)節(jié)的邊緣、紋理、形態(tài)、微環(huán)境的變化等.相比于平移、旋轉(zhuǎn)等傳統(tǒng)的數(shù)據(jù)增廣方式,通過生成對(duì)抗網(wǎng)絡(luò)得到的生成樣本能夠增加信息的多樣性,幫助后續(xù)的特征提取器提取出更多有助于判斷病灶良惡性的關(guān)鍵信息.為避免對(duì)真實(shí)樣本集造成多余的影響,通過生成對(duì)抗網(wǎng)絡(luò)得到的生成樣本僅在訓(xùn)練特征提取器時(shí)作為訓(xùn)練數(shù)據(jù)使用.

本文設(shè)計(jì)的生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示.生成器為反卷積神經(jīng)網(wǎng)絡(luò),通過轉(zhuǎn)置卷積操作對(duì)特征圖進(jìn)行上采樣,轉(zhuǎn)置卷積核尺寸為7×7和4×4,數(shù)量依次為512,256,128,64,32,1.判別器為卷積神經(jīng)網(wǎng)絡(luò),卷積核尺寸為4×4和7×7,數(shù)量依次為32,64,128,256,512,1.

2.2 使用DenseNet提取深度特征

相比于影像組學(xué)的方法,將深度學(xué)習(xí)模型作為特征提取器的方法不依賴于病灶的精確分割結(jié)果,也不需要事先定義大量的組學(xué)特征.影像組學(xué)方法提取出的組學(xué)特征缺乏特異性,而深度學(xué)習(xí)模型可基于單個(gè)樣本提取出特異性特征,具有更高的穩(wěn)定性和魯棒性.本文基于DenseNet構(gòu)建深度特征提取器,其由多個(gè)密集連接塊和過渡塊構(gòu)成,相比于其他網(wǎng)絡(luò),DenseNet的密集連接結(jié)構(gòu)緩解了模型中梯度消失的問題,且過渡塊將密集連接塊輸出的特征圖進(jìn)行拼接,使位于高層的密集連接塊能夠綜合利用低層密集連接塊的特征圖輸出,更加充分地利用卷積特征,從而減少網(wǎng)絡(luò)參數(shù)和提升網(wǎng)絡(luò)效率[23].

圖3 生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 The structure of generative adversarial network (a)—生成器結(jié)構(gòu)； (b)—判別器結(jié)構(gòu).

針對(duì)實(shí)性肺結(jié)節(jié)的診斷任務(wù),本文方法提取了DenseNet中每一個(gè)密集連接塊輸出的特征圖,由于不同的卷積核關(guān)注圖像的不同區(qū)域,因此密集連接塊輸出的特征圖有助于挖掘肺結(jié)節(jié)CT影像數(shù)據(jù)中更抽象的深度特征.本研究沒有采用構(gòu)建端到端模型(end-to-end model)的方法對(duì)實(shí)性肺結(jié)節(jié)的肺結(jié)核與肺腺癌進(jìn)行分類,其主要原因在于醫(yī)學(xué)影像數(shù)據(jù)集規(guī)模較小,肺結(jié)節(jié)CT影像的數(shù)據(jù)量遠(yuǎn)達(dá)不到普通RGB圖像的數(shù)據(jù)量,而端到端模型需要大量的訓(xùn)練樣本(xi,yi)才能直接學(xué)習(xí)到輸入-輸出的映射關(guān)系.在樣本量較少、類別不均衡的情況下,額外信息的引入有助于對(duì)病灶的類別進(jìn)行判斷,而端到端模型難以發(fā)揮額外信息的作用,極易出現(xiàn)過擬合訓(xùn)練集的情況.將DenseNet作為特征提取器對(duì)實(shí)性肺結(jié)節(jié)CT影像進(jìn)行處理的過程如圖4所示.

模型輸入特征的數(shù)量會(huì)對(duì)模型的性能產(chǎn)生顯著影響,需要控制在一個(gè)合適的水平以提高模型性能.特征降維從數(shù)據(jù)相關(guān)性的角度對(duì)深度特征作進(jìn)一步的處理,減少無關(guān)特征的數(shù)量.主成分分析(principal component analysis, PCA)算法關(guān)注特征之間的相關(guān)性,通過投影法盡可能保留投影后特征的方差,將原來處于N維空間的特征向量映射到更低的k維空間[24].原樣本點(diǎn)xi到投影面的距離可表示為

(2)

優(yōu)化目標(biāo)為

(3)

式中:xi為N維空間中去中心化后的特征向量;m為樣本數(shù)量;N為降維前的特征數(shù)量;k為降維后的特征數(shù)量;W=(w1,w2,…,wN)為投影后的標(biāo)準(zhǔn)正交基構(gòu)成的矩陣;zi=(zi1;zi2;…;zik)為特征向量xi在k維空間上的投影;λ為常量.PCA對(duì)特征空間進(jìn)行了線性變換,降維后的特征是原特征的線性組合,特征空間的坐標(biāo)軸相互正交,從而消除CT影像特異性特征間的相關(guān)性.由于CT影像數(shù)據(jù)具有較高的復(fù)雜度,DenseNet提取出的深度特征之間可能存在較高的冗余度,過多的冗余特征可能導(dǎo)致模型性能下降[25],通過PCA能夠減少冗余特征的數(shù)量;較少的特征數(shù)量能夠在一定程度上起到加速模型訓(xùn)練的作用.此外,PCA算法能夠起到去除噪聲干擾的作用[26],舍棄最小N-k個(gè)特征值的特征向量,這部分特征向量往往與CT影像的噪聲有關(guān),其來源包括CT成像設(shè)備的固有限制、重建算法及其參數(shù)、偽影等[27],通過PCA算法可以在一定程度上去除影像噪聲干擾.

圖4 深度特征的提取過程Fig.4 Process of extracting deep features

2.3 主觀征象篩選

卷積神經(jīng)網(wǎng)絡(luò)更關(guān)注單個(gè)輸入樣本的局部特征,在提取特異性特征時(shí)有著較好的表現(xiàn).然而,相比于影像組學(xué)的方法,卷積神經(jīng)網(wǎng)絡(luò)對(duì)泛化特征的提取能力不足,僅依靠深度特征難以提供足夠的信息對(duì)實(shí)性肺結(jié)節(jié)進(jìn)行準(zhǔn)確的分類.在實(shí)性肺結(jié)節(jié)的肺結(jié)核與肺腺癌分類任務(wù)中,病人的臨床信息和病灶的泛化信息有助于提高分類的準(zhǔn)確性.放射科醫(yī)師在解讀CT影像時(shí),本質(zhì)上也是結(jié)合臨床信息和CT影像的泛化特征來進(jìn)行診斷,這些泛化特征被稱為CT影像的主觀征象.與卷積神經(jīng)網(wǎng)絡(luò)相反,人類的視覺系統(tǒng)更善于處理泛化特征,而難以處理像素級(jí)別的特征.在肺結(jié)核與肺腺癌的診斷任務(wù)中,病人年齡及性別、肺結(jié)節(jié)的尺寸、形狀、分葉征、毛刺征是臨床上常用的臨床信息和主觀征象,其作用在已有研究中得到證實(shí).尺寸更大的肺結(jié)節(jié)意味著病灶已經(jīng)擴(kuò)大或正在生長,是實(shí)性肺結(jié)節(jié)向肺腺癌轉(zhuǎn)變的典型癥狀[28].老年人由于免疫系統(tǒng)機(jī)能下降,且易于暴露在更多致癌因素的影響下,患肺癌的風(fēng)險(xiǎn)比年輕人更高[29].肺結(jié)節(jié)的不規(guī)則形狀及分葉征由癌細(xì)胞邊緣部分不同的生長及分化程度導(dǎo)致,意味著病灶癌變的概率較高[30-31].毛刺征的出現(xiàn)往往伴隨著血管出現(xiàn)癌性浸潤、肺結(jié)節(jié)小葉間隔水腫等現(xiàn)象,是診斷實(shí)性肺結(jié)節(jié)的重要影像學(xué)征象之一[32].

為了結(jié)合特異性特征和泛化特征的優(yōu)勢,本文方法將病人的臨床信息和CT影像的主觀征象整合到模型中,并對(duì)各主觀征象進(jìn)行卡方檢驗(yàn)(Chi-square test)與秩和檢驗(yàn)(rank-sum test).臨床信息以及主觀征象的統(tǒng)計(jì)檢驗(yàn)結(jié)果如表1所示.

表1 基于CT的主觀征象的統(tǒng)計(jì)檢驗(yàn)結(jié)果

2.4 支持向量機(jī)與集成學(xué)習(xí)方法

支持向量機(jī)(support vector machine, SVM)通過核函數(shù)將特征向量映射到高維特征空間中進(jìn)行線性分類[33].相比于多層感知機(jī)(multilayer perceptron, MLP)算法,SVM會(huì)產(chǎn)生一個(gè)帶有余量的決策邊界,進(jìn)一步減緩過擬合的風(fēng)險(xiǎn).此外,SVM可看作是帶有鉸鏈損失(hinge loss)和L2正則化的MLP.本文以高斯徑向基函數(shù)(radial based function,RBF)作為SVM的核函數(shù):

(4)

從實(shí)性肺結(jié)節(jié)CT影像中提取的特異性特征具有高度的非線性,用普通的線性分類器難以獲得較好的分類效果.高斯RBF核函數(shù)為SVM引入非線性,將復(fù)雜度和非線性程度較高的CT影像特異性特征映射到高維特征空間進(jìn)行分類,提升基學(xué)習(xí)器的分類性能,有利于提升集成后模型的泛化能力.

相比于使用單一分類器,集成學(xué)習(xí)方法通過重新抽樣或循環(huán)訓(xùn)練的方法,得到一組基學(xué)習(xí)器,并對(duì)多個(gè)基學(xué)習(xí)器的預(yù)測結(jié)果進(jìn)行聚合,降低方差,提升最終預(yù)測的性能[34].由于臨床數(shù)據(jù)集樣本量小,且具有較高的非線性,單個(gè)學(xué)習(xí)器很容易出現(xiàn)過擬合訓(xùn)練集的情況,難以獲得理想的分類性能,通過集成學(xué)習(xí)的方法可以綜合多個(gè)基學(xué)習(xí)器的預(yù)測結(jié)果,減緩單個(gè)基學(xué)習(xí)器的過擬合,提升模型的泛化能力.Bagging集成方法對(duì)訓(xùn)練集進(jìn)行有放回的重新抽樣得到不同的訓(xùn)練子集,并在多個(gè)訓(xùn)練子集上訓(xùn)練多個(gè)基學(xué)習(xí)器,其中每個(gè)訓(xùn)練子集都包含37%的包外實(shí)例,可以作為驗(yàn)證集評(píng)估基學(xué)習(xí)器的性能、搜索最優(yōu)的學(xué)習(xí)器超參數(shù).

對(duì)于降維處理后的特征向量,本文方法以核SVM作為基學(xué)習(xí)器,采用Bagging集成方法對(duì)深度特征和主觀征象構(gòu)成的聯(lián)合特征向量進(jìn)行分類,該部分的示意圖如圖5所示.

圖5 集成學(xué)習(xí)方法進(jìn)行最終預(yù)測的示意圖Fig.5 Schematic diagram of final prediction on patient using ensemble learning

3 實(shí)驗(yàn)結(jié)果

3.1 結(jié)果展示

本文方法與端到端方法在內(nèi)部訓(xùn)練集、內(nèi)部測試集和外部驗(yàn)證集上的性能對(duì)比結(jié)果如表2所示,檢驗(yàn)的性能指標(biāo)包括準(zhǔn)確率、精度、敏感度、特異度和接受者工作曲線下面積(area under curve,AUC).其中,端到端方法為使用DenseNet模型在臨床數(shù)據(jù)集上進(jìn)行訓(xùn)練和測試的方法,DenseNet模型在ImageNet公開圖像數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練,密集連接塊與過渡塊的數(shù)量均為4,密集連接塊的增長率為32,卷積層數(shù)量依次為6,12,24,16,優(yōu)化方法為帶有動(dòng)量的隨機(jī)梯度下降(momentum SGD)算法,動(dòng)量為0.7,權(quán)重衰減為10-5,學(xué)習(xí)率為10-4.深度特征向量經(jīng)PCA進(jìn)行降維處理后,特征維數(shù)由2 816降低到86,顯著降低了深度特征的數(shù)量.本文方法與端到端方法的ROC曲線及AUC結(jié)果如圖6所示.

本文方法在三個(gè)數(shù)據(jù)集上的瀑布圖如圖7所示,每一個(gè)矩形的顏色代表樣本的標(biāo)簽；基準(zhǔn)線的數(shù)值代表模型的判斷閾值，最佳判斷閾值經(jīng)試驗(yàn)確定為0.7.從圖7中可知,本研究提出的算法在內(nèi)部訓(xùn)練集上的表現(xiàn)最優(yōu),對(duì)于大部分的肺結(jié)核樣本,模型的輸出值小于判斷閾值,而對(duì)于大部分的肺腺癌樣本,模型的輸出值大于或等于判斷閾值.

從上述實(shí)驗(yàn)結(jié)果可知,本文方法相比于端到端方法,在多個(gè)性能指標(biāo)上均有明顯的提升,說明在對(duì)實(shí)性肺結(jié)節(jié)的肺結(jié)核與肺腺癌診斷任務(wù)中,綜合使用生成對(duì)抗網(wǎng)絡(luò)對(duì)原始數(shù)據(jù)集進(jìn)行擴(kuò)充，使用卷積神經(jīng)網(wǎng)絡(luò)提取深度特征并結(jié)合主觀征象的方法,能夠克服原始數(shù)據(jù)集規(guī)模較小、樣本類別不均衡帶來的問題.

3.2 真實(shí)樣本與生成樣本

真實(shí)樣本與生成樣本對(duì)比如圖8所示,經(jīng)影像科醫(yī)生對(duì)生成樣本進(jìn)行評(píng)判,生成樣本具有較好的視覺效果,且生成樣本并非對(duì)真實(shí)樣本的復(fù)制或簡單變換,說明生成器較好地?cái)M合了真實(shí)樣本所在的數(shù)據(jù)分布,并從中重新采樣獲得新的生成樣本,避免了傳統(tǒng)數(shù)據(jù)增廣方式可能會(huì)改變原始數(shù)據(jù)集的數(shù)據(jù)分布這一弊端.使用生成對(duì)抗網(wǎng)絡(luò)能夠消除臨床數(shù)據(jù)中肺結(jié)核與肺腺癌樣本數(shù)據(jù)量的數(shù)量差距,恢復(fù)樣本類別的平衡,從而解決原始數(shù)據(jù)集樣本類別不均衡的問題.

表2 本文方法與端到端方法的性能對(duì)比

圖6 不同方法在三個(gè)數(shù)據(jù)集上的ROC曲線Fig.6 ROC curves on three datasets with different methods (a)—內(nèi)部訓(xùn)練集； (b)—內(nèi)部測試集； (c)—外部驗(yàn)證集.

圖7 本文方法的瀑布圖Fig.7 Waterfall plot of the proposed algorithm (a)—內(nèi)部訓(xùn)練集； (b)—內(nèi)部測試集； (c)—外部驗(yàn)證集.

圖8 真實(shí)樣本與生成樣本對(duì)比Fig.8 Comparison of real and generated samples (a)—真實(shí)肺結(jié)核樣本; (b)—生成肺結(jié)核樣本; (c)—真實(shí)肺腺癌樣本; (d)—生成肺腺癌樣本.

3.3 卷積輸出可視化

訓(xùn)練深度學(xué)習(xí)模型時(shí)可將其看作黑盒,只需關(guān)注模型的輸入輸出,并通過梯度下降的訓(xùn)練算法使模型在訓(xùn)練集上找到最合適的輸入-輸出映射關(guān)系.可以通過反向傳播對(duì)卷積層進(jìn)行可視化,得到能夠使卷積核激活程度最高的輸入[35],進(jìn)而對(duì)模型有進(jìn)一步的了解和認(rèn)識(shí).本文方法對(duì)特征提取器的可視化結(jié)果如圖9所示.圖9反映出特征提取器對(duì)肺結(jié)節(jié)的邊緣及其病灶所處的微環(huán)境的關(guān)注程度更高,這與放射科醫(yī)師對(duì)肺結(jié)節(jié)的判斷較為相似.肺結(jié)節(jié)的邊緣可能包含了更多能夠幫助判斷病灶是否為肺腺癌的信息,如規(guī)則度、分葉、毛刺等.例如,從圖9b中可知,大部分的卷積核在實(shí)性肺結(jié)節(jié)的邊緣處被激活的程度最高, 而

圖9 特征提取器可視化結(jié)果Fig.9 Visualization of feature extractor (a)—肺結(jié)核樣本注意力圖； (b)—肺腺癌樣本注意力圖.

另一部分的卷積核在實(shí)性肺結(jié)節(jié)的內(nèi)部被激活的程度最高,說明特征提取器在肺結(jié)節(jié)的邊緣位置發(fā)現(xiàn)了有助于對(duì)病灶進(jìn)行分類的特征.

主觀征象也能夠間接說明深度特征的有效性.CT影像的主觀征象篩選部分中有3個(gè)主觀征象屬于實(shí)性肺結(jié)節(jié)的形態(tài)特征,包括規(guī)則度、分葉征和毛刺征,而深度特征中同樣包含與肺結(jié)節(jié)的形態(tài)特征相關(guān)聯(lián)的信息.例如圖9b的第4行第2列所展示的卷積核更關(guān)注病灶的左下方區(qū)域,這對(duì)應(yīng)于放射科醫(yī)師通過病灶的規(guī)則度進(jìn)行診斷.

4 結(jié) 語

本文提出一種實(shí)性肺結(jié)節(jié)輔助診斷方法,對(duì)表現(xiàn)為實(shí)性肺結(jié)節(jié)的肺結(jié)核與肺腺癌進(jìn)行分類,通過生成對(duì)抗網(wǎng)絡(luò)擴(kuò)充數(shù)據(jù)集、使用卷積神經(jīng)網(wǎng)絡(luò)提取深度特征和引入主觀征象的方法緩解醫(yī)學(xué)影像數(shù)據(jù)集規(guī)模較小、樣本類別不均衡帶來的影響,相比于端到端方法,在各項(xiàng)性能指標(biāo)上均有提升,且在多個(gè)數(shù)據(jù)集的驗(yàn)證中表現(xiàn)出較好的穩(wěn)定性和魯棒性.

但本研究還存在一定的局限性:ROI區(qū)域的分割需要手動(dòng)完成,這一部分工作較為繁瑣;沒有充分利用CT影像的序列性,在臨床實(shí)踐中,放射科醫(yī)師會(huì)將CT影像看成是連續(xù)的時(shí)間序列來幫助診斷,而時(shí)序信息在本研究中并沒有得到充分利用.