改進(jìn)殘差網(wǎng)絡(luò)的腎細(xì)胞癌ISUP分級研究

孫振鐸，張明洋，王向輝，趙 磊，劉 爽，3，崔振宇，楊 昆，劉 琨，3

1.河北大學(xué) 質(zhì)量技術(shù)監(jiān)督學(xué)院，河北 保定 071002

2.河北省新能源汽車動力系統(tǒng)輕量化技術(shù)創(chuàng)新中心，河北 保定 071002

3.河北大學(xué) 光學(xué)工程博士后科研流動站，河北 保定 071002

4.河北大學(xué)附屬醫(yī)院 泌尿外科，河北 保定 071000

腎細(xì)胞癌又稱腎腺癌或腎癌，是起源于腎實(shí)質(zhì)泌尿小管上皮系統(tǒng)的惡性腫瘤。2021年2月，世界衛(wèi)生組織公布的全球癌癥報(bào)告顯示，2020年全球腎癌發(fā)病人數(shù)和死亡人數(shù)分別為431 288例、179 368例，占全年癌癥總?cè)藬?shù)的比例分別為2.23%和1.8%[1]，在我國，腎癌在泌尿系統(tǒng)腫瘤中的發(fā)病率僅次于前列腺癌和膀胱癌，但卻是泌尿系統(tǒng)致死率最高的惡性腫瘤。

透明細(xì)胞腎細(xì)胞癌（clear cell renal cell carcinoma，ccRCC）是最常見的腎臟惡性腫瘤，約占80%，預(yù)后較差[2]。ccRCC的分級是決定患者預(yù)后效果的一個重要獨(dú)立因素[3]，相比于低級別ccRCC，高級別ccRCC侵襲性更高，預(yù)后更差。對于級別較低、侵襲性弱和預(yù)后良好的ccRCC患者通常行腎部分切除術(shù)、消融甚至積極監(jiān)測等創(chuàng)傷性小的治療方法，可以最大限度地保留腎單位，而高級別ccRCC往往因?yàn)槟[瘤的侵襲性高則需行根治性腎切除術(shù)[4]。因此，術(shù)前預(yù)測ccRCC的分級可有效評估患者的預(yù)后并指導(dǎo)臨床治療，對精確醫(yī)學(xué)具有重要意義。

經(jīng)皮穿刺活檢是ccRCC術(shù)前分級診斷的金標(biāo)準(zhǔn)，在常規(guī)臨床檢查診斷中應(yīng)用廣泛。然而，部分患者的腎臟腫瘤不具備穿刺活檢條件，且這種有創(chuàng)性檢查手段具有一定局限性，會增加并發(fā)癥的風(fēng)險，如出血，感染，甚至腫瘤破裂。

近年來，人工智能技術(shù)與CT（computed tomography）影像技術(shù)的結(jié)合因可以提取肉眼難以識別的特征而無創(chuàng)進(jìn)行醫(yī)療診斷，避免了侵入性活檢的局限性，在ccRCC的研究中得到了許多應(yīng)用。Bektas等人[5]基于10倍內(nèi)外嵌套式交叉循環(huán)驗(yàn)證方法建立支持向量機(jī)，通過增強(qiáng)CT紋理分析預(yù)測ccRCC的Fuhrman分級，實(shí)現(xiàn)了85.1%的準(zhǔn)確率和91.3%的召回率。Kocak等[6]基于平掃CT紋理特征開發(fā)了多層感知器，在預(yù)測ccRCC的Fuhrman分級上實(shí)現(xiàn)81.5%的準(zhǔn)確率和0.714的AUC。Ma等人[7]采用最小絕對收縮和選擇算子的方法對患者CT影像進(jìn)行放射組特征提取，并建立邏輯回歸分級預(yù)測模型，在訓(xùn)練集和驗(yàn)證集上的AUC分別達(dá)到了0.802和0.796。雖然上述基于人工智能技術(shù)預(yù)測ccRCC分級的研究均取得較好的結(jié)果，但這些研究未涉及最新國際泌尿病理學(xué)學(xué)會（International Society of Urological Pathology，ISUP）分級系統(tǒng)，未比較不同增強(qiáng)CT各期圖像與平掃CT圖像對預(yù)測ccRCC的分級的診斷價值，且以上方法均基于費(fèi)時且操作復(fù)雜的傳統(tǒng)機(jī)器學(xué)習(xí)算法。隨著深度學(xué)習(xí)技術(shù)的興起，Inception V3、DeepSurv、ResNet等深度學(xué)習(xí)網(wǎng)絡(luò)在腎臟腫瘤研究中的應(yīng)用越來越廣泛。Zhou等[8]利用遷移學(xué)習(xí)方法在ImageNet數(shù)據(jù)集預(yù)訓(xùn)練得到InceptionV3模型，在感興趣區(qū)域數(shù)據(jù)集上實(shí)現(xiàn)腎腫瘤良惡性鑒別的準(zhǔn)確率為97%。Byun等[9]通過建立DeepSurv模型預(yù)測ccRCC患者的無復(fù)發(fā)生存概率，證明了基于深度學(xué)習(xí)的生存預(yù)測對ccRCC患者的有效性。Lin等[10]發(fā)現(xiàn)殘差網(wǎng)絡(luò)在ccRCC的分級任務(wù)中同樣能發(fā)揮重要作用，這些基于深度學(xué)習(xí)的方法能夠自動學(xué)習(xí)CT圖像中的各類特征，通過建立預(yù)測模型快速完成腎癌CT圖像處理，避免了人工特征選擇。然而，這類模型因等權(quán)重地分配特征張量上所有通道內(nèi)的信息，會產(chǎn)生大量的計(jì)算冗余，導(dǎo)致模型訓(xùn)練效率低，分類性能差。在神經(jīng)網(wǎng)絡(luò)中引入通道注意力機(jī)制一定程度上提升了模型的訓(xùn)練速度和分類精度，但注意力機(jī)制仍需要來增強(qiáng)其在空間、通道權(quán)重上的選擇能力。

針對以上問題，本文基于ccRCC患者的平掃CT及增強(qiáng)CT各期圖像，提出了一種新的改進(jìn)型ResNet網(wǎng)絡(luò)模型用于ccRCC的CT圖像分級診斷，該模型以ResNet為主干網(wǎng)絡(luò)，設(shè)計(jì)了一種混合注意力模塊，該注意力模塊通過計(jì)算特征圖中當(dāng)前空間和臨近空間以及當(dāng)前空間和遠(yuǎn)距離空間之間的信息交互獲取更多有用的特征，序列化地在通道和空間兩個維度上產(chǎn)生注意力特征圖信息，在通道維度與空間維度上進(jìn)行自適應(yīng)特征細(xì)化，實(shí)現(xiàn)了精準(zhǔn)的預(yù)測結(jié)果。

1 數(shù)據(jù)收集與預(yù)處理

1.1 數(shù)據(jù)收集方法

本研究采用平掃CT和增強(qiáng)CT各期影像，根據(jù)深度學(xué)習(xí)算法建立模型并進(jìn)行分級診斷，其中增強(qiáng)CT各期包括皮髓質(zhì)期和實(shí)質(zhì)期和分泌期。

本課題組回顧性收集了河北大學(xué)附屬醫(yī)院在2019年1月至2021年3月期間確診為ccRCC患者的資料（經(jīng)河北大學(xué)附屬醫(yī)院倫理審查委員會批準(zhǔn)）。納入標(biāo)準(zhǔn)：（1）首次確診，進(jìn)行了CT平掃或增強(qiáng)掃描，且掃描前未接受過化療、外科手術(shù)等任何形式的治療；（2）CT影像清晰、無偽影；（3）病理分級是按照ISUP分級標(biāo)準(zhǔn)；（4）臨床資料完整。

經(jīng)過數(shù)據(jù)篩選與清理，共計(jì)128例ccRCC患者四種CT數(shù)據(jù)類型被納入深度學(xué)習(xí)數(shù)據(jù)集，納入患者的特點(diǎn)見表1。

表1 患者信息數(shù)據(jù)表Table 1 Patient information

1.2 數(shù)據(jù)預(yù)處理

在本研究中，圖像數(shù)據(jù)預(yù)處理具體步驟如下：

（1）將收集到的DICOM（digital imaging and communications in medicine）格式的數(shù)據(jù)通過Raniant DICOM viwer軟件轉(zhuǎn)換成BMP格式，并通過30°隨機(jī)旋轉(zhuǎn)，隨機(jī)翻轉(zhuǎn)等操作，對訓(xùn)練集和驗(yàn)證集中的患者CT數(shù)據(jù)進(jìn)行擴(kuò)充。然后利用labelme工具對每張CT影像中的腫瘤區(qū)域進(jìn)行矩形框標(biāo)注，框內(nèi)包含完整腫瘤，如圖1?；颊逤T的標(biāo)注工作在專業(yè)的影像科醫(yī)師指導(dǎo)下進(jìn)行，通過數(shù)據(jù)擴(kuò)充得到的數(shù)據(jù)信息見表1。

圖1 不同CT類型腫瘤標(biāo)注圖Fig.1 Labeling map of different CT types of tumors

（2）根據(jù)標(biāo)注的矩形框進(jìn)行裁剪以去除非腫瘤區(qū)域的背景信息，因?yàn)镽esNet網(wǎng)絡(luò)的默認(rèn)輸入圖像大小為224×224，因此，將裁剪后的圖像重新調(diào)整為224×224大小，這些圖像將用于深度學(xué)習(xí)模型的構(gòu)建。

（3）將圖像按類型分別整理，共建立平掃CT、增強(qiáng)CT皮髓質(zhì)期、增強(qiáng)CT實(shí)質(zhì)期、增強(qiáng)CT分泌期四種數(shù)據(jù)集。對于四種CT數(shù)據(jù)集，本文隨機(jī)選取128例患者中的13位患者的CT影像作為測試數(shù)據(jù)集，并將剩下115位患者的CT影像數(shù)據(jù)被按照9∶1的比例隨機(jī)分配到訓(xùn)練數(shù)據(jù)集和驗(yàn)證集數(shù)據(jù)集中，數(shù)據(jù)集信息見表1。

ISUP分級系統(tǒng)共分為Ⅰ、Ⅱ、Ⅲ、Ⅳ級別，本研究將Ⅰ～Ⅱ級別的ccRCC定義為低級別ccRCC，Ⅲ～Ⅳ級別的ccRCC定義為高級別ccRCC。

2 算法介紹

本章對算法做具體介紹，2.1節(jié)介紹殘差模塊，2.2節(jié)介紹改進(jìn)混合注意力模塊CBAM，2.3介紹融入混合注意力模塊的殘差網(wǎng)絡(luò)ResNet34-CBAM。本研究在Ubuntu18.04系統(tǒng)上搭建實(shí)驗(yàn)環(huán)境，實(shí)驗(yàn)在Python3.7、Pytorch1.2、Cuda10.1環(huán)境下進(jìn)行，GPU為NVIDIA GeForce RTX 2070。對于各算法模型，本文在訓(xùn)練集上通過50次迭代訓(xùn)練對模型進(jìn)行擬合，通過驗(yàn)證集設(shè)定最優(yōu)超參數(shù)，選擇最佳參數(shù)模型。最后使用測試集進(jìn)行模型測試，評估模型泛化性能。本文中的研究模型通過多次調(diào)參獲得的超參數(shù)有：學(xué)習(xí)率為0.000 01/0.000 1/0.001，批大小為16/32/64，動量為0.9，epoch為50。另外，不同類別樣本數(shù)量不均衡分布將導(dǎo)致模型主要學(xué)習(xí)數(shù)量多的類別樣本特征，使得學(xué)習(xí)出來的模型更偏向?qū)⒔Y(jié)果預(yù)測為該類別，為了消除這一影響，本文在交叉熵?fù)p失函數(shù)中采用樣本加權(quán)策略，低級別樣本高級別樣本權(quán)值比例設(shè)置為1∶1.5。

2.1 殘差模塊

殘差神經(jīng)網(wǎng)絡(luò)[11]是深度學(xué)習(xí)領(lǐng)域一項(xiàng)重要的研究成果，以其高效的特點(diǎn)在圖像分類[12]、目標(biāo)檢測[13]和語義分割[14]等深度學(xué)習(xí)領(lǐng)域發(fā)揮著重要作用。殘差網(wǎng)絡(luò)由一系列殘差塊組成，殘差塊有兩種：Basicblock和Bottleneck，如圖2。

圖2 殘差塊Fig.2 Residual block

殘差塊分成映射部分和殘差部分，可以表示為：

Cl表示在第l層對輸入x做卷積操作，F(xiàn)(xl,Cl)是殘差部分，表示對輸入做卷積操作后的輸出結(jié)果，Basicblock包括兩個卷積操作，Bottleneck包括三個卷積操作，即圖2（a）和（b）中左側(cè)實(shí)線框中的部分；xl為模塊輸入，xl+1為模塊輸出，映射部分反應(yīng)在圖2（a）和（b）中是右邊的跳躍連接線；經(jīng)過殘差部分中的卷積操作，xl可能和xl+1特征圖的數(shù)量不一樣，這時候需要在映射部分使用卷積進(jìn)行升維或者降維，如圖2（a）和（b）中右側(cè)包含1×1卷積操作的虛線框部分。這時殘差塊表示為：

其中，h(x1)=Cl'x，C'l表示在第l層對輸入x做1×1的卷積操作。

傳統(tǒng)的殘差網(wǎng)絡(luò)一般有18、34、50、101和152個權(quán)重層，前兩者殘差塊為Basicblock，如圖2（a），后三者殘差塊為Bottleneck，如圖2（b）。

2.2 改進(jìn)CBAM模塊

CBAM模塊是一種輕量級混合注意力模塊，給定一張?zhí)卣鲌D，CBAM模塊能夠序列化地在通道和空間兩個維度上產(chǎn)生注意力特征圖信息，然后兩種特征圖信息再與之前原輸入特征圖進(jìn)行相乘進(jìn)行自適應(yīng)特征修正，產(chǎn)生最后的特征圖。CBAM注意力模塊分為改進(jìn)空間注意力和改進(jìn)通道注意力兩部分，如圖3。

圖3 CBAM模塊Fig.3 CBAM module

2.2.1 改進(jìn)通道注意力模塊

改進(jìn)通道注意力模塊結(jié)構(gòu)如圖4所示。將輸入的特征圖F(H×W×C)分別經(jīng)過基于特征圖寬度W和高度H的全局最大池化和平均池化，得到兩個1×1×C的特征圖，接著，再將它們分別送入一層的權(quán)值共享的多層感知基層（multilayer perceptron，MLP），激活函數(shù)為Tanh。之后，將全連接層輸出的特征進(jìn)行加和操作，再經(jīng)過Sigmoid激活操作，生成最終的通道注意力特征Mc。最后，將Mc和輸入特征圖F做乘法操作，生成空間注意力模塊需要的輸入特征。

圖4 改進(jìn)通道注意力模塊Fig.4 Improved channel attention module

綜上通道注意力計(jì)算公式總結(jié)為：

其中，σ表示Sigmoid激活操作。

值得一提的是，在MLP層生成權(quán)重時本文采用了0均值的Tanh激活函數(shù)，避免了傳統(tǒng)的Sigmoid激活函數(shù)不容易到達(dá)最優(yōu)值的問題，且Tanh函數(shù)的導(dǎo)數(shù)取值范圍在0至1之間，優(yōu)于Sigmoid函數(shù)的0至1/4，在一定程度上，減輕了梯度消失的問題、提升了收斂速度。并且為了防止出現(xiàn)過擬合的情況，MLP中采用Dropout操作，失活比例Dropout=0.2。

2.2.2 改進(jìn)空間注意力模塊

改進(jìn)通道注意力模塊結(jié)構(gòu)如圖5所示。將通道注意力模塊輸出的特征圖F'作為空間注意力模塊的輸入特征圖。首先做一個基于通道C的全局最大池化和全局平均池化，得到兩個H×W×1的特征圖，然后將這2個特征圖基于通道C做Concat操作（通道拼接）。然后同時經(jīng)過兩個卷積層：一個7×7常規(guī)卷積層，一個3×3的混合空洞卷積層（hybrid dilated convolution，HDC），其中HDC層由空洞率為1、3、9的三個空洞卷積組成。之后將常規(guī)卷積層和HDC層的輸出做通道拼接，再經(jīng)過1×1的常規(guī)卷積層降維為1個Channel，即H×W×1。再經(jīng)過sigmoid生成空間注意力特征Ms，最后將Ms和該模塊的輸入特征F'做乘法，得到最終生成的特征。

圖5 改進(jìn)空間注意力模塊Fig.5 Improved space attention module

綜上空間注意力計(jì)算公式總結(jié)為：

值得一提的是，在改進(jìn)空間注意力中，本文使用空洞率分別為1、3、9的混合空洞卷積HDC對通道拼接后的特征進(jìn)行信息提取，這有效地增大了神經(jīng)元的感受野，并通過計(jì)算特征圖中當(dāng)前空間和臨近空間以及當(dāng)前空間和遠(yuǎn)距離空間之間的信息交互實(shí)現(xiàn)了圖像空間特征的遠(yuǎn)端近端依賴關(guān)系，避免空間上細(xì)節(jié)信息的丟失。

2.3 基于改進(jìn)CBAM模塊的ResNet34網(wǎng)絡(luò)

本文將改進(jìn)CBAM模塊插入到34個權(quán)重層的殘差網(wǎng)絡(luò)的每個殘差塊中構(gòu)建改進(jìn)ResNet網(wǎng)絡(luò)—CBAMResNet34網(wǎng)絡(luò)，如圖6所示，圖像輸入網(wǎng)絡(luò)后先經(jīng)過一個7×7的大卷積操作，用來直接對輸入圖片降采樣，目的是保留更多原始圖像的特征信息，并利用3×3最大池化進(jìn)行特征初步壓縮，接著，在位置1處插入改進(jìn)CBAM模塊，能夠讓原始圖像特征圖在通道維度與空間維度上進(jìn)行自適應(yīng)特征細(xì)化。然后，利用layer1、2、3、4共同提取深層特征，其中l(wèi)ayer1、2、3、4分別包含3、4、6、3個Basicblock殘差模塊，接著，在位置2處，改進(jìn)通道注意力機(jī)制對圖像特征進(jìn)行通道上的權(quán)值分配。之后通過網(wǎng)絡(luò)的平均池化層與全連接層進(jìn)行分級預(yù)測。

圖6 網(wǎng)絡(luò)模型Fig.6 Network model

3 實(shí)驗(yàn)結(jié)果及分析

3.1 不同殘差網(wǎng)絡(luò)模型在不同數(shù)據(jù)集上預(yù)測ccRCC的ISUP分級的性能

不同網(wǎng)絡(luò)權(quán)重層數(shù)的殘差模型在不同CT測試數(shù)據(jù)集上的準(zhǔn)確率和AUC值見表2和表3。本文基于準(zhǔn)確率、AUC等指標(biāo)從網(wǎng)絡(luò)層數(shù)和圖像類型的角度對實(shí)驗(yàn)結(jié)果進(jìn)行分析。

表2 基于不同方法區(qū)分ccRCC的ISUP低高分級的準(zhǔn)確率Table 2 Accuracy of ccRCC ISUP grade based on different methods 單位：%

表3 基于不同方法區(qū)分ccRCC的ISUP低高分級的AUCTable 3 AUC of ccRCC ISUP grade based on different method

3.1.1 網(wǎng)絡(luò)層數(shù)方面

不同層數(shù)殘差模型在不同數(shù)據(jù)類型上的準(zhǔn)確率和AUC值如圖7、圖8，其中，圖7（b）、圖8（b）的左右兩側(cè)分別表示各層網(wǎng)絡(luò)在低級別和高級別上的AUC值?？梢?，在任一數(shù)據(jù)集中，34層模型預(yù)測ccRCC的ISUP分級均取得了最高的準(zhǔn)確率和最高的AUC值，如圖7（a）、（b）；18層模型的準(zhǔn)確率和AUC幾乎僅次于34層模型。在所有數(shù)據(jù)集中，34層模型的平均準(zhǔn)確率為（82.8±3.7）%；低高級別的平均AUC值分別為0.831±0.041和0.821±0.044。18層模型的平均準(zhǔn)確率為（80.2±3.3）%，低高級別的平均AUC值分別為0.779±0.089和0.774±0.085，見表2和表3。而50層、101層和152層模型的平均準(zhǔn)確率和AUC相對較低，模型的分類性能并不理想。且從50層到152層，網(wǎng)絡(luò)層數(shù)越多，模型平均準(zhǔn)確率和AUC值越低，分級性能越差，詳細(xì)指標(biāo)見表2和表3。因此，網(wǎng)絡(luò)層數(shù)相對少、模型復(fù)雜程度相對低的34層、18層模型預(yù)測ccRCC的ISUP分級的性能要優(yōu)于網(wǎng)絡(luò)層數(shù)多、模型復(fù)雜程度高的50層、101層、152層模型。前者中，34層模型的性能最優(yōu)，后者中，有網(wǎng)絡(luò)層數(shù)越多，模型性能越差的趨勢。原因可能是50層、101層和152層網(wǎng)絡(luò)的Bottleneck模塊的殘差部分中1×1卷積的降維升維操作不利于ccRCC的特征提取，維度的多次變換導(dǎo)致模型性能變差，而34層、18層網(wǎng)絡(luò)Basicblock模塊的殘差部分沒有涉及1×1卷積的維度變換操作，使得模型性能較好。另外，層數(shù)過多使得模型過于復(fù)雜，更復(fù)雜的模型需要更大的樣本數(shù)，但相對較小的訓(xùn)練樣本并不能充分利用復(fù)雜模型的優(yōu)勢，這也可能是50層、101層和152層網(wǎng)絡(luò)性能較差的原因之一。

圖8 不同CT數(shù)據(jù)類型實(shí)現(xiàn)的準(zhǔn)確率和AUCFig.8 Accuracy and AUC of different CT data types

3.1.2 數(shù)據(jù)類型方面

任一層數(shù)模型均在增強(qiáng)CT實(shí)質(zhì)期上取得最高的準(zhǔn)確率，如圖8（a），其余依次為增強(qiáng)CT分泌期、增強(qiáng)CT皮髓質(zhì)期、平掃CT；任一層數(shù)模型均在增強(qiáng)CT皮髓質(zhì)期上取得最高的AUC值，如圖8（b），其余依次為增強(qiáng)CT實(shí)質(zhì)期、增強(qiáng)CT分泌期、平掃CT?；谒姆NCT數(shù)據(jù)的模型的平均準(zhǔn)確率、低級別和高級別的平均AUC值分別為（73.2±3.3）%、0.628±0.083、0.638±0.085（平掃CT）；（78.1±1.7）%、0.853±0.032、0.845±0.035（皮髓質(zhì)期）；（83%±1.9）%、0.806±0.038、0.798±0.050（實(shí)質(zhì)期）；（81.3±3.2）%、0.732±0.066、0.720±0.060（分泌期），見表2和表3?？梢园l(fā)現(xiàn)，基于增強(qiáng)三期CT圖像的模型預(yù)測ccRCC的ISUP分級的準(zhǔn)確率和AUC值均高于基于平掃CT模型預(yù)測的結(jié)果，說明增強(qiáng)CT圖像提供了比未增強(qiáng)圖像更有價值的圖像信息，原因可能是ccRCC患者腫瘤血管密度高，增強(qiáng)CT的特征表現(xiàn)出更多的富含ccRCC的腫瘤血管結(jié)構(gòu)，更多的ccRCC和血管結(jié)構(gòu)更有利于神經(jīng)網(wǎng)絡(luò)識別不同級別ccRCC的特征。

本文同樣發(fā)現(xiàn)，模型在增強(qiáng)CT實(shí)質(zhì)期和皮髓質(zhì)期上分別取得最高的準(zhǔn)確率和AUC值，可見兩者均能提供有效的診斷價值，但兩者對模型預(yù)測ccRCC的ISUP分級的診斷價值來說也存在一些差異。為了尋找出能夠?yàn)榫W(wǎng)絡(luò)模型提供最優(yōu)腫瘤信息的圖像，本文基于精度、召回率和F1分?jǐn)?shù)等指標(biāo)，進(jìn)一步分析增強(qiáng)CT實(shí)質(zhì)期和皮髓質(zhì)期圖像對模型預(yù)測ccRCC的ISUP分級的診斷價值，ResNet34模型在兩測試集上取得的各項(xiàng)指標(biāo)如表4所示?？紤]到測試集中各類樣本的占比不同，本文采用低高級別樣本的總體加權(quán)數(shù)值作為各項(xiàng)指標(biāo)的最終結(jié)果，見公式（5）。加權(quán)平均是對宏平均的一種改進(jìn)，考慮了每個類別樣本數(shù)量在總樣本中占比，可減少數(shù)量較少的一類樣本產(chǎn)生的負(fù)面影響，更好地評估模型的性能。

表4 ResNet34分級性能表Table 4 ResNet34 model performance

在增強(qiáng)CT皮髓質(zhì)期圖像上，ResNet34模型預(yù)測ccRCC的ISUP分級的總體加權(quán)準(zhǔn)確率、AUC值、精度、召回率和F1分?jǐn)?shù)分別為80.9%、0.88、83.0%、80.9%和81.7%。在增強(qiáng)CT實(shí)質(zhì)期圖像上，ResNet34模型預(yù)測ccRCC的ISUP分級的總體加權(quán)準(zhǔn)確率、AUC值、精度、召回率和F1分?jǐn)?shù)分別為86.7%、0.856、86.5%、86.7%和86.6%。詳細(xì)的性能指標(biāo)如表4所示。與基于增強(qiáng)CT皮髓質(zhì)期圖像的模型相比，基于增強(qiáng)CT實(shí)質(zhì)期圖像的模型除總體加權(quán)AUC值略低外，其余準(zhǔn)確率、精度、召回率、F1分?jǐn)?shù)指標(biāo)均取得更高的數(shù)值，分別高出5.8、3.5、5.8、4.9個百分點(diǎn)。由此可見，增強(qiáng)CT實(shí)質(zhì)期圖像在預(yù)測ccRCC的ISUP分級上更能夠提供有價值的圖像信息，更有利于網(wǎng)絡(luò)模型的開發(fā)。ccRCC的造影劑在實(shí)質(zhì)期的強(qiáng)化程度一般且均勻，而皮髓質(zhì)期有明顯的強(qiáng)化，且強(qiáng)化非常不均勻，所以本文認(rèn)為較為均勻的一般強(qiáng)化圖像更能為神經(jīng)網(wǎng)絡(luò)提供有價值的腫瘤特征。

3.2 基于改進(jìn)CBAM注意力機(jī)制的ResNet34模型預(yù)測ccRCC的ISUP分級的性能

基于上述研究，本文發(fā)現(xiàn)增強(qiáng)CT實(shí)質(zhì)期圖像和34層殘差網(wǎng)絡(luò)ResNet34最有利于ISUP分級預(yù)測模型的開發(fā)，基于最優(yōu)CT類型——增強(qiáng)CT實(shí)質(zhì)期圖像，本文提出一種改進(jìn)CBAM模塊，并將其融入34層殘差網(wǎng)絡(luò)構(gòu)建ResNet34-CBAM。本節(jié)通過消融實(shí)驗(yàn)、與其他經(jīng)典網(wǎng)絡(luò)對比來驗(yàn)證ResNet34-CBAM預(yù)測ccRCC的ISUP分級的有效性。

3.2.1 消融實(shí)驗(yàn)結(jié)果與分析

為了更好地驗(yàn)證改進(jìn)CBAM模塊的有效性及模塊所插位置是否合理，本文在位置1處插入改進(jìn)CBAM模塊構(gòu)建ResNet34-CBAM（1）模型，在位置1和位置2處分別插入改進(jìn)CBAM模塊構(gòu)建ResNet34-CBAM（2）模型。本文將所提出的ResNet34-CBAM模型與以上兩模型及ResNet34原網(wǎng)絡(luò)進(jìn)行性能對比，幾種模型在實(shí)質(zhì)期數(shù)據(jù)集上分級性能的具體評價指標(biāo)如表5所示。

表5 ResNet34-CBAM模型預(yù)測ccRCC的ISUP分級的指標(biāo)Table 5 Metrics of ccRCC ISUP grade predicted by ResNet34-CBAM

本文所提出的ResNet34-CBAM模型的總體加權(quán)準(zhǔn)確率、AUC值、精度、召回率和F1分?jǐn)?shù)分別為90.8%、0.897、90.5%、90.8%、90.6%，詳細(xì)的性能指標(biāo)如表5所示，各項(xiàng)指標(biāo)均高于ResNet34模型，其中準(zhǔn)確率、AUC值、精度、召回率和F1分?jǐn)?shù)分別提高4.1個百分點(diǎn)、0.041、4.0個百分點(diǎn)、4.1個百分點(diǎn)、4.0個百分點(diǎn)。這表明通過使用混合空洞卷積HDC來增大感受野，進(jìn)而實(shí)現(xiàn)圖像特征的遠(yuǎn)程依賴關(guān)系對提升網(wǎng)絡(luò)性能是有效的。

ResNet34-CBAM（1）模型的總體加權(quán)準(zhǔn)確率、AUC值、精度、召回率和F1分?jǐn)?shù)分別為83.7%、0.877、83.2%、83.7%、83.3%，ResNet34-CBAM（2）模型的總體加權(quán)準(zhǔn)確率、AUC值、精度、召回率和F1分?jǐn)?shù)分別為81.6%、0.857、79.7%、81.6%、83.3%，詳細(xì)的性能指標(biāo)如表5所示。本文發(fā)現(xiàn)，本文的模型的分級性能指標(biāo)要好于前兩者，這表明在ResNet34網(wǎng)絡(luò)位置1處插入改進(jìn)CBAM模塊，在位置2處只插入改進(jìn)通道注意力模塊的組合插入策略是合理有效的，即先利用位置1的改進(jìn)CBAM模塊對7×7的大卷積操作后的原始圖像特征圖在通道維度與空間維度上進(jìn)行自適應(yīng)特征細(xì)化；再利用位置2處的改進(jìn)通道注意力模塊對深度layer層提取后的特征進(jìn)行通道權(quán)值分配，能夠提取更多有用的特征、提升模型性能。另外，之所以在位置2處的只插入改進(jìn)通道注意力模塊，去除改進(jìn)空間注意力模塊，是因?yàn)槠涮卣鲌D輸入尺寸較小，使用改進(jìn)空間注意力模塊進(jìn)行空間權(quán)值分配需進(jìn)行大量的Padding補(bǔ)0操作，帶來大量的無用信息，進(jìn)而導(dǎo)致特征提取不準(zhǔn)確，模型性能變差。

為了更直觀地評估消融實(shí)驗(yàn)中的幾種網(wǎng)絡(luò)模型在預(yù)測ccRCC的ISUP分級的AUC值，并最大程度地消除樣本不均衡因素，本文繪制了四種網(wǎng)絡(luò)預(yù)測ccRCC的ISUP低高分級的ROC曲線，包括宏平均與微平均ROC曲線，如圖9所示?？梢园l(fā)現(xiàn)本文提出的模型的低高級別ROC曲線對應(yīng)的AUC值、宏平均與微平均AUC值以及總體加權(quán)平均AUC值均高于其余模型?？梢姼倪M(jìn)CBAM模塊可以全面提升ResNet34模型預(yù)測ccRCC的ISUP分級的AUC值。

圖9 四種模型ROC曲線Fig.9 ROC curves of four models

3.2.2 與其他經(jīng)典網(wǎng)絡(luò)對比實(shí)驗(yàn)結(jié)果與分

為了進(jìn)一步驗(yàn)證模型的分級性能，本節(jié)將本文的模型與最新的VIT模型、主流的AlexNet、EfficientNet等卷積模型進(jìn)行了對比，在同一數(shù)據(jù)集上具體評價指標(biāo)如表6所示。圖10顯示了這些模型的性能比較結(jié)果，其中，AlexNet、EfficientNet、VIT-16B模型識別準(zhǔn)確率都低于90%，AUC均低于0.86。AlexNet中無緩解梯度消失的殘差結(jié)構(gòu)，EfficientNet模型中無空間注意力機(jī)制，故這可能導(dǎo)致兩者在此次任務(wù)中性能表現(xiàn)不佳，另外，盡管VIT模型憑借Transformer架構(gòu)的優(yōu)異性能在圖像處理領(lǐng)域得到了比較廣泛的應(yīng)用，但VIT模型在此次識別任務(wù)上的表現(xiàn)并不理想，原因可能是VIT模型的潛力通常需要大型數(shù)據(jù)集才能夠得以發(fā)揮?；诟倪M(jìn)CBAM模塊的ResNet34模型的準(zhǔn)確率、總體加權(quán)AUC值、精度、召回率和F1分?jǐn)?shù)分別為90.8%、0.897、90.5%、90.8%、90.6%。與其他幾種網(wǎng)絡(luò)算法相比，本文將殘差結(jié)構(gòu)和改進(jìn)CBAM模塊集成的方法是有效的，既避免了梯度消失和爆炸，又通過注意力機(jī)制獲取了特征圖空間的遠(yuǎn)端與近端依賴關(guān)系，使網(wǎng)絡(luò)模型具備更優(yōu)的性能和更高的可靠性。

表6 不同網(wǎng)絡(luò)模型性能對比Table 6 Performance comparison of different network models

圖10 模型性能對比Fig.10 Performance comparison of models

4 結(jié)束語

本文基于ccRCC患者的平掃CT及增強(qiáng)CT各期圖像，提出了一種基于改進(jìn)ResNet網(wǎng)絡(luò)的ccRCC分級算法，采用改進(jìn)混合注意力模塊CBAM對網(wǎng)絡(luò)的進(jìn)行優(yōu)化，通過混合空洞卷積實(shí)現(xiàn)了圖像特征的遠(yuǎn)程依賴關(guān)系，避免特征細(xì)節(jié)信息的丟失的同時提取了更多有用信息，增強(qiáng)了網(wǎng)絡(luò)在通道與空間權(quán)重上的選擇能力。相較于其他常見的網(wǎng)絡(luò)結(jié)構(gòu)，本文所建網(wǎng)絡(luò)模型預(yù)測ccRCC的ISUP分級的效果更好，性能優(yōu)異，這對于幫助年輕的放射科醫(yī)師做出準(zhǔn)確的診斷具有重要意義。

然而本文的研究工作同樣存在著一些局限性，首先，本文是利用殘差網(wǎng)絡(luò)架構(gòu)和注意力機(jī)制的集成方法提高網(wǎng)絡(luò)的分類能力，對于深度學(xué)習(xí)模型的開發(fā)，還有更多其他的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)可以利用，如GoogleNet[15]和MobileNet[16]，但本文的實(shí)驗(yàn)證明了將深度學(xué)習(xí)應(yīng)用于ccRCC患者ISUP分級的有效性。其次，本文沒有細(xì)致到利用深度學(xué)習(xí)技術(shù)對ccRCC的Ⅰ、Ⅱ、Ⅲ、Ⅳ級的ISUP分級展開研究，將來隨著數(shù)據(jù)樣本的逐漸增多，做具體化的ISUP分級研究可以協(xié)助醫(yī)生對患者病情做出更加精準(zhǔn)的臨床判斷。另外，雖然本文數(shù)據(jù)中包含的所有病例都是經(jīng)過專業(yè)醫(yī)生的確認(rèn)，但仍然存在一定的人為因素，所以本文的模型如果要應(yīng)用到實(shí)際中，需要大量的優(yōu)質(zhì)數(shù)據(jù)來改進(jìn)模型，使結(jié)果更加可靠。

有基因組學(xué)研究文獻(xiàn)[17-18]表明超過80%的ccRCC病例存在VHL基因缺失的現(xiàn)象，VHL缺失導(dǎo)致致瘤性缺氧誘導(dǎo)因子蛋白增多[19-20]，進(jìn)而導(dǎo)致調(diào)控血管生成、糖酵解代謝和凋亡的缺氧誘導(dǎo)因子靶向基因被激活，使得ccRCC腫瘤富含糖原和脂質(zhì)，且血管密度高[21]，因此將來的工作將開發(fā)更加精準(zhǔn)先進(jìn)的深度學(xué)習(xí)算法進(jìn)一步探討ccRCC的ISUP分級與血管密度及VHL基因缺失的具體關(guān)系。