基于sECANet通道注意力機(jī)制的腎透明細(xì)胞癌病理圖像ISUP分級(jí)預(yù)測(cè)

楊 昆 常世龍 王尉丞 高 聰 劉 筱 劉 爽 薛林雁*

①(河北大學(xué)質(zhì)量技術(shù)監(jiān)督學(xué)院 保定 071002)

②(計(jì)量?jī)x器與系統(tǒng)國(guó)家地方聯(lián)合工程研究中心 保定 071002)

③(河北省新能源汽車(chē)動(dòng)力系統(tǒng)輕量化技術(shù)創(chuàng)新中心 保定 071002)

1 引言

腎癌是泌尿系統(tǒng)常見(jiàn)的惡性腫瘤之一，2020年全球腎癌新發(fā)病例和新增死亡病例在所有的惡性腫瘤中分別占2.2%和1.8%[1]。在我國(guó)，腎癌的年發(fā)病率也呈明顯增長(zhǎng)的趨勢(shì)[2]。腎透明細(xì)胞癌(clear cell Renal Cell Carcinoma， ccRCC)是腎癌最常見(jiàn)的病理類(lèi)型，預(yù)后較差[3]。2016年國(guó)際泌尿病理協(xié)會(huì)(International Society for Urology and Pathology，ISUP)發(fā)布的ISUP分級(jí)系統(tǒng)中，將ccRCC按照細(xì)胞核仁突出的程度分為3個(gè)核級(jí)，若存在極端多形性和/或腫瘤巨細(xì)胞、和/或肉瘤樣、和/或橫紋肌樣分化，則作為4級(jí)[4]。在臨床治療中，如果術(shù)前能夠?qū)cRCC進(jìn)行精確核分級(jí)對(duì)于治療方案的制定和患者預(yù)后的評(píng)估都具有重要意義。然而，精確的核分級(jí)高度依賴(lài)臨床醫(yī)生的專(zhuān)業(yè)知識(shí)和經(jīng)驗(yàn)水平，同一病例的診斷結(jié)果在不同的醫(yī)師之間可能存在較大差異。隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，計(jì)算機(jī)輔助診斷系統(tǒng)因速度快、穩(wěn)定性強(qiáng)、精確度高等優(yōu)點(diǎn)在醫(yī)學(xué)影像處理領(lǐng)域取得了快速發(fā)展[5]。將計(jì)算機(jī)輔助診斷系統(tǒng)應(yīng)用于ccRCC的核分級(jí)，可以在節(jié)省診斷時(shí)間的同時(shí)，減少醫(yī)生因技術(shù)或臨床經(jīng)驗(yàn)差異而導(dǎo)致的診斷誤判。

增強(qiáng)CT是腎腫瘤早期發(fā)現(xiàn)和診斷常用的影像學(xué)方法之一，由于不同ISUP等級(jí)的ccRCC可能表現(xiàn)出不同的影像學(xué)特征，一些學(xué)者利用CT圖像構(gòu)建了ccRCC的ISUP等級(jí)預(yù)測(cè)模型。韓冬等人[6]回顧性地收集了131例患者的CT圖像，對(duì)患者的性別、是否出現(xiàn)血尿、是否腹痛等一般特征和增強(qiáng)CT圖像特征進(jìn)行降維后用于神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和驗(yàn)證，在驗(yàn)證集中模型鑒別高、低級(jí)別ccRCC的AUC為0.7924，敏感度為75.00%，特異度為86.96%。陳心怡等人[7]構(gòu)建了一種基于增強(qiáng)CT動(dòng)脈期圖像的人工智能模型，通過(guò)對(duì)3D腫瘤的感興趣區(qū)域提取特征建立了邏輯回歸模型，在驗(yàn)證集上模型對(duì)高、低級(jí)別ccRCC的敏感性和特異性分別為81.25%和84.93%，AUC為0.8987。康欽欽等人[8]提出并驗(yàn)證了一個(gè)基于CT影像特征及解剖學(xué)RENAL評(píng)分的模型，用于無(wú)創(chuàng)、個(gè)體化預(yù)測(cè)ccRCC的病理分級(jí)，該模型在訓(xùn)練集和測(cè)試集上的AUC分別為0.972和0.995，均表現(xiàn)出良好的鑒別能力。Lin等人[9]基于ResNet卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建了一個(gè)CT圖像的ccRCC核分級(jí)模型，并使用重復(fù)測(cè)量法比較了圖像裁剪、設(shè)置注意力級(jí)別、選擇模型復(fù)雜度和應(yīng)用遷移學(xué)習(xí)等不同方法對(duì)深度模型性能的影響，經(jīng)過(guò)最終測(cè)試，該模型在內(nèi)部驗(yàn)證集上的準(zhǔn)確率為73.7±11.6%， AUC為0.82±0.11，在外部驗(yàn)證集上的準(zhǔn)確率為77.9±6.2%， AUC為0.81±0.04。Hadjiyski[10]則利用具有遷移學(xué)習(xí)的Inception V3深度學(xué)習(xí)模型對(duì)從 3D CT 掃描中裁剪得到腎癌圖像進(jìn)行訓(xùn)練后，經(jīng)過(guò)最終測(cè)試，模型在訓(xùn)練集、驗(yàn)證集和測(cè)試集上的AUC 分別為0.97， 0.91和0.90。

除CT圖像外，基于核磁共振圖像的計(jì)算機(jī)輔助診斷模型也被應(yīng)用于ccRCC的分級(jí)預(yù)測(cè)。石博文等人[11]回顧性地分析了63例術(shù)前行腹部3.0T MR掃描的ccRCC患者的圖像數(shù)據(jù)，首先采用A.K.軟件提取醫(yī)生在T2序列圖像上勾畫(huà)的感興區(qū)域的影像組學(xué)特征，再?gòu)闹泻Y選出對(duì)術(shù)后病理分級(jí)最具有診斷價(jià)值的特征參數(shù)，然后構(gòu)建隨機(jī)森林機(jī)器學(xué)習(xí)模型對(duì)特征參數(shù)進(jìn)行分類(lèi)訓(xùn)練和測(cè)試，實(shí)驗(yàn)結(jié)果表明模型的準(zhǔn)確度、敏感度、特異度及AUC分別為85%， 100%， 72%， 0.87。張鈺等人[12]則回顧性分析了78例經(jīng)手術(shù)病理確診為ccRCC患者的術(shù)前腎臟MRI圖像，在選取橫斷面圖像病灶的最大層面后由醫(yī)生分別在T2WI及皮髓質(zhì)期圖像上勾畫(huà)感興趣區(qū)，然后提取圖像的紋理特征并篩選出具有統(tǒng)計(jì)學(xué)意義的特征，據(jù)此構(gòu)建了多因素二元logistic回歸模型，經(jīng)過(guò)最終測(cè)試，模型在訓(xùn)練集和驗(yàn)證集中AUC分別為0.901和0.820。

盡管上述研究有助于對(duì)ccRCC進(jìn)行分級(jí)診斷，但是存在以下問(wèn)題：(1)病理診斷結(jié)果是ccRCC核分級(jí)的金標(biāo)準(zhǔn)，然而目前鮮有基于病理圖像的ISUP核分級(jí)研究；(2)以往研究只粗略將ccRCC劃分為低級(jí)別和高級(jí)別兩種等級(jí)，并沒(méi)有以ISUP為標(biāo)準(zhǔn)進(jìn)行更為精確的核分級(jí)。針對(duì)以上問(wèn)題，本文構(gòu)建了對(duì)ccRCC病理圖像進(jìn)行ISUP分級(jí)預(yù)測(cè)的深度學(xué)習(xí)網(wǎng)絡(luò)模型。主要貢獻(xiàn)包括：(1)基于病理圖像實(shí)現(xiàn)了ccRCC的ISUP 1-3級(jí)的精確核分級(jí)；(2)提出了一種新的通道注意力模塊sECANet用于提升卷積神經(jīng)網(wǎng)絡(luò)性能；(3)通過(guò)先對(duì)病理圖像的每個(gè)切塊(Patch)進(jìn)行分類(lèi)，再使用多數(shù)投票法得到圖像(Image)級(jí)別的病理學(xué)分級(jí)預(yù)測(cè)結(jié)果。

2 基于sECANet通道注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)

2.1 卷積神經(jīng)網(wǎng)絡(luò)和通道注意力機(jī)制

卷積神經(jīng)網(wǎng)絡(luò)是人工智能領(lǐng)域重要的研究成果之一，在圖像分類(lèi)、目標(biāo)檢測(cè)、實(shí)例分割等領(lǐng)域取得了突破性的成果[13]。卷積神經(jīng)網(wǎng)絡(luò)通常由一系列的卷積層、池化層和非線(xiàn)性激活層組合而成，與之前的全連接神經(jīng)網(wǎng)絡(luò)相比，卷積神經(jīng)網(wǎng)絡(luò)可以通過(guò)權(quán)重共享的方式在局部感受野上進(jìn)行信息聚合，進(jìn)而能夠從全局感受野上捕獲圖像的特征，有效地減少了參數(shù)量。目前，諸如AlexNet[14]， VGGNet[15]和ResNet[16]等一系列典型的卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)應(yīng)用于人臉識(shí)別、自動(dòng)駕駛和醫(yī)學(xué)影像識(shí)別等領(lǐng)域。這些卷積神經(jīng)網(wǎng)絡(luò)都通過(guò)不斷堆疊卷積層的個(gè)數(shù)來(lái)提高網(wǎng)絡(luò)的性能。

近幾年的研究發(fā)現(xiàn)，在卷積神經(jīng)網(wǎng)絡(luò)中引入通道注意力機(jī)制對(duì)于提高其識(shí)別性能有著巨大的潛力[17]。最早的通道注意力模型SeNet[18]通過(guò)對(duì)特征圖通道之間的相互依賴(lài)關(guān)系進(jìn)行建模，自動(dòng)獲取每個(gè)特征通道的重要程度，然后以此為通道權(quán)重提升有用的特征并抑制對(duì)當(dāng)前任務(wù)用處不大的特征，從而在一定程度上提高了網(wǎng)絡(luò)的性能。隨后，Wang等人[19]發(fā)現(xiàn)SeNet對(duì)特征圖的降維會(huì)降低網(wǎng)絡(luò)性能，并且獲取所有通道之間的依賴(lài)關(guān)系是低效且不必要的。為此，他們提出了一種局部跨信道交互策略ECANet，可以在不降低維數(shù)的通道級(jí)全局平均池化之后，通過(guò)執(zhí)行卷積核大小為k的1維卷積來(lái)獲得特征圖每個(gè)通道及其k個(gè)臨近通道之間的局部依賴(lài)關(guān)系，在避免降維造成的信息損失的同時(shí)也有效地獲取了跨通道之間的相互依賴(lài)關(guān)系。

盡管ECANet和SeNet相比有著更好的性能提升，但是ECANet僅僅考慮了特征圖當(dāng)前通道與其若干臨近通道之間的局部依賴(lài)關(guān)系，這樣不可避免地丟失當(dāng)前通道與其他遠(yuǎn)距離通道之間的全局依賴(lài)關(guān)系。因此，本文提出了一種新的通道注意力模塊sECANet，通過(guò)計(jì)算特征圖中當(dāng)前通道和臨近通道以及當(dāng)前通道和遠(yuǎn)距離通道之間的信息交互獲取更多有用的特征。

2.2 sECANet通道注意力模塊

sECANet通道注意力模塊結(jié)構(gòu)如圖1所示。改進(jìn)前的ECANet對(duì)特征圖進(jìn)行通道級(jí)全局平均池化操作后，通過(guò)計(jì)算得到了每個(gè)通道及其k個(gè)臨近通道之間的局部依賴(lài)關(guān)系信息(圖1中示例k=3)。為了得到更多的全局依賴(lài)關(guān)系，sECANet在此基礎(chǔ)上增加了一個(gè)新的通道級(jí)全局平均池化并打亂的分支(圖1中虛線(xiàn)框所示)，該分支在進(jìn)行通道級(jí)的全局平均池化后對(duì)特征圖的通道順序進(jìn)行隨機(jī)重排，因此打亂前的遠(yuǎn)距離通道可能成為其鄰近通道。在獲取新的特征圖當(dāng)前通道及其新的k個(gè)臨近通道之間的局部依賴(lài)關(guān)系后，對(duì)兩個(gè)分支進(jìn)行加權(quán)就可以得到更多的通道間的交互信息。

圖1 sECANet通道注意力模塊

sECANet通道注意力模塊具體的計(jì)算流程如下：假設(shè)輸入特征經(jīng)過(guò)卷積操作后的特征向量為x ∈RW×H×C，其中W，H和C分別表示特征向量的寬度、高度和通道大小。通道維度的全局平均池化可以表示為

則在sECANet中兩個(gè)分支輸入的特征向量可以分別表示為

2.3 ResNet50+sECANet卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

本文選擇ResNet50網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)架構(gòu)，并通過(guò)在ResNet50中添加SeNet， ECANet和sECANet等不同的注意力模塊后比較網(wǎng)絡(luò)的性能表現(xiàn)。

ResNet50的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，輸入圖像首先經(jīng)過(guò)一個(gè)7×7的卷積層和一個(gè)3×3的池化層提取圖像中的淺層特征，然后經(jīng)過(guò)Stage2， Stage3，Stage4和Stage5卷積層提取圖像中的深層次特征，隨后通過(guò)一個(gè)全局平均池化層對(duì)提取到的特征進(jìn)行降維操作并將其作為全連接層神經(jīng)網(wǎng)絡(luò)的輸入，最后提取到的特征通過(guò)一個(gè)softmax層輸出網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果。在ResNet50中，Stage2， Stage3， Stage4和Stage5卷積層分別由3， 4， 6和3個(gè)瓶頸層組成，每一個(gè)瓶頸層又由1個(gè)1×1卷積層、1個(gè)3×3卷積層、1個(gè)1×1卷積層和1個(gè)輸入和輸出間殘差連接組成。本文將sECANet插入到了Stage2～Stage5的每個(gè)瓶頸層中。圖2以Stage3為例，這個(gè)卷積層中包含4個(gè)瓶頸層，在每個(gè)瓶頸層的第2個(gè)1×1卷積層后都插入1個(gè)sECANet模塊。

圖2 ResNet50網(wǎng)絡(luò)的整體結(jié)構(gòu)圖以及sECANet模塊插入位置示意圖

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集

本文從中科光華(西安)智能生物科技有限公司的NO.U090KI01 腎癌組織芯片中收集到了90例患者的病變區(qū)域病理切片圖像，每例患者有明確的ISUP分級(jí)、Stage分期、TNM分期等病理診斷結(jié)果。組織芯片所有臨床信息的統(tǒng)計(jì)結(jié)果如表1所示。

表1 No.U090KI01組織芯片的臨床信息

3.2 數(shù)據(jù)預(yù)處理

由于每個(gè)患者的病理圖像在40倍放大倍率下的尺寸為5120像素×5120像素，將全片送入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練是不可行的，故對(duì)每位患者的原始病理圖像進(jìn)行切分。切分過(guò)程如圖3中第1個(gè)虛線(xiàn)框所示(Image切分為Patch)，先將圖像裁成尺寸為320像素×320像素的切塊。為了減少信息丟失，取步長(zhǎng)為260。再對(duì)裁剪得到的切塊進(jìn)行篩選，剔除那些空白區(qū)域、組織纖維、出血、血管、囊腫或淋巴病變超過(guò)50%區(qū)域的Patch，最終得到19978張切塊。

數(shù)據(jù)增強(qiáng)是提高網(wǎng)絡(luò)性能和降低分類(lèi)網(wǎng)絡(luò)模型過(guò)擬合風(fēng)險(xiǎn)的重要方法之一[22]。因此，對(duì)篩選后的切塊進(jìn)行增強(qiáng)，具體的操作如圖3中第2個(gè)虛線(xiàn)框所示(數(shù)據(jù)增強(qiáng)模塊)。首先，將尺寸為320像素×320像素的切塊調(diào)整為256像素×256像素后，再對(duì)圖像進(jìn)行隨機(jī)水平翻轉(zhuǎn)、隨機(jī)垂直翻轉(zhuǎn)和隨機(jī)旋轉(zhuǎn)等一系列的增強(qiáng)操作，并進(jìn)行歸一化處理，最后將得到的張量送入到卷積神經(jīng)網(wǎng)絡(luò)模型中。

圖3 40倍放大倍率下病理圖像切分以及圖像增強(qiáng)過(guò)程

3.3 實(shí)驗(yàn)環(huán)境與訓(xùn)練設(shè)置

本文實(shí)驗(yàn)環(huán)境配置如下：CPU為Intel(R)Xeon(R) Gold 6240 CPU @ 2.60 GHz；系統(tǒng)版本為：Ubuntu 18.04.5 LTS PC；GPU為NVIDIA RTX 2080Ti GPU*2，CUDA11.1；Python版本為3.7.11；深度學(xué)習(xí)框架版本為Pytorch 1.8.1。

考慮到樣本的不均衡性，本文引入加權(quán)交叉熵?fù)p失函數(shù)，來(lái)抑制樣本不平衡對(duì)模型性能產(chǎn)生的影響。為了加快模型的訓(xùn)練速度，提高模型的穩(wěn)定性和泛化能力，本文使用ImageNet數(shù)據(jù)集上學(xué)習(xí)到的 ResNet50的權(quán)重作為初始網(wǎng)絡(luò)參數(shù)，注意力模塊的參數(shù)則進(jìn)行了隨機(jī)初始化。然后通過(guò)隨機(jī)梯度下降 (Stochastic Gradient Descent， SGD) 算法優(yōu)化網(wǎng)絡(luò)參數(shù)，權(quán)重衰減為 10—5，學(xué)習(xí)動(dòng)量為 0.9，batch size大小為 80。每個(gè)模型訓(xùn)練 100 個(gè)epoch，其中初始學(xué)習(xí)率設(shè)置為 0.01，并每隔30個(gè)epoch學(xué)習(xí)率乘以0.1。

3.4 系統(tǒng)評(píng)價(jià)方法

本文采用五折交叉驗(yàn)證來(lái)衡量模型的性能。值得注意的是在劃分訓(xùn)練集和驗(yàn)證集時(shí)以患者為個(gè)體單位對(duì)不同的類(lèi)別進(jìn)行分層采樣，從而提高模型對(duì)患者進(jìn)行預(yù)測(cè)的準(zhǔn)確度。由于實(shí)驗(yàn)中先將病理圖像劃分成切塊進(jìn)行訓(xùn)練，因此首先對(duì)網(wǎng)絡(luò)進(jìn)行Patch級(jí)別的分類(lèi)性能評(píng)價(jià)。每個(gè)病例的分類(lèi)結(jié)果采用多數(shù)投票法得到，即統(tǒng)計(jì)該病例切塊數(shù)最多的切塊分級(jí)作為該病例的最終預(yù)測(cè)結(jié)果，因此進(jìn)一步進(jìn)行Image級(jí)別的分類(lèi)性能評(píng)價(jià)。

評(píng)價(jià)指標(biāo)采用分類(lèi)準(zhǔn)確率(Acc、精確率(Pre)、召回率(Rec)、F1分?jǐn)?shù)(F1)、混淆矩陣和梯度加權(quán)類(lèi)激活映射方法(Gradient-weighted Class Activation Mapping， Grad-CAM)。分類(lèi)準(zhǔn)確率、精確率、召回率和F1可以通過(guò)式(12)—式(15)得到。

其中，TP是真正例的個(gè)數(shù)，F(xiàn)N是假反例的個(gè)數(shù)，F(xiàn)P是假正例的個(gè)數(shù)，TN是真反例的個(gè)數(shù)。

混淆矩陣表示分類(lèi)器處理多分類(lèi)問(wèn)題時(shí)造成的混淆情況，橫坐標(biāo)表示分類(lèi)器預(yù)測(cè)的類(lèi)別，縱坐標(biāo)表示圖像的真實(shí)類(lèi)別，對(duì)角線(xiàn)上的值表示每類(lèi)圖像被正確分類(lèi)的個(gè)數(shù)，對(duì)角線(xiàn)顏色越深則表明分類(lèi)器的性能越好，本文在繪制時(shí)對(duì)預(yù)測(cè)結(jié)果進(jìn)行了歸一化處理。

Grad-CAM可以通過(guò)生成粗略的定位圖，突出圖像中用于分類(lèi)器預(yù)測(cè)的重要區(qū)域，其中紅色表示分類(lèi)器預(yù)測(cè)時(shí)高關(guān)注度的區(qū)域，而深藍(lán)色區(qū)域表示分類(lèi)器預(yù)測(cè)時(shí)低關(guān)注度的區(qū)域[23]。

3.5 驗(yàn)證sECANet有效性的消融實(shí)驗(yàn)

為了驗(yàn)證sECANet通道注意力機(jī)制的有效性，本文在相同的數(shù)據(jù)集上對(duì)比了ResNet50基礎(chǔ)網(wǎng)絡(luò)和分別融合3種不同的通道注意力模塊SeNet，ECANet和sECANet后的性能。融合不同注意力模塊的ResNet50模型在Patch級(jí)別的評(píng)價(jià)指標(biāo)如表2所示(其中加粗字體表示相同評(píng)價(jià)指標(biāo)下的最優(yōu)結(jié)果)。通過(guò)比較可以發(fā)現(xiàn)通道注意力模塊SeNet，ECANet和sECANet均可有效地提升網(wǎng)絡(luò)的性能，且本文提出的sECANet相較于其他兩者是最優(yōu)的。與基礎(chǔ)的ResNet50相比，融合了sECANet后網(wǎng)絡(luò)的Acc、Pre、Rec和F1分別提高了1.91% (78.48%vs. 76.57%)， 1.69% (79.95% vs. 78.26%)， 2.25%(78.43% vs. 76.18%)和1.84% (78.51% vs. 76.67%)。同時(shí)，在五折交叉驗(yàn)證中，ResNet50 + sECANet網(wǎng)絡(luò)模型的各個(gè)分類(lèi)指標(biāo)的標(biāo)準(zhǔn)差(Standard Deviation， SD)最小，這表明相較于其他網(wǎng)絡(luò)，本文提出的算法的分類(lèi)性能最穩(wěn)定。

表2 融合不同注意力模塊的ResNet50模型在Patch級(jí)別的分類(lèi)性能(%)對(duì)比

進(jìn)一步地，本文計(jì)算了融合不同注意力模塊的ResNet50模型在Patch級(jí)的分類(lèi)混淆矩陣，結(jié)果如圖4所示，主對(duì)角線(xiàn)的數(shù)值即為各類(lèi)的召回率。通過(guò)比較4個(gè)混淆矩陣可以看出，本文提出的sECANet整體性能最好、分類(lèi)準(zhǔn)確率最高(圖4(d))。

值得注意的是，雖然所有的算法都能夠較好地區(qū)分ISUP 1級(jí)和正常級(jí)別的ccRCC病理圖像，但在鑒別ISUP 2級(jí)、ISUP 3級(jí)時(shí)的表現(xiàn)性能相對(duì)較差。其中分類(lèi)錯(cuò)誤的ISUP 2級(jí)主要被鑒別為ISUP 1級(jí)或ISUP 3級(jí)，且錯(cuò)分為前者的可能性更大；分類(lèi)錯(cuò)誤的ISUP 3級(jí)主要被鑒別為ISUP 2級(jí)。導(dǎo)致該現(xiàn)象的原因一方面可能是數(shù)據(jù)集中4種類(lèi)別的樣本數(shù)量較少(ISUP 1級(jí)有38例，ISUP 2級(jí)有25例，ISUP 3級(jí)有17例，正常有10例)，還需要進(jìn)一步地收集典型的ISUP 2級(jí)和ISUP 3級(jí)的數(shù)據(jù)；另一方面從組織病理學(xué)特征來(lái)看，相鄰ISUP級(jí)別的病理圖像中細(xì)胞核仁形態(tài)特征相近。圖5的藍(lán)色圓點(diǎn)區(qū)域?yàn)镠E染色的細(xì)胞核，正常的細(xì)胞核形態(tài)最小(圖5(d))，ISUP 1級(jí)的細(xì)胞核增大(圖5(a))，ISUP 3級(jí)細(xì)胞核更大(圖5(c))，且形態(tài)有一定的變化，而ISUP 2級(jí)(圖5(b))的細(xì)胞核大小介于ISUP 1級(jí)和3級(jí)之間。在數(shù)據(jù)量有限的情況下，模型很難提取足夠多的有效區(qū)分相鄰級(jí)別的特征信息，因此導(dǎo)致ISUP 2級(jí)可能被錯(cuò)分為ISUP 1級(jí)或3級(jí)，ISUP 3級(jí)和少量ISUP 1級(jí)可能被錯(cuò)分成ISUP 2級(jí)。此外，對(duì)比圖4(a)和圖4(d)，融合了新的注意力模塊的ResNet50提升了對(duì)ISUP 1級(jí)(0.90 vs. 0.87)和正常級(jí)別(0.94 vs. 0.89)的分類(lèi)能力，但是對(duì)ISUP 2級(jí)和3級(jí)的提升效果不顯著。

圖4 融合不同注意力模塊的ResNet50模型在Patch級(jí)別分類(lèi)結(jié)果混淆矩陣

圖5 數(shù)據(jù)集中4種不同病理級(jí)別的典型示意圖

通過(guò)五折交叉驗(yàn)證，得到90例患者每個(gè)Patch的分類(lèi)結(jié)果后，再通過(guò)多數(shù)投票法得到每個(gè)患者Image的分類(lèi)結(jié)果，統(tǒng)計(jì)結(jié)果如表3所示。從實(shí)驗(yàn)結(jié)果可知，在ResNet50網(wǎng)絡(luò)中引入ECANet或sECANet通道注意力模塊均可顯著提高模型的性能，且sECANet模塊對(duì)網(wǎng)絡(luò)分類(lèi)性能的提升更為顯著，sECANet在進(jìn)行通道選擇時(shí)能夠關(guān)注到更多與任務(wù)相關(guān)的通道信息，相對(duì)SeNet和ECANet能夠提取更多有用的特征，因此能夠更好地在Image級(jí)別實(shí)現(xiàn)ccRCC病理圖像的精確分級(jí)。

表3 融合不同注意力模塊的ResNet50模型在Image級(jí)別的分類(lèi)性能(%)對(duì)比

為了進(jìn)一步比較融合不同注意力模塊的Res-Net50模型的分類(lèi)效果，本文進(jìn)一步地計(jì)算了4種算法在Image級(jí)別上的分類(lèi)結(jié)果混淆矩陣，結(jié)果如圖6所示。

圖6 融合不同注意力模塊的ResNet50模型在Image級(jí)別分類(lèi)結(jié)果混淆矩陣

通過(guò)比較4個(gè)混淆矩陣可以看出，融合不同注意力模塊的ResNet50模型都能夠在Image級(jí)別對(duì)正常的病理圖像實(shí)現(xiàn)精確的分級(jí)，對(duì)ISUP 1級(jí)的分類(lèi)精度也較高，但對(duì)ISUP 2級(jí)、ISUP 3級(jí)的預(yù)測(cè)效果較差。其中， ISUP 2級(jí)主要被錯(cuò)誤地鑒別為ISUP 1級(jí)或ISUP 3級(jí)，部分ISUP 3級(jí)和極少量ISUP 1級(jí)主要被鑒別為ISUP 2級(jí)。此外，與基礎(chǔ)網(wǎng)絡(luò)ResNet50相比，本文提出的ResNet50 +sECANet在Image級(jí)別上將ISUP 1級(jí)的召回率由0.97提升為1.00，同時(shí)有效地提升了ISUP 2級(jí)(0.80 vs.0.76)和ISUP 3級(jí)(0.71 vs. 0.65)的召回率。

為解決卷積神經(jīng)網(wǎng)絡(luò)模型中感興趣的區(qū)域不可見(jiàn)問(wèn)題，本文分別繪制了融合不同注意力模塊的ResNet50模型的Grad-CAM圖像，對(duì)不同算法在對(duì)輸入圖像進(jìn)行分類(lèi)時(shí)重點(diǎn)關(guān)注的區(qū)域在視覺(jué)上進(jìn)行可視化處理，以便于了解模型做出決策時(shí)的核心圖像區(qū)域。由于分類(lèi)器根據(jù)細(xì)胞核仁的形態(tài)對(duì)病理圖像進(jìn)行分級(jí)預(yù)測(cè)，因此網(wǎng)絡(luò)的感興趣區(qū)域如果更集中在細(xì)胞核區(qū)域，就能夠提取更多有用的分類(lèi)特征，排除無(wú)關(guān)區(qū)域的干擾，從而使網(wǎng)絡(luò)的性能更優(yōu)。對(duì)于圖7的3張輸入圖像，sECANet在分類(lèi)決策時(shí)相較于基礎(chǔ)網(wǎng)絡(luò)ResNet50，以及融合其他通道注意力機(jī)制的ResNet50+SeNet， ResNet50+ECANet要關(guān)注到病理圖像中更多的細(xì)胞核，因此可以提取更多有用的特征，從而得到最佳的分類(lèi)性能。

圖7 融合不同注意力模塊的ResNet50模型相同輸入圖像下的Grad-CAM圖

3.6 和其他網(wǎng)絡(luò)進(jìn)行比較

為了進(jìn)一步驗(yàn)證ResNet50+sECANet模型的分類(lèi)效果，將本文方法與近幾年代表性的ShuffleNet V2， DenseNet121和VGG16等分類(lèi)方法進(jìn)行了對(duì)比，所有方法均使用本文構(gòu)建的數(shù)據(jù)集，實(shí)驗(yàn)評(píng)價(jià)指標(biāo)采用Acc，Pre，Rec與F1進(jìn)行定量分析，不同算法在Patch級(jí)別的分類(lèi)性能見(jiàn)表4。本文提出的ResNet50+sECANet模型的準(zhǔn)確率為78.48±3.17%，精確率為79.95±4.37%，召回率為78.43±2.44，F(xiàn)1分?jǐn)?shù)為78.51±3.04%，與其他幾種網(wǎng)絡(luò)算法相比均最高，同時(shí)各個(gè)分類(lèi)性能指標(biāo)的標(biāo)準(zhǔn)差最小，表明我們提出的ISUP分級(jí)模型整體的預(yù)測(cè)效果優(yōu)于其他模型，且具有更好的泛化能力和更高的可靠性。

表4 不同網(wǎng)絡(luò)在Patch級(jí)別的分類(lèi)性能(%)對(duì)比

表5是本文提出的ResNet50+sECANet 與ShuffleNet V2， DenseNet121， VGG16等不同算法在Image級(jí)別上分類(lèi)性能的對(duì)比結(jié)果。ResNet50+sECANet預(yù)測(cè)所有病例的ISUP分級(jí)的準(zhǔn)確率達(dá)到88.89%，精確率達(dá)到89.88%，召回率達(dá)到87.65%，F(xiàn)1分?jǐn)?shù)達(dá)到88.51%，在所有的模型中均表現(xiàn)出最優(yōu)的性能。

表5 不同網(wǎng)絡(luò)在Image級(jí)別的分類(lèi)性能(%)對(duì)比

4 結(jié)束語(yǔ)

本文針對(duì)ECANet通道注意力模塊在捕獲特征通道間相互依賴(lài)關(guān)系時(shí)只考慮臨近通道而忽略遠(yuǎn)距離通道的不足，提出了一種兩者兼顧的通道注意力模塊sECANet，并將其應(yīng)用于ccRCC病理圖片的Patch級(jí)別的ISUP分級(jí)預(yù)測(cè)。在得到每個(gè)患者Patch級(jí)別的預(yù)測(cè)結(jié)果后，再通過(guò)多數(shù)投票法得到相對(duì)應(yīng)患者Image級(jí)別的分類(lèi)結(jié)果。最終的實(shí)驗(yàn)結(jié)果表明，新的注意力模塊能夠有效地提升網(wǎng)絡(luò)的分類(lèi)能力和泛化能力，特別是有效提升了Image級(jí)別的預(yù)測(cè)結(jié)果。但是，本文提出的ccRCC ISUP分級(jí)模型識(shí)別ISUP 2級(jí)和ISUP 3級(jí)的性能還需改進(jìn)，因此收集更多的典型數(shù)據(jù)以及如何利用卷積神經(jīng)網(wǎng)絡(luò)提取更有效區(qū)分ISUP等級(jí)的圖像特征是下一步的研究方向之一。此外，本研究采用的數(shù)據(jù)集是從每個(gè)患者的全視野數(shù)字切片(Whole Slide Image，WSI)上對(duì)病變區(qū)域采樣后得到的，因此進(jìn)一步開(kāi)發(fā)針對(duì)腎組織WSI圖像的病理分級(jí)CAD也是未來(lái)的主要工作。