用于宮頸細(xì)胞分類的輕量級(jí)網(wǎng)絡(luò)ICA-Res2Net

張 鵬，謝 莉，楊海麟

1.江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無(wú)錫 214122

2.江南大學(xué) 生物工程學(xué)院，江蘇 無(wú)錫 214122

宮頸癌是引發(fā)女性非正常死亡的重要原因之一，對(duì)女性的身體健康造成嚴(yán)重威脅。據(jù)世界衛(wèi)生組織和國(guó)際癌癥研究機(jī)構(gòu)估計(jì)，2020年全球?qū)m頸癌新發(fā)病例數(shù)為604 000，死亡342 000例，是導(dǎo)致女性患癌死亡的第四大原因[1]。如果病情在宮頸癌癌前病變階段或者更早的時(shí)候被診斷出來(lái)，就能夠得到更及時(shí)的預(yù)防和控制，因此宮頸細(xì)胞的檢測(cè)在宮頸癌的癌前篩查中發(fā)揮著關(guān)鍵的作用[2]。

早期的細(xì)胞篩查主要憑借醫(yī)師的經(jīng)驗(yàn)對(duì)宮頸細(xì)胞切片進(jìn)行判斷，但這種方法通常比較耗時(shí)、效率低。近些年，人工智能發(fā)展迅速，大量學(xué)者研究和提出基于顯微圖像進(jìn)行宮頸細(xì)胞分類的有關(guān)方法，包括傳統(tǒng)的機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法。

董娜等[3]從宮頸細(xì)胞圖像的顏色特征、紋理特征和形態(tài)特征等三大類特征中提取均值、方差及對(duì)比度等20種特征，進(jìn)一步通過(guò)回歸樹(shù)算法選出9 種特征，使用基于粒子群尋優(yōu)的支持向量機(jī)（support vector machine，SVM）實(shí)現(xiàn)宮頸細(xì)胞圖像的分類。趙理莉等[4]使用Gap-search MRF 對(duì)宮頸細(xì)胞圖像進(jìn)行分割，并結(jié)合原始圖像提取154維特征；使用SVM作為基礎(chǔ)分類器，并融合層次法和主成分分析特征變換，有效提高宮頸細(xì)胞四個(gè)類別的識(shí)別率。Mariarputham等[5]提出基于紋理的宮頸細(xì)胞分類方法，該方法首先從細(xì)胞圖像中提取指定的24 種紋理特征，隨后使用線性核SVM 進(jìn)行分類，取得優(yōu)于徑向基SVM以及單隱層神經(jīng)網(wǎng)絡(luò)等多個(gè)不同類型分類器的效果。上述分類方法大多需要人工選取細(xì)胞圖像特征，特征的選取會(huì)受到主觀影響，且難以直接應(yīng)用于另一類細(xì)胞圖像的分類，所以傳統(tǒng)的機(jī)器學(xué)習(xí)方法泛化性能較差，分類準(zhǔn)確率也比較低。

隨著深度學(xué)習(xí)的興起，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）逐漸成為解決多分類任務(wù)的熱門模型。CNN模型具有權(quán)值共享和局部連接兩種顯著特征，在提取特征和分類方面的性能優(yōu)于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，且具有適用性強(qiáng)的特點(diǎn)，能夠在一定程度上解決傳統(tǒng)人工識(shí)別圖像時(shí)的低效率問(wèn)題，在醫(yī)學(xué)圖像分類[6]和細(xì)胞圖像分類[7]等方面具有大量成功應(yīng)用的案例。

在卷積神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展過(guò)程中，研究者們提出多種性能優(yōu)異的深度卷積神經(jīng)網(wǎng)絡(luò)模型，并應(yīng)用于細(xì)胞圖像的分類。趙越等[8]利用計(jì)算機(jī)視覺(jué)數(shù)據(jù)集ImageNet實(shí)現(xiàn)深度學(xué)習(xí)網(wǎng)絡(luò)模型Alex Net的預(yù)訓(xùn)練，將訓(xùn)練好的部分參數(shù)遷移至宮頸細(xì)胞分類網(wǎng)絡(luò)，使用Herlev數(shù)據(jù)集中的宮頸細(xì)胞圖像作為網(wǎng)絡(luò)輸入，對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)，從而實(shí)現(xiàn)宮頸細(xì)胞的分類。Plissiti 等[9]將深度卷積神經(jīng)網(wǎng)絡(luò)VGG-19應(yīng)用于SIPaKMeD數(shù)據(jù)集中五種宮頸細(xì)胞的分類。Ghoneim等[10]利用極限學(xué)習(xí)機(jī)作為分類器，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)框架VGG-16 Net 或CaffeNet，將宮頸細(xì)胞分成七類，總體分類準(zhǔn)確率達(dá)到97.2%。Shi等[11]將圖卷積網(wǎng)絡(luò)應(yīng)用于宮頸細(xì)胞的分類，挖掘圖像內(nèi)部關(guān)系，并通過(guò)實(shí)驗(yàn)對(duì)方法的有效性進(jìn)行了驗(yàn)證。上述基于深度學(xué)習(xí)方法雖然能夠提高宮頸細(xì)胞的分類準(zhǔn)確率，但由于這些網(wǎng)絡(luò)含有的參數(shù)較多，訓(xùn)練及測(cè)試時(shí)間相對(duì)較長(zhǎng)。

綜上所述，如何設(shè)計(jì)既準(zhǔn)確又快速的深度學(xué)習(xí)網(wǎng)絡(luò)以實(shí)現(xiàn)更高效的細(xì)胞圖像分類仍然是該領(lǐng)域的關(guān)鍵問(wèn)題。本文構(gòu)造輕量級(jí)網(wǎng)絡(luò)ICA-Res2Net 對(duì)SIPaKMeD數(shù)據(jù)集中的宮頸細(xì)胞進(jìn)行分類，主要?jiǎng)?chuàng)新點(diǎn)包括：

（1）通過(guò)殘差結(jié)構(gòu)Res2Net 提取更細(xì)粒度的特征，進(jìn)一步結(jié)合空間金字塔池化（spatial pyramid pooling，SPP）層提取不同區(qū)域的局部信息，整合全局信息，并利用跳躍連接，緩解深度神經(jīng)網(wǎng)絡(luò)的梯度消失，解決網(wǎng)絡(luò)的退化問(wèn)題。

（2）基于卷積塊注意力模塊的設(shè)計(jì)思想，在協(xié)調(diào)注意力（coordinate attention，CA）模塊的通道編碼處加入行與列的最大池化，提出改進(jìn)的協(xié)調(diào)注意力（improved coordinate attention，ICA）模塊，提升編碼后通道描述符與輸入特征的相關(guān)性，強(qiáng)化特征層中各特征值的注意力權(quán)重，從而改善分類結(jié)果。

（3）結(jié)合Softmax 損失函數(shù)和中心損失函數(shù)對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練，有效調(diào)節(jié)類內(nèi)以及類間距離，提高分類準(zhǔn)確率。

1 輕量級(jí)網(wǎng)絡(luò)ICA-Res2Net

1.1 網(wǎng)絡(luò)主模塊結(jié)構(gòu)

為了使分類準(zhǔn)確率和預(yù)測(cè)速度都能夠得到提升，本文采用Res2Net 模塊、SPP 模塊以及ICA 模塊，提出融合注意力機(jī)制的新型多尺度特征提取輕量級(jí)網(wǎng)絡(luò)ICA-Res2Net，其主模塊結(jié)構(gòu)如圖1所示，其中x表示模塊輸入，F(xiàn)(x)代表非恒等映射輸出，G(x)=F(x)+x表示模塊輸出。

圖1 ICA-Res2Net模塊Fig.1 ICA-Res2Net module

首先，通過(guò)Res2Net 模塊中輸入特征子塊與輸出特征子塊間的交叉卷積，從多個(gè)不同尺度的感受野中獲取更細(xì)粒度的信息，改善模型的多尺度特征表示能力；其次為充分利用獲取的細(xì)粒度信息，使用SPP層進(jìn)行局部特征提取，進(jìn)一步獲取局部細(xì)粒度特征信息；同時(shí)，為保證通道間的相關(guān)性，以及重點(diǎn)突出感興趣區(qū)域，使用改進(jìn)的基于注意力機(jī)制的CA模塊，對(duì)特征層上各個(gè)像素點(diǎn)的特征值進(jìn)行加權(quán)，使得局部特征更加顯著，弱化相對(duì)無(wú)用區(qū)域的特征，達(dá)到提高分類準(zhǔn)確率的目的。此外，考慮到殘差映射更易于優(yōu)化，能夠解決網(wǎng)絡(luò)退化問(wèn)題[12]，在模塊中使用跳躍連接將整體設(shè)計(jì)成殘差單元，即在過(guò)程中對(duì)殘差F(x)=G(x)-x進(jìn)行最小化。

1.1.1 多尺度特征提取殘差模塊

Res2Net[13]模塊由經(jīng)典的殘差結(jié)構(gòu)改造而成，增加不同特征通道子塊之間的卷積運(yùn)算，本文中采用虛線所包圍的結(jié)構(gòu)。如圖2所示，Res2Net模塊包含兩個(gè)1×1卷積模塊和三個(gè)3×3卷積模塊，每個(gè)卷積模塊由一個(gè)卷積操作、一個(gè)批標(biāo)準(zhǔn)化處理和一個(gè)非線性激活函數(shù)（Leaky ReLU）組成。

圖2 Res2Net模塊結(jié)構(gòu)圖Fig.2 Diagram of Res2Net module

令Xj與Yj分別表示操作前和操作后的特征子塊，它們之間的計(jì)算公式如下：

其中，H(?)表示一次3×3 卷積模塊的所有操作，b表示上層輸出切割成的通道子塊個(gè)數(shù)，本文參考文獻(xiàn)[13]設(shè)置為經(jīng)驗(yàn)值4。此模塊通過(guò)特征圖的通道劃分、串聯(lián)拼接以及卷積操作，從第三塊輸出子塊開(kāi)始，感受野的范圍便發(fā)生改變。因此，輸出的特征圖中包含不同大小及數(shù)量的感受野，能夠提取更細(xì)粒度表示的多尺度信息，提升網(wǎng)絡(luò)的特征表示能力。

1.1.2 空間金字塔池化層

空間金字塔池化（SPP）模塊[14]通過(guò)對(duì)上一特征層進(jìn)行不同尺度池化，改變特征提取時(shí)的感受野大小，最后合并成為4倍于輸入層網(wǎng)絡(luò)通道的特征層，從同一特征圖中獲取不同感受野的最大值特征信息。池化及合并過(guò)程如圖3 所示，在保持網(wǎng)絡(luò)中其他參數(shù)不變的條件下，通過(guò)調(diào)節(jié)池化窗口大小，顯著改變輸出特征層中的感受野。值得注意的是，由于最大池化是對(duì)周圍固定步長(zhǎng)內(nèi)的特征層數(shù)值取最大值，不會(huì)額外增加類似于卷積核權(quán)值等訓(xùn)練參數(shù)。因此，SPP層不僅能夠增加感受野以提取重要上下文信息，且?guī)缀醪粫?huì)降低網(wǎng)絡(luò)運(yùn)行速度，從而提升分類效果。本文通過(guò)交叉驗(yàn)證的方法，選擇3×3、5×5和7×7的最大池化，網(wǎng)絡(luò)中設(shè)置的SPP層結(jié)構(gòu)如圖4所示。

圖3 池化過(guò)程示意圖Fig.3 Diagram of pooling process

圖4 空間金字塔池化層Fig.4 Spatial pyramid pooling layer

令X表示輸入特征層，P(?)表示對(duì)X進(jìn)行最大池化操作后的特征層，則輸出特征層Y可表示為：

其中，[?,?]表示串聯(lián)拼接，即按通道所在維度串聯(lián)，組成含有大量特征信息的堆疊特征層。

1.1.3 改進(jìn)的協(xié)調(diào)注意力模塊

為了減少噪聲干擾，提升網(wǎng)絡(luò)對(duì)感興趣目標(biāo)的關(guān)注效果，從而改善分類能力，本文在SPP 層之后加入一種改進(jìn)的基于注意力機(jī)制的模塊。

以往的注意力模塊過(guò)于關(guān)注通道間的相關(guān)性而忽略了位置信息對(duì)于獲取特征層空間信息的重要性。協(xié)調(diào)注意力（CA）模塊[15]是基于壓縮激勵(lì)模塊[16]改進(jìn)的輕量級(jí)注意力模塊，其核心思想就是捕獲通道間關(guān)系的同時(shí)，加入位置上的信息，從而幫助模型更加精準(zhǔn)地定位和識(shí)別感興趣的目標(biāo)。但是，CA 模塊只考慮使用平均池化作為編碼注意力權(quán)重的因素，會(huì)缺失描述對(duì)象特征的部分細(xì)節(jié)。考慮到最大池化信息攜帶輸入特征層的局部最大值信息，對(duì)于推斷更細(xì)致的注意力有幫助[17]。因此本文結(jié)合最大池化，對(duì)特征層賦予注意力權(quán)重，從而增強(qiáng)網(wǎng)絡(luò)的特征提取能力。實(shí)現(xiàn)的網(wǎng)絡(luò)框架如圖5所示，給出了網(wǎng)絡(luò)訓(xùn)練過(guò)程的主要步驟。

對(duì)于圖6 所示的特征層，其中W和H分別表示特征層寬和高的維數(shù)，C表示通道數(shù)，首先分別沿水平方向和垂直方向計(jì)算均值和最大值，得到兩個(gè)尺寸分別為H×1×C和1×W×C的特征矩陣：

圖6 特征層Fig.6 Feature map

因此，計(jì)算得到的特征矩陣和分別帶有兩個(gè)空間方向上的平均池化信息以及最大池化信息。

之后進(jìn)行串聯(lián)拼接以及1×1卷積操作f1：

這里δ為L(zhǎng)eaky ReLU激活函數(shù)，其結(jié)果f∈R(H+W)×C/r將通道數(shù)降至以減少模型復(fù)雜度，其中r為壓縮率，參考文獻(xiàn)[15]設(shè)置為經(jīng)驗(yàn)值16。隨后將f分隔成f h∈RH×C/r和f ω∈RW×C/r，再分別進(jìn)行1×1卷積運(yùn)算Fh和Fw，將通道數(shù)增加至輸入特征層通道數(shù)，再次得到兩個(gè)尺寸分別為H×1×C和1×W×C的特征矩陣。最后通過(guò)點(diǎn)乘運(yùn)算實(shí)現(xiàn)對(duì)輸入特征層的加權(quán)，計(jì)算公式如下：

其中，σ表示Sigmoid函數(shù)，gh和gw表示對(duì)特征層進(jìn)行加權(quán)的注意力權(quán)重向量，xc(p,q) 指的是此模塊的輸入特征層中第c個(gè)通道上的特征值。通過(guò)公式（6）與公式（7）可以發(fā)現(xiàn)，最終的權(quán)重向量gh和gw與輸入特征層的最大池化信息和平均池化信息均產(chǎn)生關(guān)聯(lián)，使得編碼后的通道描述符與輸入特征層的相關(guān)性更加緊密。在網(wǎng)絡(luò)訓(xùn)練的梯度反向傳播過(guò)程中，輸入特征層的值會(huì)隨著損失函數(shù)的值不斷變化，根據(jù)其計(jì)算各通道沿水平方向和垂直方向的值，并產(chǎn)生相應(yīng)的注意力權(quán)重，提高感興趣區(qū)域的權(quán)值，從而自動(dòng)調(diào)整輸出特征層特征值的大小，改變不同區(qū)域的重要程度，直到損失函數(shù)值達(dá)到收斂，預(yù)測(cè)類別標(biāo)簽趨向于真實(shí)類別標(biāo)簽。

1.2 損失函數(shù)

現(xiàn)有分類技術(shù)中，提高分類效果的方法主要由兩個(gè)方面組成，一方面是減小類內(nèi)距離，另一方面是增大類間距離。由于SIPaKMeD數(shù)據(jù)集中均為宮頸細(xì)胞，不同類細(xì)胞間具有一定相似性，而同類細(xì)胞間的特征也具有一定差別，所以考慮采用能夠有效區(qū)分類間特征的分類損失函數(shù)Softmax以及對(duì)減小類內(nèi)距離有較好效果的中心損失函數(shù)（center loss，CL）[18]進(jìn)行聯(lián)合訓(xùn)練。

Softmax損失函數(shù)定義為：

其中，xi∈Rd是第i個(gè)特征向量，屬于yi類，d代表特征數(shù)據(jù)的維度；m、n分別為訓(xùn)練批次大小和類別數(shù)，Wj∈Rd表示最后一層全連接層權(quán)值矩陣W∈Rd×n的第j列，b∈Rn為偏差向量。

如果僅利用式（9）更新模型參數(shù)，會(huì)無(wú)法兼顧類內(nèi)距離的約束，使得最終學(xué)習(xí)到的特征存在類內(nèi)間距過(guò)大的缺點(diǎn)[19]。因此，聯(lián)合中心損失函數(shù)以減小同類特征數(shù)據(jù)的距離，增強(qiáng)網(wǎng)絡(luò)的分類效果。

中心損失函數(shù)定義為：

其中，∈Rd代表yi類的特征數(shù)據(jù)中心。

各類別特征數(shù)據(jù)中心cj的迭代更新公式為：

其中，α∈[0,1]為迭代步長(zhǎng)，用于控制cj的更新速度；Δ是第j類特征數(shù)據(jù)與其特征數(shù)據(jù)中心的平均差值，即：

若yi屬于此類別中心所屬的類別，則δ(yi=j)=1；反之，δ(yi=j)=0。

為了縮小類內(nèi)特征數(shù)據(jù)的差距，增強(qiáng)模型的分類能力，定義聯(lián)合損失函數(shù)：

其中，λ∈(0,1)用于平衡Softmax 損失函數(shù)和中心損失函數(shù)。本文通過(guò)設(shè)置多組α與λ的取值，比較模型取得的分類效果，從而完成以上兩個(gè)超參數(shù)值的選取。

1.3 網(wǎng)絡(luò)框架

由于宮頸細(xì)胞圖像樣本制取困難，對(duì)于有限的圖像樣本，如果采用過(guò)深的網(wǎng)絡(luò)模型，容易造成訓(xùn)練集分類準(zhǔn)確率過(guò)高，而測(cè)試集準(zhǔn)確率較低的情形，即過(guò)度擬合。若網(wǎng)絡(luò)模型的深度不夠，就無(wú)法提取深層語(yǔ)義信息，產(chǎn)生訓(xùn)練集分類準(zhǔn)確率低，測(cè)試集準(zhǔn)確率也較低的情況。本文設(shè)計(jì)的網(wǎng)絡(luò)框架如圖7 所示，包含四個(gè)ICA-Res2Net模塊以及一個(gè)ICA模塊。四個(gè)ICA-Res2Net模塊用于實(shí)現(xiàn)對(duì)淺層表面信息以及深層語(yǔ)義特征的提取；之后使用ICA 模塊進(jìn)一步獲取加權(quán)的語(yǔ)義特征，通過(guò)展開(kāi)成為1 維向量，連接兩個(gè)全連接層，結(jié)合一個(gè)Dropout 層防止過(guò)擬合，其中丟失率設(shè)為0.5；最后一個(gè)全連接層用做分類，使用Softmax 損失函數(shù)聯(lián)合中心損失函數(shù)實(shí)現(xiàn)梯度反向傳播，完成網(wǎng)絡(luò)的訓(xùn)練。

圖7 整體網(wǎng)絡(luò)框架圖Fig.7 Diagram of overall network framework

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集

本文采用的是SIPaKMeD 公開(kāi)數(shù)據(jù)集[9]，一共包含4 049 張宮頸細(xì)胞圖片。根據(jù)細(xì)胞的外觀和形態(tài)，該數(shù)據(jù)集中的宮頸細(xì)胞圖像分為3 類，其中a 類和b 類屬于不正常細(xì)胞，c 類屬于良性細(xì)胞，d 類和e 類屬于正常細(xì)胞，它們各自的名稱和數(shù)量如表1所示，各類圖像如圖8所示。

表1 SIPaKMeD數(shù)據(jù)集Table 1 SIPaKMeD dataset

圖8 SIPaKMeD數(shù)據(jù)集中的五種宮頸細(xì)胞圖像Fig.8 Five classes of SIPaKMeD dataset

2.2 數(shù)據(jù)集處理

本文首先將每類宮頸細(xì)胞圖像樣本按8∶2 劃分為訓(xùn)練集和測(cè)試集。其次，考慮到深度卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)異分類性能需要經(jīng)過(guò)大量的數(shù)據(jù)訓(xùn)練才能得到體現(xiàn)。因此，本文采用旋轉(zhuǎn)90°、180°、270°以及鏡像翻轉(zhuǎn)的方法對(duì)訓(xùn)練集樣本進(jìn)行數(shù)據(jù)增強(qiáng)，將訓(xùn)練集擴(kuò)充到38 844張，并使用雙三次插值法將數(shù)據(jù)集圖像轉(zhuǎn)換成224×224×3的統(tǒng)一尺寸。

2.3 結(jié)果及分析

實(shí)驗(yàn)使用Python3.6 Keras框架，在Tesla V100 GPU上運(yùn)行，并使用Adam優(yōu)化器輔助模型實(shí)現(xiàn)網(wǎng)絡(luò)參數(shù)的優(yōu)化，學(xué)習(xí)率設(shè)置為0.000 1，batch size 設(shè)為32，訓(xùn)練輪次epoch設(shè)為100，模型整體的訓(xùn)練過(guò)程如圖9所示。

圖9 訓(xùn)練過(guò)程流程圖Fig.9 Flow chart of training process

為合理利用中心損失函數(shù)，針對(duì)函數(shù)中所含有的超參數(shù)λ和α，使用準(zhǔn)確率（accuracy，Acc）作為評(píng)價(jià)指標(biāo)進(jìn)行優(yōu)化選?。?/p>

其中，TP和TN分別表示預(yù)測(cè)正確的正負(fù)樣本數(shù)，F(xiàn)P和FN分別表示預(yù)測(cè)錯(cuò)誤的正負(fù)樣本數(shù)。

在λ分別取0.000 5、0.005、0.05、0.5 以及1 時(shí)，對(duì)于不同的α取值，網(wǎng)絡(luò)的預(yù)測(cè)準(zhǔn)確率柱狀圖如圖10所示，其中紅色水平虛線表示不加入中心損失函數(shù)時(shí)的預(yù)測(cè)準(zhǔn)確率。由圖10可知，通過(guò)合理選擇超參數(shù)，中心損失函數(shù)的加入能夠使得分類效果明顯提升?？紤]到α=0.6時(shí)，所得的預(yù)測(cè)準(zhǔn)確率波動(dòng)范圍較小，且在λ=0.000 5時(shí)達(dá)到了最好的測(cè)試效果。因此在之后的實(shí)驗(yàn)中，模型中設(shè)置λ=0.000 5 以及α=0.6。

圖10 不同超參數(shù)取值下的預(yù)測(cè)準(zhǔn)確率柱狀圖Fig.10 Histogram of prediction accuracy under different hyperparameter values

為驗(yàn)證本文方法的有效性，分別與ResNet50[20]、ResNet101[20]、DenseNet121[21]等三種圖像分類性能較強(qiáng)的深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行對(duì)比實(shí)驗(yàn)，并進(jìn)行改進(jìn)前后的對(duì)比及一組消融實(shí)驗(yàn)。

分別采用準(zhǔn)確率Acc、靈敏度（Sensitivity）、特異度（Specificity）以及F-measure 作為評(píng)價(jià)指標(biāo)對(duì)不同網(wǎng)絡(luò)模型的性能進(jìn)行比較，其中Acc 根據(jù)式（14）進(jìn)行計(jì)算，其他各類指標(biāo)的計(jì)算公式如下：

不同模型的實(shí)驗(yàn)對(duì)比結(jié)果如表2所示，其中VGG-19的實(shí)驗(yàn)結(jié)果引用自文獻(xiàn)[9]。從表2中可以看出，本文提出方法的測(cè)試結(jié)果在準(zhǔn)確率、靈敏度、特異度以及F-measure四個(gè)方面均高于其他方法。原因在于ResNet50、ResNet101、VGG-19 以及DenseNet121 均通過(guò)增加網(wǎng)絡(luò)深度提取更深層抽象特征以實(shí)現(xiàn)分類，但未考慮并入淺層特征層或提取深層特征時(shí)的噪聲干擾；而本文設(shè)計(jì)的ICA-Res2Net 網(wǎng)絡(luò)將Res2Net 模塊與SPP 模塊結(jié)合，能夠有效提取各類細(xì)胞的細(xì)粒度信息，且ICA模塊更加關(guān)注特征層中有價(jià)值的信息，對(duì)輸入特征層的各個(gè)像素點(diǎn)賦予代表重要程度的權(quán)值因子，抑制對(duì)當(dāng)前任務(wù)不重要的特征，減少噪聲干擾，進(jìn)而有效區(qū)分各類細(xì)胞。另外，與CA-Res2Net 網(wǎng)絡(luò)的測(cè)試結(jié)果相比較，以上四個(gè)指標(biāo)分別有0.75、0.74、0.18 以及0.75 個(gè)百分點(diǎn)的提升，說(shuō)明加入最大池化的網(wǎng)絡(luò)能夠更精確地區(qū)分各類宮頸細(xì)胞圖像的特征，對(duì)正負(fù)樣本都有較好的識(shí)別能力。

表2 SIPaKMeD測(cè)試數(shù)據(jù)集分類結(jié)果Table 2 Comparison of classification results on SIPaKMeD dataset 單位：%

圖11為基于Grad-CAM的類激活映射圖，像素點(diǎn)處的顏色深淺代表了網(wǎng)絡(luò)對(duì)該區(qū)域關(guān)注程度的高低，顏色越深表示關(guān)注程度越高。其中圖11（a）為原始宮頸細(xì)胞圖像，圖11（b）為未加入SPP層時(shí)的類激活映射圖，圖11（c）和圖11（d）分別為通過(guò)CA-Res2Net 和ICA-Res2Net獲得的類激活映射圖。比較圖11（b）和圖11（d）的圖片可知，添加SPP 層可補(bǔ)充感受野，使得注意力模塊能夠根據(jù)更豐富的特征賦予感興趣區(qū)域更大的注意力權(quán)重；同時(shí)，從圖11（c）和圖11（d）的對(duì)比結(jié)果可以看出，利用ICA-Res2Net 得到的特征圖中，細(xì)胞所在位置的權(quán)重強(qiáng)度明顯高于改進(jìn)前，并且關(guān)注區(qū)域更加廣泛且精確。從整體結(jié)果來(lái)看，加入最大池化后的特征信息以改進(jìn)協(xié)調(diào)注意力模塊有助于網(wǎng)絡(luò)更加清晰的定位各類細(xì)胞的感興趣區(qū)域，能夠達(dá)到更好的分類效果。

圖11 基于Grad-CAM的類激活映射圖Fig.11 Grad-CAM based class activation mapping maps

表3中列出了各個(gè)網(wǎng)絡(luò)模型的參數(shù)量、訓(xùn)練時(shí)間和測(cè)試時(shí)間。通過(guò)表3 可以看出，本文提出的模型比ResNet50、ResNet101 以及DenseNet121 等多種經(jīng)典網(wǎng)絡(luò)框架的參數(shù)更少，且模型的訓(xùn)練時(shí)間和測(cè)試數(shù)據(jù)的預(yù)測(cè)時(shí)間更短；與改進(jìn)前的CA-Res2Net相比較，雖然訓(xùn)練時(shí)每輪迭代時(shí)間增加了9 s，測(cè)試時(shí)間增加了0.05 s，但在預(yù)測(cè)效果方面得到了有效提升。綜上，本文通過(guò)引入Res2Net、SPP、中心損失函數(shù)以及改進(jìn)的協(xié)調(diào)注意力模塊，能夠快速實(shí)現(xiàn)宮頸細(xì)胞圖像的分類，且在分類準(zhǔn)確率方面獲得明顯的改善。

表3 模型參數(shù)及用時(shí)對(duì)比Table 3 Comparison of model parameters and time

為進(jìn)一步表明加入SPP 層和中心損失函數(shù)（CL）的必要性，本文進(jìn)行了一組消融實(shí)驗(yàn)，每個(gè)實(shí)驗(yàn)中的超參數(shù)均作相同設(shè)置。實(shí)驗(yàn)結(jié)果如表4 所示，可見(jiàn)，未結(jié)合SPP 層和CL 時(shí)，準(zhǔn)確率（Acc）只有97.16%；與SPP 層或CL 進(jìn)行單一結(jié)合后，Acc 分別提升0.87 和1.24 個(gè)百分點(diǎn)；而兩者同時(shí)結(jié)合時(shí)Acc 達(dá)到98.65%，且其他三個(gè)評(píng)價(jià)指標(biāo)均超出未結(jié)合或單一結(jié)合時(shí)的模型測(cè)試結(jié)果。因此，引入SPP 層能夠更好地利用Res2Net 模塊提取的細(xì)粒度信息，獲取更多的局部特征，而結(jié)合CL有利于調(diào)節(jié)類內(nèi)距離以及類間距離，以上兩者均能提升網(wǎng)絡(luò)的分類性能。

表4 消融實(shí)驗(yàn)Table 4 Ablation experiments 單位：%

為驗(yàn)證輕量級(jí)網(wǎng)絡(luò)ICA-Res2Net的穩(wěn)定性，本文在隨機(jī)生成初始化參數(shù)的情況下進(jìn)行了5 次獨(dú)立的網(wǎng)絡(luò)訓(xùn)練，并分別在測(cè)試集上對(duì)網(wǎng)絡(luò)性能進(jìn)行評(píng)估，結(jié)果如表5所示。由該表可知，本文提出網(wǎng)絡(luò)的各項(xiàng)性能指標(biāo)均值較高，且波動(dòng)幅度較小，表明其具有很高的穩(wěn)定性。

表5 網(wǎng)絡(luò)穩(wěn)定性驗(yàn)證實(shí)驗(yàn)Table 5 Network stability verification experiments 單位：%

3 結(jié)束語(yǔ)

為了改善宮頸細(xì)胞的分類準(zhǔn)確性及實(shí)時(shí)性，本文提出一種輕量級(jí)深度卷積神經(jīng)網(wǎng)絡(luò)ICA-Res2Net。所設(shè)計(jì)的網(wǎng)絡(luò)不僅能提取更加細(xì)粒度的多尺度特征信息，更是通過(guò)空間金字塔池化將不同感受野大小的局部特征信息加以利用，并使用改進(jìn)的協(xié)調(diào)注意力模塊將各通道各個(gè)像素點(diǎn)處的特征值進(jìn)行加權(quán)處理，自適應(yīng)調(diào)整特征的重要程度，其中的跳躍連接有效解決了深度網(wǎng)絡(luò)模型的退化問(wèn)題，最后聯(lián)合中心損失函數(shù)減小特征數(shù)據(jù)的類內(nèi)距離。實(shí)驗(yàn)結(jié)果表明，本文方法在提升宮頸細(xì)胞分類準(zhǔn)確率的同時(shí)，大幅度縮短了識(shí)別細(xì)胞類別的時(shí)間，有助于高效完成宮頸癌癌前篩查，快速反饋檢查結(jié)果。

雖然本文方法在宮頸細(xì)胞分類中獲得了較好的效果，但仍存在一些問(wèn)題需要進(jìn)一步研究。例如，可結(jié)合粒子群算法、遺傳算法等優(yōu)化方法，對(duì)中心損失函數(shù)的超參數(shù)進(jìn)行自動(dòng)尋優(yōu)。此外，實(shí)際應(yīng)用中樣本標(biāo)簽的標(biāo)注成本較高，無(wú)標(biāo)簽樣本占大多數(shù)，可結(jié)合半監(jiān)督思想，利用無(wú)標(biāo)簽樣本提升分類性能。