宮頸細(xì)胞細(xì)粒度分類方法

茍明亮，秦明偉，姚遠(yuǎn)程

1.西南科技大學(xué) 信息工程學(xué)院，四川 綿陽(yáng)621010

2.特殊環(huán)境機(jī)器人技術(shù)四川省重點(diǎn)實(shí)驗(yàn)室，四川 綿陽(yáng)621010

宮頸細(xì)胞篩查作為最普遍也是最有效的宮頸癌及其癌前病變的早期診斷與防治手段[1]，在宮頸細(xì)胞病變?cè)\斷與預(yù)防中起到了重要作用。人工閱片存在診斷時(shí)間冗長(zhǎng)、效率低[2]、準(zhǔn)確率對(duì)專業(yè)技術(shù)人員水平依賴度高等缺點(diǎn)；閱片人員由于疲勞和技能水平及主觀判讀等因素，造成敏感性僅有65%左右[3]，難以滿足當(dāng)前社會(huì)宮頸癌篩查的需求。隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，尤其是在細(xì)胞分類中，基于計(jì)算機(jī)輔助診斷的機(jī)器閱片由于其具有閱片效率高，不受工作時(shí)間、時(shí)長(zhǎng)等影響，成為智慧醫(yī)療的研究熱點(diǎn)。

早期的宮頸細(xì)胞圖像分類算法中，主要人工選取細(xì)胞的形態(tài)和紋理，如細(xì)胞的形狀、面積、染色深淺、細(xì)胞核的圓形度和核漿比等特征[4]，然后使用特定的分類器或者神經(jīng)網(wǎng)絡(luò)進(jìn)行自動(dòng)分類。但該方法受限于細(xì)胞圖像特征的標(biāo)注準(zhǔn)確性與分割精度，在正常與異常細(xì)胞二分類中準(zhǔn)確率尚低，更無(wú)法應(yīng)用在更為復(fù)雜的細(xì)粒度分類中。因此目前還不足以納入初級(jí)篩查方法中[5]。如Marinakis 等采用遺傳算法和最近鄰進(jìn)行宮頸細(xì)胞涂片診斷[6]。Plissiti 等提取細(xì)胞核的特征后，使用主成分分析算法來(lái)降維，然后使用模糊均值算法作為分類器[7]。Genctav等按照TBS（宮頸細(xì)胞標(biāo)準(zhǔn)分級(jí)系統(tǒng)）進(jìn)行分組排序[8]，利用層次聚類算法構(gòu)建決策樹(shù)進(jìn)行分類。Zhao等采用三階段策略來(lái)分類宮頸癌變細(xì)胞[9]，提取了120 維特征后，用于線性分類器的訓(xùn)練。

卷積神經(jīng)網(wǎng)絡(luò)作為一種深度學(xué)習(xí)模型，對(duì)輸入數(shù)據(jù)進(jìn)行卷積操作，降低數(shù)據(jù)的復(fù)雜度，自動(dòng)獲取圖像特征，避免人工設(shè)計(jì)特征，隱式地提取圖像特征，恰好彌補(bǔ)了由于數(shù)據(jù)偏差大造成的準(zhǔn)確率低這一不足。2012 年，Krizhevsky 等將深度卷積神經(jīng)網(wǎng)絡(luò)模型Alexnet 應(yīng)用在ImageNet數(shù)據(jù)集上[10]，將準(zhǔn)確率提高了約10%。Zhang等首次將卷積神經(jīng)網(wǎng)絡(luò)用于宮頸正常、異常細(xì)胞分類任務(wù)中[11]，將ImageNet大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽中的模型遷移到宮頸細(xì)胞圖像的分類模型中，但未根據(jù)病變級(jí)別進(jìn)行細(xì)粒度分類。之后涌現(xiàn)了許多針對(duì)宮頸細(xì)胞分類的研究，例如徐濤等對(duì)宮頸發(fā)育異常的圖像，結(jié)合多模態(tài)數(shù)據(jù)與深度學(xué)習(xí)進(jìn)行癌變?cè)\斷[12]。Sarwar 等根據(jù)細(xì)胞圖像結(jié)合宮頸細(xì)胞病理知識(shí)建立標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)，采用卷積神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)篩查的數(shù)字化[13]。上述方法都可以實(shí)現(xiàn)癌變識(shí)別。并且在重疊細(xì)胞圖像的識(shí)別方面，Tareef等采用動(dòng)態(tài)形狀的建模方法結(jié)合深度學(xué)習(xí)[14]也取得了不錯(cuò)的效果。雖然上述方法在一定程度上提高了準(zhǔn)確率，但在敏感性和召回率上還存在不足，要用于醫(yī)療輔助診斷還需進(jìn)一步提高指標(biāo)。

為了進(jìn)一步提高宮頸細(xì)胞細(xì)粒度圖像識(shí)別的準(zhǔn)確率。本文提出了基于雙路徑網(wǎng)絡(luò)和局部判別損失函數(shù)的DRMNet（dense reset module net）算法，在特征提取階段構(gòu)建雙路徑結(jié)構(gòu)，使網(wǎng)絡(luò)能持續(xù)探索新特征，在分類階段利用局部判別損失函數(shù)更好地判別局部特征。

1 DRMNet總體框架

DRMNet總體框架如圖1所示。輸入宮頸細(xì)胞圖像后，首先通過(guò)特征提取層提取特征。特征提取層為改進(jìn)的DRM殘差塊堆疊而成，提取圖像對(duì)應(yīng)的深層特征，輸出對(duì)應(yīng)的特征通道。之后將特征提取后的特征圖輸入到兩條分支中，可以通過(guò)不同的優(yōu)化目標(biāo)進(jìn)行計(jì)算。在圖1 中，第一條分支為交叉熵?fù)p失函數(shù)LCE，特征圖輸入到全連接層，計(jì)算傳統(tǒng)的分類損失。交叉熵?fù)p失函數(shù)鼓勵(lì)網(wǎng)絡(luò)提取易于全局判斷的特征。第二條分支為局部判別損失函數(shù)LMC，監(jiān)督網(wǎng)絡(luò)學(xué)習(xí)并聚焦于不同的局部判斷力區(qū)域，之后該分支以權(quán)重μ與交叉熵?fù)p失函數(shù)相加得到最終的損失函數(shù)。其中，N表示特征通道數(shù)，W和H分別表示每一個(gè)特征圖的寬度和高度。FC表示全連接層。

圖1 DRMNet總體框架Fig.1 Overall framework of DRMNet

1.1 特征提取層的網(wǎng)絡(luò)設(shè)計(jì)

1.1.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文采用雙路徑架構(gòu)，依舊沿用殘差結(jié)構(gòu)作為主體網(wǎng)絡(luò)，通過(guò)堆疊多個(gè)DRM殘差塊構(gòu)成。如圖2所示，首先經(jīng)過(guò)一個(gè)1×1的卷積層，連接一個(gè)3×3的分組卷積層，然后將分組卷積的輸出拼接，拼接后的輸出將會(huì)分為兩路，一路通過(guò)1×1 的卷積層以元素方式添加到殘差路徑，另一路通過(guò)另一個(gè)1×1的卷積核與密集型連接通路相連接。

圖2 DRM殘差塊結(jié)構(gòu)示意圖Fig.2 Structural diagram of DRM residual block

殘差網(wǎng)絡(luò)復(fù)用了前面層已提取過(guò)的特征，除去這些直連的復(fù)用特征外，真正由卷積提取出來(lái)的特征，基本都是之前沒(méi)有提取到的全新特征，提取的特征中冗余度比較低。而通過(guò)密集連接提取出的特征不再是被后面層簡(jiǎn)單地復(fù)用，而是創(chuàng)造了全新的特征。但這種結(jié)構(gòu)會(huì)導(dǎo)致后面的卷積層提取到的特征很有可能是前面層已提取過(guò)的，提取的特征冗余度高。DRM 殘差塊結(jié)合兩種網(wǎng)絡(luò)的優(yōu)點(diǎn)，并且加入分組卷積，使其在保持特征的高復(fù)用率、低冗余度的同時(shí)，能有良好的計(jì)算特性，持續(xù)探索新特征。

1.1.2 用于特征創(chuàng)造的密集連接路徑

受DenseNet[15]啟發(fā)，本文將采用一種新的密集連接方式，結(jié)合殘差網(wǎng)絡(luò)結(jié)構(gòu)，類似于局部雙路徑的特征融合，殘差網(wǎng)絡(luò)加快網(wǎng)絡(luò)學(xué)習(xí)，每一層能夠提取新的特征，特征冗余度低，而密集連接路徑能夠?qū)W習(xí)創(chuàng)造新的特征，但特征冗余度較高。證明如下：

密集連接路徑由HORNN（高階循環(huán)卷積網(wǎng)絡(luò)）演變而來(lái)，而HORNN可以泛化為式（1）。在式（1）中hk是當(dāng)前的狀態(tài)，ht則表示結(jié)構(gòu)中的第t個(gè)狀態(tài)(t

對(duì)之前各層的輸出在特征維度做拼接，然后做1×1卷積。這個(gè)操作可以等效為先在各層的直連線上分別做1×1卷積，每一條直連線上的1×1卷積系數(shù)都不同，然后再算術(shù)相加，就和式（1）完全對(duì)應(yīng)上了，因此說(shuō)DenseNet是在不滿足時(shí)的特殊HORNN。而其中,…都不相同，代表前面層提取出的特征不再是被后面層簡(jiǎn)單地復(fù)用，而是創(chuàng)造了全新的特征，但這種結(jié)構(gòu)后面層用卷積提取到的特征很有可能是前面層已提取過(guò)的。

1.2 局部判別損失函數(shù)

改進(jìn)后的總損失函數(shù)具體計(jì)算公式如下：

其中，LMC為判別分量Ldis和多樣分量Ldiv的加權(quán)和，具體計(jì)算公式如下：

局部判別損失函數(shù)LMC的整體結(jié)構(gòu)如圖3所示。

圖3 局部判別損失函數(shù)整體結(jié)構(gòu)Fig.3 Overall structure of local discriminant loss function

1.2.1 判別力模塊

在本文的結(jié)構(gòu)中，每一個(gè)類別都由一定數(shù)量的分組特征通道表示。判別力模塊能給予特征一定的約束，使得各個(gè)類別的特征通道擁有足夠的判別力。判別力模塊的計(jì)算公式為：

其中，g(?)的計(jì)算公式表示為：

其中，GAP 為全局平均池化（global average pooling），CCMP為跨通道最大池化（cross-channel max pooling），CWA為通道維度的注意力機(jī)制（channel-wise attention）。Mi表示掩膜矩陣，此矩陣由一半的0和一半的1組成。

1.2.2 多樣性模塊

多樣性模塊用于區(qū)別特征通道間的相似性。多樣性模塊能使屬于同一類別的多個(gè)特征通道聚焦于圖像的多個(gè)區(qū)域，而不只是聚焦于某一統(tǒng)一的區(qū)域。該模塊通過(guò)對(duì)每一組特征通道的多樣化處理，減少了冗余信息，有助于網(wǎng)絡(luò)發(fā)現(xiàn)屬于同一類的不同的判別區(qū)域。該操作可以理解為跨通道去相關(guān)，從而在不同顯著局部區(qū)域捕捉細(xì)微差別。在特征通道歸一化操作之后，加入CCMP 對(duì)特征圖進(jìn)行監(jiān)督。多樣性模塊的計(jì)算公式為：

其中，h(?)的計(jì)算公式表示為：

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)集與預(yù)處理

Herlev 宮頸細(xì)胞數(shù)據(jù)集[16]是由海萊烏科技大學(xué)醫(yī)院（Herlev University Hospital，HUH）和丹麥科技大學(xué)（Technical University of Denmark，TUD）用分辨率為0.201 μm 的數(shù)字相機(jī)和顯微鏡采集的Herlev 巴氏涂片新版數(shù)據(jù)集。因?yàn)楦黝惣?xì)胞差距較大，大小不一，并依據(jù)細(xì)胞的完整度進(jìn)行裁取，所以每張圖像像素各不相同。數(shù)據(jù)集中共有917 幅單細(xì)胞圖像，其中正常細(xì)胞242幅，異常細(xì)胞675幅。

由圖4可以看出，核質(zhì)比和核質(zhì)亮度是比較明顯的特征區(qū)別，7 類宮頸細(xì)胞圖像形態(tài)各異，其中（a）、（b）、（c）為正常細(xì)胞，（d）、（e）、（f）、（g）為病變細(xì)胞，多數(shù)正常細(xì)胞和異常細(xì)胞區(qū)別較大，但柱狀上皮細(xì)胞、原位鱗狀細(xì)胞癌和重度鱗狀上皮內(nèi)病變細(xì)胞，中層鱗狀細(xì)胞和上皮鱗狀細(xì)胞相似度高，區(qū)分較為困難。由于數(shù)據(jù)集中樣本較少，本文采用數(shù)據(jù)擴(kuò)充的方法來(lái)提高實(shí)驗(yàn)可靠性。數(shù)據(jù)擴(kuò)充是深度學(xué)習(xí)中的常用方法，即對(duì)圖像數(shù)據(jù)做一定變換，來(lái)增加輸入數(shù)據(jù)的數(shù)量，可以防止因數(shù)據(jù)較少發(fā)生的過(guò)擬合現(xiàn)象。但因?yàn)閷m頸細(xì)胞的特殊性，數(shù)據(jù)擴(kuò)充中常見(jiàn)的顏色變換、尺度變換和噪聲變換均會(huì)影響宮頸細(xì)胞的原始特征，所以不應(yīng)用于此類型數(shù)據(jù)集的擴(kuò)充。在嚴(yán)格按照TBS2014標(biāo)準(zhǔn)的情況下，本文使用翻轉(zhuǎn)、旋轉(zhuǎn)等方法進(jìn)行擴(kuò)充，再將數(shù)據(jù)集所有圖像統(tǒng)一處理為224×224 像素圖像。擴(kuò)充后的數(shù)據(jù)集各細(xì)胞圖像數(shù)量如表1所示。

表1 擴(kuò)充后的Herlev宮頸細(xì)胞數(shù)據(jù)集Table 1 Extended Herlev cervical cell data set

圖4 7類宮頸細(xì)胞圖像Fig.4 7 types of cervical cell images

2.2 評(píng)價(jià)指標(biāo)

本文將采用兩種訓(xùn)練方法并給出結(jié)果。方法1 為把擴(kuò)充后的數(shù)據(jù)集（不包含原始數(shù)據(jù)集）作為訓(xùn)練集，將原數(shù)據(jù)集作為測(cè)試集。方法2為五折交叉驗(yàn)證。

評(píng)價(jià)方法一般是比較患者的真實(shí)情況與系統(tǒng)的診斷情況。診斷結(jié)果包括4類，分別是：

真陰性（TP）：真實(shí)情況為無(wú)病變，診斷為無(wú)病變；

假陰性（FP）：真實(shí)情況為有病變，診斷為無(wú)病變；

假陽(yáng)性（FN）：真實(shí)情況為無(wú)病變，診斷為有病變；

真陽(yáng)性（TN）：真實(shí)情況為有病變，診斷為有病變。

計(jì)算公式如表2所示。評(píng)估指標(biāo)包括4類，分別是：準(zhǔn)確率(ACC)即分類正確的樣本占總樣本的比例；精確率(P)即預(yù)測(cè)為正例的樣本中有多少是真正的正例；召回率(R)即樣本中的正例有多少被預(yù)測(cè)正確了，即敏感性；F1-score 即綜合了P與R的加權(quán)調(diào)和平均值，是考慮到各分類樣本數(shù)量不均衡提出的指標(biāo)，當(dāng)F1-score較高時(shí)，表示方法比較有效。因?yàn)楸疚膶?shí)現(xiàn)宮頸細(xì)胞圖像的七分類，所以模型的總指標(biāo)需要各分類的指標(biāo)加和后平均得來(lái)。

表2 評(píng)估指標(biāo)標(biāo)準(zhǔn)公式Table 2 Standard formula of evaluation index

2.3 實(shí)驗(yàn)結(jié)果與分析

本節(jié)所有實(shí)驗(yàn)結(jié)果均在同一實(shí)驗(yàn)環(huán)境下得出。實(shí)驗(yàn)環(huán)境配置：操作系統(tǒng)為Windows 8.1 X64；CPU 為Intel Xeon 8核2620V4×2；GPU為NVIDIA GTX 1080Ti；內(nèi)存為16 GB；框架為Tensorflow 3.0；編程語(yǔ)言為Python 3。

將測(cè)試Herlev數(shù)據(jù)集在DRMNet上的七分類表現(xiàn)，epoch 設(shè)置為100，表示迭代100 輪全集，分組卷積參數(shù)G=32。

為了全方位說(shuō)明本文算法的有效性，將基于原始的ResNeXt50網(wǎng)絡(luò)做不同的結(jié)構(gòu)調(diào)整進(jìn)行消融實(shí)驗(yàn)，并在Herlev數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)。通過(guò)表3可見(jiàn)幾種使用了不同方法的改進(jìn)網(wǎng)絡(luò)的結(jié)果對(duì)比，D 表示密集連接，M表示局部判別損失函數(shù)。N1為原始的ResNeXt50網(wǎng)絡(luò)，N2到N4為使用不同方法改進(jìn)的網(wǎng)絡(luò)。從表中可以看出在加入不同方法后，網(wǎng)絡(luò)的性能均有不同程度的提升。加入密集連接路徑的N2對(duì)比N1在準(zhǔn)確率、精確率和召回率上提高了2.9 個(gè)百分點(diǎn)、2.1 個(gè)百分點(diǎn)和2.5 個(gè)百分點(diǎn)，然后N3 在加入局部判別損失函數(shù)后，對(duì)比N1提高了4.7 個(gè)百分點(diǎn)、3.9 個(gè)百分點(diǎn)和4.0 個(gè)百分點(diǎn)。N4為本文的DRMNet 算法，對(duì)比N3 又提高了1.9 個(gè)百分點(diǎn)、2.4個(gè)百分點(diǎn)和1.4個(gè)百分點(diǎn)?？梢?jiàn)該算法在宮頸病變細(xì)胞檢測(cè)中的有效性。

表3 消融實(shí)驗(yàn)結(jié)果Table 3 Results of ablation experiment

表4 是DRMNet 在測(cè)試集上七分類的詳細(xì)指標(biāo)。由表可見(jiàn)，DRMNet 表現(xiàn)了良好的分類性能，能很好地區(qū)別各類型的病變細(xì)胞。但重度鱗狀上皮內(nèi)病變與原位鱗狀細(xì)胞癌的分類效果稍差，說(shuō)明這兩類細(xì)胞存在與其他細(xì)胞高度相似的特征，以至于網(wǎng)絡(luò)有時(shí)無(wú)法區(qū)分其病變類型。

表4 DRMNet測(cè)試集七分類評(píng)估指標(biāo)Table 4 DRMNet test set classification evaluation indicators

為了進(jìn)一步評(píng)估DRMNet算法的可靠性，將擴(kuò)充后的數(shù)據(jù)集與原始數(shù)據(jù)集混合，考慮到數(shù)據(jù)集較小，采用五折交叉驗(yàn)證方法，經(jīng)過(guò)20次五折交叉驗(yàn)證，總共迭代100輪，其每一類的詳細(xì)指標(biāo)如表5所示。與表4的結(jié)果相比，各指標(biāo)較為接近。

表5 DRMNet五折交叉驗(yàn)證評(píng)估指標(biāo)Table 5 DRMNet 5-fold cross-validation evaluation indicators

為了進(jìn)一步說(shuō)明本文算法對(duì)宮頸細(xì)胞細(xì)粒度圖像分類的性能，將本文算法與其他參考文獻(xiàn)在Herlev數(shù)據(jù)集上的性能進(jìn)行對(duì)比，因?yàn)樵贖erlev數(shù)據(jù)集上大多數(shù)算法是對(duì)宮頸細(xì)胞進(jìn)行有無(wú)病變的二分類，所以在性能上無(wú)法直接比較，但對(duì)于細(xì)胞分類而言，多分類相比于二分類而言更具有說(shuō)服性，更能說(shuō)明算法的準(zhǔn)確性。對(duì)比結(jié)果如表6所示，本文算法在七分類上表現(xiàn)出了與其他二分類和七分類算法媲美甚至更優(yōu)的性能，足以說(shuō)明該算法的有效性。

表6 與其他算法的性能對(duì)比Table 6 Performance comparison with other algorithms

綜上所述，對(duì)于本文而言，難點(diǎn)在于對(duì)同一事物的細(xì)粒度分類中要取得優(yōu)異的分類效果。在醫(yī)療輔助診斷中，精確率和召回率是最為關(guān)鍵的評(píng)估指標(biāo)，按照本節(jié)的實(shí)驗(yàn)結(jié)果，本文方法在宮頸細(xì)胞的七分類任務(wù)中有著優(yōu)于其他二分類算法的分類表現(xiàn)。文獻(xiàn)[6]利用遺傳算法與1-鄰近算法進(jìn)行分類。文獻(xiàn)[17]采用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行分類。文獻(xiàn)[18]設(shè)計(jì)使用了3個(gè)分類器投票決定分類。文獻(xiàn)[11]則使用了卷積神經(jīng)網(wǎng)絡(luò)來(lái)自動(dòng)提取特征進(jìn)行分類。文獻(xiàn)[6，17]雖然準(zhǔn)確率較高，但需人工設(shè)計(jì)特征。文獻(xiàn)[17-18]精確率較低，說(shuō)明正確預(yù)測(cè)正例的能力較差。而本文算法在Herlev 數(shù)據(jù)集上平均錯(cuò)誤率為1.5%，與其他的二分類算法比較，在輔助診斷領(lǐng)域更具有實(shí)用價(jià)值。在七分類上，與文獻(xiàn)[11]相比，性能有一定的提高?？傮w來(lái)說(shuō)，在已有的數(shù)據(jù)集下取得了較好的實(shí)驗(yàn)效果，證明了DRMNet算法的有效性。

3 結(jié)束語(yǔ)

針對(duì)現(xiàn)有的宮頸細(xì)胞細(xì)粒度分類方法中存在的正確率偏低等問(wèn)題，提出了一種改進(jìn)的深度卷積神經(jīng)網(wǎng)絡(luò)DRMNet，采用雙路徑結(jié)構(gòu)，以殘差路徑為主體，加入局部密集連接路徑，使網(wǎng)絡(luò)在保持特征的高復(fù)用率、低冗余度的同時(shí)能不停地探索新特征。并且提出了局部判別損失函數(shù)，在同一類別的特征通道中發(fā)現(xiàn)具有判別力的細(xì)微特征。實(shí)驗(yàn)結(jié)果表明，本文算法在Herlev數(shù)據(jù)集上能夠高準(zhǔn)確率地檢測(cè)出七種正常和病變的細(xì)胞，相較于其他算法，有良好的性能提升。在后續(xù)工作中，可以收集更多數(shù)據(jù)，提高實(shí)驗(yàn)結(jié)果的可靠性，并根據(jù)實(shí)際應(yīng)用要求考慮進(jìn)行硬件加速研究，有針對(duì)性地設(shè)計(jì)出兼顧準(zhǔn)確率與計(jì)算復(fù)雜度的實(shí)用檢測(cè)算法。