基于深度卷積神經(jīng)網(wǎng)絡(luò)的宮頸細(xì)胞涂片的病變細(xì)胞分類

胡卉 蔡金清

摘 要：本文重點(diǎn)研究宮頸細(xì)胞圖像分類識別問題，結(jié)合宮頸細(xì)胞病理學(xué)等方面知識，利用基于深度卷積神經(jīng)網(wǎng)絡(luò)ResNet50的遷移學(xué)習(xí)，對實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行模型訓(xùn)練和特征提取。實(shí)驗(yàn)結(jié)果表明，通過基于深度神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)，可以獲取較優(yōu)的病變與正常細(xì)胞的分類結(jié)果。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；遷移學(xué)習(xí)；宮頸癌

中圖分類號：TP391.4 文獻(xiàn)標(biāo)識碼：A

1 引言（Introduction）

在互聯(lián)網(wǎng)發(fā)展迅速和計(jì)算機(jī)技術(shù)不斷成熟進(jìn)步的今天，計(jì)算機(jī)技術(shù)中的圖像處理技術(shù)得到廣泛的應(yīng)用，并且取得了不凡的成就。隨著在機(jī)器學(xué)習(xí)方面的進(jìn)一步研究，其在生物醫(yī)學(xué)工程領(lǐng)域的醫(yī)學(xué)圖像中的應(yīng)用顯得越來越重要。

宮頸癌癥發(fā)病率的逐年增加，引起了人們利用計(jì)算機(jī)圖像處理中的圖像分類對宮頸癌癥病理學(xué)進(jìn)行研究的熱潮。宮頸癌細(xì)胞相較于正常細(xì)胞有較為突出的特點(diǎn)，不管是形態(tài)上還是在色彩紋理上都有明顯表現(xiàn)，利用這些特征，分類學(xué)習(xí)算法可以通過不斷迭代修正分類器，最終實(shí)現(xiàn)細(xì)胞圖像的分類[1]。

本文采用基于深度卷積網(wǎng)絡(luò)ResNet50的遷移學(xué)習(xí)實(shí)現(xiàn)對宮頸癌細(xì)胞涂片照片的自動(dòng)分類，利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)所提取的圖像特征對正常和有病變細(xì)胞的涂片自動(dòng)分類。遷移學(xué)習(xí)可以實(shí)現(xiàn)在小規(guī)模數(shù)據(jù)集合上的模型訓(xùn)練，利用預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)提及的廣義圖像特征，并結(jié)合新的數(shù)據(jù)集進(jìn)行特征的進(jìn)一步抽象和組合，進(jìn)而產(chǎn)生新的數(shù)據(jù)集特征，試驗(yàn)結(jié)果表明其具有較短的訓(xùn)練時(shí)間和較高的分類精度。

2 相關(guān)工作（Related work）

關(guān)濤等人增強(qiáng)宮頸癌細(xì)胞特征，去除雜質(zhì)，提取細(xì)胞核的周長，并使用K-means算法對圖像進(jìn)行分類。Edwin等人提出了一種基于特定紋理的宮頸細(xì)胞分類系統(tǒng)，為宮頸細(xì)胞分類指定了七個(gè)宮頸細(xì)胞組織特征，包括細(xì)胞核和細(xì)胞質(zhì)的相對大小，局部二值模式直方圖，細(xì)胞質(zhì)核的相對位移，直接邊緣方向圖、Tamura特征、灰度共生矩陣，以及細(xì)胞核和細(xì)胞質(zhì)的密度比與動(dòng)態(tài)范圍。Thanatip等人提出了一種基于塊的模糊C均值圖像分割算法，對宮頸核進(jìn)行分割，然后根據(jù)分割宮頸核利用最小平均相關(guān)能量（Minimum Average Correlation，MACE）濾波器來確定宮頸細(xì)胞的病變情況。盧磊提出了基于聯(lián)合特征PCANet的宮頸細(xì)胞圖像分類識別方法，事先用基于塊的組的非局部自相似先驗(yàn)學(xué)習(xí)圖像去燥對宮頸細(xì)胞圖像去噪，將PCANet網(wǎng)絡(luò)中間層提取的特征和最后輸出層提取的特征聯(lián)合，減少特征的流失，結(jié)合SVM分類器分類，最終對宮頸細(xì)胞的二類識別及三類識別準(zhǔn)確率分別達(dá)到了95.71%和85.4%。

3 宮頸細(xì)胞病理學(xué)基礎(chǔ)知識（Basic knowledge of

cervical cytopathology）

宮頸癌是最常見的女性婦科疾病惡性腫瘤之一，發(fā)病率居高不下，一直威脅著女性的健康，且80%的病例來自發(fā)展中國家。我國宮頸癌的發(fā)病率占全球的28%，位居第二。如果在病變初期，得到及時(shí)治療，很大程度上可以治愈。發(fā)病年齡日趨年輕化和擴(kuò)大化。宮頸癌具有較長病變期的特點(diǎn)，一般需要10—15年時(shí)間，篩查年齡相應(yīng)提前5—10年，可更早發(fā)現(xiàn)宮頸癌前病變期。

如今的細(xì)胞學(xué)檢測主要采用傳統(tǒng)的巴氏涂片或者液基細(xì)胞涂片，分析細(xì)胞特征，判斷細(xì)胞是否有病變趨勢，一般通過肉眼觀察來判斷，檢測費(fèi)用昂貴，嚴(yán)重影響了宮頸癌的早期防治。近年來，國產(chǎn)的細(xì)胞病理制片技術(shù)已接近國際水平，然而閱片技術(shù)仍停留在需要病理醫(yī)生閱片階段，且細(xì)胞涂片數(shù)量巨大，細(xì)胞分布繁復(fù)，整個(gè)過程消耗巨大，準(zhǔn)確率難以保證[2]。至今為止，美國FDA已經(jīng)研制出四臺具有代表性的宮頸細(xì)胞涂片自動(dòng)化檢測設(shè)備，但是這些設(shè)備檢查費(fèi)用較高，對于一年一次的普查來說是一般人無法承受的[3]。所以迫切需要開發(fā)出較為完善的宮頸細(xì)胞分類系統(tǒng)。在病理學(xué)上宮頸癌主要分為鱗癌、腺癌和鱗腺癌。

3.1 病變細(xì)胞分類及特點(diǎn)

病變細(xì)胞中LSIL（低風(fēng)險(xiǎn)鱗狀細(xì)胞病變）細(xì)胞特征：核擴(kuò)大，是正常細(xì)胞的三到五倍，染色質(zhì)粗，核質(zhì)比高，中央空泡出現(xiàn)。HSIL（高風(fēng)險(xiǎn)鱗狀細(xì)胞病變）細(xì)胞特征：核質(zhì)比非常高，核膜形狀不規(guī)則，分布不均且深染（細(xì)胞核顏色深），染色質(zhì)粗，分布不均勻，胞質(zhì)疏松透明。癌癥屬性的鱗狀細(xì)胞癌（SCC）細(xì)胞特征：細(xì)胞大小形狀可變，細(xì)胞核大小形狀可變，核質(zhì)比可變，深染，染色質(zhì)分布不均，可能出現(xiàn)嗜橘色細(xì)胞質(zhì)，背景可出現(xiàn)腫瘤特性。腺癌（ADENOCAICINOMA）細(xì)胞特征：可看見核仁，出現(xiàn)乳頭狀腺體，除出現(xiàn)嗜橘色細(xì)胞質(zhì)外，其他特征同鱗狀細(xì)胞癌類似。正常宮頸細(xì)胞最顯著的特征：核質(zhì)比正常。

3.2 細(xì)胞識別的困難點(diǎn)

一張細(xì)胞圖片上不僅僅有宮頸細(xì)胞，還有皮膚組織細(xì)胞等其他細(xì)胞的存在，且細(xì)胞之間相互重疊，顯微鏡里光線不足也可能造成視線模糊，無法清晰分別細(xì)胞類型和細(xì)胞特征。

4 深度卷積神經(jīng)網(wǎng)絡(luò)（Deep convolution neural

network）

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）提供了一種端到端的深度學(xué)習(xí)模型，模型中的參數(shù)可以通過傳統(tǒng)的梯度下降方法進(jìn)行訓(xùn)練，經(jīng)過訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)到圖像中的特征，并且完成對圖像特征的提取和分類。而且不再需要復(fù)雜的圖像預(yù)處理，數(shù)據(jù)量小也可以訓(xùn)練出圖像特征。

典型的卷積神經(jīng)基本網(wǎng)絡(luò)結(jié)構(gòu)主要由輸入層、卷積層、下采樣層（池化層）、全連接層和輸出層組成[4]。其中卷積層占主要的部分，可以從輸入圖像中提取特征，包含了若干參數(shù)的用于自主學(xué)習(xí)的卷積核（濾波器），參數(shù)是卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的核心內(nèi)容。不同的濾波器可以檢測出圖像的不同特征，需要根據(jù)訓(xùn)練測試的對象特征修改參數(shù)，達(dá)到分類的最好效果。下采樣層（Spatial Pooling），用于降低每個(gè)特征映射的維度，且保留重要信息，類型有最大值、平均值、和等。完全連接層直接使用激活函數(shù)根據(jù)訓(xùn)練數(shù)據(jù)集將輸入的圖像分為不同的類。

21世紀(jì)初，卷積神經(jīng)網(wǎng)絡(luò)的廣泛研究階段，由Krizhevsky[5]等提出的AlexNet在大型圖像數(shù)據(jù)庫ImageNet的圖像分類競賽中獲得冠軍，使卷積神經(jīng)網(wǎng)絡(luò)成為學(xué)術(shù)界關(guān)注的焦點(diǎn)。在AlexNet之后，新的卷積神經(jīng)網(wǎng)絡(luò)模型不斷涌現(xiàn)，例如牛津大學(xué)的VGG（Visual Geometry Group）、谷歌的GoogLeNet[6]、微軟的ResNet都刷新了ImageNet上AlexNet的記錄。

5 利用遷移學(xué)習(xí)實(shí)現(xiàn)對宮頸病變細(xì)胞的識別

（Identification of cervical lesion cells through

transfer learning）

遷移學(xué)習(xí)的定義是：“運(yùn)用已存有的知識對不同但相關(guān)領(lǐng)域問題進(jìn)行求解的一種機(jī)器學(xué)習(xí)方法”，其目標(biāo)是完成知識在相關(guān)領(lǐng)域之間的遷移。對于卷積神經(jīng)網(wǎng)絡(luò)而言，遷移學(xué)習(xí)就是要把在特定數(shù)據(jù)集上訓(xùn)練得到的“知識”成功運(yùn)用到新的領(lǐng)域之中。卷積神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)的一般流程是：（1）在特定應(yīng)用之前，先利用相關(guān)領(lǐng)域大型數(shù)據(jù)集（如ImageNet）對網(wǎng)絡(luò)中的隨機(jī)初始化參數(shù)進(jìn)行訓(xùn)練；（2）利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，針對特定應(yīng)用領(lǐng)域的數(shù)據(jù)（如PASCAL）進(jìn)行特征提??；（3）利用提取后的特征，針對特定應(yīng)用領(lǐng)域的數(shù)據(jù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)或者分類器[7]。遷移學(xué)習(xí)基本原理如圖1所示[8]。

遷移學(xué)習(xí)使用預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)作為學(xué)習(xí)新任務(wù)的起點(diǎn)，并對網(wǎng)絡(luò)進(jìn)行微調(diào)通常比從頭開始隨機(jī)初始化權(quán)重來訓(xùn)練網(wǎng)絡(luò)要快得多和簡單。因此，可以使用較少數(shù)量的訓(xùn)練圖像將學(xué)習(xí)功能快速轉(zhuǎn)移到新任務(wù)。

5.1 卷積神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)

本文使用預(yù)訓(xùn)練的resNet50深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)遷移學(xué)習(xí)。深度殘差網(wǎng)絡(luò)（Deep Residual Network，ResNet）的提出是CNN圖像史上的一件里程碑事件。ResNet網(wǎng)絡(luò)參考了VGG19網(wǎng)絡(luò)，在其基礎(chǔ)上進(jìn)行了修改，網(wǎng)絡(luò)深度增加到152層，并通過短路機(jī)制加入了殘差單元解決了深度網(wǎng)絡(luò)退化問題。

殘差F（x）=H（x）-x，所以原始的學(xué)習(xí)特征H（x）=F（x）+x，x為輸入值。當(dāng)殘差為0時(shí)，此時(shí)堆積層僅僅做了恒等映射，至少網(wǎng)絡(luò)性能不會(huì)下降，實(shí)際上殘差不會(huì)為0，這也會(huì)使得堆積層在輸入特征基礎(chǔ)上學(xué)習(xí)到新的特征，從而擁有更好的性能。

MATLAB 2017b提供了ResNet50預(yù)訓(xùn)練模型的支持。該模型需要安裝神經(jīng)網(wǎng)絡(luò)工具箱，并需要下載和安裝ResNet-50支持包。

為了實(shí)現(xiàn)遷移學(xué)習(xí)，使用全連接層，SoftMax層和分類輸出圖層替換ResNet-50最后三個(gè)層，并轉(zhuǎn)移到新的分類任務(wù)。根據(jù)新數(shù)據(jù)指定的新的全連接層的選項(xiàng)。將全連接層設(shè)置為與新數(shù)據(jù)中類的數(shù)量相同。替換前后的對比如圖2和圖3所示。

6 實(shí)驗(yàn)與分析（Experiment and analysis）

6.1 數(shù)據(jù)集介紹

本文采用的數(shù)據(jù)集來自皇家墨爾本理工大學(xué)（RMIT University）醫(yī)學(xué)院的檢驗(yàn)醫(yī)學(xué)碩士王宗玥實(shí)驗(yàn)中拍攝的宮頸涂片照片。一共20張涂片拍攝出的96張圖片，包含了54張正常（NAD）圖片和42張病變涂片樣本圖片。

6.2 實(shí)驗(yàn)結(jié)果及分析

本文將進(jìn)行宮頸細(xì)胞圖像的二分類仿真實(shí)驗(yàn)，即對正常和病變宮頸細(xì)胞進(jìn)行分類識別，試驗(yàn)在MATLAB2017b平臺進(jìn)行，利用MATLAB的機(jī)器學(xué)習(xí)工具箱和神經(jīng)網(wǎng)絡(luò)工具箱進(jìn)行模型的訓(xùn)練。本文使用TITAN X GPU訓(xùn)練遷移學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)模型，TITAN X具有3072個(gè)核心。

我們對96張圖片進(jìn)行90次的迭代訓(xùn)練。為了防止過擬合，提高模型的泛化能力，在模型訓(xùn)練的過程中，將訓(xùn)練集進(jìn)一步的劃分為訓(xùn)練集和驗(yàn)證集，訓(xùn)練集和驗(yàn)證集上的結(jié)果精度，如圖4所示?？梢钥吹皆隍?yàn)證集上，遷移學(xué)習(xí)生成的模型的精度可以達(dá)到82%。

同時(shí)，我們通過可視化的方式顯示遷移學(xué)習(xí)生成的模型的預(yù)測結(jié)果。圖5是原始的病理圖片，圖6顯示了原始病理圖片在經(jīng)過遷移學(xué)習(xí)模型上的第一個(gè)激活層后的結(jié)果。一共有70個(gè)特征被提取，其每個(gè)方塊對應(yīng)一個(gè)卷積層的輸出通道（也就是一個(gè)特征）。白色像素表示圖像經(jīng)過該特征后被激活的部分，也就是特征放大的部分。我們分別提取了39和40個(gè)通道（特征），以及通道作用后的結(jié)果。原始病理圖片如圖5所示，第1個(gè)激活層后的結(jié)果如圖6所示。

從圖7和圖8中可以看到，這個(gè)兩個(gè)學(xué)習(xí)到的特征分別對應(yīng)圖片中的液體部分和病體部分。特征部分的灰度值較非特征部分低，在圖片中可以清晰的分辨出特征的分布。

同時(shí)，作為對比方案，從預(yù)訓(xùn)練的resnet50深度神經(jīng)網(wǎng)絡(luò)中提取學(xué)習(xí)到的圖像特征，并使用這些特征在訓(xùn)練集訓(xùn)練支持向量機(jī)（SVM）分類模型。Resnet50最后幾層結(jié)構(gòu)如圖9所示。

更高層提取的是更加抽象的特征，更低層提取的是更低級別的特征。本文提取全連接層的1000個(gè)特征。針對圖6的病理圖片，其對應(yīng)的1000個(gè)特征顯示，如圖10所示?；谶@1000個(gè)特征對SVM模型進(jìn)行訓(xùn)練，并對訓(xùn)練的模型進(jìn)行測試驗(yàn)證，研究結(jié)果的精度為62%。因此，從結(jié)果可以看出，利用遷移學(xué)習(xí)可以提取更加貼近訓(xùn)練集的特征，并且具有更好的泛化能力。

7 結(jié)論（Conclusion）

本文針對時(shí)下癌癥診斷難的問題，對Resnet50深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)遷移學(xué)習(xí)，提出了基于卷積神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)的圖像分類方法，即可以自動(dòng)判別圖像類別的算法。主要思想是，基于預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型產(chǎn)生基礎(chǔ)特征，通過在小規(guī)模數(shù)據(jù)集合上的訓(xùn)練生成符合數(shù)據(jù)集合自身的更加抽象的特征，基于這些抽象特征實(shí)現(xiàn)對數(shù)據(jù)集的分類。主要采用基于深度卷積神經(jīng)網(wǎng)絡(luò)利用遷移學(xué)習(xí)實(shí)現(xiàn)對宮頸細(xì)胞圖片的自動(dòng)病理識別，選遷移學(xué)習(xí)，是因?yàn)槠鋵?shí)現(xiàn)了在小規(guī)模數(shù)據(jù)集合上，并且在較短的時(shí)間內(nèi)訓(xùn)練生成新的深度神經(jīng)網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果表明，相對于使用SVM模型生成的深度神經(jīng)網(wǎng)絡(luò)對宮頸細(xì)胞圖像分類，有較高的準(zhǔn)確率。其基于預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型產(chǎn)生基礎(chǔ)特征，通過在小規(guī)模數(shù)據(jù)集合上的訓(xùn)練生成符合數(shù)據(jù)集合自身的更加抽象的特征，基于這些抽象特征實(shí)現(xiàn)對數(shù)據(jù)集的分類。

此方法不僅降低了細(xì)胞判別的主觀因素的干擾，同時(shí)也幫助提高了工作效率，提供給醫(yī)者輔助決策，未來能夠輔助醫(yī)學(xué)界病理學(xué)的科研發(fā)展，降低醫(yī)療及人力方面的資源消耗。

參考文獻(xiàn)（References）

[1] 張琳林，曹軍梅.一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類方法[J].福建電腦，2018，34（02）：46-47.

[2] 張璐.醫(yī)學(xué)圖像智能分類技術(shù)研究與應(yīng)用[D].電子科技大學(xué)，2017.

[3] 范金坪.宮頸細(xì)胞圖像分割和識別方法研究[D].暨南大學(xué)，2010.

[4] 葉斌強(qiáng)，孫鵬飛.宮頸癌診斷及療效評價(jià)的影像學(xué)研究進(jìn)展[J].中國CT和MRI雜志，2014，12（02）：109-112.

[5] Krizhevsky A，Sutskever I，Hinton G E.ImageNet classification with deep convolutional neural networks[C].International Conference on Neural Information Processing Systems.Curran Associates Inc，2012：1097-1105.

[6] Szegedy C，Liu W，Jia Y，et al.Going deeper with convolutions[J].arXiv preprint arXiv：1409.4842，2014：1-9.

[7] 李彥冬，郝宗波，雷航.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)應(yīng)用，2016，36（09）：2508-2515；2565.

[8] James Le.The 10 Deep Learning Methods AI Practitioners Need to Apply[EB/OL].https：//www.linkedin.com/pulse/10-deep-learning-methods-ai-practitioners-need-apply-james-le？trk=portfolio_article-card_title，2017-11-17.

作者簡介：

胡 卉（1994-），女，碩士生.研究領(lǐng)域：機(jī)器學(xué)習(xí)，圖像處理.

蔡金清（1976-），男，博士，副教授.研究領(lǐng)域：機(jī)器學(xué)習(xí)，大數(shù)據(jù)，云計(jì)算.