基于卷積神經(jīng)網(wǎng)絡(luò)和膠囊神經(jīng)網(wǎng)絡(luò)的宮頸病變圖像分類方法研究

宋丹 張育釗

摘? ?要：為了更好地治療宮頸癌，準(zhǔn)確確定患者的宮頸類型是至關(guān)重要的。因此，用于檢測(cè)和劃分宮頸類型的自動(dòng)化方法在該領(lǐng)域中具有重要的醫(yī)學(xué)應(yīng)用。雖然深度卷積神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)的機(jī)器學(xué)習(xí)方法在宮頸病變圖像分類方面已經(jīng)取得了良好的效果，但它們無法充分利用圖像和圖像標(biāo)簽的某些關(guān)鍵特征之間的長(zhǎng)期依賴關(guān)系。為了解決這個(gè)問題，文章引入了膠囊網(wǎng)絡(luò)（CapsNet），將CNN和CapsNet結(jié)合起來，以提出CNN-CapsNet框架，該框架可以加深對(duì)圖像內(nèi)容的理解，學(xué)習(xí)圖像的結(jié)構(gòu)化特征，并開展醫(yī)學(xué)圖像分析中大數(shù)據(jù)的端到端訓(xùn)練。特別是，文章應(yīng)用遷移學(xué)習(xí)方法將在ImageNet數(shù)據(jù)集上預(yù)先訓(xùn)練的權(quán)重參數(shù)傳輸?shù)紺NN部分，并采用自定義損失函數(shù)，以便網(wǎng)絡(luò)能夠更快地訓(xùn)練和收斂，并具有更準(zhǔn)確的權(quán)重參數(shù)。實(shí)驗(yàn)結(jié)果表明，與ResNet和InceptionV3等其他CNN模型相比，文章提出的網(wǎng)絡(luò)模型在宮頸病變圖像分類方面更加準(zhǔn)確、有效。

關(guān)鍵詞：宮頸癌;卷積神經(jīng)網(wǎng)絡(luò);膠囊神經(jīng)網(wǎng)絡(luò);遷移學(xué)習(xí)

研究表明，宮頸病變圖像的分類預(yù)測(cè)對(duì)于宮頸癌癥診斷具有重要的意義，準(zhǔn)確預(yù)測(cè)宮頸病變類型可以輔助醫(yī)生判斷患者的病情，制定更有針對(duì)性的治療方案，從而有助于提高癌癥患者的治療質(zhì)量[1-2]?，F(xiàn)有的宮頸病變圖像分類預(yù)測(cè)方法大多局限于使用卷積神經(jīng)網(wǎng)絡(luò)，尚無使用膠囊神經(jīng)網(wǎng)絡(luò)的細(xì)胞分類預(yù)測(cè)研究。因此，本研究提出了一個(gè)基于膠囊神經(jīng)網(wǎng)絡(luò)的方法CNN-CapsNet，對(duì)宮頸病變圖像進(jìn)行分類預(yù)測(cè)。首先，對(duì)人工神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)和膠囊神經(jīng)網(wǎng)絡(luò)等神經(jīng)網(wǎng)絡(luò)模型進(jìn)行介紹;其次，對(duì)CNN-CapsNet算法進(jìn)行詳細(xì)的說明和闡述;再次，評(píng)估了CNN-CapsNet算法在宮頸病變圖像分類預(yù)測(cè)中的性能;最后，通過與其他預(yù)測(cè)方法進(jìn)行比較，對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析。

1? ? 膠囊神經(jīng)網(wǎng)絡(luò)

膠囊神經(jīng)網(wǎng)絡(luò)是由國外學(xué)者于2017年在神經(jīng)信息處理系統(tǒng)大會(huì)（Conference and Workshop on Neural Information Processing Systems，NIPS）上提出的，其核心思想是使用膠囊來代替卷積神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元，使網(wǎng)絡(luò)可以保留對(duì)象之間詳細(xì)的姿態(tài)信息和空間層級(jí)關(guān)系。膠囊神經(jīng)網(wǎng)絡(luò)彌補(bǔ)了卷積神經(jīng)網(wǎng)絡(luò)的缺陷。例如，在有相對(duì)位置的情況下，一旦卷積核檢測(cè)到了類似于眼睛、鼻子、嘴巴這種特征，卷積神經(jīng)網(wǎng)絡(luò)將圖像分類到人臉這一類。同時(shí)，一張非人臉圖像雖然包含了眼睛、鼻子、嘴巴，但卷積神經(jīng)網(wǎng)絡(luò)也將它歸于人臉。

膠囊神經(jīng)網(wǎng)絡(luò)的工作原理如圖1所示，都需要經(jīng)過加權(quán)求和與非線性激活步驟，但是相比于神經(jīng)元，膠囊需要一個(gè)額外的轉(zhuǎn)換步驟，目的是在網(wǎng)絡(luò)中考慮對(duì)象間的空間和層級(jí)關(guān)系。

2? ? 膠囊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

一個(gè)簡(jiǎn)單的CapsNet網(wǎng)絡(luò)只用到了一層膠囊，但是也很好地展現(xiàn)了CapsNet的工作原理，如圖2所示。

（1）Capsule神經(jīng)網(wǎng)絡(luò)算法：動(dòng)態(tài)路由算法。

（2）Capsule特性：一個(gè)向量神經(jīng)元可包含任意個(gè)值，每個(gè)值代表了當(dāng)前需要識(shí)別的物體的一個(gè)特征。（加權(quán)求和結(jié)果為標(biāo)量）這個(gè)向量不僅可表示物體的特征，還可以表示物體的相對(duì)位置關(guān)系等。

（3）分類原理：用向量模的大小衡量某個(gè)實(shí)體出現(xiàn)的概率，模值越大，概率越大。

（4）分類依據(jù)：Digit Caps中一共3個(gè)向量，每個(gè)向量中元素的個(gè)數(shù)為16。對(duì)這3個(gè)向量求模，求得模值最大的那個(gè)向量代表的就是圖片概率最大的分類。

網(wǎng)絡(luò)的輸入為宮頸病變圖像數(shù)據(jù)，該數(shù)據(jù)來自于福建省婦幼保健醫(yī)院，作為訓(xùn)練數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。宮頸病變圖像數(shù)據(jù)共分為3個(gè)類型，包括CIN1，CIN2和CIN3，圖像的尺寸為256×256像素。CNN-CapsNet方法的網(wǎng)絡(luò)結(jié)構(gòu)為一個(gè)4層的結(jié)構(gòu)，包括了2個(gè)卷積層和2個(gè)膠囊層，相比于原始膠囊神經(jīng)網(wǎng)絡(luò)，具有更深的網(wǎng)絡(luò)結(jié)構(gòu)，因此可以提取出更高層的宮頸病變圖像語義信息，有助于圖像的分類預(yù)測(cè)。除此之外，網(wǎng)絡(luò)中還具有一個(gè)重構(gòu)部分，為一個(gè)3層全連接層結(jié)構(gòu)，由膠囊層的膠囊值為輸入，實(shí)現(xiàn)對(duì)輸入圖像的重構(gòu)，以增加網(wǎng)絡(luò)的魯棒性。

3? ? 實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)是基于深度學(xué)習(xí)框架Keras，在NVIDIA RTX2070下進(jìn)行的，在圖形處理器（Graphics Processing Unit，GPU）下進(jìn)行訓(xùn)練，實(shí)驗(yàn)效率相對(duì)于中央處理器（Central Processing Unit，CPU）要高很多，經(jīng)過多次實(shí)驗(yàn)調(diào)整訓(xùn)練參數(shù)，CNN-CapsNet，ResNet[3]和InceptionV3[4-5]實(shí)驗(yàn)結(jié)果對(duì)比如表1所示。

最后利用CNN-CapsNet訓(xùn)練階段學(xué)習(xí)到的模型搭建一個(gè)簡(jiǎn)易的宮頸病變圖像分類系統(tǒng)，該系統(tǒng)使用python編程語言和keras + flask框架，對(duì)上傳的宮頸病變圖像進(jìn)行預(yù)測(cè)。將預(yù)測(cè)的過程作為一個(gè)Web服務(wù)，實(shí)現(xiàn)在網(wǎng)頁上上傳一張宮頸病變的圖像，然后返回預(yù)測(cè)結(jié)果，給出分類級(jí)別供醫(yī)生參考，輔助醫(yī)生診斷，考慮到陰道鏡醫(yī)生在長(zhǎng)期閱讀陰道鏡圖像時(shí)容易疲憊，從而導(dǎo)致不必要的漏判、誤判，而系統(tǒng)在這方面具備優(yōu)勢(shì)。系統(tǒng)操作界面如圖3所示。

4? ? 結(jié)語

通過對(duì)膠囊神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)及其參數(shù)進(jìn)行調(diào)整與優(yōu)化，提出了一個(gè)基于膠囊神經(jīng)網(wǎng)絡(luò)的宮頸病變圖像分類預(yù)測(cè)方法CNN-CapsNet，用于宮頸病變圖像的分類任務(wù)。為了評(píng)估該方法在宮頸病變圖像中的性能，使用宮頸病變圖像數(shù)據(jù)集，對(duì)CNN-CapsNet方與ResNet和InceptionV3等其他CNN模型進(jìn)行比較，發(fā)現(xiàn)CNN-CapsNet均取得了最佳的預(yù)測(cè)性能，此外，搭建簡(jiǎn)易的宮頸病變圖像分類系統(tǒng)，展示了其在細(xì)宮頸病變圖像預(yù)測(cè)中的有效性與實(shí)用性。

[參考文獻(xiàn)]

[1]VACCARELLA S，LORTET T J，PLUMMER M，et al.Worldwide trends in cervical cancer incidence： impact of screening against changes in disease risk factors[J].European Journal of Cancer，2013（15）：3262-3273.

[2]CHEN W，ZHENG R，BAADE P，et al.Cancer statistics in China， 2015[J].CA-A Cancer Journal for Clinicians，2016（2）：115-132.

[3]KAIMING H，XIANGYU Z，SHAOQING R，et al.Deep residual learning for image recognition[C].Las Vegas：2016 IEEE Conference on Computer Vision and Pattern Recognition，2015.

[4]SZEGEDY C，VANHOUCKE V，IOFFE S，et al.Rethinking the inception architecture for computer vision[J].CoRR，2015（2）：1512.

[5]SABOUR S，F(xiàn)ROSST N，HINTON G E.Dynamic rounting between capsules[J].Advances in Neural Information Processing Systems，2017（10）：3856-3866.

Research on image classification of cervical lesions based on

convolution neural network and capsule neural network

Song Dan1， 2， Zhang Yuzhao1， 2*

（1.College of Technology， Huaqiao University， Quanzhou 362021， China;

2.Fujian University Engineering Research Center of Industrial Intelligent Technology and System， Quanzhou 362021， China）

Abstract：In order to better treat cervical cancer， it is very important to accurately determine the cervical type of patients. Therefore， the automatic methods for detecting and classifying cervical types have important medical applications in this field. Although deep convolution neural network （CNN） and traditional machine learning methods have achieved good results in cervical lesions image classification， they can not make full use of the long-term dependence between some key features of image and image tag. To solve this problem， the CapsNet is introduced. Specifically， this paper combines CNN and CapsNet to propose the CNN-CapsNet framework， which can deepen the understanding of image content， learn the structural features of images， and carry out end-to-end training of big data in medical image analysis. In particular， this paper uses the migration learning method to transfer the weight parameters trained in advance on the Imagenet dataset to CNN， and use the custom loss function， so that our network can train and converge faster and have more accurate weight parameters. The experimental results show that compared with other CNN models such as ResNet and inception V3， our network model is more accurate and effective in cervical lesions image classification.

Key words：cervical cancer; convolution neural network; capsule neural network; migration learning