基于卷積神經(jīng)網(wǎng)絡(luò)的膠囊內(nèi)鏡息肉與潰瘍輔助診斷

王 孟, 張大斌*, 劉杰民, 張 暉

(1.貴州大學(xué)機(jī)械工程學(xué)院，貴陽 550001；2.貴州省人民醫(yī)院，貴陽 550001；3.貴州銀行博士后流動(dòng)站，貴陽 550001)

胃癌是癌癥致死率最高之一，亞洲胃癌發(fā)病率遠(yuǎn)高于歐洲和北美[1-2]。研究表明早期診斷出常見消化道疾病能夠有效減少胃癌的發(fā)病率[3-4]，其中包括消化道炎癥、潰瘍、息肉和早期胃癌等等。膠囊內(nèi)窺鏡(wireless capsule endoscopy，WCE)技術(shù)是將電源、攝像、傳輸?shù)裙δ芨叨燃傻臒o線視頻拍攝膠囊。與傳統(tǒng)內(nèi)窺鏡技術(shù)相比，能拍攝整個(gè)消化道實(shí)時(shí)圖像，并且整個(gè)過程沒有任何不適感，患者整個(gè)消化道可呈現(xiàn)在顯示器上，因此在臨床上得以廣泛應(yīng)用[5]。

常用膠囊內(nèi)鏡不具備磁控功能，在消化道中完全隨腸胃蠕動(dòng)而被動(dòng)式運(yùn)動(dòng)，從膠囊內(nèi)鏡進(jìn)入口腔至排出體外時(shí)長(zhǎng)可達(dá)8 h以上[6]，以2幀/s圖像為例，則一次檢測(cè)可產(chǎn)生50 000張以上圖片。設(shè)備拍攝角度完全被動(dòng)，有很大隨機(jī)性，拍攝過程可能被積液、消化物等腸道內(nèi)容物遮擋，也可能拍攝到黑暗的胃腸通道，或者攝像頭貼近腸道而無法拍攝等。為了幫助醫(yī)生診斷，近年來出現(xiàn)了一些基于WCE的計(jì)算機(jī)輔助決策系統(tǒng)。主要分為兩種目的，第一種是為了提升WCE審閱速度而進(jìn)行WCE視頻縮減。彭同勝[7]提出了一種改進(jìn)的局部二元模式算子LBP_max來提取圖像局部紋理，從而縮減視頻。第二種目的就是針對(duì)具體疾病進(jìn)行圖像檢測(cè)。陳淑芬[8]提出一個(gè)兩階段顯著特征提取算法，進(jìn)行混合建模提取二維二值信息，進(jìn)而檢測(cè)消化道出血。檢測(cè)手段中，Hassan等[9]采用基于圖像幅度譜的歸一化灰度共生矩陣。Hussam等[10]采用基于Gabor小波的紋理描述符來處理圖像，并用遺傳算法來選擇描述子集。楊晗[11]采用水平集方法分割內(nèi)鏡圖像并用橢圓擬合腫瘤區(qū)實(shí)現(xiàn)腫瘤檢測(cè)。

目前對(duì)WCE視頻輔助診斷的方法均是基于經(jīng)典圖像表示方法，需要針對(duì)每一種病灶設(shè)計(jì)獨(dú)有的識(shí)別方法，算法間的兼容性差，只能識(shí)別某一種病灶。因此，針對(duì)消化道系統(tǒng)顏色相近這一特質(zhì)，提取最佳輸入特征，設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行膠囊內(nèi)疚輔助診斷。

1 圖像RGB通道分析

分析人體皮膚組織、內(nèi)臟表皮組織、腸道組織等的顏色信息，發(fā)現(xiàn)R通道的顏色變化強(qiáng)于G和B通道。人體不同皮膚組織之間的顏色差異也主要由R通道表現(xiàn)，R通道包含了更加豐富的顏色信息。因此，舍棄三通道中顏色特征最不明顯的一個(gè)通道，選擇剩余兩個(gè)通道作為網(wǎng)絡(luò)的輸入。

顏色直方圖是用來統(tǒng)計(jì)每個(gè)顏色通道中每個(gè)顏色值對(duì)應(yīng)的像素?cái)?shù)量，其最大優(yōu)點(diǎn)在于能夠快速對(duì)任意圖像區(qū)域進(jìn)行顏色直方圖統(tǒng)計(jì)而且該特征具有旋轉(zhuǎn)不變性。由此，利用顏色直方圖分析R、G、B通道，從而選出包含信息最豐富的兩通道。分析如下。

(1)掩膜處理：息肉與潰瘍?cè)谀z囊內(nèi)鏡中顯示的尺寸較小，通常在30×30以內(nèi)，因此截取50×50大小的掩膜(圖1)進(jìn)行小范圍內(nèi)顏色分析。

(2)分析區(qū)域：膠囊內(nèi)鏡圖像存在明暗不均的問題，因此對(duì)高曝光區(qū)、正常曝光區(qū)和低曝光區(qū)進(jìn)行分析，如圖2所示。

(3)圖像類別：分為健康圖像、息肉圖像和潰瘍圖像，如圖3所示。

(4)顏色直方圖分析：根據(jù)直方圖中每個(gè)顏色值與相鄰顏色值間像素?cái)?shù)量的差異，求出每個(gè)通道的標(biāo)準(zhǔn)差與均值(表1)，通過標(biāo)準(zhǔn)差和均值來剖析直方圖。

圖1 WCE中截取的50×50掩膜

通過Python語言及其組件來完成圖像直方圖的建立，如圖4所示。

由圖4(a)～圖4(c)可以直觀地看出膠囊內(nèi)鏡圖像在各種曝光條件下主要差異存在于G、R通道。高曝光區(qū)，G通道顏色值集中在100～140，R通道顏色值越高則包含像素量越多；低曝光區(qū)，G通道顏色值集中在50～100，R通道顏色值則集中在40～130，且像素量在顏色值為50附近處最多。

由圖4(d)～圖4(f)可以直觀看出，正常圖像和患息肉疾病的圖像相比，R、G、B三通道的顏色值之間存在差異，同時(shí)局部顏色值之間的像素?cái)?shù)量存在顯著差異。正常圖像和潰瘍圖像之間差異主要由像素量之間的急劇波動(dòng)。上述為直方圖直觀分析，下面進(jìn)行量化分析。

圖4 膠囊內(nèi)鏡直方圖

統(tǒng)計(jì)實(shí)際WCE視頻中連續(xù)的500幅圖像，正常曝光、高曝光和欠曝光圖像比例約為0.85∶0.05∶0.1。因此，將普通曝光、高曝光和欠曝光直方圖所有分類的均值分別乘以權(quán)重0.85、0.05和0.1再進(jìn)行相加，標(biāo)準(zhǔn)差同樣處理，結(jié)果見表2。

表2中，G和R通道像素顏色值的標(biāo)準(zhǔn)差和均值高出B通道10%以上，反映出G和R通道細(xì)節(jié)特征更豐富，因而取G和R通道為網(wǎng)絡(luò)輸入，減少冗余信息量。

表1 9種組合下直方圖的標(biāo)準(zhǔn)差與均值

表2 RGB三通道評(píng)價(jià)

2 圖像對(duì)比度增強(qiáng)方法分析

膠囊內(nèi)鏡工作于食管、胃、小腸、大腸等，各部位的顏色信息、腸道直徑、運(yùn)動(dòng)狀態(tài)各不相同，導(dǎo)致內(nèi)鏡拍攝時(shí)對(duì)焦不準(zhǔn)確，畫面存在一定程度的模糊。此外，病灶物理特征也不明顯，如小腸與息肉均呈粉紅色，即使經(jīng)驗(yàn)豐富的醫(yī)生也未必能夠完全判斷病變。因此有必要對(duì)圖像進(jìn)行增強(qiáng)，考慮膠囊內(nèi)鏡灰度圖像對(duì)比度的增強(qiáng)，對(duì)比全局直方圖均衡化、伽瑪變換、拉普拉斯變換三種算法。三種算法均在OpenCV中實(shí)現(xiàn)。

2.1 全局直方圖均衡化

從人體感官來看待一幅圖像，如果該圖像直方圖分布均勻，則總體感覺較為協(xié)調(diào)，且感官信息比較豐富，利于人眼判斷。全局直方圖均衡化通過調(diào)整直方圖灰度值集中區(qū)域，來增強(qiáng)對(duì)比度。設(shè)I(x,y)為輸入圖像(x,y)處灰度值，對(duì)應(yīng)直方圖均衡化后的輸出為O(x,y)。I(x,y)與O(x,y)間的映射關(guān)系為

(1)

式(1)中：Fk為灰度變換函數(shù)，k=0,1,…,255；N為總像素量；Ni為灰度i所包含的像素?cái)?shù)量；P(ri)為圖像灰度值概率密度函數(shù)。

從映射函數(shù)可知，直方圖均衡化增加灰度動(dòng)態(tài)范圍，調(diào)整原圖像灰度分布，提升對(duì)比度，突出細(xì)節(jié)信息，使人眼能夠更直觀讀取圖像信息，效果如圖5。圖5(a)、圖5(b)可看出息肉通過直方圖均衡化之后，息肉的表面亮度增加，邊緣亮度降低，對(duì)比度得到了增強(qiáng)，與周圍健康組織形成了鮮明界限。但是從圖5(c)、圖5(d)可知，由于灰度值較低部分和灰度值較高部分的像素量擴(kuò)散，產(chǎn)生了噪聲，使畫面細(xì)節(jié)信息丟失。

圖5 息肉直方圖均衡化效果圖

2.2 伽瑪變換

人眼對(duì)于外界光源的感光值隨亮度增加或減少，人眼分辨亮度信息的能力逐漸減弱。膠囊內(nèi)鏡圖像曝光不足或過曝，會(huì)導(dǎo)致部分灰度保存為相似值而丟失信息。伽瑪變換對(duì)于修正異?；叶戎涤辛己眯Ч杀Ａ艋蛉サ舢惓；叶刃畔ⅲ鰪?qiáng)圖像對(duì)比度。伽瑪變換表達(dá)式為

O=CIγ

(2)

式(2)中：C和γ為常數(shù)；I為歸一化到[0,1]后的輸入灰度；O為輸出灰度。γ<1，能增強(qiáng)了圖像的低灰度值區(qū)域；γ>1，增強(qiáng)了高灰度值區(qū)域。分析500幅膠囊內(nèi)鏡圖像可知，其所拍攝的圖片中欠曝光多于過曝光，加之圖像通常處于中低灰度值范圍，因此采用γ=0.1，0.2，…，0.9進(jìn)行測(cè)試，最好結(jié)果γ=0.8如圖6所示。

圖6 伽瑪變換前后圖像

從圖6看出，膠囊內(nèi)鏡本身顏色閾較單一，使得息肉圖像各區(qū)域灰度變化不夠明顯，伽瑪變換圖像對(duì)比圖提升也就不夠。

2.3 拉普拉斯變換

膠囊內(nèi)鏡拍攝的圖像，尤其對(duì)于息肉來說，息肉組織與周圍正常組織之間的區(qū)分不那么明顯，此時(shí)可以用到拉普拉斯變換。它可加強(qiáng)灰度梯度大的區(qū)域，提升細(xì)節(jié)表現(xiàn)能力，提高對(duì)比度，同時(shí)對(duì)于其他區(qū)域的灰度值變化很小，利于病變組織的識(shí)別。變換效果如圖7所示。

圖7 拉普拉斯變換前后圖像

圖7可以看出，由于膠囊內(nèi)鏡圖像自身灰度梯度較小，包含的圖像信息較少，經(jīng)過拉普拉斯變換處理后，人眼已經(jīng)看不出銳化后的息肉，對(duì)比度提升同樣不夠明顯。

通過上述比較，可知三種增強(qiáng)方法對(duì)于膠囊內(nèi)鏡圖像對(duì)比度的提升效果最好的是全局直方圖均衡化。因此直方圖均衡化后的灰度圖像作為神經(jīng)網(wǎng)絡(luò)的輸入，更有利于特征的提取。

3 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

3.1 網(wǎng)絡(luò)輸入

神經(jīng)網(wǎng)絡(luò)的三通道輸入分別為R通道、G通道、直方圖均衡化灰度通道。

神經(jīng)網(wǎng)絡(luò)深度為10，圖像數(shù)據(jù)量約2.2萬幅，不足以保證模型的有效訓(xùn)練。因此需要對(duì)數(shù)據(jù)進(jìn)行增廣，主要采用了兩種方法:①利用OpenCV中進(jìn)行圖像水平和豎直的翻轉(zhuǎn);②對(duì)原圖進(jìn)行摳取，在每張大小為256×240的原圖上隨機(jī)摳取3張224×224大小的區(qū)域。通過兩種數(shù)據(jù)增廣，達(dá)到了網(wǎng)絡(luò)的數(shù)據(jù)量要求。

3.2 網(wǎng)絡(luò)結(jié)構(gòu)

目前廣泛使用的網(wǎng)絡(luò)訓(xùn)練方法存在兩個(gè)缺陷：①經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)(AlexNet、VGGNet、ResNet等)訓(xùn)練要求大量已標(biāo)注的數(shù)據(jù)，而醫(yī)療圖像的標(biāo)注成本極高，數(shù)據(jù)量遠(yuǎn)遠(yuǎn)不夠；②網(wǎng)絡(luò)預(yù)訓(xùn)練遷移方法存在圖像與預(yù)訓(xùn)練圖像差異巨大的問題，準(zhǔn)確率不高。為此，借鑒VGG小卷積核實(shí)現(xiàn)大感受野、小卷積核實(shí)現(xiàn)深層網(wǎng)絡(luò)的特點(diǎn)，設(shè)計(jì)適用于膠囊內(nèi)鏡圖像的卷積神經(jīng)網(wǎng)絡(luò)[12]。

該網(wǎng)絡(luò)共10層，包含了7個(gè)卷積層與3個(gè)全連接層?？梢暬愂悄繕?biāo)較小的病灶而非一般的場(chǎng)景描述，因此采用多個(gè)3×3卷積核實(shí)現(xiàn)高維特征提取，2×2池化層實(shí)現(xiàn)特征篩選。結(jié)合實(shí)際的訓(xùn)練數(shù)據(jù)量，全連接層沒用采用大量神經(jīng)元，而是采用256個(gè)神經(jīng)元，更加符合2萬幅圖像的訓(xùn)練。網(wǎng)絡(luò)架構(gòu)參數(shù)如表3所示。

表3 網(wǎng)絡(luò)架構(gòu)參數(shù)

4 實(shí)驗(yàn)與結(jié)果

4.1 實(shí)驗(yàn)數(shù)據(jù)

采用的數(shù)據(jù)為貴州省人民醫(yī)院2012—2016年保存的膠囊內(nèi)鏡圖像，所涉及的患病個(gè)體為100，圖像總量超過了500萬張。數(shù)據(jù)的標(biāo)注工作分為三步：①醫(yī)生根據(jù)之前記錄的病例，首先確定病人所患的疾病，如息肉、潰瘍等，再從膠囊內(nèi)鏡視頻中篩選出患該病的圖像；②患病圖像由專業(yè)醫(yī)生進(jìn)行逐個(gè)標(biāo)注。標(biāo)注分類為息肉、潰瘍、正常和未知，未知分類當(dāng)中包含了其余的患病情況。最終得到的標(biāo)注樣本有息肉、潰瘍、正常和未知各4 569、2 655、11 919和2 912幅圖像，從中各隨機(jī)抽取1/5作為測(cè)試集，剩下的作為訓(xùn)練集。

該實(shí)驗(yàn)在Intel i7-7700HQ處理器，INVIDIA GTX1070顯卡以及16 G內(nèi)存的計(jì)算機(jī)中完成。為了解本算法的檢測(cè)效果，將其進(jìn)行兩種對(duì)比試驗(yàn)，與前述提出的幾種預(yù)處理之間對(duì)比，與經(jīng)典圖像表示和支持向量機(jī)聯(lián)合的對(duì)比。

4.2 幾種預(yù)處理比較

試驗(yàn)評(píng)估了R、G、B三個(gè)通道與直方圖均衡化、伽瑪變換以及拉普拉斯變換組合為網(wǎng)絡(luò)輸出的預(yù)測(cè)效果,該試驗(yàn)基于同樣的神經(jīng)網(wǎng)絡(luò)。九種組合的識(shí)別準(zhǔn)確率見表4,其中直方圖均衡化、伽瑪變換、拉普拉斯變換分別用HIS、GAMA、LAP表示。

表4 九種組合的預(yù)測(cè)準(zhǔn)確率

九種預(yù)測(cè)結(jié)果中，RG+HIS組合的準(zhǔn)確率在各種目標(biāo)下都是最高的，符合之前的預(yù)期，平均準(zhǔn)確率可達(dá)96.8%。可以觀察到，R通道組合在相同條件下對(duì)于息肉的預(yù)測(cè)準(zhǔn)確率都比G和B通道高，因?yàn)橄⑷獠≡钆c正常組織之間的顏色差異主要是R分量上的細(xì)微差異。潰瘍與正常組織間存在明顯的顏色差異，因此預(yù)測(cè)準(zhǔn)確率都比息肉高。直方圖均衡化、伽瑪變換和拉普拉斯變換的效果圖在前文已看到，三種方法對(duì)于對(duì)比度的提升最大的是直方圖均衡化，從表4得以驗(yàn)證。相同條件下，直方圖均衡化方法的預(yù)測(cè)準(zhǔn)確率均高于伽瑪變換和拉普拉斯變換，其中直方圖均衡化方法和伽瑪變換方法的效果比較接近。

4.3 與經(jīng)典機(jī)器視覺方法比較試驗(yàn)

機(jī)器視覺中經(jīng)典的特征提取有SURF、FAST等，特征提取之后與支持向量機(jī)進(jìn)行結(jié)合以實(shí)現(xiàn)良好的分類。SURF算法對(duì)旋轉(zhuǎn)、尺度、亮度、噪聲、視角等的變化具有一定魯棒性[13]，采用快速Hessian方法來檢測(cè)關(guān)鍵點(diǎn)，速度比SIFT快幾倍。FAST算法是通過比較檢測(cè)點(diǎn)與周圍16個(gè)像素之間信息差來判斷其是否為角點(diǎn)的算法，速度較快。本文系統(tǒng)與上述兩種算法的預(yù)測(cè)結(jié)果如表5所示。

從表5看出，經(jīng)典機(jī)器視覺特征檢測(cè)方法能夠?qū)崿F(xiàn)的準(zhǔn)確率不超過81%，而基于多層卷積神經(jīng)網(wǎng)絡(luò)的特征檢測(cè)準(zhǔn)確率超過95%。從單個(gè)檢測(cè)目標(biāo)來看，RG+HIS也具有絕對(duì)優(yōu)勢(shì)，SURF和FAST方法本身具備了一定的特征檢測(cè)能力，結(jié)合SVM之后檢測(cè)能力提升還不夠顯著。

表5 RG+HIS與經(jīng)典機(jī)器視覺方法對(duì)比

5 結(jié)論

(1)提出了一種用于檢測(cè)膠囊內(nèi)鏡圖像中息肉、潰瘍、正常及其他病灶的算法,平均準(zhǔn)確率達(dá)到了96.8%。與同一個(gè)神經(jīng)網(wǎng)絡(luò)下調(diào)整其他不同輸入方法相比，準(zhǔn)確率至少高出2%；與經(jīng)典的機(jī)器視覺方法相比，平均準(zhǔn)確率至少高出16.73%。檢測(cè)速度達(dá)到了68.6圖/s，能夠15 min內(nèi)檢測(cè)出一個(gè)病人完整的內(nèi)鏡圖像。本文提出的算法在特征檢測(cè)與預(yù)測(cè)方面勝于經(jīng)典機(jī)器視覺方法；不同輸入對(duì)于數(shù)據(jù)量較小時(shí)的網(wǎng)絡(luò)訓(xùn)練效果有很大影響。

(2)本文算法首先需要標(biāo)注約2萬膠囊內(nèi)鏡圖像，然后通過數(shù)據(jù)增強(qiáng)方式將數(shù)據(jù)擴(kuò)充至10萬以上，也可以直接標(biāo)注10萬張不同的內(nèi)鏡圖像，鑒于時(shí)間緊迫，采用了前者。其次，提取圖像R和G通道，采用全局直方圖均衡化手段處理灰度圖以提高其對(duì)比度，將三者作為網(wǎng)絡(luò)輸入。網(wǎng)絡(luò)結(jié)構(gòu)是將VGG網(wǎng)絡(luò)結(jié)合自身數(shù)據(jù)限制進(jìn)行相應(yīng)修改。試驗(yàn)結(jié)果證實(shí)了這種神經(jīng)網(wǎng)絡(luò)訓(xùn)練前先行增強(qiáng)圖像方法的優(yōu)越性，可以推廣應(yīng)用到其他消化道內(nèi)鏡圖像的識(shí)別中。

下一步工作主要從兩個(gè)方面考慮，一是嘗試其他圖像增強(qiáng)手段，改變圖像輸入以得到膠囊內(nèi)鏡最佳的神經(jīng)網(wǎng)絡(luò)輸入數(shù)據(jù)；二是獲取更多的數(shù)據(jù)量，評(píng)估相同神經(jīng)網(wǎng)絡(luò)架構(gòu)下，不同數(shù)據(jù)量和不同輸入對(duì)于神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)準(zhǔn)確率的影響。