基于卷積神經(jīng)網(wǎng)絡(luò)的出血圖像檢測(cè)

葉林飛 徐建省 孔德昱

摘? 要： 為了實(shí)現(xiàn)消化道圖像中出血病灶的自動(dòng)識(shí)別，本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別系統(tǒng)。該識(shí)別系統(tǒng)使用python以及TensorFlow進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)的搭建，并通過(guò)對(duì)比不同網(wǎng)絡(luò)結(jié)構(gòu)的識(shí)別準(zhǔn)確度，選擇合適的網(wǎng)絡(luò)參數(shù)和訓(xùn)練參數(shù)，最后利用網(wǎng)絡(luò)的識(shí)別結(jié)果，通過(guò)區(qū)域回歸方法標(biāo)記圖像中的病灶區(qū)域。最終的實(shí)驗(yàn)結(jié)果表明：該圖像識(shí)別系統(tǒng)的對(duì)于消化道出血圖像的識(shí)別準(zhǔn)確度可達(dá)92.30%，并能夠在圖像中標(biāo)記出血區(qū)域。

關(guān)鍵詞： 圖像;卷積神經(jīng)網(wǎng)絡(luò);出血;檢測(cè)

【Abstract】： In order to realize automatic recognition of hemorrhagic lesions in digestive tract images， an image recognition system based on convolution neural network is proposed in this paper. The recognition system used Python and TensorFlow to construct convolution neural network. By comparing the recognition accuracy of different network structures， the appropriate network parameters and training parameters were selected. Finally， the recognition results of the network were used to mark the lesion area in the image by regression method. The result shows that the recognition accuracy of the image recognition system for gastrointestinal bleeding image are measured as 92.30%， and the bleeding area can be marked in the image.

【Key words】： Images; Convolutional neural network; Bleeding; Detection

0? 引言

消化道出血是十分常見(jiàn)的一種消化道疾病，也是判別消化道是否存在病灶的主要依據(jù)之一。近年來(lái)發(fā)展迅速的膠囊內(nèi)窺鏡由于其具有非侵入性而受到患者喜愛(ài)，并且由于其能夠觀察小腸而成為消化道疾病檢查的主要方法之一[1]。目前，對(duì)于膠囊內(nèi)窺鏡圖像的出血檢測(cè)主要是通過(guò)醫(yī)生觀察全部的膠囊內(nèi)窺鏡產(chǎn)生的圖像。膠囊內(nèi)窺鏡依靠消化道蠕動(dòng)而前進(jìn)，在消化道內(nèi)工作時(shí)間大約為7小時(shí)，單次檢測(cè)所產(chǎn)生的圖片往往多達(dá)55000張[2]。在如此巨大數(shù)量下進(jìn)行出血檢測(cè)是十分耗時(shí)且枯燥的工作，因此，利用計(jì)算機(jī)技術(shù)進(jìn)行出血病灶的智能檢測(cè)是一個(gè)必然的趨勢(shì)。

現(xiàn)有的出血病灶識(shí)別方法主要通過(guò)前期的特征提取以及特定分類器的訓(xùn)練，利用分類器對(duì)于圖像的判別結(jié)果從而判別是否存在出血病灶。常使用的手工特征包括圖像的顏色特征[3-5]、結(jié)構(gòu)特征[6-7]等。在獲得手工特征后，需要使用分類器對(duì)圖像進(jìn)行判別，常使用的分類器包括多層感知機(jī)[5-7]，支持向量機(jī)[4-8]等。

Sonu等[2]使用紅綠藍(lán)（RGB）空間的顏色特征如均值、標(biāo)準(zhǔn)差、能量等，用于識(shí)別無(wú)線膠囊胃鏡出血圖像，并對(duì)比了使用不同特征的結(jié)合組合的識(shí)別效果。Li等[5]利用色調(diào)、色飽和度、亮度（HSI）空間的顏色特征和多層感知機(jī)進(jìn)行識(shí)別。Sindhu等[7]通過(guò)計(jì)算感興趣區(qū)域的區(qū)塊的SIFT特征和灰度共生矩陣等結(jié)構(gòu)特征，并利用多層感知機(jī)用于識(shí)別圖像。Yi等[8]使用最小生成樹(shù)對(duì)圖像進(jìn)行聚類，并使用支持向量機(jī)對(duì)圖像進(jìn)行識(shí)別分類。Pan等[9]在HSI顏色空間對(duì)圖像進(jìn)行分割后使用概率神經(jīng)網(wǎng)絡(luò)（PNN）進(jìn)行識(shí)別。

手工特征的選取需要根據(jù)出血病灶在圖像上的具體表現(xiàn)，專門針對(duì)某種表現(xiàn)而設(shè)計(jì)，因此對(duì)特定目標(biāo)十分有效。但是，手工特征需要與分類器結(jié)合才可發(fā)揮作用，并且手工特征僅僅針對(duì)單一表現(xiàn)，無(wú)法根據(jù)圖像信息進(jìn)行優(yōu)化。因此，需要尋找一種更加優(yōu)異的方法用于檢測(cè)出血病灶圖像。

隨著計(jì)算機(jī)技術(shù)和深度學(xué)習(xí)技術(shù)的發(fā)展，使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）用于識(shí)別膠囊內(nèi)窺鏡圖像中的病灶成為一種新的圖像識(shí)別方法。CNN不僅能夠用于圖像分類任務(wù)[10-14]，也可用于圖像中的病灶識(shí)別任務(wù)[14-15]。CNN相比于手工特征，其能夠?qū)ふ业绞止ぬ卣鳠o(wú)法描述的特征共性，從而能夠達(dá)到更優(yōu)的識(shí)別效果。

本文提出了一種使用卷積神經(jīng)網(wǎng)絡(luò)用于識(shí)別膠囊內(nèi)窺鏡圖像中的出血病灶的方法，首先將出血區(qū)域的圖像作為網(wǎng)絡(luò)的輸入，之后通過(guò)卷積層獲取到卷積特征，并利用降采樣減少特征數(shù)量，之后使用全連接層獲得能夠進(jìn)行分類的特征，最后將特征輸入到分類器中進(jìn)行分類，獲得分類結(jié)果。訓(xùn)練后的網(wǎng)絡(luò)可對(duì)圖像進(jìn)行識(shí)別分類，并可通過(guò)處理分類結(jié)果獲得出血病灶區(qū)域。

1? 卷積神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)最初由Lecun等人提出[16]，之后經(jīng)過(guò)多次改進(jìn)，最終形成了較為成熟的可完成現(xiàn)實(shí)任務(wù)的網(wǎng)絡(luò)[17-20]。本文提出了一個(gè)共9層的卷積神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)包括3層卷積層（C1-C3）、3層最大值池化層（MP1-MP3）、以及3層全連接層（FC1-FC3）。網(wǎng)絡(luò)的具體結(jié)構(gòu)如圖1所示。本文使用線性整流函數(shù)（Relu）作為3層卷積層和前兩層全連接層的激活函數(shù)。使用最大值池化函數(shù)（Maxpool）選取池化層輸入的最大值，從而減少需要計(jì)算的數(shù)據(jù)量。最后，使用柔性最大值（Softmax）函數(shù)作為第三層全連接層的激活函數(shù)，其具有兩個(gè)神經(jīng)元，能夠輸出是否為出血或正常的分類結(jié)果。

1.2? 訓(xùn)練過(guò)程

本文使用的CNN網(wǎng)絡(luò)采用Python與TensorFlow進(jìn)行編寫，選取的批尺寸（Batchsize）為30，學(xué)習(xí)率（Learning rate）為0.0001，迭代次數(shù)為5000。

2? 實(shí)驗(yàn)結(jié)果與分析

2.1? 消化道圖像的選取

本文使用的圖像集來(lái)自于金山公司提供的膠囊內(nèi)鏡臨床疾病圖譜[21]，共有1700張圖像，圖像大小為120×120×3，其中1200張用于訓(xùn)練，500張用于測(cè)試，訓(xùn)練和測(cè)試所使用的正常和出血圖像數(shù)量的比例為3∶1。如圖2所示，使用的正常圖像共1200張，出血圖像共500張圖像。出血圖像類型主要有兩種，點(diǎn)狀出血的以及片狀出血。點(diǎn)狀出血表現(xiàn)為單個(gè)或多個(gè)深紅色點(diǎn)狀出血區(qū)域，塊狀出血多為塊狀淺紅色或鮮紅色區(qū)域。

2.2? 網(wǎng)絡(luò)結(jié)構(gòu)的選擇

為了選取最適合圖像數(shù)據(jù)集的網(wǎng)絡(luò)結(jié)構(gòu)，本文對(duì)比了使用不同大小卷積核的網(wǎng)絡(luò)的識(shí)別準(zhǔn)確度，并對(duì)比了全連接層的神經(jīng)元個(gè)數(shù)對(duì)網(wǎng)絡(luò)識(shí)別準(zhǔn)確度的影響。在卷積層C1、C2和C3中，使用的卷積核個(gè)數(shù)分別為32、64和128。如表1所示，通過(guò)改變使用的卷積核大小，圖像的識(shí)別準(zhǔn)確度也有所變化。針對(duì)使用的圖像數(shù)據(jù)集而言，若使用5×5的卷積核，識(shí)別結(jié)果并不可以達(dá)到文獻(xiàn)中所描述的較高的準(zhǔn)確度00。若使用11×11的卷積核，識(shí)別準(zhǔn)確度明顯下降。結(jié)果顯示，在使用全部大小為3×3的卷積核時(shí)，網(wǎng)絡(luò)的識(shí)別率達(dá)到最高，大約為92.3%。

通過(guò)設(shè)置全連接層FC1和FC2的神經(jīng)元結(jié)點(diǎn)個(gè)數(shù)，對(duì)比不同情況下的識(shí)別準(zhǔn)確度，最終確定全連接層FC1和FC2所使用的神經(jīng)元結(jié)點(diǎn)數(shù)。如表2所示，由于第三層卷積層的卷積核個(gè)數(shù)為128，若第一層全連接層的神經(jīng)元結(jié)點(diǎn)數(shù)在其1/2和兩倍之間，識(shí)別準(zhǔn)確度變化不大，但是若超出一定范圍后，識(shí)別準(zhǔn)確度有較大的下降。第二層全連接層的神經(jīng)元結(jié)點(diǎn)個(gè)數(shù)在合適范圍內(nèi)能夠保證識(shí)別準(zhǔn)確度基本不變，但結(jié)點(diǎn)數(shù)不可超過(guò)256個(gè)。結(jié)果顯示，在使用全連接層神經(jīng)元個(gè)數(shù)分別為128和32的網(wǎng)絡(luò)的識(shí)別準(zhǔn)確度最高。

2.3? 訓(xùn)練參數(shù)的選擇

訓(xùn)練參數(shù)尤其是批尺寸和學(xué)習(xí)率的選擇不僅影響訓(xùn)練時(shí)的計(jì)算時(shí)間，而且對(duì)于最終的識(shí)別準(zhǔn)確度也有一定的影響。針對(duì)訓(xùn)練參數(shù)對(duì)準(zhǔn)確度的影響，本文通過(guò)對(duì)比在不同參數(shù)值情況下的識(shí)別準(zhǔn)確度，獲得最適合于數(shù)據(jù)集的參數(shù)。具體數(shù)值如表3所示。

如表3所示，學(xué)習(xí)率對(duì)于準(zhǔn)確度的影響較大，并且學(xué)習(xí)率對(duì)于準(zhǔn)確度的有效區(qū)間較小，往往需要對(duì)學(xué)習(xí)率進(jìn)行微調(diào)，以達(dá)到最佳系數(shù)，因此在確認(rèn)網(wǎng)絡(luò)結(jié)構(gòu)時(shí)需要先確定學(xué)習(xí)率的大小。網(wǎng)絡(luò)使用的批尺寸大小與識(shí)別準(zhǔn)確度的關(guān)系并不密切，但不可小于20。通過(guò)比較使用不同的批尺寸和學(xué)習(xí)率的網(wǎng)絡(luò)識(shí)別準(zhǔn)確度，選擇批尺寸為30，學(xué)習(xí)率為0.0001時(shí)，能夠達(dá)到最佳的準(zhǔn)確度。

最后，本文對(duì)比了不同識(shí)別方法對(duì)于出血圖像的識(shí)別準(zhǔn)確度，如表4所示。所對(duì)比的方法包括Sonu等[2]使用的基于RGB空間的方法、Li等[5]使用的基于HSI和多層感知機(jī)的方法、Pan等[9]使用的基于HSI和PNN的方法以及本文使用的基于CNN的識(shí)別方法。使用的數(shù)據(jù)為同一數(shù)據(jù)集。結(jié)果顯示，對(duì)比與傳統(tǒng)識(shí)別方法，基于CNN的識(shí)別方法有其優(yōu)? 越性。

2.4? 區(qū)域回歸

在獲得最終的分類網(wǎng)絡(luò)后，由于網(wǎng)絡(luò)訓(xùn)練和測(cè)試時(shí)使用的圖像大小為120×120，而膠囊內(nèi)窺鏡獲得的圖像大小為576×576，因此，需要對(duì)大圖像進(jìn)行區(qū)域提取，獲得120×120的圖像，之后在輸入到網(wǎng)絡(luò)中進(jìn)行分類，獲得分類結(jié)果。通過(guò)對(duì)分類結(jié)果進(jìn)行處理，能夠獲得圖像的區(qū)域信息，判斷某個(gè)區(qū)域是否存在病灶，最后對(duì)該區(qū)域進(jìn)行標(biāo)記，標(biāo)記結(jié)果如圖3所示。

如圖3所示，通過(guò)病灶區(qū)域回歸步驟，能夠獲得病灶區(qū)域的大致位置，雖然可能由于準(zhǔn)確度不足而無(wú)法標(biāo)記到準(zhǔn)確位置，但對(duì)于較為明顯的病灶，標(biāo)記結(jié)果尚可。

3? 結(jié)論

本文使用卷積神經(jīng)網(wǎng)絡(luò)用于膠囊內(nèi)窺鏡圖像中的出血病灶識(shí)別，通過(guò)對(duì)比不同網(wǎng)絡(luò)結(jié)構(gòu)以及網(wǎng)絡(luò)參數(shù)和訓(xùn)練參數(shù)下的準(zhǔn)確度，獲得最佳的卷積核大小、數(shù)量、批尺寸大小以及學(xué)習(xí)率，最終網(wǎng)絡(luò)的分類準(zhǔn)確度可達(dá)92.30%。最后，在獲得分類結(jié)果后，使用區(qū)域回歸方法獲得病灶的區(qū)域并標(biāo)記。未來(lái)需要提高分類的準(zhǔn)確度從而使區(qū)域標(biāo)記更加準(zhǔn)確，提高分類準(zhǔn)確度可通過(guò)改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)、增加圖像特征等方法實(shí)現(xiàn)。

參考文獻(xiàn)

[1] 張偉， 謝德明. 膠囊內(nèi)鏡的技術(shù)進(jìn)展及臨床應(yīng)用[J]. 生物醫(yī)學(xué)工程與臨床， 2012， 16（05）： 499-503.

[2] Sainju Sonu， Bui Francis M， Wahid Khan， Bleeding detection in wireless capsule endoscopy based on color features from histogram probability[J]. doi： 10.1109/CCECE.2013.6567779. 2013 26th IEEE Canadian Conference on Electrical and Computer Engineering （CCECE）， 2013： 1-4.

[3] 潘國(guó)兵. 無(wú)線膠囊內(nèi)窺鏡系統(tǒng)及內(nèi)窺圖像中出血智能識(shí)別研究[D]. 上海交通大學(xué)， 2010： 73-79.

[4] Ghosh T， Bashar S. K， Fattah S. A， Shahnaz C， Wahid K. A， A feature extraction scheme from region of interest of wireless capsule endoscopy images for automatic bleeding detection[J]. doi： 10.1109/ISSPIT.2014.7300597. 2014 IEEE International Symposium on Signal Processing and Information Technology （ISSPIT）， 2014： 000256-000260.

[5] Li B， Meng M Q. Computer-aided detection of bleeding regions for capsule endoscopy images.[J]. IEEE transactions on bio-medical engineering， 2009， 56（4）： 1032.

[6] Kumar R， Qian Zhao， Seshamani S， Mullin G， Hager G， Dassopoulos T， Assessment of Crohn's Disease Lesions in Wireless Capsule Endoscopy Images[J]. doi：10.1109/TBME. 2011.2172438. IEEE Transactions on Biomedical Engineering， 2012， 2： 355-362.

[7] Sindhu C. P， Valsan Vysak， A novel method for automatic detection of inflammatory bowel diseases in wireless capsule endoscopy images[J]. doi： 10.1109/ICSCN.2017.8085711. 2017 Fourth International Conference on Signal Processing， Communication and Networking （ICSCN）， 2017： 1-6.

[8] Yi Xiong， Yiting Zhu， Zhiyong Pang， Yuzhe Ma， Dihu Chen， Xinying Wang， Bleeding detection in wireless capsule endoscopy based on MST clustering and SVM[J]. doi：10.1109/ SiPS.2015.7345001. 2015 IEEE Workshop on Signal.

[9] Guobing Pan， Guozheng Yan， Xiangling Qiu， and Jiehao Cui. Bleeding detection in wireless capsule endoscopy based on probabilistic neural network. Journal of medical systems， 35（6）： 1477-1484， 2011.

[10] 張曉明， 尹鴻峰. 基于卷積神經(jīng)網(wǎng)絡(luò)和語(yǔ)義信息的場(chǎng)景分類[J]. 軟件， 2018， 39（01）： 29-34.

[11] 劉騰飛， 于雙元， 張洪濤， 等. 基于循環(huán)和卷積神經(jīng)網(wǎng)絡(luò)的文本分類研究[J]. 軟件， 2018， 39（01）： 64-69.

[12] 宋婷婷， 徐世許. 基于全采樣和L1范數(shù)降采樣的卷積神經(jīng)網(wǎng)絡(luò)圖像分類方法[J]. 軟件， 2018， 39（2）： 75-80.

[13] 吳亞熙， 岑峰. 基于卷積神經(jīng)網(wǎng)絡(luò)的多層級(jí)目標(biāo)檢測(cè)方法[J]. 軟件， 2018， 39（4）： 164-169.

[14] Jia Xiao， Meng Max Q.-H， Gastrointestinal bleeding detection in wireless capsule endoscopy images using handcrafted and CNN features[J]. doi： 10.1109/EMBC.2017.8037526. 2017 39th Annual International Conference of the IEEE Engineering in Medicine and Biology Society （EMBC）， 2017： 3154-3157.

[15] Jia X， Meng M Q， Xiao J， et al. A deep convolutional neural network for bleeding detection in Wireless Capsule Endoscopy images.[J]. IEEE Engineering in Medicine and Biology Society， 2016： 639-642.

[16] Lecun Y， Bottou L， Bengio Y， Haffner P， Gradient-based learning applied to document recognition[J]. doi： 10.1109/ 5.726791. Proceedings of the IEEE， 1998， 11： 2278-2324.

[17] Krizhevsky Alex， Sutskever Ilya， Hinton Geoffrey， ImageNet classification with deep convolutional neural networks[J]. doi： 10.1145/3065386. Communications of the ACM， 2017， 6： 84-90.

[18] Simonyan K， Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition[J]. Computer Science， 2014.

[19] 蒲杰方， 盧熒玲. 基于聚類算法和神經(jīng)網(wǎng)絡(luò)的客戶分類模型構(gòu)建[J]. 軟件， 2018， 39（4）： 130-136.

[20] 趙文可， 孫玉國(guó). 彈性RBF神經(jīng)網(wǎng)絡(luò)在人臉識(shí)別中的應(yīng)用研究[J]. 軟件， 2018， 39（5）： 203-206.

[21] 重慶金山科技有限公司. 膠囊內(nèi)鏡臨床疾病圖譜[OL]. （2018-12-19）. http：//www.jinshangroup.com/