消化道內(nèi)窺鏡圖像異常的人工智能診斷方法研究進(jìn)展

張璐璐，郭旭東，張娜，張林琪，張慧河

上海理工大學(xué) 醫(yī)療器械與食品學(xué)院 (上海,200093)

0 引言

半個(gè)多世紀(jì)以來， 人工智能經(jīng)歷了以模式識(shí)別為代表的機(jī)器學(xué)習(xí)和以卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network， CNN)為代表的深度學(xué)習(xí)階段。傳統(tǒng)機(jī)器學(xué)習(xí)系統(tǒng)利用強(qiáng)大的數(shù)據(jù)處理能力獲取數(shù)據(jù)規(guī)律， 再憑借人選經(jīng)驗(yàn)指導(dǎo)不斷改進(jìn)系統(tǒng)性能達(dá)到人工智能， 這種人工智能能夠代替人類做一些簡單的邏輯回歸及分類任務(wù)， 在測試集上表現(xiàn)出較高的準(zhǔn)確度[1]。然而, 這種基于人選特征的人工智能， 智能化水平嚴(yán)重地受限于人類對(duì)于數(shù)據(jù)的認(rèn)知經(jīng)驗(yàn)， 不能充分發(fā)揮出模型自身的數(shù)據(jù)處理能力。隨后， 科學(xué)家模擬人類大腦學(xué)習(xí)的過程， 構(gòu)建神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了端到端預(yù)測的深度學(xué)習(xí)系統(tǒng)， 人工智能能被應(yīng)用到更多、 更具體的任務(wù)場景中， 從而掀起了新一輪的人工智能熱潮[2]。

近年來, 人工智能在醫(yī)學(xué)領(lǐng)域的醫(yī)學(xué)影像、 輔助診療、 疾病預(yù)后、 健康管理、 醫(yī)院管理等方向均取得了不錯(cuò)的成績[3]。醫(yī)學(xué)影像占據(jù)了醫(yī)療數(shù)據(jù)的絕大部分， 對(duì)醫(yī)療影像的處理自然地成為了人工智能在醫(yī)學(xué)領(lǐng)域的研究熱點(diǎn)。其中， 消化道無線膠囊內(nèi)窺鏡(Wireless Capsule Endoscope， WCE)是一種微創(chuàng)、 痛苦小的檢查方法， 醫(yī)生主要通過消化內(nèi)鏡拍攝的圖片獲知人體消化道內(nèi)部的信息。內(nèi)鏡圖像檢測的智能化有利于提高醫(yī)療影像處理效率， 緩解醫(yī)生閱片壓力， 加快我國消化內(nèi)鏡的使用速度。人們對(duì)內(nèi)窺鏡圖像智能檢測的研究已有數(shù)十年時(shí)間， 目前該技術(shù)已經(jīng)有望被應(yīng)用于臨床實(shí)踐中。

1 息肉智能檢測的應(yīng)用進(jìn)展

息肉是一種變態(tài)發(fā)育的組織， 被證明與結(jié)直腸癌的發(fā)生、 發(fā)展密切相關(guān)， 對(duì)息肉的早期檢測有助于顯著地降低結(jié)直腸癌發(fā)生的機(jī)率， 息肉智能檢測已經(jīng)成為人工智能在消化道內(nèi)窺鏡圖像檢測領(lǐng)域最重要的應(yīng)用。息肉外觀大都為水螅型， 具有規(guī)則的曲率特征， 早期人工智能主要分析其形狀指數(shù)、 曲率、 球度比、 高斯曲率、 平均曲率等參數(shù)[4]， 特征選取相同的情況下， 采取基于區(qū)域的預(yù)處理方法能夠提高檢測性能。Figueiredo等[5]和Vani等[6]分別利用圖像的局部平均曲率和主曲率檢測WCE圖像中的息肉異常， 發(fā)現(xiàn)這種基于局部圖像僅分析曲率特征的方法雖然實(shí)現(xiàn)了檢測需求， 但容易在腸道褶皺處發(fā)生漏診， 此外， 息肉分化形態(tài)多樣， 人工判定的曲率閾值不易檢全異常。為了避免正常區(qū)域紋理特征產(chǎn)生的干擾， Hwang等[7]縮小特征提取區(qū)域， 使用標(biāo)記符控制的分水嶺算法分割息肉， 引入了Gabor濾波器和K均值算法， 篩選梯度幅度變化產(chǎn)生的過量標(biāo)記再分析其曲率特征， 提高息肉檢測準(zhǔn)確率至100%， 特異性為81%。

為了改善單一特征檢測結(jié)果特異性低的問題， 出現(xiàn)了多種紋理特征結(jié)合的方案。Yuan等[8]改進(jìn)特征包(Bag of Feature， BoF)方法， 提取異常點(diǎn)的多種紋理特征， 并用詞匯聚類中心直方圖作為特征向量輸入SVM進(jìn)行分類。Liu等[9]提出結(jié)合多尺度的曲線及紋理特征檢測小腸腫瘤， 用離散曲線變換(Discrete Curvelet Transform， DCT)擴(kuò)充數(shù)據(jù)量， 提取圖像矩陣的二階、 三階統(tǒng)計(jì)量構(gòu)建特征向量， 以遺傳算法篩選特征， 最后系統(tǒng)在分類任務(wù)中實(shí)現(xiàn)了98%的特異性。之后， 深度學(xué)習(xí)再次提高了系統(tǒng)的整體預(yù)測性能， 其中密集連接的卷積神經(jīng)網(wǎng)絡(luò)DenseNet以前饋方式將每層與另一層連接， 這種結(jié)構(gòu)能保證網(wǎng)絡(luò)層間的最大信息流， 緩解梯度消失問題， Yuan等[10]引入多種損失函數(shù)篩選特征， 優(yōu)化后的DenseNet對(duì)息肉檢測準(zhǔn)確率達(dá)95.62%。Mustain等[11]將CNN用于特征提取， 評(píng)估特征的有效性后用分?jǐn)?shù)融合的方法結(jié)合網(wǎng)絡(luò)特征和彩色小波特征， 檢測息肉準(zhǔn)確率達(dá)98.79%， 特異性為98.52%。

2 出血智能檢測的應(yīng)用進(jìn)展

消化道出血是臨床檢查中最為常見的異常之一， 因其可由多種病因引起， 所以通過檢測出血可以有效地判斷消化道疾病的嚴(yán)重程度。出血區(qū)域常呈現(xiàn)出色度更為飽和的紅色， 在顏色上與正常組織區(qū)別明顯， 大多預(yù)處理過程會(huì)先將圖像轉(zhuǎn)換到不同色彩空間中分析其顏色特征。Fu等[12]和Kundu等[13]對(duì)圖像進(jìn)行超像素分割， 分別分析RGB空間和YIQ空間中超像素的單通道顏色直方圖， 獲得了多尺度的顏色特征用于出血檢測。Ghosh等[14]將圖像轉(zhuǎn)換到HSV空間， 考慮單一通道檢測出血異常能力的差別， 對(duì)比從S、 V通道獲取的顏色特征， 發(fā)現(xiàn)H通道特征對(duì)出血圖像有更高的檢測精度和靈敏度， 接著又開創(chuàng)性地提出[15]利用RGB色彩空間G通道和R通道獲取變換過程的顏色特征。區(qū)別于提取空間時(shí)域上的特征信息， Hassan等[16]關(guān)注頻域上異常區(qū)域的表現(xiàn)， 提取了歸一化圖像的灰度共生矩陣(Gray Level Co-Occurrence Matrix， GLCM)特征， 選取頻譜特征并用SVM完成出血幀的檢查， 結(jié)合了頻域的全局和局部特征， 同時(shí)驗(yàn)證頻域傅里葉頻譜與時(shí)域圖像異常的關(guān)聯(lián)性， 該方法的準(zhǔn)確性達(dá)到99.19%。

出血異常與正常組織在紋理上存在一定差異， 使用紋理特征能描述更多表現(xiàn)微弱的異常， 如Tuba等[17]結(jié)合顏色和紋理特征檢測WCE圖像中的出血異常， 提取HIS空間中H、 S通道， CIE-Lab空間中a通道的顏色特征和灰度圖像LBP直方圖的偏度、 峰度等紋理特征。在WCE中檢測和定位胃腸道的出血點(diǎn)， 可以準(zhǔn)確地定位早期的血管發(fā)育不良或貧血， Shvets等[18]以深度學(xué)習(xí)框架為基礎(chǔ)， 設(shè)計(jì)了一個(gè)二元分類器區(qū)分正常與出血圖像， 以圖像像素為單元用定位算法定位出血點(diǎn)。相比對(duì)其他消化道異常的檢測， 臨床上對(duì)出血異常的診治時(shí)間要求更加緊迫， 目前來看， 消化道出血檢測的焦點(diǎn)主要是對(duì)無線電子膠囊內(nèi)窺鏡的圖像檢測而非視頻檢測， 由此表明， 雖然已經(jīng)實(shí)現(xiàn)圖像對(duì)出血檢測， 但實(shí)時(shí)性還未達(dá)到實(shí)際應(yīng)用要求。

3 潰瘍智能檢測的應(yīng)用進(jìn)展

多種嚴(yán)重消化道疾病的發(fā)生均伴有潰瘍現(xiàn)象， 因此潰瘍檢測也是消化道異常檢測中一個(gè)活躍的研究話題。潰瘍異常大多為白色或淺灰色， 形狀分化較多， 邊界多呈現(xiàn)類圓特征， Souaidi等[19]綜合考慮顏色， 紋理特征， 結(jié)合完備的局部二值模式(Completed Local Binary Patterns， CLBP)中的CLBP-S、 CLBP-M和5層拉普拉斯金字塔(Laplacian Pyramid MS)的多尺度方法， 提取潰瘍區(qū)域在RGB和YCbCr色彩空間中G通道和Cr通道表現(xiàn)出的特征， 在兩個(gè)數(shù)據(jù)集上分別測試準(zhǔn)確率達(dá)95.11%和93.88%。WCE中深度學(xué)習(xí)的方法也被證明能夠有效用于消化道潰瘍檢測， 其中卷積神經(jīng)網(wǎng)絡(luò)的使用最為廣泛， Aoki等[20]訓(xùn)練了一個(gè)基于SSD(Single Shot Multibox)的CNN系統(tǒng)， 對(duì)小腸潰瘍檢測的準(zhǔn)確率和特異性分別為90.8%和90.9%。Fan等[21]對(duì)預(yù)訓(xùn)練的網(wǎng)絡(luò)調(diào)參， 獲得了表現(xiàn)更優(yōu)的系統(tǒng)， 修改AlexNet的多路輸出為兩路輸出表示正常和異常， 分別應(yīng)用到WCE圖像中的潰瘍和糜爛異常的檢測， 準(zhǔn)確率達(dá)到96.36%和94.68%。Alaskar[22]僅調(diào)節(jié)經(jīng)過預(yù)訓(xùn)練的GoogleNet和AlexNet的參數(shù)， 實(shí)驗(yàn)結(jié)果顯示用這兩種網(wǎng)絡(luò)模型檢測潰瘍的準(zhǔn)確率達(dá)到100%。Yuan等[23]用濾波器組提取多尺度的紋理和顏色特征表示潰瘍圖像， 融合多尺度的特征之后結(jié)合位置約束的線性編碼方法(Locality-Constrained Linear Coding， LLC)進(jìn)行特征編碼， 識(shí)別測試集潰瘍圖像準(zhǔn)確率達(dá)92.65%。胃癌是一種常見的惡性腫瘤， 可以由潰瘍或早期癌組織發(fā)展而來， 及時(shí)檢查胃內(nèi)潰瘍能夠降低胃癌的發(fā)生率 。Le等[24]對(duì)彩色胃鏡圖像使用深度學(xué)習(xí)的方法分別區(qū)分正常、 良性潰瘍和癌癥， 在ImageNet上初始化網(wǎng)絡(luò)權(quán)重再使用遷移學(xué)習(xí)， 比較ResNet和VGGNet在這項(xiàng)任務(wù)中的表現(xiàn)發(fā)現(xiàn)用二分類的方法區(qū)分正常圖像的準(zhǔn)確度超過90%， 而用來區(qū)分相似度高的潰瘍與癌癥時(shí)準(zhǔn)確率明顯下降， 表明若要真正實(shí)現(xiàn)臨床上的疾病分期， 僅使用遷移學(xué)習(xí)還不能很好實(shí)現(xiàn)， 仍需對(duì)網(wǎng)絡(luò)做進(jìn)一步優(yōu)化。

4 多異常智能檢測的應(yīng)用進(jìn)展

為了適應(yīng)實(shí)際應(yīng)用中消化道疾病的多樣性， 人們開始嘗試多種異常的協(xié)同檢測。特征融合方法的提出， 解決了傳統(tǒng)機(jī)器學(xué)習(xí)中難以利用單一特征同時(shí)檢測多種異常的短板， 取得了不錯(cuò)的成績。Sharif等[25]用CNN作為特征提取器提取顏色和幾何特征并融合， 用條件熵篩選特征， KNN分類器進(jìn)行圖像分類， 完成精確度達(dá)99%的出血、 正常和潰瘍圖像分類。 Karargyris[26]采用 SUSAN 邊緣檢測器和log Gabor濾波器提取圖像形狀特征， 之后用雙閾值順序聚類方法(Two-Threshold Sequential Clustering)找出曲率中心來分割感興趣區(qū)域， 實(shí)現(xiàn)了WCE中對(duì)小腸息肉和潰瘍的協(xié)同檢測。實(shí)驗(yàn)發(fā)現(xiàn)改變曲率閾值能夠提高對(duì)形狀規(guī)則的息肉的檢測準(zhǔn)確率， 對(duì)形狀不規(guī)則的潰瘍異常檢查效果提高不明顯， 表明曲率特征更適合檢測形狀規(guī)則的異常區(qū)域。類比時(shí)域中將圖片轉(zhuǎn)換到不同色彩空間得到多尺度的顏色特征， 人們考慮在頻域用濾波器組篩選特征， Nawarathna等[27]提出對(duì)LM(Leung and Malik,LM)濾波器組運(yùn)用LBP算法獲得多種紋理特征， 再使用IBD(Image Block Dictionary)分類器分類多種異常， 發(fā)現(xiàn)對(duì)出血異常及腺瘤檢測使用紋理特征敏感性更高。Charfi[28]結(jié)合離散小波變換(Discrete Wavelet Transform， DWT)和LBP(Uniform Pattern)方式進(jìn)行特征提取， 用SVM和反向傳播的多層神經(jīng)網(wǎng)絡(luò)(Multilayer Perceptron， MLP)完成多種病灶的協(xié)同檢測。近年來， 乳糜瀉的患病率逐年增加， 影響了亞洲達(dá)1.5%的人口[29]， 為了在一幅圖像中同時(shí)區(qū)分出乳糜瀉和非特異性十二指腸炎， Wei等[30]使用移動(dòng)滑動(dòng)塊逐行檢測異常， 模型基于ResNet識(shí)別乳糜瀉、 正常組織和非特異性十二指腸炎的準(zhǔn)確度分別為95.3%， 91.0%和89.2%。

5 深度學(xué)習(xí)在消化道其他異常檢測中的應(yīng)用進(jìn)展

傳統(tǒng)機(jī)器學(xué)習(xí)的異常檢測過程需要人工給出病灶區(qū)域， 提取特征并篩選， 特征表達(dá)能力受限于人類認(rèn)知能力， 并且特征間的差距不易表現(xiàn)出像素之間的聯(lián)系。深度學(xué)習(xí)由低級(jí)到高級(jí)逐層篩選特征， 與傳統(tǒng)的檢測方法相比， 深度學(xué)習(xí)提高了異常識(shí)別準(zhǔn)確率和對(duì)大數(shù)據(jù)的檢測效率。新一代人工智能自出現(xiàn)以來， 已經(jīng)給醫(yī)學(xué)圖像處理領(lǐng)域帶來了三個(gè)歷史性轉(zhuǎn)折點(diǎn)： 一是深度學(xué)習(xí)的提出， 改變以往人工篩選特征用于測試集分類， 成為一種端到端的圖像檢測方式； 二是卷積網(wǎng)絡(luò)的應(yīng)用， 實(shí)現(xiàn)了對(duì)醫(yī)學(xué)圖像精準(zhǔn)分割的需求， 而不僅是分類； 三是遷移學(xué)習(xí)技術(shù)的出現(xiàn)， 讓模型的預(yù)測能力不再受制于訓(xùn)練集大小， 加大了深度學(xué)習(xí)在醫(yī)療領(lǐng)域的使用范圍。Yang等[31]基于超像素特征檢測圖像異常， 合并提取的顏色和紋理特征為一個(gè)特征向量表示圖像， 提出的深度稀疏支持向量機(jī)(DSSVM)模型對(duì)特征加以權(quán)重并進(jìn)行分類， 增強(qiáng)了對(duì)異常分類的適應(yīng)性。Zhu[32]基于ResNet用圖像增強(qiáng)和遷移學(xué)習(xí)的方法區(qū)分早期胃癌與黏膜浸潤， 對(duì)胃癌檢測敏感度為76.47%， 準(zhǔn)確率為89.16%， 有效減少了人工診斷對(duì)浸潤程度的高估， 減少了不必要的胃切除術(shù)。Lan等[33]提出基于深度級(jí)聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)， 聯(lián)合區(qū)域分析和遷移學(xué)習(xí)的方法， 使用多區(qū)域組合的方法獲得感興趣區(qū)域的良好覆蓋率完成分割， 提高圖像異常檢測性能。

6 總結(jié)與展望

本研究以人工智能在消化道檢測中的常見異常為切入點(diǎn)， 介紹了基于傳統(tǒng)機(jī)器學(xué)習(xí)智能檢測消化道圖像異常的方法， 按照單一特征， 如顏色特征、 形狀特征和紋理特征等； 介紹了多特征、 多尺度結(jié)合的異常檢測方法； 說明了深度學(xué)習(xí)和特征融合的使用為圖像異常智能檢測帶來的改進(jìn)。人工智能初應(yīng)用于消化道圖像異常檢測， 人們主要研究顏色、 紋理和幾何特征， 前兩者相對(duì)于幾何特征具有更強(qiáng)的異常表達(dá)能力， 在這兩個(gè)方面的研究也更多。通過提取多維的特征表述異常區(qū)域， 使用泛化能力更好的分類器以及圖像預(yù)處理和特征融合方法的應(yīng)用， 能實(shí)現(xiàn)較好的檢測準(zhǔn)確率。隨著人工智能的快速發(fā)展， 深度學(xué)習(xí)技術(shù)尤其是CNN， 在醫(yī)學(xué)圖像分析和識(shí)別中得到了廣泛的應(yīng)用。遷移學(xué)習(xí)技術(shù)的出現(xiàn)， 使模型預(yù)測的能力不再受制于訓(xùn)練集大小， 同時(shí)也解決了醫(yī)學(xué)領(lǐng)域中的更多問題。

然而， 對(duì)于消化道異常的人工智能診斷仍有問題等待我們解決： 目前還未能通過圖像處理的方法， 完成體外可視化的異常精確定位； 另外， 雖然實(shí)驗(yàn)研究已經(jīng)表明人工智能的異常檢測方法的準(zhǔn)確率已經(jīng)達(dá)到或超過專業(yè)醫(yī)生， 但是我們無法知道將這些方法用于臨床診斷時(shí)， 在診斷時(shí)間上其表現(xiàn)是否依然出色。因此， 未來應(yīng)繼續(xù)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)， 提高系統(tǒng)實(shí)時(shí)檢測速度； 增強(qiáng)網(wǎng)絡(luò)泛化能力， 實(shí)現(xiàn)結(jié)構(gòu)更優(yōu)的多異常智能檢測系統(tǒng)； 另外， 應(yīng)該加強(qiáng)軟件開發(fā)者與臨床診斷醫(yī)生的聯(lián)系， 獲取臨床實(shí)際需求， 為醫(yī)生提供可靠的診療建議； 最后， 仍需進(jìn)一步完善消化道智能檢測系統(tǒng)， 實(shí)現(xiàn)消化道異常的精準(zhǔn)定位指導(dǎo)后續(xù)治療過程。