胃鏡下早期胃癌計(jì)算機(jī)輔助分析研究綜述

溫庭棟，宋文愛，趙 莉，孫 雪，楊吉江，王 青，雷 毅

1.中北大學(xué) 軟件學(xué)院，太原030051

2.北京醫(yī)院消化科 國家老年醫(yī)學(xué)中心 中國醫(yī)學(xué)科學(xué)院老年醫(yī)學(xué)研究院，北京100730

3.北京醫(yī)院特需醫(yī)療部及全科醫(yī)學(xué)科 國家老年醫(yī)學(xué)中心 中國醫(yī)學(xué)科學(xué)院老年醫(yī)學(xué)研究院，北京100730

4.清華大學(xué) 自動化系，北京100084

長期以來，人們一直認(rèn)為胃癌是一種惡性腫瘤，從發(fā)病率到死亡率來看，胃癌是一種很嚴(yán)重的致命惡性腫瘤。2018年，全球共1 033 701例新發(fā)胃癌病例，占全部癌癥的5.7%，是繼肺癌、乳腺癌、結(jié)腸直腸癌和前列腺癌之后的第五大癌癥。2018 年，全球782 685 例死于胃癌，占全部癌癥死亡例數(shù)的8.2%，是全世界癌癥死亡的第三大主要原因[1]。因此，胃癌的早期發(fā)現(xiàn)是提高患者存活率的關(guān)鍵。

胃鏡檢查在胃部疾病的診斷中起著重要的臨床作用，由于胃癌的早期非典型癥狀及其先進(jìn)的侵略行為，減少復(fù)發(fā)和延長生存期越來越依賴于先進(jìn)的篩查、診斷、治療和其他新技術(shù)。胃鏡檢查是早期胃癌的檢測和診斷的常規(guī)解決方案，胃鏡可以使醫(yī)師能夠直接觀察胃的內(nèi)部情況。利用胃鏡圖像準(zhǔn)確診斷早期胃癌是改善患者不良預(yù)后的迫切需要。然而最近的研究表明，由于醫(yī)學(xué)影像分析工作量大，經(jīng)驗(yàn)豐富的內(nèi)鏡醫(yī)師不可避免地會出現(xiàn)誤診和漏診。傳統(tǒng)內(nèi)窺鏡檢查的檢測準(zhǔn)確性僅為69%～79%[2]。

近年來，人工智能以其高效的計(jì)算能力和學(xué)習(xí)能力在胃癌領(lǐng)域引起了相當(dāng)大的關(guān)注，尤其是深度學(xué)習(xí)算法應(yīng)用于胃鏡圖像的處理，可以實(shí)現(xiàn)計(jì)算機(jī)自動標(biāo)注和提取圖片中的病變情況，從而對疾病進(jìn)行識別和診斷。計(jì)算機(jī)輔助診斷（Computer Assisted Diagnosis，CAD）有望幫助內(nèi)鏡醫(yī)師進(jìn)行早期癌變的檢測及篩查，本文綜述了有關(guān)于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)在胃鏡診斷上的文獻(xiàn)，旨在總結(jié)目前的技術(shù)水平及技術(shù)難點(diǎn)，進(jìn)一步分析人工智能在早期胃癌領(lǐng)域需要進(jìn)一步研究和探索的內(nèi)容。

1 相關(guān)領(lǐng)域研究現(xiàn)狀

隨著人工智能領(lǐng)域的不斷發(fā)展，機(jī)器學(xué)習(xí)技術(shù)也不斷進(jìn)步，基于胃鏡圖像的胃癌診斷CAD 方法在20 年前便開始不斷地出現(xiàn)，機(jī)器學(xué)習(xí)作為人工智能的子集，可以定義為通過經(jīng)驗(yàn)自動提高的計(jì)算機(jī)算法[3]?；谟?xùn)練數(shù)據(jù)，研究人員利用機(jī)器學(xué)習(xí)算法來構(gòu)建模型，利用這些模型可以進(jìn)行預(yù)測或決策。在最近幾年中，包括隨機(jī)森林和支持向量機(jī)（Support Vector Μachine，SVΜ）在內(nèi)的深度學(xué)習(xí)算法已應(yīng)用于各個領(lǐng)域，尤其是在醫(yī)學(xué)領(lǐng)域。

截至2020年，在機(jī)器學(xué)習(xí)領(lǐng)域，深度學(xué)習(xí)已成為正在進(jìn)行的工作中采用的主要方法。深度學(xué)習(xí)是一種機(jī)器學(xué)習(xí)的算法，它使用多層結(jié)構(gòu)從原始輸入中逐漸提取高級特征。人工智能輔助胃鏡診斷利用高效的硬件和計(jì)算能力，在胃癌領(lǐng)域出現(xiàn)了幾種深度學(xué)習(xí)模型，其中包括圖像特征的提取。Liu 等人[4]設(shè)計(jì)了一種機(jī)器學(xué)習(xí)算法，稱為聯(lián)合對角化主成分分析，用于減少內(nèi)窺鏡圖像的尺寸，然后提出了一種新的人工智能輔助方法，通過聯(lián)合對角線主成分分析和傳統(tǒng)算法，實(shí)現(xiàn)無需學(xué)習(xí)即可檢測早期胃癌的圖像，顯示出比傳統(tǒng)相關(guān)方法更好的性能。Ali等人[5]提出了一種新的紋理提取方法，稱為基于Gabor的灰度共生矩陣，用于從整個色譜內(nèi)窺鏡序列中檢測異常幀。然后，將SVΜ 分類器和基于Gabor 的灰度共現(xiàn)矩陣紋理特征相結(jié)合，以篩查早期胃癌。在早期胃癌的檢測中，Luo 等人[6]的研究構(gòu)建了一種胃腸道人工智能診斷系統(tǒng)，以自動實(shí)時檢測上消化道癌。他們使用來自10個國家的84 424例標(biāo)準(zhǔn)白光的1 036 496幅內(nèi)窺鏡圖像進(jìn)行了培訓(xùn)和測試，在不同的大規(guī)模驗(yàn)證和前瞻性研究中診斷準(zhǔn)確性令人滿意。Sakai 等人[7]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的高精度自動檢測模型，并認(rèn)為該模型可以幫助增強(qiáng)內(nèi)鏡醫(yī)師的診斷能力。Yoon等人[8]用Visual Geometry Group Network（VGG-16）模型將內(nèi)窺鏡圖像分類為早期胃癌或非早期胃癌，對早期胃癌進(jìn)行準(zhǔn)確的檢測和深度預(yù)測，并評估了與人工智能輔助診斷相關(guān)的重要因素。在某些條件下，這些人工智能模型的診斷性能并不遜色于人類專家。

2 胃鏡下早期胃癌輔助診斷步驟

對胃鏡下早期胃癌診斷目前有兩種判斷思路，其關(guān)鍵區(qū)別在于處理技術(shù)：一種是直接采用目標(biāo)檢測算法對胃鏡圖像進(jìn)行識別，最終可以輸出胃鏡圖像的癌變位置與癌變程度；另一種則是在機(jī)器學(xué)習(xí)算法下提取胃鏡圖像的特征進(jìn)行模型訓(xùn)練，最終利用該模型能夠分辨出癌變與非癌變胃鏡圖像。這兩種處理步驟采用的算法和模型有較大的差別。

步驟類型1（圖1）：

（1）對收集后的胃鏡圖像進(jìn)行基本預(yù)處理后，由高年資的醫(yī)師對胃鏡圖像進(jìn)行標(biāo)注，對癌變發(fā)生的位置與癌變的程度進(jìn)行標(biāo)注，對標(biāo)注好的數(shù)據(jù)進(jìn)行保存。

（2）將病變圖像和標(biāo)注數(shù)據(jù)輸入到目標(biāo)檢測模型中進(jìn)行訓(xùn)練，最終進(jìn)行測試時輸出該胃鏡圖片的病灶位置及病變程度，對結(jié)果進(jìn)行統(tǒng)計(jì)，得出該模型的敏感性和特異性。

此類型無需對預(yù)處理后的胃鏡圖像進(jìn)行特征提取，在醫(yī)師對胃鏡圖像的病灶位置和癌變程度進(jìn)行標(biāo)注后直接輸入到目標(biāo)檢測模型中進(jìn)行訓(xùn)練，然后對胃鏡圖片進(jìn)行診斷操作。這種類型對胃鏡圖像的數(shù)據(jù)集有較高的要求，需要大量的帶標(biāo)注的胃鏡圖像數(shù)據(jù)進(jìn)行訓(xùn)練。

圖1 輔助診斷流程圖類型1

步驟類型2（圖2）：

（1）對胃鏡的拍攝圖片進(jìn)行收集，一般情況是在醫(yī)院消化科對就診病人的胃鏡圖像進(jìn)行收集，并對圖片進(jìn)行基本的預(yù)處理操作，去除不清晰、拍攝效果不好的胃鏡圖片。

（2）得到處理后的圖片需要高年資醫(yī)師對胃鏡圖像進(jìn)行標(biāo)注，對是否發(fā)生了癌變進(jìn)行標(biāo)注，對標(biāo)注好的數(shù)據(jù)進(jìn)行保存。

（3）對標(biāo)注好的數(shù)據(jù)與圖片進(jìn)行特征識別，建立深度學(xué)習(xí)模型，不斷調(diào)整模型參數(shù)，提高胃鏡圖像的識別準(zhǔn)確率。

（4）將病變胃鏡圖片輸入到模型中進(jìn)行測試，輸出該胃鏡圖片是否有癌變或非癌變，對結(jié)果進(jìn)行統(tǒng)計(jì)，得出該模型的敏感性和特異性。

圖2 輔助診斷流程圖類型2

本章簡單闡述了當(dāng)前人工智能對早期胃癌輔助診斷的兩條基本技術(shù)路線，在后續(xù)的章節(jié)中分別對各個技術(shù)要點(diǎn)進(jìn)行著重分析。

3 數(shù)據(jù)處理

3.1 圖像預(yù)處理

在胃鏡設(shè)備正常狀態(tài)下拍攝后，內(nèi)鏡成像可顯示正常的解剖生理結(jié)構(gòu)、突顯異常的解剖病理結(jié)構(gòu)，但內(nèi)鏡設(shè)備在人體內(nèi)部遠(yuǎn)距離操作拍攝，因?yàn)榕臄z的角度、光線等問題，會有一部分圖像不能夠?qū)Σ∽儾课贿M(jìn)行很好的觀察，所以會對內(nèi)鏡圖像進(jìn)行預(yù)處理，排除那些存在問題的圖像來提高對病灶位置和病變程度的識別準(zhǔn)確率。在處理圖像前需要了解現(xiàn)在的內(nèi)鏡設(shè)備以便在圖像預(yù)處理時有針對性地處理。

常用內(nèi)鏡設(shè)備包括[9]：（1）普通白光內(nèi)鏡。（2）窄帶成像技術(shù)（Narrow Band Imaging，NBI）。Lui 等人[10]已經(jīng)建議將光學(xué)放大內(nèi)窺鏡與色內(nèi)窺鏡或圖像增強(qiáng)內(nèi)窺鏡（如NBI）結(jié)合使用，以通過增強(qiáng)微表面和微血管模式來幫助區(qū)分早期胃部病變。尤其是，在NBI 檢查下，不規(guī)則的微表面和微血管形態(tài)與上皮內(nèi)瘤變有關(guān)。使用NBI的原因是研究證明了AI解釋優(yōu)于白光。（3）放大內(nèi)鏡。（4）無線膠囊內(nèi)鏡（Wireless Capsule Endoscope，WCE）。（5）內(nèi)鏡下聯(lián)動成像模式（Linked Color Imaging，LCI）[11]。還有一些設(shè)備如化學(xué)染色內(nèi)鏡、電子染色內(nèi)鏡、共聚焦激光顯微內(nèi)鏡等拍攝的圖像在人工智能檢測中很少作為數(shù)據(jù)集使用。帶有窄帶成像的放大內(nèi)窺鏡（Μ-NBI）已被用于通過觀察微血管結(jié)構(gòu)和微表面結(jié)構(gòu)來檢查胃中的腺上皮，其準(zhǔn)確性比普通白光內(nèi)窺鏡要高得多[12]。

胃鏡檢查對胃部疾病的診斷是常規(guī)的解決方法，然而傳統(tǒng)的內(nèi)窺鏡對胃部疾病的診斷容易引起誤診，原因如下：醫(yī)生在體外控制內(nèi)窺鏡，由于狹窄的入口和狹窄的視野，很難靈活地操作晶狀體以獲得對胃內(nèi)壁的詳細(xì)而全面的觀察。因此內(nèi)窺鏡檢查通常采用短焦距鏡頭（例如魚眼鏡頭等）的相機(jī)來提供大視野。這樣的鏡頭會導(dǎo)致嚴(yán)重的變形，從而降低對病變情況判斷的準(zhǔn)確性。Shi 等人[12]在對胃鏡下胃息肉的圖像進(jìn)行處理時，基于光學(xué)一致性開發(fā)了一種優(yōu)化的紋理表征方法。該方法直接將最小化縫合接縫的像素差異作為優(yōu)化目標(biāo)，從而獲得平滑胃壁的全景圖像結(jié)構(gòu)，具體效果如圖3所示。其中圖（a）是由內(nèi)窺鏡捕獲的圖像，棋盤嚴(yán)重變形（紅線可以作為參考）。除了對拍攝的內(nèi)鏡圖像進(jìn)行縫合處理外，劉丁赟[13]在對消化道內(nèi)鏡圖像進(jìn)行預(yù)處理時，通過對圖像亮度與RGB色彩的轉(zhuǎn)換，剔除掉了背景區(qū)、反光區(qū)與暗區(qū)，以此來提高對病灶位置的識別度，提高對圖像特征提取的性能。

圖3 圖像處理結(jié)果

在對胃鏡圖像進(jìn)行基本的剔除和篩選后需要醫(yī)師對胃鏡圖像進(jìn)行分類，將含癌癥病變的圖像標(biāo)記為“高度可疑”，而將不含癌癥病變的圖像標(biāo)記為“正?！保诤笃谶M(jìn)行機(jī)器學(xué)習(xí)時作為數(shù)據(jù)集。Sakai 等人[7]在圖形預(yù)處理時讓腸胃科醫(yī)生手動識別了癌癥圖像中的所有病變。將識別出的病變轉(zhuǎn)化為二進(jìn)制圖像并用作基本信息，并且從228個癌癥圖像中選擇的100個癌癥圖像，并且每一個隨機(jī)裁剪了大約100個大小為224×224像素的圖像。根據(jù)相應(yīng)的地面實(shí)況，每個裁剪的圖像都包括80%以上的癌變區(qū)域，為訓(xùn)練數(shù)據(jù)集獲得9 587 張癌癥圖像。

3.2 數(shù)據(jù)增強(qiáng)

在胃鏡通過預(yù)選后排除了質(zhì)量較差的圖像，由于數(shù)據(jù)量不足會影響后期模型的訓(xùn)練結(jié)果，在深度學(xué)習(xí)方法中數(shù)據(jù)量小可能會導(dǎo)致過度擬合，從而直接導(dǎo)致實(shí)驗(yàn)失敗。然而獲取帶注釋的訓(xùn)練數(shù)據(jù)非常昂貴，尤其是從醫(yī)學(xué)圖像中獲取。這時數(shù)據(jù)增強(qiáng)在實(shí)驗(yàn)中就顯得尤為重要了。

作為替代，傳統(tǒng)的數(shù)據(jù)增強(qiáng)通常用于通過幾何或外觀變換來增加訓(xùn)練數(shù)據(jù)集的數(shù)量。通過圖像增強(qiáng)，包括旋轉(zhuǎn)、翻轉(zhuǎn)和反轉(zhuǎn)以擴(kuò)展訓(xùn)練集，可以在訓(xùn)練集中獲得一個病變的多個圖像。通過這種方法可以增加訓(xùn)練數(shù)據(jù)以確保在后續(xù)實(shí)驗(yàn)時的識別準(zhǔn)確率。Sakai 等人[7]在處理實(shí)驗(yàn)數(shù)據(jù)時通過幾何或外觀變換來增加訓(xùn)練數(shù)據(jù)集的數(shù)量。數(shù)據(jù)擴(kuò)充是在專家知識的指導(dǎo)下進(jìn)行的[14]，已被證明是一種改進(jìn)圖像分類性能的有效方法。

通過對原始圖像的旋轉(zhuǎn)、反轉(zhuǎn)與翻轉(zhuǎn)等方式做數(shù)據(jù)增強(qiáng)，本質(zhì)上與增強(qiáng)前的原始圖像并無差別，對實(shí)驗(yàn)?zāi)Ｐ偷姆夯芰Φ母纳埔彩钟邢蓿墒綄咕W(wǎng)絡(luò)的提出（Generative Adversarial Networks，GAN）[15]為解決這一問題提供了新的思路。通過GAN擬合真實(shí)的醫(yī)療圖像分布，利用生成器輸出逼真的新樣本，在醫(yī)療數(shù)據(jù)增強(qiáng)中已經(jīng)取得了不錯的成果?，F(xiàn)階段在胃鏡圖像的GAN醫(yī)療研究文獻(xiàn)較少，因此值得進(jìn)一步開展相關(guān)研究。

4 特征提取

病灶模型構(gòu)建是早期胃癌胃鏡圖像處理的一個核心任務(wù)，其中最重要的便是對胃鏡圖片進(jìn)行特征提取，無論是對病變位置的識別還是對癌變程度的識別，都對胃癌的判斷起到了關(guān)鍵的作用。本章分析了現(xiàn)有的特征提取的研究現(xiàn)狀。

傳統(tǒng)胃鏡圖像特征主要是指三種視覺特征：顏色特征、紋理特征和形狀特征。下面分別對這三種特征提取方法進(jìn)行分析。

（1）顏色特征：顏色特征是醫(yī)生在判斷胃鏡圖像中最直觀的特征，通過胃鏡圖像所呈現(xiàn)的顏色來進(jìn)行描述，具有整體性。顏色特征提取方法有顏色直方圖、顏色集、顏色矩陣等[16]。顏色特征也常用來對胃鏡圖像進(jìn)行特征提取，隨著時間推移，該算法在內(nèi)鏡圖像處理領(lǐng)域也在不斷發(fā)展和進(jìn)步。Sainju[17]與Yeh[18]等人在分析胃鏡圖像時提出了使用從RGB顏色空間的三個平面的一階直方圖概率得出的統(tǒng)計(jì)特征來表示圖像區(qū)域，定義了顏色的三個屬性，即色相、飽和度和值，以區(qū)分顏色分量的分析方法。

（2）紋理特征：紋理是一種重要的視覺線索，是圖像中普遍存在而又難以描述的特征。紋理特征提取的目標(biāo)是，提取的紋理特征維數(shù)不大，鑒別能力強(qiáng)，穩(wěn)健性好，提取過程計(jì)算量小，能夠指導(dǎo)實(shí)際應(yīng)用。胃癌的病變在胃鏡中的紋理變化特征比較明顯，紋理特征也被運(yùn)用在胃癌識別的圖像處理中。Ji[19]與Li[20]等人采用紋理特征分析算法，提取紋理特征，計(jì)算共生矩陣的特征值，構(gòu)建紋理特征向量，得到圖像紋理信息。

（3）形狀特征：描述目標(biāo)的輪廓和形狀。在早期胃癌檢測中病灶的形狀變化不明顯，用形狀特征很難對病灶進(jìn)行特征分析，因此與顏色紋理特征相比，關(guān)于早期胃癌的形狀特征的參考文獻(xiàn)出現(xiàn)頻率比較少，但在治療其他胃病如胃息肉、腫瘤時對胃鏡所拍攝的圖像進(jìn)行形狀特征提取有顯著的效果，如Hwang[21]與Μesejo[22]等人提出了一種新的技術(shù)，即采用匹配曲線方向、曲率、邊緣距離和形狀來區(qū)分息肉區(qū)域和非息肉區(qū)域的橢圓的新技術(shù)，該技術(shù)專注于形狀而不是紋理。

通常，通過從顏色、紋理、形狀和空間布局中來提取胃鏡圖像特征，已經(jīng)提出了幾種方法來有效地將圖像建模為特征向量進(jìn)行傳統(tǒng)特征的提取。這些方法大多數(shù)都依賴于低級特征提取，這些特征無法對圖像中的高級語義建模，沒有自學(xué)習(xí)能力和自調(diào)整能力，特征內(nèi)容也是固定的，并且常常受到高維的困擾，在一定程度上限制了這些特征對早期胃癌病變的鑒別，從而使索引和匹配過程效率極低。深度學(xué)習(xí)的模型很好地解決了以上的問題。

5 分類模型

在對胃鏡圖像特征提取后，通常最后一步會使用分類算法對上一步提取的特征進(jìn)行分類，從而實(shí)現(xiàn)病變圖像的識別。

5.1 基于傳統(tǒng)機(jī)器學(xué)習(xí)的分類模型

機(jī)器學(xué)習(xí)可以學(xué)習(xí)大量的數(shù)據(jù)中的規(guī)律和模式，從而發(fā)掘出數(shù)據(jù)中存在的潛在信息，現(xiàn)在廣泛運(yùn)用于分類、回歸等問題中。在早期胃癌的輔助檢測中最常用的是監(jiān)督學(xué)習(xí)，輸入帶標(biāo)簽（是否是胃癌）的胃鏡圖像數(shù)據(jù)，通過數(shù)據(jù)訓(xùn)練出模型，然后利用模型進(jìn)行預(yù)測分類。Guimar?es 等人[23]提出一種機(jī)器學(xué)習(xí)方法，使用來自近端胃部的真實(shí)內(nèi)窺鏡圖像開發(fā)和訓(xùn)練模型來診斷萎縮性胃炎。該模型在獨(dú)立的數(shù)據(jù)集中達(dá)到93%的準(zhǔn)確度。Μiyaki 等人[24]設(shè)計(jì)了一種基于SVΜ 的分析系統(tǒng)，該系統(tǒng)可與新設(shè)計(jì)的內(nèi)窺鏡系統(tǒng)一起使用，以在通過藍(lán)激光成像（BLI）放大內(nèi)窺鏡獲得的圖像上定量識別胃癌。該實(shí)驗(yàn)結(jié)果中平均輸出值為0.846±0.220。H?fner等人[25]使用運(yùn)算符從內(nèi)窺鏡圖像中提取特征運(yùn)用KNN（K-Nearest Neighbor）算法進(jìn)行分類，并根據(jù)相應(yīng)的息肉類別對圖像進(jìn)行分類。Iakovidis 等人[26]利用SVΜ 分類算法對腸鏡圖像的CWC 特征進(jìn)行分類，實(shí)現(xiàn)息肉的圖像識別。

5.2 基于深度學(xué)習(xí)的分類模型

在機(jī)器學(xué)習(xí)領(lǐng)域中，深度學(xué)習(xí)在近些年有很大的發(fā)展，已成為許多正在進(jìn)行的工作中采用的主要方法。深度學(xué)習(xí)從人工神經(jīng)網(wǎng)絡(luò)發(fā)展而來，與傳統(tǒng)的特征提取方法相比，深度學(xué)習(xí)使用多層結(jié)構(gòu)從原始輸入中逐漸提取高級特征。憑借著這個優(yōu)勢深度學(xué)習(xí)在機(jī)器視覺的CAD 中得到了廣泛的應(yīng)用，讓其自動處理消化道內(nèi)鏡圖像，對于減輕醫(yī)生負(fù)擔(dān)、減少漏診、提高診斷準(zhǔn)確率和效率具有十分重要的意義，是當(dāng)前較為熱門的研究方向。

由于硬件和計(jì)算能力的不斷發(fā)展，在胃癌領(lǐng)域也出現(xiàn)了很多深度學(xué)習(xí)模型。獲得高檢測精度的關(guān)鍵在于特征的提取，以區(qū)分病變圖像和標(biāo)準(zhǔn)圖像。常用的深度學(xué)習(xí)算法普遍由卷積神經(jīng)網(wǎng)絡(luò)發(fā)展而來。卷積神經(jīng)網(wǎng)絡(luò)主要由卷積層、池化層、全連接層組成。將圖像預(yù)處理后輸入到卷積神經(jīng)網(wǎng)絡(luò)中，首先通過卷積層生成圖像的特征數(shù)據(jù)，然后經(jīng)過池化層對特征數(shù)據(jù)進(jìn)行聚合統(tǒng)計(jì)，最后在全連接層進(jìn)行分類識別。

卷積神經(jīng)網(wǎng)絡(luò)在胃鏡圖像處理中的應(yīng)用也很廣泛。Sakai 等人[7]提出了一種轉(zhuǎn)移CNN 模型，該模型對兩種白光內(nèi)窺鏡圖像（癌癥和正常圖像）的詳細(xì)紋理信息進(jìn)行了微調(diào)。該模型使用目標(biāo)區(qū)域來微調(diào)和預(yù)測訓(xùn)練網(wǎng)絡(luò)的參數(shù)，在敏感性和特異性方面平衡性良好，準(zhǔn)確性達(dá)到了87.6%，并且能夠顯示早期胃癌的大致位置。由于在選擇數(shù)據(jù)的時候只選擇了有紋理信息的胃鏡圖像進(jìn)行處理，可能會影響后期實(shí)驗(yàn)結(jié)果的準(zhǔn)確性。Zhu 等人[14]基于內(nèi)窺鏡圖像構(gòu)建了卷積神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)輔助檢測（CNN-CAD）系統(tǒng)，以確定侵入深度并篩選患者以進(jìn)行內(nèi)窺鏡切除術(shù)，利用預(yù)訓(xùn)練CNN架構(gòu)ResNet50，開發(fā)了基于人工智能的CNN-CAD 系統(tǒng)，靈敏度為76.47%，特異性為95.56%，總體準(zhǔn)確性為89.16%。不足之處在于實(shí)驗(yàn)時采用的胃鏡圖像為傳統(tǒng)的白光內(nèi)窺鏡。如果使用窄帶成像放大內(nèi)窺鏡進(jìn)行深度學(xué)習(xí)，可以帶來更高的準(zhǔn)確性，并且實(shí)驗(yàn)數(shù)據(jù)量較小也會影響實(shí)驗(yàn)的準(zhǔn)確性。Wang等人[27]開發(fā)了一個基于AdaBoost的多列卷積神經(jīng)網(wǎng)絡(luò)（ΜCNN），用于增強(qiáng)胃癌篩查。該方法的新穎之處在于將電子胃鏡檢查與基于云的內(nèi)窺鏡圖像分析工具相結(jié)合，通過組合各種訓(xùn)練的CNN 模型（即AlexNet、GoogLeNet 和VGGNet）來構(gòu)建ΜCNN 模型，以增強(qiáng)胃癌篩查的性能。實(shí)驗(yàn)結(jié)果表明，提出的多列CNN 方法大大優(yōu)于其他CNN 模型和非深度學(xué)習(xí)方法（包括KNN 和基于SVΜ 的分類器）。Horiuchi 等人[28]采用深度神經(jīng)網(wǎng)絡(luò)架構(gòu)GoogLeNet 構(gòu)建的CNN，與傳統(tǒng)的CNN 相比具有足夠的參數(shù)和神經(jīng)網(wǎng)絡(luò)的有效表達(dá)，有效提高了區(qū)分早期胃癌和非癌性（胃炎）病變的能力，驗(yàn)證結(jié)果表明，靈敏度和特異性分別為82.3%和91.7%。使用Μ-NBI 的CNN 模型的診斷敏感性優(yōu)于內(nèi)鏡醫(yī)師。此次實(shí)驗(yàn)選擇了清晰的圖像，因此很難使用不清晰的圖像來診斷疾病。在實(shí)際操作中有可能會拍攝到不清晰的胃鏡圖像，因此對不清晰的胃鏡圖像處理也有待研究。Li 等人[29]開發(fā)了一個基于CNN 的新系統(tǒng)，以分析Μ-NBI觀察到的胃粘膜病變。CNN系統(tǒng)在早期胃癌診斷中的敏感性、特異性和準(zhǔn)確性分別為91.18%、90.64%和90.91%。此次實(shí)驗(yàn)使用窄帶成像放大內(nèi)窺鏡的實(shí)驗(yàn)效果要優(yōu)于普通白光內(nèi)窺鏡，由于實(shí)驗(yàn)的數(shù)據(jù)量較小，并且采用了傳統(tǒng)的CNN 模型對卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)很少，研究也排除了0-I型和0-III型病變，也限制了CNN系統(tǒng)的應(yīng)用范圍。Liu等人[30]首次應(yīng)用轉(zhuǎn)移學(xué)習(xí)微調(diào)Deep CNN 特征，通過多組對比實(shí)驗(yàn)，對所有層都進(jìn)行了微調(diào)，層的前半部分經(jīng)過微調(diào)，部分層的后半部分被凍結(jié)，只有完全連接的圖層進(jìn)行微調(diào)，并保持以前的圖層固定的情況。三組微調(diào)的CNN模型分別對Μ-NBI圖像的胃粘膜病變進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明，在Μ-NBI醫(yī)學(xué)圖像分類問題中應(yīng)用的CNN 的轉(zhuǎn)移學(xué)習(xí)，通過微調(diào)更多的網(wǎng)絡(luò)層，效果更好，最高精度、靈敏度和特異性分別是98.5%、98.1%和98.9%。所有基于CNN 應(yīng)用下的實(shí)驗(yàn)結(jié)果詳情見表1。

表1 基于CNN模型在胃鏡中的應(yīng)用總結(jié)

6 目標(biāo)檢測

6.1 圖像標(biāo)注

因?yàn)榛贑NN的方法需要準(zhǔn)備大量帶注釋的數(shù)據(jù)集，所以應(yīng)該由經(jīng)驗(yàn)豐富的醫(yī)師對胃鏡圖像進(jìn)行標(biāo)注，標(biāo)注病灶的位置與癌變的程度（未發(fā)現(xiàn)、早期、晚期等），常用的標(biāo)注軟件有l(wèi)abelme。因?yàn)槲哥R圖像標(biāo)注的正確性會對實(shí)驗(yàn)結(jié)果產(chǎn)生直接的影響，所以由高年資內(nèi)鏡醫(yī)師對圖像病變位置和病變程度標(biāo)注的準(zhǔn)確率會高。尤其是對于醫(yī)學(xué)圖像而言，人工識別需要高年資內(nèi)鏡師對大量圖像進(jìn)行標(biāo)注，這是要克服的重大挑戰(zhàn)之一。

6.2 目標(biāo)檢測算法

目標(biāo)檢測算法主要對圖像包含多個不同的物體進(jìn)行定位并給出準(zhǔn)確的邊界框和類別區(qū)分，隨著深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展，目標(biāo)檢測算法的性能也有很大的提升。基于深度學(xué)習(xí)的目標(biāo)檢測算法主要分為兩大類：一類為R-CNN[31]（Region Convolutional Neural Network）、SPP-Net[32]、Fast R-CNN[33]、Faster R-CNN[34]、R-FRC[35]、Μask R-CNN[36]等都屬于基于候選區(qū)域的兩階段目標(biāo)檢測算法。這類算法先通過邊界框搜索算法生成一系列區(qū)域候選框，然后通過卷積神經(jīng)網(wǎng)絡(luò)對原圖像提取特征進(jìn)行分類和定位；另一類為YOLO[37]（You Only Look Once）、SSD[38]（Single Shot multibox Detector）等屬于基于回歸的單階段目標(biāo)檢測算法。這一類算法不需要先生成預(yù)選框，通過回歸模型直接檢測得到目標(biāo)的類別概率和位置坐標(biāo)。這兩類算法都有各自的優(yōu)勢和缺點(diǎn)[39]。

目標(biāo)檢測也可以運(yùn)用在醫(yī)學(xué)領(lǐng)域，在CAD 的早期胃癌檢測領(lǐng)域運(yùn)用得還不是很廣泛。Wang等人[40]對胃鏡圖像采用Faster R-CNN 方法檢測胃息肉，用ROI 對齊操作來取代ROI池操作，并使用soft NΜS替換Faster R-CNN網(wǎng)絡(luò)中的傳統(tǒng)NΜS，最終檢測結(jié)果精確度、召回率分別為78.96%、76.07%。Hirasawa等人[41]提出了一種使用SSD進(jìn)行對象檢測的胃癌自動檢測方法，其靈敏度為92.2%，陽性預(yù)測值為30.6%。SSD 將邊界框的輸出空間離散化為具有不同縱橫比和每個要素地圖位置比例的一組默認(rèn)框。在預(yù)測階段，網(wǎng)絡(luò)會為每個默認(rèn)框中的每個對象類別的存在生成分?jǐn)?shù)，并能夠?qū)υ摽蜻M(jìn)行調(diào)整以更好地匹配對象形狀。然而，高假陽性率仍未解決。Shibata 等人[42]使用實(shí)例分割方法Μask R-CNN從內(nèi)窺鏡圖像中檢測和分割胃癌區(qū)域。向Μask R-CNN提供了內(nèi)窺鏡圖像，并獲得了胃癌區(qū)域的邊界框和標(biāo)簽圖像。通過五倍交叉驗(yàn)證進(jìn)行性能評估，每個圖像的靈敏度和誤報（FP）分別為96.0%和0.10。Ding 等人[43]基于邊緣計(jì)算平臺中k-DSC 模塊的TinierYOLO算法開發(fā)了智能電子胃鏡系統(tǒng)。將感興趣的病變區(qū)域（ROI）分割策略集成到Y(jié)OLOv3 算法中。這種集成大大提高了大規(guī)模并發(fā)胃鏡圖像分析的效率，同時大大提高了ceDLD在病變定位和細(xì)粒度分類中的平均精度（mAP），以實(shí)現(xiàn)胃鏡視頻的實(shí)時病變定位和細(xì)粒度疾病分類。TinierYOLO 可以預(yù)測上述消化道疾病，平均敏感性為79.39%，平均特異性超過87%。Shi等人[12]在胃鏡下檢測胃息肉時使用了自己優(yōu)化后的SSD，稱為Selective SSD。在Selective SSD 中，對SSD 原始損失函數(shù)在迭代過程中檢測到的負(fù)樣本進(jìn)行排序，僅選擇具有高置信度的負(fù)樣本進(jìn)行訓(xùn)練，直接過濾低樣本。這種方法解決了網(wǎng)絡(luò)卷積問題，并在一定程度上提高了收斂的準(zhǔn)確性，全景圖的平均誤差小于2 mm，息肉檢測的準(zhǔn)確性為95%，召回率為99%。并與其他的目標(biāo)檢測算法Faster R-CNN、R-CNN、Original SSD 等做了對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明Selective SSD 的實(shí)驗(yàn)結(jié)果最為理想。此次實(shí)驗(yàn)也不能定論SSD 的模型優(yōu)于其他的目標(biāo)檢測模型。所有基于目標(biāo)檢測應(yīng)用的實(shí)驗(yàn)結(jié)果詳情見表2。

表2 基于目標(biāo)檢測算法在胃鏡中的應(yīng)用總結(jié)

6.3 小結(jié)

基于深度學(xué)習(xí)的特征提取和目標(biāo)檢測與基于顏色、紋理、形狀的特征提取算法相比，基于CNN的深度學(xué)習(xí)需要大量的樣本作為訓(xùn)練集進(jìn)行訓(xùn)練，然后利用訓(xùn)練好的模型進(jìn)行特征提取，而傳統(tǒng)的顏色、紋理、形狀的特征提取則不需要。在CAD領(lǐng)域基本公認(rèn)基于深度學(xué)習(xí)的特征提取性能已經(jīng)超越傳統(tǒng)顏色、紋理、形狀的傳統(tǒng)特征提取方法。然而深度學(xué)習(xí)特征提取方法需要大量有標(biāo)注的數(shù)據(jù)，需要有資歷的醫(yī)師對胃鏡圖像進(jìn)行精準(zhǔn)的標(biāo)注，這也是限制CAD 在深度學(xué)習(xí)特征提取領(lǐng)域發(fā)展的原因之一，因此基于深度學(xué)習(xí)的特征提取算法在胃鏡圖像數(shù)據(jù)集中的應(yīng)用依然是值得繼續(xù)研究的方向。

7 模型對比

在胃鏡下胃癌的早期計(jì)算機(jī)輔助診斷中基本的技術(shù)路線有三種：（1）特征提取+機(jī)器分類；（2）深度學(xué)習(xí)；（3）目標(biāo)檢測。三種技術(shù)路線各有優(yōu)勢。

在深度學(xué)習(xí)還未成熟之前對胃鏡圖像采用的處理方式為傳統(tǒng)特征提取，包括顏色、形狀、紋理等特征。然后用機(jī)器學(xué)習(xí)的分類方法進(jìn)行圖像分類，以識別該胃鏡圖像是否有癌變的跡象。由于采取的特征提取沒有自學(xué)習(xí)和自調(diào)整的能力，特征的內(nèi)容是固定的，在一定程度上限制了對胃鏡圖像的辨別能力。在深度學(xué)習(xí)等算法逐漸成熟后，采用傳統(tǒng)特征提取的方法已逐漸淘汰。

隨著深度學(xué)習(xí)的發(fā)展，深度學(xué)習(xí)使機(jī)器能夠使用反向傳播算法來分析各種訓(xùn)練圖像并提取特定的臨床特征。基于累積的臨床特征，機(jī)器可以前瞻性地診斷新獲得的臨床圖像。使用在邏輯上模擬計(jì)算機(jī)上腦神經(jīng)元的結(jié)構(gòu)和活動的CNN，在圖像識別領(lǐng)域CNN 被稱為最佳性能模型。Chen等人[44]利用經(jīng)典的CNN實(shí)現(xiàn)了窄帶腸鏡圖像識別結(jié)腸息肉圖像。目前CNN 已經(jīng)發(fā)展了很多變體，如AlexNet[45]、RestNet[46]、GoogLeNet[47]等，已經(jīng)在診斷胃鏡下病變的CAD 領(lǐng)域得到了廣泛的應(yīng)用。Zhu 等人[14]使用RestNet 對胃鏡圖像進(jìn)行特征提取并分類，最終實(shí)現(xiàn)了胃癌圖像的分類與胃癌病灶的分期判斷。同樣van Riel等人[48]采用了AlexNet實(shí)現(xiàn)對食管早期癌病變區(qū)域的注釋。深度學(xué)習(xí)與傳統(tǒng)特征相比，基于CNN 的深度算法需要利用大量的數(shù)據(jù)對參數(shù)進(jìn)行訓(xùn)練，深度學(xué)習(xí)模型也會隨著實(shí)驗(yàn)樣本數(shù)據(jù)的變化而發(fā)生變化，最后實(shí)現(xiàn)最佳的識別效果。經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)提取的特征已無法使用傳統(tǒng)特征顏色、紋理、形狀等直觀且便于理解的方式進(jìn)行解釋。在圖像處理方面采用深度學(xué)習(xí)方法已經(jīng)是公認(rèn)的主流趨勢，其超越了傳統(tǒng)的特征提取方式。

然而深度學(xué)習(xí)也有自身所存在的問題，眾所周知，深度學(xué)習(xí)方法的訓(xùn)練需要大量的數(shù)據(jù)，支持小型數(shù)據(jù)集可能會導(dǎo)致過度擬合。由于要檢測對象的特殊性，很難收集和整理數(shù)據(jù)。制作數(shù)據(jù)集需要大量的人力、物力和時間。這導(dǎo)致深度學(xué)習(xí)方法在早期胃癌檢測中的應(yīng)用無法獲得與常用數(shù)據(jù)集相同的結(jié)果。為了在早期胃癌檢測中獲得更好的結(jié)果，不僅需要設(shè)計(jì)更大的數(shù)據(jù)集，而且還需要設(shè)計(jì)更合適的網(wǎng)絡(luò)結(jié)構(gòu)。在緩慢擴(kuò)展數(shù)據(jù)集的同時，采用更好的檢測方法非常重要。

表3 模型優(yōu)缺點(diǎn)對比總結(jié)

目標(biāo)檢測作為深度學(xué)習(xí)的遷移學(xué)習(xí)模型在早期胃癌識別中也廣泛被應(yīng)用，目標(biāo)檢測相對于深度學(xué)習(xí)不僅繼承了深度學(xué)習(xí)的優(yōu)點(diǎn)而且能更好地對特征進(jìn)行提取。在Μask R-CNN 等目標(biāo)檢測算法中卷積過程采用了上采樣的方式，有效避免了處理圖像中微小特征丟失的問題，在檢測早期胃癌時可以處理許多不同的情況。面對大小和顏色不同的病灶，利用目標(biāo)檢測的方法可以準(zhǔn)確地檢測。在胃鏡圖像中可以準(zhǔn)確地檢測單個病灶還是多個病灶。盡管深度學(xué)習(xí)方法在早期胃癌的檢測中有很大的優(yōu)勢，但對數(shù)據(jù)要求高且需要高年資的醫(yī)師對圖像進(jìn)行標(biāo)注，對計(jì)算機(jī)的配置也有要求，這些因素限制了深度方法難以廣泛應(yīng)用。而傳統(tǒng)的特征提取所需要的數(shù)據(jù)量小，針對早期胃癌的CAD 方法依然是值得研究的方向。模型優(yōu)缺點(diǎn)對比詳情如表3。

8 結(jié)束語

在胃鏡圖像的早期胃癌識別中，特征提取是早期胃癌識別的核心，基于傳統(tǒng)顏色、形狀、紋理的特征提取或者在深度學(xué)習(xí)方法下進(jìn)行特征提取模型建立?；贑NN 的深度網(wǎng)絡(luò)普遍可視為一個“端到端”的系統(tǒng)，可以對輸入的圖像進(jìn)行處理后直接輸出分類結(jié)果，然后通過測試集對該模型進(jìn)行檢測，檢測其敏感性、特異性、準(zhǔn)確性、漏診率、誤診率。這是目前最能實(shí)現(xiàn)落地的技術(shù)方向。

早期胃癌的人工智能診斷系統(tǒng)難點(diǎn)之一就是數(shù)據(jù)集缺失，數(shù)據(jù)量不足導(dǎo)致實(shí)驗(yàn)結(jié)果不理想。想要解決數(shù)據(jù)集缺失的問題，可行的解決方法主要有兩種方式：一是與醫(yī)院加強(qiáng)合作，這樣可以直接獲得醫(yī)生標(biāo)注的數(shù)據(jù)，但因?yàn)榻?jīng)驗(yàn)豐富的醫(yī)師和專家精力和時間有限，而且內(nèi)鏡數(shù)據(jù)的公開還會涉及到病人的隱私保護(hù)問題，所以通過這種方式得到的數(shù)據(jù)依然有限。二是在已有的數(shù)據(jù)集上通過技術(shù)手段擴(kuò)展當(dāng)前的數(shù)據(jù)，可以通過旋轉(zhuǎn)、翻轉(zhuǎn)和反轉(zhuǎn)等簡單的方式擴(kuò)展數(shù)據(jù)，也可以通過GAN 等深度學(xué)習(xí)方法拼接出新的胃鏡圖像，以解決數(shù)據(jù)不足的問題。

胃鏡圖像的人工智能診斷目前依然有較高的漏診和誤診率，發(fā)展計(jì)算機(jī)視覺的CAD方法，最終的人工智能診斷可以像一位資深內(nèi)鏡師一樣對胃鏡圖像進(jìn)行精準(zhǔn)檢測，讓其自動識別病變圖像，自動標(biāo)注病灶區(qū)域。這樣對于減輕醫(yī)生負(fù)擔(dān)，減少漏診率，提高胃癌的治療幾率具有十分重要的意義。進(jìn)一步提高人工智能下內(nèi)鏡的診斷準(zhǔn)確率，有助于推動早期胃癌的治療及診斷。