深度學(xué)習(xí)在胰腺醫(yī)學(xué)影像中的應(yīng)用綜述

王曠怡，胡秀枋

（上海理工大學(xué)醫(yī)療器械與食品學(xué)院，上海 200093）

0 引言

胰腺癌發(fā)病隱匿、預(yù)后極差，經(jīng)臨床數(shù)據(jù)統(tǒng)計，胰腺癌患者5 年生存率只有8%，當(dāng)胰腺癌發(fā)生轉(zhuǎn)移時，該比例會下降到3%［1-2］。盡管胰腺癌診斷可通過醫(yī)學(xué)影像技術(shù)如CT 等進(jìn)行初步診斷，但準(zhǔn)確率差強(qiáng)人意［3］。

隨著人工智能技術(shù)的發(fā)展，作為其重要技術(shù)之一的深度學(xué)習(xí)也得到了廣泛研究。深度學(xué)習(xí)技術(shù)的日漸成熟為輔助醫(yī)生實(shí)現(xiàn)高精度診斷提供了新機(jī)會［4-5］。目前深度學(xué)習(xí)在醫(yī)學(xué)影像上的應(yīng)用十分廣泛，并取得了顯著成果［6］，但針對其在胰腺醫(yī)學(xué)影像上的應(yīng)用還缺乏綜述性研究。因此，本文對其進(jìn)行綜述，以期為后續(xù)相關(guān)研究提供參考。本文回顧了深度學(xué)習(xí)發(fā)展歷程，總結(jié)了深度學(xué)習(xí)在胰腺醫(yī)學(xué)影像上的應(yīng)用，包括胰腺組織病理圖像、CT 圖像及超聲圖像等，并介紹了現(xiàn)階段深度學(xué)習(xí)在胰腺醫(yī)學(xué)影像診斷中面臨的問題及對未來的展望。

1 深度學(xué)習(xí)發(fā)展史

1.1 深度學(xué)習(xí)起源

從1943 年心理學(xué)家McCilloch與數(shù)學(xué)邏輯學(xué)家Pitts［7］提出MCP 模型開始，人工神經(jīng)網(wǎng)絡(luò)的大門就此打開。1958年，計算機(jī)科學(xué)家Rosenblatt 發(fā)現(xiàn)了一種類似于人類學(xué)習(xí)過程的算法（感知機(jī)學(xué)習(xí)），并且提出了感知機(jī)模型，這對于神經(jīng)網(wǎng)絡(luò)的發(fā)展具有里程碑式的意義［8］。但在1969 年，Marvin 等［9］編寫了《感知器》，證明感知器本質(zhì)上就是一種線性模型（Linear Model），無法解決線性不可分問題，至此人工神經(jīng)網(wǎng)絡(luò)進(jìn)入第一個寒冬期，神經(jīng)網(wǎng)絡(luò)研究也陷入了將近20 年的停滯。

1.2 深度學(xué)習(xí)發(fā)展

1986 年，神經(jīng)網(wǎng)絡(luò)之父Hinton 提出一種適用于多層感知器（Multi-Layer Perceptron，MLP）的反向傳播（BackPropagation，BP）算法，采用Sigmoid 進(jìn)行非線性映射，完美地解決了非線性分類問題［10］，使得沉寂已久的神經(jīng)網(wǎng)絡(luò)再一次獲得了大眾關(guān)注。但受當(dāng)時計算機(jī)硬件條件的限制，無法解決由于神經(jīng)網(wǎng)絡(luò)規(guī)模變大，BP 算法會出現(xiàn)梯度消失現(xiàn)象，導(dǎo)致模型無法進(jìn)行有效學(xué)習(xí)的問題，阻礙了深度學(xué)習(xí)的進(jìn)一步發(fā)展。

1.3 深度學(xué)習(xí)爆發(fā)

2006 年，Hinton 等［11］在世界頂尖刊物《科學(xué)》上提出解決梯度消失問題的方案：通過無監(jiān)督預(yù)訓(xùn)練對權(quán)值進(jìn)行初始化，再使用有監(jiān)督訓(xùn)練進(jìn)行微調(diào)。該文章一發(fā)表，立即在學(xué)術(shù)圈引起巨大反響，掀起了深度學(xué)習(xí)研究的高潮。2012 年，Hinton 課題組憑借深度學(xué)習(xí)模型AlexNet 在著名的ImageNet 圖像識別比賽中奪得冠軍，其首次采用ReLU 激活函數(shù)，可很好地抑制梯度消失問題。深度學(xué)習(xí)算法在世界大賽中的脫穎而出，再一次吸引了研究者們的關(guān)注，基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）也得到了更深入的研究［12-14］。

2 深度學(xué)習(xí)在胰腺醫(yī)學(xué)圖像診斷中的應(yīng)用

2.1 深度學(xué)習(xí)在胰腺病理學(xué)圖像上的應(yīng)用

組織病理學(xué)是臨床上腫瘤診斷的金標(biāo)準(zhǔn)，組織病理學(xué)圖像是病理學(xué)醫(yī)生臨床診斷的重要輔助工具，病理學(xué)醫(yī)生通過顯微鏡觀察組織切片作出診斷。組織病理學(xué)診斷工作任務(wù)繁重，每組的病理醫(yī)生每天分析的病理切片數(shù)量約為400 張［15］，而成為一名優(yōu)秀的醫(yī)生需要有10 萬張以上的切片分析經(jīng)驗(yàn)。截至2018 年，我國有執(zhí)照的病理醫(yī)生僅為一萬余人，缺口達(dá)到90%［16］。病理學(xué)醫(yī)生極為短缺，無法滿足我國日益增長的胰腺癌診斷需求。

如今深度學(xué)習(xí)在組織病理學(xué)上已被廣泛使用。如Wang 等［17］使用基于GoogleNet的模型在Camelyon 乳腺癌淋巴結(jié)轉(zhuǎn)移分類挑戰(zhàn)賽上取得了0.925的受試者工作特征曲線下面積（Area Under Curve，AUC）的最佳成績，說明深度學(xué)習(xí)在組織病理學(xué)圖像分類上具有很好的表現(xiàn)；Momeni-Boroujeni 等［18］使用多層感知器神經(jīng)網(wǎng)絡(luò)（MNN）分析胰腺細(xì)針穿刺活檢細(xì)胞圖像，對胰腺非典型病例的良惡性分類可達(dá)到77%的準(zhǔn)確率，說明深度學(xué)習(xí)在病理學(xué)中具有改善患者預(yù)后的潛力；Krzysztof 等［19］將神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于胰腺管內(nèi)增生性病變分類，分析來自慢性胰腺炎及需要胰腺切除的腫瘤手術(shù)患者細(xì)胞，細(xì)胞核分類的正確率達(dá)到73%，可作為探討胰腺導(dǎo)管癌早期診斷方法的起點(diǎn)。

以上研究采用了比較簡單的模型，對今后的研究具有啟發(fā)性作用，未來研究或許可應(yīng)用更復(fù)雜的模型。目前深度學(xué)習(xí)在胰腺組織病理圖像上的應(yīng)用尚較少，原因之一是可用的胰腺病理圖像數(shù)據(jù)集很少，因此還需作進(jìn)一步研究。

2.2 深度學(xué)習(xí)在胰腺CT 圖像上的應(yīng)用

電子計算機(jī)斷層掃描（Computed Tomography，CT）是利用精確、準(zhǔn)直的X 線束、γ 射線、超聲波等，與靈敏度極高的探測器一同圍繞人體某一病變部位進(jìn)行連續(xù)斷面掃描，具有掃描速度快、圖像清晰等特點(diǎn)，如今已得到了廣泛應(yīng)用。深度學(xué)習(xí)在CT 圖像領(lǐng)域也有一定應(yīng)用。基于CT 圖像的高精度胰腺是醫(yī)學(xué)圖像分析的基本內(nèi)容［20］，但因?yàn)橐认僭谡麄€腹部CT 中只占很小比例，所以胰腺分割具有很大的挑戰(zhàn)性［21］。

在胰腺CT 圖像分割方面，Roth 等［22］提出基于多層深度卷積網(wǎng)絡(luò)（convnet）的概率自底向上腹部CT 胰腺分割方法，戴斯相似性系數(shù)（Dice Similarity Coefficients，DSC）達(dá)到83.6±6.3%；楊爭爭［23］提出雙向卷積門控循環(huán)網(wǎng)絡(luò)（Bi-Directional Convolutional Gated Recurrent Unit，BDC-GRU），可有效提高胰腺分割精度，DSC 達(dá)到87.63%；Zhao 等［24］提出一個基于CNN的全自動兩階段胰腺分割框架，在NIT 數(shù)據(jù)集上DSC 平均值達(dá)到85.99%；Liu 等［25］利用U-Net 模型，使用邊界框處理CT 數(shù)據(jù)，同時添加邊界區(qū)域進(jìn)行胰腺器官圖像分割，在NIS 數(shù)據(jù)集上DSC 達(dá)到86.70%；Ma 等［26］提出一種結(jié)合深度卷積網(wǎng)絡(luò)的貝葉斯模型，在NIS 數(shù)據(jù)集上DSC達(dá)到85.32%，如表1 所示。

Table 1 Application of deep learning in pancreatic CT image Segmentation表1 深度學(xué)習(xí)在胰腺CT 圖像分割上的應(yīng)用

上述研究利用深度學(xué)習(xí)模型進(jìn)行胰腺器官分割，取得了不錯的效果。胰腺分割分為兩個階段：①訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)對胰腺器官進(jìn)行粗分割，獲得一個胰腺器官的邊框；②訓(xùn)練一個卷積神經(jīng)網(wǎng)絡(luò)對胰腺器官邊界框進(jìn)行細(xì)分割，最終實(shí)現(xiàn)對胰腺器官的分割。然而，目前基于深度學(xué)習(xí)的胰腺CT 影像分割在臨床上還沒有得到廣泛應(yīng)用，在未來的研究中，進(jìn)一步實(shí)現(xiàn)對胰管和腫瘤的分割對后續(xù)影像分析與腫瘤消融將具有重要作用。

在對胰腺CT 圖像良惡性分類預(yù)測方面，Liu 等［27］設(shè)計一種基于卷積神經(jīng)網(wǎng)絡(luò)的增強(qiáng)CT 圖像識別模型，AUC 可達(dá)到0.96，診斷一張CT 圖像僅需0.2s，說明使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像分析是一種高效、精準(zhǔn)的胰腺癌診斷方法；Chu 等［28］使用三維深度監(jiān)督網(wǎng)絡(luò)對156 例胰腺癌患者及300 例正常病例進(jìn)行分類，敏感性為94.1%，特異性為98.5%；Liu 等［29］利用卷積神經(jīng)網(wǎng)絡(luò)在本地測試集（臺灣中心370 名胰腺癌患者及320 名對照者的對比增強(qiáng)CT 圖像）上的準(zhǔn)確率達(dá)到98.6%～98.9%，在外部驗(yàn)證集（美國公開的胰腺數(shù)據(jù)集）上的準(zhǔn)確率為83.2%。

采用深度學(xué)習(xí)技術(shù)對CT 圖像良惡性進(jìn)行預(yù)測，結(jié)果令人滿意，但在外部測試集上的預(yù)測精度相比內(nèi)部測試集還存在一定差距，原因之一是不同地區(qū)的胰腺CT 圖像質(zhì)量存在差異，甚至不同醫(yī)院及不同CT 機(jī)上獲得的圖像數(shù)據(jù)集都會對模型產(chǎn)生一定影響。目前的解決方法是獲取不同分布的數(shù)據(jù)集，模型通過學(xué)習(xí)可解決一部分因圖像質(zhì)量差異造成在外部測試集上模型預(yù)測精度低的問題。將來會研究增強(qiáng)模型的泛化性，使其在不同分布的數(shù)據(jù)集上具有相似的效果。

2.3 深度學(xué)習(xí)在胰腺超聲圖像上的應(yīng)用

超聲內(nèi)鏡（EUS）是一種將內(nèi)鏡與超聲相結(jié)合的消化道檢查技術(shù)，其將微型高頻超聲探頭安置在內(nèi)鏡頂端，在體內(nèi)觀察消化道的同時進(jìn)行超聲實(shí)時掃描，獲得其層次結(jié)構(gòu)及組織學(xué)特征的超聲圖像。臨床上，發(fā)生腫瘤改變的胰腺局灶性病變患者中近四分之一需要進(jìn)行EUS 檢查，但由于胰腺腫瘤和胰腺炎癥通常具有相似的EUS 圖像，即使是經(jīng)驗(yàn)豐富的內(nèi)窺鏡醫(yī)師也可能會出現(xiàn)誤診或漏診的情況。EUS 圖像是由像素組成的數(shù)字圖像，這些像素的排列反映了EUS 圖像的組織結(jié)構(gòu)［30］。作為計算機(jī)輔助診斷技術(shù)之一的數(shù)字圖像分析可根據(jù)EUS 圖像信息對胰腺腫瘤作出診斷［4］。

Ozkan 等［31］利用多層感知機(jī)（Multilayered Perceptron，MLP）模型對332 張胰腺EUS 圖像進(jìn)行分析，診斷的靈敏度、特異性與準(zhǔn)確率分別達(dá)到83.3%、93.3% 及87.5%；Sǎftoiu 等［32］利用基于實(shí)時EUS 彈性成像的MLP 模型，為達(dá)到區(qū)分胰腺癌良惡性的目的，將色調(diào)直方圖數(shù)據(jù)轉(zhuǎn)換為彈性成像幀數(shù)，診斷的靈敏度、特異性與準(zhǔn)確率分別達(dá)到87.6%、82.9%及84.3%［32］。Kuwahara 等［33］的研究表明，與常規(guī)EUS 特征及人工診斷方式相比，深度學(xué)習(xí)算法可能是診斷胰腺導(dǎo)管內(nèi)乳頭狀粘液腫瘤（IPMNs）更準(zhǔn)確、客觀的方法，其靈敏度、特異性與準(zhǔn)確率分別達(dá)到95.7%、92.6%及94.0%，其中準(zhǔn)確率遠(yuǎn)高于人工診斷的56.0%，如表2 所示。

Table 2 Application of deep learning in ultrasound image of pancreas表2 深度學(xué)習(xí)在胰腺超聲圖像上的應(yīng)用

以上研究都只獲取了單中心的患者數(shù)據(jù)，還不足以證實(shí)該模型在其他數(shù)據(jù)集上也能達(dá)到同樣效果。Kuwahara等［33］的研究使用了數(shù)據(jù)增強(qiáng)與遷移學(xué)習(xí)等人工智能技術(shù)，獲得了超過500 000 張圖片，已足夠構(gòu)建一個高效的模型，研究結(jié)果也證明了深度學(xué)習(xí)模型可用于術(shù)前評估IPMNs的惡性程度。但因?yàn)橄嚓P(guān)數(shù)據(jù)只包含了外科病例，而在臨床上，大多數(shù)IPMNs 患者只是接受監(jiān)視而非進(jìn)行手術(shù)切除，導(dǎo)致最后的結(jié)果可能會發(fā)生偏差。

3 結(jié)語

本文回顧了深度學(xué)習(xí)發(fā)展史，綜述了深度學(xué)習(xí)在胰腺病理學(xué)圖像、CT 圖像及超聲圖像上的應(yīng)用現(xiàn)狀。目前深度學(xué)習(xí)在胰腺影像方面的應(yīng)用仍存在許多困難，首先是樣本量不足，醫(yī)學(xué)影像數(shù)據(jù)集較難獲取，能夠用于訓(xùn)練的數(shù)據(jù)集很少，而過少的數(shù)據(jù)集常常會造成模型過擬合，使得深度學(xué)習(xí)模型在其他數(shù)據(jù)集上表現(xiàn)很差；其次是醫(yī)學(xué)影像標(biāo)注問題，需要經(jīng)驗(yàn)豐富的醫(yī)生花大量時間進(jìn)行標(biāo)注。此外，隨著醫(yī)學(xué)圖像的分辨率越來越高，當(dāng)前的硬件設(shè)備無法支持對如此高分辨率圖像的處理，需要對圖像進(jìn)行分塊送入深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而影響模型無法提取出更多完整的空間信息。

為應(yīng)對這些問題，研究者們探索出了一些新方法，如遷移學(xué)習(xí)、數(shù)據(jù)集擴(kuò)增與對抗生成網(wǎng)絡(luò)（Generative Adversarial Network，GAN）在處理數(shù)據(jù)集缺乏問題時具有較好效果。目前在醫(yī)學(xué)影像標(biāo)注方面也進(jìn)行了數(shù)據(jù)自動標(biāo)記相關(guān)研究，可解決人工標(biāo)注費(fèi)時、費(fèi)力等問題。使用少量標(biāo)記數(shù)據(jù)和大量無標(biāo)記數(shù)據(jù)的半監(jiān)督學(xué)習(xí)在圖像分類任務(wù)中已取得了很好的效果，在胰腺癌診斷上的應(yīng)用也指日可待。未來無監(jiān)督學(xué)習(xí)的研究與發(fā)展也會解決人工標(biāo)注數(shù)據(jù)集缺乏的問題，為胰腺癌的智能診斷提供很大幫助。