基于雙模態(tài)深度學(xué)習(xí)模型診斷及鑒別診斷nAMD和PVC的研究

崔英杰，袁立飛，王艷輝，張勝娟，宋美娜，胡天翼，周庚顯，王莉菲★

（1.華北理工大學(xué)，河北 唐山 063210；2.河北省眼科醫(yī)院，河北 邢臺(tái) 054001 ；3.北京郵電大學(xué)計(jì)算機(jī)學(xué)院，國(guó)家示范性軟件學(xué)院，北京 100876）

年齡相關(guān)性黃斑變性（AMD）是黃斑的獲得性疾病，其特征在于光感受器- 視網(wǎng)膜色素上皮復(fù)合物出現(xiàn)遲發(fā)性神經(jīng)變性，進(jìn)而引起進(jìn)行性視覺損傷[1]。AMD 是一種不可逆的、嚴(yán)重的致盲性眼病，是目前我國(guó)第三大致盲性眼病，也是導(dǎo)致老年人群失明的主要原因，主要影響中心視力。此病患者的年齡多在50歲以上，雙眼可先后或同時(shí)發(fā)病，視力呈進(jìn)行性損害。預(yù)計(jì)到2040 年，全球AMD 病例數(shù)量將達(dá)到2.88億例[2]。AMD 主要分為“干性”和“濕性”兩個(gè)類型，而濕性AMD（wAMD）又可進(jìn)一步分為新生血管性AMD（nAMD）和息肉狀脈絡(luò)膜血管病變（PCV）。wAMD 的早期監(jiān)測(cè)和干預(yù)已被證明可以改善視力，因此早期診斷和治療能最大限度地挽救患者的視力。光學(xué)相干斷層掃描（OCT）檢查作為近年來應(yīng)用于臨床眼科的新型檢查技術(shù)，具有非侵入性、非接觸性以及成像結(jié)果能夠清晰、定量、直觀顯示病變的部位和層次等優(yōu)點(diǎn)[3]。眼底照相（CFP）技術(shù)在眼科檢查中應(yīng)用廣泛，并取得了一定效果。近年來隨著人工智能（AI）技術(shù)的興起和發(fā)展，利用機(jī)器學(xué)習(xí)對(duì)圖像進(jìn)行自動(dòng)識(shí)別與分析在眼底圖像自動(dòng)分析等醫(yī)學(xué)領(lǐng)域的研究中取得了重要進(jìn)展?，F(xiàn)階段，眼科醫(yī)生的數(shù)量與眼底病患者的數(shù)量不成正比，且根據(jù)CFP 和OCT 圖像對(duì)wAMD 進(jìn)行診斷會(huì)受到不同程度的干擾，增加了閱片難度。為緩解臨床眼科醫(yī)生工作量與患者需求量之間的矛盾，我們將AI 分析引入wAMD 輔助診斷領(lǐng)域，實(shí)現(xiàn)了對(duì)眼底圖像中異常成分的自動(dòng)實(shí)時(shí)識(shí)別，為臨床醫(yī)生提供疾病診斷參考并輔助醫(yī)生進(jìn)行快速診斷。目前，針對(duì)wAMD 進(jìn)一步分類的研究較少，但由于nAMD 和PCV 的診療方案存在一定的差異，因此需要對(duì)wAMD 進(jìn)行亞型分類，以利于臨床輔助診斷工作的有效進(jìn)行。本研究旨在利用AI 學(xué)習(xí)模型輔助識(shí)別和診斷PCV 和nAMD，以提高臨床醫(yī)師的工作效率和效能，具有重要的臨床意義和公共衛(wèi)生實(shí)踐價(jià)值。

1 對(duì)象與方法

1.1 研究對(duì)象

選擇2020 年1 月至2021 年12 月就診于河北省眼科醫(yī)院，經(jīng)熒光素血管造影（FFA）和吲哚菁綠血管造影（ICGA）檢查確診的wAMD 及PCV 患者共56例作為研究對(duì)象，所有患者均行CFP 和OCT 檢查，篩選體征典型、圖像分辨率高的123 張CFP 影像和545 張OCT 影像（共4218 張）進(jìn)行分析。

1.2 方法

1.2.1 圖片預(yù)處理 對(duì)圖片進(jìn)行裁剪，隱藏所有患者影像資料中的個(gè)人信息及圖片信息，且在訓(xùn)練數(shù)據(jù)上進(jìn)行隨機(jī)旋轉(zhuǎn)、隨機(jī)水平翻轉(zhuǎn)、隨機(jī)對(duì)比度增強(qiáng)等增強(qiáng)操作。

1.2.2 圖片標(biāo)注 進(jìn)行標(biāo)注系統(tǒng)搭建，首先由4 位臨床眼科醫(yī)生對(duì)該數(shù)據(jù)集進(jìn)行標(biāo)注，其中包括1 位主任醫(yī)師，2 位副主任醫(yī)師，1 位主治醫(yī)師。標(biāo)注共分為兩輪，第一輪標(biāo)注時(shí)，影像以患者為最小分發(fā)單位隨機(jī)分發(fā)給4 位臨床醫(yī)生，該過程與臨床診斷類似；第二輪標(biāo)注時(shí)，由4 位醫(yī)生共同對(duì)該批數(shù)據(jù)集進(jìn)行閱片和標(biāo)注。確保標(biāo)注結(jié)果的準(zhǔn)確性和一致性。標(biāo)注內(nèi)容包括視網(wǎng)膜內(nèi)出血、滲出，視網(wǎng)膜層間積液，視網(wǎng)膜下積液，視網(wǎng)膜下高反射病灶、視網(wǎng)膜色素上皮（RPE）脫離，玻璃膜疣等眼底病變。

1.2.3 圖片篩選 由4 名臨床經(jīng)驗(yàn)豐富的眼科醫(yī)生進(jìn)行獨(dú)立觀察、分析和篩選每幅圖像，并完成診斷。若遇到診斷結(jié)論不一致的情況，則由另一名眼底病專家進(jìn)行最后的判斷。在將數(shù)據(jù)用于深度學(xué)習(xí)前，除去質(zhì)量較差的影像后，將同一患者同一只眼的CFP 影像和OCT 影像匹配為一組雙模態(tài)影像，如圖1 所示。

圖1 匹配為一組雙模態(tài)影像示例

1.3 智能系統(tǒng)開發(fā)

針對(duì)目前輔助診斷領(lǐng)域普遍存在的只使用單一醫(yī)學(xué)影像、未對(duì)wAMD 進(jìn)一步分類等問題，我們提出了雙模態(tài)wAMD 輔助診斷模型Wet-AMD-Net，該模型包括兩個(gè)部分：1）不同特征提取模型應(yīng)用于不同模態(tài)數(shù)據(jù)特征的提??；2）對(duì)特征表示進(jìn)行融合。

1.3.1 特征提取 用于處理CFP 影像的特征提取模型記作F 模型，處理OCT 影像的特征提取模型記作O 模型。VGGNet 和ResNet 系列在主流的圖像特征提取方法中是最具有代表性的。本研究先將VGG16、ResNet18 和ResNet34 三種模型分別作為同構(gòu)特征提取模型，采用基于特征的連接策略進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果表明，使用VGG16 作為特征提取模型的Wet-AMD-Net 在F1 值、kappa 值、ROC 曲 線 下 面積（AUROC）、召回率、精確度上都比ResNet18 和ResNet34 模型的數(shù)據(jù)要好。第二步將VGG16 特征提取模型作為其中的一個(gè)固定模型，并分析不同特征提取模型組合效果的差異。實(shí)驗(yàn)的特征融合依然采取基于特征的連接策略，結(jié)果表明，當(dāng)CFP 影像和OCT影像的特征提取模型都為VGG16 時(shí)，模型的性能達(dá)到最優(yōu)。

1.3.2 特征融合 本研究分析了三種特征融合的方式，分別為基于特征的連接策略、基于特征的權(quán)重分配策略和基于分類結(jié)果的權(quán)重分配策略。我們將VGG16作為CFP 影像和OCT 影像的特征提取模型，采用三種不同的特征融合策略分別進(jìn)行實(shí)驗(yàn)對(duì)比。實(shí)驗(yàn)結(jié)果表明，當(dāng)兩種模態(tài)影像的特征提取模型均為VGG16時(shí)，基于特征的連接策略為最優(yōu)的融合策略。

1.4 AI 與?？漆t(yī)師比較

為了科學(xué)評(píng)價(jià)AI 模型的臨床應(yīng)用性和效能，我們將其與專業(yè)的醫(yī)師進(jìn)行比對(duì)分析，將4 位臨床醫(yī)生的第一次標(biāo)注結(jié)果作為實(shí)際臨床診療中的篩查結(jié)果，第二次標(biāo)注結(jié)果作為數(shù)據(jù)的真實(shí)標(biāo)簽，可以得到4 位臨床醫(yī)生的標(biāo)注F1 值等評(píng)價(jià)指標(biāo)。

1.5 統(tǒng)計(jì)學(xué)方法

采用SPSS 22.0 統(tǒng)計(jì)學(xué)軟件進(jìn)行統(tǒng)計(jì)分析。應(yīng)用ROC 曲線分析AI 的診斷性能，采用F1 值、Kappa 值、AUROC、召回率、精確度等作為系統(tǒng)評(píng)價(jià)效能指標(biāo)。

2 結(jié)果

本次研究納入明確診斷為wAMD 的56 例患者的123 張CFP 影像和545 張OCT 影像，其中68 張影像診斷為nAMD，132 張影像診斷為PCV，269 張影像診斷為其他。利用VGG16 的深度學(xué)習(xí)方法成功建立了兩種特征提取模型。圖像質(zhì)量控制后，共得到469組影像，選擇其中366 組影像進(jìn)行訓(xùn)練，數(shù)據(jù)標(biāo)簽分布如表1 所示。對(duì)其中51 組影像進(jìn)行驗(yàn)證及52 組影像進(jìn)行測(cè)試，從而對(duì)構(gòu)建的模型進(jìn)行評(píng)估，其中標(biāo)簽為nAMD 的影像資料有57 組用于訓(xùn)練集，5 組用于驗(yàn)證集，6 組用于測(cè)試集；標(biāo)簽為PCV 的影像資料有103 組用于訓(xùn)練集，18 組用于驗(yàn)證集，11 組用于測(cè)試集；標(biāo)簽為其他的影像資料有206 組用于訓(xùn)練集，28 組用于驗(yàn)證集，35 組用于測(cè)試集。使用訓(xùn)練數(shù)據(jù)集測(cè)試了三種CNN 特征提取模型，結(jié)果表明VGG16表現(xiàn)最好。確定特征提取模型后，測(cè)試了三種不同的特征融合策略，結(jié)果VGG16 作為兩種模態(tài)影像的特征提取模型為最優(yōu)的融合策略。

為了展示我們提出算法的有效性，與臨床經(jīng)驗(yàn)豐富的醫(yī)生進(jìn)行了對(duì)比。AI 模型的性能由F1 值、Kappa 值、AUROC、召回率、精確度五個(gè)主要結(jié)果來表示。該模型在F1 值、召回率、精確度上分別達(dá)到了0.9798、0.9792、0.9821，表明該模型可以較為準(zhǔn)確地識(shí)別及鑒別nAMD 和PCV ；該模型的Kappa 值、AUROC 分別達(dá)到了0.9550、0.9881，Kappa 值達(dá)到0.9550 表明該模型的一致性很高；AUROC 通常被用來評(píng)估AI 模型的性能，AUROC 達(dá)到0.9881 表明該模型的性能優(yōu)異。而臨床醫(yī)生的平均水平在F1 值、Kappa 值、AUROC、召回率、精確度上分別為0.9110、0.7949、0.9557、0.9010、0.9522。可以得出該模型的水平均超過了4 位眼科臨床醫(yī)生，并且該模型能夠準(zhǔn)確且高特異性地診斷及鑒別nAMD 和PCV。詳見表2。

表1 數(shù)據(jù)標(biāo)簽分布

表2 模型與臨床醫(yī)生對(duì)比實(shí)驗(yàn)

3 討論

早期診斷wAMD 是一項(xiàng)非常重要且具有挑戰(zhàn)性的任務(wù)，雖然OCT 和CFP 技術(shù)作為一種實(shí)時(shí)的非侵入性影像學(xué)檢查在臨床上應(yīng)用已十分廣泛，但因患者的早期篩查意識(shí)不到位，且眼科醫(yī)生相對(duì)患者來說數(shù)量較少，導(dǎo)致閱片效率低下，因此對(duì)wAMD 的早期篩查仍存在巨大的挑戰(zhàn)。在本研究中，我們利用深度學(xué)習(xí)方法構(gòu)建了一個(gè)新智能模型來識(shí)別CFP 圖像和OCT 圖像中的特征并將其提取出來，進(jìn)而輔助醫(yī)生診斷和區(qū)分nAMD 與PCV。此次研究模型的嘗試實(shí)現(xiàn)了AI 的雙級(jí)跳，預(yù)示了巨大的臨床轉(zhuǎn)化應(yīng)用前景。該系統(tǒng)無需使用ICGA 有創(chuàng)檢查，僅利用無創(chuàng)的CFP和OCT 圖像即可達(dá)到專業(yè)眼科醫(yī)師的診斷水平，其安全性和高效性為以后在臨床實(shí)際的廣泛應(yīng)用夯實(shí)了基礎(chǔ)。本課題的主要目的是：第一，運(yùn)用深度卷積神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)nAMD 和PCV 的分類診斷；第二，對(duì)比不同特征提取模型和特征融合策略的診斷效能差異；第三，評(píng)估對(duì)比深度學(xué)習(xí)模型和醫(yī)生判讀結(jié)果的診斷效能差異。

3.1 國(guó)內(nèi)外相關(guān)研究的進(jìn)展

AI 技術(shù)與wAMD 診斷相結(jié)合現(xiàn)已成為許多學(xué)者的研究熱點(diǎn)。Burlina 等[4]人是最早研究基于深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)現(xiàn)AMD 智能輔助診斷的，他們利用預(yù)先訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)分析眼底影像從而進(jìn)行診斷，實(shí)現(xiàn)了利用AI 技術(shù)完成對(duì)正常、早期、中期和晚期AMD 的分型診斷。Venhuizen 等[5]人建立了一個(gè)基于深度學(xué)習(xí)實(shí)現(xiàn)通過OCT 影像進(jìn)行分級(jí)診斷的AI 系統(tǒng)，可將無、早期、中期、伴有地圖樣萎縮的晚期AMD、伴有新生血管（CNV）的晚期AMD 5 個(gè)不同的級(jí)別進(jìn)行診斷。該系統(tǒng)的AUROC 為0.980，靈敏度為98.2%，特異度為91.2%，醫(yī)師的靈敏度分別為97.0% 和99.4%，特異度分別為89.7% 和87.2%，這與醫(yī)師的表現(xiàn)形成了鮮明對(duì)比。

雖然單一維度的眼底AI 診斷系統(tǒng)可以獲得較高的準(zhǔn)確率，但是在真實(shí)的臨床醫(yī)學(xué)場(chǎng)景中，單一模態(tài)的AI 檢測(cè)系統(tǒng)不足以對(duì)wAMD 進(jìn)行確診，不能滿足當(dāng)今的臨床實(shí)際需求，而CFP 影像和OCT 影像可分別從平面、橫斷面的角度展示不同的體征信息，醫(yī)師將CFP 與OCT 影像資料結(jié)合分析，從而可作出相應(yīng)的臨床診斷。Yoo 等[6]人通過將OCT 影像和眼底圖像相結(jié)合提高了深度學(xué)習(xí)對(duì)AMD 診斷的準(zhǔn)確性，建立了基于預(yù)先訓(xùn)練好的深度卷積神經(jīng)網(wǎng)絡(luò)和隨機(jī)森林的多模態(tài)深度學(xué)習(xí)模型的基本結(jié)構(gòu)，將眼底圖像與OCT 圖像聯(lián)合應(yīng)用的模型可提高診斷的準(zhǔn)確率，AUC值為0.969，準(zhǔn)確率為90.5%。這表明聯(lián)合使用OCT和眼底圖像優(yōu)于單獨(dú)使用OCT 影像或單獨(dú)使用眼底圖像的深度學(xué)習(xí)技術(shù)。在這項(xiàng)初步研究中，一種基于OCT 圖像和眼底圖像相結(jié)合的多模式深度學(xué)習(xí)算法與單獨(dú)使用該數(shù)據(jù)相比提高了診斷準(zhǔn)確率。

3.2 該模型的局限性

本研究仍有一定的局限性，例如為了保證納入的數(shù)據(jù)均符合診斷標(biāo)準(zhǔn)，我們的數(shù)據(jù)來源均來自于一個(gè)中心，這就導(dǎo)致了數(shù)據(jù)量的不足。另外一個(gè)局限性則是各分類數(shù)據(jù)量的不均等，nAMD 組的數(shù)據(jù)量較其他2 組較少。但是最終模型效果并沒有受很大的影響，我們的模型即使在較小的數(shù)據(jù)量訓(xùn)練的情況下，最終體現(xiàn)的效果也很好。雖然該模型的性能已達(dá)到了很好的水平，但目前仍有一定的缺陷，例如當(dāng)前模型并不能作為一種診斷方式，而只能作為一種輔助診斷的手段，只能為診斷及治療提供一定的參考，模型的可解釋性較差，給出的輔助診斷結(jié)果可信度不高，不利于模型的臨床落地。另外，該系統(tǒng)只能區(qū)分nAMD 和PCV，不能進(jìn)一步識(shí)別wAMD 的其他亞型及評(píng)估病變的進(jìn)展程度。為了有效解決可解釋性問題，我們將進(jìn)一步在wAMD 病變體征檢測(cè)、分割領(lǐng)域展開研究，在為臨床醫(yī)生提供診斷結(jié)果的同時(shí)，給出CFP 影像和OCT 影像上相關(guān)病變體征的檢測(cè)結(jié)果，為輔助診斷結(jié)果提供可解釋性依據(jù)。在繼續(xù)研究的同時(shí)，也要收集新的數(shù)據(jù)，繼續(xù)對(duì)模型進(jìn)行外部驗(yàn)證，對(duì)參數(shù)進(jìn)行不斷的調(diào)整，以達(dá)到最優(yōu)化模型算法參數(shù)，從而提高模型的準(zhǔn)確性，拓寬系統(tǒng)的適用性。如果將遠(yuǎn)程醫(yī)療與我們的模型相結(jié)合，可以確保我們的AI 系統(tǒng)得到廣泛應(yīng)用，并且可以幫助基層醫(yī)療衛(wèi)生系統(tǒng)改善及提高診斷水平，降低醫(yī)療成本，為無法得到醫(yī)療幫助的人們提供醫(yī)療服務(wù)。

綜上所述，我們開發(fā)了一種雙模態(tài)深度學(xué)習(xí)方法用以輔助診斷wAMD，經(jīng)過多次對(duì)比實(shí)驗(yàn)證明了該模型具有良好的性能，可以輔助臨床醫(yī)生進(jìn)行診斷，提高工作效率，為更多患者提供醫(yī)療幫助。隨著深度學(xué)習(xí)網(wǎng)絡(luò)等技術(shù)的進(jìn)一步發(fā)展，AI 有望在更多領(lǐng)域發(fā)揮輔助作用，改變現(xiàn)有的疾病診斷模式，為人類醫(yī)療水平的提升提供巨大的幫助。