一種基于OCT 圖像的深度學(xué)習(xí)I和II型wAMD輔助分型方法

沈俊勇 龔雁 胡衍 廖燕紅 楊建龍 趙一天 劉江，

作者單位：1 南方科技大學(xué)計算機科學(xué)與工程系，深圳 518055；2 寧波市眼科醫(yī)院，寧波 315041；3中國科學(xué)院寧波工業(yè)技術(shù)研究院 慈溪生物醫(yī)學(xué)工程研究所，寧波 315201

年齡相關(guān)性黃斑變性（Age-related macular degeneration，AMD）是發(fā)達國家50歲以上人群主要的致盲眼病之一[1]，是黃斑結(jié)構(gòu)的衰老性改變。AMD主要分為干性和濕性，其中干性AMD以脈絡(luò)膜下玻璃膜疣沉積和地圖狀萎縮形成為主要特點，而濕性AMD則以脈絡(luò)膜新生血管為突出特征[2]，可見源于脈絡(luò)膜的異常新生血管滲漏，在玻璃膜（Bruch膜）和色素上皮間逐漸發(fā)展為I型色素上皮層下新生血管（即隱匿性新生血管）；發(fā)展到突破色素上皮層和玻璃膜生長在視網(wǎng)膜神經(jīng)上皮層下，即II型新生血管（即經(jīng)典型新生血管）[3，4]。對于不同級別的濕性年齡相關(guān)性黃斑變性（Wet age-related macular degeneration，wAMD），其治療方式也存在很大不同[5]。

光學(xué)相干斷層掃描（OCT）是一種近年來迅速發(fā)展的非侵入性的三維眼底成像方法，能夠無創(chuàng)地為醫(yī)師提供患者血管、結(jié)構(gòu)等信息。臨床醫(yī)師可以通過OCT圖像對患者進行更準確地診斷（如wAMD的分型），進而根據(jù)病情不同采取不同的治療方式[6]。wAMD的2種分型在OCT圖像上的表現(xiàn)不同：I型wAMD病變主要表現(xiàn)為隆起的色素上皮和Bruch膜間會出現(xiàn)液體和纖維血管組織，病灶周圍可見不規(guī)則改變以及增厚的橢圓體區(qū)，神經(jīng)上皮層部分紊亂（見圖1A）；II型wAMD病變主要表現(xiàn)為視網(wǎng)膜厚度增加，神經(jīng)上皮可見小囊腔樣和彌漫性水腫，小而高的光點幾乎總伴隨著出血而出現(xiàn)，偶爾可見邊界不清晰的視網(wǎng)膜內(nèi)高反光區(qū)（見圖1B）[7]。

雖然從事眼底病工作20 年以上經(jīng)驗豐富的醫(yī)師能夠較準確地根據(jù)OCT圖像進行wAMD的分型判斷，但目前對于經(jīng)驗少于5年的普通醫(yī)師很難達到較高的準確率。這是由于該疾病的2種分型有很多相同的癥狀，很難正確區(qū)分，尤其是遇到隱匿型脈絡(luò)膜新生血管（Choroidal neovascularization，C N V）及大出血病灶遮擋了視網(wǎng)膜色素上皮（Retinal pigment epithelium，RPE）層，影響對I和II型wAMD的判斷，因此對醫(yī)師的經(jīng)驗及醫(yī)學(xué)素養(yǎng)要求較高。如何使用深度學(xué)習(xí)方法輔助醫(yī)師進行wAMD分型快速診斷以及探討其輔助醫(yī)師在病灶圖像分析和診斷方面的可靠性，有效緩解國內(nèi)眼科專家稀缺、患者看病難的情況是本研究的主要目的。

圖1.I/II型濕性年齡相關(guān)性黃斑變性病灶圖像示意圖A：I型病灶樣本；B：II型病灶樣本Figure 1.Images of type I/II lesions of wet age-related macular degeneration.A:A sample of a type I lesion.B:A sample of a type II lesion.

1 對象與方法

1.1 對象

納入2018年6月至2019年6月在寧波市眼科醫(yī)院門診確診為wAMD患者39例（46眼），其中男19例（22眼），女20例（24眼），年齡53～80（65.2±3.3）歲。所有患者裸眼視力好于0.1，患眼固視較好，屈光介質(zhì)透明。本研究符合赫爾辛基宣言，并通過寧波市眼科醫(yī)院倫理委員會審批，所有患者簽署知情同意書。參考《中國老年性黃斑變性臨床診斷治療路徑》中的診斷[8]，納入標準：①年齡45歲以上；②視力下降；③眼底表現(xiàn)為黃斑區(qū)出現(xiàn)漿液性或出血性盤狀脫離；④熒光素眼底血管造影顯示黃斑區(qū)有脈絡(luò)膜新生血管，熒光素滲漏，出血區(qū)出現(xiàn)遮蔽熒光；⑤未出現(xiàn)牽拉性視網(wǎng)膜脫離的患者。排除標準：①年齡90歲以上；②干性年齡相關(guān)性黃斑變性患者；③輕度及中度非增生性視網(wǎng)膜病變的患者；④屈光介質(zhì)混濁，嚴重影響wAMD眼底檢查的臨床觀察者，如中重度白內(nèi)障、玻璃體積血、視網(wǎng)膜脫離等；⑤有其他視網(wǎng)膜疾病合并者，如糖尿病視網(wǎng)膜病變、視網(wǎng)膜靜脈阻塞、非糖尿病出血性眼底病、視神經(jīng)疾病等；⑥其他眼部疾病者，如嚴重白內(nèi)障、青光眼、葡萄膜炎等；⑦合并有嚴重的腦血管、肝、肺、腎及造血等全身性疾病者；⑧合并有糖尿病腎病并發(fā)腎衰（氮質(zhì)血癥期及尿毒癥期）者；⑨精神病患者；⑩準備妊娠、己妊娠或哺乳期婦女；有食物、藥物、粉塵等過敏史或過敏體質(zhì)者；依從性差患者。

1.2 數(shù)據(jù)采集

每例患者均采用海德堡SpectralisOCTplus模式的OCT掃描檢測眼底，采用托吡卡胺滴眼液擴大瞳孔。所測試的每例患者都進行完整眼底區(qū)域光學(xué)相干斷層掃描血管成像（Optical coherence tomography angiography，OCTA）掃描，每例患者都有384 張圖像。所得每張圖像分為4 個部分，分別為激光眼底檢查掃描圖、眼底OCT、眼底OCTA和眼底血流信息（以某患者384張圖像中1張為例，見圖2）。39 例患者拍攝OCT，共收集眼樣本46 眼（部分患者左右眼均患有wAMD），其中I型12眼，II型34眼。通過整理眼數(shù)不變，共包含4 827張圖像，其中I型病灶933 張，II型病灶數(shù)量為3 894 張。使用程序隨機劃分出測試集1 241張（10眼，其中I型病例3眼，II型病例7眼），訓(xùn)練集2 683張圖像（27眼，其中I型7眼，II型20眼），驗證集903張圖像（9眼，其中I型2眼，II型7眼）。

1.3 數(shù)據(jù)預(yù)處理

圖2.濕性年齡相關(guān)性黃斑變性患者的OCT/OCTA樣本圖A：激光眼底檢查掃描圖；B：眼底OCT；C：眼底OCTA；D：眼底血流信息Figure 2.Optical coherence tomography/optical coherence tomography angiography of a wet age-related macular degeneration sample.A:Laser fundus examination scan.B:Fundus optical coherence tomography.C:Fundus optical coherence tomography angiography.D:Fundus blood flow information.

由于I型和II型wAMD存在很多相似點，普通醫(yī)師判斷存在很大的不可確定性，本研究通過深度學(xué)習(xí)算法為醫(yī)師提供一個可信度較高的分型參考。在處理數(shù)據(jù)階段，對OCTA樣本圖選用適合圖像尺寸為379×421 像素大小的窗口進行剪切。通過激光眼底檢查掃描圖像與眼底OCT進行對照，并在專業(yè)醫(yī)師指導(dǎo)下，整理出每個病例中含有病灶區(qū)域的OCT圖像。每張圖像在訓(xùn)練和測試的時候，圖像都被重新調(diào)整為224×224大小作為輸入。由于I型樣本數(shù)量與II型樣本數(shù)量相差較大，在對神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練時，樣本不平衡會導(dǎo)致模型預(yù)測偏向于樣本數(shù)較大的一型，因此我們在訓(xùn)練集上通過對I型樣本隨機進行亮度、飽和度、對比度、銳度和旋轉(zhuǎn)調(diào)整操作來進行數(shù)據(jù)增強，均衡實驗數(shù)據(jù)樣本數(shù)量，解決數(shù)據(jù)樣本不足和分型數(shù)據(jù)不均衡的問題。經(jīng)過處理后，訓(xùn)練數(shù)據(jù)集的圖像數(shù)量為4 867張，其中I型2 730張，II型2 137張。

1.4 Resnet34網(wǎng)絡(luò)模型

本研究采用有監(jiān)督的深度學(xué)習(xí)方法進行病灶分型。首先將資深專家醫(yī)師對患者的分型標注視為金標準，由于每一位患者1次拍攝的多張OCT圖像通常包含很多非病灶區(qū)域，因此我們需要對患者的圖像進行預(yù)處理，并對每張圖像進行相應(yīng)的標注，然后使用預(yù)訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)Resnet34對整理后的OCT圖像提取特征并分型，與專家提供的金標準進行對比，反復(fù)訓(xùn)練，最終得到準確率最佳的分型結(jié)果。同時，我們使用合作醫(yī)院提供的普通醫(yī)師對同一批患者的分型結(jié)果，與我們的模型測試結(jié)果進行比較，從而驗證本方法在輔助醫(yī)師基于OCT圖像進行wAMD分型工作的可行性和優(yōu)越性。

卷積神經(jīng)網(wǎng)絡(luò)使用卷積層模擬人的視覺神經(jīng)機制從圖像中獲取足夠豐富的特征，常用作解決分類問題，同時Resnet模型的出現(xiàn)彌補了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural networks，CNN）隨著網(wǎng)絡(luò)層次逐漸加深，模型難以訓(xùn)練和效果不佳這一缺口，目前已成為一種常見的CNN網(wǎng)絡(luò)框架。Resnet的發(fā)明者是He等[9]，他們發(fā)現(xiàn)使用殘差塊能夠訓(xùn)練更深層次的神經(jīng)網(wǎng)絡(luò)，通過將很多殘差塊堆積在一起形成的一個很深層次的神經(jīng)網(wǎng)絡(luò)。本研究主要基于預(yù)訓(xùn)練后的Resnet34神經(jīng)網(wǎng)絡(luò)模型，在訓(xùn)練集上反復(fù)進行有監(jiān)督訓(xùn)練使其適用于wAMD的分型。在Resnet34 中，殘差學(xué)習(xí)模塊存在2 個3×3 卷積，整個學(xué)習(xí)過程中通道數(shù)保持不變，但加上跳躍鏈接可以減少計算和參數(shù)量，提升模型的訓(xùn)練速度。Resnet34 網(wǎng)絡(luò)模塊組成見表1。

Resnet34網(wǎng)絡(luò)主要包含4個連續(xù)的殘差卷積模塊，見圖3。4個連續(xù)的殘差卷積模塊能夠逐步地提取具有全局性的高級語義信息，以此不斷減少提取到的特征尺寸來減少計算量。然后通過全局平均池化操作來進一步減小特征的尺寸，最終進入全連接層進行疾病分型，輸出結(jié)果0即I型wAMD，1即II型wAMD。

表1.Resnet34殘差網(wǎng)絡(luò)模塊組成Table 1.Resnet residual network module composition

1.5 模型微調(diào)訓(xùn)練

整個Resnet34 模型訓(xùn)練過程中采用學(xué)習(xí)率衰減策略加速收斂，采用交叉熵損失函數(shù)衡量模型誤差。將批處理圖片數(shù)量（每次輸入到模型的圖片數(shù)量）設(shè)置為16，全連接層參數(shù)的初始學(xué)習(xí)率設(shè)置為0.000001，權(quán)重衰減值為0.001，反復(fù)訓(xùn)練40輪，得到Resnet34 網(wǎng)絡(luò)訓(xùn)練過程中訓(xùn)練集交叉熵損失值（即圖4中Train loss），驗證集交叉熵損失值（即圖4中Valid loss），驗證集正確率（驗證集中模型預(yù)測正確圖片數(shù)占所有預(yù)測圖片數(shù)的比例，即圖4中Valid accuracy）變化圖。根據(jù)圖像變化（見圖4），訓(xùn)練集交叉熵損失值不斷減小直到收斂，表明模型在訓(xùn)練集誤差越來越小，而到25 輪后，驗證集交叉熵損失值由遞減轉(zhuǎn)為遞增，考慮模型出現(xiàn)過擬合現(xiàn)象，這將導(dǎo)致模型泛化能力下降。最終選擇輪數(shù)為15～25 的模型參數(shù)進行保存并選取任一模型參數(shù)在測試集上進行測試效果。

1.6 分型算法評價指標

深度學(xué)習(xí)領(lǐng)域常采用分類的準確率（Accuracy，acc）作為分型指標來評價深度學(xué)習(xí)網(wǎng)絡(luò)模型的分型效果。準確率是計算預(yù)測分型的正確結(jié)果占所有預(yù)測結(jié)果的比重。公式如下：

圖3.網(wǎng)絡(luò)結(jié)構(gòu)示意圖Figure 3.Network structure diagram.

圖4.網(wǎng)絡(luò)訓(xùn)練過程訓(xùn)練集損失值、驗證集損失值、驗證集準確率隨輪數(shù)變化圖Figure 4.Changes of networktrain loss,valid loss,validaccuracy with the epoch.

本研究分型類別為I 型、II 型，我們將I 型wAMD作為正例，II型wAMD作為負例，準確率公式可細化為：

上述公式按照正類別和負類別進行劃分，其中TP為真正例（模型判斷為正例，實際也為正例），TN為真負例（模型判斷為負例，實際也為負例），F(xiàn)P為假正例（模型判斷為正例，實際為負例），F(xiàn)N為假負例（模型判斷為負例，實際為正例）。

將專家醫(yī)師對病例wAMD分型判斷指標作為標簽，計算另2位普通醫(yī)師的準確率，即通過他們的診斷指標與專家的診斷指標作對比，計算診斷相同的指標個數(shù)占總患者數(shù)的比例，作為普通醫(yī)師的診斷準確率，以此得出醫(yī)師1 和醫(yī)生2 的診斷準確率。最后將通過深度學(xué)習(xí)算法診斷得出的準確率與2位普通醫(yī)師的診斷準確率的結(jié)果進行對比。

2 結(jié)果

與專家診斷結(jié)果相比，普通醫(yī)師A診斷一致的樣本數(shù)為27 例，普通醫(yī)師B診斷一致的樣本數(shù)為29例，見表2?？梢娖胀ㄡt(yī)師A診斷樣本的準確率為0.58，普通醫(yī)師B診斷樣本的準確率為0.63；在測試集10個病例中，普通醫(yī)師A診斷樣本的準確率為0.60，普通醫(yī)師B診斷樣本的準確率為0.60，而本研究采用的Resnet34 網(wǎng)絡(luò)診斷的分型在測試集準確率為0.80。即在測試集10 個wAMD病例中，Resnet34網(wǎng)絡(luò)分型比普通醫(yī)師多2個正確診斷病例的優(yōu)勢。研究結(jié)果表示基于Resnet神經(jīng)網(wǎng)絡(luò)的分型結(jié)果要優(yōu)于普通醫(yī)師的診斷結(jié)果。因此，基于深度學(xué)習(xí)的分型方法對AMD的診斷對于普通醫(yī)師能夠起到一定的輔助效果，未來可以將該方法應(yīng)用于其他眼科臨床領(lǐng)域中。

梯度加權(quán)的類激活映射（Gradient-weighted class activation mapping，Grad_CAM）作為當(dāng)下流行的卷積神經(jīng)網(wǎng)絡(luò)可視化方法，可以在Resnet34網(wǎng)絡(luò)基礎(chǔ)上進一步幫助醫(yī)師快速定位病灶相應(yīng)位置。該方法根據(jù)網(wǎng)絡(luò)的輸出向量結(jié)果，通過梯度和特征圖加權(quán)求和得到類激活圖，用熱力圖形象化展示出來。圖5為訓(xùn)練后的Resnet34模型采用Grad_CAM對5張病例OCT圖的計算結(jié)果，其中紅色區(qū)域為病灶區(qū)域，為Resnet34模型判斷依據(jù)，可提供給醫(yī)師作為重點診斷依據(jù)圖。

表2.病例數(shù)據(jù)統(tǒng)計表Table 2.Statistical table of casesdata

3 討論

深度學(xué)習(xí)領(lǐng)域卷積神經(jīng)網(wǎng)絡(luò)能夠從大量醫(yī)學(xué)圖像中學(xué)到疾病的隱藏特征，較傳統(tǒng)醫(yī)學(xué)圖像分析技術(shù)采用的手工定制式設(shè)計方法更為高效智能，目前在醫(yī)療診斷領(lǐng)域已經(jīng)得到快速發(fā)展[10]。在AMD診斷方面，Lee等[11]用VGG16 模型進行實驗表明神經(jīng)網(wǎng)絡(luò)能成功識別OCT上的病理區(qū)域，可以有效解決AMD分型問題。Grassmann等[12]基于深度學(xué)習(xí)模型結(jié)合隨機森林集成學(xué)習(xí)思想開發(fā)了一種自動分類策略，通過眼底彩照圖片預(yù)測AMD發(fā)展階段，最終模型得出最佳的分類性能。Treder等[13]采用預(yù)訓(xùn)練的開源多層深度卷積神經(jīng)網(wǎng)絡(luò)（Deep convolutional neural network，DCNN），以高靈敏度和特異性檢測譜域OCT（Spectral domain OCT，SDOCT）中的AMD，在訓(xùn)練集和驗證集準確率達到100%，交叉熵損失值降到0.005，測試集平均得分在0.997±0.003，表明了模型檢測AMD的高精度。龔雁等[14]采用Resnet101網(wǎng)絡(luò)結(jié)構(gòu)的深度學(xué)習(xí)算法診斷有無wAMD，診斷準確率可達到94.9%，同時采用熱力圖通過不同的顏色為醫(yī)師提供更方便的輔助診斷依據(jù)。這些研究均表明深度學(xué)習(xí)能夠有效輔助醫(yī)師進行AMD診斷，但目前深度學(xué)習(xí)模型的有效性和可解釋性仍沒有合理的解釋，這是未來研究的一個很有挑戰(zhàn)性和前景性方向。

另外，醫(yī)師主要依靠AMD不同的疾病特征進行病灶分型，CNV作為wAMD的主要病理特征，包含來自脈絡(luò)膜毛細血管的異常血管。CNV穿過Bruch膜進入RPE和神經(jīng)上皮下的空間，隨后視網(wǎng)膜組織滲出和出血，進而導(dǎo)致視力喪失。因此CNV的檢測和分型依賴于恰當(dāng)?shù)姆謱印?/p>

I型新生血管在色素上皮層下發(fā)展導(dǎo)致其扁平隆起。新生血管形成通常發(fā)生在隆起的色素上皮層和Bruch膜之間，如果有纖維血管組織增生，隆起的色素上皮層可能見到分層。II型新生血管生長于視網(wǎng)膜神經(jīng)上皮層與色素上皮之間，可以穿透視網(wǎng)膜神經(jīng)上皮層進入外層視網(wǎng)膜無血管區(qū)，其尺寸總體小于I型新生血管。視網(wǎng)膜內(nèi)液（彌漫水腫和囊樣水腫）常伴隨視網(wǎng)膜下積蓄的液體，偶爾會出現(xiàn)視網(wǎng)膜扁平淺脫離，幾乎不會出現(xiàn)色素上皮脫離，而出血較為常見。如果不治療，新生血管生長迅速，大概會以每天9 mm的速度生長。OCT圖像中可以觀察到視網(wǎng)膜厚度增加且時常累及神經(jīng)上皮[15]，可見小囊腔樣和彌漫性水腫。除了I型和II型新生血管有很多共通的地方，此外部分圖像的病灶特征本身不明顯或病灶類型過于復(fù)雜，對于醫(yī)師的判斷和本研究模型wAMD的正確診斷都產(chǎn)生了一定影響。

圖5.Resnet34模型診斷依據(jù)圖Figure 5 .The diagnosis basis maps of Resnet34 model.

傳統(tǒng)方法需要在對病灶特征有足夠的了解且病灶特征足夠分明的前提下才能人工提取特征，因而存在較大的局限性。往往一些病灶的特征相對模糊和復(fù)雜，這給分型任務(wù)的特征提取階段造成了很大的難度。而深度學(xué)習(xí)網(wǎng)絡(luò)在一定程度上克服了這個問題，自動根據(jù)標簽反復(fù)訓(xùn)練并提取特征，最終學(xué)習(xí)到最準確的特征作為分型依據(jù)。本研究發(fā)現(xiàn)寧波市眼科醫(yī)院的2位普通醫(yī)師的判斷存在很大誤差，分型的準確率分別為0.58和0.63，而深度學(xué)習(xí)方法的準確率為0.80。

本研究中存在一些有爭議的圖像，很難判斷是wAMD I型還是II型，不同醫(yī)師給出的標簽具有很大差異，且反復(fù)變化。在標簽更加精準的情況下，使用深度學(xué)習(xí)方法判斷分型的準確率會更高。目前，醫(yī)學(xué)圖像標簽的問題仍然是圖像處理方面的一大難題。因此，深度學(xué)習(xí)方法對于AMD分型方面僅能夠起到輔助參考作用。后續(xù)通過增加OCT圖像分層和層厚度的定量分析方法，相信能夠進一步提高疾病的分型準確率，真正起到輔助醫(yī)師診斷的目的。

利益沖突申明本研究無任何利益沖突

作者貢獻聲明沈俊勇：實驗研究；分析、解釋數(shù)據(jù)；起草文章；統(tǒng)計分析。龔雁：采集數(shù)據(jù)；分析、解釋數(shù)據(jù)；指導(dǎo)。胡衍：醞釀和設(shè)計實驗；分析、解釋數(shù)據(jù)；對文章的知識性內(nèi)容作批評性審閱；獲取研究經(jīng)費；指導(dǎo)。廖燕紅：采集數(shù)據(jù)；分析、解釋數(shù)據(jù)；支持性貢獻。楊建龍：分析、解釋數(shù)據(jù)；對文章的知識性內(nèi)容作批評性審閱。趙一天：分析、解釋數(shù)據(jù)；支持性貢獻。劉江：對文章的知識性內(nèi)容作批評性審閱；獲取研究經(jīng)費；指導(dǎo)；支持性貢獻