面向AS-OCT的兩階段鞏膜突自動(dòng)定位算法

張汝雪,張 敏,付子蔚,何 媛

(1.西北大學(xué) 數(shù)學(xué)學(xué)院,陜西 西安 710127;2.西安醫(yī)學(xué)院 第二附屬醫(yī)院,陜西 西安 710005)

近年來,越來越多的人意識(shí)到眼部健康的重要性,定期進(jìn)行眼部健康的檢查變得尤為重要。眼部檢查的方法,包括房角鏡,超聲生物顯微鏡(UBM),眼前節(jié)相干光斷層掃描(AS-OCT)等。其中AS-OCT是一種基于不同組織有不同光學(xué)散射性的特性,應(yīng)用光干涉法進(jìn)行眼前節(jié)成像和定量分析的新技術(shù),因其具有快速、非接觸性等優(yōu)點(diǎn)在臨床中得到了廣泛應(yīng)用[1-4],但對(duì)于AS-OCT圖像自動(dòng)化分析的相關(guān)研究較少。

AS-OCT圖像分析的一個(gè)重要內(nèi)容是對(duì)眼前節(jié)結(jié)構(gòu)性參數(shù)的定量分析,如前房深度(anterior chamber depth,ACD),前房寬度(anterior chamber width,ACW),晶狀體拱高(lens vault,LV)等,其中一些參數(shù)是閉角疾病的危險(xiǎn)因素,如原發(fā)性閉角型青光眼(PACG)等[5-8]。大多數(shù)眼前節(jié)結(jié)構(gòu)性參數(shù)的測(cè)量與鞏膜突自動(dòng)定位密切相關(guān)。例如,前房寬度指兩鞏膜突間距離,前房深度指角膜下表面到晶狀體前表面間的距離,該距離在測(cè)量時(shí)需要先找到兩鞏膜突連線的中垂線。此外,房角參數(shù)的測(cè)量更是離不開鞏膜突,如房角開放距離是以鞏膜突為圓心的圓與角膜內(nèi)表面和虹膜交點(diǎn)間的距離。由此可知,鞏膜突的自動(dòng)定位精度直接影響了房角參數(shù)測(cè)量精度。故鞏膜突的定位對(duì)眼前節(jié)結(jié)構(gòu)性參數(shù)的測(cè)量具有重要意義[9]。

鞏膜突是角膜與鞏膜連接處的一個(gè)微小突起,從圖1中可以看出,鞏膜突的位置相對(duì)隱蔽,形狀特征不明顯,即使在房角開放狀態(tài)下也難以精準(zhǔn)定位。當(dāng)房角處于關(guān)閉狀態(tài)時(shí),虹膜與鞏膜緊密貼合,鞏膜突更加難以分辨。因此在臨床上鞏膜突的定位仍然依賴于人工評(píng)分員手動(dòng)識(shí)別和標(biāo)記,之后通過測(cè)量眼前節(jié)結(jié)構(gòu)性參數(shù)的值來量化前房角狀態(tài)[9]。這種做法既耗時(shí)又較為主觀,而這種主觀人為因素的引入已被證明導(dǎo)入了顯著的觀察者內(nèi)和觀察者間的變異性[10-12],且該誤差在一定程度上會(huì)為疾病診斷和治療帶來影響,如鞏膜突的不一致標(biāo)記會(huì)影響PACG診斷和治療的有效性及疾病嚴(yán)重程度的監(jiān)測(cè)[10]。因此,鞏膜突的自動(dòng)定位研究對(duì)于眼科學(xué)的發(fā)展具有重要的意義。

圖1 鞏膜突的位置Fig.1 The position of scleral spur

人工智能在醫(yī)療領(lǐng)域的應(yīng)用越來越廣泛,大大提升了醫(yī)療效率和治療效果[13-15]。近年來,鞏膜突的自動(dòng)定位研究取得了較大的進(jìn)展,但現(xiàn)有算法在精度上仍具有較大提升空間。基于此,面向AS-OCT圖像提出了一種由“粗”到“細(xì)”的“兩階段”鞏膜突自動(dòng)定位算法,通過輸入AS-OCT圖像實(shí)現(xiàn)鞏膜突的自動(dòng)定位。該算法考慮到鞏膜突在整張AS-OCT圖像上占比較小、形狀特征較為隱匿的特點(diǎn),采取由“粗”到“細(xì)”的策略,先利用一個(gè)目標(biāo)檢測(cè)網(wǎng)絡(luò)定位到鞏膜突所在的感興趣區(qū)域(region of interest,ROI),然后在ROI圖像上進(jìn)一步提取圖像細(xì)節(jié)信息最終得到鞏膜突所在位置。在公開數(shù)據(jù)集和自建數(shù)據(jù)集進(jìn)行的大量實(shí)驗(yàn)證明了所提方法的有效性和先進(jìn)性。

1 研究現(xiàn)狀

1.1 鞏膜突的自動(dòng)定位方法

關(guān)于鞏膜突的定位研究算法大致可以分為兩類:基于模型的方法和基于數(shù)據(jù)的方法?；谀Ｐ偷姆椒ㄖ饕峭ㄟ^探究前房各個(gè)組織間的位置關(guān)系來進(jìn)行定位。如Tian等人提出了一種基于施瓦爾布線(Schwalbe’s line)檢測(cè)高清晰度OCT(HD-OCT)參數(shù)計(jì)算方法[16],該方法使用Schwalbe’s line得到角膜下表面邊緣線、晶狀體上表面邊緣線、虹膜上表面邊緣線等,通過各個(gè)線的交點(diǎn)及位置關(guān)系得到鞏膜突的位置;Fu等人提出了一種結(jié)合AS-OCT結(jié)構(gòu)的分割、測(cè)量和定位的標(biāo)簽轉(zhuǎn)移系統(tǒng)[17],搜集大量的AS-OCT圖像進(jìn)行標(biāo)注建立系統(tǒng)數(shù)據(jù)庫,通過待定位圖像與系統(tǒng)中圖像的對(duì)比進(jìn)行初步定位,然后通過微調(diào)得到各個(gè)結(jié)構(gòu)的分割結(jié)果,進(jìn)而得到鞏膜突的位置?；谀Ｐ偷姆椒ǖ玫降撵柲ね晃恢貌粔蚓_,且過程較為復(fù)雜。

隨著深度學(xué)習(xí)的發(fā)展,在許多領(lǐng)域的研究中都已經(jīng)證明了基于數(shù)據(jù)的方法在性能和效率上都要遠(yuǎn)優(yōu)于基于模型的方法,但基于數(shù)據(jù)的方法在前期訓(xùn)練時(shí)都需要大量的樣本。然而,在早期的研究中,沒有用于研究鞏膜突定位的公開數(shù)據(jù)集,無法對(duì)不同方法進(jìn)行性能的對(duì)比,因此相關(guān)研究較少。2019年中山大學(xué)中山眼科中心協(xié)辦了閉角型青光眼評(píng)估(the angle closure glaucoma evaluation,AGE)挑戰(zhàn)賽,該比賽提供了一個(gè)大型數(shù)據(jù)集用于閉角型青光眼的分類和鞏膜突的定位,在比賽中涌現(xiàn)出3類鞏膜突自動(dòng)定位算法[18],分別為基于值回歸的方法、基于二值掩模分割的方法和基于熱圖預(yù)測(cè)的方法。其中,基于熱圖預(yù)測(cè)的方法結(jié)果普遍優(yōu)于其他兩種方法,這一點(diǎn)在關(guān)鍵點(diǎn)定位領(lǐng)域也得到了大量的驗(yàn)證[19-21]。由于比賽還需要進(jìn)行圖像分類任務(wù),因此提出的方法大多在分類網(wǎng)絡(luò)(例如,SE-Net[22]、ResNet[23]、U-Net[24]或VGG[25])的基礎(chǔ)上直接加入回歸分支或者預(yù)測(cè)分支進(jìn)行鞏膜突的定位。綜上所述,目前基于數(shù)據(jù)的鞏膜突自動(dòng)定位算法較少,對(duì)于AS-OCT圖像特征和鞏膜突位置特征提取還有待提高。考慮將鞏膜突定位問題抽象成為一個(gè)目標(biāo)檢測(cè)問題,使用目標(biāo)檢測(cè)網(wǎng)絡(luò)提取圖像的深層語義特征,從而提高鞏膜突的定位精度。

1.2 目標(biāo)檢測(cè)

目標(biāo)檢測(cè)作為計(jì)算機(jī)視覺的基層任務(wù)之一,近年來得到了快速發(fā)展,其算法主要包括兩階段(two-stage)算法和單階段(one-stage)算法。在實(shí)際臨床應(yīng)用中,鞏膜突的定位需要滿足即時(shí)性和高效性,且需要高精度的定位結(jié)果,否則會(huì)對(duì)之后眼前節(jié)參數(shù)測(cè)量結(jié)果及病情診斷產(chǎn)生影響;而兩階段檢測(cè)[26-28]雖然精度較高,但是耗時(shí)長且算法復(fù)雜,因此選擇在單階段檢測(cè)算法上進(jìn)行改進(jìn)。單階段目標(biāo)檢測(cè)算法主要包括SSD[29]及YOLO系列算法[30-31],該類型算法直接利用卷積網(wǎng)絡(luò)提取特征,從而實(shí)現(xiàn)物體定位和分類,在檢測(cè)速度上有了大幅度的提升,且參數(shù)量較小,具有實(shí)時(shí)性和便捷性的特點(diǎn),但其準(zhǔn)確率較低。隨之出現(xiàn)了一系列對(duì)于單階段目標(biāo)檢測(cè)網(wǎng)絡(luò)的改進(jìn)和研究。目前單階段的算法在保持較高的檢測(cè)效率的同時(shí),在性能上逐漸也可以與兩階段算法相媲美。

對(duì)于單階段目標(biāo)檢測(cè)網(wǎng)絡(luò)的改進(jìn)策略,主要體現(xiàn)在特征提取網(wǎng)絡(luò),特征選擇和融合方式及檢測(cè)器3個(gè)方面。隨著深度神經(jīng)網(wǎng)絡(luò)的發(fā)展,在特征提取網(wǎng)絡(luò)的選擇方面出現(xiàn)了一系列性能優(yōu)越的網(wǎng)絡(luò)模型,在分類任務(wù)上有著良好的性能,如DenseNet,MoblieNet,MoblieNetV2,ShuffleNet等。這些網(wǎng)絡(luò)均可以直接作為骨干網(wǎng)絡(luò)提取圖像不同尺度和不同分辨率的特征,且參數(shù)量小。在特征融合方面,由于目標(biāo)檢測(cè)任務(wù)需要同時(shí)預(yù)測(cè)目標(biāo)的位置和類別,因此需要將淺層網(wǎng)絡(luò)中的幾何信息和深層中的語義信息進(jìn)行融合,融合方式主要有兩類,一類是以YOLOv2[31]、YOLOv3[32]、RetinaNet[33]、DSSD[34]為代表的自頂向下的方法;一類是以FSSD[35]為代表的自底向上的方法。在檢測(cè)器的設(shè)計(jì)上,由于其作用是直接根據(jù)特征輸出類別和結(jié)果,因此一般包含分類器和定位器兩部分,其中分類器設(shè)計(jì)較為簡單,所以對(duì)于該部分的改進(jìn)主要是在定位器上。在定位器上主要關(guān)注的是錨(anchor)策略和預(yù)測(cè)機(jī)制,其中anchor策略主要分為兩類,一類是以SSD、RPN[28]為代表的人工選擇的方式;一類是以DeepMultiBox[36]為代表的通過聚類進(jìn)行選擇的方式。

考慮到鞏膜突在定位過程中的實(shí)際困難,采取了兩階段的自動(dòng)定位方法。與傳統(tǒng)兩階段算法不同,上文所述的兩階段是一個(gè)從“粗”到“細(xì)”的定位策略。首先,在RetinaNet的網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行了改進(jìn),通過加入ACmix模塊[37]使骨干網(wǎng)絡(luò)具有更加良好的特征提取能力,通過檢測(cè)器得到鞏膜突所在的ROI區(qū)域,該區(qū)域中心點(diǎn)為鞏膜突的“粗”定位。然后,使用Lite-HRNet[38]在ROI區(qū)域上提取圖像不同尺度的信息,對(duì)鞏膜突位置進(jìn)行微調(diào)修正,得到鞏膜突的“細(xì)”定位。

2 研究方法

本文提出了一個(gè)面向AS-OCT的“兩階段”定位網(wǎng)絡(luò)用于鞏膜突的自動(dòng)定位。鞏膜突一般位于房角處,臨床上專業(yè)醫(yī)生一般通過角膜與鞏膜交界處灰度值變化及虹膜的位置進(jìn)行定位,即對(duì)于一張AS-OCT圖像,醫(yī)生一般先找到兩個(gè)房角的位置觀察房角處的狀態(tài),然后再進(jìn)行鞏膜突的進(jìn)一步定位。文中所提出的自動(dòng)定位算法基于這一觀察規(guī)律,采用由“粗”到“細(xì)”的策略設(shè)計(jì)了一個(gè)兩階段定位網(wǎng)絡(luò)進(jìn)行鞏膜突的逐步定位。第一階段為ROI區(qū)域檢測(cè)網(wǎng)絡(luò),第二階段在此基礎(chǔ)上進(jìn)一步提取ROI區(qū)域圖像的細(xì)節(jié)特征,得到鞏膜突所在位置坐標(biāo)。整體算法框架圖如圖2所示。

對(duì)于該算法,輸入AS-OCT圖像X,最終輸出鞏膜突坐標(biāo)P,計(jì)算過程如式(1)所示。

P=f2(f1(X))

(1)

式中:P={p1,p2};pi=(xi,yi);f1和f2分別表示ROI區(qū)域檢測(cè)網(wǎng)絡(luò)和鞏膜突定位網(wǎng)絡(luò)。

圖2 鞏膜突定位算法框架圖Fig.2 The frame chart of SS localization algorithm

2.1 ROI區(qū)域檢測(cè)

在第一階段對(duì)RetinaNet網(wǎng)絡(luò)[33]進(jìn)行了改進(jìn),提出了ROI區(qū)域檢測(cè)網(wǎng)絡(luò)f1。首先構(gòu)造了檢測(cè)目標(biāo)為以鞏膜突為中心、邊長為224像素的矩形區(qū)域PROI={p1-ROI,p2-ROI}。對(duì)于該矩形區(qū)域尺寸的選擇主要考慮以下兩方面。首先,該尺寸能夠包含鞏膜突附近角膜、鞏膜和虹膜部分,便于第二階段根據(jù)各個(gè)組織之間的關(guān)系進(jìn)一步獲取鞏膜突位置;其次,第二階段的網(wǎng)絡(luò)要求輸入圖像大小為224×224像素,因此該尺寸便于將檢測(cè)到的ROI區(qū)域不經(jīng)過填充、裁剪、放大或者縮小等圖像增強(qiáng)操作,直接送入第二階段,較好的保留了原圖的細(xì)節(jié)特征。

輸入原始AS-OCT圖像X,通過一系列圖像處理由公式(2)得到PROI。

PROI=f1(X)=ρ(σ(ω(X)))

(2)

式中:ω為特征提取操作;σ為特征融合操作;ρ為預(yù)測(cè)器。具體而言,先通過一個(gè)改進(jìn)的ResNet網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)(backbone)提取圖像不同尺度的特征,然后通過特征金字塔(feature pyramid network,FPN)[39]進(jìn)行特征融合,最終得到鞏膜突所在的ROI區(qū)域。

在特征提取階段,選用一個(gè)改進(jìn)的ResNet網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)(backbone),ResNet網(wǎng)絡(luò)[23]作為基礎(chǔ)網(wǎng)絡(luò)在圖像分類、圖像分割、目標(biāo)檢測(cè)等計(jì)算機(jī)視覺底層任務(wù)中都獲得了較好的性能。近年來也出現(xiàn)了許多該網(wǎng)絡(luò)的變體,如ResNeXt[40]、ResNeSt[41]等,都是針對(duì)基礎(chǔ)卷積塊(basic block)進(jìn)行的改進(jìn),主要目的是通過使用組卷積等方式引入分層注意力機(jī)制提取圖像特征。隨著視覺自注意力模型(vision transformer,ViT)[42]的出現(xiàn),基于自注意力的模塊在許多視覺任務(wù)上取得了與卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)相當(dāng)甚至更好的性能,其靈活性使模型能夠自適應(yīng)地關(guān)注不同區(qū)域,并捕獲更多的信息特征。筆者所提出的改進(jìn)也是在基礎(chǔ)卷積塊上進(jìn)行的。如圖3所示,ResNet的基礎(chǔ)卷積塊是由兩個(gè)1×1卷積和一個(gè)3×3卷積構(gòu)成,文中使用ACmix模塊[37]代替原始的3×3卷積。該模塊通過重構(gòu)卷積和自注意力兩個(gè)模塊,證明了兩者在對(duì)輸入特征進(jìn)行映射時(shí)具有相同的計(jì)算開銷和類似的分解過程,因此通過共享相同的重操作重新整合了這兩個(gè)模塊。該模塊結(jié)合了卷積操作和自注意力模塊的優(yōu)點(diǎn),具有更強(qiáng)的特征提取能力。

圖3 基礎(chǔ)卷積塊(basic block)的改進(jìn)Fig.3 Improvement of the basic block

ACmix模塊結(jié)構(gòu)如圖4所示,首先經(jīng)過并列的3個(gè)1×1卷積,然后分成兩個(gè)支路:卷積支路和自注意力支路。在卷積支路,通過一個(gè)全連接層(fully connected layer),之后根據(jù)核位置進(jìn)行平移和聚合操作,得到該分支結(jié)果。在自注意力支路,將3個(gè)1×1卷積操作得到的結(jié)果分別看作查詢(query),鍵(key)和值(value),通過注意力權(quán)重的計(jì)算和值矩陣的聚合,收集局部特征。

在特征融合階段,使用FPN結(jié)構(gòu)。選取backbone中第3,4,5層特征,通過上采樣操作,自上向下的將相鄰層特征圖進(jìn)行拼接來進(jìn)行特征融合。此外將最高分辨率特征圖進(jìn)行兩次下采樣分別得到兩組新的特征圖。

由于已經(jīng)獲得了豐富的多尺度特征,因此預(yù)測(cè)器直接采用基于卷積的權(quán)重共享的兩個(gè)相同分支分別進(jìn)行分類和定位任務(wù)。如圖3所示,每個(gè)分支都由4個(gè)3×3的卷積和非線性層(rectified linear unit,ReLU)組成,然后分別再通過1個(gè)3×3的卷積得到預(yù)測(cè)結(jié)果,其中K代表類別數(shù),A代表在每個(gè)特征層生成的anchor數(shù),定位分支得到結(jié)果為預(yù)測(cè)框的中心點(diǎn)坐標(biāo)(x,y)預(yù)測(cè)框的長h及寬w。這兩個(gè)分支在訓(xùn)練時(shí)共享參數(shù)。

(3)

(4)

(5)

圖4 ACmix模塊結(jié)構(gòu)Fig.4 ACmix module structure

圖5 預(yù)測(cè)器(Head)模塊結(jié)構(gòu)Fig.5 The module structure of predictor (Head)

2.2 微調(diào)修正

由于上一階段將鞏膜突的位置設(shè)為ROI區(qū)域檢測(cè)階段檢測(cè)框的中心點(diǎn),因此所得到的ROI區(qū)域的中心可以看作是鞏膜突的粗略定位。本節(jié)主要是對(duì)鞏膜突位置的微調(diào)和修正,目的是達(dá)到更高精度的定位效果。

研究表明,基于熱圖(Heatmap)回歸的關(guān)鍵點(diǎn)定位算法性能要優(yōu)于基于坐標(biāo)點(diǎn)回歸的方法。筆者認(rèn)為在ROI區(qū)域檢測(cè)階段中的邊界框回歸是基于回歸的方法,因此在微調(diào)修正階段考慮引入Heatmap損失。文中直接使用Lite-HRnet網(wǎng)絡(luò)[38]作為微調(diào)修正網(wǎng)絡(luò),該網(wǎng)絡(luò)是針對(duì)HRNet網(wǎng)絡(luò)[43]的輕量化設(shè)計(jì),將ShuffleNet[44]中的高效置換卷積塊加入到HRNet中,減少網(wǎng)絡(luò)層數(shù),簡化網(wǎng)絡(luò)結(jié)構(gòu)的同時(shí)達(dá)到了較好的定位效果。

圖6展示了Lite-HRNet的網(wǎng)絡(luò)結(jié)構(gòu)。輸入ROI區(qū)域檢測(cè)圖像,首先經(jīng)過stem層,其包含1個(gè)步長為2的卷積和1個(gè)Shufflt Block。接下來的3個(gè)stage中,每個(gè)stage均包含2個(gè)條件通道加權(quán)模塊和1個(gè)多分辨率融合模塊。此外,該網(wǎng)絡(luò)還提出了跨分辨率權(quán)重計(jì)算和空間權(quán)重計(jì)算方法。最后,將stage3的4個(gè)分支的輸出進(jìn)行拼接,通過一個(gè)1×1卷積得到預(yù)測(cè)Heatmap圖,選擇Heatmap圖中值最大的點(diǎn)作為鞏膜突預(yù)測(cè)位置。

圖6 Lite-HRNet網(wǎng)絡(luò)主要結(jié)構(gòu)Fig.6 Main structure of the Lite-HRNet network

3 實(shí)驗(yàn)分析

3.1 數(shù)據(jù)集

使用以下兩個(gè)數(shù)據(jù)集進(jìn)行試驗(yàn)。第一個(gè)數(shù)據(jù)集為2019年舉辦的閉角型青光眼評(píng)估挑戰(zhàn)賽(the angle closure glaucoma evaluation challenge,AGE-Challenge)中使用的比賽數(shù)據(jù)集,由中山大學(xué)中山眼科研究中心提供[18]。該數(shù)據(jù)集共包含4 200張AS-OCT圖像,其中訓(xùn)練集中的1 600張圖像帶有標(biāo)簽,可用于定量分析。數(shù)據(jù)集圖像類型豐富,其中30%為閉角狀態(tài)的圖像,其他為開角狀態(tài)的圖像。該數(shù)據(jù)集中AS-OCT圖像成像設(shè)備為CASIA SS-1000 OCT(Tomey,名古屋,日本),圖像大小為998×2 130像素,共包含角度閉合分類和鞏膜突定位兩項(xiàng)任務(wù),文中僅使用鞏膜突定位坐標(biāo)信息。

第二個(gè)AS-OCT數(shù)據(jù)集由西安醫(yī)學(xué)院眼科學(xué)何教授團(tuán)隊(duì)提供,收集了2019年至2021年就診于西安醫(yī)學(xué)院及其下屬26家合作醫(yī)療單位患者AS-OCT圖像,共包含200張AS-OCT圖像,成像設(shè)備為Casio(日本),圖像大小為969×1 623像素,鞏膜突位置由西安醫(yī)學(xué)院何教授團(tuán)隊(duì)的專業(yè)醫(yī)生進(jìn)行標(biāo)注。圖像包含有正常時(shí)期、PACG臨床前期、PACG急性發(fā)作期3種類型,種類豐富。

3.2 實(shí)驗(yàn)設(shè)置

文中所提出的網(wǎng)絡(luò)框架均在Python和Pytorch下運(yùn)行實(shí)現(xiàn),實(shí)驗(yàn)平臺(tái)為 NVIDIA GeForce RTX 3090 24 GiB顯卡和英特爾 XEON Siver 4110R CPU @ 2.10 GHz處理器,操作系統(tǒng)為64位Windows 10。實(shí)驗(yàn)前將所用數(shù)據(jù)集進(jìn)行劃分,隨機(jī)選擇其中80%作為訓(xùn)練集,剩下的20%作為測(cè)試集。實(shí)驗(yàn)過程中設(shè)置其權(quán)重衰減為5×10-4,初始學(xué)習(xí)率為5×10-5。使用Adam優(yōu)化器進(jìn)行訓(xùn)練,網(wǎng)絡(luò)共訓(xùn)練了50個(gè)epoch。實(shí)驗(yàn)中ROI區(qū)域檢測(cè)階段骨干網(wǎng)絡(luò)均使用ImageNet數(shù)據(jù)集[45]上預(yù)先訓(xùn)練的相應(yīng)模型進(jìn)行初始化,其余的隨機(jī)初始化,微調(diào)修正階段使用在COCO數(shù)據(jù)集上預(yù)訓(xùn)練的模型進(jìn)行初始化。

3.3 評(píng)價(jià)指標(biāo)

本實(shí)驗(yàn)中所采用的評(píng)價(jià)指標(biāo)為平均歐幾里得距離(the average of Euclidean distance,AED),具體計(jì)算公式(式中簡記dAED)見公式(6)。

(6)

3.4 與其他網(wǎng)絡(luò)對(duì)比

本節(jié)對(duì)比了現(xiàn)有的幾種性能較好的鞏膜突定位算法U-Net[46]、ResUNet,UNet++[47]、Yuan et al[48],這幾種算法都是基于深度學(xué)習(xí)的算法,在2019年AGE挑戰(zhàn)賽中表現(xiàn)優(yōu)異。表1展示了在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果對(duì)比,第二列為AGE-Challenge數(shù)據(jù)集(Ⅰ)上實(shí)驗(yàn)結(jié)果,第三列為自有數(shù)據(jù)集(Ⅱ)上的實(shí)驗(yàn)結(jié)果,其他幾種方法也都采用相同的數(shù)據(jù)集及劃分策略進(jìn)行實(shí)驗(yàn)。由此可知,文中所提出的方法相較于其他方法表現(xiàn)出更好的性能,AED最低。其次,數(shù)據(jù)集(Ⅱ)上的性能較數(shù)據(jù)集(Ⅰ)更優(yōu)越,一方面可能是由于數(shù)據(jù)集(Ⅱ)樣本較少,因此能夠使模型更好的提取深層特征;另一方面是由于數(shù)據(jù)集(Ⅱ)中AS-OCT圖像成像更為清晰,相較于數(shù)據(jù)集(Ⅰ)噪聲點(diǎn)更少,故鞏膜突更加容易被定位。

圖7展示了在兩個(gè)數(shù)據(jù)集上的可視化結(jié)果。可以發(fā)現(xiàn),整體上文中所采用的兩階段鞏膜突自動(dòng)定位算法所定位的鞏膜突更加接近真實(shí)位置,閉角狀態(tài)下的AS-OCT圖像更加難以定位到鞏膜突位置。

表1 與其他先進(jìn)算法結(jié)果比較Tab.1 Comparison with other state-of-the-art algorithm results

圖7 鞏膜突定位結(jié)果Fig.7 Scleral spur location results

3.5 消融實(shí)驗(yàn)

本節(jié)對(duì)網(wǎng)絡(luò)中的一些改進(jìn)措施進(jìn)行了消融實(shí)驗(yàn),測(cè)試了所用方法的有效性。首先驗(yàn)證了ROI區(qū)域檢測(cè)網(wǎng)絡(luò)中所用骨干網(wǎng)絡(luò)的優(yōu)越性,其次通過實(shí)驗(yàn)證明了加入微調(diào)修正網(wǎng)絡(luò)對(duì)鞏膜突預(yù)測(cè)結(jié)果進(jìn)行修正的有效性。

3.5.1 骨干網(wǎng)絡(luò)的選擇

文中所使用的骨干網(wǎng)絡(luò)為在ResNet網(wǎng)絡(luò)中加入ACmix模塊,這一小節(jié)中通過實(shí)驗(yàn)對(duì)比了幾種不同的backbone用作ROI區(qū)域檢測(cè)網(wǎng)絡(luò)中的特征提取網(wǎng)絡(luò)的實(shí)驗(yàn)效果,分別為ResNet50[23]、ResNeXt50[40]、ResNeSt50[41]和ConvNeXt[49]。其中ResNet50、ResNeXt50是對(duì)ResNet中基礎(chǔ)卷積塊所作的改進(jìn),具體如圖8所示。ConvNeXt是使用Transformer網(wǎng)絡(luò)[50]的一些先進(jìn)思想在實(shí)驗(yàn)策略以及卷積層設(shè)置上進(jìn)行了一系列調(diào)整和改進(jìn),結(jié)合了Transformer和CNN這兩種網(wǎng)絡(luò)的優(yōu)勢(shì)。實(shí)驗(yàn)中都使用在ImageNet上預(yù)訓(xùn)練的權(quán)重進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表2所示。表2顯示,與直接使用ResNet50相比,加入ACmix模塊后模型性能有了大幅度提升,在兩個(gè)數(shù)據(jù)集上的平均誤差分別下降了1.52和3.16。相較于其他基于ResNet50網(wǎng)絡(luò)的改進(jìn),文中所提出的兩階段鞏膜突自動(dòng)定位算法仍具有優(yōu)越性,定位性能達(dá)到最優(yōu)。

圖8 ResNeXt-50與ResNeSt-50的基礎(chǔ)卷積塊Fig.8 The basic block of ResNeXt-50 and ResNeSt-50

表2 不同backbone實(shí)驗(yàn)結(jié)果比較Tab.2 Comparison of the results from the different backbone

3.5.2 微調(diào)修正模塊的作用

為了驗(yàn)證微調(diào)修正模塊的效果。在兩個(gè)數(shù)據(jù)集上分別進(jìn)行消融實(shí)驗(yàn)。表3和表4分別列出了在兩個(gè)數(shù)據(jù)集上加入微調(diào)修正模塊前后實(shí)驗(yàn)結(jié)果。其中,當(dāng)不加入微調(diào)修正模塊時(shí),將ROI區(qū)域檢測(cè)網(wǎng)絡(luò)得到的邊界框中心作為鞏膜突預(yù)測(cè)位置。為了驗(yàn)證其性能的泛化性,在5種backbone上都進(jìn)行了實(shí)驗(yàn),通過對(duì)比發(fā)現(xiàn),加入微調(diào)修正模塊后模型整體性能都有所提高。

表3 在數(shù)據(jù)集(Ⅰ)上加入微調(diào)修正模塊前后結(jié)果對(duì)比Tab.3 Results comparison before and after the fine correction module was added to the datasets (I)

表4 在數(shù)據(jù)集(Ⅱ)上加入微調(diào)修正模塊前后結(jié)果對(duì)比Tab.4 Results comparison before and after the fine correction module was added to the datasets (Ⅱ)

4 結(jié)語

本文提出了一個(gè)面向AS-OCT的鞏膜突自動(dòng)定位算法。由于鞏膜突在整張圖像上占比較小,形狀特征不明顯,因此結(jié)合人類視覺感知過程,采用從“粗”到“細(xì)”的策略,設(shè)計(jì)了一個(gè)兩階段算法逐步進(jìn)行鞏膜突的定位。通過加入ACmix模塊提高了ROI區(qū)域檢測(cè)階段特征提取能力,通過加入微調(diào)修正網(wǎng)絡(luò)進(jìn)一步提取圖像細(xì)節(jié)特征,最終得到鞏膜突所在位置。該方法在公開數(shù)據(jù)集和自有數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果均優(yōu)于現(xiàn)有算法。

未來將從以下兩方面對(duì)文中相關(guān)工作進(jìn)行擴(kuò)展和改進(jìn)。

1)AS-OCT圖像中鞏膜突的定位精度會(huì)直接影響到對(duì)眼前節(jié)結(jié)構(gòu)的定量分析,從而對(duì)疾病的診斷和治療產(chǎn)生影響。雖然文中所提出的兩階段鞏膜突自動(dòng)定位方法獲得了較為精準(zhǔn)的結(jié)果,但仍有較大的提升空間,對(duì)于一些由于房角關(guān)閉而導(dǎo)致鞏膜突難以定位的圖像仍會(huì)出現(xiàn)偏差較大的情況,因此需要根據(jù)其位置特征進(jìn)一步優(yōu)化網(wǎng)絡(luò)。

2)目前對(duì)于眼科圖像的研究大多集中在眼底圖像,對(duì)于眼前節(jié)圖像的研究較少。因此可考慮利用鞏膜突的自動(dòng)定位結(jié)果進(jìn)行眼前節(jié)結(jié)構(gòu)參數(shù)的測(cè)量,從而實(shí)現(xiàn)一些眼部疾病,如青光眼等的輔助診斷,助力眼科醫(yī)學(xué)事業(yè)的智能化發(fā)展。