引入雙編碼器模型的OCT視網(wǎng)膜圖像分割

陳明惠，王 騰，袁 媛，柯舒婷

上海理工大學(xué) 健康科學(xué)與工程學(xué)院 上海介入醫(yī)療器械 工程技術(shù)研究中心教育部醫(yī)學(xué)光學(xué)工程中心，上海 200082

1 引言

視網(wǎng)膜病變是一種常見(jiàn)地眼科疾病，大多數(shù)眼底疾病是由視網(wǎng)膜病變引起的[1]。研究表明，在大多數(shù)眼底疾病中，視網(wǎng)膜形態(tài)結(jié)構(gòu)的變化早于患者在視覺(jué)上感知到的變化，檢測(cè)視網(wǎng)膜各層的微小形態(tài)變化來(lái)分析視網(wǎng)膜形態(tài)結(jié)構(gòu)對(duì)早期發(fā)現(xiàn)眼底視網(wǎng)膜疾病具有關(guān)鍵價(jià)值。近年來(lái)，視網(wǎng)膜相關(guān)的各種醫(yī)學(xué)圖像被廣泛應(yīng)用于視網(wǎng)膜疾病的診斷、篩查和治療中[2-4]。光學(xué)相干層析成像(Optical coherence tomography，OCT)可以直接顯示視網(wǎng)膜的分層結(jié)構(gòu)狀態(tài)并獲取其相應(yīng)的厚度，目前已成為一項(xiàng)重要的眼科診斷技術(shù)，并被常規(guī)用于監(jiān)測(cè)視網(wǎng)膜狀態(tài)變化[5]。視網(wǎng)膜層厚度和液體分布可用于診斷眼科疾病，自動(dòng)分割視網(wǎng)膜OCT 圖像中的視網(wǎng)膜層可以幫助有效地診斷和監(jiān)控視網(wǎng)膜疾病，如糖尿病黃斑水腫、青光眼、多發(fā)性硬化癥等。因此，準(zhǔn)確分割視網(wǎng)膜圖像中的視網(wǎng)膜層邊界是進(jìn)行病理分析和診斷的關(guān)鍵步驟。然而，視網(wǎng)膜各層的圖像有時(shí)是復(fù)雜的，難以分割。例如，糖尿病可能導(dǎo)致黃斑水腫(macular edema，ME)，在檢查ME 的視網(wǎng)膜OCT 圖像中可以看到部分液體區(qū)域，該區(qū)域具有低反射強(qiáng)度，是視網(wǎng)膜組織中的低對(duì)比度區(qū)域[6]。液體區(qū)域使視網(wǎng)膜組織變形，這可能導(dǎo)致分割算法失敗。因此，快速準(zhǔn)確地分割視網(wǎng)膜各層及液體區(qū)域是具有挑戰(zhàn)性的。

傳統(tǒng)的視網(wǎng)膜層分割方法通?；跀?shù)學(xué)模型，通過(guò)分析解剖結(jié)構(gòu)和先前的臨床知識(shí)來(lái)檢測(cè)視網(wǎng)膜層。Monemian 等[7]提出利用像素的紋理屬性來(lái)提取層間邊界像素的區(qū)分特征。Liu 等[8-10]基于水平集的方法對(duì)視網(wǎng)膜各層進(jìn)行自動(dòng)分割，該方法可以在訓(xùn)練隨機(jī)森林的過(guò)程中獲得邊界概率圖，隨著訓(xùn)練次數(shù)的不斷增加可以將分割結(jié)果準(zhǔn)確到亞像素精度。Hussain等[11]通過(guò)將問(wèn)題建模為圖并運(yùn)用Dijkstras 最短路徑算法，找到三個(gè)參考層的近似位置，然后將搜索空間限定為實(shí)際層。由于拓?fù)湓谶吔绱_定中起到很好的作用，因此可以克服扭曲的影響。這些方法在視網(wǎng)膜層分割中是有效的，但鑒于不同患者OCT 圖像內(nèi)的特征有所差異，傳統(tǒng)算法在不同數(shù)據(jù)集上的效果也都有明顯差異，這導(dǎo)致基于傳統(tǒng)算法的分割任務(wù)魯棒性不太理想，并且一些算法的相關(guān)參數(shù)還需要有經(jīng)驗(yàn)的實(shí)驗(yàn)人員去實(shí)時(shí)調(diào)整。

近些年，深度學(xué)習(xí)的發(fā)展尤為迅速，特別是在OCT 視網(wǎng)膜分層中達(dá)到了比傳統(tǒng)方法更準(zhǔn)確的效果。卷積神經(jīng)網(wǎng)絡(luò) (Convolutional neural network，CNN)可自動(dòng)提取和學(xué)習(xí)圖像特征，已被廣泛應(yīng)用于各種模式的圖像處理中，后續(xù)出現(xiàn)了許多關(guān)于CNN 的變體結(jié)構(gòu)[12-16]。U-Net[17]是最早且最著名的基于自動(dòng)編碼器和解碼器的醫(yī)學(xué)圖像分割架構(gòu)之一。杜克大學(xué)OCT 實(shí)驗(yàn)室在2017 年基于U-Net 的編碼器、解碼器結(jié)構(gòu)提出了一種新的全卷積深度模型，稱(chēng)為ReLayNet[18]，成功地對(duì)OCT 圖像中各類(lèi)視網(wǎng)膜層以及液體區(qū)域進(jìn)行了分割。ReLayNet 通過(guò)編碼器級(jí)聯(lián)進(jìn)行下采樣使模型對(duì)特征圖進(jìn)行信息提取分類(lèi)，從而進(jìn)行有效的對(duì)上下文特征的學(xué)習(xí)，通過(guò)解碼器的上采樣路徑進(jìn)行信息的整合恢復(fù)以生成完整的分割圖。后續(xù)也有相關(guān)工作采取解碼器單級(jí)聯(lián)多輸出進(jìn)行分割工作[19]。MDAN-UNET[20]使用多尺度特征和注意力機(jī)制來(lái)提高現(xiàn)有方法的分割性能，可以基于空間和通道兩方面很好地提取全局信息，實(shí)驗(yàn)對(duì)OCT 視網(wǎng)膜液體區(qū)域和視網(wǎng)膜層進(jìn)行了分割并取得了理想的效果。Ngo 等[21]提出了一種基于特征學(xué)習(xí)回歸網(wǎng)絡(luò)的自動(dòng)分割方法，該方法將圖像片段的亮度、梯度和自適應(yīng)歸一化強(qiáng)度分?jǐn)?shù)作為學(xué)習(xí)特征，然后預(yù)測(cè)相應(yīng)的視網(wǎng)膜邊界像素。然而，這些基于卷積神經(jīng)網(wǎng)絡(luò)的方法感受野范圍較小，對(duì)全局信息關(guān)注較少。Chi 等[22]實(shí)驗(yàn)表明，空間信息只關(guān)注局部信息，而往往忽略了圖像中所有像素的全局信息，從而提出了一種新的卷積-快速傅里葉卷積(fast Fourier convolution，F(xiàn)FC)，它不僅可以觀察到非局部的特征區(qū)域，還可以在卷積內(nèi)部進(jìn)行跨尺度信息的處理融合。為了減少卷積網(wǎng)絡(luò)的計(jì)算成本，人們探索了U-Net[17]和快速傅立葉變換[23]的組合，其目的是進(jìn)一步利用圖像中不能被常規(guī)卷積層很好地提取的全局特征。

綜合上述相關(guān)工作，在類(lèi)別更多、更復(fù)雜的分割任務(wù)下，單一的設(shè)計(jì)增加各種機(jī)制模塊無(wú)疑提升了模型的復(fù)雜度和硬件需求，同時(shí)一個(gè)大的有效感受野對(duì)于理解圖像的整體結(jié)構(gòu)和解決修復(fù)問(wèn)題雖然是必不可少的，但在大掩模的情況下，大但有限的接受場(chǎng)也可能不足以訪問(wèn)能產(chǎn)生高質(zhì)量修復(fù)所需的信息。因?yàn)镺CT 圖像中存在頻域特征，而這些特征在現(xiàn)有的空間卷積神經(jīng)網(wǎng)絡(luò)中可能會(huì)被遺漏。本文利用快速傅里葉卷積從光譜頻域中提取和處理全局信息，提出一種基于U-Net 的雙編碼器分割模型，用于分割OCT 視網(wǎng)膜圖像，分割任務(wù)包括內(nèi)界膜 (inner limiting membrane，ILM)、神經(jīng)纖維層-內(nèi)叢狀層(nerve fiber ending to Inner plexiform layer，NFL-IPL)、內(nèi)核層(inner nuclear layer，INL)、外叢狀層(outer plexiform layer，OPL)、外核層-光感受器內(nèi)節(jié)段髓系(outer nuclear layer to Inner segment myeloid，ONL-ISM)、內(nèi)感光和外感光層聯(lián)結(jié)(inner segment ellipsoid，ISE)、外節(jié)段-視網(wǎng)膜色素上皮細(xì)胞層(outer segment to retinal pigment epithelium，OS-RPE)以及視網(wǎng)膜圖像存在的一些液體區(qū)域。利用頻域編碼器來(lái)提取頻域特征，提出FFC-DC 模塊處理全局和局部信息，通過(guò)逆轉(zhuǎn)換將頻域特征轉(zhuǎn)換為空間特征來(lái)補(bǔ)全空間編碼器可能會(huì)忽略的信息。實(shí)驗(yàn)發(fā)現(xiàn)，基于快速傅里葉卷積的神經(jīng)網(wǎng)絡(luò)的性能優(yōu)于類(lèi)似的卷積模型，并且表現(xiàn)出比其他分割模型更好的結(jié)果。

2 實(shí)驗(yàn)方法及原理

2.1 空間編碼器、解碼器

如圖1 所示，本文模型中的空間編碼器和解碼器與原始的U-Net 相同，空間編碼器包含四個(gè)卷積塊。每個(gè)卷積塊包含一個(gè)3×3 卷積、BN 層、ReLU 層以及最大池化MP 層，編碼器通過(guò)最大池化層進(jìn)行下采樣四次，對(duì)應(yīng)的解碼器上采樣也進(jìn)行四次，其中左右兩側(cè)同級(jí)別的特征圖中間會(huì)進(jìn)行級(jí)聯(lián)操作?？臻g解碼器網(wǎng)絡(luò)總共具有四個(gè)上卷積塊，這四個(gè)上卷積塊接收頻域和空間特征，并在這四個(gè)上卷積塊傳遞到瓶頸層之前將它們連接起來(lái)。然后，使用相同于空間編碼器的卷積塊來(lái)放大來(lái)自先前解碼器塊和跳過(guò)連接的特征，經(jīng)過(guò)轉(zhuǎn)置卷積層后解碼器塊生成最終分割圖。

圖1 模型結(jié)構(gòu)圖Fig.1 Diagram of the model structure

2.2 頻域編碼器

如圖2 所示，與空間編碼器相同，在頻域編碼器中，實(shí)驗(yàn)選擇應(yīng)用 FFC 和擴(kuò)張卷積(Dilated Convolution，DC)模塊組成四個(gè)FFC-DC 塊，頻域編碼器接收與空間編碼器相同的輸入并從數(shù)據(jù)中提取頻域特征。FFC-DC 塊主要使用DC 模塊處理局部特征，使用頻域Transformer 來(lái)處理全局特征。輸入圖像x作為局部信息，xl被輸入到第一個(gè)FFC-DC 塊。因?yàn)檩斎雸D像中沒(méi)有全局特征，圖像像素被認(rèn)為是局部信息，所以輸入進(jìn)來(lái)的第一個(gè)xg的值被設(shè)置為0。

圖2 FFC-DC 模塊Fig.2 Architecture of the FFC-DC block

在FFC-DC 模塊中特征圖被四個(gè)分支所處理，分別為局部到局部、局部到全局、全局到局部、全局到全局，每條路徑都可以捕捉到不同感受野的互補(bǔ)信息。這些路徑之間的信息交換在內(nèi)部執(zhí)行?？焖俑道锶~卷積FFC 塊接收輸入的全局和局部信息xg、xl，然后將xg和xl輸入到三個(gè)DC 模塊和頻譜Transformer 中，提取全局和局部空間特征以及頻域范數(shù)，從而進(jìn)行頻域特征提取。最后，將批歸一化、非線性激活函數(shù)和最大池化合并應(yīng)用于特征，以生成下一個(gè)FFC 塊的全局和局部特征x'g、x'l。

2.2.1 DC 模塊

以往的工作通常采取常規(guī)卷積來(lái)處理局部特征，與傳統(tǒng)卷積相比，擴(kuò)張卷積具有特殊的優(yōu)點(diǎn)[24]。它可以隨著擴(kuò)張參數(shù)的改變而隨意生成不同的感受野，并獲得更豐富的上下文信息且不增加模型復(fù)雜度。擴(kuò)張卷積產(chǎn)生的特征圖可以與輸入的特征圖具有相同的尺度，同時(shí)每個(gè)輸出卷積會(huì)具有更大的感受野，因此它可以獲取更高級(jí)別的語(yǔ)義信息。DC 塊的結(jié)構(gòu)如圖3所示，在DC 塊中，特征分別被輸入1×1 和3×3 兩個(gè)常規(guī)卷積，所提取的特征信息會(huì)輸入到3×3 擴(kuò)張卷積中。通過(guò)這種方式，DC 塊可以獲得不同大小的感受野。最后，將所有特征送入1×1 卷積，以降低信道的維度。該方法可以使提出的模型更有效地進(jìn)行局部的特征提取。

圖3 DC 卷積模塊Fig.3 Architecture of the DC block

2.2.2 頻域Transformer

如圖4，頻域Transformer 首先將核大小為1 的卷積塊應(yīng)用于產(chǎn)生x''的xg。然后基于預(yù)定值α將x''的通道分成兩部分，其中α百分比的頻道被設(shè)定為全局信息，而1-α百分比的通道被設(shè)定為局部信息。分割的全局特征和局部特征分別輸送到傅里葉單元GFU (global Fourier unit)、LFU (local Fourier unit)以提取頻域特征x"g，x"l。

圖4 頻域TransformerFig.4 Architecture of the spectral Transformer

如圖5 所示，其中GFU 和LFU 結(jié)構(gòu)相同，LFU主要目的是捕捉半全局信息，將輸入圖分為四份處理，然后進(jìn)行傅里葉變換，這樣可以處理四分之一空間內(nèi)的關(guān)聯(lián)特征。傅里葉單元接收x"的一部分作為輸入，然后對(duì)這些特征應(yīng)用傅里葉變換以獲得實(shí)部和虛部a+bi∈C。將實(shí)部和虛部a、b疊加，然后輸入到核大小為1 的卷積層，將激活層和批歸一化層應(yīng)用于卷積層的輸出。輸出分成兩部分，即實(shí)部和虛部a'、b'，隨后其會(huì)經(jīng)過(guò)傅里葉逆變換將提取的頻域特征轉(zhuǎn)換回空間特征。最后，x與全局和局部傅里葉單元x"g、x"l的輸出相加。

圖5 傅里葉單元Fig.5 Architecture of the Fourier unit

2.3 損失函數(shù)

本文提出的框架是一種端到端的深度學(xué)習(xí)方法。交叉熵?fù)p失函數(shù)被經(jīng)常應(yīng)用到深度學(xué)習(xí)圖像分割中。然而，醫(yī)學(xué)方面的圖像分割目標(biāo)通常占據(jù)圖像很小一部分的區(qū)域，交叉熵?fù)p失函數(shù)對(duì)于這類(lèi)任務(wù)并不是最好最理想的。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，選擇結(jié)合了Dice 系數(shù)損失和加權(quán)交叉熵?fù)p失的新?lián)p失函數(shù)來(lái)代替交叉熵?fù)p失函數(shù)，損失函數(shù)公式如：

使用λdice、λce作為每個(gè)損失期的加權(quán)系數(shù)時(shí)，總損失額將變?yōu)椋?/p>

其中：N是像素?cái)?shù)，p(k,i)∈[0,1]和g(k,i)∈{0,1}分別表示第k個(gè)類(lèi)別的預(yù)測(cè)概率和真實(shí)標(biāo)簽；k是類(lèi)別數(shù)，是類(lèi)權(quán)重，在本文中，根據(jù)以往實(shí)驗(yàn)經(jīng)驗(yàn)地設(shè)定了 ωk=1/k，表示為類(lèi)別數(shù)的倒數(shù)。

3 實(shí)驗(yàn)與結(jié)果

3.1 數(shù)據(jù)集和實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)選擇在杜克大學(xué)[25]和溫州醫(yī)科大學(xué)的混合臨床視網(wǎng)膜OCT 數(shù)據(jù)集上訓(xùn)練和評(píng)估上節(jié)提出的方法。數(shù)據(jù)來(lái)自譜域OCT 系統(tǒng)，系統(tǒng)的參數(shù)為中心波長(zhǎng)1300 nm，帶寬135 nm，縱向分辨率為5.5 μm，橫向分辨率為13 μm，信噪比109 dB。該OCT 數(shù)據(jù)集包括來(lái)自11 個(gè)OCT 掃描子集，這些掃描對(duì)應(yīng)的所需標(biāo)簽由兩名專(zhuān)家注釋。過(guò)程中選取前7 個(gè)子集的掃描用于訓(xùn)練，后選取兩個(gè)子集用于驗(yàn)證，最后兩個(gè)子集的掃描作為測(cè)試集，并將其與之前的相關(guān)工作進(jìn)行了比較。實(shí)驗(yàn)基于公共PyTorch 平臺(tái)。在訓(xùn)練過(guò)程中，經(jīng)驗(yàn)地將原始圖像裁剪到224×224 輸入進(jìn)網(wǎng)絡(luò)以加快訓(xùn)練階段，因?yàn)槭諗克俣瓤斓膬?yōu)點(diǎn)，則選取ADAM作為優(yōu)化器，批大小為10，學(xué)習(xí)率設(shè)置為0.0005，權(quán)值衰減為0.0001，訓(xùn)練的最大周期為100，其中訓(xùn)練周期數(shù)是根據(jù)所有模型的最佳驗(yàn)證精度選擇的。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證將λdice和λce的值都設(shè)置為1。

3.2 比較方法與評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)將提出的模型與U-Net 和專(zhuān)門(mén)用于視網(wǎng)膜分層的RelayNet 進(jìn)行了比較評(píng)估，所有實(shí)驗(yàn)都在同一數(shù)據(jù)集上進(jìn)行訓(xùn)練和驗(yàn)證。為了評(píng)估網(wǎng)絡(luò)分割性能，本實(shí)驗(yàn)采用了 Dice 系數(shù)[26]和平均交并比(mean intersection over union，mIoU)[27]來(lái)評(píng)估模型對(duì)OCT 圖像分割的性能，二者都是衡量分割結(jié)果和原始標(biāo)簽相似度的度量指標(biāo)。Dice 相似系數(shù)表示預(yù)測(cè)和真實(shí)標(biāo)準(zhǔn)兩個(gè)樣本之間的相似度，取值范圍在[0,1]，Dice 系數(shù)越接近1，表示模型性能越好。平均交并比(mIoU)表示多類(lèi)分割中每個(gè)類(lèi)別分割正確區(qū)域與真實(shí)標(biāo)簽、預(yù)測(cè)值兩個(gè)集合之比。Dice、mIoU 的計(jì)算公式如：

其中：TP(true positive)表示分割結(jié)果中正確分割的目標(biāo)區(qū)域的像素個(gè)數(shù)；FP(false positive)表示實(shí)際為背景像素但在分割結(jié)果中被錯(cuò)誤分割為目標(biāo)區(qū)域的像素個(gè)數(shù)；FN(false negative)表示目標(biāo)區(qū)域被錯(cuò)誤分割為非目標(biāo)區(qū)域的像素個(gè)數(shù)；k表示類(lèi)別的總數(shù)。

3.3 實(shí)驗(yàn)結(jié)果

表1 顯示了三種模型分割結(jié)果，表示不同視網(wǎng)膜層和液體經(jīng)過(guò)實(shí)驗(yàn)所獲得的分割指標(biāo)，整體上本文模型在Dice 和mIoU 上都要優(yōu)于U-Net、ReLayNet，就視網(wǎng)膜層而言，除內(nèi)界膜的提升較為明顯外，其他指標(biāo)上的差別并不突出，這是因?yàn)槊恳粚拥囊暰W(wǎng)膜面積狹小，在沒(méi)有因病變或外力因素所導(dǎo)致特別大的形變下分割出的效果并沒(méi)有太大差別。而在液體分布范圍廣且分散的情況下，本文模型液體分割性能指標(biāo)Dice 系數(shù)相較于U-Net，ReLayNet 模型分別提高了10%和34%。在同等硬件條件下，雙編碼模型用時(shí)比U-Net 慢了2 s，但和ReLayNet 相比基本差不多。

表1 不同方法在數(shù)據(jù)集上的分割結(jié)果Table 1 Results of each method on dataset

圖6 是黃斑水腫(macular edema，ME) OCT 圖像，主要比較了本文模型和U-Net 的分割生成圖，從視覺(jué)上驗(yàn)證了表中數(shù)據(jù)的真實(shí)性，在本身視網(wǎng)膜結(jié)構(gòu)復(fù)雜狹窄的情況下，雙編碼器模型分割出的結(jié)果都近乎相似，在區(qū)域范圍較大、較分散的液體區(qū)域，雙編碼器又能很好地利用圖像的光譜頻域信息進(jìn)行轉(zhuǎn)換，成功捕捉到遺漏的空間信息，識(shí)別并預(yù)測(cè)出其所包含的區(qū)域。本文選取了小部分聚集的液體區(qū)域的情況(對(duì)應(yīng)于圖6(a))、原始標(biāo)簽液體區(qū)域呈現(xiàn)為一連串長(zhǎng)條形的情況(對(duì)應(yīng)于圖6(b))、液體區(qū)域呈分散且不規(guī)則狀的情況(對(duì)應(yīng)于圖6(c))作分析，在圖6(a) OCT 樣張中，對(duì)于小部分聚集的液體區(qū)域，U-Net 只能識(shí)別到上方一角，而本文模型識(shí)別出來(lái)的區(qū)域要遠(yuǎn)大于U-Net。圖6(b)樣張中原始標(biāo)簽液體區(qū)域呈現(xiàn)為一連串的長(zhǎng)條形，U-Net 分割結(jié)果呈不相連的塊狀區(qū)域，沒(méi)有將目標(biāo)區(qū)域信息很好地連接，而本文模型的分割結(jié)果沒(méi)有出現(xiàn)斷連，將液體整體區(qū)域都分割出來(lái)，使其更接近原始標(biāo)簽。圖6(c)樣張中的液體區(qū)域呈分散、不規(guī)則狀，這對(duì)于分割任務(wù)難度更大，本文模型較U-Net 分割出更多的液體區(qū)域，證明雙編碼器對(duì)于細(xì)節(jié)局部特征的處理更加優(yōu)秀，也驗(yàn)證了該方法對(duì)于單編碼器信息遺漏補(bǔ)全的可行性。結(jié)合數(shù)據(jù)和生成圖，本文模型的實(shí)驗(yàn)結(jié)果最接近于專(zhuān)家注釋的真實(shí)標(biāo)簽，而U-Net、ReLayNet 整體效果都不如雙編碼器的分割效果好，尤其對(duì)于液體分割的結(jié)果不太理想，在某些區(qū)域無(wú)法正確地分割液體。

圖6 本文模型與U-Net 的分割結(jié)果比較。(a)小部分聚集液體區(qū)域的分割對(duì)比；(b)長(zhǎng)形相連接液體區(qū)域的分割對(duì)比；(c)分散無(wú)規(guī)則分布液體區(qū)域的分割對(duì)比Fig.6 Some qualitative results of ours compared to U-Net.(a) Segmentation and comparison of small areas of liquid accumulation;(b) Segmentation and comparison of long forms and connected liquid regions;(c) Segmentation and comparison of randomly distributed liquid regions

3.4 消融實(shí)驗(yàn)及不同α 的對(duì)比

如表2 消融實(shí)驗(yàn)所示，分析了頻域Transformer中預(yù)定值α和FFC-DC 模塊對(duì)實(shí)驗(yàn)結(jié)果的影響，其中表中第一行表示在頻域解碼器中只存在常規(guī)卷積塊時(shí)的實(shí)驗(yàn)分割結(jié)果。數(shù)據(jù)表明，隨著FFC-DC 模塊的加入，實(shí)驗(yàn)結(jié)果的Dice 系數(shù)獲得了明顯提高，特別是對(duì)于視網(wǎng)膜中液體分割的準(zhǔn)確度，這表明頻域編碼器的設(shè)計(jì)的確對(duì)于空間解碼器所遺漏的部分空間信息有著良好的補(bǔ)全效果，對(duì)于分散形狀不一的液體區(qū)域具有很好的識(shí)別。因此有無(wú)FFC-DC 模塊，在液體分割上效果明顯。

表2 關(guān)于FFC-DC 和α 的消融實(shí)驗(yàn)Table 2 Ablation study on the FFC-DC blocks and α

表2 探索了實(shí)驗(yàn)在不同α值下的分割性能，結(jié)果顯示，當(dāng)α值為0.25 時(shí)，液體分割性能最佳，Dice系數(shù)達(dá)到了90%；當(dāng)α值為0.5 時(shí)，整體性能最佳，模型在液體分割上的Dice 系數(shù)達(dá)到了89%，而在視網(wǎng)膜層分割上與其他實(shí)驗(yàn)組不相上下。實(shí)驗(yàn)表明，局部和全局特征都可通過(guò)本文模型學(xué)習(xí)到有價(jià)值的信息。通過(guò)設(shè)置α的值，所提出的模型能夠?qū)⑷趾途植刻卣麝P(guān)聯(lián)起來(lái)，以實(shí)現(xiàn)最佳性能。

4 結(jié)論與討論

本文提出了一種基于U-Net 的端到端雙編碼器分割模型，用于分割OCT 圖像中的視網(wǎng)膜層和液體區(qū)域。區(qū)別于U-Net 的單一編碼器，主要利用傅里葉卷積的提取和轉(zhuǎn)換特點(diǎn)，提出頻域編碼器作為第二個(gè)編碼器分支，進(jìn)而從OCT 圖像中提取光譜頻域特征，包括具有依賴(lài)于組織和視網(wǎng)膜層的高頻非均勻斑點(diǎn)，頻域中的特征提取使本文的網(wǎng)絡(luò)能夠?qū)γ恳粚又械陌唿c(diǎn)分布進(jìn)行建模和學(xué)習(xí)。頻域編碼器作為本文模型的第二編碼器提取OCT 光譜特征，比單編碼器的UNet、ReLayNet 多了頻域特征，所以在視網(wǎng)膜層的內(nèi)界膜層得到較好的分割效果，因?yàn)閮?nèi)膜層面積稍微大一點(diǎn)，病變影響顯著。而液體區(qū)域體現(xiàn)了其高光譜頻域特征，特別是液體區(qū)域呈分散、不規(guī)則狀的圖像中更加明顯，這在圖6(c)也得到了很好的驗(yàn)證。

實(shí)驗(yàn)將提出的模型與經(jīng)典模型進(jìn)行了比較，結(jié)果表明，本文模型都取得了最優(yōu)分割效果，整體的Dice 系數(shù)和mIoU 相較于U-Net 均提高2%，相較于ReLayNet 分別提高8%和4%，尤其在液體分割上其分割Dice 系數(shù)比U-Net 高出10%，比ReLayNet 高出34%，Dice 系數(shù)達(dá)到了89%，證明了頻域編碼器的可行性以及雙編碼器對(duì)于視網(wǎng)膜圖像分割的優(yōu)越性。