基于深度學(xué)習(xí)的結(jié)膜血管分割方法

許子豪，曹娟，馬煜輝，陳浜，謝林春，趙一天*

（1.重慶交通大學(xué) 信息科學(xué)與工程學(xué)院，重慶 400000；2.中國科學(xué)院寧波材料與技術(shù)工程研究所 慈溪生物醫(yī)學(xué)工程研究所，浙江 寧波 315201）

0 引言

光學(xué)相干斷層掃描血管成像（Optical Coherence Tomography Angiography，OCTA）技術(shù)通過窺測紅細(xì)胞的流動(dòng)[1]，以獲取視網(wǎng)膜、脈絡(luò)膜以及結(jié)膜部位的血管影像[2]。相較于傳統(tǒng)的熒光素眼底血管造影與吲哚菁綠血管造影，OCTA具有非入侵、快速以及三維成像的優(yōu)勢，成為眼科領(lǐng)域極具發(fā)展前景的血管成像技術(shù)[3]。相關(guān)臨床研究表明，如年齡相關(guān)性黃斑病變（AMD）、糖尿病視網(wǎng)膜病變（DR）、干眼病、青光眼病變在眼部血管中會(huì)呈現(xiàn)異常狀態(tài)[4]，而通過對眼部血管成像，輔助醫(yī)生診斷，實(shí)現(xiàn)對疾病的早發(fā)現(xiàn)早治療，以降低失明的風(fēng)險(xiǎn)。

本文圍繞位于眼球前節(jié)（Anterior Segment，AS）的結(jié)膜OCTA血管圖像展開研究，其血管量化指標(biāo)對于干眼癥診斷治療、角膜手術(shù)前后診斷治療都起著十分重要的作用[5]。特定的眼科疾病往往會(huì)引起血管密度、形態(tài)等血管量化指標(biāo)的異常。為實(shí)現(xiàn)血管的提取與量化，對AS-OCTA血管的自動(dòng)分割是一關(guān)鍵任務(wù)。所以血管的清晰呈現(xiàn)與準(zhǔn)確分割，是醫(yī)生做出準(zhǔn)確臨床診斷、精確提取量化血管指標(biāo)的前提。然而AS-OCTA圖像因眼球顫動(dòng)產(chǎn)生了大面積橫紋噪聲、血管區(qū)域與背景區(qū)域數(shù)據(jù)分布不均衡等問題，都為AS-OCTA精確、高效的自動(dòng)分割帶來了巨大挑戰(zhàn)。

深度學(xué)習(xí)的快速發(fā)展為解決AS-OCTA血管的精確分割帶來了新思路，從而輔助醫(yī)生實(shí)現(xiàn)相關(guān)血管指標(biāo)提取與量化，以便醫(yī)生的臨床診斷。本文基于深度學(xué)習(xí)的思想提出了AS-OCTA的自動(dòng)分割方法，它主要包含如下幾部分：首先實(shí)現(xiàn)了AS-OCTA中橫紋噪聲去除的數(shù)據(jù)預(yù)處理任務(wù)；為了提高血管分割準(zhǔn)確率，通過迭代的思想，在“U型”網(wǎng)絡(luò)結(jié)構(gòu)末端連接多個(gè)“微型”網(wǎng)絡(luò)結(jié)構(gòu)，來提高網(wǎng)絡(luò)的語義信息獲取能力，進(jìn)而提高分割準(zhǔn)確率；并使用Focal損失函數(shù)與Dice損失函數(shù)相結(jié)合的策略來對網(wǎng)絡(luò)模型進(jìn)行約束，解決分割數(shù)據(jù)分布不均衡的問題。

1 相關(guān)研究工作

目前國內(nèi)針對AS-OCTA眼表部位的血管分割研究還處在空白階段，但已有部分學(xué)者開展過關(guān)于OCTA的眼底血管分割的研究。如Gao等人[6]結(jié)合平均反射投影與去最大化相關(guān)投影的原理得到了en-faceOCTA的二值化血管分割圖像。Camino等人[7]提出了優(yōu)化的反射調(diào)整閾值方法來對OCTA中的血管進(jìn)行分割。Wu等人[8]提出了基于血管連續(xù)性分析的優(yōu)化方法，最終實(shí)現(xiàn)了OCTA中血管提取。然而，以上基于傳統(tǒng)的OCTA分割方法缺乏對整張圖像語義信息的獲取能力。

深度學(xué)習(xí)在醫(yī)學(xué)圖像分割領(lǐng)域中展現(xiàn)了巨大潛力[9-10]。由Ronneberger等人[11]提出的U-Net采用了短連接的方式，極大地促進(jìn)了深度學(xué)習(xí)在醫(yī)學(xué)圖像領(lǐng)域發(fā)展，許多以U-Net為基本框架改進(jìn)的圖像分割網(wǎng)絡(luò)也隨之提出如ResU-Net[12]、Attention U-Net[13]，并在醫(yī)學(xué)圖像分割方面取得了突出效果。Gu等人[14]基于上下文信息的編碼器提出了CE-Net，其中包含了稠密空洞卷積模塊與多核殘差池化模塊來獲取圖像中的語義信息，使得CE-Net在眼底血管分割中實(shí)現(xiàn)了較好的分割效果。Mou等人[15]提出了CS-Net，針對曲線型結(jié)構(gòu)的醫(yī)學(xué)圖像開展分割研究。為了自適應(yīng)圖像中的局部信息與整張圖像的關(guān)系，在編碼器與解碼器之間融合了基于空間與通道注意力的模塊，并在OCTA數(shù)據(jù)集中都取得了最好的分割效果。Li等人[16]基于無向池化層的投影原理，提出了投影網(wǎng)絡(luò)來對3D的OCTA視網(wǎng)膜圖像進(jìn)行分割，并得到2D的血管分割結(jié)果。Ma等人[17]提出了一個(gè)新的基于分解的粗細(xì)血管分割網(wǎng)絡(luò)OCTA-Net，它首先生成一個(gè)血管初始置信圖，并基于分解思想來對OCTA視網(wǎng)膜血管進(jìn)行精細(xì)化分割。Stenfan等人[18]基于深度學(xué)習(xí)的方法提出了針對OCTA數(shù)據(jù)的圖像增強(qiáng)、分割的網(wǎng)絡(luò)模型工具，并可以提供給研究者血管量化指標(biāo)結(jié)果。但是在血管分割研究中采用簡單的卷積神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)，并未發(fā)揮出神經(jīng)網(wǎng)絡(luò)潛在的學(xué)習(xí)能力。

2 基于級聯(lián)網(wǎng)絡(luò)的結(jié)膜圖像分割

2.1 數(shù)據(jù)預(yù)處理

設(shè)備在采集圖像時(shí)，由于患者眼球的不自主顫動(dòng)，導(dǎo)致圖像存在大面積橫紋噪聲，為醫(yī)生的疾病診斷與分割網(wǎng)絡(luò)的訓(xùn)練帶來阻礙。首先通過協(xié)同一致性方法[19]來去除AS-OCTA中的橫紋噪聲，最后結(jié)果如圖1所示，其中(a)為帶橫紋噪聲的原始圖像，(b)為橫紋噪聲去除后的圖像?？梢栽谌コ龣M紋噪聲的同時(shí)保留完整的血管信息，最后將去噪圖像作為網(wǎng)絡(luò)的數(shù)據(jù)集使用，來提高最終分割網(wǎng)絡(luò)的可靠性。

圖1 數(shù)據(jù)預(yù)處理

2.2 級聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)

本文采用經(jīng)典的“U型”結(jié)構(gòu)U-Net網(wǎng)絡(luò)作為基礎(chǔ)模型，主要包含了編碼器、解碼器與跳躍連接三個(gè)部分。但傳統(tǒng)的U-Net網(wǎng)絡(luò)訓(xùn)練不穩(wěn)定，本文加入BatchNorm層與ReLU激活函數(shù)來防止網(wǎng)絡(luò)訓(xùn)練時(shí)梯度消失與爆炸，同時(shí)提高神經(jīng)網(wǎng)絡(luò)的特征提取能力，卷積模塊的設(shè)計(jì)如表1所示：

表1 本文網(wǎng)絡(luò)卷積模塊

網(wǎng)絡(luò)中的編碼器部分每一層首先通過表1的卷積模塊，接著通過最大池化層進(jìn)入到下一層編碼。解碼器部分每一層依次通過表1的卷積模塊與上采樣層，進(jìn)入到上一層解碼。為保證在特征提取時(shí)，獲取更多上下文信息，將對應(yīng)編碼層與解碼層的特征圖進(jìn)行跳躍連接。本文采用5層的網(wǎng)絡(luò)結(jié)構(gòu)，如圖2中U-Net所示。

圖2 本文提出的分割網(wǎng)絡(luò)

為對血管區(qū)域精細(xì)化分割，需獲取圖像中更多語義信息。若加深網(wǎng)絡(luò)深度，易導(dǎo)致圖像細(xì)節(jié)信息的丟失。故在第一個(gè)U-Net結(jié)構(gòu)輸出后連接N個(gè)“微型U-Net”，提高網(wǎng)絡(luò)特征提取能力，實(shí)現(xiàn)對血管的準(zhǔn)確分割?！拔⑿蚒-Net”采用同表1相似的卷積結(jié)構(gòu)，同時(shí)為了在特征提取時(shí)進(jìn)一步優(yōu)化分割結(jié)果，采用3層網(wǎng)絡(luò)結(jié)構(gòu)對第一次U-Net輸出的分割結(jié)果進(jìn)一步微調(diào)。為保證血管微調(diào)階段不丟失圖像信息，在U-Net的輸出端與“微型U-Net”的輸入端進(jìn)行跳躍連接，網(wǎng)絡(luò)如圖2中“微型U-Net”所示。

2.3 損失函數(shù)

在結(jié)膜圖像中，血管區(qū)域占整張圖像較小比例，導(dǎo)致數(shù)據(jù)分布不均衡的問題，為神經(jīng)網(wǎng)絡(luò)訓(xùn)練帶來難度。為了解決這一難題，F(xiàn)ocal[20]損失函數(shù)基于傳統(tǒng)交叉熵基礎(chǔ)上，為圖像中正負(fù)樣本分配不同的權(quán)值，使網(wǎng)絡(luò)可以關(guān)注樣本量少的血管區(qū)域。它的表達(dá)式如下：

最終本文提出模型的目標(biāo)約束函數(shù)如下，β為控制兩者的權(quán)重參數(shù)：

3 實(shí)驗(yàn)評估

3.1 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

本文所用數(shù)據(jù)集包含了31張結(jié)膜AS-OCTA圖像，由Optovue公司的RTVue XR Avanti SD-OCT設(shè)備拍攝。采集的AS-OCTA圖像覆蓋結(jié)膜的區(qū)域，分辨率。為了驗(yàn)證分割算法的有效性，AS-OCTA圖像均由眼科專家借助ImageJ軟件人工標(biāo)注可見的血管像素，最終將標(biāo)注結(jié)果作為實(shí)驗(yàn)的金標(biāo)準(zhǔn)。如圖3所示，(a)表示AS-OCTA圖像，(b)為(a)對應(yīng)的金標(biāo)準(zhǔn)。

本文提出的分割網(wǎng)絡(luò)的實(shí)驗(yàn)環(huán)境是在Ubuntu 16.04的操作系統(tǒng)下基于Pytorch深度學(xué)習(xí)框架實(shí)現(xiàn)的，并使用NVIDIA GeForce GTX 3090顯卡進(jìn)行加速。在網(wǎng)絡(luò)訓(xùn)練過程中，選取26張圖像作為訓(xùn)練集，5張作為測試集。將學(xué)習(xí)率設(shè)置為0.0001，并通過“poly”學(xué)習(xí)率衰減策略，使網(wǎng)絡(luò)訓(xùn)練的學(xué)習(xí)率隨著訓(xùn)練次數(shù)的增加逐漸衰減至0，從而加快網(wǎng)絡(luò)訓(xùn)練擬合過程。用Adam優(yōu)化算法使網(wǎng)絡(luò)快速達(dá)到收斂結(jié)果，批處理的大小設(shè)置為1，訓(xùn)練的迭代次數(shù)（epoch）為300次，“微型U-Net”網(wǎng)絡(luò)個(gè)數(shù)N取3，損失函數(shù)控制參數(shù)為β=10 。

3.2 評估標(biāo)準(zhǔn)

為驗(yàn)證本文算法針對血管分割的性能，需要用有效的指標(biāo)來衡量分割的有效性。在醫(yī)學(xué)圖像的分割領(lǐng)域中，常采用AUC、準(zhǔn)確率（Accuracy）、Dice系數(shù)這3個(gè)指標(biāo)來評價(jià)分割結(jié)果的性能。其中，AUC表示的是ROC曲線之下的面積，值越大代表模型性能更佳。準(zhǔn)確率與Dice系數(shù)的計(jì)算方式如下：

其中，TP為正確分割的血管像素，TN為正確分割的背景像素，F(xiàn)P為錯(cuò)誤分割的血管像素，F(xiàn)N為錯(cuò)誤分割的背景像素。

3.3 方法對比

為了驗(yàn)證本文算法的有效性，將其與現(xiàn)有基于深度學(xué)習(xí)的圖像分割方法進(jìn)行對比，主要包含了U-Net、ResU-Net、CS-Net。對比實(shí)驗(yàn)的參數(shù)都與原論文保持一致，最終得到的分割效果如圖4。從黃色箭頭部分可以看出其他方法缺乏對血管連續(xù)分割，而本文提出的方法在血管分割結(jié)果中連續(xù)性更高。除此之外，相較于U-Net、ResU-Net、CS-Net，本文提出的方法并未分割出圖像中存在的噪聲背景，而且實(shí)現(xiàn)了更精準(zhǔn)的血管分割結(jié)果，以方便后續(xù)醫(yī)生的疾病篩查與診斷。

圖4 本文方法與對比方法結(jié)果圖

分割指標(biāo)結(jié)果如表2，本文提出的方法在AUC、準(zhǔn)確率、Dice中分別達(dá)到了95.8%、95.5%、64.6%。相比于現(xiàn)有的主流方法，本文提出的方法達(dá)到了最高的分割結(jié)果。AUC的值最高，代表本文提出的方法具有更穩(wěn)定的分割性能。對比于基本框架U-Net，本文提出的方法在AUC、準(zhǔn)確率、Dice系數(shù)上分別提高了2.1、0.1、3.4個(gè)百分點(diǎn)，實(shí)現(xiàn)了分割模型的優(yōu)化與分割精確度的提升。

表2 對比方法實(shí)驗(yàn)結(jié)果

3.4 消融實(shí)驗(yàn)

本文方法基于U-Net為基礎(chǔ)框架改進(jìn)，并連接個(gè)N個(gè)“微型U-Net”網(wǎng)絡(luò)。本文討論N的取值，最終確定網(wǎng)絡(luò)結(jié)構(gòu)得到最好的分割效果。當(dāng)N=0 時(shí)，網(wǎng)絡(luò)模型為基礎(chǔ)框架U-Net。隨著N逐漸增大至4，分割實(shí)驗(yàn)結(jié)果如表3所示。可以看出隨著N逐漸增大至3，AUC、準(zhǔn)確率、Dice系數(shù)值相比于基礎(chǔ)框架U-Net，分割結(jié)果隨N的增大而提高；而當(dāng)N=4 時(shí)，AUC、準(zhǔn)確率、Dice系數(shù)已經(jīng)保持在了一定準(zhǔn)確率，沒有進(jìn)一步提升，反而有了小幅度的下降。由于隨著網(wǎng)絡(luò)語義獲取層次的推進(jìn)，最后反而會(huì)引起圖像細(xì)節(jié)信息丟失的問題。所以，最終本文采用3個(gè)“微型U-Net”的網(wǎng)絡(luò)結(jié)構(gòu)為最終方法，從而實(shí)現(xiàn)結(jié)膜圖像中血管的自動(dòng)分割。

表3 不同“微型U-Net”個(gè)數(shù)實(shí)驗(yàn)

4 結(jié)語

本文針對結(jié)膜圖像開展分割方法的研究，首先對獲取的圖像進(jìn)行橫紋噪聲去除的預(yù)處理任務(wù)，并作為新的數(shù)據(jù)集?；赨-Net的基礎(chǔ)結(jié)構(gòu)上級聯(lián)3個(gè)“微型U-Net”來提高網(wǎng)絡(luò)對血管的準(zhǔn)確分割能力，并聯(lián)合Focal與Dice損失函數(shù)共同約束來訓(xùn)練網(wǎng)絡(luò)模型，解決血管圖像數(shù)據(jù)分布不均衡的問題。通過對比其他血管分割方法、討論“微型U-Net”個(gè)數(shù)，確定分割模型。最終結(jié)果表明，本文提出的方法可以有效提高血管分割的準(zhǔn)確度，方便后續(xù)疾病篩查與診斷研究。