基于U-Net神經(jīng)網(wǎng)絡(luò)眼底圖像的視盤(pán)分割研究

曾 錕，郭學(xué)東，黃銘斌，許祥叢，楊旭倫，張 浩，陳允照，陳 勇

（1.佛山科學(xué)技術(shù)學(xué)院 機(jī)電工程與自動(dòng)化學(xué)院，廣東 佛山 528200；2.佛山科學(xué)技術(shù)學(xué)院 物理與光電工程學(xué)院，廣東 佛山 528200）

圖1 視盤(pán)視杯結(jié)構(gòu)圖Fig.1 Optic disc cup structure chart

0 引言

眼底圖像中的視盤(pán)在青光眼篩查和診斷中起著重要作用，青光眼的早期發(fā)現(xiàn)有助于顯著降低不可逆性視力喪失的風(fēng)險(xiǎn)[1]。青光眼通常會(huì)導(dǎo)致視盤(pán)形狀、顏色和視網(wǎng)膜厚度發(fā)生變化，主要表現(xiàn)為視盤(pán)的中心亮區(qū)域（視杯）擴(kuò)增，臨床上最常使用的診斷指標(biāo)是視盤(pán)視杯垂直比（CDR），簡(jiǎn)稱(chēng)杯盤(pán)比，越大的杯盤(pán)比預(yù)示著更大的青光眼患病風(fēng)險(xiǎn)；在實(shí)際臨床判斷中，眼底圖像的杯盤(pán)比CDR大于0.65這一閾值常被判定為青光眼[2]。計(jì)算的杯盤(pán)比越準(zhǔn)確，對(duì)青光眼眼部疾病的診斷篩查就越有利，而準(zhǔn)確的杯盤(pán)比，依賴(lài)于眼底圖像視盤(pán)的精確分割，因此，眼底圖像視盤(pán)的精確分割極為重要。眼底圖像視盤(pán)視杯結(jié)構(gòu)圖如圖1所示。

在過(guò)去的傳統(tǒng)方法中，Aquino等人[3]采用形態(tài)學(xué)邊緣檢測(cè)方法分割視盤(pán)邊界，趙圓圓等人[4]使用基于水平集的CV模型約束邊界梯度對(duì)視盤(pán)進(jìn)行分割，趙曉芳等人[5]使用Sobel算子對(duì)視盤(pán)進(jìn)行邊緣提取，隨后使用霍夫變換檢測(cè)圓來(lái)獲取視盤(pán)輪廓。這些方法實(shí)現(xiàn)簡(jiǎn)單，但由于每張眼底圖像的亮度不一樣，加上臨床研究表明視盤(pán)是垂直高度比水平高度大約長(zhǎng)7%～10%的近似橢圓[6]，所以利用形態(tài)學(xué)、圓形霍夫變換等技術(shù)并不能精確地分割視盤(pán)，而且霍夫變換的計(jì)算量大，導(dǎo)致分割慢、效率低。

近幾年，深度學(xué)習(xí)以其在計(jì)算機(jī)視覺(jué)和圖像識(shí)別領(lǐng)域的卓越性能吸引了許多研究者的注意，越來(lái)越多的人將深度學(xué)習(xí)算法，特別是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN），應(yīng)用于醫(yī)學(xué)圖像的分析中[7]。Chen等人[8]使用以視盤(pán)為中心的圖像塊訓(xùn)練端到端的CNN網(wǎng)絡(luò)用于青光眼的疾病診斷；Li等人[9]在青光眼診斷中，通過(guò)深度卷積網(wǎng)絡(luò)提取圖像全局與局部的特征，將全局與局部信息的診斷結(jié)果加權(quán)融合得出最終的診斷結(jié)果。不同于傳統(tǒng)的圖像分析算法，深度學(xué)習(xí)不需要人工選取圖像的特征，深度模型可以自動(dòng)從圖像中學(xué)習(xí)解決問(wèn)題的最優(yōu)特征表達(dá)，深度網(wǎng)絡(luò)有許多層，隨著層數(shù)的增加，網(wǎng)絡(luò)對(duì)輸入圖像不斷提取高層特征并生成最后的輸出結(jié)果，通過(guò)多次迭代降低輸出的損失函數(shù)從而不斷優(yōu)化深度網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)。由于將特征提取與網(wǎng)絡(luò)的最終輸出結(jié)果相關(guān)聯(lián)，可以提取對(duì)疾病診斷有效的圖像特征以達(dá)到更好的圖像分析性能。因此，深度學(xué)習(xí)具有較強(qiáng)的基于數(shù)據(jù)的自主學(xué)習(xí)能力[10]，并且隨著越來(lái)越多深度網(wǎng)絡(luò)的結(jié)構(gòu)和優(yōu)化算法被提出，深度學(xué)習(xí)的泛化性能也不斷提升，最近在醫(yī)學(xué)圖像領(lǐng)域不斷取得優(yōu)異的成果[11]。在眼科圖像分析領(lǐng)域，最近深度學(xué)習(xí)才被逐漸應(yīng)用，大多數(shù)的工作集中在使用簡(jiǎn)單的 CNN網(wǎng)絡(luò)進(jìn)行彩色眼底圖像的分析，主要應(yīng)用在眼底結(jié)構(gòu)的分割、視網(wǎng)膜損傷的分割和檢測(cè)、眼疾病的診斷和圖像質(zhì)量評(píng)價(jià)。

本文提出了一種基于U-Net神經(jīng)網(wǎng)絡(luò)的層級(jí)式視盤(pán)自動(dòng)定位方法，該方法結(jié)合機(jī)器學(xué)習(xí)，通過(guò)U-Net神經(jīng)網(wǎng)絡(luò)有效學(xué)習(xí)視盤(pán)區(qū)域的特征結(jié)構(gòu)，并將顯著圖與卷積網(wǎng)絡(luò)有機(jī)結(jié)合，而且通過(guò)多層卷積能夠減少圖像亮度的差異，在快速定位視盤(pán)的同時(shí)也兼顧了定位結(jié)果的準(zhǔn)確率。相對(duì)于傳統(tǒng)的視盤(pán)分割方法，提高了分割的精確度，而且分割耗時(shí)更短。

1 方法

本文的視網(wǎng)膜視盤(pán)分割的方法流程大致如下：

1）數(shù)據(jù)集的獲取。

2）對(duì)原始眼底圖像進(jìn)行人工分割標(biāo)記視盤(pán)，然后對(duì)人工標(biāo)記視盤(pán)的眼底圖像和原圖進(jìn)行各種預(yù)處理操作，以便于后面的機(jī)器學(xué)習(xí)操作。

3）使用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)人工分割標(biāo)記好的眼底圖像進(jìn)行訓(xùn)練、測(cè)試，以獲取輸入眼底圖像的視盤(pán)特征結(jié)構(gòu)。

4）結(jié)合經(jīng)過(guò)訓(xùn)練、測(cè)試獲取的視盤(pán)特征對(duì)眼底圖像進(jìn)行視盤(pán)位置的預(yù)測(cè)，最后得出相應(yīng)的視盤(pán)分割結(jié)果圖。

視網(wǎng)膜視盤(pán)分割方法流程圖如圖2所示：

圖2 視網(wǎng)膜視盤(pán)分割方法流程圖Fig. 2 Retinal optic disc segmentation's flow chart

1.1 眼底圖像預(yù)處理

由于采集后的眼底圖像比較容易受到光照強(qiáng)度、噪聲等多種外界因素的干擾，從而增加了視盤(pán)定位和分割的難度[12]。為了讓視盤(pán)的特征結(jié)構(gòu)更加突顯，所以在眼底圖像進(jìn)行訓(xùn)練之前，很有必要對(duì)視網(wǎng)膜眼底圖像（標(biāo)簽圖和原圖）進(jìn)行一系列的預(yù)處理操作。對(duì)眼底圖像進(jìn)行歸一化和增強(qiáng)主要是想達(dá)到兩方面的目的：第一解決光照強(qiáng)度不均勻帶來(lái)的影響，第二是凸顯視網(wǎng)膜視盤(pán)的特征結(jié)構(gòu)。而對(duì)眼底圖像進(jìn)行濾波則有助于去除任何易受影響的噪音，同時(shí)保持邊緣和使圖像的對(duì)比度及亮度值進(jìn)行了修改，以增強(qiáng)梯度變化和視網(wǎng)膜視盤(pán)邊界特征。

1.1.1 圖像歸一化增強(qiáng)

為了解決眼底圖像的光照不均勻問(wèn)題和增強(qiáng)圖像對(duì)比度，所以需要對(duì)眼底圖像進(jìn)行歸一化增強(qiáng)處理。歸一化處理公式為

其中，I(x,y)為輸入的視網(wǎng)膜眼底圖像；L(x,y)和C(x,y)分別為像素點(diǎn)(x,y)的光照強(qiáng)度漂移因子和對(duì)比度漂移因子；I'(x,y)為進(jìn)行歸一化處理后的眼底圖像。

1.1.2 濾波

各種濾波方式對(duì)不同性質(zhì)的噪聲有著不同的濾波特性[13]。實(shí)際濾波時(shí)，由于圖像往往會(huì)受到兩種不同性質(zhì)噪聲的同時(shí)干擾，因而單獨(dú)采用高斯濾波或中值濾波都不會(huì)達(dá)到最好的去噪效果。為了能同時(shí)對(duì)兩種不同性質(zhì)的噪聲進(jìn)行濾除，現(xiàn)提出了一種新的混合濾波算法，該算法首先對(duì)受高斯噪聲污染的像素采用高斯濾波算法進(jìn)行濾除去噪，而對(duì)受椒鹽噪聲污染的像素則采用中值濾波算法進(jìn)行去噪。經(jīng)過(guò)實(shí)驗(yàn)結(jié)果證明，該方法更具有實(shí)用性和有效性。

均值為零的二維高斯函數(shù)如式（2）表示：

式（2）中，σ表示高斯函數(shù)的標(biāo)準(zhǔn)差。

1.2 U-Net神經(jīng)網(wǎng)絡(luò)

本研究采用U-Net網(wǎng)絡(luò)作為本論文的網(wǎng)絡(luò)體系，使用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)人工分割標(biāo)記好并且經(jīng)過(guò)預(yù)處理的眼底圖像進(jìn)行一定迭代次數(shù)的訓(xùn)練、測(cè)試，通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)有效學(xué)習(xí)視盤(pán)區(qū)域的特征結(jié)構(gòu)，以獲取輸入眼底圖像的顯著圖。

U-Net的網(wǎng)絡(luò)體系如圖3所示，U-Net通俗來(lái)講是全卷積神經(jīng)網(wǎng)絡(luò)的一種變形，主要其結(jié)構(gòu)經(jīng)論文作者畫(huà)出來(lái)形似字母U，因而得名U-Net。U-Net與其他常見(jiàn)的分割網(wǎng)絡(luò)有一點(diǎn)非常不同的地方：U-Net采用了完全不同的特征融合方式——拼接，U-net采用將特征在channel維度拼接在一起，形成更厚的特征。而FCN融合時(shí)使用的對(duì)應(yīng)點(diǎn)相加，并不形成更厚的特征。

圖3 U-Net網(wǎng)絡(luò)體系Fig.3 U-Net network structure

網(wǎng)絡(luò)架構(gòu)中有兩條路徑：收縮路徑（左側(cè)）和擴(kuò)展路徑（右側(cè)）。收縮路徑主要是用來(lái)捕捉圖片中的上下文信息，而與之相對(duì)稱(chēng)的擴(kuò)展路徑則是為了對(duì)圖片中所需要分割出來(lái)的部分進(jìn)行精準(zhǔn)定位。每條路徑由4個(gè)塊組成。在每個(gè)塊中有兩個(gè)卷積層，其核大小為3×3，并且在每次卷積運(yùn)算后都有一個(gè)校正的線性單元（RELU）。然后，將步幅為2的2×2最大池化層添加到收縮路徑，并將2×2上卷積層添加到擴(kuò)展路徑?？旖莘绞竭B接被添加到具有相同分辨率的層，從收縮路徑到擴(kuò)展路徑，以提供高分辨率特征。在擴(kuò)展路徑之后，使用1×1卷積層將特征映射到對(duì)應(yīng)于背景、視盤(pán)的2通道概率圖。對(duì)于每個(gè)像素，選擇概率最高的通道作為分割結(jié)果。而為了能使網(wǎng)絡(luò)結(jié)構(gòu)能更高效的運(yùn)行，結(jié)構(gòu)中是沒(méi)有全連接層，這樣可以很大程度上減少需要訓(xùn)練的參數(shù)，并得益于特殊的U形結(jié)構(gòu)可以很好地保留圖片中的所有信息[14]。

本網(wǎng)絡(luò)選擇比較常用的ReLu作為激活函數(shù)，ReLu解決了梯度消失的問(wèn)題，而且計(jì)算速度和收斂速度快，另外減少了參數(shù)的相互依存關(guān)系[15]。ReLu函數(shù)公式為

為了避免過(guò)擬合[16]，在1×1卷積層之前插入了退出層。在訓(xùn)練階段，只有一半的單元被隨機(jī)保留以將特征饋送到下一層，而在測(cè)試階段，所有單元都被利用來(lái)生成分割。通過(guò)避免在每個(gè)樣本上訓(xùn)練所有單元，通過(guò)防止訓(xùn)練數(shù)據(jù)上的共同適應(yīng)，降低了過(guò)擬合的機(jī)會(huì)。

1.3 眼底圖像預(yù)測(cè)

經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)眼底圖像進(jìn)行一定迭代次數(shù)的訓(xùn)練、測(cè)試后，結(jié)合訓(xùn)練、測(cè)試獲取的視盤(pán)特征對(duì)眼底圖像進(jìn)行視盤(pán)位置的預(yù)測(cè)，最后得出相應(yīng)的視盤(pán)分割結(jié)果圖。

2 實(shí)驗(yàn)結(jié)果

2.1 數(shù)據(jù)集

在本研究中的數(shù)據(jù)集是百度研究院從實(shí)際使用案例中收集的，并且具有行業(yè)規(guī)模和質(zhì)量的免費(fèi)提供于研究和個(gè)人使用的數(shù)據(jù)集。數(shù)據(jù)集是由兩個(gè)不同的眼底照相機(jī)獲取的，其中用于訓(xùn)練的是由蔡司Visucam 500（2124×2056像素）獲取，用于驗(yàn)證和測(cè)試的是由佳能CR-2（1634×1634像素）獲取，所有數(shù)據(jù)集加起來(lái)一共有1200張彩色眼底圖片，正常與病變的眼底圖像比例為1:1，并且將數(shù)據(jù)集按1:1:1比例分為3個(gè)子集，分別用于訓(xùn)練、驗(yàn)證和測(cè)試。

2.2 評(píng)價(jià)標(biāo)準(zhǔn)

接受者操作特性曲線（Receiver Operating Characteristic Curve，ROC）：為了更直觀地看出視盤(pán)的分割性能，在分類(lèi)結(jié)果上計(jì)算對(duì)應(yīng)的敏感度和特異度并繪制相應(yīng)的ROC曲線，ROC曲線的橫坐標(biāo)為假陽(yáng)性率（FPR，1-Specificity），縱坐標(biāo)為真陽(yáng)性率（TPR，也稱(chēng)為Sensitivity），其中敏感度（Sensitivity，SEN）又被稱(chēng)作真陽(yáng)性率，是指被正確判定為視盤(pán)區(qū)域像素占實(shí)際視盤(pán)區(qū)域像素的百分比；特異度（Specificity，SPE）又被稱(chēng)為真陰性率，是指被正確判定為背景區(qū)域像素占實(shí)際背景區(qū)域像素的百分比。最后，根據(jù)ROC曲線計(jì)算曲線下面積（Area Under Curve，AUC）作為評(píng)估視盤(pán)分割性能的重要指標(biāo)，越大的AUC代表更優(yōu)的分割性能。敏感度和特異度的計(jì)算公式為

其中，TP為真陽(yáng)性，指分割正確的視盤(pán)像素個(gè)數(shù)；TN為真陰性，指分割正確的背景像素個(gè)數(shù)；FP為假陽(yáng)性，指分割錯(cuò)誤的視盤(pán)像素個(gè)數(shù)；FN為假陰性，指分割錯(cuò)誤的背景像素個(gè)數(shù)。

2.3 正常視網(wǎng)膜實(shí)驗(yàn)結(jié)果

正常視網(wǎng)膜分割實(shí)驗(yàn)結(jié)果如圖4所示。

正常眼底圖像的杯盤(pán)比CDR為0.230。

由圖4（a）可以看出，原圖首先經(jīng)過(guò)預(yù)處理后，能較好得到圖片的邊緣信息，對(duì)可能是視網(wǎng)膜視盤(pán)的區(qū)域進(jìn)行分割；由圖4（b）可以看出本論文的方法成功實(shí)現(xiàn)了對(duì)正常視網(wǎng)膜視盤(pán)的分割；由圖4（c）和杯盤(pán)比可以看出，視盤(pán)分割的準(zhǔn)確率比較高。

2.4 病變視網(wǎng)膜實(shí)驗(yàn)結(jié)果

病變視網(wǎng)膜實(shí)驗(yàn)結(jié)果如圖5所示。

病變眼底圖像的杯盤(pán)比CDR為0.707。

圖4 正常視網(wǎng)膜視盤(pán)分割結(jié)果圖Fig. 4 Segmentation results of normal retinal optic disc

圖5 病態(tài)視網(wǎng)膜視盤(pán)分割結(jié)果Fig.5 Segmentation results of pathological retinal optic disc

由圖5（a）中可以看出，原圖首先經(jīng)過(guò)預(yù)處理后，能較好得到圖片的邊緣信息，對(duì)可能是視網(wǎng)膜視盤(pán)的區(qū)域進(jìn)行分割；由圖5（b）可以看出本論文的方法成功實(shí)現(xiàn)了對(duì)病變的視網(wǎng)膜視盤(pán)的分割；由圖5（c）和杯盤(pán)比可以看出，視盤(pán)分割的準(zhǔn)確率比較高。

圖6 本文視盤(pán)分割ROC曲線圖Fig.6 This paper presents ROC curve chart for optic disc segmentation

2.5 ROC曲線

本文提出的視盤(pán)分割方法的ROC曲線如圖6所示。

由圖6可以看出，本文提出的視盤(pán)分割方法具有良好的分割性能。

2.6 結(jié)果對(duì)比

本文提出的視盤(pán)分割方法與傳統(tǒng)的視盤(pán)分割方法對(duì)比見(jiàn)表1。

從表1可以看出，本文方法分割平均準(zhǔn)確率為98.9%，相對(duì)于傳統(tǒng)的視盤(pán)分割方法，本文的U-Net神經(jīng)網(wǎng)絡(luò)能夠有效學(xué)習(xí)有利于分割視盤(pán)的特征，從而提高分割的精確度，而且分割耗時(shí)更短。

3 討論

本文提出的視盤(pán)分割方法適用于數(shù)據(jù)量比較大的視盤(pán)分割，使用U-Net神經(jīng)網(wǎng)絡(luò)對(duì)人工分割標(biāo)記好的眼底圖像進(jìn)行迭代的訓(xùn)練、測(cè)試，通過(guò)深度網(wǎng)絡(luò)能夠有效學(xué)習(xí)有利于分割視盤(pán)的特征，以獲取輸入眼底圖像的視盤(pán)特征結(jié)構(gòu)，從而提高分割的精確度，而且分割耗時(shí)更短。而本文的方法不適用于數(shù)據(jù)量比較小的視盤(pán)分割，因?yàn)閿?shù)據(jù)量比較小，視盤(pán)特征結(jié)構(gòu)的信息量比較小，以至于神經(jīng)網(wǎng)絡(luò)對(duì)輸入眼底圖像的視盤(pán)特征結(jié)構(gòu)的獲取不夠精確，導(dǎo)致分割的精確度降低。

4 結(jié)論

本論文根據(jù)視網(wǎng)膜視盤(pán)在青光眼篩查和診斷中起著重要作用的情況提出了一種基于U-Net神經(jīng)網(wǎng)絡(luò)的視盤(pán)分割的方法。為了驗(yàn)證所提分割方法的有效性，從原始圖像中先對(duì)其進(jìn)行人工分割標(biāo)記視盤(pán)位置，并對(duì)進(jìn)行人工分割好的眼底圖像進(jìn)行一系列的預(yù)處理操作；然后，利用U-Net神經(jīng)網(wǎng)絡(luò)對(duì)經(jīng)過(guò)預(yù)處理的視網(wǎng)膜圖像進(jìn)行迭代的訓(xùn)練、測(cè)試，以獲取有利于視網(wǎng)膜視盤(pán)分割的特征結(jié)構(gòu)模型；最后，根據(jù)獲取的特征結(jié)構(gòu)模型，對(duì)正常和病變的眼底圖像進(jìn)行預(yù)測(cè)視盤(pán)的位置。該實(shí)驗(yàn)平臺(tái)采用 spyder（python 3.7）進(jìn)行仿真，由實(shí)驗(yàn)結(jié)果可知，該方法成功實(shí)現(xiàn)了對(duì)正常和病變的視網(wǎng)膜視盤(pán)的分割，而且分割的準(zhǔn)確率比較高。本文研究的基于U-Net神經(jīng)網(wǎng)絡(luò)的視盤(pán)分割方法在青光眼篩查和診斷中起著重要作用，使青光眼得到早期發(fā)現(xiàn)，有助于顯著降低不可逆性視力喪失的風(fēng)險(xiǎn)。不足的是U-Net神經(jīng)網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)集較少，預(yù)測(cè)的時(shí)候會(huì)把背景的少數(shù)面積錯(cuò)誤預(yù)測(cè)為視盤(pán)。

表1 視盤(pán)分割平均準(zhǔn)確率與每張圖片處理時(shí)長(zhǎng)對(duì)比Table 1 The average segmentation accuracy of optic disc was compared with the processing time of each image