眼底圖像硬滲出物的分割算法：基于區(qū)域分類引導(dǎo)的小波Y-Net的EX分割

張利云，方智文，唐宇姣，楊 豐

南方醫(yī)科大學(xué)生物醫(yī)學(xué)工程學(xué)院//廣東省醫(yī)學(xué)圖像處理重點實驗室，廣東 廣州510515

糖尿病性視網(wǎng)膜病變（DR）是糖尿病的主要慢性并發(fā)癥之一，可導(dǎo)致雙眼不可逆性失明［1］。在DR的早期階段，很容易忽略患者視力障礙的癥狀，如果在此階段及時進(jìn)行診斷和治療，則能夠預(yù)防90%由DR導(dǎo)致的失明［2］。硬性滲出物（EX）是最常見的DR病理體征之一［3］，是視網(wǎng)膜毛細(xì)血管滲漏物逐漸吸收以后遺留的脂質(zhì)，呈大小不一的蠟黃色點片狀。EX出現(xiàn)在視網(wǎng)膜中央及中心凹處時可對視力產(chǎn)生嚴(yán)重影響［4］。因此，精確地分割EX在DR早期診斷和監(jiān)測治療進(jìn)展中具有重要的意義，也是本文研究的重點。

由于視盤與EX具有相似性，一些EX病灶難以被準(zhǔn)確分割，視盤附近與EX亮度、顏色相近的組織結(jié)構(gòu)也易被誤判為EX病灶。使用傳統(tǒng)方法［5-15］進(jìn)行EX分割，噪聲敏感性較高，且依賴于手動設(shè)計并提取復(fù)雜的特征，無法在臨床中進(jìn)行大規(guī)模的推廣應(yīng)用。深度學(xué)習(xí)方法能夠自動提取圖像更加抽象、深層的特征［16,17］，近年來在EX自動分割領(lǐng)域也有所應(yīng)用［18-22］。這些方法［18-22］雖然通過深度神經(jīng)網(wǎng)絡(luò)提取眼底圖像特征，但未進(jìn)行視盤去除，難以精確分割EX?？紤]到視盤在EX分割過程中帶來的影響，Yu等［23］在預(yù)處理過程中手動去除了視盤和血管，隨后使用CNN進(jìn)行訓(xùn)練以分割EX。這種人工手動定位和分割視盤的方法雖然準(zhǔn)確度較高，但是步驟太過繁瑣，不利于實現(xiàn)病灶快速自動化分割。因此，有學(xué)者提出使用深度學(xué)習(xí)網(wǎng)絡(luò)自動分割視盤的方法，采用兩個并行網(wǎng)絡(luò)，分別進(jìn)行EX和視盤分割，并使用視盤的分割預(yù)測圖改善EX分割結(jié)果，但該方法未實現(xiàn)網(wǎng)絡(luò)端到端分割［24］。

針對人工定位并去除視盤的復(fù)雜性及尚未提出自動去除視盤的端到端分割網(wǎng)絡(luò)的研究現(xiàn)狀，本文提出了一種Y-Net網(wǎng)絡(luò)結(jié)構(gòu)，通過區(qū)域分類引導(dǎo)EX分割聯(lián)合實現(xiàn)了視盤區(qū)域檢測和EX分割，能夠有效地將視盤與EX自動區(qū)分開來，實現(xiàn)端到端分割。此外，有些EX病灶在分辨率較高的眼底圖像中占比較小，使用常規(guī)神經(jīng)網(wǎng)絡(luò)的下采樣操作極易造成病變信息不可逆丟失。這一問題尚未有文獻(xiàn)提出較好的解決方法。本文提出使用離散小波變換（DWT）和離散小波逆變換（IDWT）取代常用的池化下采樣、線性插值上采樣方式防止丟失細(xì)節(jié)信息并捕獲圖像的頻率信息［25］，提升病灶分割正確率。同時，針對EX大小不一，分布不均勻等特點采用帶有殘差連接的Inception［26］模塊提取圖像中的多尺度信息以更準(zhǔn)確地進(jìn)行病變分割。在兩個數(shù)據(jù)庫上的實驗證明了本文方法的有效性。

1 材料和方法

1.1 實驗數(shù)據(jù)

本實驗選用了兩個公開的視網(wǎng)膜圖像數(shù)據(jù)集，分別是IDRiD［27］、e-ophtha EX［13］數(shù)據(jù)集。IDRiD數(shù)據(jù)庫包含81張帶有像素級標(biāo)注的彩色眼底圖像，分辨率為4288×2848像素，視場為50°。e-ophtha EX數(shù)據(jù)庫包含47張帶有像素級標(biāo)注的彩色眼底圖像，分辨率大小不一，在實驗中統(tǒng)一大小至2544×1696像素。表1為本實驗在兩個數(shù)據(jù)集中的數(shù)據(jù)劃分情況。其中IDRiD已經(jīng)劃分好訓(xùn)練集和測試集，在原有的訓(xùn)練集基礎(chǔ)上5∶1的比例再次劃分訓(xùn)練集和驗證集，e-ophtha EX 數(shù)據(jù)集按照3∶1∶1的比例劃分訓(xùn)練集、驗證集和測試集。

表1 數(shù)據(jù)集劃分Tab.1 Division of dataset

1.2 圖像預(yù)處理

為了獲取眼底圖像中的有效信息，排除黑色邊緣無效信息的干擾，通過閾值分割的方法將圖像中的感興趣區(qū)域提取出來。具體做法是先將彩色眼底圖像轉(zhuǎn)換為灰度圖像Igary，再通過閾值T進(jìn)行閾值分割得到二值化圖像Imask，即可得到眼底圖像的感興趣區(qū)域，如公式（1）所示。

其中T表示閾值分割時的閾值，在實驗中取值為10。

眼底圖像數(shù)據(jù)采集過程中由于設(shè)備性能、光照等因素，會存在光照不均衡、對比度差等問題。在預(yù)處理階段進(jìn)行亮度平衡，使得每個訓(xùn)練和測試圖像的平均像素強(qiáng)度相等。并將對比度受限的自適應(yīng)直方圖均衡應(yīng)用于8×8像素的圖像塊，在實驗中對比度限制設(shè)置為40。使用對比度受限的自適應(yīng)直方圖均衡進(jìn)行對比度增強(qiáng)促使像素強(qiáng)度覆蓋較大范圍的值，從而更能凸顯細(xì)節(jié)。圖1為眼底圖像預(yù)處理示意圖，圖1A為原始圖像，圖1B為經(jīng)過閾值分割得到的二值化圖像，圖1C為經(jīng)過亮度均衡和對比度增強(qiáng)后的圖像。

圖1 眼底圖像預(yù)處理Fig.1 Fundus image preprocessing.A:Original image.B:Binarized image.C:Preprocessed image.

1.3 實驗數(shù)據(jù)分塊處理與增強(qiáng)

EX病灶相對于整張眼底圖像占比較小。若將整張眼底圖像作為網(wǎng)絡(luò)的輸入，網(wǎng)絡(luò)將難以在全局圖像中關(guān)注局部病灶信息。眼底圖像通常分辨率很大，往往需要壓縮圖像大小才能滿足計算機(jī)顯卡的運算能力，壓縮后的圖像常導(dǎo)致含有病灶的信息模糊或者丟失。因此，本實驗將視網(wǎng)膜眼底圖像劃分為統(tǒng)一大小的圖像塊作為網(wǎng)絡(luò)的輸入，圖像塊大小設(shè)置為256×256。由于病灶分布不平衡且占比小，對訓(xùn)練集眼底圖像中含有病灶的區(qū)域通過大小為256×256的、帶有步長的滑動窗進(jìn)行重疊采樣以平衡數(shù)據(jù)集。不同的數(shù)據(jù)集采取不同的滑動步長，如表2所示。根據(jù)數(shù)據(jù)庫中眼底圖像的標(biāo)注，將含有EX病灶和不含有EX病灶的圖像塊分別作為正樣本塊和負(fù)樣本塊，用于小波Y-Net網(wǎng)絡(luò)的分類訓(xùn)練。其中正樣本塊標(biāo)記為1，負(fù)樣本塊標(biāo)記為0。經(jīng)過滑動窗口處理后每個數(shù)據(jù)集的訓(xùn)練集正樣本塊與負(fù)樣本塊比例約為2∶1，便于接下來的訓(xùn)練。在驗證集和測試集上每張圖像采用與正樣本塊相同的滑動步長，并將得到的圖像塊預(yù)測結(jié)果拼接起來作為最終整幅圖像的預(yù)測結(jié)果。為防止過擬合，使用在線數(shù)據(jù)增強(qiáng)的方式擴(kuò)充數(shù)據(jù)，對訓(xùn)練集圖像塊進(jìn)行隨機(jī)90度旋轉(zhuǎn)、平移、伽馬校正、隨機(jī)對比度等增強(qiáng)操作，并對所有圖像進(jìn)行歸一化。

表2 數(shù)據(jù)集樣本塊數(shù)目及大小Tab.2 Number and size of dataset sample blocks

1.4 網(wǎng)絡(luò)架構(gòu)

本文提出了一種區(qū)域分類引導(dǎo)的小波Y-Net網(wǎng)絡(luò)架構(gòu)（圖2），用于眼底圖像硬滲出物的分割。該架構(gòu)以U-Net［28］為主體，將預(yù)處理后的圖像塊作為輸入，在編碼器底端輸出圖像塊含有EX病灶的概率值，并在解碼器部分輸出二進(jìn)制圖像作為分割結(jié)果。輸入和輸出圖像的大小均為256×256。使用帶有殘差連接的Inception模塊取代普通卷積層模塊，并使用DWT和IDWT分別取代原始U-Net中最大池化下采樣和線性插值上采樣過程。

圖2 區(qū)域分類引導(dǎo)的小波Y-Net網(wǎng)絡(luò)框架Fig.2 Regional classification-guided wavelet Y-Net framework.

1.4.1 Y-Net U-Net網(wǎng)絡(luò)是醫(yī)學(xué)圖像分割任務(wù)中常用的深度學(xué)習(xí)方法。本文結(jié)合了分割和分類的方法，在U-Net編碼器底端部分引入全連接層，構(gòu)建Y-Net網(wǎng)絡(luò)結(jié)構(gòu)。將劃分好的圖像塊作為網(wǎng)絡(luò)的輸入，該網(wǎng)絡(luò)同時生成像素級分割預(yù)測圖和圖像塊是否含有病灶的概率預(yù)測值。盡管基于分類的方法無法提供結(jié)構(gòu)和組織級別的信息，但能夠識別圖像內(nèi)部的感興趣區(qū)域，用于進(jìn)一步分析。

U-Net網(wǎng)絡(luò)由編碼器和解碼器兩部分組成。編碼器部分由卷積層和下采樣塊堆疊而成，編碼器主要用于捕捉上下文特征，在卷積和下采樣操作中會丟失空間信息。解碼器部分由卷積層和上采樣塊堆疊而成，卷積層和上采樣塊有助于補(bǔ)償解碼器部分丟失的空間信息。U-Net在編碼器和解碼器之間引入跳過連接，使得編碼器和解碼器之間能夠共享信息。本文提出的區(qū)域分類引導(dǎo)的小波Y-Net網(wǎng)絡(luò)編碼器部分，先將輸入圖像通過引入殘差連接的Inception模塊進(jìn)行卷積操作以提取多尺度信息，然后使用DWT進(jìn)行四次下采樣；解碼器部分同樣采用帶有殘差連接的Inception模塊，并用IDWT進(jìn)行上采樣，以恢復(fù)下采樣階段丟失的細(xì)節(jié)信息。本文構(gòu)建的Y-Net在編碼器底端引入一個1×1的卷積層提取特征并降低維度，在卷積層后接入一個自適應(yīng)全局平均池化操作和兩個全連接層，全連接層神經(jīng)元個數(shù)分別為100和1。全局平均池化操作不需要參數(shù)，能夠避免在該層產(chǎn)生過擬合。相比全連接層而言，全局平均池化對于建立特征圖和類別之間的關(guān)系是一種更樸素的卷積結(jié)構(gòu)。全局平均池化通過對空間信息進(jìn)行求和，對輸入空間變化的魯棒性更強(qiáng)。經(jīng)過全連接層得到圖像塊的概率值，若概率值大于0.5則將其視為含有病灶陽性樣本，反之則將其視為不含病灶的陰性樣本。對概率預(yù)測值與解碼器部分的分割預(yù)測結(jié)果進(jìn)行加權(quán)。若概率值大于0.5，分割預(yù)測圖保持不變；反之將分割預(yù)測圖所有像素值置為0，即輸出為黑色背景圖。通過加權(quán)操作能夠在一定程度上抑制預(yù)測過程中出現(xiàn)的假陽性。經(jīng)過加權(quán)操作的分割預(yù)測圖為該網(wǎng)絡(luò)的最終輸出結(jié)果，并通過與真實標(biāo)注計算損失，端到端地訓(xùn)練整個網(wǎng)絡(luò)。在測試階段，整幅圖像通過滑動窗重疊采樣分解為若干圖像塊。圖像塊經(jīng)網(wǎng)絡(luò)的分類支路得到概率預(yù)測值。令該圖像塊中所有像素值等于其概率預(yù)測值。由圖像塊拼接成整圖時，重疊區(qū)域的像素值取平均，即得到整個眼底圖像的分類概率預(yù)測圖。

1.4.2 殘差I(lǐng)nception模塊 由于硬滲出物在眼底圖像中分布不均衡且占比較小，從不同的尺度提取特征非常重要。Inception模塊是于2014年提出的一種深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，相比于通過增加網(wǎng)絡(luò)的深度以獲得更好訓(xùn)練效果的網(wǎng)絡(luò)結(jié)構(gòu)（如AlexNet、VGG）而言，Inception模塊能夠有效避免由于卷積層數(shù)的增加帶來的過擬合、梯度消失、梯度爆炸等問題。Inception模塊的內(nèi)部結(jié)構(gòu)如圖3所示。在本文實驗中設(shè)計了3個分支，分別使用了一個1×3，一個3×1和兩個3×3的卷積核進(jìn)行卷積以提取多尺度特征，然后將這些特征組合在一起，并使用1×1卷積核進(jìn)行降維。在Inception模塊中引入殘差連接，Inception模塊之后加入BN層以及ReLU激活函數(shù)。引入殘差連接的Inception模塊如圖4所示。將殘差的輸入表示為Xi，將卷積層操作表示為f（·）。加入殘差連接后的輸出為f（Xi）+Xi。另外，在兩個3×3卷積層之間使用了dropout操作，以避免過擬合，dropout率設(shè)置為0.5。

圖3 Inception模塊內(nèi)部結(jié)構(gòu)Fig.3 Internal structure of the nception module.

圖4 引入殘差連接的Inception模塊Fig.4 Inception module with residual connection.

1.4.3 離散小波變換與逆小波變換 在原始U-Net中為了縮小圖像尺寸，擴(kuò)大感受野，通常在編碼器部分采用最大池化的方式進(jìn)行下采樣，在解碼器部分通過線性插值或反卷積操作的方式進(jìn)行上采樣，以恢復(fù)圖像尺寸。EX病灶在眼底圖像中分布分散且大小不一，較小病灶的大小通常只有幾個像素。若通過最大池化進(jìn)行下采樣會丟失原始圖像中的細(xì)節(jié)信息，同時在上采樣的過程中無法還原。DWT在信號分解與重建過程中具有可逆性，有利于保留圖像的細(xì)節(jié)信息。2D-DWT變換的過程需要先對圖像的每一行進(jìn)行1D-DWT，然后對變換所得數(shù)據(jù)的每一列進(jìn)行1D-DWT，獲得原始圖像在水平和垂直方向上的低頻分量、水平方向上的低頻和垂直方向上的高頻分量、水平方向上的高頻和垂直方向上的低頻分量以及水平和垂直方向上的高頻分量。低頻分量能夠保留圖像的輪廓信息，而高頻分量能夠保留圖像的邊緣和細(xì)節(jié)信息。2×2區(qū)域內(nèi)采樣是指僅對圖像每一行、每一列進(jìn)行間隔采樣，可得到四張下采樣后的圖像，分別由原始圖像的奇數(shù)行、奇數(shù)列；奇數(shù)行、偶數(shù)列；偶數(shù)行、奇數(shù)列；偶數(shù)行、偶數(shù)列構(gòu)成。上采樣的時候根據(jù)下采樣的位置還原圖像大小。與DWT相比，僅對圖像進(jìn)行了采樣，而未在水平、垂直方向上進(jìn)行高通和低通濾波。圖5為不同采樣方式的圖像還原效果展示。圖5A為原始圖像，圖5B中使用最大池化下采樣和雙線性插值上采樣，這種方式會使得圖像變模糊。圖5C中對圖像在2×2區(qū)域內(nèi)進(jìn)行四次采樣并還原，能夠較好地保留圖像細(xì)節(jié)信息。圖5D中使用DWT、IDWT進(jìn)行下采樣和上采樣，能夠很好地還原圖像。根據(jù)圖5C和圖5D可以看到2×2區(qū)域內(nèi)采樣與DWT對圖像的還原效果相當(dāng)，均能較好地保存圖像的細(xì)節(jié)信息。然而DWT相對于2×2區(qū)域內(nèi)采樣的方法不僅能夠捕獲特征圖的位置信息，還能通過圖像的高頻分量捕獲更多圖像的邊緣和紋理細(xì)節(jié)信息，更適用于病灶分割任務(wù)。在本實驗中使用DWT 的方式進(jìn)行下采樣，并在解碼器部分使用IDWT進(jìn)行上采樣以恢復(fù)圖像尺寸。經(jīng)過DWT下采樣后的特征圖尺寸會變?yōu)樵瓉淼?/4，通道數(shù)變?yōu)樵瓉淼乃谋丁?/p>

圖5 不同采樣方式的圖像還原效果Fig.5 Image restoration effects using different sampling methods.A:Original fundus image block.B:Four times downsampling using maxpooling and upsampling using bilinear interpolation.C:Four times sampling in 2×2 area and restoration.D:Four downsampling using DWT and upsampling using IDWT.

在DWT中，使用了四個濾波器，即fLL，fLH，fHL和fHH與圖像I進(jìn)行卷積。然后對卷積結(jié)果進(jìn)行下采樣以獲得四個子圖像ILL，ILH，IHL和IHH。由于DWT的雙正交特性，原始圖像I能夠通過IDWT準(zhǔn)確地重建，即I=IDWT（ILL，ILH，IHL，IHH）。實驗中采用Haar小波進(jìn)行圖像下采樣操作，公式（2）為Haar小波的四個濾波器表達(dá)式。

1.5 損失函數(shù)

公式（3）～（4）分別代表分割損失函數(shù)、分類損失函數(shù)。

由于前景背景分布嚴(yán)重不平衡，分割損失使用帶權(quán)重的交叉熵?fù)p失函數(shù)。其中N是輸入圖像的像素數(shù)，yi表示第i個像素真實標(biāo)注。xi是第i個像素的預(yù)測值。陽性樣本權(quán)重為w，在本實驗中設(shè)置為50。

分類損失使用二分類交叉熵?fù)p失函數(shù)。其中Y是真實樣本標(biāo)簽，陽性樣本標(biāo)簽為1，陰性樣本標(biāo)簽為0，Y為該樣本的預(yù)測值。

公式（5）為總損失函數(shù)。整個網(wǎng)絡(luò)的損失函數(shù)為分類損失函數(shù)與分割損失函數(shù)的加權(quán)和。

本實驗中a設(shè)置為2。

1.6 實驗

使用5種不同的網(wǎng)絡(luò)算法分割EX，分別為U-Net網(wǎng)絡(luò)、引入殘差連接的Inception網(wǎng)絡(luò)（Ince+res）、引入殘差連接的Inception網(wǎng)絡(luò)，采樣方式為2×2區(qū)域內(nèi)采樣并還原(Ince+res+Sample)、引入殘差連接的Inception網(wǎng)絡(luò)，采樣方式為DWT、IDWT (Ince+res+DWT/IDWT)、引入殘差連接的Inception 網(wǎng)絡(luò)，使用DWT、IDWT 的采樣方式，并構(gòu)建分類支路協(xié)同分割訓(xùn)練（Ince+res+DWT/IDWT+cls），Ince+res+DWT/IDWT+cls(NW)代表未與分割結(jié)果進(jìn)行加權(quán)，Ince+res+DWT/IDWT+cls（W）代表與分割支路結(jié)果進(jìn)行加權(quán)操作，即提出的區(qū)域分類引導(dǎo)的小波Y-Net網(wǎng)絡(luò)。本文得出的所有實驗結(jié)果均基于表1的數(shù)據(jù)劃分。

本文實驗系統(tǒng)配置為Linux操作系統(tǒng)，編程語言python3.6，基于pytorch 深度學(xué)習(xí)框架，在NVIDIA GeForce GTX 1080ti 顯卡上完成所有卷積運算。實驗使用Adam優(yōu)化器，訓(xùn)練200個epoch，batchsize設(shè)置為32，初始學(xué)習(xí)率0.001，并采用階梯式衰減方式，每隔10個epoch學(xué)習(xí)率衰減至當(dāng)前學(xué)習(xí)率的0.8倍。

1.7 評價標(biāo)準(zhǔn)

本實驗采用基于像素標(biāo)準(zhǔn)的評估指標(biāo)。EX分割的常見指標(biāo)如下：敏感性（Sen）、特異性（Spec）、準(zhǔn)確率（Acc）、和受試者工作特征曲線下面積（AUC），如公式（6）～（10）所示。

其中TP為真陽性，即正確分割的EX病灶像素點；FP為假陽性，即被錯誤分割為EX的非EX像素點；TN為真陰性，即正確分割的背景像素點；FN為假陰性，即被錯誤分割為背景的EX病灶像素點。敏感性是被正確判斷為EX的像素個數(shù)與真實標(biāo)注中EX的像素個數(shù)的比值。特異性是被正確分割的背景點占總背景點的比例。此外，引入AUC驗證所提出方法的有效性。受試者工作特征曲線橫坐標(biāo)為假陽性率（FPR），縱坐標(biāo)為真陽性率（TPR）。

2 結(jié)果

2.1 分類支路協(xié)同訓(xùn)練結(jié)果

IDRiD 數(shù)據(jù)集上的損失函數(shù)收斂曲線如圖6 所示。圖6A為訓(xùn)練集上分割任務(wù)與分類任務(wù)損失收斂曲線，分割任務(wù)損失（loss_seg）與分類任務(wù)損失（loss_cls）在訓(xùn)練過程中均平穩(wěn)下降。圖6B 為訓(xùn)練集損失（loss_train）與驗證集損失（loss_val）收斂曲線，訓(xùn)練集和驗證集損失均收斂，無過擬合現(xiàn)象。

圖6 損失收斂曲線Fig.6 Loss convergence curve.A:Loss convergence curve of segmentation task and classification task on training set.B:Loss convergence curve of training set and validation set.

圖7為分類概率預(yù)測圖和分割預(yù)測圖結(jié)果，其中第1行、第2行分別為IDRiD和e-ophtha EX數(shù)據(jù)集示例圖像結(jié)果。圖7A為兩個數(shù)據(jù)集的原始示例圖像。圖7B為示例圖像的真實標(biāo)注。圖7C為示例圖像的分類概率預(yù)測圖。其中，分類預(yù)測圖中視盤區(qū)域呈現(xiàn)黑色，代表預(yù)測值較低；EX病灶及疑似病灶部分呈現(xiàn)亮白色，代表預(yù)測值較高。圖7D為經(jīng)過分類支路協(xié)同訓(xùn)練，但未與分類支路預(yù)測結(jié)果進(jìn)行加權(quán)的分割預(yù)測圖。圖7D中紅圈部分為由視盤帶來的假陽性。圖7E展示了與分類支路的結(jié)果進(jìn)行加權(quán)之后的分割預(yù)測圖，由視盤帶來的假陽性能夠被有效地去除。

圖7 IDRiD、e-ophtha EX示例圖像概率預(yù)測圖與分割預(yù)測圖Fig.7 IDRiD and e-ophtha EX example image probability prediction map and segmentation prediction map.A:Original image.B:Ground Truth.C:Classification probability prediction map.D:Unweighted segmentation branch prediction map.E:Weighted segmentation prediction map.

2.2 分割結(jié)果

圖8、9分別為IDRiD、e-ophtha EX測試集的示例分割結(jié)果。圖中的藍(lán)色、紅色、黃色、黑色分別代表TP、FN、FP、TN，其定義在1.7節(jié)中給出。通過圖8能夠發(fā)現(xiàn)本文方法對較大的EX病灶分割效果較好；通過圖9能夠看出本文方法在微小的區(qū)域也能夠進(jìn)一步提升EX病灶的檢出率，與數(shù)據(jù)集標(biāo)定結(jié)果較為接近。

圖8 IDRiD像素級分割Fig.8 IDRiD pixel-level segmentation.A:original image.B:U-Net segmentation prediction image.C:Ince+res segmentation prediction image.D:Ince+res+Sample segmentation prediction image.E:Ince+res+DWT/IDWT segmentation prediction image.F:Ince+res+DWT/IDWT+cls segmentation prediction image.

圖9 e-ophtha EX像素級分割Fig.9 e-ophtha EX pixel-level segmentation.A:original image.B:U-Net segmentation prediction image.C:Ince+res segmentation prediction image.D:Ince+res+Sample segmentation prediction image.E:Ince+res+DWT/IDWT segmentation prediction image.F:Ince+res+DWT/IDWT+cls segmentation prediction image.

表3、4為本文提出的Ince+res+DWT/IDWT+cls算法與其他幾種算法在靈敏度、特異度、準(zhǔn)確率、AUC指標(biāo)上的定量分析結(jié)果。通過表3、4能夠看到，本文方法在IDRiD數(shù)據(jù)集上特異度和AUC結(jié)果最好，特異度為0.9860、AUC為0.9880（表3）；在e-ophtha EX數(shù)據(jù)集上特異度、準(zhǔn)確率、AUC結(jié)果最好，特異度為0.9939、準(zhǔn)確率為0.9938、AUC為0.9986（表4）。本文方法在兩個數(shù)據(jù)集上特異度和AUC指標(biāo)均高于其他方法，未與分類結(jié)果進(jìn)行加權(quán)時[Ince+res+DWT/IDWT+cls（NW）]靈敏度最高，但特異性較低。在與分類結(jié)果進(jìn)行加權(quán)之后[Ince+res+DWT/IDWT+cls（W）]提升了特異性和準(zhǔn)確率。為了更直觀地觀察測試樣本的分割結(jié)果，對兩個數(shù)據(jù)集的測試集結(jié)果通過箱線圖的形式進(jìn)行統(tǒng)計（圖10）。通過圖10能夠觀察到，本文方法相較其他算法在AUC性能指標(biāo)得到了明顯提升。

圖10 實驗數(shù)據(jù)結(jié)果的箱線圖Fig.10 Boxplots of experimental data results.A Boxplots of experimental data results on IDRiD dataset B Boxplots of experimental data results on e-ophtha EX dataset.

表3 評價指標(biāo)定量分析（IDRiD數(shù)據(jù)集）Tab.3 Quantitative analysis of evaluation indicators(IDRiD)

表4 評價指標(biāo)定量分析（e-ophtha EX 數(shù)據(jù)集）Tab.4 Quantitative analysis of evaluation indicators(e-ophtha EX)

2.3 與其他算法的比較

表5、6是本文提出的方法與其他文獻(xiàn)提出的EX分割方法的性能對比結(jié)果。在IDRiD數(shù)據(jù)集上，特異性、準(zhǔn)確率和AUC指標(biāo)均優(yōu)于其他文獻(xiàn)方法（表5）。在e-ophtha EX數(shù)據(jù)集上，準(zhǔn)確率和AUC指標(biāo)均優(yōu)于其他文獻(xiàn)方法（表6）。

表6 與其他文獻(xiàn)算法的比較（e-ophtha EX數(shù)據(jù)集）Tab.6 Comparison with other algorithms in literature(e-ophtha EX)

3 討論

EX在眼底圖像上具有大小不一、形態(tài)各異、與其他組織結(jié)構(gòu)的對比度低、強(qiáng)度變化不均勻等特點。傳統(tǒng)方法如閾值法［14］、區(qū)域增長法［8］等難以區(qū)分與硬滲出物顏色、亮度相近的組織結(jié)構(gòu)，易導(dǎo)致過度分割，需要手動去除視盤等組織結(jié)構(gòu)，且對噪聲敏感。傳統(tǒng)的機(jī)器學(xué)習(xí)方法［9］依賴于手動設(shè)計并提取復(fù)雜的特征，不利于實現(xiàn)EX自動化分割。基于深度學(xué)習(xí)的EX自動分割算法中，尚未提出能夠自動進(jìn)行視盤去除的端到端網(wǎng)絡(luò)。本文針對EX在分割過程中易受到視盤的影響等問題，提出了一種區(qū)域分類引導(dǎo)的小波Y-Net網(wǎng)絡(luò)硬滲出物自動分割算法。該算法實現(xiàn)了EX端到端分割，經(jīng)過分割與分類協(xié)同訓(xùn)練后能夠有效區(qū)分視盤和硬滲出物，避免了復(fù)雜的視盤定位與去除的預(yù)處理過程。網(wǎng)絡(luò)通過引入殘差連接的Inception模塊提取圖像多尺度信息，并使用DWT、IDWT進(jìn)行下采樣和上采樣，捕獲圖像的頻率和位置信息，以防止病灶細(xì)節(jié)信息不可逆丟失并改善分割結(jié)果。

從圖8、9及表3、4實驗結(jié)果可以看出，Ince+res+DWT/IDWT算法的性能優(yōu)于U-Net算法、Ince+res算法以及Ince+res+Sample算法。這是因為引入殘差鏈的Inception模塊能夠加深網(wǎng)絡(luò)的寬度，在多個尺度上同時進(jìn)行卷積，引入更多的線性映射來提高網(wǎng)絡(luò)的表達(dá)能力［29］。因此，Ince+res算法相較單一尺度的U-Net網(wǎng)絡(luò)更能提取眼底圖像的多尺度特征，從而提高病灶分割的性能。通過2×2區(qū)域內(nèi)采樣并還原的方式能夠防止較小病灶的信息不可逆丟失，Ince+res+Sample算法進(jìn)一步提升了靈敏度和特異性。而Ince+res+DWT/IDWT算法相較僅能捕獲位置信息的Ince+res+Sample算法效果更好,這是因為DWT、IDWT進(jìn)行下采樣和上采樣不僅能夠防止信息丟失，還能夠捕獲圖像的頻率信息，更有利于還原圖像的邊緣結(jié)構(gòu)［30］。圖10及表3、4實驗結(jié)果表明本實驗提出的區(qū)域分類引導(dǎo)的小波Y-Net算法在5 種算法中性能最好。該算法在Ince+res+DWT/IDWT算法的基礎(chǔ)上添加分類支路，通過分類支路的訓(xùn)練，能夠較好地區(qū)分病灶與視盤。這是因為分類支路更加關(guān)注圖像的高級語義信息，在與分割支路協(xié)同訓(xùn)練時，使得分割過程中能捕捉圖像中更多的結(jié)構(gòu)信息，從而提升靈敏度。分割預(yù)測圖通過與分類結(jié)果加權(quán)，提升靈敏度的同時，消除了受視盤影響帶來的假陽性，能夠在避免復(fù)雜的視盤定位與去除的情況下，提升病灶分割的準(zhǔn)確率。

本文提出的方法特異性較高，表明能夠精確地去除視盤等明亮區(qū)域。由表5、6能夠觀察到，相比于先去除視盤、血管等組織結(jié)構(gòu)，再使用傳統(tǒng)方法或者深度學(xué)習(xí)網(wǎng)絡(luò)提取特征進(jìn)行EX分割的方法［6,9,23］，本文提出的方法能夠自動去除視盤，在靈敏度、準(zhǔn)確率、AUC評估指標(biāo)上都取得了更好的結(jié)果。與Zabihollahy等［24］采用兩個網(wǎng)絡(luò)，自動分割EX和視盤的結(jié)果相比，本文的方法能端到端地優(yōu)化分割結(jié)果，且取得更高的準(zhǔn)確率。此外，與其他使用了Inception模塊的方法相比［21,22］，本實驗在使用Inception模塊的基礎(chǔ)上通過DWT、IDWT進(jìn)行采樣操作，能防止細(xì)節(jié)信息丟失，進(jìn)一步改善分割效果，在準(zhǔn)確率和AUC指標(biāo)上均優(yōu)于前者。

綜上所述，本文算法通過區(qū)域分類引導(dǎo)EX分割聯(lián)合實現(xiàn)了視盤區(qū)域檢測和EX分割，能夠有效地自動區(qū)分EX和視盤等明亮結(jié)構(gòu)，實現(xiàn)端到端分割。同時提出使用DWT和IDWT取代常用的池化下采樣、線性插值上采樣方式防止丟失細(xì)節(jié)信息并捕獲圖像的頻率信息；使用帶有殘差連接的Inception模塊提取圖像中的多尺度信息以更準(zhǔn)確地進(jìn)行病變分割。在多個數(shù)據(jù)庫上體現(xiàn)了本算法的可行性和魯棒性，為自動去除視盤并進(jìn)行端到端EX分割提供了一種新方法。但本研究僅對圖像塊進(jìn)行含有EX病灶的概率值預(yù)測，對除視盤外其他一些明亮的病變或組織區(qū)分效果還有待提高，這些結(jié)構(gòu)的誤判使得本文提出的方法相較于不使用分類協(xié)同分割的方法在特異性指標(biāo)上沒有較為明顯的提升。未來研究中將考慮對圖像塊進(jìn)行回歸預(yù)測，以更準(zhǔn)確地判斷EX病灶的位置。