基于循環(huán)生成對抗網(wǎng)絡(luò)的低質(zhì)量眼底圖像增強效果評估

周雪婷楊衛(wèi)華 華驍 游齊靖孫晶沈建新萬程

1南京航空航天大學電子信息工程學院 211106；2南京醫(yī)科大學附屬眼科醫(yī)院眼科 人工智能大數(shù)據(jù)實驗室 210001；3南京星程智能有限公司 210046

彩色眼底圖像廣泛用于糖尿病視網(wǎng)膜病變(diabetic retinopathy，DR)、青光眼等疾病的篩查和診斷[1-3]。低質(zhì)量的眼底圖像無法清楚展示視網(wǎng)膜血管、視杯、視盤異常等疾病診斷所需的關(guān)鍵信息，容易造成醫(yī)生和計算機輔助診斷(computer-aided diagnosis，CAD)系統(tǒng)的漏診，甚至誤診[4]。目前采集的眼底圖像數(shù)據(jù)集中，因質(zhì)量差而影響醫(yī)學診斷的圖像占比超過1/4[5]；從基層醫(yī)院上傳至云平臺的眼底圖像中低質(zhì)量圖像占比近1/2[6]。對低質(zhì)量眼底圖像進行分析發(fā)現(xiàn)，模糊、曝光不足和曝光過度是3個主要原因[7]。除規(guī)范眼底照相采集流程外，智能眼科專家一直嘗試對眼底圖像進行增強，通過技術(shù)手段提高圖像的清晰度、亮度和對比度，進而降低后續(xù)的誤診率并提高CAD系統(tǒng)的準確率。目前主要采用基于直方圖的方法增強眼底圖像?；谥狈綀D的方法可分為3類：一是采用直方圖均衡化，通過增加最大和最小像素之間的差值來增強圖像[8]；二是通過伽馬矯正得到亮度增益矩陣，再利用限制對比度自適應直方圖均衡化(contrast limited adaptive histogram equalization，CLAHE)增強亮度通道的對比度[9]；三是對模糊直方圖預處理，去除眼底圖像的不均勻光照[10]?；谥狈綀D算法的本質(zhì)是提高圖像對比度并使灰度分布均勻，因此顏色過渡時會失真，視覺效果不佳。動態(tài)直方圖均衡化(dynamic histogram equalization，DHE)根據(jù)局部最小值對圖像直方圖進行分割，并為每個分割分配特定的灰度范圍，然后分別進行均衡，以保留更多細節(jié)信息[11]。帶色彩恢復的多尺度Retinex(multi-scale Retinex with color restoration，MSRCR)是一種基于Retinex理論的圖像增強算法，可以提高圖像銳度并控制動態(tài)參數(shù)實現(xiàn)色度調(diào)節(jié)[12]；但由于眼底圖像背景和前景明暗差別較大，經(jīng)過對數(shù)處理的像素會超出可顯示范圍，上述方法仍易造成色彩失真。為克服傳統(tǒng)眼底圖像增強方法中視覺效果不佳、細節(jié)丟失、色彩失真等缺陷，解決低質(zhì)量眼底圖像無法用于醫(yī)學診斷的問題，本研究擬通過構(gòu)建循環(huán)生成對抗網(wǎng)絡(luò)(cycle-constraint adversarial network，CycleGAN)[13]，提出一種基于深度學習的眼底圖像增強算法，對模糊、曝光不足、曝光過度等低質(zhì)量眼底圖像進行增強。

1 材料與方法

1.1 材料

采用來自Kaggle DR檢測競賽的EyePACS公開數(shù)據(jù)集[14]。EyePACS數(shù)據(jù)集包含88 702張彩色眼底圖像，其中35 126張為訓練集，53 576張為測試集，每張圖像均有專業(yè)醫(yī)生評定的DR患病標簽。該數(shù)據(jù)集包含大量不可用于醫(yī)生臨床分析或智能設(shè)備診斷的低質(zhì)量眼底圖像，主要包含模糊、曝光不足和曝光過度3種類型(圖1)。在EyePACS數(shù)據(jù)集中分別選取700張高質(zhì)量和700張低質(zhì)量眼底圖像作為圖像增強實驗的數(shù)據(jù)集，其中訓練集中選取高質(zhì)量和低質(zhì)量眼底圖像各500張，測試集中選取高質(zhì)量和低質(zhì)量眼底圖像各200張。

圖1 高/低質(zhì)量眼底圖像示例 A：高質(zhì)量圖像 B：模糊圖像 C：曝光不足圖像 D：曝光過度圖像Figure 1 Examples of high/low-quality fundus images A:High-quality image B:Blurred image C:Underexposed image D:Overexposed image

1.2 方法

1.2.1眼底圖像的預處理 由于數(shù)據(jù)集中圖像分辨率不同且為矩形，因此需要對圖像進行裁剪及縮放等歸一化預處理。具體步驟如下：(1)以眼底圖像的高作為邊長，裁去矩形圖像左右兩邊多余的黑色背景部分，保留正方形眼底圖像(圖2A，B)；(2)若圖像的高小于眼底圖像圓形區(qū)域的直徑，則先裁剪為直徑×高的矩形區(qū)域，再在矩形區(qū)域的上下兩側(cè)補充黑邊使之成為直徑×直徑的正方形眼底圖像(圖2C，D)；(3)將正方形眼底圖像尺寸統(tǒng)一縮放為分辨率512×512。

圖2 眼底圖像預處理結(jié)果 A：眼底圖像原圖 圖像圓形區(qū)域直徑小于圖像高度 B：圖A的裁剪和縮放 C：眼底圖像原圖 圓形區(qū)域直徑大于圖像高度 D：圖C的裁剪和縮放Figure 2 Preprocessed fundus images A:Original fundus image The diameter of the circular region was smaller than the image height B:Cropped and scaled image A C:Original fundus image The diameter of the circular region was larger than the image height D:Cropped and scaled image C

1.2.2生成模型的構(gòu)建 生成模型是一個神經(jīng)網(wǎng)絡(luò)，包括下采樣模塊、特征整理模塊和上采樣模塊3個部分。下采樣模塊由3層卷積構(gòu)建，輸出通道數(shù)分別為32、64和128；卷積核尺寸分別為7×7、3×3和3×3；步長均為1，在每層卷積操作之后執(zhí)行歸一化并使用ReLU激活函數(shù)解決訓練過程中的梯度消失現(xiàn)象。特征整理模塊包括9個卷積層，每層卷積分別進行2次3×3的卷積和歸一化操作，將輸出與該層的輸入融合后作為下一層卷積的輸入；每次卷積操作的步長均為1，輸出通道數(shù)均為128。上采樣模塊先進行2次轉(zhuǎn)置卷積，卷積核尺寸為3×3，步長為2，輸出通道分別設(shè)置為64和32，再進行卷積核尺寸為7×7，步長為1的卷積，最后使用tanh激活函數(shù)增強網(wǎng)絡(luò)的擬合能力(圖3)。

圖3 生成模型的網(wǎng)絡(luò)結(jié)構(gòu)Figure 3 The network structure of generative model

1.2.3判別模型的構(gòu)建 判別模型由4個卷積層和1個輸出層構(gòu)成。卷積層均使用尺寸為4×4的卷積核，輸出通道數(shù)分別為64、128、256和512；步長分別為2、2、2和1；第1層不使用歸一化，后3層卷積均進行歸一化操作。輸出層進行4×4的卷積，卷積方式采用SAME，即卷積前后的特征圖保持大小不變，輸出層的步長和通道數(shù)均為1，對于輸入大小為512×512×3的3通道彩色眼底圖像，判別網(wǎng)絡(luò)輸出大小為64×64(圖4)。

圖4 判別模型的網(wǎng)絡(luò)結(jié)構(gòu)Figure 4 The network structure of discriminative model

1.2.4CycleGAN的構(gòu)建 采用2個生成模型和2個判別模型構(gòu)建CycleGAN。生成模型GA2B根據(jù)低質(zhì)量圖像生成對應的高質(zhì)量圖像，生成模型GB2A與其相反；判別模型DA和DB分別用于判斷輸入的低質(zhì)量圖像和高質(zhì)量圖像是原始圖像還是生成圖像并輸出概率值。在CycleGAN中，低質(zhì)量眼底圖像通過生成模型GA2B生成增強后的高質(zhì)量眼底圖像，繼而輸入判別模型DB進行判別；同樣地，高質(zhì)量圖像通過生成模型GB2A生成低質(zhì)量眼底圖像，繼而進入DA判別模型(圖5)。在網(wǎng)絡(luò)訓練過程中，生成模型和判別模型相互博弈，逐步提高生成器的圖像生成能力和判別器的真假鑒別能力，生成的圖像越來越接近真實圖像的特征，判別模型的判別能力也越來越強。

圖5 基于CycleGAN的眼底圖像增強算法流程圖Figure 5 Fundus image enhancement algorithm flowchart based on CycleGAN

本研究采用Tensorflow深度學習框架，設(shè)置訓練輪數(shù)為200，生成器和判別器的學習率均為2×10-4，采用Adam優(yōu)化器。軟件配置：Tensorflow-GPU 1.11.0，keras 2.2.4，numpy 1.19.2，opencv 3.4.2.16。硬件配置：CPU為E5-1620，GPU為NVIDIA GeForce GTX 1080，內(nèi)存16 GB，顯存8 GB。

1.2.5評價指標 對測試集低質(zhì)量眼底圖像原圖經(jīng)本研究提出的算法與CLAHE、DHE、MSRCR算法增強的圖像進行視覺定性評估，同時引入清晰度、BRISQUE[16]、色度、飽和度作為眼底圖像增強網(wǎng)絡(luò)的定量評估指標。清晰度是評價圖像質(zhì)量的基本指標。BRISQUE是一種基于空域特征的評價指標，利用支持向量機學習圖像的相關(guān)性特征和廣義高斯分布特征，訓練質(zhì)量分數(shù)與圖像的回歸模型，從而得出圖像的質(zhì)量分數(shù)。色度是色調(diào)飽和值(Hue-Saturation-Value，HSV)模型中的一個屬性，色度值越高代表圖像的色調(diào)越飽滿、色彩越豐富。飽和度是HSV模型的另一個屬性，飽和度越高則圖像越明亮，反之則圖像的色彩越暗淡。對于色度和飽和度越高的圖像，人體視覺觀感越好。

1.2.6DR診斷網(wǎng)絡(luò)的構(gòu)建 采用Inception-ResnetV2網(wǎng)絡(luò)[15]作為DR診斷模塊，對增強前后的眼底圖像進行DR疾病的診斷。采用ImageNet預訓練的模型初始化網(wǎng)絡(luò)參數(shù)，再用EyePACS數(shù)據(jù)集訓練網(wǎng)絡(luò)。分別用測試集中低質(zhì)量原圖及各方法增強后的眼底圖像作為DR測試集進行DR診斷。

2 結(jié)果

2.1 增強圖像定性評估

不同算法對模糊眼底圖像的增強結(jié)果如圖6所示。CLAHE算法提高了圖像的對比度，血管紋路清晰，但血管變粗、顏色棕紅影響了臨床上對疾病的診斷，并且圖像中存在大塊暗色區(qū)域，照度不均勻，視覺效果不佳。DHE算法提高了原圖的亮度，但對清晰度無明顯提升，難以分辨視盤邊緣。MSRCR算法產(chǎn)生的圖像顏色偏白，色彩失真嚴重，亮度高且對比度低，無法清晰展示眼底信息。CycleGAN算法的視覺效果最佳，提高了原圖的對比度、亮度及視覺分辨率，視盤邊緣及內(nèi)部血管交叉處都得以清晰地顯現(xiàn)，血管末梢及微小血管的可見度較原圖更高。

圖6 不同算法對模糊圖像增強結(jié)果 A：原圖 B：CLAHE算法增強圖 C：DHE算法增強圖 D：MSRCR算法增強圖 E：CycleGAN算法增強圖Figure 6 Results of blurry image enhanced by different algorithms A:Original image B:CLAHE enhanced image C:DHE enhanced image D:MSRCR enhanced image E:CycleGAN enhanced image

曝光不足的眼底圖像整體亮度、對比度和眼底信息可見度低，圖7為不同算法對曝光不足眼底圖像的增強結(jié)果。CLAHE算法增強的圖像明暗分布不均，血管為黑色，整體顏色不自然。DHE算法增強的圖像視盤區(qū)域呈橘色，黃斑區(qū)域呈黑青色，對低光照區(qū)域增強效果不理想；MSRCR算法使圖像產(chǎn)生藍色調(diào)，色差嚴重，同時圖像對比度低，對圖像的增強效果不明顯。CycleGAN算法提高了圖像的亮度和對比度；圖像照度均勻，視盤周圍的細小血管、血管末梢的紋理均能清晰地顯示；同時該算法對色彩進行了還原，圖像整體偏紅色調(diào)，更符合眼底實際情況。

圖7 不同算法對曝光不足圖像增強結(jié)果 A：原圖 B：CLAHE算法增強圖 C：DHE算法增強圖 D：MSRCR算法增強圖 E：CycleGAN算法增強圖Figure 7 Results of underexposed image enhanced by different algorithms A:Original image B:CLAHE enhanced image C:DHE enhanced image D:MSRCR enhanced image E:CycleGAN enhanced image

曝光過度的眼底圖像亮度高、對比度低且圖像泛白，圖8為不同算法對曝光過度眼底圖像的增強結(jié)果。CLAHE算法提高了圖像對比度但對圖像增強過度，且亮度分布不均。DHE算法在眼底圖像周邊產(chǎn)生灰色陰影，遮蓋了此區(qū)域的眼底情況。MSRCR算法進一步提高了圖像亮度，導致圖像紋理可見度更低，該算法不適用于曝光過度圖像的增強。CycleGAN算法增強后圖像顏色有一定的恢復，消除了原圖中的白色光環(huán)，亮度分布均勻，原圖中心亮斑處的細小血管也可清晰展示。

圖8 不同算法對曝光過度圖像增強結(jié)果 A：原圖 B：CLAHE算法增強圖 C：DHE算法增強圖 D：MSRCR算法增強圖 E：CycleGAN算法增強圖Figure 8 Results of overexposed image enhanced by different algorithms A:Original image B:CLAHE enhanced image C:DHE enhanced image D:MSRCR enhanced image E:CycleGAN enhanced image

2.2 增強圖像定量評估

增強后的眼底圖像清晰度均得到提高。CLAHE算法增強的圖像清晰度高達155.34，其次為CycleGAN算法的61.75。在BRISQUE質(zhì)量分數(shù)評估指標中，采用CycleGAN算法增強后的圖像取得最大值，即圖像質(zhì)量最優(yōu)，而其他算法增強后的BRISQUE質(zhì)量分數(shù)均低于原圖。CycleGAN算法的BRISQUE質(zhì)量分數(shù)分別比CLAHE、DHE和MSRCR算法高出10.2%、7.3%和10.0%。對于色度指標，CycleGAN在4種增強算法中取得最大值103.03，CLAHE、DHE和MSRCR算法的色度值分別比原圖降低18.66、7.47和8.31。在飽和度指標中，原圖的飽和度為158.26，CycleGAN和MSRCR算法均有良好表現(xiàn)，其中CycleGAN增強后的圖像飽和度以0.08的優(yōu)勢在該指標中取得最優(yōu)值(表1)。DHE算法處理圖像速度最慢，每增強100張圖像需要4 711 s，平均每張圖像耗費47.11 s，在處理圖像時有明顯的等待時間；CLAHE、MSRCR和CycleGAN算法增強100張圖像分別耗費5、101和35 s。

表1 增強圖像定量評估結(jié)果Table 1 Quantitative evaluation results of enhanced images圖像增強方法圖片數(shù)(張)清晰度[M(Q1,Q3)]BRISQUE(mean±SD)色度(mean±SD)飽和度(mean±SD)原圖2007.81(5.94,13.05)0.556±0.067106.47±7.34158.26±51.34CLAHE200155.34(104.93,236.82)0.518±0.14587.81±6.0687.96±30.50DHE20016.24(7.71,39.33)0.532±0.14799.00±7.09112.56±48.86MSRCR2005.59(3.61,8.94)0.519±0.07198.16±20.59123.16±45.82Cy-cleGAN20061.75(49.30,75.69)0.571±0.095103.03±3.58123.24±41.40 注:CLAHE:限制對比度自適應直方圖;DHE:動態(tài)直方圖均衡化;MSRCR:帶色彩恢復的多尺度Retinex;CycleGAN:循環(huán)生成對抗網(wǎng)絡(luò) Note:CLAHE:contrast limited adaptive histogram equalization;DHE:dynamic histogram equalization;MSRCR:multi-scale Retinex with color restoration;CycleGAN:cycle-constraint adversarial network

2.3 增強圖像DR診斷效果

增強前后的眼底圖像在DR診斷應用中的準確率如表2所示。對原圖進行診斷的準確率和特異度分別為93.00%和96.70%。DHE算法增強的圖像在診斷應用中表現(xiàn)不佳，準確率和特異度較原圖均有所下降。MSRCR算法增強圖在診斷準確度上較原圖有所提高，但在特異度上有下降。CLAHE和CycleGAN算法增強后的圖像在診斷準確率和特異度上均得到提升，其中CycleGAN算法增強的圖像取得最優(yōu)值。

表2 增強圖像DR診斷結(jié)果(%)Table 2 DR diagnosis results of enhanced images (%)原圖CLAHEDHEMSRCRCycleGAN準確率93.0095.7588.7594.0096.75特異度96.7098.4892.3995.9199.60 注:DR:糖尿病視網(wǎng)膜病變;CLAHE:限制對比度自適應直方圖;DHE:動態(tài)直方圖均衡化;MSRCR:帶色彩恢復的多尺度Retinex;Cy-cleGAN:循環(huán)生成對抗網(wǎng)絡(luò) Note:DR:diabetic retinopathy;CLAHE:contrast limited adaptive histo-gram equalization;DHE:dynamic histogram equalization;MSRCR:multi-scale Retinex with color restoration;CycleGAN:cycle-constraint adversarial network

3 討論

彩色眼底圖像是篩查、診斷眼科疾病常用的影像資料，通常由眼底照相機拍攝。由于在圖像的獲取過程中存在拍攝環(huán)境不佳、設(shè)備參數(shù)設(shè)置錯誤等客觀因素及醫(yī)務人員操作不當、患者配合度不高等主觀因素，現(xiàn)有的眼底圖像數(shù)據(jù)庫中存在大量低質(zhì)量的眼底圖像。這些低質(zhì)量眼底圖像不利于眼科醫(yī)生和CAD系統(tǒng)進行分析。臨床眼底照相采集過程中，一些患者由于存在屈光介質(zhì)混濁，如白內(nèi)障、玻璃體混濁及角膜斑翳等，也無法獲取清晰的視網(wǎng)膜圖像。因此，增強低質(zhì)量眼底圖像使其清晰地展示眼底情況對眼科疾病的臨床診斷和基于數(shù)據(jù)庫的眼科AI輔助診斷都非常重要。

與其他深度學習網(wǎng)絡(luò)不同，本研究構(gòu)建的CycleGAN網(wǎng)絡(luò)是一種依靠數(shù)據(jù)驅(qū)動的弱監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)。眼底相同拍攝角度的高/低質(zhì)量配對圖像的采集難度大、周期長，因此目前研究多采用非配對的高/低質(zhì)量眼底圖像數(shù)據(jù)。本研究中CycleGAN的訓練集只需相同數(shù)量的低質(zhì)量圖像集和高質(zhì)量圖像集，但兩者無需一一匹配，避開了深度學習網(wǎng)絡(luò)配對數(shù)據(jù)難以獲得的問題。

在眼底圖像增強的應用中，傳統(tǒng)圖像增強算法所獲得的圖像視覺效果較差或只擅長單一類型低質(zhì)量眼底圖像的增強。CLAHE增強的圖像取得異常高的清晰度是灰度梯度劇烈變化所致，且顏色過渡不自然、明暗分界線明顯；DHE算法增強曝光不足圖像時色彩嚴重失真；MSRCR算法增強后的圖像普遍亮度偏高，對曝光過度圖像沒有增強效果反而降低了眼底信息的可見度。傳統(tǒng)算法通過提高亮度和對比度達到圖像增強的效果，不能對圖像的色彩有較好的調(diào)節(jié)。然而在對彩色眼底圖像的分析中，背景色彩對眼病的診斷至關(guān)重要。CycleGAN網(wǎng)絡(luò)在訓練過程中學習低質(zhì)量和高質(zhì)量眼底圖像的特征，如亮度、對比度、清晰度和色彩信息。在定量評估中，CycleGAN增強的圖像色度和飽和度雖低于原圖，但與其他增強算法相比已最大程度地保留了圖像的色彩信息。本研究提出的增強算法對眼底圖像有色彩增強的能力，可對色彩失真的圖像進行顏色矯正，這是其他增強算法所不具備的。

與其他眼底圖像增強算法相比，CycleGAN對低質(zhì)量眼底圖像的增強效果最好，增強后的眼底圖像不僅可以更清晰地顯示血管、視杯、視盤等關(guān)鍵診斷部位，而且不破壞原圖像的結(jié)構(gòu)特征。采用CycleGAN增強低質(zhì)量眼底圖像可以提高現(xiàn)有眼底圖像數(shù)據(jù)庫中圖像的可診斷率。與原圖和其他算法增強后的圖像相比，CycleGAN增強后的高質(zhì)量眼底圖像DR診斷準確率和特異度分別達到最優(yōu)值。CycleGAN增強的眼底圖像可直接用于醫(yī)生臨床診斷，并有效提高CAD系統(tǒng)診斷的準確率。

本研究提出的CycleGAN算法是一個端對端的圖像增強網(wǎng)絡(luò)，能夠同時增強模糊、曝光不足、曝光過度等低質(zhì)量類型的圖像，平均處理1張圖像只需0.35 s，具有實時性和高效性，并可用在CAD系統(tǒng)前端。然而，本研究仍然存在可改進的地方，如在生成模型中引入注意力機制提高網(wǎng)絡(luò)的特征提取能力，加強圖像的細節(jié)信息等，同時可以在圖像增強處理之前加入分類網(wǎng)絡(luò)，先對圖像進行質(zhì)量分類再進行圖像增強。

利益沖突所有作者均聲明不存在任何利益沖突