智能化糖尿病眼底病變診斷系統(tǒng)

倪純+陳慕凡+瞿蒙+戴領(lǐng)+盛斌+李華婷+李平+吳強+賈偉平

摘 要 糖尿病視網(wǎng)膜病能造成患者視力損失或失明。我們提出了一個讓患者了解自己的視網(wǎng)膜狀況的智能糖尿病眼底診斷系統(tǒng)，包含云服務(wù)器和手機端應(yīng)用?；颊呖勺灾髋臄z眼底圖像，并通過手機應(yīng)用上傳至服務(wù)器。服務(wù)器端將對圖像進行分析處理，包括視盤和黃斑區(qū)的定位，血管分割，病變檢測和病變分級。根據(jù)國際標(biāo)準(zhǔn)，對于非增生性糖尿病視網(wǎng)膜病變（NPDR）分為正常、輕度、中度和重度四個等級，采用圖像分割的方法來提高效率。采用醫(yī)院提供的眼底圖像進行測試，總體達(dá)到85%的準(zhǔn)確率。

關(guān)鍵詞 糖尿病視網(wǎng)膜病篩查 眼底鏡 多尺度線性算子

中圖分類號：R587.2； R770.41 文獻標(biāo)識碼：A 文章編號：1006-1533（2017）23-0020-05

Intelligentized diabetic retinopathy diagnosis system

NI Chun1， CHEN Mufan1， QU Meng1， DAI Ling1， SHENG Bin1*， LI Huating2， LI Ping3， WU Qiang2， JIA Weiping2（1. School of Electronic Information and Electrical Engineering， Shanghai Jiao Tong University， Shanghai 200240， China； 2. Shanghai Sixth Peoples Hospital， Shanghai 200233， China； 3. Faculty of Information Technology， Macau University of Science and Technology， Macau）

ABSTRACT Diabetic Retinopathy （DR）， the most common one of diabetic eye diseases， can cause loss of vision or blindness. We propose an automatic diabetic retinopathy diagnostic system to help patients know about their retinal conditions. The images are taken through the phone application and then transmitted to a cloud server to be analyzed， including localization of optic disk and macular， vessel segmentation， detection of lesions， and grading of DR. We use a multi-scale line operator to improve accuracy in segmenting small-scale vessels， a binary mask and image restoration to reduce the effect of the existence of vessels on optic disk localization. After the analysis， the fundus images are then graded as normal， mild Non-Proliferative Diabetic Retinopathy （NPDR）， moderate NPDR or severe NPDR. The grading process uses region segmentation to improve the efficiency. The final grading results are tested based on the fundus images provided by the hospitals. We evaluate our system through comparing our grading results with those graded by experts， which comes out with an overall accuracy of up to 85%.

KEY WORDS diabetic retinopathy screening； ophthalmoscope； multi-scale line operator

1 糖尿病視網(wǎng)膜病的研究現(xiàn)狀

糖尿病視網(wǎng)膜病是最普遍的糖尿病眼部疾病之一[1]。而在視網(wǎng)膜特征和病變的檢測上，主要的挑戰(zhàn)在于小尺度血管的分割的準(zhǔn)確率不高[2]。對于眼底圖像的獲取，目前的研究主要專注于智能手機照相機的圖像質(zhì)量的提高，而對于患者來說，同時用透鏡對準(zhǔn)他們的眼睛并拍攝照片是非常不方便的。我們致力解決兩個問題：①眼底圖像的檢測能更準(zhǔn)確嗎？②視網(wǎng)膜病變的分級能否更加高效？基于Ricci的工作[3]，我們使用了多尺度的線性算子以提高小尺度血管的分割精確度[4-6]。此外，我們使用了二值遮罩和圖像修復(fù)以減少血管的存在對定位視盤的影響[7-9]。我們進行預(yù)處理，諸如形態(tài)學(xué)操作和濾波操作[10-11]。在病變分級上，我們把圖片分成互不重疊的三個區(qū)域，每次只分析其中一個區(qū)域，效率自然也提高了。

2 研究內(nèi)容及方法

2.1 圖像處理

我們首先提取出圖像的G通道并進行灰度反轉(zhuǎn)，隨后通過形態(tài)學(xué)腐蝕操作來定位眼底圖像的視網(wǎng)膜邊界區(qū)域，再迭代地采用形態(tài)學(xué)膨脹操作對視網(wǎng)膜邊界區(qū)域向外擴充，在擴充過程中，對邊界上的像素點進行均值濾波，依次完成擴充邊界。由于血管灰度較背景像素低，在眼底圖像中呈現(xiàn)類似邊緣的結(jié)構(gòu)，而一般的邊緣算子檢測出來的血管不夠完整，而且受光照不均等噪聲影響，會產(chǎn)生一些“假血管”，分割精度有待提高[12-14]。針對血管局部呈現(xiàn)線性結(jié)構(gòu)這一特征，我們設(shè)計了一個多尺度直線（line）算子，且該line算子可以旋轉(zhuǎn)以匹配不同方向的血管。對于每一個像素點（i，j），用此算子進行濾波得到一系列灰度值L（i，j），取其中最大值。最終的輸出表示如下：endprint

在微血管瘤的檢測中，現(xiàn)有的很多方法不能很好的應(yīng)用于視盤存在病變、視盤亮度丟失等情況的眼底圖像中。首先我們提取原圖像的G通道，因為G通道的圖像保留了大量的對比度信息，視盤更加明顯。接下來對G通道圖像進行均值濾波，為了消除背景中極個別亮點對視盤的中心定位產(chǎn)生的影響，均值濾波過后檢測圖像中最亮的像素點，求這些像素點的坐標(biāo)的平均值作為視盤的中心點。為了減小計算量、節(jié)省時間，可選取感興趣區(qū)域（ROI），ROI的選取是以剛得到的中心點為中心選取一個160×160像素大小的區(qū)域。接下來對感興趣區(qū)域進行血管的分割，用血管分割的結(jié)果作為圖像修復(fù)的模板mask。然后使用基于快速行進的圖像修復(fù)算法對ROI進行修復(fù)。以視盤中心點為中心，等間距地向外散發(fā)出20條射線，檢測第i條射線上的第j個點的梯度值。公式如下：

對這些點使用快速橢圓擬合算法，擬合出視盤邊界（圖2）。

黃斑區(qū)檢測基于視盤的定位。黃斑區(qū)是眼底圖像的一個重要結(jié)構(gòu)其表現(xiàn)為眼底圖像的中央暗斑。為了使其更加明顯我們對圖像進行直方圖均衡化以增強圖像的對比度。為了定位黃斑區(qū)可先選取圖像的中間部分作為感興趣區(qū)域以減少計算量以及減小圖像周圍噪聲的影響。硬性滲出是導(dǎo)致反照視網(wǎng)膜和失明的一大因素。本文算法主要基于對比度來區(qū)分出硬性滲出區(qū)域。因為血管區(qū)域與周圍區(qū)域的對比度也不低（血管較暗，周圍較亮），因而在對原彩色圖像灰度化后，需要通過形態(tài)學(xué)閉操作來消除血管對檢測產(chǎn)生的影響。接著通過11×11的算子對圖像中每個像素的鄰域進行方差計算，選取方差大于某個閾值的點作為滲出區(qū)域邊界候選點，并進行形態(tài)學(xué)上的閉操作來填補區(qū)域間的小洞。通過反復(fù)的腐蝕、重建操作，將背景灰度逐步填充到滲出區(qū)域內(nèi)，獲取無病變的背景圖像。重建、填充等步驟主要作用在于將背景灰度逐步填充到滲出區(qū)域內(nèi)。最后將背景圖像與原始圖像做差，顯然，差值較大之處即為滲出區(qū)域，將差值矩陣進行閾值分割，并將符合條件的點標(biāo)記在原圖上即可得到滲出區(qū)域。

2.2 病癥分級

為了提高運算速度，將圖像分割成三部分（圖3）。首先，我們檢測區(qū)域1中的病變（包括滲出、出血、微血管瘤），如果檢測出其中一類，便分為重度NPDR，停止檢測。否則，繼續(xù)檢測區(qū)域2。同樣地，若在區(qū)域 2中檢測出任何的病變，便定義為中度NPDR，停止檢測。否則繼續(xù)檢測區(qū)域3，若在區(qū)域3中檢測出病變，則為輕度NPDR，否則該圖像正常。

2.3 圖像獲取

智能手機檢眼鏡是借助智能手機獲得視網(wǎng)膜圖像的便攜式設(shè)備。設(shè)計的光學(xué)檢眼鏡如圖4所示，由三個主要部件組成：智能手機，視網(wǎng)膜鏡片和人眼。

在以前使用視網(wǎng)膜鏡片[7]的研究中，沒有使用任何框架來穩(wěn)定智能手機和鏡頭的位置。在我們的方法中，框架能夠確保照相機的中心線和透鏡的中心線之間的重疊。此外，鑒于不同人的屈光度差異，智能手機和視網(wǎng)膜鏡片之間的框架被設(shè)計為可調(diào)節(jié)的（圖5）。

3 實驗結(jié)果

3.1 圖像處理

使用了DRIVE， DIARETDB1， DIARETDB0和STEAR這四個公開的數(shù)據(jù)庫來評估我們的算法。DRIVE包含40張分辨率為768×584的彩色眼底圖片，STARE包含20張分辨率為605×700的彩色圖片，另兩個數(shù)據(jù)庫共包含219張分辨率為1 500×1 152的彩色眼底圖片，包括25張無異常的圖像和194張不同等級的圖像。不同方法的血管分割結(jié)果可見圖6。Jiang[5]和Zhang[6]的方法會有血管缺失或多余的狀況，而我們的方法沒有這種問題?？紤]到病變的存在會影響視盤和黃斑區(qū)的檢測結(jié)果，我們在測試的時候，同時選用了有異常的和正常的圖片（圖7）?？梢娢覀兊亩ㄎ环椒ú皇懿∽兊挠绊?。在處理時間上，也進行了測試和評估。我們用CAL[7]方法來評估血管分割算法，C、A、L三者的乘積表示算法的質(zhì)量，其值為C、A、L分值（表1）[7]。

視盤定位的準(zhǔn)確率比較見表2。盡管Yu和Youssif的方法的準(zhǔn)確率略高，但是他們的運算時間更長，分別為4.7 s和210 s，而我們的方法僅不到1 s。

對于病變的檢測，本文算法也取得了很高的準(zhǔn)確率，微血管瘤、出血和滲出的檢測準(zhǔn)確率分別為99.7%，98.4%和98.1%。當(dāng)然，算法性能也是我們同時要考慮的一大因素。表3比較了和其他方法的計算時間。

同時也要考慮到，實際情況下，由于患者不熟悉操作或外部環(huán)境問題，拍攝的圖像很有可能曝光不足、曝光過度、位置不對或四周黃斑。檢測結(jié)果見圖8。

3.2 病癥分級

我們使用約100張眼底圖像進行檢測，并與其它方法的評分準(zhǔn)確度進行了比較，結(jié)果見表4。

3.3 圖像獲取endprint

用戶可以調(diào)整智能手機和視網(wǎng)膜鏡片之間的距離，以獲得視網(wǎng)膜的合理視圖。最后，用戶可以改變焦距以獲得圖像的清晰視圖。以下內(nèi)容包含圖像的實驗和評估智能眼鏡的質(zhì)量。受到現(xiàn)存研究[19]的啟發(fā)的啟發(fā)，我們使用kappa統(tǒng)計，做了這個實驗評估測試。在瞳孔擴張后，采取100例患者（200眼）的樣本量，比較智能手機（iPhone 5）320檢眼鏡和被認(rèn)為是用于評估圖像質(zhì)量的標(biāo)準(zhǔn)裝置掃描激光檢眼鏡（佳能OCT-HS100）拍攝的圖像的分級結(jié)果（表5）。通過不同設(shè)備從同一患者拍攝的眼底圖像之間的分級結(jié)果的一致性顯示了智能眼鏡的圖像質(zhì)量是否合格。一致性越高，圖像質(zhì)量越好。圖像根據(jù)國際臨床糖尿病視網(wǎng)膜病變嚴(yán)重程度評分。

4 結(jié)論及討論

我們提出了一個完全智能化的糖尿病眼底病變診斷系統(tǒng)，能夠自主拍攝圖像、分析并生成分析報告，特別是在特征和病變的檢測上提高了準(zhǔn)確率和效率。檢眼鏡包含間接的視網(wǎng)膜鏡片，智能手機和它們之間的框架。用戶可以首先將智能相機的中心線和視網(wǎng)膜透鏡的中心線對準(zhǔn)在同一條線上。然后，以簡化模型眼睛為樣本，用戶可以調(diào)整模型眼與視網(wǎng)膜長度之間的距離。研究結(jié)果也表明分析圖像的結(jié)果不錯。因此，病人能較好地使用該系統(tǒng)來檢查他們的眼睛狀況，從而決定是否就醫(yī)做進一步檢查。未來，我們將優(yōu)化手機應(yīng)用并進一步提高算法的準(zhǔn)確率。

參考文獻

[1] Qi J， Yang P， Fan D， et al. A survey of physical activity monitoring and assessment using internet of things technology[C]. IEEE Intl Conf CIT/IUCC/DASC/PICOM， 2015： 2353-2358.

[2] Gao F， Li T， Hu J， et al. Comparative analysis of three purication protocols for retinal ganglion cells from rat[J]. Mol Vis， 2016， 22： 387-400.

[3] Ricci E， Perfetti R. Retinal blood vessel segmentation using line operators and support vector classication[J]. IEEE Trans Med Imaging， 2007， 26（10）： 1357-1365.

[4] Sekhar S， Al-Nuaimy W， Nandi A. Automated localisation of optic disk and fovea in retinal fundus images[C]. European Signal Process Conf， 2008： 1-5.

[5] Jiang X， Mojon D. Adaptive local thresholding by verification-based multithreshold probing with application to vessel detection in retinal images[J]. IEEE Trans Pattern Anal Mach Intell， 2003， 25（1）： 131-137.

[6] Zhang B， Zhang L， Zhang L， et al. Retinal vessel extraction by matched filter with first-order derivative of Gaussian[J]. Comp in Biol and Med， 2010， 40（4）： 438-445.

[7] Gegundez-Arias ME， Aquino A， Bravo JM， et al. A function for quality evaluation of retinal vessel segmentations[J]. IEEE Trans Med Imaging， 2012， 31（2）： 231-239.

[8] Yu H， Barriga ES， Agurto C， et al. Fast localization and segmentation of optic disk in retinal images using directional matched filtering and level sets[J]. IEEE Trans Info Tech in Biomed， 2012， 16（4）： 644-657.

[9] Youssif AA-HA-R， Ghalwash AZ， Ghoneim AASA-R. Optic disc detection from normalized digital fundus images by means of a vessels direction matched filter[J]. IEEE Trans Med Imaging， 2008， 27（1）： 11-18.

[10] Hoover A， Goldbaum M. Locating the optic nerve in a retinal image using the fuzzy convergence of the blood vessels[J]. IEEE Trans Med Imaging， 2003， 22（8）： 951-958.endprint

[11] Sinha N， Babu RV， Optic disk localization using L1 minimization[C]. IEEE Intl Conf Image Process， 2012， 2829-2832.

[12] Marin D， Aquino A， Gegundez-Arias ME， et al. A new supervised method for blood vessel segmentation in retinal images by using gray-level and moment invariants-based features[J]. IEEE Trans Med Imaging， 2011， 30（1）： 146-158.

[13] Lupascu CA， Tegolo D， Rosa LD. Automated detection of optic disc location in retinal images[C]. IEEE Intl Sym Comp-Based Med Sys， 2008： 17-22.

[14] Lu S， Lim JH. Automatic optic disc detection from retinal images by a line operator[J]. IEEE Trans Biomed Eng， 2011， 58（1）： 88-94.

[15] Qu M， Ni C， Chen M， et al. Automatic diabetic retinopathy diagnostic system based on adjustable ophthalmoscope and multi-scale line operator[J]. Pervasive Mob Comput， 2017， 41： 490-503.

[16] Zhang X， Thibault G， Decencière E， et al. Exudate detection in color retinal images for mass screening of diabetic retinopathy[J]. Med Image Anal， 2014， 18（7）： 1026-1043.

[17] Dutta MK， Ganguly S， Srivastava K， et al. An efficient grading algorithm for non-proliferative diabetic retinopathy using region based detection[C]. Intl Conf Telecom and Sig Process， 2015： 743-747.

[18] Hatanaka Y， Nakagawa T， Hayashi Y， et al. Improvement of automated detection method of hemorrhages in fundus images[C]. Annual Intl Conf IEEE Eng in Med and Biol Society， 2008： 5429-5432.

[19] Russo A， Morescalchi F， Costagliola C， et al. Comparison of smartphone ophthalmoscopy with slit-lamp biomicroscopy for grading diabetic retinopathy[J] Amer J Ophthalmol， 2015， 159（2）： 360-364.endprint