韓義波,李 霞,邵艷玲
(1.南陽理工學(xué)院南陽大數(shù)據(jù)研究院 河南 南陽 473000;2.南陽理工學(xué)院傳媒學(xué)院 河南 南陽 473000;3.南陽理工學(xué)院計算機(jī)與軟件學(xué)院 河南 南陽 473000)
青光眼是一種視神經(jīng)損害、視乳頭萎縮及凹陷導(dǎo)致的退行性視神經(jīng)病變。青光眼的病理特征包括眼壓升高、視神經(jīng)細(xì)胞活性喪失和視力下降,倘若青光眼沒有被及時發(fā)現(xiàn)和治療,可能會導(dǎo)致患者的視力嚴(yán)重受損,甚至失明[1]。在青光眼的診斷過程中,僅依靠醫(yī)生通過分析眼底的突變結(jié)構(gòu)和運用自身診斷經(jīng)驗的方式來進(jìn)行疾病判斷的方法準(zhǔn)確率較低,時常會出現(xiàn)檢查結(jié)果與實際情況不符,并需要耗費大量的時間和精力。
彩色眼底圖像作為重要醫(yī)療工具,可以幫助醫(yī)生分析和診斷眼科疾病,通過特定儀器掃描眼底可以獲得眼底圖像。圖像包含了中心凹、黃斑、視盤(OD)、視杯(OC)和動靜脈血管等眼底區(qū)域[2],方便了醫(yī)生對青光眼的診斷。但眼底圖像的結(jié)構(gòu)是復(fù)雜多樣的,通過人眼來辨別眼底圖像既花費時間,又可能因為人眼不易察覺的特征導(dǎo)致診斷結(jié)果不夠客觀和準(zhǔn)確。隨著近些年人工智能的興起,研究人員開始嘗試使用人工智能來對眼底圖像進(jìn)行青光眼的診斷,通過深度學(xué)習(xí)技術(shù)搭建卷積網(wǎng)絡(luò)結(jié)構(gòu),可以直接從圖像中提取更為隱蔽的特征,并對特征進(jìn)行分析,實現(xiàn)疾病的診斷。深度學(xué)習(xí)技術(shù)正廣泛地應(yīng)用于通過醫(yī)學(xué)圖像進(jìn)行疾病的輔助診斷中。
本文通過深度學(xué)習(xí)技術(shù)搭建卷積神經(jīng)網(wǎng)絡(luò)模型實現(xiàn)對眼底圖像視杯和視盤的準(zhǔn)確分割,并以分割之后的眼底圖像視盤和視杯區(qū)域的面積計算杯盤比(CDR),杯盤比(CDR)是醫(yī)學(xué)上用于診斷青光眼的一個重要參數(shù),當(dāng)杯盤比超過0.65時,可以確定病人患有青光眼。由此,實現(xiàn)對青光眼早期診斷,對患者進(jìn)行早期治療,保護(hù)患者視力。
青光眼是一種常見的眼病,在普通人群中,青光眼的患病率為1%,在中老年人群中,青光眼的發(fā)病率為2%。青光眼有4種類型:先天性青光眼、繼發(fā)性青光眼、混合性青光眼、原發(fā)性青光眼。不同類型的青光眼有不同的臨床表現(xiàn)和特征[3]。青光眼患者必須盡早發(fā)現(xiàn)和治療。由于視盤凹陷引起的眼內(nèi)壓升高是目前青光眼存在危險的主要原因。高壓力是指當(dāng)成年人眼壓超過21 mmHg或2.8 kPa的現(xiàn)象,當(dāng)出現(xiàn)高壓力現(xiàn)象時,眼壓越高,患者被診斷為青光眼的概率越大,患者的危險性也越大。當(dāng)眼內(nèi)壓升高時,患者的視力會受到一定程度的損害,患者的視盤也會出現(xiàn)深而大的凹陷,醫(yī)生可以根據(jù)視盤變化進(jìn)行青光眼的診斷。
視盤區(qū)域全稱視神經(jīng)盤,也叫視神經(jīng)乳頭或視神經(jīng)頭,它是青光眼發(fā)病的表現(xiàn)部位。在臨床診斷中,彩色眼底圖像是被使用最多的視網(wǎng)膜圖像。視盤是眼底圖像中一個清晰的圓盤狀結(jié)構(gòu),其顏色大多表現(xiàn)為橙色、淺紅色或者白色。視神經(jīng)纖維在視盤區(qū)域匯集在一起,以視盤作為開端,并從這里穿出眼球。由于視盤的特殊結(jié)構(gòu),視盤會反射進(jìn)入視盤內(nèi)的大部分光線,這導(dǎo)致在眼底圖像中,視盤是亮度最高的區(qū)域。視杯是視盤中心亮度最高的區(qū)域,其向后壓迫導(dǎo)致眼底結(jié)構(gòu)顯示為生理凹陷;確定視杯后,視杯和視盤之間的區(qū)域被稱為視盤沿[4]。視杯會由于細(xì)胞的凋亡發(fā)生變化,不正常的細(xì)胞凋亡會使得視杯不斷向外擴(kuò)大,同時杯盤沿會變薄,導(dǎo)致視杯占整個視盤的比例變大,最終導(dǎo)致青光眼的出現(xiàn)。如圖1所示是眼底結(jié)構(gòu)的示意圖,圖中標(biāo)注了眼底區(qū)域中被醫(yī)學(xué)關(guān)注的一些生理特征。
圖1 眼底圖像結(jié)構(gòu)圖
吳駿[5]等人提出了基于多特征融合的彩色眼底圖像視杯分割算法,算法通過提取感興趣區(qū)域的血管進(jìn)行視盤分割,然后結(jié)合視杯的亮度特征,使用 FCM技術(shù)進(jìn)行視杯區(qū)域分割。同時,對分割結(jié)果進(jìn)行鏡像映射、橢圓擬合和糾正等后處理工作,從而提高眼底圖像分割的精度。鄭珊[6]等人提出了基于橢圓約束的多相主動輪廓模型視盤視杯分割算法,算法根據(jù)視盤視杯的亮度特征建立內(nèi)嵌橢圓約束的多相主動輪廓模型,通過模型的能量泛函對模型進(jìn)行求解。根據(jù)求解獲得的演化方程驅(qū)動曲線沿著視盤和視杯邊緣進(jìn)行移動直到完成視盤和視杯分割。劉洪普[7]等人提出了視盤視杯分割算法(CA-Net),該算法在圖像分割時通過坐標(biāo)轉(zhuǎn)換平衡數(shù)據(jù)分布,同時采用注意力引導(dǎo)技術(shù)[8]和上下文聚合技術(shù)進(jìn)行特征增強(qiáng),并在視杯分割時采取先驗知識約束分割,使分割更加準(zhǔn)確。
Pruthi[9]等人提出一種基于螢火蟲群優(yōu)化(Glowworm Swarm)的視盤視杯分割算法,算法的核心是作為代理的螢火蟲通過利用視杯區(qū)域內(nèi)的強(qiáng)度梯度幫助構(gòu)建解決方案,螢火蟲具有自適應(yīng)領(lǐng)域行為,即便是在視盤和視杯邊界對比度低的眼底圖像中,螢火蟲也能夠準(zhǔn)確地檢測出視盤和視杯區(qū)域。Ramya[10]等人提出一種名為最優(yōu)DNN的算法,算法結(jié)合局部搜索策略的混合粒子群對DNN參數(shù)進(jìn)行了改進(jìn),采用限制對比度自適應(yīng)直方圖均衡化對原始圖像進(jìn)行預(yù)處理,通過局部搜索和救援優(yōu)化算法實現(xiàn)對眼底圖像的視杯和視盤分割,并提取基于紋理、形狀和顏色的灰度共生矩陣特征,實現(xiàn)對眼底圖像視盤和視杯的高精度分割。Mansour[11]等人提出了基于新型感知器的卷積神經(jīng)網(wǎng)絡(luò)視盤視杯分割算法。算法通過熵的估計檢測視盤和視杯邊界對眼底圖像進(jìn)行分割,然后通過加權(quán)最小二乘擬合提取杯盤比和整體局部特征以準(zhǔn)確切割眼底圖像,最后基于感知器的卷積多層神經(jīng)網(wǎng)絡(luò)實現(xiàn)對青光眼的分類,實現(xiàn)精確診斷青光眼。Biswal[12]等人提出了一種基于統(tǒng)計的峰態(tài)檢驗的視盤和視杯分割算法,算法使用一種自動生成不包含滲出物的感興趣區(qū)域提取技術(shù)進(jìn)行中央視網(wǎng)膜血管(CRBV)的提取,將CRBV下的杯狀邊界與部分提取的視杯進(jìn)行結(jié)合,以此達(dá)到了高精度分割的目的。
人工神經(jīng)網(wǎng)絡(luò)[13](Artificial Neural Network, 簡稱為ANN)是一種模仿腦部突觸結(jié)構(gòu)的數(shù)學(xué)模型,其中單個神經(jīng)元就像大腦中突觸一樣可以將信號傳遞給其他神經(jīng)元,神經(jīng)元之間的權(quán)重會隨著學(xué)習(xí)而進(jìn)行調(diào)整。通常,ANN中包含多層次,每個層次由多個神經(jīng)元構(gòu)成,信號可以從輸入層傳遞到輸出層。圖2所示為人工神經(jīng)網(wǎng)絡(luò)的示意圖。
圖2 人工神經(jīng)網(wǎng)絡(luò)示意圖
在ANN中,一個神經(jīng)元的映射關(guān)系如公式(1)所示
Y=f(wTx+|b)
(1)
其中,x∈Rm表示神經(jīng)元的輸入信號,w∈Rm表示神經(jīng)元的權(quán)重,b∈R表示偏差,f(·)表示激活函數(shù),Y為神經(jīng)元的輸出結(jié)果。f(·)通常選擇非線性的激活函數(shù),激活函數(shù)可以用來提高網(wǎng)絡(luò)的性能和運行效率,常用的激活函數(shù)分為以下3種。
(1)閾值函數(shù)[14]。最早被使用的激活函數(shù)之一,其原理表達(dá)式為
(2)
(2)Sigmoid函數(shù)[15]。此函數(shù)被用來平衡網(wǎng)絡(luò)中線性和非線性的關(guān)系。該函數(shù)的適用區(qū)間是(0,1),在此區(qū)間內(nèi)Sigmoid是遞增函數(shù)。其原理表達(dá)式為
(3)
(3)ReLU函數(shù)[16]。ReLU函數(shù)能通過單側(cè)抑制來降低網(wǎng)絡(luò)的計算成本。該函數(shù)采取最大值的方式,表達(dá)式簡單。其原理表達(dá)式為
f(x)=max(0,x)
(4)
本節(jié)通過深度學(xué)習(xí)技術(shù)對青光眼眼底圖像分析,采取全卷積神經(jīng)網(wǎng)絡(luò)模型來實現(xiàn)對眼底圖像視盤和視杯的精確分割,通過分割出的視杯與視盤區(qū)域面積的比值作為青光眼的診斷依據(jù),設(shè)計了一種用于青光眼輔助診斷的算法。該算法包含視盤分割和視杯分割兩條路徑,對于視盤分割任務(wù),輸入的圖像是經(jīng)過預(yù)處理的彩色眼底圖像;對于視杯分割任務(wù),需要通過視盤分割任務(wù)得到的視盤位置進(jìn)行視盤感興趣區(qū)域的提取,輸入的圖像為提取的圖像。完成視盤和視杯的提取后,通過視盤和視杯的圖像進(jìn)行杯盤比的計算,完成青光眼的診斷。
本文對U-Net網(wǎng)絡(luò)結(jié)構(gòu)[17]進(jìn)行改進(jìn),改進(jìn)后的U-Net仍然采用原始的5層U-Net模式,但與原始U-Net遞增的卷積核數(shù)不同,它自第二層的第二個卷積開始采用了固定的卷積核數(shù)。同時,每一層相對于原始的U-Net提取的特征數(shù)目更少,卷積時采用填充的方式使圖像的尺寸保持不變。實驗結(jié)果表明,與原始的U-Net相比,改進(jìn)后的模型對性能的影響很小,但卻大大減少了模型的參數(shù)量,使模型所需的內(nèi)存更小,訓(xùn)練模型的時間更短,網(wǎng)絡(luò)更加輕量化,圖3為改進(jìn)后的U-Net網(wǎng)絡(luò)結(jié)構(gòu)圖。
圖3 改進(jìn)后的U-Net網(wǎng)絡(luò)結(jié)構(gòu)圖
與原始的U-Net網(wǎng)絡(luò)一樣,改進(jìn)后的U-Net由收縮路徑(左側(cè))和擴(kuò)展路徑(右側(cè))組成,類似一個大大的U型字母,矩形上方為對應(yīng)的特征通道數(shù)。改進(jìn)后的U-Net網(wǎng)絡(luò)包括3個路徑。
(1)收縮路徑(Contracting path):收縮路徑在結(jié)構(gòu)上重復(fù)了分類網(wǎng)絡(luò)卷積部分的典型結(jié)構(gòu)。由卷積、池化和激活函數(shù)組成。卷積層(Convolution)采用兩個像素大小為3*3的濾波器平滑移動提取圖像特征。在圖像外邊緣填充1像素寬度的填充,可以在保持特征圖尺寸不變的情況下,保留圖像邊緣的特征。卷積層應(yīng)用Dropout正則化和ReLU激活函數(shù)。下采樣層(Downsampling)采用了像素大小為2*2的濾波器進(jìn)行Max Pooling操作。Max pooling操作可以消除非極大值的干擾,提取最大值作為特征值,降低計算的復(fù)雜度。每次下采樣后,特征圖像的寬度和高度都會減半。
(2)擴(kuò)展路徑(Expansive path):拓展路徑采用了與收縮路徑相反的操作,由上采樣、特征拼接、卷積、激活函數(shù)反復(fù)構(gòu)成,此過程中逐漸恢復(fù)圖像原本尺度。上采樣層(Upsampling)采用像素大小為2*2的濾波器對圖像進(jìn)行上采樣,采取線性插值的方法擴(kuò)展圖像的尺寸,上采樣的過程中,特征圖像的寬度和高度變?yōu)樵瓉淼?倍。U-Net在收縮路徑下采樣時會損失一部分邊緣信息,為了在上采樣時恢復(fù)這些邊緣信息,U-Net通過特征拼接將收縮路徑與拓展路徑中同一層次的特征圖進(jìn)行融合,實現(xiàn)了邊緣特征的恢復(fù)。擴(kuò)展路徑卷積層的操作與收縮路徑相同。重復(fù)此上采樣層和卷積層直到獲取32*32的特征映射圖。
(3)分類路徑:U-Net沒有全連接層,只是用一個卷積層實現(xiàn)分類的操作。分類路徑會對32通道大小的特征圖像使用1*1的濾波器執(zhí)行全卷積操作,對每個像素進(jìn)行分類,從而得到像素點的分類圖。視盤和視杯圖像分割的類別是1,即目標(biāo)區(qū)域(視盤或視杯)和非目標(biāo)區(qū)域(背景區(qū)域),像素的類別只能是目標(biāo)區(qū)域或者背景,從而達(dá)到了分割圖像的效果。
U-Net在融合多尺度特征時采取的方法與全卷積神經(jīng)網(wǎng)絡(luò)不同。全卷積神經(jīng)網(wǎng)絡(luò)通過直接將特征點逐點相加的方式完成融合,而U-Net則在通道維度上采取拼接的方式實現(xiàn)特征融合。同時,U-Net在反卷積時依然存在大量通道,這使上下文信息可以向更高層分辨率傳播。
在獲取原始圖像時,外界因素如不均勻光照、不同的對比度、不同的成像設(shè)備都可能會對原始圖像造成嚴(yán)重的影響。因此,對圖像進(jìn)行預(yù)處理是實驗中極其重要的環(huán)節(jié)。預(yù)處理的目的是保證圖像的質(zhì)量,最大限度消除外界因素的干擾。我們采取多種預(yù)處理手段相結(jié)合,以提高圖像分割的準(zhǔn)確率。
(1)去除無用信息。
部分?jǐn)?shù)據(jù)集的原視圖像中包含有一些無用信息,如在DRIONS-DB數(shù)據(jù)集中,原視圖像的左下角留有眼底圖像的編號,這些信息對于實驗來說是沒有用處的,通過裁剪的方法,將DRIONS-DB數(shù)據(jù)集中每張眼底圖像的編號信息去除。
(2)統(tǒng)一眼底圖像分辨率
在收集的數(shù)據(jù)集中,不同眼底圖像數(shù)據(jù)集存在分辨率不統(tǒng)一的問題,即使是同一個數(shù)據(jù)集,各個圖像的分辨率也有不相同的情況。為了統(tǒng)一分辨率,同時提高網(wǎng)絡(luò)的訓(xùn)練效率,我們對各個數(shù)據(jù)集的眼底圖像進(jìn)行縮放,適當(dāng)降低分辨率,將原始圖像分辨率修改為256*256、512*512兩個大小,分辨率越小訓(xùn)練的速度越快。采取的具體縮放方法是先找到圖像分辨率較小的維度,拉伸至與分辨率較大的維度大小一致,然后再進(jìn)行等比例放縮。
(3)提取感興趣區(qū)域ROI
一般而言,視盤是眼底圖像內(nèi)較亮的整個區(qū)域,對它的分割相對簡單。對于視杯部分,由于視杯在眼底圖像中表現(xiàn)同樣是明亮區(qū)域,且視杯區(qū)域位于視盤中,視杯和視盤的邊界對比度低且不明顯,這導(dǎo)致視杯的分割難度要遠(yuǎn)遠(yuǎn)大于視盤的分割。為了能更好地獲得視杯的分割效果,視杯分割時,先進(jìn)行感興趣區(qū)域(ROI)的提取,然后將提取到的感興趣區(qū)域圖像作為視杯分割的輸入圖像。
(4)限制對比度直方圖均衡化(CLAHE)
自適應(yīng)直方圖均衡化(CLAHE)是一種用來提高圖像對比度的圖像處理技術(shù)。與普通的直方圖均衡化不同,CLAHE算法適用于增強(qiáng)圖像的局部對比度,CLAHE通過計算圖像的局部區(qū)域的直方圖,然后使用對比度限幅的方式重新分布亮度來改變圖像對比度,達(dá)到增強(qiáng)局部細(xì)節(jié)的目的。圖4是眼底圖像經(jīng)過感興趣區(qū)域提取后進(jìn)行CLAHE的示意圖。
圖4 眼底圖像預(yù)處理流程圖
我們收集了3個數(shù)據(jù)庫的眼底圖像作為實驗數(shù)據(jù),但對于網(wǎng)絡(luò)訓(xùn)練來說,數(shù)據(jù)量仍是不夠的。為了解決這個問題,提高模型的準(zhǔn)確性,改善神經(jīng)網(wǎng)絡(luò)診斷青光眼的效果,分別采用多種圖像處理方法對收集的3個數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)充,防止出現(xiàn)過擬合情況,采取的方法包括:
(1)平移。將眼底圖像按上下左右4個方向分別移動10個像素,由于視盤和視杯的位置大多位于圖像的中心區(qū)域,進(jìn)行平移時不會出現(xiàn)視盤和視杯移出圖像外的情況。
(2)翻轉(zhuǎn)。通過水平、垂直、水平垂直翻轉(zhuǎn)的方法實現(xiàn)數(shù)據(jù)集的擴(kuò)充。
(3)旋轉(zhuǎn)。順時針旋轉(zhuǎn)眼底圖像以達(dá)到擴(kuò)充圖像的目的,每次旋轉(zhuǎn)的間隔設(shè)置為20°。
為驗證方法的可靠性和魯棒性,選取DRIONS-DB[18]、RIM-ONE v3[19]、DRISHTI-GS[20]公開數(shù)據(jù)庫來驗證模型的分類性能。其中,DRIONS-DB數(shù)據(jù)集包含110張眼底圖片和相應(yīng)視盤分割,6張健康眼底圖片,104張青光眼圖片,圖片分辨率大小是 600×400。DRISHTI-GS 數(shù)據(jù)集包含 101 張彩色眼底圖像,其中 50 張訓(xùn)練圖像和 51 張測試圖像,圖片分辨率大小約為2047×1760。此外,該數(shù)據(jù)集還提供了基于4名眼科專家手繪標(biāo)簽的視盤和視杯的平均邊界值。RIM-ONE v3數(shù)據(jù)集包括159張眼底圖像,其中包括84張青光眼或者是疑似青光眼圖像和75張正常眼底圖像。表1詳細(xì)展示了各個數(shù)據(jù)集的情況,No表示數(shù)據(jù)集包含的眼底圖像數(shù)目,OD Label表示數(shù)據(jù)集是否包含視盤標(biāo)簽數(shù)據(jù),OC Label表示該數(shù)據(jù)集中是否包含視杯標(biāo)注數(shù)據(jù)。
表1 數(shù)據(jù)集統(tǒng)計值
為了客觀評估分割效果,同時為了與其他分割算法做對比,本文采用交并比(Intersection Over Union,IOU)和Dice系數(shù)來評估模型對眼底圖像視盤視杯區(qū)域分割結(jié)果的準(zhǔn)確性。用運行時間和模型內(nèi)存消耗來與其他模型的性能做對比。
(1)IOU系數(shù)常被使用在物體檢測中,用于衡量算法對物體檢測的準(zhǔn)確程度。IOU的計算如公式(5)所示。
(5)
其中,A表示通過模型得到的分割結(jié)果圖,B表示相應(yīng)的由專家手動標(biāo)記的視盤視杯的標(biāo)注圖。IOU的結(jié)果表示兩者的相關(guān)性,相關(guān)性越高,IOU的值越大。IOU的數(shù)值在0到1之間,越接近1表示預(yù)測結(jié)果越好。
(2)Dice系數(shù)同樣是圖像分割領(lǐng)域中常用的指標(biāo)之一,它用于衡量兩個圖像的相似程度(如式6)。
(6)
其中,A表示通過模型得到的分割結(jié)果圖,B表示相應(yīng)的由專家手動標(biāo)記的視盤視杯的標(biāo)注圖。Dice系數(shù)的數(shù)值表示兩者的相似性,越相似則值越接近1。
圖5 IOU和Dice的計算圖示
圖5表示IOU和Dice的計算圖示。在圖中,兩個區(qū)域分別表示模型結(jié)果圖A和專家標(biāo)注圖B(金標(biāo)準(zhǔn)圖),兩個區(qū)域的交集面積對應(yīng)IOU中的A∩B,兩個分割圖的并集面積對應(yīng)IOU中的A∪B。IOU的數(shù)值大小是兩個區(qū)域共有的面積與兩個區(qū)域總面積的比值;Dice系數(shù)的定義為兩倍于兩個區(qū)域交集部分的面積與兩個區(qū)域面積的和的比值,數(shù)值區(qū)間為[0,1]。
(3)運行時間用于衡量神經(jīng)網(wǎng)絡(luò)運行速度,是指神經(jīng)網(wǎng)絡(luò)允許所消耗的時間。本實驗用訓(xùn)練時間代表運行時間。訓(xùn)練時間是神經(jīng)網(wǎng)絡(luò)訓(xùn)練每張圖像的平均時間,單位是秒/張,計算方法是用總訓(xùn)練時間除以訓(xùn)練的次數(shù)再除以每次訓(xùn)練的圖像總數(shù)。
(4)模型內(nèi)存消耗指生成的模型所占用的存儲空間,單位是MB,用于判斷網(wǎng)絡(luò)生成的模型是否有利于存儲與分析使用。
在眼底結(jié)構(gòu)中,視杯位于視盤內(nèi)部,這一結(jié)構(gòu)意味著可以通過對視盤的分割后再進(jìn)行視杯的精確分割,基于這一特點,本次實驗步驟如下。
(1)對初始輸入的眼底圖像進(jìn)行預(yù)處理,包括對無關(guān)信息的去除,對圖像進(jìn)行裁剪以實現(xiàn)分辨率統(tǒng)一,進(jìn)行限制對比度直方圖均衡化提高局部對比度等預(yù)處理操作。
(2)對預(yù)處理后的眼底圖像進(jìn)行隨機(jī)位移、隨機(jī)翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)共3種數(shù)據(jù)增強(qiáng)操作,增加數(shù)據(jù)規(guī)模,盡量避免過擬合問題。
(3)對增強(qiáng)后的數(shù)據(jù)進(jìn)行歸一化,然后送入視盤分割網(wǎng)絡(luò)進(jìn)行訓(xùn)練。
(4)通過視盤分割的圖像獲取視盤的位置,對眼底圖像進(jìn)行視盤感興趣區(qū)域的提取,盡量減少其他無關(guān)的干擾影響視杯分割。
(5)將提取到的視盤感興趣區(qū)域放入固定分辨率的圖像中,通過與視盤分割相同的預(yù)處理和數(shù)據(jù)增強(qiáng)操作后送入視杯分割網(wǎng)絡(luò)進(jìn)行訓(xùn)練。
通過上述步驟,完成了對視盤和視杯分割網(wǎng)絡(luò)的訓(xùn)練,得到了可以用于視盤和視杯分割任務(wù)的模型,進(jìn)而可以進(jìn)行圖像的預(yù)測。圖6是實驗視杯和視盤分割的流程圖。
3.4.1 與傳統(tǒng)U-Net模型的對比實驗
表2是使用傳統(tǒng)U-Net網(wǎng)絡(luò)與改進(jìn)U-Net網(wǎng)絡(luò)對數(shù)據(jù)集DRISHTI-GS和RIM-ONE v3進(jìn)行視盤和視杯的分割。以IOU和Dice系數(shù)作為模型分割精度的指標(biāo),以訓(xùn)練時間作為模型訓(xùn)練速度的指標(biāo),同時結(jié)合模型大小來對改進(jìn)后的U-Net與原始U-Net進(jìn)行比較。
圖6 視杯和視盤的分割流程
就分割精度而言,在視盤檢測上,改進(jìn)后的U-Net各項分割精度比原始U-Net稍差一些。在DRISHTI-GS數(shù)據(jù)集上,改進(jìn)后的U-Net IOU系數(shù)偏差1.12%,Dice系數(shù)偏差0.63%;在RIM-ONE v3數(shù)據(jù)集上,改進(jìn)后的U-Net IOU系數(shù)偏差2.03%,Dice系數(shù)偏差0.84%。在視杯檢測上,改進(jìn)后的U-Net精度同樣稍差于原始U-Net。在DRISHTI-GS數(shù)據(jù)集上,改進(jìn)后的U-Net IOU系數(shù)偏差1.75%,Dice系數(shù)偏差1.44%;在RIM-ONE v3數(shù)據(jù)集上,改進(jìn)后的U-Net IOU系數(shù)偏差1.32%,Dice系數(shù)偏差1.11%;就在訓(xùn)練時間而言,改進(jìn)后的U-Net訓(xùn)練一張圖像的平均時間約為0.05 s,每秒鐘可以訓(xùn)練20張圖像。而原始U-Net訓(xùn)練一張圖像的時間約為0.25 s,每秒鐘僅能訓(xùn)練4張圖像。改進(jìn)后的U-Net訓(xùn)練速度約是原始U-Net的5倍;就模型存儲空間而言,改進(jìn)后的U-Net模型大小僅5.11 MB,而原始U-Net模型大小達(dá)到239.1 MB,模型大小縮小近47倍。
總體而言,改進(jìn)后的U-Net在損失1%~2%分割精度的情況下,將訓(xùn)練速度提升5倍,大幅度提高了模型訓(xùn)練速度,同時極大地減少了模型所耗費的空間。
表2 傳統(tǒng)U-Net與改進(jìn)U-Net在視盤視杯分割任務(wù)中的性能對比
3.4.2 與基準(zhǔn)算法的對比實驗
本文對比各算法在DRIONS-DB、DRISHTI-GS和RIM-ONE v3眼底圖像數(shù)據(jù)集進(jìn)行視盤分割實驗的結(jié)果,在DRISHTI-GS和RIM-ONE v3眼底圖像數(shù)據(jù)集上進(jìn)行視杯分割的實驗,通過分割結(jié)果的IOU和Dice系數(shù)來評估算法對視盤和視杯分割的性能。同時,搜集了在相同數(shù)據(jù)集上進(jìn)行視盤和視杯分割的文獻(xiàn)進(jìn)行對比。
表3所示是各算法在DRIONS-DB、DRISHTI-GS和RIM-ONE v3眼底圖像數(shù)據(jù)集進(jìn)行視盤分割的實驗的結(jié)果。從表中可以看出,改進(jìn)后的U-Net在3個數(shù)據(jù)集分割視盤獲得的IOU值分別為0.893、0.892和0.883,Dice系數(shù)值分別為0.947、0.943和0.945。在DRIONS-DB和DRISHTI-GS數(shù)據(jù)集上的表現(xiàn)與AI-Bander[21]、Sevastopolsky[22]提出的分割方法相似,優(yōu)于Zilly[23]提出的分割方法。在RIM-ONE v3數(shù)據(jù)集上表現(xiàn)優(yōu)于AI-Bander[21]提出的分割方法,與其他分割方法表現(xiàn)相似。
表3 不同算法視盤分割對比結(jié)果
表4是各算法在DRISHTI-GS和RIM-ONE v3眼底圖像數(shù)據(jù)集進(jìn)行視杯分割的實驗的結(jié)果。從表中可以看出,改進(jìn)后的U-Net在兩個數(shù)據(jù)集分割視盤獲得的IOU值分別為0.741和0.679,Dice系數(shù)值分別為0.832和0.807。Zilly等提出的算法在視杯分割上的效果最佳,而改進(jìn)后的U-Net與Sevastopolsky等提出的算法提出的分割方法表現(xiàn)相似,優(yōu)于AI-Bander等提出的分割方法。
表4 不同算法視杯分割對比結(jié)果
3.4.3 收斂實驗
如圖7和圖8是使用改進(jìn)后的U-Net對青光眼眼底圖像視盤和視杯分割過程中,損失函數(shù)、IOU和Dice系數(shù)的變化趨勢。從圖中可以看出,無論是視盤分割還是視杯分割,模型在前200次的迭代訓(xùn)練中,改進(jìn)U-Net網(wǎng)絡(luò)對眼底圖像分割的準(zhǔn)確程度不斷上升,迭代次數(shù)達(dá)到200次之后,準(zhǔn)確程度保持穩(wěn)定。相對于視杯分割,視盤分割收斂得更快并且更穩(wěn)定,視盤分割圖像的損失函數(shù)在穩(wěn)定后趨近于0,而視杯分割的損失函數(shù)趨近于0.1,這也表明視杯分割的結(jié)果沒有視盤分割的精確,視杯分割依舊是一項具有挑戰(zhàn)性的任務(wù)。
圖7 視盤分割過程中參數(shù)變化
圖8 視杯分割過程中參數(shù)變化
圖9 視盤和視杯分割預(yù)測結(jié)果與正確結(jié)果的對比
圖9為視盤和視杯分割任務(wù)中,視盤和視杯分割效果最好和分割效果最差的圖像。其中,圖(a)~(c)是視盤分割中,分割效果最好的圖像,IOU為0.964,Dice系數(shù)值為0.971。圖(d)~(f)是視盤分割中,分割效果最差的圖像,IOU為0.803,Dice系數(shù)值為0.891。圖(g)~(i)是視杯分割中,分割效果最好的圖像,IOU為0.908,Dice系數(shù)值為0.952。圖(j)~(l)是視杯分割中,分割效果最差的圖像,IOU為0.445,Dice系數(shù)值為0.616。
為了解決現(xiàn)有社區(qū)檢測算法需要利用網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)作為先驗知識,從而嚴(yán)重影響算法擴(kuò)展性和精確度的問題,本文利用網(wǎng)絡(luò)中信息傳播的級聯(lián)數(shù)據(jù),提出了一種基于加權(quán)圖傳播最優(yōu)的網(wǎng)絡(luò)社區(qū)檢測算法N-CD,首先利用條件隨機(jī)場對傳播級聯(lián)的時間序列進(jìn)行建模,然后通過最大似然估計方法對構(gòu)建的概率圖模型進(jìn)行優(yōu)化推理,最終得到最優(yōu)的網(wǎng)絡(luò)社區(qū)劃分。通過在LFR合成網(wǎng)絡(luò)、真實的Twitter和博客網(wǎng)絡(luò)上與其他4種社區(qū)檢測算法對比分析,證明了所提算法在社區(qū)檢測任務(wù)上的性能優(yōu)勢,不僅提升了檢測的準(zhǔn)確率和穩(wěn)定性,并且對于評價指標(biāo)的偏好波動有著更好的魯棒性。