基于監(jiān)督的全卷積神經(jīng)網(wǎng)絡(luò)視網(wǎng)膜血管分割

王娜 傅迎華 蔣念平

摘要：視網(wǎng)膜血管分割算法是自動視網(wǎng)膜疾病篩查系統(tǒng)主要部分。視網(wǎng)膜血管檢測在醫(yī)學(xué)診斷上應(yīng)用日益廣泛，對糖尿病、青光眼等病狀有較精確的診斷。提出一種新的全卷積神經(jīng)網(wǎng)絡(luò)視網(wǎng)膜血管分割的監(jiān)督方法，該方法在視網(wǎng)膜圖像和相應(yīng)的血管標(biāo)簽圖之間進行端對端預(yù)測，采用跳躍結(jié)構(gòu)融合圖像深層和淺層的特征信息，得到精確的分割結(jié)果。以準(zhǔn)確性（Acc）為標(biāo)準(zhǔn)判斷，在DRIVE數(shù)據(jù)集上表現(xiàn)出比現(xiàn)有其它技術(shù)更好的性能。

關(guān)鍵詞：視網(wǎng)膜血管；Gabor；全卷積神經(jīng)網(wǎng)絡(luò)；監(jiān)督學(xué)習(xí)；跳躍結(jié)構(gòu)

DOIDOI：10.11907/rjdk.173236

中圖分類號：TP301

文獻標(biāo)識碼：A 文章編號：1672-7800（2018）008-0045-04

英文摘要Abstract：Retinal blood vessel detection is more and more widely applied on medical diagnosis，such as diagnosis of diabetes mellitus and glaucoma and it has more accurate results.In this paper，we use the algorithmbased on gabor filter and fully convolution neural network to segment the retinal vessels of fundus images.Through the gabor filter，the retinal blood vessel images were treated with vascular enhancement，and then the fully convolution neural network was used to supervise and study the images and the real retinal vessel segmentation images.Finally，the jump structure was used to fuse the image depth information shallow information，and output results.Based on accuracy （Acc），better performance in the DRIVE dataset over other existing techniques is demonstrated.

英文關(guān)鍵詞Key Words：retinal image；Gabor； fully convolutional neural networks； supervised learning； jump structure

0 引言

隨著近年來圖像識別和人工智能的迅速發(fā)展，計算機輔助診斷得到大量應(yīng)用，常用于圖像處理和分析，檢測病變并分析病變性質(zhì)，為診斷醫(yī)師提供參考。計算機輔助診斷加快了醫(yī)師對病情判斷的效率，為診斷憑證提供了充足數(shù)據(jù)，進一步降低了誤診概率。

在醫(yī)學(xué)視網(wǎng)膜診斷方面，通過大量現(xiàn)有醫(yī)學(xué)數(shù)據(jù)可觀察到視網(wǎng)膜血管的形態(tài)特征，如寬度、長度、血管走向角度，這些屬性對篩查、診斷和評估許多疾病，例如高血壓、青光眼、糖尿病性視網(wǎng)膜病變（DR）和黃斑變性（AMD）等有重要影響，因此血管分割是分析視網(wǎng)膜眼底圖像的必要步驟。雖然可以通過人工進行視網(wǎng)膜血管圖像分割，但由于視網(wǎng)膜血管在圖像中分布復(fù)雜、深淺不一，使手動分割工作量巨大，分割過程極其耗時，且需要充足的經(jīng)驗和技巧。自動、精確地分割視網(wǎng)膜血管醫(yī)學(xué)圖像，從而進行計算機輔助診斷可以很大程度上節(jié)省人力，得到更精確的診斷結(jié)果。因此，近幾年來，自動視網(wǎng)膜血管分割成為一個極其重要的研究課題，其基本原則是計算機可以較好地實現(xiàn)圖像增強和圖像過濾，通過設(shè)定的處理過程，得以將可疑病變從正常解剖背景中分離、顯示出來。

近年來用于視網(wǎng)膜血管分割的算法有很多，大致可以分為監(jiān)督算法和無監(jiān)督算法。

基于無監(jiān)督的視網(wǎng)膜血管分割通過確定血管在圖像中的特征屬性，將圖像中具有這種特征屬性的部分視為血管，不具有此特性的部分視為非血管。而在監(jiān)督方法中，將與分?jǐn)鄥⒖紙D像對應(yīng)的手動分割血管圖像作為訓(xùn)練集學(xué)習(xí)血管提取規(guī)則，分類標(biāo)準(zhǔn)由給定的手動分割血管的真實圖像確定。由于監(jiān)督方法是基于提前分類好的數(shù)據(jù)進行分類，其性能通常優(yōu)于無監(jiān)督方法。

而在監(jiān)督學(xué)習(xí)算法中，神經(jīng)網(wǎng)絡(luò)模擬人腦的訓(xùn)練學(xué)習(xí)系統(tǒng)，基于統(tǒng)計概率而不是推理進行分類，使得神經(jīng)網(wǎng)絡(luò)在檢測與識別上比一般監(jiān)督方法更加精確。神經(jīng)網(wǎng)絡(luò)通過模擬人腦神經(jīng)元結(jié)構(gòu)，使用數(shù)學(xué)權(quán)重確定特定輸入的概率，通過抑制的數(shù)據(jù)訓(xùn)練調(diào)整加權(quán)系統(tǒng)，并通過反饋進行調(diào)整和再訓(xùn)練。文獻[2]中卷積神經(jīng)網(wǎng)絡(luò)CNN可以通過多層卷積網(wǎng)絡(luò)結(jié)構(gòu)自動學(xué)習(xí)圖像特征，還可以學(xué)習(xí)多層信息；因淺層卷積層的感知域較小，可以學(xué)習(xí)圖像的局部特征，而深層的卷積層具有較大的感知域，可以學(xué)習(xí)到一些比較抽象的特征，更有助于對圖像精準(zhǔn)分割。

基于卷積神經(jīng)網(wǎng)絡(luò)CNN的分割方法指為了對一個像素分類，使用該像素周圍的一個圖像塊作為CNN的輸入，用于訓(xùn)練和預(yù)測。該方法有一些缺點：①存儲開銷很大。例如對每個像素使用的圖像塊大小為15×15，則所需存儲空間為原來圖像的225倍；②計算效率低下。相鄰的像素塊基本上是重復(fù)的，針對每個像素塊逐個計算卷積，造成很大程度的重復(fù)計算；③像素塊大小限制了感知區(qū)域大小。通常像素塊比整幅圖像小很多，只能提取一些局部特征，從而導(dǎo)致分類性能受到限制。而文獻[1]提出了全卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)試圖從抽象的特征中恢復(fù)每個像素所屬的類別，即從圖像級別的分類進一步延伸到像素級別的分類。FCN將傳統(tǒng)CNN中的全連接層轉(zhuǎn)化成一個個卷積層，所有的層都是卷積層，故稱為全卷積網(wǎng)絡(luò)。

實驗采用FCN神經(jīng)網(wǎng)絡(luò)對視網(wǎng)膜圖像進行血管分割。以分割的真實邊緣作為監(jiān)督信息，訓(xùn)練一個端到端的網(wǎng)絡(luò)，讓網(wǎng)絡(luò)作像素預(yù)測，直接預(yù)測分類圖。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)最終預(yù)測結(jié)果是一張分類圖，它取消了全連接層，不再把二維矩陣（圖片）壓縮成一維的標(biāo)量。

計算機輔助診斷的過程分為圖像處理過程（預(yù)處理）、圖像征象提取（特征提?。?、數(shù)據(jù)處理過程。在預(yù)處理部分一般對圖像進行配準(zhǔn)、形態(tài)處理等。預(yù)處理部分對視網(wǎng)膜圖像進行血管增強有利于之后的血管分割，所以實驗在進行血管分割之前先增強視網(wǎng)膜圖像，再進行血管分割。

1 模型

在進行神經(jīng)網(wǎng)絡(luò)訓(xùn)練測試前 ，對眼底圖像做Gabor濾波，目的是提取圖像的特征分量，使血管特征愈加明顯。有利于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和分割。本實驗分為兩步，第一步是進行圖像預(yù)處理，對圖像進行配準(zhǔn)、像素處理以及Gabor濾波增強；第二步是將視網(wǎng)膜眼底圖像分為訓(xùn)練集和測試集。將訓(xùn)練集圖像作為輸入，以真實的視網(wǎng)膜分割邊緣圖像作為監(jiān)督圖像。如圖1所示，前向采用卷積、池化、激勵、dropout、上采樣等算法，最終用Softmax對分割圖像進行最后分類，得到一個二維分類圖，分為血管與非血管，再與真實的視網(wǎng)膜血管分割圖像進行比較，繼而反饋回神經(jīng)網(wǎng)絡(luò)，調(diào)整學(xué)習(xí)參數(shù)，反向用隨機梯度下降法。

2 Gabor與全卷積神經(jīng)網(wǎng)絡(luò)算法實現(xiàn)

2.1 Gabor濾波

由于血管與背景的對比度低，使血管分割難度增大，因此，血管增強是血管分割中常用的預(yù)處理方法。

在圖像處理中，Gabor函數(shù)是一個用于邊緣提取的線性濾波器。Gabor濾波器的頻率和方向表達與人類視覺系統(tǒng)類似。研究發(fā)現(xiàn)Gabor濾波器十分適合紋理表達和分離。為了把Gabor變換用于圖像領(lǐng)域， 構(gòu)造二維Gabor濾波器。二維Gabor濾波器在頻域和空間域都具有最優(yōu)的局部特性，能夠很好地描述空間頻率、空間位置、方向選擇性等局部信息，同時對光照不敏感。Gabor濾波器脈沖響應(yīng)，可以定義為一個正弦波（對于二維Gabor濾波器是正弦平面波）乘以高斯函數(shù)。由于乘法卷積性質(zhì)，Gabor濾波器的脈沖響應(yīng)的傅立葉變換是其調(diào)和函數(shù)的傅立葉變換和高斯函數(shù)傅立葉變換的卷積。該濾波器由實部和虛部組成，二者相互正交。一組不同頻率不同方向的Gabor函數(shù)數(shù)組對于圖像特征提取非常有用。

在進行Gabor處理時，單獨通過RGB彩色圖像的可視化組件，可以看出綠色通道能較好地顯示視網(wǎng)膜血管，而紅色和藍色通道顯示對比度低且噪點多。因此，選擇綠色通道小波處理，以及組成特征向量本身，即每個像素的綠色通道強度作為它的一個特性。

式（1）中，A是一個對角矩陣，定義了濾波器的各向異性，代表了一個各向異性的高斯窗口，當(dāng)=1時，為二維高斯窗口，在任意方向伸長。k=[k1，k2]為不同方向的調(diào)制頻率，a為尺度因子。

在實際應(yīng)用時，可以根據(jù)檢測對象的方向趨勢，選擇合適的方向參數(shù)進行濾波。如在本實驗中，在檢測視網(wǎng)膜血管時，根據(jù)血管走向的偏轉(zhuǎn)角度進行濾波，可以使特征點定位更加準(zhǔn)確。本實驗選取ε=1、k=[0，3]，方向選擇18個不同方向，得到血管增強圖，如圖2所示。

圖1與圖2分別為兩組不同眼底圖像的Gabor濾波結(jié)果。在Gabor濾波后的眼底圖像中，圖像中血管部分得到增強，更加突出。不同尺度值得到的增強圖像效果不同。當(dāng)尺度值較小時，增強后的視網(wǎng)膜血管被細致地描繪出來，且可以忽略圖像中的病灶部分，不會受到圖像中病變生成的病灶影響，但噪點干擾較多；當(dāng)尺度值較大時，增強后的視網(wǎng)膜血管較為純凈和突出，圖像噪點較少，但也將帶病灶的部分增強，會給之后的神經(jīng)網(wǎng)絡(luò)分割帶來一些干擾。

2.2 全卷積神經(jīng)網(wǎng)絡(luò)

本實驗第二步是將經(jīng)過Gabor濾波增強的圖像輸入到全卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練和測試。卷積神經(jīng)網(wǎng)絡(luò)分類使用的網(wǎng)絡(luò)一般在最后的連接層會將原來的二維矩陣壓縮成一維，從而丟失了空間信息，最后訓(xùn)練輸出一個標(biāo)量作為分類標(biāo)簽，而圖像語義分割輸出的是一個分割圖。然后拿真實邊緣作為監(jiān)督信息，訓(xùn)練一個端到端的網(wǎng)絡(luò)。

本實驗構(gòu)造的全卷積神經(jīng)網(wǎng)絡(luò)框架包括卷積層、池化層、激勵層、Dropout。卷積層通過不同卷積核獲取圖片的特征信息。通過卷積層獲得圖像特征雖然可以直接使用這些特征訓(xùn)練分類器，但是這樣做將面臨巨大數(shù)據(jù)量的挑戰(zhàn)，而且容易產(chǎn)生過擬合現(xiàn)象。為進一步降低網(wǎng)絡(luò)訓(xùn)練參數(shù)及模型過擬合程度，在卷積層之后進行池化處理。池化方式通常有最大池化、均值池化、重疊池化。本次實驗選用最大池化。在激勵函數(shù)上，本實驗采用Relu函數(shù)，Relu是線性的，而且梯度不會飽和，得到的SGD的收斂速度會比Sigmoid和Tanh快很多，而且sigmoid和tanh需要計算指數(shù)等，計算復(fù)雜度高，Relu只需要一個閾值就可以激活。最后采用dropout進一步防止模型過擬合。Dropout指在訓(xùn)練的時候隨機丟棄一些激活的神經(jīng)元，這樣可以讓模型魯棒性更高，因為它不會依賴于某些局部特征。Dropout可以消除減弱了的神經(jīng)元節(jié)點之間的聯(lián)合適應(yīng)性，增強泛化能力。

由圖3看出，從階段一到階段五是在不斷地提取特征、池化及激勵計算。階段六是將階段五輸出最大池化后的圖像pool5進行卷積特征提取，再進行dropout，弱化一部分神經(jīng)，最后將卷積后的圖像進行上采樣處理。上采樣方法有多種，本實驗采用卷逆積方法。Max_pool5上采樣后的圖像可以得到分割結(jié)果，但是在不斷的卷積采樣過程中會丟失掉很多信息，最終得到的上采樣圖像結(jié)果通常很粗糙。所以不直接采用上采樣后的Max_pool5進行最后的softmax分類。本實驗采用跳躍結(jié)構(gòu)構(gòu)造最終的分類圖。跳躍結(jié)構(gòu)如圖4所示。

圖中FCN-2s最后在輸出特征圖上進行步伐為2的上采樣。 FCN-4s先在pool4層添加一個卷積核大小為1*1的卷積層，產(chǎn)生一個額外輸出。而FCN_2s圖代表pool5層的所有信息，對FCN_2s和pool4層的輸出進行融合，最后在融合后的結(jié)果上進行步伐為2的上采樣。

圖中FCN-8s先在pool3層進行如上步驟，添加卷積層產(chǎn)生額外輸出，然后把FCN_4s和pool3層額外的輸出進行融合，再進行步伐為8的上采樣，這樣可回到原圖像尺寸大小，在這個特征圖上進行像素分類。再對這個預(yù)測進行分類。這種方法既可以保留深層特征信息，也不會遺漏淺層特征信息。最后把FCN-8s進行Softmax分類，分為血管和非血管兩類，產(chǎn)生最終的視網(wǎng)膜血管分割圖像。

3 實驗結(jié)果

本實驗對采集到視網(wǎng)膜血管圖像進行濾波與分割，部分結(jié)果如圖6所示。圖中第一行是眼底圖像的原圖，第二行是經(jīng)過Gabor濾波和全卷積神經(jīng)網(wǎng)絡(luò)分割的結(jié)果，第三行是匹配濾波算法進行視網(wǎng)膜血管分割的結(jié)果。

可以看出，第二行血管大致方向和分支被分割出來，但部分光照較亮的地方對血管檢測產(chǎn)生了較大干擾。較為明顯的血管被較好地自動分割，但是細微的血管分割出來有斷點，不夠連續(xù)。由于本次實驗的樣本量較小，訓(xùn)練的神經(jīng)網(wǎng)絡(luò)次數(shù)不夠，造成網(wǎng)絡(luò)參數(shù)不夠精確，致使分割結(jié)果沒有達到完全的精確，后期通過增大樣本采集數(shù)量進行學(xué)習(xí)和訓(xùn)練，同時預(yù)處理時進行光照處理排出光照干擾，將會得到更精確的分割結(jié)果。而匹配濾波雖然將血管細致地描繪出來，但匹配濾波對光照的抗干擾能力差，光照對比鮮明的地方被誤認為是血管進行了分割，最終結(jié)果噪聲很大。

為了更精確地評估現(xiàn)有的算法，計算出4個數(shù)據(jù)TP、TN、FP、FN來判斷算法分割結(jié)果的精確度。TP表示預(yù)測為血管而實際也為血管的圖像像素總和，TN為預(yù)測為非血管實際也為非血管的圖像像素總和，F(xiàn)P為預(yù)測為血管實際為非血管的圖像像素總和，F(xiàn)N為預(yù)測為非血管真實為血管的圖像像素總和。

式（2）為Acc計算公式，Acc由預(yù)測正確的正樣本加上預(yù)測正確的副樣本除以圖像總像素，可以得到圖像中預(yù)測正確的像素比率。Acc參數(shù)是一個可以評估預(yù)測算法的參數(shù)。實驗用的20張圖像的結(jié)果將匹配濾波得到的灰度圖結(jié)果，并進行局部閾值以及圖像去躁，使結(jié)果變成一個二值圖像，然后與真實分割的圖像進行對比計算TP、TN、FP、FN的值，再計算出Acc值，最后取20張Acc的均值作為匹配濾波的分割準(zhǔn)確率。同時將20張全卷積神經(jīng)網(wǎng)絡(luò)與相對應(yīng)的手動分割圖像進行對比計算，也取20張圖像的Acc值作為全卷積神經(jīng)網(wǎng)絡(luò)的分割準(zhǔn)確率。

從表1可以看出全卷積神經(jīng)網(wǎng)絡(luò)的分割準(zhǔn)確率在訓(xùn)練數(shù)據(jù)量較小的情況下，分割準(zhǔn)確率高于匹配濾波。

4 結(jié)語

在實驗中，Gabor濾波能有效地對眼底圖像的視網(wǎng)膜血管進行增強。全卷積神經(jīng)網(wǎng)絡(luò)對圖像進行像素級分類，從而解決了語義級別圖像分割問題。全卷積神經(jīng)網(wǎng)絡(luò)接受任意尺寸的圖像輸入，從而可以對每個像素都能產(chǎn)生預(yù)測，同時保留了原始輸入圖像中的空間信息，最后在上采樣的特征圖上進行逐像素分類，同時跳躍結(jié)構(gòu)使分割結(jié)果更為準(zhǔn)確。本次實驗可以較好地分割出眼底圖像中的血管部分，但受到光照和訓(xùn)練集數(shù)據(jù)量的影響，得到的結(jié)果仍然不夠精細。進行8倍上采樣效果雖然比2倍的效果有明顯改善，但是上采樣的結(jié)果仍然比較模糊、平滑，對血管分割中的細節(jié)不敏感。

參考文獻：

[1] LONG J，SHELHAMER E，DARRELL T.Fully convolutional networks for semantic segmentation[C]，IEEE Conference on Computer Vision and Pattern Recognition，2015：3431-3440.

[2] LI Q，XIE L，ZHANBG Q，et al.A supervised method using convolutional neural networks for retinal vessel delineation[C].International Congress on Image and Signal Processing，2016：418-422.

[3] SAINATH T N，SAN MARTIN M C P.Convolution Neural Networks[P].US，US20160283841.A1，2016-09-29.

[4] LEE T S.Image representation using 2D Gabor wavelet[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2002，18（10）：959-971.

[5] LYONS M，AKAMATSU S，KAMACHI M，et al.Coding Facial Expressions with Gabor Wavelets[C].IEEE International Conference on Automatic Face and Gesture Recognition，1998：1-200.

[6] DAUGMAN J G.Complete discrete 2-D Gabor transforms by neural networks for image analysis and compression[J].IEEE Transactions on Acoustics Speech & Signal Processing，1988，36（7）：1169-1179.

[7] SOARES J V，LEANDRO J J，CESAR R M，et al.Retinal vessel segmentation using the 2-D Gabor wavelet and supervised classification[J].IEEE Trans Med Imaging，2006，25（9）：1214-1222.

[8] MCQUELLIN C P，JELINEK H F，and JOSS G.Characterisation of fluorescein angiograms of retinal fundus using mathematical morphology：a pilot study[C].Adelaide：the 5th International Conference on Ophthalmic Photography，2002.

[9] SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition [DB/OL].Computing Research Repository，2014（4）：1409-1556.

[10] JIA Y，SHELHAMER E，DONAHUE J，et al.Caffe：convolutional architecture for fast feature embedding[C].ACM International Conference on Multimedia，2014：675-678.

[11] CHAUDHURI S，CHATTERJEE S，KATZ N，et al.Detection of blood vessels in retinal images using two-dimensional matched filters[J].Medical Imaging IEEE Transactions，1989，8（3）：263.

[12] SALEM S，SALEM N，NANDI A.Segmentation of retinal bloodvessels using a novel clustering algorithm （RACAL） with apartial supervision strategy[J].Medical and Biological Engineering and Computing，2007，45：261-273.

[13] AKITA K，KUGA H.A computer method of understanding ocular fundus images[J].Pattern Recognition，1982，15：431-443.

（責(zé)任編輯：江 艷）