基于深度森林的視網(wǎng)膜血管分割算法

李志強，楊 欣，吳臣桓

(南京航空航天大學(xué) 自動化學(xué)院，江蘇 南京 211100)

眼底視網(wǎng)膜血管的形態(tài)是相關(guān)眼科疾病和心腦血管疾病診斷的重要依據(jù)，但由于眼底視網(wǎng)膜血管結(jié)構(gòu)分布十分復(fù)雜，而且受噪聲和器械成像質(zhì)量的影響，醫(yī)護人員難以高效地從眼底視網(wǎng)膜圖像中正確分離出血管，這給相關(guān)疾病的診斷帶來了極大的困難[1].因此，視網(wǎng)膜血管自動化分割成為了現(xiàn)代醫(yī)學(xué)圖像處理領(lǐng)域內(nèi)的研究熱點.目前的視網(wǎng)膜血管分割算法主要分為非監(jiān)督方法和監(jiān)督方法2類，非監(jiān)督方法主要是基于血管跟蹤、匹配濾波、形態(tài)學(xué)處理和形變模型的方法[2]，文獻[3]利用圖像的混合區(qū)域信息通過主動輪廓模型來解決血管分割問題，文獻[4]利用二維匹配濾波增強血管灰度，并用灰度-梯度共生矩陣的最大熵閾值化方法對視網(wǎng)膜血管進行分割，文獻[5]提出一種基于形態(tài)學(xué)的分割方法，有效提高了分割結(jié)果對光照變化的魯棒性.監(jiān)督方法將視網(wǎng)膜血管分割視為像素級分類問題，通過分類算法對像素點進行分類.近幾年基于機器學(xué)習(xí)的視網(wǎng)膜血管分割算法得到了很大的發(fā)展，這類方法需要人工提取視網(wǎng)膜圖像特征再通過分類器區(qū)分血管和非血管像素.文獻[6]提取視網(wǎng)膜圖像的梯度矢量場信息，并通過集成決策樹系統(tǒng)進行視網(wǎng)膜血管分割；文獻[7]提出了一種利用灰度級特征和不變矩特征，通過神經(jīng)網(wǎng)絡(luò)進行視網(wǎng)膜血管分割的算法；文獻[8]提出了一種利用Gabor濾波和不變矩特征，采用多層感知器進行視網(wǎng)膜血管分割的算法.基于機器學(xué)習(xí)的方法的分割性能整體要比非監(jiān)督方法好，但手動提取醫(yī)學(xué)圖像的特征非常依賴研究人員的領(lǐng)域先驗知識.此外，基于機器學(xué)習(xí)的方法一般需要大量數(shù)據(jù)進行訓(xùn)練，但在醫(yī)學(xué)圖像處理領(lǐng)域內(nèi)，大量的醫(yī)學(xué)圖像數(shù)據(jù)很難獲取，給實現(xiàn)訓(xùn)練高效穩(wěn)定的視網(wǎng)膜血管分割模型帶來了很大的困難.深度森林是Zhou等[9]提出的一種新型集成機器學(xué)習(xí)方法，相比于經(jīng)典機器學(xué)習(xí)模型超參數(shù)要少很多且模型性能對超參數(shù)設(shè)置不敏感.更重要的是，深度森林對小樣本數(shù)據(jù)集非常有效.考慮到深度森林的這些優(yōu)良特性，本文提出了一種基于深度森林的眼底視網(wǎng)膜血管分割方法，首次將深度森林算法應(yīng)用到醫(yī)學(xué)圖像分割領(lǐng)域，在公開眼底視網(wǎng)膜圖像數(shù)據(jù)集上的分割效果取得了顯著提升.

1 本文算法

1.1 整體框架

視網(wǎng)膜血管分割算法整體框架如圖1所示，模型整體結(jié)構(gòu)由預(yù)處理模塊(preprocessing module)、多粒度掃描模塊(multi-grained scanning module，MGS模塊)和級聯(lián)森林模塊(cascade forest module，CF模塊)3部分組成.3個模塊分別負責(zé)特征增強、特征提取和像素點分類，這樣既增加了模型的可解釋性也降低了超參數(shù)調(diào)節(jié)的難度.

圖1 算法整體框架

模型運行過程可表示為：

y=F(M(P(x))).

(1)

式(1)中，x為輸入數(shù)據(jù)，y為預(yù)測結(jié)果，P表示預(yù)處理過程，M表示MGS模塊的特征提取過程，F(xiàn)表示CF模塊的類別預(yù)測過程.首先預(yù)處理模塊對原始數(shù)據(jù)進行噪聲抑制和特征增強操作并以待分類像素點為中心提取圖像塊；然后將圖像塊輸入MGS模塊進行特征提?。蛔詈髮GS模塊提取到的特征向量輸入到CF模塊進行中心像素點類別預(yù)測.

1.2 預(yù)處理模塊

為抑制噪聲和提高血管與背景的對比度，需要先對圖像進行預(yù)處理.彩色眼底視網(wǎng)膜原始圖像的RGB 3個通道中，綠色通道的噪聲相對較少且細節(jié)信息明顯，能夠很容易定位出血管的輪廓.而其余兩個通道對比度太低，飽和效應(yīng)明顯，無法提供有用的前后景分辨信息.為抑制光照不均勻帶來的影響，進一步使用限制對比度自適應(yīng)直方圖均衡算法(CLAHE)做增強處理.

圖2 預(yù)處理可視化結(jié)果

圖2以DRIVE數(shù)據(jù)集中的1張圖像作為示例，分別展示了原始RGB圖像、原始圖像綠色通道以及CLAHE增強處理后的綠色通道可視化結(jié)果.可見經(jīng)過CLAHE增強處理后的綠色通道圖像，血管邊緣和末梢的對比度得到了進一步加強.

1.3 多粒度掃描特征提取模塊

深度森林(gcForest)是Zhou等2017年提出的1種新型集成機器學(xué)習(xí)算法.深度森林以決策樹作為基學(xué)習(xí)器，整體結(jié)構(gòu)由多粒度掃描(multi-grained scanning，MGS)和級聯(lián)森林(cascade forest，CF)2部分組成，其中多粒度掃描的作用是對原始輸入數(shù)據(jù)進行特征學(xué)習(xí)，即特征抽取過程.級聯(lián)森林是1種可自主生長的級聯(lián)結(jié)構(gòu)，用于將多粒度掃描得到的特征進行分類預(yù)測.

多粒度掃描模塊通過多尺度滑窗掃描原始輸入圖像，每個尺度的掃描結(jié)果都送入1個隨機森林和1個完全隨機森林進行類向量提取，最后將所有森林得到的類向量拼接作為變換后的特征向量(如圖3所示).所以多粒度掃描得到的特征向量維度可以表示為：

(2)

式(2)中，m和n表示輸入圖像的長和寬，s表示正方形滑窗移動的步長，{x1,x2,…,xi,…,xn}是滑窗的邊長集合且必須滿足max{x1,x2,…,xi,…,xn}≤min{m,n}，C是輸入數(shù)據(jù)類別個數(shù).V是多粒度掃描從原始數(shù)據(jù)中提取的特征向量維度.

圖3 多粒度掃描模塊

1.4 級聯(lián)森林分類模塊

級聯(lián)森林模塊采用了Bagging和Stacking集成學(xué)習(xí)思想，將基學(xué)習(xí)器決策樹進行集成，構(gòu)造了1種可自主生長的級聯(lián)結(jié)構(gòu)，且對超參數(shù)和數(shù)據(jù)量不敏感，模型可解釋性更強.級聯(lián)森林的結(jié)構(gòu)與神經(jīng)網(wǎng)絡(luò)類似，原始特征向量輸入到級聯(lián)森林淺層，將輸出類向量結(jié)果與原始特征向量拼接作為下一層的輸入，直到級聯(lián)森林性能不再提升或提升小于某一閾值時停止生長，在級聯(lián)森林最后一層將所有森林類向量取平均作為模型預(yù)測的類別概率.這種結(jié)構(gòu)不僅可以通過增加模型深度來提高模型性能，還可以通過自適應(yīng)調(diào)節(jié)模型復(fù)雜度，使其更好地擬合數(shù)據(jù)集.如圖4所示，級聯(lián)森林的輸入向量維度為N，每層由x個隨機森林和y個完全隨機森林組成，且每個森林都包含m棵決策樹，那么對于C分類問題，級聯(lián)森林每增加一層，將產(chǎn)生1個(X+Y)×C維的增強特征，然后用增強特征與輸入特征拼接(維度為(X+Y)×C+N)作為下一層的輸入，自適應(yīng)生長直到模型性能不再提升或提升小于某一閾值，并將級聯(lián)最后一層每個森林的輸出類向量取平均得到C維預(yù)測向量作為模型最終的預(yù)測概率，并以最大預(yù)測概率對應(yīng)的類作為模型的最終預(yù)測結(jié)果.

圖4 級聯(lián)森林模塊

2 實驗驗證與分析

2.1 數(shù)據(jù)集介紹

本文使用DRIVE和STARE眼底視網(wǎng)膜數(shù)據(jù)集驗證了算法的有效性.DRIVE數(shù)據(jù)集[11]包含40張眼底視網(wǎng)膜彩色圖片，其中有7張有輕微糖尿病視網(wǎng)膜病變跡象，并且每張圖片的分辨率均為565×584，該數(shù)據(jù)集已將所有圖片分為20張訓(xùn)練圖片和20張測試圖片，所以可以直接在訓(xùn)練集上訓(xùn)練模型，在測試集上評估模型.STARE數(shù)據(jù)集[12]包含20張眼底視網(wǎng)膜彩色圖片，其中有10張顯示出輕微病變跡象，并且每張圖片的分辨率為700×605.但STARE數(shù)據(jù)集并未區(qū)分訓(xùn)練集和測試集，為了更準確地評估模型性能，需要在STARE數(shù)據(jù)集上做k-fold交叉驗證，本文選擇k=4的交叉驗證來進行模型性能評估.以上2個數(shù)據(jù)集都包含由2位專家手動標記的血管分割標簽，本文采用第1位專家標記的結(jié)果作為標準結(jié)果進行模型訓(xùn)練和評估.此外，DRIVE數(shù)據(jù)集已經(jīng)提供了視野范圍的二值掩模，但STARE數(shù)據(jù)集并未提供，本文已手動提取了視野范圍的掩膜以備模型訓(xùn)練和評估使用.

2.2 參數(shù)設(shè)置

在預(yù)處理后的訓(xùn)練數(shù)據(jù)中隨機選取20萬個大小為25×25圖像塊，并以圖像塊中心位置對應(yīng)的標簽作為圖像塊的標簽，其中正負樣本比為1∶4，并取其中10%作為驗證集.MGS模塊的滑窗尺度集合設(shè)為{7，14，21}，滑窗步長設(shè)為3，每個尺度對應(yīng)的2個森林均包含101個決策樹.CF模塊能夠根據(jù)訓(xùn)練數(shù)據(jù)的復(fù)雜度自主生長，本文設(shè)置級聯(lián)森林每層包含4個隨機森林，其中2個為完全隨機森林，2個為隨機森林，每個森林的決策樹個數(shù)均為121.為限制決策樹生長，當決策樹節(jié)點與根節(jié)點樣本數(shù)的比值低于 0.000 1 或節(jié)點只包含一類樣本時終止節(jié)點分裂.為限制級聯(lián)森林生長，當驗證集準確率提升低于 0.000 01 時停止級聯(lián)森林生長.此外，實驗程序全部使用python3.6在Windows10系統(tǒng)上運行，深度森林模型使用Scikit-learn庫編寫并在Intel i5-9400f CPU上進行訓(xùn)練.

2.3 評估指標

本文采用準確度(accuracy，ACC)、靈敏度(sensitivity，SE)、特異性(specificity，SP)以及AUC(area under the ROC curve)這4個指標來評估模型性能，其中靈敏度衡量模型區(qū)分前景(血管)的能力；特異性衡量模型區(qū)分背景(非血管)的能力；ACC和AUC衡量模型整體分割性能.這4個指標都是數(shù)值越大表明性能越好.計算公式如下：

其中，TP表示分類正確的前景(血管)像素，TN表示分類正確的后景(非血管)像素、FP表示背景(非血管)像素錯誤分類為前景(血管)像素，F(xiàn)N表示前景(血管)像素錯誤分類為背景(非血管)像素.此外，AUC通過計算ROC曲線下的面積得到.為保證評價的合理性，所有的評價指標均在視野范圍內(nèi)(即掩膜內(nèi)部)進行計算.

2.4 實驗結(jié)果

本文在 DRIVE和STARE數(shù)據(jù)集上進行算法性能評估，且均將數(shù)據(jù)集中第1位專家標記結(jié)果作為標準結(jié)果，表1展示了模型在每個數(shù)據(jù)集上的測試結(jié)果.

表1 本文算法測試結(jié)果

從表1可知，本文算法的SE、SP、ACC和AUC指標，在DRIVE數(shù)據(jù)集上分別達到了 0.694 5、0.972 9、0.937 5 和 0.932 0；在STARE數(shù)據(jù)集上分別達到了 0.745 6、0.969 3、0.946 1 和 0.952 4.深度森林的級聯(lián)層數(shù)在DRIVE和STARE數(shù)據(jù)集上訓(xùn)練時，分別自適應(yīng)設(shè)置為7層和8層(交叉驗證的均值).為更直觀地評估分割模型的魯棒性，作出模型在每個數(shù)據(jù)集上測試得到的ROC(receiver operating characteristic)曲線如圖5所示，并給出樣例分割結(jié)果如圖6所示.

由圖5、圖6可知，本文算法的分割概率圖非常接近標準圖，對于較細的血管也具有良好的區(qū)分性.分割二值圖是用0.5為閾值進行二值化得到的結(jié)果，可以觀察到主干血管都能被正確的分割出來，表明本文算法對視網(wǎng)膜血管分割問題的有效性.表2將本文算法和其他視網(wǎng)膜血管分割算法進行了性能對比，綜合本文算法在2個數(shù)據(jù)集上的測試結(jié)果可知，本文算法的整體性能要優(yōu)于部分其他視網(wǎng)膜血管分割算法，尤其在SE和AUC指標上表現(xiàn)突出.實驗結(jié)果表明本文算法具有優(yōu)異的視網(wǎng)膜血管分割能力，具有一定的應(yīng)用價值.

圖5 模型預(yù)測結(jié)果ROC曲線

圖6 模型分割結(jié)果示例

表2 本文算法與其他算法的性能比較

3 結(jié)語

本文提出的基于深度森林的視網(wǎng)膜血管分割方法，首先通過多粒度掃描對預(yù)處理過的圖像塊進行特征提取，然后用級聯(lián)森林對圖像塊中心像素進行分類，進而完成對視網(wǎng)膜血管的分割.本文首次將深度森林算法引入到圖像分割領(lǐng)域，并通過實驗證明了其在眼底視網(wǎng)膜圖像分割任務(wù)中的有效性，具有一定的應(yīng)用價值.本文算法還有進一步改進的空間，由實驗結(jié)果可知，主干血管分割效果較好，但存在血管邊緣分割邊界不明顯、血管末端誤分和斷裂問題，其主要原因是視網(wǎng)膜血管邊緣和末端相比于主干血管中心像素的前后景區(qū)分度較低.下一步工作計劃引入深度學(xué)習(xí)模型來加強模型的上下文感知能力，以及增加后處理來解決這些不足之處.