基于FCN的眼底圖像中央凹自動檢測算法

燕 楊, 黃文博

(長春師范大學 計算機科學與技術學院, 長春 130032；吉林大學 符號計算與知識工程教育部重點實驗室, 長春 130012)

在彩色眼底圖像中, 中央凹位于黃斑無血管區(qū), 通常以暗紅色圓形區(qū)域呈現(xiàn). 中央凹的精準檢測可為眼底疾病智能輔助診斷及視網(wǎng)膜病變的臨床防治提供可靠依據(jù), 但由于彩色眼底圖像中的病變如出血斑, 其灰度特性與中央凹極相似, 因此僅基于中央凹灰度特征的傳統(tǒng)算法很難將其精準識別.

目前, 多數(shù)中央凹識別方法是利用中央凹與視盤、 血管間的位置關系[1]. 首先基于中央凹和視盤或血管網(wǎng)絡結構的全局信息, 識別出中央凹檢測的感興趣區(qū)域； 然后基于中央凹的局部信息, 檢測中央凹的具體位置. 如Tan等[2]通過在視盤四周圈出指定直徑大小的感興趣區(qū)域, 在其中尋找灰度最低值確定中央凹, 但這樣定義的感興趣區(qū)域并不準確； Li等[3]先用血管結構尋找中央凹搜索區(qū)域, 然后用閾值分割檢測中央凹; 考慮到中央凹內無血管, Chin等[4]先通過視盤和主血管網(wǎng)絡等位置關系定義出中央凹感興趣區(qū)域, 然后計算血管加權密度確定中央凹. 在利用血管網(wǎng)絡結構確定中央凹的算法中, 如果血管的對比度較低, 則會影響中央凹的檢測精度.

在眼底病變圖像中, 特別是中央凹周圍有與其外觀相似的暗病變如出血斑時, 或病變較嚴重破壞了中央凹的特征時, 利用灰度特征或血管網(wǎng)絡的算法無法準確檢測出中央凹, 并且若血管網(wǎng)絡結構分布異?；蛞騻€體特異而分布不規(guī)則時, 則中央凹并不存在與血管結構的上述先驗信息, 中央凹識別準確率將會大幅度降低. 針對上述問題, 本文提出一種基于全卷積網(wǎng)絡(FCN)的中央凹檢測方法, 為了結合合適的全局特征, 將像素級特征擴展到全局金字塔池中, 把局部和全局特征進行合理融合, 使中央凹的最終檢測更可靠.

1 識別算法設計

由于眼底圖像的復雜性及各種病變的出現(xiàn), 會導致局部先驗概率或深度先驗概率失效. 對于局部先驗概率, 當中央凹附近出現(xiàn)病變或中央凹局部外觀特征不明顯時, 在中央凹檢測感興趣區(qū)域中, 局部先驗概率分布圖將會出現(xiàn)多個高概率值區(qū)域, 或者感興趣區(qū)域內局部先驗概率的最大值將會遠低于正常眼底圖像中央凹區(qū)域的概率值, 此時局部先驗概率分布的置信度降低, 而全局先驗概率分布和深度先驗概率分布將保持較高置信度； 當中央凹出現(xiàn)更復雜的病變時, 在中央凹檢測感興趣區(qū)域中, 整個深度先驗概率的最大值將會遠低于正常眼底圖像中中央凹區(qū)域的概率值, 此時深度先驗概率分布的置信度降低. 考慮到基于血管網(wǎng)絡的全局先驗概率具有對病變的魯棒性, 此時, 只有全局先驗概率分布保持較高置信度. 準確的中央凹感知依賴于預先理解其周圍像素的信息分布, 目前多數(shù)中央凹誤檢與缺乏利用全局上下文信息有關. 因此, 具有適當全局先驗的深層網(wǎng)絡可提高中央凹的識別性能.

1.1 實現(xiàn)局部分類的FCN模型構建

1.1.1 卷積層 卷積層為深度神經(jīng)網(wǎng)絡數(shù)據(jù)計算的核心, 本文以單層卷積網(wǎng)絡f為例進行計算, 即

f:H×W×D→H″×W″×D″,xy,

(1)

如果濾波器w∈H″×W″×D″, 則輸出向量y可表示為

(2)

(3)

以H″為例, 輸出計算如下:

(4)

1.1.2 激活函數(shù) 常用的激活函數(shù)有Sigmoid,tanh,ReLu等, 公式分別如下：

圖1為不同激活函數(shù)的曲線對比. 由圖1(A)可見, 96%～99%的神經(jīng)元在方框軸段未激活; 由圖1(B)可見, Sigmoid和tanh曲線與上述神經(jīng)元性質不符； 由圖1(C)可見, ReLu函數(shù)是非負校正函數(shù), 與上述研究結果相符, 所以本文選擇ReLu函數(shù)作為激活層, 表示為

yi,j,k=max{0,xi,j,k}.

(8)

圖1 不同激活函數(shù)的曲線對比

1.1.3 池化層 對像素級局部特征圖降維, 采用最大池化實現(xiàn), 可減小平均偏差, 更清楚地表達邊界和紋理, 若圖像尺寸為W1×H1×D1, 窗口長為F, 步長為S, 輸出尺寸為W2×H2×D2, 則其過程如下：

(9)

本文將樣本劃分為H?×W?個模塊, 輸出其最大值, 則

(10)

1.1.4 全連接層 全連接層將上述所得特征映射作為標注. 設上層輸出為x∈H×W×D, 當前層輸出為y∈1×1×D, 通過濾波器w∈H×W×D×D′與上層進行卷積, 有

(11)

圖2 Dropout使用效果

1.1.5 Softmax層 將上層輸入通過Softmax模型計算其歸屬類別的概率, 實現(xiàn)中央凹局部像素級分類.

1.1.6 Dropout Dropout令有些節(jié)點不參與訓練, 提高框架的泛化能力及避免過擬合. 圖2為在本文網(wǎng)絡中使用Dropout的效果.

1.2 實現(xiàn)全局上下文特征提取的金字塔池化模塊構建

在深度神經(jīng)網(wǎng)絡中, 利用上下文信息的程度可通過感受野大小表示[5]. ResNet[6]的感受野理論上比輸入圖像大, 但文獻[7]研究表明, FCN的感受野遠小于理論值, 特別在深層網(wǎng)絡, 導致很多網(wǎng)絡并未包含足夠多的全局信息, 本文提出通過全局上下文特征解決該問題.

全局平均池化常應用于圖像分類方法中[6,8-10], 可較好提取出全局上下文特征. 文獻[11-13]研究表明, 該策略可在語義分割方法中有效應用, 但其不足以包含復雜場景的重要信息, 因其像素被分類標記為各類物質, 若將其結合為單個向量會導致丟失空間信息而模糊. 所以, 將局部和全局上下文特征相融合將對精準分類更有幫助, 區(qū)分度明顯的特征可結合不同感受野大小的子區(qū)域特征[14-15]. 文獻[15]將各層級的特征圖輸入至全連接層中分類, 該全局先驗的目的是解除深度神經(jīng)網(wǎng)絡對圖像分類時要輸入特定大小圖像的限制.

為進一步防止損失各子區(qū)域之間的上下文特征, 本文提出分層全局先驗, 包括各尺度、 各子區(qū)域之間的上下文信息, FCN最終特征圖即為其輸出, 稱為全局先驗特征. 金字塔池化部分結合了4個尺度特征, 如圖3所示, 其中： 紅色表示概率的級別, 是采用全局池化得到的單一bin輸出; 其他3級將輸入特征圖分為幾個子區(qū)域, 并依次池化, 繼而拼接容納空間信息的單一bin. 金字塔池化部分的各級別輸出涵蓋各種尺寸的特征映射, 為維持全局特征的權重, 本文在各級后采用1×1卷積核, 金字塔級別維數(shù)為N時, 能將上下文特征的維數(shù)降至初始特征的1/N. 然后利用雙線性插值上采樣低維特征圖, 獲得與初始特征圖相同尺寸的特征. 最后將各級別的特征組合成金字塔池化全局信息.

金字塔級數(shù)與各級尺寸均可改變, 這與輸入金字塔池化層的特征圖尺寸緊密相關. 該結構通過采用不同大小的池化核提取各子區(qū)域的特征, 所以各層級池化核的尺寸要有合適的距離. 本文金字塔池化部分為4層, 各層bin尺寸依次為1×1,2×2,3×3和6×6.

基于上述模塊本文構建了采用金字塔池化模塊的FCN中央凹檢測網(wǎng)絡, 如圖3所示, 在給定一個輸入圖像(A)的情形下, 首先利用FCN獲取最后一個卷積層(B)的特征圖, 然后利用金字塔解析模塊獲取不同的子區(qū)域表示, 再進行上采樣和級聯(lián)層, 形成最終的特征表示, 該特征表示包含(C)中的局部和全局上下文信息. 最后, 輸入卷積層以獲取最終的識別結果(D). 通過進行預訓練過的ResNet[5]框架提取輸入圖像的特征圖, 特征圖最終大小是輸入圖像的1/8, 如圖3(B)所示. 通過圖3(C)的金字塔池化部分提取(B)中特征圖的上下文特征, 4級金字塔池化后, 池化核尺寸依次是圖像的全部、 1/2與小部分, 最后組合成全局信息. 在(C)過程最后, 將上述獲取的全局信息和初始特征圖拼接在一起, 通過卷積層生成(D)中最終的預測圖. 采用該金字塔池化模塊的中央凹識別網(wǎng)絡為像素級識別提供了有效的全局上下文特征, 金字塔池化部分可提取并組合各層級上下文特征, 得到的全局特征更典型.

圖3 采用金字塔池化模塊的FCN中央凹檢測網(wǎng)絡

2 實驗結果與分析

為了驗證本文方法的有效性, 在DIARETDB0[16]和DIARETDB1[17]標準眼底數(shù)據(jù)庫中進行中央凹識別實驗. 表1列出了本文方法與其他方法對中央凹識別精度的對比.

表1 本文方法與其他方法對中央凹識別的精度對比

由表1可見, 本文方法識別結果更精準. 文獻[18-20]方法首先根據(jù)中央凹和視盤的空間關系定義中央凹感興趣區(qū)域, 然后通過數(shù)學形態(tài)學、 模板匹配及區(qū)域極小值等識別中央凹. 本文方法利用全局與局部特征及深度學習網(wǎng)絡, 使病變與中央凹更具區(qū)分度, 本文方法的精度比其他對比方法精度有明顯提高, 實現(xiàn)了中央凹的精準識別.

本文模型中央凹識別結果如圖4所示, 其中： (A)為彩色視網(wǎng)膜原始圖像； (B)為中央凹標注樣本； (C)為視網(wǎng)膜G通道圖像； (D)為本文方法對中央凹的識別結果； (E)為本文識別結果與G通道圖像疊加對比. 由圖4可見, 本文方法可精準識別中央凹.

圖4 基于FCN的眼底圖像中央凹識別效果

綜上所述, 針對傳統(tǒng)算法很難識別彩色眼底圖像中央凹的問題, 本文提出了一種基于FCN的眼底圖像中央凹自動檢測方法. 首先構建了實現(xiàn)局部分類的FCN模型, 實現(xiàn)像素級局部分類; 然后構建金字塔池化模塊, 并將像素級特征推廣到其中, 使統(tǒng)計數(shù)據(jù)更好地實現(xiàn)了全局語境表達. 為進一步防止損失各子區(qū)域之間的上下文特征, 本文提出了分層全局先驗, 包含各尺度、 各子區(qū)域之間的上下文信息, 然后將各級別的特征組合成金字塔池化全局信息. 采用金字塔池化模塊的FCN中央凹檢測網(wǎng)絡提供了有效的全局上下文特征, 金字塔池化部分可提取并組合各層級上下文特征, 對比全局池化其所得全局特征更具區(qū)分度, 最后將局部及全局上下文特征相融合, 實現(xiàn)了對中央凹的精準檢測. 在標準眼底數(shù)據(jù)庫中的實驗結果表明, 本文方法較對比方法性能有顯著提高.