基于區(qū)域建議策略的視盤定位方法

湯一平 王麗冉 何 霞 陳 朋 袁公萍

(浙江工業(yè)大學(xué)信息工程學(xué)院，杭州 310023)

引言

眼底視網(wǎng)膜檢查在糖尿病視網(wǎng)膜病變、青光眼、老年性黃斑病變等眼科疾病的預(yù)防、診斷和治療中得到了廣泛應(yīng)用。眼底圖像包括視盤、黃斑、血管等主要結(jié)構(gòu)，對(duì)這些結(jié)構(gòu)進(jìn)行特征分析是判斷眼底疾病的基礎(chǔ)。視盤作為眼底圖像的重要結(jié)構(gòu)之一，其大小和形態(tài)是判斷各種眼科疾病的主要輔助參數(shù)，常被用作判定視網(wǎng)膜病變的指標(biāo)。視盤也是檢測(cè)其他視網(wǎng)膜結(jié)構(gòu)的關(guān)鍵部分。視盤與黃斑區(qū)的距離一般是固定的，因此視盤中心位置信息可作為先驗(yàn)知識(shí)來輔助黃斑區(qū)的選擇；視盤是眼底血管的起始點(diǎn)，其中的血管可作為血管跟蹤算法的起始種子點(diǎn)；視盤也可輔助眼底圖像坐標(biāo)系的建立，用來確定其他視網(wǎng)膜異常的位置，如微動(dòng)脈瘤、出血點(diǎn)、硬性滲出和玻璃膜疣等。因此，快速、準(zhǔn)確地定位視盤區(qū)域尤為重要。

由于個(gè)體差異、視盤界限模糊、病變等干擾因素的影響，實(shí)現(xiàn)高效、準(zhǔn)確、魯棒的視盤定位有一定的難度。

目前的視盤定位算法大體上可分為兩類，一類利用外觀信息如亮度、對(duì)比度等，對(duì)視盤進(jìn)行定位。文獻(xiàn)[1]設(shè)計(jì)了一種線性描述算子來檢測(cè)圖像中的高亮圓形區(qū)，進(jìn)而通過計(jì)算候選區(qū)域多個(gè)方向亮度的變化來定位視盤。文獻(xiàn)[2]首先對(duì)眼底圖像進(jìn)行裁剪，排除邊緣高亮環(huán)對(duì)視盤定位的干擾，再提取亮度最大區(qū)域來定位視盤。這類算法處理效率高，但對(duì)于病變的眼底圖像視盤定位效果不佳。另一類是基于血管特征實(shí)現(xiàn)視盤的檢測(cè)。文獻(xiàn)[3]通過模糊集計(jì)算血管段的匯聚度，將匯聚度最大的點(diǎn)作為視盤坐標(biāo)。文獻(xiàn)[4]利用兩條方向相反的拋物線來模擬血管在視盤左右兩邊的走向，根據(jù)這兩條拋物線的公共頂點(diǎn)位于視盤區(qū)域中這一先驗(yàn)知識(shí)對(duì)視盤進(jìn)行定位。這類算法雖然在一定程度上提高了定位準(zhǔn)確率，但血管提取本身就非常復(fù)雜耗時(shí)，導(dǎo)致整體算法復(fù)雜度高，不能滿足視盤定位的實(shí)時(shí)性。近年來，研究者們也提出將這兩類方法相結(jié)合，實(shí)現(xiàn)視盤的定位。文獻(xiàn)[5]同時(shí)提取視盤的亮度及其附近的血管特征，并利用投影法降低特征維度，從而提升算法處理速度；文獻(xiàn)[6]先借助血管方向匹配濾波器，分析血管像素點(diǎn)的分布得到視盤的候選區(qū)域，再利用視盤的形狀及灰度信息進(jìn)一步確定視盤區(qū)域。

綜上所述，現(xiàn)有的視盤定位算法需要人工提取視盤的亮度、血管等特征。特征選取的優(yōu)劣在很大程度上決定了定位結(jié)果的好壞。人工進(jìn)行特征提取的方法經(jīng)驗(yàn)依賴性強(qiáng)、耗時(shí)耗力，也很難提取到具有完整表達(dá)力的視盤特征。目前的視盤定位取得了很大進(jìn)展，但仍然存在一些關(guān)鍵問題，無法很好地兼顧視盤定位的準(zhǔn)確性、快速性和魯棒性。且現(xiàn)有文獻(xiàn)多是直接對(duì)視盤進(jìn)行定位，事先并未考慮視盤不可見這一情況，不利于實(shí)現(xiàn)視盤定位的自動(dòng)化。

近幾年深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域得到廣泛應(yīng)用，這得益于卷積神經(jīng)網(wǎng)絡(luò)的快速發(fā)展[7-8]。卷積神經(jīng)網(wǎng)絡(luò)是模仿人腦的感知系統(tǒng)進(jìn)行構(gòu)建的。人腦對(duì)信息的處理是層層傳遞，從具體到抽象的一個(gè)過程，低層神經(jīng)元對(duì)輸入信息進(jìn)行處理和提取，得到數(shù)據(jù)的本質(zhì)信息，進(jìn)而形成大腦能夠理解的高層抽象信息，這種階層式的結(jié)構(gòu)保留了物體的本質(zhì)信息，并降低了人腦處理的數(shù)據(jù)量。模擬人腦的階層式結(jié)構(gòu)進(jìn)行信息傳遞，使得深度卷積神經(jīng)網(wǎng)絡(luò)的一個(gè)重要優(yōu)點(diǎn)就是從像素級(jí)原始數(shù)據(jù)到抽象的語義概念逐層提取信息，這些特征在大量的任務(wù)中被證實(shí)比傳統(tǒng)的手工提取特征具有更強(qiáng)的表征能力，能夠更完整地描述圖像的整體結(jié)構(gòu)。

基于深度學(xué)習(xí)的方法在一些醫(yī)學(xué)圖像的處理中也得到了成功的應(yīng)用[9]，但目前鮮有結(jié)合深度學(xué)習(xí)方法實(shí)現(xiàn)視盤定位的報(bào)道[10]。鑒于其對(duì)圖像強(qiáng)大的特征表達(dá)及自主學(xué)習(xí)能力，本研究提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的視盤定位方法，同時(shí)考慮視盤定位與視盤可見性兩個(gè)問題。在視盤定位上，采用區(qū)域建議策略生成視盤的初始候選區(qū)域，并對(duì)候選區(qū)域進(jìn)行位置精修使結(jié)果更準(zhǔn)確；在視盤可見性上，將其轉(zhuǎn)化為視盤、背景二分類問題，利用Softmax分類器對(duì)視盤定位結(jié)果的置信度進(jìn)行量化，將置信度作為可見性判斷的重要指標(biāo)。最后，將網(wǎng)絡(luò)的定位結(jié)果與置信度這兩個(gè)方面相結(jié)合，通過設(shè)置置信度閾值確定視盤的可見性及其所在區(qū)域，將預(yù)測(cè)的視盤區(qū)域中心作為視盤坐標(biāo)，從而對(duì)視盤進(jìn)行定位。本文方法兼顧了視盤定位的準(zhǔn)確性、快速性和魯棒性，在多個(gè)公開數(shù)據(jù)庫上均取得了較好的定位結(jié)果。

1 方法

近年來，區(qū)域卷積神經(jīng)網(wǎng)絡(luò)從R-CNN[11]、Fast R-CNN[12]發(fā)展到 Faster R-CNN[13]，逐漸成為目標(biāo)檢測(cè)領(lǐng)域性能最好的方法。尤其是Faster R-CNN提出的RPN網(wǎng)絡(luò)，采用區(qū)域建議策略替代了以往的選擇性搜索策略，使得Faster R-CNN在精度和速度上都得到了明顯的提升。鑒于RPN網(wǎng)絡(luò)在目標(biāo)預(yù)選區(qū)域生成上優(yōu)越的表現(xiàn)力，本研究構(gòu)建了一種基于RPN的兩階段視盤定位網(wǎng)絡(luò)。通過兩個(gè)階段實(shí)現(xiàn)對(duì)視盤區(qū)域的準(zhǔn)確定位，且能夠以端到端的方式進(jìn)行訓(xùn)練和測(cè)試，在提升視盤定位準(zhǔn)確率的同時(shí)，也能夠滿足實(shí)時(shí)性的需求。

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

所提出的視盤定位網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，可分為3個(gè)子結(jié)構(gòu)。結(jié)構(gòu)1如圖中陰影區(qū)域所示，主要由卷積層和池化層組成，輸入為任意尺寸的眼底圖像，對(duì)其進(jìn)行特征提取得到特征圖F；結(jié)構(gòu)2為RPN網(wǎng)絡(luò)，以特征圖F作為輸入，生成目標(biāo)的初始候選區(qū)域；結(jié)構(gòu)3由金字塔池化層 (ROI pooling)及全連接層組成，對(duì)候選區(qū)域進(jìn)行位置精修。

圖1 視盤定位網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure diagram of optic disc localization

表1為網(wǎng)絡(luò)的具體結(jié)構(gòu)和參數(shù)，其中RPN網(wǎng)絡(luò)部分與文獻(xiàn)[13]一致，這里不再做詳細(xì)描述。

表1本研究網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)設(shè)置

Tab.1Thestructureandparametersofproposednetwork

網(wǎng)絡(luò)層輸出數(shù)目核大小步長(zhǎng)填充Conv 196723Pool 1(max)-321Conv 2256522Pool 2(max)-321Conv 3384311Conv 4384311RPN網(wǎng)絡(luò)----ROI pooling----Fc2 048---Fc-score2---Fc-box8---

1.2 訓(xùn)練過程

本研究提出的視盤定位網(wǎng)絡(luò)是一種有監(jiān)督的學(xué)習(xí)模型，即在訓(xùn)練過程中視盤的所在位置是已知的。網(wǎng)絡(luò)的訓(xùn)練具體包括前向傳播和反向傳播兩個(gè)過程。前向傳播時(shí)，從訓(xùn)練數(shù)據(jù)集中取出樣本X，將X作為圖1所示網(wǎng)絡(luò)的輸入，逐層進(jìn)行特征提取，傳輸至輸出層，計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出。反向傳播時(shí)，利用損失函數(shù)衡量實(shí)際輸出與已知的真實(shí)值Y之間的誤差，以極小化誤差為目標(biāo)反向傳播調(diào)整網(wǎng)絡(luò)參數(shù)，使得網(wǎng)絡(luò)的預(yù)測(cè)值更接近于真實(shí)值，從而實(shí)現(xiàn)對(duì)視盤的準(zhǔn)確定位。

1.2.1初始候選區(qū)域

如圖1所示，陰影區(qū)域的網(wǎng)絡(luò)首先將輸入的眼底圖像從像素域映射到特征域，得到多張?zhí)卣鲌D。通過卷積操作，自動(dòng)提取所需特征；通過池化操作，利用圖像局部相關(guān)性的原理，對(duì)圖像的局部感受域進(jìn)行最大值輸出，在保留有用信息的基礎(chǔ)上減少數(shù)據(jù)的處理量，實(shí)現(xiàn)降維的同時(shí)也增強(qiáng)了特征的平移不變性。接著，將這些特征圖作為RPN網(wǎng)絡(luò)的輸入，生成目標(biāo)的候選區(qū)域信息，包括目標(biāo)類別、置信度、位置信息。RPN網(wǎng)絡(luò)的具體操作如下：首先在特征圖上進(jìn)行多尺度卷積操作，以圖中的每個(gè)點(diǎn)為中心點(diǎn)，生成3種尺度(128，256，512)和3種長(zhǎng)寬比(1∶1，2∶1，1∶2)的候選區(qū)域(Anchor)，并將這些候選區(qū)域映射在原圖中，即特征圖上的每個(gè)點(diǎn)在原圖中都對(duì)應(yīng)9個(gè)候選區(qū)域。

如圖2所示，黑色框?yàn)榻o定的真實(shí)視盤區(qū)，紅色框是生成的部分候選框，且置信度均為0.8以上?？梢钥闯?，此時(shí)視盤定位的效果并不十分理想，故需要對(duì)目標(biāo)框進(jìn)行微調(diào)，使得微調(diào)后的目標(biāo)框與真實(shí)視盤區(qū)更接近，視盤定位更準(zhǔn)確。

圖2 初次定位結(jié)果Fig.2 First positioning results

1.2.2視盤區(qū)域微調(diào)

視盤區(qū)域占整個(gè)圖像的比例較小，第一階段生成的候選區(qū)域中包括了大量的背景區(qū)域框，若全部作為訓(xùn)練集送入第二階段的網(wǎng)絡(luò)，則可能會(huì)因樣本不平衡而不利于對(duì)視盤區(qū)域的學(xué)習(xí)。故在此根據(jù)一定的準(zhǔn)則對(duì)其進(jìn)行篩選，組成新的訓(xùn)練樣本集送入下一階段的網(wǎng)絡(luò)進(jìn)行視盤區(qū)域位置的精修。

對(duì)于新訓(xùn)練集的建立，首先以候選區(qū)域與真實(shí)標(biāo)注框(ground truth，GT)的重疊率來進(jìn)行正負(fù)屬性的判斷。重疊率IoU的計(jì)算可表示為

(1)

由經(jīng)驗(yàn)設(shè)置[13]，將重疊率大于一定閾值(0.7)的候選區(qū)域視為正樣本，小于一定閾值(0.3)的視為負(fù)樣本，其余候選區(qū)域進(jìn)行舍棄。這些正樣本即為視盤的可能性區(qū)域。接下來對(duì)正負(fù)樣本進(jìn)行隨機(jī)采樣，采樣數(shù)目設(shè)為128，采樣比例設(shè)為1∶1。在后續(xù)的網(wǎng)絡(luò)中正負(fù)樣本一同參與訓(xùn)練，以增強(qiáng)視盤區(qū)與非視盤區(qū)的區(qū)分度。

(2)

其中，視盤置信度的損失函數(shù)可表示為

(3)

視盤位置回歸損失采用smoothL1損失函數(shù)進(jìn)行計(jì)算，即

(4)

根據(jù)式(2)計(jì)算預(yù)測(cè)值與給定真實(shí)值之間的誤差，并利用反向傳播算法將誤差層層回傳，利用隨機(jī)梯度下降法對(duì)每層的參數(shù)進(jìn)行調(diào)整和更新，可表示為

(5)

式中，w和w′分別為更新前后的參數(shù)值，E為損失函數(shù)層計(jì)算得到的誤差值，η為學(xué)習(xí)率。

通過損失函數(shù)的約束，尋找一種映射f，使得式(6)、(7)成立，從而實(shí)現(xiàn)對(duì)視盤的正確定位，有

1.3 實(shí)驗(yàn)驗(yàn)證

1.3.1實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境如表2所示。

表2 實(shí)驗(yàn)環(huán)境Tab.2 Experimental environment

1.3.2實(shí)驗(yàn)數(shù)據(jù)

為驗(yàn)證所提出方法的有效性，在不同的眼底圖像公開數(shù)據(jù)庫上進(jìn)行了實(shí)驗(yàn)，包括DRIVE[14]、MESSIDOR[15]和STARE[16]等3個(gè)數(shù)據(jù)庫，每個(gè)數(shù)據(jù)庫的圖像分布情況如表3所示。

表3不同眼底圖像數(shù)據(jù)庫圖像分布

Tab.3Differentfundusimagedatabasesimagedistribution

數(shù)據(jù)庫正常圖像病變圖像總圖像DRIVE33740MESSIDOR5466541 200STARE42358400STARE81315081STARE2569247256

DRIVE是Niemeijer團(tuán)隊(duì)在2004年根據(jù)荷蘭糖尿病視網(wǎng)膜病變篩查工作建立的。從453名25～90歲的不同個(gè)體拍攝圖像中隨機(jī)選取了40幅，圖像的分辨率為565像素×584像素。

MESSIDOR是法國(guó)國(guó)防研究部在2004年資助的TECHNO-VISION項(xiàng)目中建立的。它是目前最大的公開眼底圖像數(shù)據(jù)庫，其中的1 200幅眼底圖像來自于3個(gè)不同的眼科機(jī)構(gòu)，圖像分辨率分別為1 440像素×960像素、2 240像素×1 488像素和2 304像素×1 536像素。該數(shù)據(jù)庫包含正常和多種病變(如眼底出血、微動(dòng)脈瘤、糖尿病視網(wǎng)膜病變)的眼底圖像，是視盤定位的常用數(shù)據(jù)庫。

STARE是Michael Goldbaum在1975年發(fā)起的Structured Analysis of the Retina項(xiàng)目中建立的數(shù)據(jù)庫，共400幅圖像，圖像分辨率為700像素×605像素。其中視盤可見的眼底圖像共337張，Hoover等從中選取了81幅圖像[16]，其分布情況如表2中第5行所示。在50幅病變圖像中，其中14幅圖像視盤處于邊緣僅部分可見，5幅圖像的視盤幾乎完全被出血斑掩蓋，或是亮斑比視盤更大更亮，甚至完全遮蓋了視盤。因此，STARE數(shù)據(jù)庫中的這81幅圖像視盤定位難度較大，成為視盤定位算法的通用測(cè)試樣本集，本研究簡(jiǎn)稱STARE81。剩余的256張視盤可見圖像分布情況如表2中第6行所示，簡(jiǎn)稱STARE256。

訓(xùn)練集與測(cè)試集的分配如下：對(duì)于每個(gè)數(shù)據(jù)庫，將庫中眼底圖像隨機(jī)平均分為3組，每次選擇兩組數(shù)據(jù)構(gòu)成訓(xùn)練集，剩余一組作為測(cè)試集。分別進(jìn)行3次訓(xùn)練和測(cè)試，對(duì)所有結(jié)果進(jìn)行統(tǒng)計(jì)，即可得到該數(shù)據(jù)庫的視盤定位結(jié)果。

此外，考慮到STARE81數(shù)據(jù)庫中病變眼底圖像數(shù)量較多，且存在多種病灶、病變形態(tài)差異大(見圖3)，而目前深度學(xué)習(xí)方法的訓(xùn)練依賴于大量的樣本。故在每次訓(xùn)練中，額外加入了STARE256數(shù)據(jù)庫中的247張病變眼底圖像來擴(kuò)充訓(xùn)練數(shù)據(jù)。每個(gè)數(shù)據(jù)庫的訓(xùn)練和測(cè)試集圖像數(shù)目如表4所示。

圖3 STARE81部分眼底圖像。(a)大面積病灶；(b)視盤區(qū)病變；(c)存在亮斑；(d)視盤部分可見Fig.3 Partial fundus images of STARE81. (a)Large area lesions; (b)Optic neuropathy; (c) Bright speck; (d) Part visible

數(shù)據(jù)庫訓(xùn)練集數(shù)據(jù)量測(cè)試集數(shù)據(jù)量DRIVE27/27/2613/13/14MESSIDOR800400STARE8130127

1.3.3評(píng)價(jià)指標(biāo)

若算法定位的坐標(biāo)位于視盤內(nèi)，則視為定位正確，否則為定位失敗。如圖4所示，紅色曲線表示視盤區(qū)域的真實(shí)邊界，黑色標(biāo)記表示檢測(cè)到的視盤坐標(biāo)位于實(shí)際邊界內(nèi)，定位正確；白色標(biāo)記表示檢測(cè)到的視盤坐標(biāo)位于實(shí)際邊界外，定位失敗。

1.3.4定位的階段性判斷

通過對(duì)視盤定位的置信度進(jìn)行統(tǒng)計(jì)，確定置信度閾值為0.8。在進(jìn)行測(cè)試時(shí)，若圖像中存在置信度超過閾值的候選區(qū)域，則認(rèn)為該眼底圖像中視盤可見；然后按照置信度對(duì)候選區(qū)域進(jìn)行排序，選擇擁有最大置信度的候選區(qū)域作為視盤區(qū)域，該區(qū)域的中心點(diǎn)即為視盤的定位坐標(biāo)。如圖5所示，3行圖像分別代表了3種可能情況，5(a)～(c)這3列圖像分別顯示了預(yù)測(cè)到的候選區(qū)域及相應(yīng)的置信度、對(duì)置信度進(jìn)行判斷及視盤區(qū)域的選擇結(jié)果，以及對(duì)選擇的視盤區(qū)域進(jìn)行計(jì)算所得的視盤坐標(biāo)。

圖4 視盤定位評(píng)價(jià)標(biāo)準(zhǔn)示意Fig.4 Schematic diagram of OD positioning evaluation

圖5 視盤定位的階段性判斷(每列上中下分別代表3種可能情況，即網(wǎng)絡(luò)只定位出一個(gè)、多個(gè)置信度高于閾值的候選區(qū)域，以及定位的候選區(qū)域置信度低于閾值。圖中紅框表示視盤的候選區(qū)域，數(shù)字表示置信度，黑點(diǎn)表示定位的視盤坐標(biāo))。(a)網(wǎng)絡(luò)預(yù)測(cè)的視盤區(qū)域；(b)視盤區(qū)域選定結(jié)果(由置信度確定)；(c)視盤坐標(biāo)Fig.5 Stage judgment of optic disc localization. (The top, middle and bottom of each column represent three possible situations respectively. That is, the network locates one and more than one candidate areas that is higher than the threshold. And the candidate area of the location is lower than the threshold. The red boxes represent the candidate areas of OD in the image, and the numbers indicate the confidence, and the black dots represent the coordinates of OD.) (a) The OD areas of the network prediction; (b) The selection results of OD areas (determined by confidences); (c) OD coordinates

2 結(jié)果

2.1 網(wǎng)絡(luò)結(jié)構(gòu)的確定

視盤位置的精修結(jié)果取決于網(wǎng)絡(luò)中全連接層的結(jié)構(gòu)，故本研究先對(duì)全連接層結(jié)構(gòu)(層數(shù)和每層的輸出特征維度)進(jìn)行分析，從而確定最終的網(wǎng)絡(luò)結(jié)構(gòu)。STARE81數(shù)據(jù)的定位難度較大，隨機(jī)選取其中一組數(shù)據(jù)進(jìn)行訓(xùn)練及測(cè)試，實(shí)驗(yàn)結(jié)果如表5所示。

表5中，網(wǎng)絡(luò)結(jié)構(gòu)中包含該層用√表示，其后的數(shù)值表示該層的輸出個(gè)數(shù)，×表示網(wǎng)絡(luò)中不包含該層。第3行和第6行所示網(wǎng)絡(luò)的正確率一致，但第3行的網(wǎng)絡(luò)結(jié)構(gòu)更簡(jiǎn)單，參數(shù)量更少，故確定網(wǎng)絡(luò)只利用一個(gè)全連接層進(jìn)行視盤位置的精修，其輸出向量維度為2048維。

表5 網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比Tab.5 Comparison of network structures

表6不同眼底圖像數(shù)據(jù)庫的定位結(jié)果

Tab.6Localizationresultsofdifferentfundusimagedatabases

數(shù)據(jù)庫定位精度/%處理時(shí)間/(s/張)訓(xùn)練時(shí)間/hDRIVE1000.040.67MESSIDOR99.90.092.00STARE8198.80.050.83

2.2 定位與對(duì)比結(jié)果

本研究算法在上述3個(gè)數(shù)據(jù)庫中進(jìn)行實(shí)驗(yàn)，對(duì)不同數(shù)據(jù)庫眼底圖像視盤定位的結(jié)果進(jìn)行定量統(tǒng)計(jì)，結(jié)果如表6所示。對(duì)于DRIVE數(shù)據(jù)庫中的40幅圖像，本研究算法均可以定位正確，正確率為100%；對(duì)于MESSIDOR數(shù)據(jù)庫中的1 200幅圖像，算法可正確定位到其中的1 199幅圖像，正確率為99.9%；對(duì)于STARE81庫中的81幅圖像，算法能正確定位其中的80幅，正確率為98.8%。

表6中的第4列給出了每個(gè)數(shù)據(jù)庫訓(xùn)練所需的時(shí)間，但對(duì)于深度學(xué)習(xí)方法而言，更重要的是測(cè)試時(shí)間。如表6第3列所示，本研究算法在3個(gè)數(shù)據(jù)庫上測(cè)試時(shí)的處理速度都較快，且從表中可以發(fā)現(xiàn)，測(cè)試數(shù)據(jù)的尺寸與所耗時(shí)間成正比。

為驗(yàn)證訓(xùn)練集不同對(duì)同一張眼底圖像的定位結(jié)果是否有明顯影響，選取STARE81數(shù)據(jù)庫，隨機(jī)生成3組訓(xùn)練、測(cè)試集進(jìn)行實(shí)驗(yàn)。圖6選取了測(cè)試集中共有的3張圖像進(jìn)行展示, 每行表示1張圖像在3組實(shí)驗(yàn)中的結(jié)果。從圖6可以看出，3組實(shí)驗(yàn)中，模型定位的紅框及其中心黑點(diǎn)幾近重合，說明以隨機(jī)的方式生成訓(xùn)練集對(duì)同一張眼底圖像的視盤定位結(jié)果影響較小，驗(yàn)證了隨機(jī)生成數(shù)據(jù)集的可行性及實(shí)驗(yàn)結(jié)果的可靠性。

為進(jìn)一步驗(yàn)證本研究算法的有效性，在不同數(shù)據(jù)庫上與其他方法進(jìn)行了對(duì)比，結(jié)果如表7～9所示。其中Faster R-CNN方法的訓(xùn)練及測(cè)試數(shù)據(jù)與本研究相同。

從表7～9可以看出，在DRIVE和MESSIDOR數(shù)據(jù)庫中，大多算法定位精度都較高。這是由于庫中數(shù)據(jù)較為統(tǒng)一，病變圖像較少，視盤區(qū)域較為明顯，容易定位。STARE81數(shù)據(jù)庫的定位精度較前兩個(gè)數(shù)據(jù)庫明顯偏低，這是由于庫中包含了多種嚴(yán)重病灶圖像，信息多變，定位難度大。在3個(gè)數(shù)據(jù)庫中，無論是在精度上還是速度上，本研究都取得了最優(yōu)結(jié)果，結(jié)果表明，本研究算法對(duì)視盤形狀、亮度、病灶等干擾信息都有較強(qiáng)的魯棒性。

3 討論

STARE81數(shù)據(jù)庫中圖像大多病變嚴(yán)重或干擾信息多，情況復(fù)雜。表9展示了不同方法在該數(shù)據(jù)庫上的定位結(jié)果，文獻(xiàn)[18,21,23-24]的處理速度在可接受范圍內(nèi)，但過于依賴外觀特征，易受病變信息的干擾，因此算法定位準(zhǔn)確率不高，未能取得魯棒的定位結(jié)果。文獻(xiàn)[6,25]除了考慮視盤自身特性外，也同時(shí)融入了血管特性，血管特征相對(duì)穩(wěn)定，兩種特征的融合使得這類算法取得了較好的定位結(jié)果。由于算法需要精確提取和分析血管特征，導(dǎo)致計(jì)算復(fù)雜度高，耗時(shí)較長(zhǎng)，文獻(xiàn)[25]處理一張圖像用時(shí)120 s，文獻(xiàn)[6]處理一張圖像用時(shí)210 s，不能滿足應(yīng)用的實(shí)時(shí)性要求。

表7不同算法在DRIVE數(shù)據(jù)庫上視盤定位結(jié)果

Tab.7ODlocalizationresultsofdifferentmethodsinDRIVEdatabases

方法定位精度/%處理時(shí)間/(s/張)基于置信度和多特征[17]97.50.04基于CNN[10]98.0-基于投影[18]100-Faster R-CNN1000.10本研究算法1000.04

表8不同算法在MESSIDOR數(shù)據(jù)庫上視盤定位結(jié)果

Tab.8ODlocalizationresultsofdifferentmethodsinMESSIDORdatabases

方法定位精度/%處理時(shí)間(s/張)基于置信度和多特征[17]98.80.26基于方向?yàn)V波和水平集[19]99.14.70基于投票[20]98.30.25基于結(jié)構(gòu)特征[21]99.8-基于視覺注意[22]950.21基于局部搜索[23]98.65.80Faster R-CNN99.80.15本算法99.90.09

表9不同算法在STARE81數(shù)據(jù)庫上視盤定位結(jié)果

Tab.9ODlocalizationresultsofdifferentmethodsinSTARE81databases

方法定位精度/%處理時(shí)間(s/張)基于投影[18]91.413.20基于結(jié)構(gòu)特征[21]93.83.00基于局部搜索[23]93.86.30基于定向?qū)Ρ榷萚24]90.1-基于血管幾何模型[25]97.5120.00基于方向匹配濾波[6]98.821.00Faster R-CNN97.50.10本算法98.80.05

深度卷積神經(jīng)網(wǎng)絡(luò)利用多個(gè)網(wǎng)絡(luò)層從輸入的樣本中自動(dòng)學(xué)習(xí)所需的特征[9,13]，并根據(jù)損失函數(shù)的約束進(jìn)行參數(shù)的調(diào)整，經(jīng)過層層映射，提取的特征逐層轉(zhuǎn)化為具有強(qiáng)大表征能力的高層抽象特征。借助卷積神經(jīng)網(wǎng)絡(luò)提取特征，本研究算法能夠取得較高的定位正確率。訓(xùn)練是端到端的，結(jié)合了特征提取和視盤定位兩個(gè)過程，網(wǎng)絡(luò)可以根據(jù)定位結(jié)果及時(shí)地進(jìn)行參數(shù)更新，自動(dòng)選取到最優(yōu)特征實(shí)現(xiàn)視盤定位。而深度學(xué)習(xí)算法可以利用GPU進(jìn)行加速計(jì)算，大大降低了算法所需時(shí)間，在算法效率上相較于傳統(tǒng)方法具有明顯優(yōu)勢(shì)，且本研究所提網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，參數(shù)量少，使得算法效率得到進(jìn)一步提高。

除了視盤定位，本研究也同時(shí)考慮到視盤可見性這一問題，將Softmax分類器對(duì)視盤定位結(jié)果的置信度進(jìn)行量化，利用置信度預(yù)先對(duì)視盤的可見性進(jìn)行判斷，這也更符合實(shí)際應(yīng)用的要求。

圖7展示了本研究算法在3個(gè)數(shù)據(jù)庫上的部分定位結(jié)果。圖7(a)～(c)分別從DRIVE、MESSIDOR和STARE81數(shù)據(jù)庫中選取不同病灶、背景復(fù)雜、定位難度較大的眼底圖像；而7(d)為本研究算法未能準(zhǔn)確定位的兩幅眼底圖像，從上到下依次來自于MESSIDOR和STARE81數(shù)據(jù)庫。定位失敗的兩幅圖像較為特別，上圖病變嚴(yán)重且數(shù)據(jù)庫中缺乏類似病變圖像，使得算法未檢測(cè)到視盤區(qū)；下圖視盤界限過于模糊，導(dǎo)致定位稍有偏移。

圖7 定位結(jié)果(前3列每列上下兩張圖像均來自同一數(shù)據(jù)庫，第4列兩張圖像分別為MESSIDOR和STARE81定位失敗圖像)。(a)DRIVE圖像; (b)MESSIDOR圖像; (c)STARE81圖像; (d)定位失敗的圖像Fig.7 Localization results. (The top and bottom of the first three columns are images from the same database, and the two images of the fourth column are failure positioned images from MESSIDOR and STARE81.) (a)DRIVE images; (b)MESSIDOR images; (c)STARE81 images; (d)localization failed images

為進(jìn)一步分析數(shù)據(jù)對(duì)本研究算法定位結(jié)果的影響，對(duì)STARE81數(shù)據(jù)庫進(jìn)行訓(xùn)練時(shí)，去掉了額外增加的247張病變眼底圖像，結(jié)果如表10所示?？梢悦黠@看出，當(dāng)訓(xùn)練數(shù)據(jù)量較少且數(shù)據(jù)復(fù)雜多變時(shí)，基于深度學(xué)習(xí)的本研究算法不能充分發(fā)揮效果，容易陷入過擬合，測(cè)試效果較差。因此，在實(shí)際應(yīng)用中，訓(xùn)練數(shù)據(jù)越多、類型越多，算法的魯棒性、準(zhǔn)確性、泛化性能會(huì)越好。

表10 訓(xùn)練數(shù)據(jù)對(duì)定位結(jié)果的影響Tab.10 The Effect of training data on location results

4 結(jié)論

視盤是眼底圖像的重要結(jié)構(gòu)之一，視盤的定位在眼底圖像分析中起著重要的作用?？紤]到視盤可見性及視盤定位兩個(gè)問題，本研究提出一種基于區(qū)域建議策略的視盤定位方法。一方面，對(duì)眼底圖像進(jìn)行初步特征提取，采用區(qū)域建議策略生成視盤的初始候選區(qū)域，隨后利用全連接層的深層特征提取及損失函數(shù)的約束對(duì)候選區(qū)域進(jìn)行微調(diào)進(jìn)而實(shí)現(xiàn)位置精修；另一方面，將視盤可見性的判斷轉(zhuǎn)化為視盤置信度的計(jì)算，通過置信度閾值的過濾確定視盤的可見性，若視盤可見，則將置信度最大的候選區(qū)域中心作為該眼底圖像中視盤的坐標(biāo)，從而實(shí)現(xiàn)視盤的定位。

本研究算法依賴于大量的數(shù)據(jù)，訓(xùn)練集包括的數(shù)據(jù)類型越多，越有利于實(shí)現(xiàn)視盤的魯棒定位。實(shí)驗(yàn)結(jié)果表明，在現(xiàn)有的公開數(shù)據(jù)庫中，數(shù)據(jù)量基本能夠滿足算法的需要，能夠?qū)崿F(xiàn)視盤的快速、準(zhǔn)確、魯棒定位。優(yōu)于傳統(tǒng)的視盤定位方法，且預(yù)先對(duì)視盤的可見性進(jìn)行判斷更符合實(shí)際應(yīng)用的要求，適合用于計(jì)算機(jī)輔助診療。