基于深度學(xué)習(xí)的淚河高度檢測

王崇陽

關(guān)鍵詞：淚河高度；干眼；深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)

1引言

如今，越來越多的人受到干眼癥的困擾，相關(guān)流行病學(xué)調(diào)查[1-2]表明，國外30-40歲的人群中，患干眼癥的比例超過20%，而70歲以上高齡人群的患病率高達(dá)36%。干眼癥是一種眼表受到損害且眼部出現(xiàn)不適的疾病，主要病因是淚液分泌不足或淚液蒸發(fā)過度。并且干眼癥可分為“淚液缺乏型干眼”“蒸發(fā)過強(qiáng)型干眼”以及混合型干眼三類[3]。淚河高度是評估患者是否患有干眼癥的一個可靠指標(biāo)，與患者主觀感受、淚膜破裂時間、淚液分泌試驗(yàn)等具有良好的相關(guān)性。在人眼圖像中，由淚液與上下眼瞼和結(jié)角膜形成的平面高度稱為淚河高度，它可以反映淚腺的分泌量。更重要的是，它能夠?yàn)檠郾頊I膜的更新提供需要的淚液，且能夠調(diào)節(jié)淚液排除功能障礙引起的淚液過多的問題[4]。因此，為了診斷病人是否患有干眼癥，對淚河高度進(jìn)行準(zhǔn)確測量是十分必要的。

常見的淚河高度檢測可分為基于淚河圖像的純?nèi)斯な謩訙y量以及基于數(shù)字圖像處理技術(shù)的淚河高度測量。其中，人工手動測量采用裂隙燈檢查法，首先進(jìn)行熒光染色劑染色，然后利用裂隙燈觀察在角結(jié)膜表面的光帶和下瞼瞼緣光帶的交界處淚液的液平面高度，且該高度可以在某種程度上反映淚液的分泌量。通常而言，高度小于0.35毫米的可以診斷為干眼癥[5]。文獻(xiàn)[6]使用視頻形式將淚河記錄下來，然后通過研究人員的手動標(biāo)記去進(jìn)行淚河位置的對齊，最終采用離線分析的方式測定淚河高度。此外，DOUCHTY等[7]在實(shí)驗(yàn)過程中，從具有停幀功能的視頻錄像機(jī)中提取視頻，再通過純?nèi)斯ふ页鰷I河圖像，之后由研究人員手動測量淚河高度?；跍I河圖像的純?nèi)斯な謩訙y量的方法，存在增加人力和時間成本的問題，影響工作效率，并且測量精度會因檢測人員的操作而出現(xiàn)誤差。

近年來，隨著數(shù)字圖像處理技術(shù)及光學(xué)成像技術(shù)的發(fā)展，醫(yī)學(xué)領(lǐng)域的影像技術(shù)應(yīng)用愈來愈成熟。通過使用數(shù)字圖像處理技術(shù)對淚河圖像進(jìn)行分析，可以降低使用人工帶來的附加成本．同時能提高淚河高度檢測的準(zhǔn)確性和魯棒性。針對基于數(shù)字圖像處理技術(shù)的淚河高度測量方法，首先需要獲取由測量儀器得到的人眼淚河圖像，然后利用相關(guān)數(shù)字圖像處理技術(shù)對此進(jìn)行分析，進(jìn)而得到人眼圖像的淚河高度。其中，數(shù)字圖像處理技術(shù)在淚河高度檢測過程中，常應(yīng)用自適應(yīng)平滑濾波增強(qiáng)圖像，提取淚河邊緣，最終得到淚河實(shí)際高度。文獻(xiàn)[8]為了測量淚河高度，先使用灰度相關(guān)性配準(zhǔn)法對在視頻序列中得到的圖像參考幀進(jìn)行圖像配準(zhǔn)，然后基于色彩空間轉(zhuǎn)換進(jìn)行淚河圖像處理，使用k-means算法和Otsu法得到淚河對應(yīng)的分割部分，最終估算人眼圖像中的淚河高度。盡管基于數(shù)字圖像處理技術(shù)的淚河高度檢測方法可以一定程度上降低人工因素的影響，提高檢測準(zhǔn)確率以及實(shí)驗(yàn)結(jié)果的魯棒性。但是，這種方法仍存在易受其他眼睛組織干擾、拍攝角度、光源、眨眼等因素影響的問題。

為了更準(zhǔn)確地檢測淚河高度，考慮到上文所提方法的缺點(diǎn)和劣勢，本文提出一種基于深度學(xué)習(xí)的淚河高度檢測方法。深度學(xué)習(xí)技術(shù)是在機(jī)器學(xué)習(xí)的基礎(chǔ)上發(fā)展而來的，因其在人工智能領(lǐng)域中取得了巨大的進(jìn)展和成果而受到越來越多研究人員的關(guān)注。隨著深度學(xué)習(xí)技術(shù)在圖像識別、目標(biāo)檢測[9]、機(jī)器翻譯等多個領(lǐng)域的成功應(yīng)用，近年來在醫(yī)學(xué)領(lǐng)域中，深度學(xué)習(xí)模型也得到了更多的研究與應(yīng)用[10-12]。HOWARD等[13]提出MobileNetV3版本的卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)是MobileNet網(wǎng)絡(luò)系列的最新之作，主要用于解決深度模型在移動端部署時，因參數(shù)量大以及與模型性能精度權(quán)衡的問題而提出的輕量化骨干網(wǎng)絡(luò)。MobileNetV3網(wǎng)絡(luò)在物體識別、目標(biāo)檢測等領(lǐng)域不僅有著優(yōu)異的網(wǎng)絡(luò)性能精度，而且在移動端部署時更能滿足實(shí)時的要求。DFANet是LI等[14]于2019年提出的，用于實(shí)時語義分割的卷積神經(jīng)網(wǎng)絡(luò)。DFANet由一個輕量化骨干網(wǎng)絡(luò)以及子網(wǎng)絡(luò)和子階段級聯(lián)聚合判別特征模塊組成，并且在公共數(shù)據(jù)集上取得了優(yōu)異的網(wǎng)絡(luò)性能以及更快的語義分割速度。

本文提出的淚河高度檢測方法充分利用了MobileNetV3和DFANet兩個深度卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢和優(yōu)異的網(wǎng)絡(luò)性能，并基于深度模型設(shè)計了一種新的淚河高度檢測方法。該方法通過輸入人眼圖像自動識別判斷圖像是否有效，并能夠?qū)τ行D像自動檢測淚河高度。具體而言，基于深度模型的淚河高度自動檢測算法包括基于MobileNetV3的睜閉眼識別網(wǎng)絡(luò)、以MobileNetV3為骨干網(wǎng)絡(luò)的淚河區(qū)域粗定位網(wǎng)絡(luò)、基于DFANet的淚河區(qū)域快速分割網(wǎng)絡(luò)、淚河邊緣修正模塊以及淚河高度計算模塊。相較于傳統(tǒng)數(shù)字圖像處理方法，這種方法對眨眼、變形、光照、噪聲等情況魯棒性更強(qiáng)，且可代替人工自動檢測淚河高度，大大提高了算法的執(zhí)行效率。本文方法在實(shí)驗(yàn)測試中取得了優(yōu)異效果，并且實(shí)驗(yàn)結(jié)果顯示，無論在時間還是算法方面，各模塊的指標(biāo)性能均優(yōu)于傳統(tǒng)方法。

2方法

本節(jié)主要介紹本文提出的基于深度卷積網(wǎng)絡(luò)的淚河高度檢測方法，其中包括由睜閉眼分類識別網(wǎng)絡(luò)、淚河區(qū)域粗定位網(wǎng)絡(luò)、淚河區(qū)域分割網(wǎng)絡(luò)、淚河邊緣修正模塊和淚河高度計算模塊組成的總體框架及各組成部分的細(xì)節(jié)描述。

2.1淚河高度檢測的總體框架

本文提出的基于深度模型的淚河高度檢測方法的總體框架如圖1所示。獲取到的人眼圖像，首先輸入到基于MobileNetV3的睜閉眼識別網(wǎng)絡(luò)，通過分類網(wǎng)絡(luò)對人眼圖像進(jìn)行篩選，篩選出有效的睜眼圖像，從而用于下一步淚河區(qū)域粗定位。為了能更加準(zhǔn)確分割出淚河區(qū)域，對有效人眼圖像先用以MobileNetV3為骨干網(wǎng)絡(luò)的淚河粗定位網(wǎng)絡(luò)進(jìn)行回歸定位，之后裁剪出淚河區(qū)域圖像，隨后將裁剪圖像輸入基于DFANet的快速分割網(wǎng)絡(luò)，得到更加精細(xì)的淚河區(qū)域分割圖。最后，利用淚河邊緣修正模塊和淚河高度計算模塊，對淚河區(qū)域分割圖進(jìn)行后處理，并結(jié)合原人眼圖像檢測淚河實(shí)際高度。

2.2睜閉眼分類識別網(wǎng)絡(luò)

由于待檢測的人眼圖像分為閉眼和睜眼兩類，因此在檢測淚河高度之前，需有效識別睜眼圖像，從而降低不必要的無效操作，提高算法執(zhí)行效率?？紤]到MobileNetV3深度網(wǎng)絡(luò)的輕量化以及網(wǎng)絡(luò)性能與速度之間的權(quán)衡，本文利用MobileNetV3深度網(wǎng)絡(luò)來設(shè)計睜閉眼分類識別網(wǎng)絡(luò)。睜眼圖像如圖2所示，閉眼圖像如圖3所示。因本文針對睜眼和閉眼進(jìn)行二分類識別，所以在MobileNetV3網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，將使保持骨干網(wǎng)絡(luò)不變，修改最后的輸出層，即將全連接層的輸出結(jié)點(diǎn)數(shù)設(shè)為2。故本部分使用的睜閉眼識別網(wǎng)絡(luò)，使用具有3通道的人眼彩色圖像作為輸入圖像，通過基于MobileNetV3的深度卷積網(wǎng)絡(luò)，最終有效識別是否為睜眼圖像。

2.3淚河區(qū)域粗定位網(wǎng)絡(luò)

為了更加準(zhǔn)確地分割出淚河區(qū)域圖像，從而便于計算淚河高度，先對有效人眼輸入圖像進(jìn)行淚河區(qū)域的粗定位，之后進(jìn)行圖像裁剪。得到的淚河區(qū)域不僅可以提高分割網(wǎng)絡(luò)輸入圖像的有效區(qū)域占比，減少分割網(wǎng)絡(luò)的輸入分辨率，也可以使分割網(wǎng)絡(luò)的樣本空間更小，所需訓(xùn)練樣本更少，從而使分割網(wǎng)絡(luò)參數(shù)學(xué)習(xí)更充分高效，達(dá)到快速推理的目的。

粗定位網(wǎng)絡(luò)所實(shí)現(xiàn)的功能是通過對淚河區(qū)域的左右兩端進(jìn)行回歸定位，定位結(jié)果如圖4所示。之后，通過左右兩端位置分別由水平方向以這兩端點(diǎn)為起始位置和終止位置，豎直方向以兩端點(diǎn)向上擴(kuò)30個像素，向下擴(kuò)70個像素為基準(zhǔn)，最終裁剪出淚河的粗定位圖像。其中，回歸定位網(wǎng)絡(luò)仍然以MobileNetV3為主干網(wǎng)絡(luò)，將網(wǎng)絡(luò)最后輸出層的輸出結(jié)點(diǎn)數(shù)修改為淚河圖像左右兩端的位置坐標(biāo)，最終定位網(wǎng)絡(luò)可以實(shí)現(xiàn)自動對有效人眼圖像進(jìn)行裁剪，裁剪示意圖如圖5所示。

2.4淚河區(qū)域分割網(wǎng)絡(luò)

相較于傳統(tǒng)淚河高度檢測方法，本方法基于深度分割網(wǎng)絡(luò)，輸入裁剪后的淚河區(qū)域有效占比的更小圖像，進(jìn)行淚河的自動分割。此方法實(shí)行逐像素自動分類，可以避免人工識別帶來的人為誤差，同時使用深度網(wǎng)絡(luò)充分學(xué)習(xí)訓(xùn)練樣本的屬性特征，可以快速而準(zhǔn)確地分割出期望的淚河二值圖。本文采用用于實(shí)時語義分割的DFANet模型搭建所需的淚河區(qū)域分割網(wǎng)絡(luò)，如圖6所示。

正如圖6所示，將定位網(wǎng)絡(luò)輸出裁剪后的淚河區(qū)域圖像作為DFANet網(wǎng)絡(luò)的輸入對象，DFANet由單個輕量化骨干網(wǎng)絡(luò)、用于聚合判別特征的子網(wǎng)絡(luò)以及子階段級聯(lián)構(gòu)成，最終輸出淚河二值化圖像。由于DFANet將輸入的圖像進(jìn)行多尺度特征傳播，因此大幅減少了參數(shù)量，同時仍獲得了足夠的感受野，增強(qiáng)了模型學(xué)習(xí)能力，并在速度和分割性能之間有更好的平衡?？紤]到本文的設(shè)計要求，將DFANet網(wǎng)絡(luò)的輸出通道設(shè)置為2，最終獲得基于背景和淚河的二值化圖。其中，“conv”指卷積核大小為3的卷積；“enc”指卷積層塊：“FC attention”指獲取語義信息和類別信息的注意力模塊：“C”指按通達(dá)維度進(jìn)行拼接：“xN”指N倍數(shù)的上采樣操作。

2.5淚河邊緣修正模塊

為了能通過淚河分割圖準(zhǔn)確地計算淚河高度，邊緣修正模塊將淚河區(qū)域分割網(wǎng)絡(luò)輸出的淚河二值化圖利用Canny算法提取淚河區(qū)域的邊緣。對于獲取到的淚河上下邊緣，在每個位置豎直方向的10個像素范圍內(nèi)尋找梯度最大的位置，并用此位置修正原淚河邊緣。修正后的淚河邊緣如圖7所示。

2.6淚河高度計算模塊

本模塊用于計算人眼圖像中的淚河高度，得到的人眼圖像淚河高度如圖8所示。淚河邊緣經(jīng)過修正后，可以得到更準(zhǔn)確的邊緣界限，該模塊會計算淚河下邊緣的每個位置和徑向方向，并尋找此方向與淚河上邊緣的交點(diǎn)。如此，淚河高度便定義為下邊緣位置點(diǎn)與上邊緣交點(diǎn)之間的距離。

2.7損失函數(shù)

對于本文所設(shè)計的睜閉眼分類識別網(wǎng)絡(luò)、淚河區(qū)域粗定位網(wǎng)絡(luò)以及淚河區(qū)域分割網(wǎng)絡(luò)，為了優(yōu)化深度網(wǎng)絡(luò)中的模型參數(shù)，本文引入了二分類交叉熵?fù)p失函數(shù)用于分類網(wǎng)絡(luò)和分割網(wǎng)絡(luò)，又引入了均值平方差函數(shù)用于粗定位網(wǎng)絡(luò)中的回歸損失計算。

3實(shí)驗(yàn)和分析

為了驗(yàn)證本文提出的基于深度學(xué)習(xí)的淚河高度檢測方法，本節(jié)進(jìn)行對比實(shí)驗(yàn)和分析以驗(yàn)證本文方法的優(yōu)勢和有效性。此部分先介紹本文使用的數(shù)據(jù)集以及相關(guān)預(yù)處理等操作，之后詳細(xì)介紹基于深度模型的超參數(shù)設(shè)置以及運(yùn)行環(huán)境，最后進(jìn)行實(shí)驗(yàn)分析與討論。

3.1數(shù)據(jù)集及預(yù)處理

為了搜集人眼數(shù)據(jù)集對本文深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，采集機(jī)器選用上海美沃精密儀器股份有限公司的裂隙燈顯微鏡S390，該設(shè)備具有寬動態(tài)范圍、高分辨率、高靈敏度、自動曝光、自動白平衡等特點(diǎn)，能夠很好地拍攝高畫質(zhì)圖像。搜集到人眼圖片總共7470張，其中睜眼圖像有5790張，閉眼圖像有1680張，分辨率達(dá)到2592x1944。

淚河區(qū)域粗定位網(wǎng)絡(luò)使用平移、縮放、灰度拉伸、隨機(jī)模糊等預(yù)處理，而睜閉眼分類識別網(wǎng)絡(luò)和淚河區(qū)域分割網(wǎng)絡(luò)在預(yù)處理的基礎(chǔ)上，另外加上旋轉(zhuǎn)操作，構(gòu)成了實(shí)驗(yàn)中使用的數(shù)據(jù)增強(qiáng)操作。

3.2訓(xùn)練參數(shù)設(shè)置和評價指標(biāo)

睜閉眼分類識別網(wǎng)絡(luò)和淚河區(qū)域粗定位網(wǎng)絡(luò)使用相同的實(shí)驗(yàn)設(shè)置：將搭建的MobileNetV3模型在IMAGENET數(shù)據(jù)集上的訓(xùn)練權(quán)值作為初始權(quán)值，然后做微調(diào)訓(xùn)練。數(shù)據(jù)集按6：2：2比例分成訓(xùn)練集、驗(yàn)證集和測試集，迭代訓(xùn)練60輪，初始學(xué)習(xí)率0.01，在第20輪、第40輪分別將學(xué)習(xí)率降低10倍。最終選取訓(xùn)練集和驗(yàn)證集loss值相差最小的訓(xùn)練權(quán)值作為訓(xùn)練結(jié)果。淚河區(qū)域分割網(wǎng)絡(luò)所使用的實(shí)驗(yàn)設(shè)置：DFANet在Cityscapes數(shù)據(jù)集上的訓(xùn)練權(quán)值作為初始權(quán)值，然后做微調(diào)訓(xùn)練。數(shù)據(jù)集按6：2：2比例分成訓(xùn)練集、驗(yàn)證集和測試集，迭代訓(xùn)練80輪，初始學(xué)習(xí)率為0.01，在第30輪，第60輪分別將學(xué)習(xí)率降低10倍。最終選取訓(xùn)練集和驗(yàn)證集loss值相差最小的訓(xùn)練權(quán)值作為訓(xùn)練結(jié)果。所有實(shí)驗(yàn)均運(yùn)行在單卡GTX2080TI CPU上。

考慮到算法的實(shí)效性，實(shí)驗(yàn)對睜閉眼分類識別網(wǎng)絡(luò)、淚河區(qū)域粗定位網(wǎng)絡(luò)和淚河區(qū)域分割網(wǎng)絡(luò)均使用了時間指標(biāo)。此外，睜閉眼分類網(wǎng)絡(luò)使用睜眼的精度、召回指標(biāo)；淚河粗定位網(wǎng)絡(luò)使用歐式距離指標(biāo)；淚河分割網(wǎng)絡(luò)使用交并比即IOU指標(biāo)。所有評價指標(biāo)是在測試集上運(yùn)行統(tǒng)計的。

3.3實(shí)驗(yàn)結(jié)果和分析

睜眼閉眼分類評價結(jié)果如圖9所示，橫坐標(biāo)為概率閾值，縱坐標(biāo)為百分比，一條線是精度曲線，另一條線是召回曲線。最終睜眼閉眼概率閾值選取0.7，睜眼概率大于0.7則判斷為睜眼，否則為閉眼。當(dāng)閾值為0.7時，睜眼類的精度為99.5%，召回為99.1%。通過這兩個指標(biāo)可知，該分類模型能夠準(zhǔn)確地分辨出是否為睜眼狀態(tài)。并且該分類器在一般Intel 15處理器上的單張圖像運(yùn)行時間為25ms。

對睜眼圖像，淚河區(qū)域粗定位網(wǎng)絡(luò)預(yù)測淚河左右兩個端點(diǎn)，計算預(yù)測點(diǎn)和真值點(diǎn)的平均歐式距離，該值為5.3個像素，說明預(yù)測點(diǎn)能夠很好地指示淚河左右兩個端點(diǎn)，滿足實(shí)際使用需求。該粗定位模塊在一般Intel 15處理器上單張圖像運(yùn)行時間為23ms。

對粗定位裁剪的淚河區(qū)域圖像，淚河區(qū)域分割網(wǎng)絡(luò)會對圖像中淚河區(qū)域進(jìn)行預(yù)測。計算得出預(yù)測區(qū)域和真值區(qū)域的IOU為91.6％，說明預(yù)測區(qū)域和實(shí)際位置基本一致，可以滿足淚河高度計算要求。該粗定位模塊在一般Intel 15處理器上的單張圖像運(yùn)行時間為31ms。

最后，對淚河修正后的淚河邊緣，淚河高度計算模塊得到邊緣上每個點(diǎn)的徑向高度，通過比較淚河圖像中間位置處的計算高度和人工手動測量高度，平均絕對誤差為0.8個像素，該結(jié)果和人工測量結(jié)果基本一致，說明本文方法的準(zhǔn)確性高。所涉及的計算模塊在一般Intel 15處理器上單張圖像運(yùn)行時間共為90ms，說明了本文方法時效性較好。

4結(jié)束語

本文應(yīng)用先進(jìn)的深度學(xué)習(xí)方法分析計算淚河高度，并將其作為干眼癥的重要評價指標(biāo)之一。通過睜閉眼分類識別網(wǎng)絡(luò)、淚河區(qū)域粗定位網(wǎng)絡(luò)、淚河區(qū)域分割網(wǎng)絡(luò)、淚河邊緣修正模塊和淚河高度計算模塊等系列的操作，得到的計算結(jié)果和人工手動測量結(jié)果只相差0.8個像素，并且總運(yùn)行時間只有90ms，驗(yàn)證了本文方法的準(zhǔn)確性和時效性。本文基于深度學(xué)習(xí)的淚河高度計算方法實(shí)現(xiàn)了全自動輔助測量，可替代人工手動標(biāo)記，提高工作效率。