基于深度學(xué)習(xí)的淚河高度檢測(cè)

王崇陽(yáng)

關(guān)鍵詞：淚河高度；干眼；深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)

1引言

如今，越來(lái)越多的人受到干眼癥的困擾，相關(guān)流行病學(xué)調(diào)查[1-2]表明，國(guó)外30-40歲的人群中，患干眼癥的比例超過(guò)20%，而70歲以上高齡人群的患病率高達(dá)36%。干眼癥是一種眼表受到損害且眼部出現(xiàn)不適的疾病，主要病因是淚液分泌不足或淚液蒸發(fā)過(guò)度。并且干眼癥可分為“淚液缺乏型干眼”“蒸發(fā)過(guò)強(qiáng)型干眼”以及混合型干眼三類[3]。淚河高度是評(píng)估患者是否患有干眼癥的一個(gè)可靠指標(biāo)，與患者主觀感受、淚膜破裂時(shí)間、淚液分泌試驗(yàn)等具有良好的相關(guān)性。在人眼圖像中，由淚液與上下眼瞼和結(jié)角膜形成的平面高度稱為淚河高度，它可以反映淚腺的分泌量。更重要的是，它能夠?yàn)檠郾頊I膜的更新提供需要的淚液，且能夠調(diào)節(jié)淚液排除功能障礙引起的淚液過(guò)多的問(wèn)題[4]。因此，為了診斷病人是否患有干眼癥，對(duì)淚河高度進(jìn)行準(zhǔn)確測(cè)量是十分必要的。

常見(jiàn)的淚河高度檢測(cè)可分為基于淚河圖像的純?nèi)斯な謩?dòng)測(cè)量以及基于數(shù)字圖像處理技術(shù)的淚河高度測(cè)量。其中，人工手動(dòng)測(cè)量采用裂隙燈檢查法，首先進(jìn)行熒光染色劑染色，然后利用裂隙燈觀察在角結(jié)膜表面的光帶和下瞼瞼緣光帶的交界處淚液的液平面高度，且該高度可以在某種程度上反映淚液的分泌量。通常而言，高度小于0.35毫米的可以診斷為干眼癥[5]。文獻(xiàn)[6]使用視頻形式將淚河記錄下來(lái)，然后通過(guò)研究人員的手動(dòng)標(biāo)記去進(jìn)行淚河位置的對(duì)齊，最終采用離線分析的方式測(cè)定淚河高度。此外，DOUCHTY等[7]在實(shí)驗(yàn)過(guò)程中，從具有停幀功能的視頻錄像機(jī)中提取視頻，再通過(guò)純?nèi)斯ふ页鰷I河圖像，之后由研究人員手動(dòng)測(cè)量淚河高度?；跍I河圖像的純?nèi)斯な謩?dòng)測(cè)量的方法，存在增加人力和時(shí)間成本的問(wèn)題，影響工作效率，并且測(cè)量精度會(huì)因檢測(cè)人員的操作而出現(xiàn)誤差。

近年來(lái)，隨著數(shù)字圖像處理技術(shù)及光學(xué)成像技術(shù)的發(fā)展，醫(yī)學(xué)領(lǐng)域的影像技術(shù)應(yīng)用愈來(lái)愈成熟。通過(guò)使用數(shù)字圖像處理技術(shù)對(duì)淚河圖像進(jìn)行分析，可以降低使用人工帶來(lái)的附加成本．同時(shí)能提高淚河高度檢測(cè)的準(zhǔn)確性和魯棒性。針對(duì)基于數(shù)字圖像處理技術(shù)的淚河高度測(cè)量方法，首先需要獲取由測(cè)量?jī)x器得到的人眼淚河圖像，然后利用相關(guān)數(shù)字圖像處理技術(shù)對(duì)此進(jìn)行分析，進(jìn)而得到人眼圖像的淚河高度。其中，數(shù)字圖像處理技術(shù)在淚河高度檢測(cè)過(guò)程中，常應(yīng)用自適應(yīng)平滑濾波增強(qiáng)圖像，提取淚河邊緣，最終得到淚河實(shí)際高度。文獻(xiàn)[8]為了測(cè)量淚河高度，先使用灰度相關(guān)性配準(zhǔn)法對(duì)在視頻序列中得到的圖像參考幀進(jìn)行圖像配準(zhǔn)，然后基于色彩空間轉(zhuǎn)換進(jìn)行淚河圖像處理，使用k-means算法和Otsu法得到淚河對(duì)應(yīng)的分割部分，最終估算人眼圖像中的淚河高度。盡管基于數(shù)字圖像處理技術(shù)的淚河高度檢測(cè)方法可以一定程度上降低人工因素的影響，提高檢測(cè)準(zhǔn)確率以及實(shí)驗(yàn)結(jié)果的魯棒性。但是，這種方法仍存在易受其他眼睛組織干擾、拍攝角度、光源、眨眼等因素影響的問(wèn)題。

為了更準(zhǔn)確地檢測(cè)淚河高度，考慮到上文所提方法的缺點(diǎn)和劣勢(shì)，本文提出一種基于深度學(xué)習(xí)的淚河高度檢測(cè)方法。深度學(xué)習(xí)技術(shù)是在機(jī)器學(xué)習(xí)的基礎(chǔ)上發(fā)展而來(lái)的，因其在人工智能領(lǐng)域中取得了巨大的進(jìn)展和成果而受到越來(lái)越多研究人員的關(guān)注。隨著深度學(xué)習(xí)技術(shù)在圖像識(shí)別、目標(biāo)檢測(cè)[9]、機(jī)器翻譯等多個(gè)領(lǐng)域的成功應(yīng)用，近年來(lái)在醫(yī)學(xué)領(lǐng)域中，深度學(xué)習(xí)模型也得到了更多的研究與應(yīng)用[10-12]。HOWARD等[13]提出MobileNetV3版本的卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)是MobileNet網(wǎng)絡(luò)系列的最新之作，主要用于解決深度模型在移動(dòng)端部署時(shí)，因參數(shù)量大以及與模型性能精度權(quán)衡的問(wèn)題而提出的輕量化骨干網(wǎng)絡(luò)。MobileNetV3網(wǎng)絡(luò)在物體識(shí)別、目標(biāo)檢測(cè)等領(lǐng)域不僅有著優(yōu)異的網(wǎng)絡(luò)性能精度，而且在移動(dòng)端部署時(shí)更能滿足實(shí)時(shí)的要求。DFANet是LI等[14]于2019年提出的，用于實(shí)時(shí)語(yǔ)義分割的卷積神經(jīng)網(wǎng)絡(luò)。DFANet由一個(gè)輕量化骨干網(wǎng)絡(luò)以及子網(wǎng)絡(luò)和子階段級(jí)聯(lián)聚合判別特征模塊組成，并且在公共數(shù)據(jù)集上取得了優(yōu)異的網(wǎng)絡(luò)性能以及更快的語(yǔ)義分割速度。

本文提出的淚河高度檢測(cè)方法充分利用了MobileNetV3和DFANet兩個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)和優(yōu)異的網(wǎng)絡(luò)性能，并基于深度模型設(shè)計(jì)了一種新的淚河高度檢測(cè)方法。該方法通過(guò)輸入人眼圖像自動(dòng)識(shí)別判斷圖像是否有效，并能夠?qū)τ行D像自動(dòng)檢測(cè)淚河高度。具體而言，基于深度模型的淚河高度自動(dòng)檢測(cè)算法包括基于MobileNetV3的睜閉眼識(shí)別網(wǎng)絡(luò)、以MobileNetV3為骨干網(wǎng)絡(luò)的淚河區(qū)域粗定位網(wǎng)絡(luò)、基于DFANet的淚河區(qū)域快速分割網(wǎng)絡(luò)、淚河邊緣修正模塊以及淚河高度計(jì)算模塊。相較于傳統(tǒng)數(shù)字圖像處理方法，這種方法對(duì)眨眼、變形、光照、噪聲等情況魯棒性更強(qiáng)，且可代替人工自動(dòng)檢測(cè)淚河高度，大大提高了算法的執(zhí)行效率。本文方法在實(shí)驗(yàn)測(cè)試中取得了優(yōu)異效果，并且實(shí)驗(yàn)結(jié)果顯示，無(wú)論在時(shí)間還是算法方面，各模塊的指標(biāo)性能均優(yōu)于傳統(tǒng)方法。

2方法

本節(jié)主要介紹本文提出的基于深度卷積網(wǎng)絡(luò)的淚河高度檢測(cè)方法，其中包括由睜閉眼分類識(shí)別網(wǎng)絡(luò)、淚河區(qū)域粗定位網(wǎng)絡(luò)、淚河區(qū)域分割網(wǎng)絡(luò)、淚河邊緣修正模塊和淚河高度計(jì)算模塊組成的總體框架及各組成部分的細(xì)節(jié)描述。

2.1淚河高度檢測(cè)的總體框架

本文提出的基于深度模型的淚河高度檢測(cè)方法的總體框架如圖1所示。獲取到的人眼圖像，首先輸入到基于MobileNetV3的睜閉眼識(shí)別網(wǎng)絡(luò)，通過(guò)分類網(wǎng)絡(luò)對(duì)人眼圖像進(jìn)行篩選，篩選出有效的睜眼圖像，從而用于下一步淚河區(qū)域粗定位。為了能更加準(zhǔn)確分割出淚河區(qū)域，對(duì)有效人眼圖像先用以MobileNetV3為骨干網(wǎng)絡(luò)的淚河粗定位網(wǎng)絡(luò)進(jìn)行回歸定位，之后裁剪出淚河區(qū)域圖像，隨后將裁剪圖像輸入基于DFANet的快速分割網(wǎng)絡(luò)，得到更加精細(xì)的淚河區(qū)域分割圖。最后，利用淚河邊緣修正模塊和淚河高度計(jì)算模塊，對(duì)淚河區(qū)域分割圖進(jìn)行后處理，并結(jié)合原人眼圖像檢測(cè)淚河實(shí)際高度。

2.2睜閉眼分類識(shí)別網(wǎng)絡(luò)

由于待檢測(cè)的人眼圖像分為閉眼和睜眼兩類，因此在檢測(cè)淚河高度之前，需有效識(shí)別睜眼圖像，從而降低不必要的無(wú)效操作，提高算法執(zhí)行效率。考慮到MobileNetV3深度網(wǎng)絡(luò)的輕量化以及網(wǎng)絡(luò)性能與速度之間的權(quán)衡，本文利用MobileNetV3深度網(wǎng)絡(luò)來(lái)設(shè)計(jì)睜閉眼分類識(shí)別網(wǎng)絡(luò)。睜眼圖像如圖2所示，閉眼圖像如圖3所示。因本文針對(duì)睜眼和閉眼進(jìn)行二分類識(shí)別，所以在MobileNetV3網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，將使保持骨干網(wǎng)絡(luò)不變，修改最后的輸出層，即將全連接層的輸出結(jié)點(diǎn)數(shù)設(shè)為2。故本部分使用的睜閉眼識(shí)別網(wǎng)絡(luò)，使用具有3通道的人眼彩色圖像作為輸入圖像，通過(guò)基于MobileNetV3的深度卷積網(wǎng)絡(luò)，最終有效識(shí)別是否為睜眼圖像。

2.3淚河區(qū)域粗定位網(wǎng)絡(luò)

為了更加準(zhǔn)確地分割出淚河區(qū)域圖像，從而便于計(jì)算淚河高度，先對(duì)有效人眼輸入圖像進(jìn)行淚河區(qū)域的粗定位，之后進(jìn)行圖像裁剪。得到的淚河區(qū)域不僅可以提高分割網(wǎng)絡(luò)輸入圖像的有效區(qū)域占比，減少分割網(wǎng)絡(luò)的輸入分辨率，也可以使分割網(wǎng)絡(luò)的樣本空間更小，所需訓(xùn)練樣本更少，從而使分割網(wǎng)絡(luò)參數(shù)學(xué)習(xí)更充分高效，達(dá)到快速推理的目的。

粗定位網(wǎng)絡(luò)所實(shí)現(xiàn)的功能是通過(guò)對(duì)淚河區(qū)域的左右兩端進(jìn)行回歸定位，定位結(jié)果如圖4所示。之后，通過(guò)左右兩端位置分別由水平方向以這兩端點(diǎn)為起始位置和終止位置，豎直方向以兩端點(diǎn)向上擴(kuò)30個(gè)像素，向下擴(kuò)70個(gè)像素為基準(zhǔn)，最終裁剪出淚河的粗定位圖像。其中，回歸定位網(wǎng)絡(luò)仍然以MobileNetV3為主干網(wǎng)絡(luò)，將網(wǎng)絡(luò)最后輸出層的輸出結(jié)點(diǎn)數(shù)修改為淚河圖像左右兩端的位置坐標(biāo)，最終定位網(wǎng)絡(luò)可以實(shí)現(xiàn)自動(dòng)對(duì)有效人眼圖像進(jìn)行裁剪，裁剪示意圖如圖5所示。

2.4淚河區(qū)域分割網(wǎng)絡(luò)

相較于傳統(tǒng)淚河高度檢測(cè)方法，本方法基于深度分割網(wǎng)絡(luò)，輸入裁剪后的淚河區(qū)域有效占比的更小圖像，進(jìn)行淚河的自動(dòng)分割。此方法實(shí)行逐像素自動(dòng)分類，可以避免人工識(shí)別帶來(lái)的人為誤差，同時(shí)使用深度網(wǎng)絡(luò)充分學(xué)習(xí)訓(xùn)練樣本的屬性特征，可以快速而準(zhǔn)確地分割出期望的淚河二值圖。本文采用用于實(shí)時(shí)語(yǔ)義分割的DFANet模型搭建所需的淚河區(qū)域分割網(wǎng)絡(luò)，如圖6所示。

正如圖6所示，將定位網(wǎng)絡(luò)輸出裁剪后的淚河區(qū)域圖像作為DFANet網(wǎng)絡(luò)的輸入對(duì)象，DFANet由單個(gè)輕量化骨干網(wǎng)絡(luò)、用于聚合判別特征的子網(wǎng)絡(luò)以及子階段級(jí)聯(lián)構(gòu)成，最終輸出淚河二值化圖像。由于DFANet將輸入的圖像進(jìn)行多尺度特征傳播，因此大幅減少了參數(shù)量，同時(shí)仍獲得了足夠的感受野，增強(qiáng)了模型學(xué)習(xí)能力，并在速度和分割性能之間有更好的平衡?？紤]到本文的設(shè)計(jì)要求，將DFANet網(wǎng)絡(luò)的輸出通道設(shè)置為2，最終獲得基于背景和淚河的二值化圖。其中，“conv”指卷積核大小為3的卷積；“enc”指卷積層塊：“FC attention”指獲取語(yǔ)義信息和類別信息的注意力模塊：“C”指按通達(dá)維度進(jìn)行拼接：“xN”指N倍數(shù)的上采樣操作。

2.5淚河邊緣修正模塊

為了能通過(guò)淚河分割圖準(zhǔn)確地計(jì)算淚河高度，邊緣修正模塊將淚河區(qū)域分割網(wǎng)絡(luò)輸出的淚河二值化圖利用Canny算法提取淚河區(qū)域的邊緣。對(duì)于獲取到的淚河上下邊緣，在每個(gè)位置豎直方向的10個(gè)像素范圍內(nèi)尋找梯度最大的位置，并用此位置修正原淚河邊緣。修正后的淚河邊緣如圖7所示。

2.6淚河高度計(jì)算模塊

本模塊用于計(jì)算人眼圖像中的淚河高度，得到的人眼圖像淚河高度如圖8所示。淚河邊緣經(jīng)過(guò)修正后，可以得到更準(zhǔn)確的邊緣界限，該模塊會(huì)計(jì)算淚河下邊緣的每個(gè)位置和徑向方向，并尋找此方向與淚河上邊緣的交點(diǎn)。如此，淚河高度便定義為下邊緣位置點(diǎn)與上邊緣交點(diǎn)之間的距離。

2.7損失函數(shù)

對(duì)于本文所設(shè)計(jì)的睜閉眼分類識(shí)別網(wǎng)絡(luò)、淚河區(qū)域粗定位網(wǎng)絡(luò)以及淚河區(qū)域分割網(wǎng)絡(luò)，為了優(yōu)化深度網(wǎng)絡(luò)中的模型參數(shù)，本文引入了二分類交叉熵?fù)p失函數(shù)用于分類網(wǎng)絡(luò)和分割網(wǎng)絡(luò)，又引入了均值平方差函數(shù)用于粗定位網(wǎng)絡(luò)中的回歸損失計(jì)算。

3實(shí)驗(yàn)和分析

為了驗(yàn)證本文提出的基于深度學(xué)習(xí)的淚河高度檢測(cè)方法，本節(jié)進(jìn)行對(duì)比實(shí)驗(yàn)和分析以驗(yàn)證本文方法的優(yōu)勢(shì)和有效性。此部分先介紹本文使用的數(shù)據(jù)集以及相關(guān)預(yù)處理等操作，之后詳細(xì)介紹基于深度模型的超參數(shù)設(shè)置以及運(yùn)行環(huán)境，最后進(jìn)行實(shí)驗(yàn)分析與討論。

3.1數(shù)據(jù)集及預(yù)處理

為了搜集人眼數(shù)據(jù)集對(duì)本文深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，采集機(jī)器選用上海美沃精密儀器股份有限公司的裂隙燈顯微鏡S390，該設(shè)備具有寬動(dòng)態(tài)范圍、高分辨率、高靈敏度、自動(dòng)曝光、自動(dòng)白平衡等特點(diǎn)，能夠很好地拍攝高畫質(zhì)圖像。搜集到人眼圖片總共7470張，其中睜眼圖像有5790張，閉眼圖像有1680張，分辨率達(dá)到2592x1944。

淚河區(qū)域粗定位網(wǎng)絡(luò)使用平移、縮放、灰度拉伸、隨機(jī)模糊等預(yù)處理，而睜閉眼分類識(shí)別網(wǎng)絡(luò)和淚河區(qū)域分割網(wǎng)絡(luò)在預(yù)處理的基礎(chǔ)上，另外加上旋轉(zhuǎn)操作，構(gòu)成了實(shí)驗(yàn)中使用的數(shù)據(jù)增強(qiáng)操作。

3.2訓(xùn)練參數(shù)設(shè)置和評(píng)價(jià)指標(biāo)

睜閉眼分類識(shí)別網(wǎng)絡(luò)和淚河區(qū)域粗定位網(wǎng)絡(luò)使用相同的實(shí)驗(yàn)設(shè)置：將搭建的MobileNetV3模型在IMAGENET數(shù)據(jù)集上的訓(xùn)練權(quán)值作為初始權(quán)值，然后做微調(diào)訓(xùn)練。數(shù)據(jù)集按6：2：2比例分成訓(xùn)練集、驗(yàn)證集和測(cè)試集，迭代訓(xùn)練60輪，初始學(xué)習(xí)率0.01，在第20輪、第40輪分別將學(xué)習(xí)率降低10倍。最終選取訓(xùn)練集和驗(yàn)證集loss值相差最小的訓(xùn)練權(quán)值作為訓(xùn)練結(jié)果。淚河區(qū)域分割網(wǎng)絡(luò)所使用的實(shí)驗(yàn)設(shè)置：DFANet在Cityscapes數(shù)據(jù)集上的訓(xùn)練權(quán)值作為初始權(quán)值，然后做微調(diào)訓(xùn)練。數(shù)據(jù)集按6：2：2比例分成訓(xùn)練集、驗(yàn)證集和測(cè)試集，迭代訓(xùn)練80輪，初始學(xué)習(xí)率為0.01，在第30輪，第60輪分別將學(xué)習(xí)率降低10倍。最終選取訓(xùn)練集和驗(yàn)證集loss值相差最小的訓(xùn)練權(quán)值作為訓(xùn)練結(jié)果。所有實(shí)驗(yàn)均運(yùn)行在單卡GTX2080TI CPU上。

考慮到算法的實(shí)效性，實(shí)驗(yàn)對(duì)睜閉眼分類識(shí)別網(wǎng)絡(luò)、淚河區(qū)域粗定位網(wǎng)絡(luò)和淚河區(qū)域分割網(wǎng)絡(luò)均使用了時(shí)間指標(biāo)。此外，睜閉眼分類網(wǎng)絡(luò)使用睜眼的精度、召回指標(biāo)；淚河粗定位網(wǎng)絡(luò)使用歐式距離指標(biāo)；淚河分割網(wǎng)絡(luò)使用交并比即IOU指標(biāo)。所有評(píng)價(jià)指標(biāo)是在測(cè)試集上運(yùn)行統(tǒng)計(jì)的。

3.3實(shí)驗(yàn)結(jié)果和分析

睜眼閉眼分類評(píng)價(jià)結(jié)果如圖9所示，橫坐標(biāo)為概率閾值，縱坐標(biāo)為百分比，一條線是精度曲線，另一條線是召回曲線。最終睜眼閉眼概率閾值選取0.7，睜眼概率大于0.7則判斷為睜眼，否則為閉眼。當(dāng)閾值為0.7時(shí)，睜眼類的精度為99.5%，召回為99.1%。通過(guò)這兩個(gè)指標(biāo)可知，該分類模型能夠準(zhǔn)確地分辨出是否為睜眼狀態(tài)。并且該分類器在一般Intel 15處理器上的單張圖像運(yùn)行時(shí)間為25ms。

對(duì)睜眼圖像，淚河區(qū)域粗定位網(wǎng)絡(luò)預(yù)測(cè)淚河左右兩個(gè)端點(diǎn)，計(jì)算預(yù)測(cè)點(diǎn)和真值點(diǎn)的平均歐式距離，該值為5.3個(gè)像素，說(shuō)明預(yù)測(cè)點(diǎn)能夠很好地指示淚河左右兩個(gè)端點(diǎn)，滿足實(shí)際使用需求。該粗定位模塊在一般Intel 15處理器上單張圖像運(yùn)行時(shí)間為23ms。

對(duì)粗定位裁剪的淚河區(qū)域圖像，淚河區(qū)域分割網(wǎng)絡(luò)會(huì)對(duì)圖像中淚河區(qū)域進(jìn)行預(yù)測(cè)。計(jì)算得出預(yù)測(cè)區(qū)域和真值區(qū)域的IOU為91.6％，說(shuō)明預(yù)測(cè)區(qū)域和實(shí)際位置基本一致，可以滿足淚河高度計(jì)算要求。該粗定位模塊在一般Intel 15處理器上的單張圖像運(yùn)行時(shí)間為31ms。

最后，對(duì)淚河修正后的淚河邊緣，淚河高度計(jì)算模塊得到邊緣上每個(gè)點(diǎn)的徑向高度，通過(guò)比較淚河圖像中間位置處的計(jì)算高度和人工手動(dòng)測(cè)量高度，平均絕對(duì)誤差為0.8個(gè)像素，該結(jié)果和人工測(cè)量結(jié)果基本一致，說(shuō)明本文方法的準(zhǔn)確性高。所涉及的計(jì)算模塊在一般Intel 15處理器上單張圖像運(yùn)行時(shí)間共為90ms，說(shuō)明了本文方法時(shí)效性較好。

4結(jié)束語(yǔ)

本文應(yīng)用先進(jìn)的深度學(xué)習(xí)方法分析計(jì)算淚河高度，并將其作為干眼癥的重要評(píng)價(jià)指標(biāo)之一。通過(guò)睜閉眼分類識(shí)別網(wǎng)絡(luò)、淚河區(qū)域粗定位網(wǎng)絡(luò)、淚河區(qū)域分割網(wǎng)絡(luò)、淚河邊緣修正模塊和淚河高度計(jì)算模塊等系列的操作，得到的計(jì)算結(jié)果和人工手動(dòng)測(cè)量結(jié)果只相差0.8個(gè)像素，并且總運(yùn)行時(shí)間只有90ms，驗(yàn)證了本文方法的準(zhǔn)確性和時(shí)效性。本文基于深度學(xué)習(xí)的淚河高度計(jì)算方法實(shí)現(xiàn)了全自動(dòng)輔助測(cè)量，可替代人工手動(dòng)標(biāo)記，提高工作效率。