基于深度學(xué)習(xí)的瞼板腺功能障礙圖像分析模型研究和評(píng)價(jià)

張祖輝，于新新，林曉蕾，傅亞娜，戴 琦

0引言

隨著現(xiàn)代人工智能(artificial intelligence, AI)技術(shù)的高速發(fā)展，AI圖像自動(dòng)識(shí)別技術(shù)在不同領(lǐng)域的實(shí)踐和應(yīng)用已逐漸開展，醫(yī)學(xué)領(lǐng)域也不例外，AI圖像識(shí)別技術(shù)在眼科中的應(yīng)用日趨成熟[6]。基于CNN的AI系統(tǒng)可以克服前述人工標(biāo)注的問(wèn)題，具有速度快、準(zhǔn)確率高、重復(fù)性好的優(yōu)勢(shì)，已廣泛應(yīng)用于人臉識(shí)別、文字識(shí)別、圖像檢索等多個(gè)領(lǐng)域[7-8]，對(duì)于物體識(shí)別、圖片分類的準(zhǔn)確率可以接近甚至優(yōu)于人工分析方式[9-10]，且成本大幅降低，是目前醫(yī)學(xué)診斷當(dāng)中最火熱和最具有前景的發(fā)展方向。

本文擬探討以基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)的AI模型構(gòu)建的圖像識(shí)別系統(tǒng)應(yīng)用于瞼板腺紅外照相圖片處理。借助AI的運(yùn)算能力優(yōu)勢(shì)，快速準(zhǔn)確地識(shí)別出瞼板腺的腺體。同時(shí)在AI的輔助下，提出全新的瞼板腺萎縮形態(tài)定量指標(biāo)——瞼板腺密度(MG density)并驗(yàn)證其有效性。

1對(duì)象和方法

1.1對(duì)象研究對(duì)象選取2021-01/11在溫州醫(yī)科大學(xué)附屬眼視光醫(yī)院杭州院區(qū)就診的145名受試者，研究選取受試者的右眼。其中60名為隨機(jī)選擇，收集其瞼板腺照相用于AI訓(xùn)練。另招募85名受試者，包括阻塞性MGD患者53名和瞼板腺正常的志愿者32名，以AI系統(tǒng)對(duì)其進(jìn)行分析。阻塞性MGD患者均由兩位經(jīng)驗(yàn)豐富的眼科醫(yī)生根據(jù)眼部癥狀、瞼緣異常和瞼板腺評(píng)分進(jìn)行診斷，如果滿足以下3個(gè)標(biāo)準(zhǔn)中的任何一個(gè)，則患者被診斷為阻塞性MGD：(1)眼部癥狀評(píng)分≥3分；(2)瞼緣評(píng)分≥2分；和(或)(3)瞼板腺評(píng)分≥3分[11]。排除標(biāo)準(zhǔn)：(1)患有眼部疾病或已知影響眼前節(jié)解剖結(jié)構(gòu)情況的患者，如有眼部炎癥、眼部手術(shù)史、配戴隱形眼鏡和(或)外傷史；(2)有影響瞼板腺功能的全身用藥史的患者；(3)患有任何其他已知會(huì)影響淚膜的眼部疾病或全身性疾病者。本研究經(jīng)溫州醫(yī)科大學(xué)附屬眼視光醫(yī)院醫(yī)學(xué)倫理委員會(huì)審批通過(guò)，所有受試者均簽署知情同意書。

1.2方法

1.2.1圖像處理使用眼表分析儀拍攝60名隨機(jī)受試者右眼上下眼瞼的瞼板腺圖像作為AI模型訓(xùn)練。訓(xùn)練圖像中的瞼板腺均由兩位高級(jí)職稱醫(yī)師手動(dòng)標(biāo)注，取其平均值。

1.2.2AI系統(tǒng)的的建立本研究使用的CNN結(jié)構(gòu)是基于U-Net模型，并借助遷移學(xué)習(xí)的方法將ImageNet預(yù)訓(xùn)練好的模型和參數(shù)應(yīng)用到我們的U-Net模型中。殘差網(wǎng)絡(luò)(ResNet)在圖像分類和目標(biāo)檢測(cè)方面都有非常好的性能。通過(guò)改進(jìn)原生U-Net模型，然后將50層的ResNet(ResNet50)替換U-Net的下采樣部分，上采樣部分保持不變，建立ResNet50_U-Net模型。網(wǎng)絡(luò)結(jié)構(gòu)見圖1。

2）“橘子采摘節(jié)”，早橘成熟的季節(jié)和十一長(zhǎng)假相遇，到該地旅游的游客較多，可以根據(jù)相應(yīng)的情況，在采摘園中舉辦一些相關(guān)的旅游活動(dòng)（如橘子DIY制作活動(dòng)、“橘子采摘活動(dòng)”），吸引游客的關(guān)注度，提高游客的重游率。

圖1 AI模型的網(wǎng)絡(luò)結(jié)構(gòu)。

由于原始訓(xùn)練圖片數(shù)據(jù)集只有60名受試者，雖然達(dá)到了U-net網(wǎng)絡(luò)的訓(xùn)練門檻，但是對(duì)于訓(xùn)練一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)而言數(shù)據(jù)仍顯不足，因此我們調(diào)用了一個(gè)功能強(qiáng)大的開源數(shù)據(jù)增強(qiáng)庫(kù)imgaug(https://github.com/aleju/imgaug#citation)來(lái)對(duì)訓(xùn)練圖像進(jìn)行多維增強(qiáng)。在訓(xùn)練中的每一次迭代均會(huì)在受試者上瞼的原始訓(xùn)練圖像中隨機(jī)選取4張，調(diào)用imgaug隨機(jī)使用算法和參數(shù)對(duì)輸入圖像進(jìn)行增強(qiáng)，產(chǎn)生4張新圖片。最終版本的模型在全部訓(xùn)練中共迭代61440次，產(chǎn)生245760張新圖片作為訓(xùn)練數(shù)據(jù)集，數(shù)據(jù)量完全滿足了訓(xùn)練一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)的需求。訓(xùn)練完成后通過(guò)改變模型的目標(biāo)區(qū)域提取，瞼板腺分割A(yù)I模型無(wú)需重新訓(xùn)練即可應(yīng)用于下瞼瞼板腺圖像處理。

在模型的計(jì)算過(guò)程中，所有輸入的圖片都會(huì)被縮放到288×896像素的大小，然后輸入到模型中，最終預(yù)測(cè)的圖片會(huì)恢復(fù)到原始圖片的大小。因此，如果原始圖像的大小遠(yuǎn)遠(yuǎn)大于288×896像素，則預(yù)測(cè)結(jié)果圖像中的腺體可能出現(xiàn)鋸齒狀。我們需要對(duì)結(jié)果圖像進(jìn)行高斯濾波，以獲得更平滑的腺體。在得到圖像的預(yù)測(cè)結(jié)果后，再通過(guò)OpenCV提供的傳統(tǒng)圖像處理方法提取預(yù)測(cè)圖像中的每根瞼板腺。提取步驟描述如下：(1)對(duì)圖像進(jìn)行中值濾波；(2)將圖像二值化；(3)在圖像中找到瞼板腺的輪廓。如果兩個(gè)等高線之間的垂直距離很小，則認(rèn)為這些等高線屬于同一個(gè)瞼板腺并且是連接在一起的。瞼板腺照相的原始圖像經(jīng)過(guò)圖像預(yù)處理增強(qiáng)后，再經(jīng)ResNet50_U-net預(yù)測(cè)濾波后得到平緩的瞼板腺腺體。再與手工標(biāo)注結(jié)果做比較(圖2)。

1.2.3瞼板腺功能評(píng)價(jià)指標(biāo)

1.2.3.1眼表疾病指數(shù)眼表疾病指數(shù)(ocular surface disease index，OSDI)[11]：所有受試者均接受OSDI問(wèn)卷和眼部癥狀問(wèn)卷調(diào)查。

1.2.3.2癥狀評(píng)分根據(jù)出現(xiàn)的MGD相關(guān)的眼部癥狀的數(shù)量(眼疲勞、分泌物、異物感、干燥、不適感、黏稠感、疼痛、溢淚、瘙癢、發(fā)紅、沉重感、眩光、過(guò)度眨眼和瞼板腺囊腫或瞼腺炎)，對(duì)癥狀從0～14分進(jìn)行評(píng)分，分?jǐn)?shù)越高，說(shuō)明癥狀越明顯。

1.2.3.3淚河高度淚河高度(tear meniscus height，TMH)：使用眼表分析儀測(cè)量淚河高度并進(jìn)行瞼板腺紅外拍照，TMH測(cè)量方法采用眨眼5s后測(cè)量下眼瞼中央TMH，正常值在0.20mm左右。

1.2.3.4淚膜破裂時(shí)間淚膜破裂時(shí)間(tear film break-up time，TBUT)和角膜熒光素染色(corneal fluorescein staining，CFS)[12]：滴入熒光素后進(jìn)行CFS和測(cè)定TBUT。TBUT測(cè)定3次，取其平均值，正常值為>10s。CFS評(píng)分標(biāo)準(zhǔn)如下：在5個(gè)區(qū)域(中央、顳、鼻、上、下)評(píng)估角膜熒光素染色(0個(gè)點(diǎn)=0分，1～5個(gè)點(diǎn)=1分，6～15個(gè)點(diǎn)=2分，16～30個(gè)點(diǎn)=3分，>30個(gè)點(diǎn)=4分)；如果發(fā)現(xiàn)融合染色，染料擴(kuò)散到周圍的上皮或基質(zhì)，則根據(jù)融合區(qū)域的數(shù)量或角膜絲狀物的存在進(jìn)行評(píng)分(一個(gè)融合區(qū)域，加1分；兩個(gè)或兩個(gè)以上融合處，加2分)，染色評(píng)分范圍為0～20分，分?jǐn)?shù)越高，說(shuō)明角膜上皮損傷越重。

1.2.3.5瞼緣評(píng)分根據(jù)黏膜交界處前后移位、血管充盈、瞼板腺孔堵塞、眼瞼邊緣不規(guī)則4項(xiàng)參數(shù)對(duì)眼瞼邊緣異常進(jìn)行評(píng)分，每項(xiàng)評(píng)分0～4分，分?jǐn)?shù)越高說(shuō)明瞼緣異常程度越大。

1.2.3.6瞼板腺分泌能力評(píng)分[13]0分：清亮的瞼脂容易排出；1分：輕微壓力下排出混濁的瞼脂；2分：超過(guò)中等壓力下才能排出混濁的瞼脂；3分：即使很大的壓力下也無(wú)瞼脂排出。瞼板腺檢查器(meibomian gland evaluator, MGE)評(píng)估下眼瞼15個(gè)腺體分泌物的數(shù)量和質(zhì)量。每個(gè)眼瞼瞼板腺分泌能力評(píng)分范圍為0～45分，分?jǐn)?shù)越低說(shuō)明瞼板腺分泌功能越接近正常。

1.2.3.7瞼板腺評(píng)分瞼板腺評(píng)分(meiboscore)[5]：0分：無(wú)萎縮；1分：萎縮面積<1/3瞼板總面積；2分：萎縮面積介于1/3～2/3的總瞼板面積；3分：萎縮的>2/3的瞼板總面積。將上下瞼的瞼板腺評(píng)分相加，得到每只眼睛的瞼板腺評(píng)分范圍從0到6，分?jǐn)?shù)越高，說(shuō)明瞼板腺萎縮越嚴(yán)重。

1.2.4瞼板腺密度瞼板腺密度(MG density)：計(jì)算每根瞼板腺的面積(Smg)(以像素為單位)，然后用每個(gè)瞼板上所有腺體面積總和與瞼板的面積(St)做對(duì)比，公式如下:

2結(jié)果

本文采用IoU這一指標(biāo)對(duì)瞼板腺識(shí)別模型的準(zhǔn)確率進(jìn)行評(píng)價(jià)，最終，經(jīng)過(guò)4h的訓(xùn)練，在同一份訓(xùn)練和原始驗(yàn)證樣本中，IoU提升到了92%，訓(xùn)練完成。系統(tǒng)重復(fù)率達(dá)到100%，并且效率極高，在使用gtx1070 8G的GPU的情況下，分析一張瞼板腺圖像僅僅需要100ms。將85名受試者的85只右眼納入AI自動(dòng)分析研究。MGD患者及正常組的臨床參數(shù)比較見表1。經(jīng)年齡校正后的MGD組患者的MGD相關(guān)癥狀評(píng)分明顯高于正常組，差異有統(tǒng)計(jì)學(xué)意義(P<0.001)，OSDI評(píng)分明顯高于正常組，差異有統(tǒng)計(jì)學(xué)意義(P<0.001)。MGD組TBUT明顯低于正常組，差異有統(tǒng)計(jì)學(xué)意義(P<0.001)。與正常組相比，MGD組患者CFS實(shí)際參數(shù)值分布較高，但兩組中位數(shù)都是0(0，0)，然而矯正年齡之后，差異有統(tǒng)計(jì)學(xué)意義(P=0.021)。瞼板腺狀態(tài)，包括瞼緣評(píng)分、瞼板腺分泌能力評(píng)分和瞼板腺評(píng)分，在MGD患者中明顯比正常組更嚴(yán)重，差異均有統(tǒng)計(jì)學(xué)意義(均P<0.001)。兩組受試者上眼瞼、下眼瞼和總眼瞼的瞼板腺密度和瞼板腺評(píng)分比較，差異均有統(tǒng)計(jì)學(xué)意義(均P<0.001)。對(duì)于人眼難以區(qū)分的更復(fù)雜的圖片，該模型顯示出優(yōu)秀的識(shí)別能力，見圖2，表2。研究結(jié)果表明，上眼瞼的瞼板腺密度與OSDI(rs=-0.320,P=0.003)、TBUT(rs=0.484,P<0.001)、瞼緣評(píng)分(rs=-0.350,P=0.001)、瞼板腺評(píng)分(rs=-0.749,P<0.001)和瞼板腺分泌能力評(píng)分(rs=0.425,P<0.001)顯著相關(guān)。下眼瞼的瞼板腺密度與OSDI(rs=-0.420,P<0.001)、TBUT(rs=0.598,P<0.001)、瞼緣評(píng)分(rs=-0.396,P<0.001)、瞼板腺評(píng)分(rs=-0.720,P<0.001)和瞼板腺分泌能力評(píng)分(rs=0.438,P<0.001)顯著相關(guān)?？傃鄄€的瞼板腺密度與OSDI(rs=-0.404,P<0.001)、TBUT(rs=0.601,P<0.001)、瞼緣評(píng)分(rs=-0.416,P<0.001)、瞼板腺評(píng)分(rs=-0.805,P<0.001)和瞼板腺分泌能力評(píng)分(rs=0.480,P<0.001)顯著相關(guān)。其中上眼瞼的瞼板腺密度(rs= -0.749)、下眼瞼的瞼板腺密度(rs=-0.720)及總眼瞼的瞼板腺密度(rs=-0.805)與瞼板腺評(píng)分呈顯著的負(fù)相關(guān)(均P<0.001)，見圖3。

圖2 瞼板腺照相的原始圖像經(jīng)過(guò)圖像預(yù)處理增強(qiáng)后，再經(jīng)ResNet50_U-net預(yù)測(cè)濾波后得到平緩的瞼板腺腺體與手工標(biāo)注結(jié)果比較 A、D:原始圖片;B、E:手工標(biāo)注腺體(綠色部分);C、F:機(jī)器標(biāo)注腺體(黃色部分)。

表1 兩組受試者臨床參數(shù)比較

表2 兩組受試者瞼板腺密度與瞼板腺評(píng)分比較 M(P25,P75)

圖3 瞼板腺密度與瞼板腺評(píng)分相關(guān)性 A：上眼瞼瞼板腺密度與上眼瞼瞼板腺評(píng)分的相關(guān)性；B：下眼瞼瞼板腺密度與下眼瞼瞼板腺評(píng)分的相關(guān)性；C：總眼瞼瞼板腺密度與總眼瞼瞼板腺評(píng)分的相關(guān)性。

3討論

目前，由于現(xiàn)有醫(yī)療資源在人力、物力方面等因素限制，我國(guó)MGD診斷仍存在部分醫(yī)師診療水平較低、估算粗略片面等問(wèn)題，不利于MGD和干眼診療精細(xì)化和規(guī)范化的開展[14]?；鶎友劭漆t(yī)生需要一種簡(jiǎn)單方便、高效快捷、分析成本低，社會(huì)效益高的干眼和MGD相關(guān)指標(biāo)的標(biāo)準(zhǔn)化評(píng)估方法。

其中的重要指標(biāo)之一是瞼板腺形態(tài)分析[4,15-16]。本研究通過(guò)提出全新的瞼板腺形態(tài)定量評(píng)價(jià)指標(biāo)——瞼板腺密度，比較正常組和MGD組瞼板腺密度的差異。結(jié)果顯示，MGD組患者瞼板腺密度較正常組明顯減小。與之前的研究[17-19]相似，本研究中AI系統(tǒng)顯示瞼板腺萎縮程度與OSDI、眼表癥狀、淚膜穩(wěn)定性、瞼緣評(píng)分和瞼板腺分泌能力均相關(guān)，說(shuō)明瞼板腺形態(tài)與功能存在密切聯(lián)系。與以往的研究[5,20-22]不同，本研究中AI系統(tǒng)能夠準(zhǔn)確地得到瞼板腺的缺失面積，獲得瞼板腺密度這一連續(xù)性的定量指標(biāo)，減少了由于瞼板腺評(píng)分這一定性分級(jí)指標(biāo)在分級(jí)過(guò)渡區(qū)附近的誤差而導(dǎo)致的分級(jí)系統(tǒng)的不一致性和可變性。瞼板腺密度與瞼板腺評(píng)分高度線性相關(guān)，且AI系統(tǒng)分析得到的瞼板腺密度與OSDI、眼表癥狀、淚膜穩(wěn)定性、瞼緣評(píng)分和瞼板腺分泌能力均相關(guān)，說(shuō)明瞼板腺密度可以代替瞼板腺評(píng)分作為MGD診斷的有效指標(biāo)。但是，如果想要在人工分析中采用我們的這種瞼板腺分析方法是不現(xiàn)實(shí)的，因?yàn)檫@種分析方法需要大量的標(biāo)注，不可能作為常規(guī)的評(píng)估指標(biāo)。但是AI系統(tǒng)的特點(diǎn)恰恰適合這種需要大量分析工作的任務(wù)，因此我們的這種瞼板腺分析方法只能在AI的幫助下才能實(shí)現(xiàn)并應(yīng)用于臨床。

本研究通過(guò)一個(gè)基于CNN的AI系統(tǒng)，達(dá)到了使瞼板腺密度指標(biāo)在臨床工作中實(shí)用化的目的。該系統(tǒng)可以自動(dòng)分析瞼板腺的形態(tài)，極大地提高分析的準(zhǔn)確性和效率，降低分析的成本，克服了人工標(biāo)注主觀上的誤差。我們通過(guò)三代網(wǎng)絡(luò)模型的迭代[23-24]，借助遷移學(xué)習(xí)的方法將ImageNet上預(yù)訓(xùn)練好的模型和參數(shù)應(yīng)用到我們本研究中的第三代模型：ResNet50_U-Net模型中。通過(guò)這一方法有效地降低了樣本量的需求，盡管這個(gè)研究的樣本數(shù)量相對(duì)較少，最終對(duì)瞼板腺形態(tài)提取的準(zhǔn)確性仍然較高(IoU=92%，重復(fù)性=100%)。目前我們僅使用一張GTX1070 GPU已經(jīng)可以在100ms內(nèi)處理一張瞼板腺圖片，隨著算力的提高，使得數(shù)萬(wàn)幅圖像在毫秒內(nèi)同時(shí)完成分析成為可能。我們正在準(zhǔn)備更大的訓(xùn)練數(shù)據(jù)集來(lái)支持更復(fù)雜的模型，如ResNet101[10]，F(xiàn)CN32[25]，SegNet[26]和PSPNet[27]，從而進(jìn)一步提高腺體識(shí)別的準(zhǔn)確性。

本研究也有局限性。研究中使用的ResNet50_U-net混合網(wǎng)絡(luò)，是CNN的一種。CNN傾向于將像素?fù)p失最小化。像素?fù)p失最小化策略補(bǔ)全矯正了腺體密度這一指標(biāo)，較人工標(biāo)注更為準(zhǔn)確。但同時(shí)也導(dǎo)致靠的比較近的腺體之間無(wú)法自動(dòng)分割，發(fā)生了黏連，從而被判斷為一根腺體。這會(huì)導(dǎo)致除了瞼板腺密度以外的、跟單根腺體形態(tài)有關(guān)的如腺體的數(shù)量、彎曲度等指標(biāo)的失實(shí)，導(dǎo)致在我們前期研究中已被證實(shí)在早期MGD診斷中有效的瞼板腺?gòu)澢?MG tortuosity)[28]在本研究中失去了作用。如果能夠?qū)λ惴ㄟM(jìn)一步的發(fā)展，增強(qiáng)腺體的分割能力，則瞼板腺形態(tài)識(shí)別有望獲得更高的準(zhǔn)確率。數(shù)據(jù)增強(qiáng)庫(kù)imgaug能夠部分改變?cè)紙D像的大量信息，是可以用于深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練的，并且大大減輕了標(biāo)注的工作量。但它仍然無(wú)法改變圖片的一些基本信息，比如腺體的個(gè)數(shù)、密度等，因此不能完全替代全新的標(biāo)注圖片，未來(lái)我們的深度學(xué)習(xí)模型想要再進(jìn)一步提升準(zhǔn)確率，需要更多的全新圖片進(jìn)行訓(xùn)練。此外，本研究的樣本量也較小，未來(lái)的研究中，我們團(tuán)隊(duì)將招募更多的受試者來(lái)訓(xùn)練和測(cè)試AI系統(tǒng)。

綜上所述，基于CNN的AI系統(tǒng)是一個(gè)準(zhǔn)確、高效的瞼板腺形態(tài)學(xué)評(píng)價(jià)系統(tǒng)，能夠方便地采用我們建立的瞼板腺密度這一指標(biāo)對(duì)MGD患者的瞼板腺形態(tài)進(jìn)行快速準(zhǔn)確的評(píng)價(jià)。瞼板腺密度這一指標(biāo)比目前通用的瞼板腺評(píng)分更精確，是評(píng)價(jià)瞼板腺萎縮程度的全新定量指標(biāo)。