基于深度學(xué)習(xí)的瞼板腺腺體分割方法研究

林嘉雯，林智明，賴泰辰，郭林靈，鄒 璟，李 笠

0 引言

瞼板腺是位于上、下眼瞼瞼板上的大型皮脂腺，它通過分泌多種脂質(zhì)成分，形成脂質(zhì)層，能防止淚液過度蒸發(fā)，在維持眼表健康和完整方面起著至關(guān)重要的作用[1]。然而炎癥、導(dǎo)管阻塞、環(huán)境變化等多種原因均會引起瞼板腺數(shù)量和形態(tài)的改變以及分泌物質(zhì)與量的變化，發(fā)生瞼板腺功能障礙(meibomian gland disease，MGD)[1]。干眼是除屈光不正外最為常見的眼科疾病。流行病學(xué)數(shù)據(jù)調(diào)查顯示，我國干眼患病率達(dá)21%～30%，且近年來呈現(xiàn)增長態(tài)勢和年輕化趨勢[2]，其中超過65%的干眼患者具有MGD的臨床表現(xiàn)[3]。2020年發(fā)布的《國人干眼多中心大數(shù)據(jù)報告》中指出，合并有MGD的臨床確診干眼患者數(shù)量占調(diào)查總數(shù)的92.8%，進(jìn)一步證實(shí)MGD是干眼的主要致病原因之一。嚴(yán)重、慢性的MGD癥狀會使角膜和結(jié)膜出現(xiàn)繼發(fā)性改變，大大降低了患者的視覺質(zhì)量和生活質(zhì)量[4]。

瞼板腺的功能與其形態(tài)密切相關(guān)。通過直接觀察瞼板腺的形態(tài)，可以評價其結(jié)構(gòu)和缺失情況[5]，為干眼的分型診斷提供依據(jù)。利用紅外成像技術(shù)透視瞼板腺的形態(tài)，形成的圖像便于保存，更有利于監(jiān)測腺體隨時間或治療的形態(tài)變化。因此，紅外瞼板腺圖像已被公認(rèn)為是臨床上觀察和評估患者瞼板腺形態(tài)變化的有效工具[5]，在干眼患者的分型診斷、管理與個性化治療中具有重要作用。單純的人工診斷在大規(guī)模篩查情況下存在主觀性強(qiáng)、可重復(fù)性低、缺乏客觀量化指標(biāo)和效率低等局限性，且現(xiàn)階段我國基層醫(yī)師的MGD診斷水平還十分有限[5]，因此引入人工智能技術(shù)實(shí)現(xiàn)紅外瞼板腺圖像的自動分析能在一定程度上克服人工診斷存在的問題，實(shí)現(xiàn)客觀、可重復(fù)、高效的分析與評估，輔助形成準(zhǔn)確的臨床診斷與分級。紅外瞼板腺圖像的智能分析研究主要圍繞瞼板腺圖像分類、瞼板腺區(qū)域分割和瞼板腺腺體分割三方面展開。瞼板腺圖像分類方法能初步達(dá)成MGD的自動分級[6]；瞼板腺區(qū)域分割方法的提出則進(jìn)一步實(shí)現(xiàn)瞼板腺缺失比的粗略估計[7]；瞼板腺腺體自動分割旨在實(shí)現(xiàn)單個腺體的提取，不僅能得到更為精確的缺失比，還可以計算腺體數(shù)量、長寬和彎曲度等形態(tài)參數(shù)[1]。近年來，深度學(xué)習(xí)理論的不斷發(fā)展及其在醫(yī)學(xué)領(lǐng)域的成功運(yùn)用，促進(jìn)了學(xué)者們對紅外瞼板腺圖像智能分析可行性和有效性的進(jìn)一步驗(yàn)證[6-8]。本研究初步嘗試了深度學(xué)習(xí)技術(shù)在紅外瞼板腺圖像智能分析中的應(yīng)用，引入UNet++網(wǎng)絡(luò)結(jié)構(gòu)旨在構(gòu)建高效的瞼板腺腺體自動分割模型，從而服務(wù)于后續(xù)瞼板腺缺失率與其他形態(tài)生物參數(shù)的精確計算，以滿足個性化、智能化的干眼診療需求[5]。

1 資料和方法

1.1資料選取2020-01/2021-06于福建省立醫(yī)院眼科就診的干眼患者106例212眼，應(yīng)用眼表綜合分析儀Keratograph 5M采集紅外瞼板腺圖像。為了便于識別，拍攝時選擇增強(qiáng)對比模式以突出顯示腺體，采集到的原始圖像均為RGB模式，分辨率為1578像素×966像素。剔除過于模糊、拍攝范圍不全、睫毛遮擋、存在大面積過強(qiáng)反光的圖像，最終納入圖像193幅。本研究經(jīng)福建省立醫(yī)院倫理委員會審批通過，所有受檢查者均知情同意。

1.2方法

1.2.1數(shù)據(jù)處理與標(biāo)記基于既往研究[8]經(jīng)驗(yàn)，作為初步探索，本研究僅使用上眼瞼圖像。由于獲取的原始圖像十分規(guī)則，故將圖像左上角740像素×350像素范圍設(shè)為裁剪區(qū)域，通過批量裁剪得到規(guī)格相同、僅包含上眼瞼區(qū)域的瞼板腺圖像，見圖1A。每幅圖像初始由3名有1a以上臨床工作經(jīng)驗(yàn)的眼科醫(yī)師使用Labelme軟件中的多邊形工具分別對瞼結(jié)膜范圍和各個瞼板腺進(jìn)行標(biāo)記。當(dāng)標(biāo)記結(jié)果出現(xiàn)分歧時，由第4名更高年資的眼科醫(yī)師進(jìn)行判定。最終，所有的標(biāo)記結(jié)果由第4名眼科醫(yī)師再次進(jìn)行審核與修正。人工標(biāo)記結(jié)果見圖1B。根據(jù)標(biāo)記結(jié)果，每張裁剪后的原始圖像分別生成2張二值圖像：瞼結(jié)膜區(qū)域掩模和腺體的人工標(biāo)注。將瞼結(jié)膜區(qū)域掩模與裁剪后的圖像相乘，消除睫毛等干擾，處理后得到的最終圖像及其對應(yīng)的人工標(biāo)注圖見圖2。最終，這193組圖像共同構(gòu)成本研究的實(shí)驗(yàn)數(shù)據(jù)集，按照7∶1∶2的比例劃分為訓(xùn)練集、驗(yàn)證集和測試集，其中訓(xùn)練集和驗(yàn)證集用于模型訓(xùn)練和參數(shù)調(diào)優(yōu)，測試集則用于驗(yàn)證本研究提出方法的效果。訓(xùn)練時批處理大小設(shè)為8，訓(xùn)練周期數(shù)設(shè)為500，通過初始學(xué)習(xí)率為0.0003的Adam優(yōu)化器優(yōu)化模型，為避免過擬合，每50個周期衰減學(xué)習(xí)率為一半。

圖1 裁剪后的上眼瞼紅外瞼板腺圖像 A：裁剪后的原始圖像；B：人工標(biāo)記的上眼瞼瞼結(jié)膜區(qū)域(紅色)與腺體(綠色)。

圖2 實(shí)驗(yàn)數(shù)據(jù)集中的圖例 A：處理后圖像；B：腺體的人工標(biāo)注圖。

1.2.2基于UNet++的瞼板腺腺體分割模型本研究引入UNet++構(gòu)建瞼板腺腺體分割模型，瞼板腺腺體自動分割的工作流程見圖3。本研究將瞼板腺腺體分割問題視為一幅圖像中每個像素點(diǎn)進(jìn)行二分類的問題，瞼板腺腺體分割的具體實(shí)現(xiàn)分為訓(xùn)練和分割兩個階段，包括數(shù)據(jù)增廣、腺體分割等模塊。

圖3 基于UNet++的瞼板腺腺體分割工作流程。

1.2.2.1數(shù)據(jù)增廣模塊數(shù)據(jù)增廣模塊主要克服訓(xùn)練過程中數(shù)據(jù)樣本不足的問題，增強(qiáng)數(shù)據(jù)樣本的多樣性。傳統(tǒng)的數(shù)據(jù)增廣方法需要針對數(shù)據(jù)集設(shè)計專門的增廣策略，并在增廣過程中設(shè)置、調(diào)整變換幅度。本研究引入一種自動數(shù)據(jù)增廣策略[9]，每次迭代會從裁剪、翻轉(zhuǎn)、剪切、平移、旋轉(zhuǎn)、均衡化、對比度變化、亮度變化等11種數(shù)據(jù)增廣方式中隨機(jī)選擇N種，并為這N種數(shù)據(jù)增廣方式隨機(jī)選擇對應(yīng)的變換幅度M。理想情況下，經(jīng)過數(shù)據(jù)增廣后的訓(xùn)練樣本可擴(kuò)增至MN×CN11倍。通過實(shí)驗(yàn)，本研究最終將N設(shè)為2，變換幅度M的選擇范圍為1～10。本研究中數(shù)據(jù)增廣模塊不需要人工設(shè)計數(shù)據(jù)增廣策略，在一定程度上為腺體分割模型提供更多的數(shù)據(jù)樣本，增強(qiáng)了模型的泛化能力。

1.2.2.2瞼板腺腺體分割模塊紅外瞼板腺圖像為灰度圖像，圖像中沒有特別豐富的語義信息，實(shí)驗(yàn)過程中發(fā)現(xiàn)不宜采用特別復(fù)雜的網(wǎng)絡(luò)模型。2015年提出的UNet[10]是專門針對醫(yī)學(xué)圖像分割應(yīng)用需求設(shè)計的模型，其利用跳連接融合淺層和深層語義特征圖，克服下采樣造成的信息丟失，顯著提高了醫(yī)學(xué)圖像分割的精度。UNet++[11]是對UNet的改進(jìn)，其重新設(shè)計了跳連接，進(jìn)一步減少了編碼器和解碼器之間特征融合的語義差距，并通過深度監(jiān)督對模型進(jìn)行優(yōu)化，使得模型可以剪枝，加快模型的推理速度。因此，本研究引入UNet++模型作為瞼板腺腺體自動分割的主干網(wǎng)絡(luò)。

1.2.3損失函數(shù)為處理訓(xùn)練過程中平滑梯度和處理類別不平衡的問題[12-13]，本研究使用混合損失L對模型進(jìn)行優(yōu)化?；旌蠐p失L定義為像素級交叉熵?fù)p失LCE和Dice系數(shù)損失LDC之和，如公式(1)所示。

L=LCE+LDC

(1)

(2)

(3)

其中，yc,i和pc,i分別代表類別c和第i個像素人工標(biāo)注和智能分析的分割結(jié)果；M為類別數(shù)；N為每批次的總像素數(shù)。

1.2.4評價指標(biāo)為了評價本研究提出的瞼板腺腺體自動分割方法的性能，本研究以人工標(biāo)注的瞼板腺腺體作為金標(biāo)準(zhǔn)，將自動分割出的瞼板腺腺體與之進(jìn)行逐像素對比。當(dāng)人工標(biāo)注和自動分割結(jié)果一致時，即為分割正確的像素，反之為分割錯誤的像素，可得到4種統(tǒng)計數(shù)量：分割正確的瞼板腺像素個數(shù)(真陽性，TP)、分割錯誤的瞼板腺像素個數(shù)(假陰性，F(xiàn)N)、分割正確的非瞼板腺像素個數(shù)(真陰性，TN)和分割錯誤的非瞼板腺像素個數(shù)(假陽性，F(xiàn)P)。進(jìn)而，計算常用的評價指標(biāo)(表1)，其中敏感性(sensitivity，Se)越高說明自動分割模型“找全”瞼板腺腺體的能力越強(qiáng)；特異性(specificity，Sp)越高表明模型能更好地“找對”瞼板腺腺體；交并比(intersection over union，IoU)反映了人工標(biāo)注與自動分割結(jié)果的重疊程度，重疊程度越大表明方法的性能越好。

表1 本研究采用的性能評價指標(biāo)

2 結(jié)果

將193組圖像按順序劃分為5組，各包含39、39、39、39、37組圖像。將這5組分別作為測試集，其余圖像作為訓(xùn)練集和驗(yàn)證集，采用5組交叉驗(yàn)證方式對本研究提出的瞼板腺腺體自動分割方法的性能進(jìn)行評估(表2)，平均準(zhǔn)確率為94.31%，平均敏感性為82.15%，平均特異性為96.13%，平均交并比為65.55%。交叉驗(yàn)證過程中各指標(biāo)的數(shù)值均比較平穩(wěn)，說明所提出的瞼板腺腺體自動分割方法具有較好的穩(wěn)定性。圖4展示了基于UNet++的瞼板腺腺體分割的可部分可視化效果，前3行圖示分割效果幾乎完美，自動分割結(jié)果與人工標(biāo)注結(jié)果極為接近，其中最佳結(jié)果準(zhǔn)確率高達(dá)為96.98%，敏感性為91.28%，特異性為97.79%；中間3行圖示隨機(jī)展示了3組一般情況，可以看出多數(shù)腺體(尤其是落在眼瞼中間區(qū)域的腺體)可以較好地被識別，充分說明了本研究提出的瞼板腺腺體自動分割方法的有效性；最后2行圖示則展示了少數(shù)分割結(jié)果較差的樣例，最差情況下腺體分割的準(zhǔn)確率為87.48%，敏感性僅為50.53%。此外，本研究提出的瞼板腺腺體自動分割方法完成單張圖像的處理平均用時僅為0.11s，效率遠(yuǎn)遠(yuǎn)優(yōu)于臨床醫(yī)師手動標(biāo)記的情況。

圖4 本研究提出的瞼板腺腺體自動分割方法結(jié)果展示 A：輸入圖像；B：腺體分割結(jié)果；C：腺體的人工標(biāo)注結(jié)果。

表2 基于UNet++的瞼板腺腺體分割方法的性能

3 討論

紅外瞼板腺圖像中瞼板腺腺體自動分割的研究目前仍處于起步階段，已開始得到越來越多的關(guān)注。Arita等[14]首次提出一種基于快速傅里葉變換和γ校正分割腺體的方法；隨后，研究者們結(jié)合閾值分割、形態(tài)學(xué)等傳統(tǒng)方法[15-18]開展了一系列工作。傳統(tǒng)的基于圖像處理的腺體分割方法依賴研究者主觀設(shè)計的手工特征，往往需要設(shè)置相應(yīng)的經(jīng)驗(yàn)參數(shù)，仍存在一定的主觀性。深度學(xué)習(xí)方法可以直接從數(shù)據(jù)中學(xué)習(xí)特征，不需要明確指定提取規(guī)則或設(shè)計手工特征，已被廣泛應(yīng)用于醫(yī)學(xué)圖像分析領(lǐng)域，在視網(wǎng)膜血管分割[19]、腦腫瘤分割[20]、皮膚病變分割[21]等多個問題上取得不錯的效果。Prabhu等[22]首次提出了一種基于UNet的瞼板腺腺體自動分割方法，在此基礎(chǔ)上，Dai等[23]進(jìn)一步提出了參數(shù)更小的基于mini UNet的腺體分割模型，他們的工作均驗(yàn)證了深度學(xué)習(xí)方法用于瞼板腺腺體分割的可行性和有效性。但遺憾的是，多數(shù)研究并未描述具體的可比較的性能指數(shù)，僅少數(shù)研究報道了相關(guān)量化結(jié)果。本研究提出的瞼板腺腺體自動分割方法敏感性為82.15%，特異性為96.13%，精確率為76.65%，交并比為65.55%。Wang等[24]提出的方法的敏感性為53.9%，精確率為62.7%，交并比為58.4%。Xiao等[8]提出的方法的敏感性為81.39%，特異性為95.65%?？梢悦黠@看出本研究所提出的瞼板腺腺體自動分割方法在幾個評價指標(biāo)上均表現(xiàn)最佳。盡管目前還沒有針對紅外瞼板腺圖像自動分析研究的公開數(shù)據(jù)集，現(xiàn)有方法缺乏統(tǒng)一的評價工具和標(biāo)準(zhǔn)，不利于研究者對方法進(jìn)行直觀比較，上述結(jié)果仍能在一定程度上體現(xiàn)出本研究提出的瞼板腺腺體自動分割方法的優(yōu)越性。

目前認(rèn)為，當(dāng)受到光照強(qiáng)度和高亮反光點(diǎn)的影響時，自動分割方法難以得到良好的腺體分割效果。本研究提出的瞼板腺腺體自動分割方法引入深度學(xué)習(xí)技術(shù)，綜合考慮腺體與其鄰近區(qū)域的關(guān)系和信息，在一定程度上克服了強(qiáng)反光點(diǎn)對周邊腺體分割的影響。然而當(dāng)圖像中存在偽影、腺體發(fā)生嚴(yán)重形變時，本研究提出的模型會出現(xiàn)誤判腺體的情況，靠近兩端的區(qū)域存在相鄰的腺體分割后黏連的現(xiàn)象，還需在后續(xù)的研究中克服這些現(xiàn)象，進(jìn)一步提高分割的精度。

1駱仲舟, 鄧宇晴, 王耿媛, 等. 基于紅外成像原理的瞼板腺圖像量化分析系統(tǒng). 眼科學(xué)報 2021; 36(1): 30-37