基于深度學(xué)習(xí)的翼狀胬肉自動(dòng)分類(lèi)系統(tǒng)研究

何 楷，吳茂念，鄭 博，楊衛(wèi)華，朱紹軍，金 玲

0引言

翼狀胬肉(pterygium)是結(jié)膜組織的一種慢性炎癥增生性疾病，是眼科常見(jiàn)病和多發(fā)病[1]，病變較大時(shí)會(huì)限制眼球運(yùn)動(dòng)，甚至導(dǎo)致失明。全球翼狀胬肉的患病率約為12%，中國(guó)40歲以上人群翼狀胬肉的患病率約為13.4%，中國(guó)將近有1.09億人患有翼狀胬肉[2]，以漁民、農(nóng)民等經(jīng)常暴露在紫外線下的戶(hù)外工作者最多[3-6]。翼狀胬肉患者大多生活在農(nóng)村，經(jīng)濟(jì)困難，長(zhǎng)期以來(lái)很少受到人們的關(guān)注，且農(nóng)村地區(qū)醫(yī)療設(shè)備短缺，專(zhuān)業(yè)醫(yī)生少，人工診斷篩查工作量大[7]。

隨著人工智能(artificial intelligence，AI)技術(shù)的進(jìn)步和眼科人工智能的發(fā)展，為眼科學(xué)的快速發(fā)展提供了可能。當(dāng)前已有人工智能診斷系統(tǒng)應(yīng)用于臨床輔助診斷[8-11]，可快速獲取初步診斷結(jié)果，節(jié)省醫(yī)生時(shí)間，提高診斷效率。目前使用深度學(xué)習(xí)技術(shù)對(duì)翼狀胬肉的自動(dòng)分類(lèi)研究較少[12-19]，主要基于翼狀胬肉與非翼狀胬肉的自動(dòng)二分類(lèi)，Zaki等提出的最好深度學(xué)習(xí)二分類(lèi)模型，其準(zhǔn)確率達(dá)99.22%，但并沒(méi)有進(jìn)一步的翼狀胬肉分級(jí)研究[19]。本研究基于臨床采集的翼狀胬肉正常、觀察期、手術(shù)期眼前節(jié)圖像三個(gè)類(lèi)別數(shù)據(jù)，使用深度學(xué)習(xí)技術(shù)，分別訓(xùn)練VGG16、AlexNet、ResNet18、MobileNetV2、EfficientNetB0、EfficientNetB4和EfficientNetB7神經(jīng)網(wǎng)絡(luò)分類(lèi)模型，確定最好模型，實(shí)現(xiàn)翼狀胬肉自動(dòng)三分類(lèi)系統(tǒng)，輔助醫(yī)生篩查診斷，減輕工作量，為翼狀胬肉疾病細(xì)化分級(jí)研究提供參考。

1對(duì)象和方法

1.1對(duì)象本研究中使用的翼狀胬肉彩色眼前節(jié)圖片數(shù)據(jù)集，均來(lái)源于2020-05/2021-04南京醫(yī)科大學(xué)附屬眼科醫(yī)院通過(guò)裂隙燈數(shù)字顯微鏡照相獲得，共計(jì)750張分辨率為5184×3456、格式為JPG的RGB彩色眼前節(jié)圖片，其中翼狀胬肉正常眼前節(jié)圖片250張，觀察期眼前節(jié)圖片250張，手術(shù)期眼前節(jié)圖片250張，所有圖片都經(jīng)過(guò)南京醫(yī)科大學(xué)附屬眼科醫(yī)院眼科2名經(jīng)驗(yàn)豐富的眼科醫(yī)生交叉閱片確認(rèn)，當(dāng)2名醫(yī)生意見(jiàn)不一致時(shí)經(jīng)第3名高級(jí)眼科專(zhuān)家判定。所有圖片都已做脫敏處理，不包含任何患者隱私信息。本研究經(jīng)醫(yī)院倫理委員會(huì)審批通過(guò)。

1.2方法

1.2.1數(shù)據(jù)預(yù)處理圖片的預(yù)處理方法主要包括數(shù)據(jù)增強(qiáng)和數(shù)據(jù)標(biāo)準(zhǔn)化。

1.2.1.1數(shù)據(jù)增強(qiáng)本試驗(yàn)數(shù)據(jù)集數(shù)量有限，為防止試驗(yàn)結(jié)果差，使訓(xùn)練生成的模型泛化能力好，故對(duì)原始數(shù)據(jù)集進(jìn)行增強(qiáng)。采取的數(shù)據(jù)增強(qiáng)方法為：(1)對(duì)原始翼狀胬肉彩色眼前節(jié)圖片進(jìn)行水平翻轉(zhuǎn)；(2)對(duì)原圖和水平翻轉(zhuǎn)圖片分別旋轉(zhuǎn)-3°和3°；(3)產(chǎn)生出6倍的數(shù)據(jù)增強(qiáng)效果，見(jiàn)圖1。

圖1 翼狀胬肉數(shù)據(jù)集擴(kuò)增方法圖。

1.2.1.2數(shù)據(jù)標(biāo)準(zhǔn)化翼狀胬肉眼前節(jié)圖片是由RGB色彩通道構(gòu)成，其圖像特征是由3個(gè)范圍在[0,255]的像素值組成，特征值之間數(shù)據(jù)差異過(guò)大會(huì)影響模型的訓(xùn)練效果。標(biāo)準(zhǔn)化是指利用線性變換將各特征值縮放到相應(yīng)區(qū)間的一種方法。本試驗(yàn)采用了遷移學(xué)習(xí)算法，所以采用的預(yù)處理方法要與PyTorch深度學(xué)習(xí)框架中預(yù)訓(xùn)練模型所使用的方法一致，將圖片中的像素值標(biāo)準(zhǔn)化到[-1,1]范圍內(nèi)，這樣可以保證所有的圖像數(shù)據(jù)分布更集中，在訓(xùn)練的時(shí)候更容易收斂，便于加速訓(xùn)練過(guò)程。

1.2.2數(shù)據(jù)劃分本試驗(yàn)首先對(duì)三種類(lèi)別各250張翼狀胬肉眼前節(jié)圖片按9∶1比例劃分為試驗(yàn)訓(xùn)練集(225張)和驗(yàn)證集(25張)，然后對(duì)劃分的訓(xùn)練集做數(shù)據(jù)增強(qiáng)，每類(lèi)別擴(kuò)增為原來(lái)的6倍(1350張)，最終，原始數(shù)據(jù)被劃分為：訓(xùn)練集共675張，驗(yàn)證集共75張，共計(jì)750張。增強(qiáng)數(shù)據(jù)被劃分為：訓(xùn)練集共4050張，驗(yàn)證集共75張，共計(jì)4125張，見(jiàn)表1。

表1 試驗(yàn)數(shù)據(jù)集劃分 張

1.2.3模型訓(xùn)練由于本試驗(yàn)訓(xùn)練數(shù)據(jù)量少，若直接訓(xùn)練分類(lèi)模型，會(huì)出現(xiàn)分類(lèi)準(zhǔn)確率低和過(guò)擬合問(wèn)題。所以本研究采用遷移學(xué)習(xí)，一種將某個(gè)領(lǐng)域或任務(wù)上學(xué)習(xí)到的知識(shí)或模式應(yīng)用到不同但相關(guān)的領(lǐng)域或問(wèn)題中的方法，能在提升準(zhǔn)確率同時(shí)減少模型訓(xùn)練時(shí)間。

本研究分別在原始數(shù)據(jù)集和增強(qiáng)數(shù)據(jù)集上，使用遷移學(xué)習(xí)方法。選擇加載在ImageNet大數(shù)據(jù)集完成分類(lèi)任務(wù)的預(yù)訓(xùn)練模型VGG16、AlexNet、ResNet18、MobileNetV2、EfficientNetB0、EfficientNetB4和EfficientNetB7，其模型簡(jiǎn)單結(jié)構(gòu)如圖2所示，固定預(yù)訓(xùn)練模型卷積層參數(shù)，使用SGD優(yōu)化算法，經(jīng)過(guò)多次數(shù)據(jù)迭代，重新訓(xùn)練新分類(lèi)器參數(shù)來(lái)獲得翼狀胬肉三分類(lèi)模型。為了檢測(cè)模型效果，我們從臨床獲取了189張正常圖片，171張觀察期圖片和110張手術(shù)期圖片，共計(jì)470張進(jìn)行測(cè)試，對(duì)比兩種數(shù)據(jù)集上訓(xùn)練的14個(gè)模型測(cè)試結(jié)果，最終確定可用于自動(dòng)分類(lèi)系統(tǒng)的模型。為了降低因隨機(jī)劃分?jǐn)?shù)據(jù)，導(dǎo)致結(jié)果的偶然性，本試驗(yàn)設(shè)置不同隨機(jī)劃分參數(shù)，進(jìn)行了多次試驗(yàn)，可保證構(gòu)建模型的穩(wěn)定性。

圖2 本試驗(yàn)使用的深度學(xué)習(xí)網(wǎng)絡(luò)模型簡(jiǎn)單結(jié)構(gòu)圖。

1.2.4試驗(yàn)條件本試驗(yàn)使用的硬件配置為Intel(R) Xeon(R) Gold 5118CPU，主頻為2.30GHz，Tesla V100顯卡，32GB顯存，操作系統(tǒng)為Ubuntu18.04，深度學(xué)習(xí)框架為PyTorch，編程語(yǔ)言為Python。

統(tǒng)計(jì)學(xué)分析：采用SPSS25.0統(tǒng)計(jì)學(xué)軟件進(jìn)行統(tǒng)計(jì)分析。分別使用靈敏度、特異度、準(zhǔn)確率、Kappa值、受試者工作特征曲線曲線(receiver operator characteristic curve，ROC)及ROC曲線下面積(area under curve，AUC)指標(biāo)來(lái)分析模型測(cè)試效果。靈敏度越高，漏診率低；特異度越高，誤診率低；Kappa值在61%～80%為顯著一致性，>80%為高度一致性；ROC曲線分析不同模型診斷性能；AUC值在50%～70%認(rèn)為該指標(biāo)具有較低診斷價(jià)值，70%～85%認(rèn)為效果一般，>85%認(rèn)為該指標(biāo)具有很好的診斷價(jià)值。

2結(jié)果

2.1不同數(shù)據(jù)集測(cè)試結(jié)果比較本試驗(yàn)在原始數(shù)據(jù)集和增強(qiáng)數(shù)據(jù)集分別訓(xùn)練得到翼狀胬肉三分類(lèi)模型，使用470張臨床眼前節(jié)圖像對(duì)模型進(jìn)行測(cè)試，結(jié)果見(jiàn)表2、3。對(duì)比不同數(shù)據(jù)集的測(cè)試結(jié)果，增強(qiáng)數(shù)據(jù)集訓(xùn)練得到的模型取得更好的結(jié)果。準(zhǔn)確率：不同模型在數(shù)據(jù)增強(qiáng)后增長(zhǎng)0.5%～3%。Kappa值：不同模型在數(shù)據(jù)增強(qiáng)后增長(zhǎng)0.2%～4%，最高值為91.51%，是在增強(qiáng)數(shù)據(jù)集上訓(xùn)練的EfficientNetB7模型結(jié)果。靈敏度在數(shù)據(jù)增強(qiáng)后平均提升3.7%，特異度在數(shù)據(jù)增強(qiáng)后平均提升1.9%，AUC在數(shù)據(jù)增強(qiáng)后平均提升2.7%，最大AUC是在增強(qiáng)數(shù)據(jù)集訓(xùn)練的EfficientNetB7模型上取得，其平均值為95.46%?？傊ㄟ^(guò)隨機(jī)改變訓(xùn)練樣本進(jìn)行數(shù)據(jù)的增強(qiáng)可以降低模型對(duì)某些屬性的依賴(lài)，從而提高模型的泛化能力。數(shù)據(jù)增強(qiáng)讓有限的數(shù)據(jù)產(chǎn)生更多的數(shù)據(jù)，增加訓(xùn)練樣本的數(shù)量以及多樣性，可以訓(xùn)練模型識(shí)別更多的圖像特征，訓(xùn)練得到更好的參數(shù)，實(shí)現(xiàn)更好的分類(lèi)效果。

2.2不同模型間測(cè)試結(jié)果比較對(duì)比不同模型測(cè)試結(jié)果見(jiàn)表2、3。在原始數(shù)據(jù)集和增強(qiáng)數(shù)據(jù)集上，EfficientNetB7在靈敏度、特異度、AUC、準(zhǔn)確率和Kappa值評(píng)價(jià)指標(biāo)上均取得最好結(jié)果。在原始數(shù)據(jù)集上訓(xùn)練最好EfficientNetB7模型的準(zhǔn)確率為93.40%，Kappa值為89.89%，靈敏度平均值為92.55%，特異度平均值為96.86%，AUC平均值為94.70%。在增強(qiáng)數(shù)據(jù)集上，其準(zhǔn)確率為94.47%，Kappa值為91.51%，靈敏度平均值為93.63%，特異度平均值為97.34%，AUC平均值為95.47%，該模型具有很好的診斷價(jià)值。根據(jù)表3所示，對(duì)比不同模型大小和模型參數(shù)量，輕量化MobileNetV2模型大小僅為EfficientNetB7模型的1/8，準(zhǔn)確率相差2.5%，Kappa值相差3.8%，AUC相差1.7%，該模型也具有很好的診斷和應(yīng)用價(jià)值。EfficientNet不同輸入分辨率模型，整體表現(xiàn)出了很好的測(cè)試結(jié)果。為了準(zhǔn)確輔助醫(yī)生診斷，在增強(qiáng)數(shù)據(jù)集訓(xùn)練的EfficientNetB7模型具有很好的診斷價(jià)值，可以初步用于自動(dòng)分類(lèi)診斷系統(tǒng)。

表2 原始數(shù)據(jù)集上訓(xùn)練的不同模型測(cè)試結(jié)果

表3 增強(qiáng)數(shù)據(jù)集上訓(xùn)練的不同模型測(cè)試結(jié)果

3討論

翼狀胬肉是常見(jiàn)的眼表疾病之一，不斷增大的翼狀胬肉會(huì)導(dǎo)致眼球運(yùn)動(dòng)障礙等一系列問(wèn)題。翼狀胬肉患者多來(lái)自于農(nóng)村基層地區(qū)，但目前基層醫(yī)院專(zhuān)業(yè)眼科醫(yī)生少，培養(yǎng)周期長(zhǎng)，難以短時(shí)間解決當(dāng)前問(wèn)題。隨著AI技術(shù)在眼科領(lǐng)域的不斷成熟[20-24]，智能診斷系統(tǒng)的應(yīng)用，使用AI技術(shù)智能輔助翼狀胬肉診斷可以有效緩解農(nóng)村地區(qū)醫(yī)療需求?；谶@樣的出發(fā)點(diǎn)，本研究通過(guò)訓(xùn)練自動(dòng)分類(lèi)模型，智能輔助眼科醫(yī)生完成對(duì)翼狀胬肉的初期分類(lèi)診斷工作，縮短醫(yī)生診斷時(shí)間，減輕醫(yī)生工作量。

本研究中模型判別正常眼前節(jié)圖片結(jié)果高于判別觀察期和手術(shù)期眼前節(jié)圖片，其最好的EfficientNetB7模型靈敏度平均高9.6%，特異度平均高3.5%，AUC值平均高6.5%。主要原因是正常眼前節(jié)圖片更容易分辨，而觀察期和手術(shù)期眼前節(jié)圖片相似性強(qiáng)，分辨界限較為模糊。同時(shí)本研究試驗(yàn)訓(xùn)練數(shù)據(jù)只有750張，試驗(yàn)數(shù)據(jù)量少，模型對(duì)樣本數(shù)據(jù)特征學(xué)習(xí)少，整體泛化性能稍差。

翼狀胬肉使用深度學(xué)習(xí)方法實(shí)現(xiàn)自動(dòng)分類(lèi)研究較少，Zaki等從2018開(kāi)始發(fā)表翼狀胬肉有關(guān)分類(lèi)與檢測(cè)文章[14,17,19]，2020年最新研究開(kāi)發(fā)的翼狀胬肉二分類(lèi)輔助篩選平臺(tái)，能夠很好識(shí)別翼狀胬肉眼前節(jié)圖像和正常眼前節(jié)圖像，準(zhǔn)確率為99.22%、靈敏度為98.45%、特異度為100%、AUC值為100%[19]。將本研究觀察期和手術(shù)期圖像歸為翼狀胬肉類(lèi)，EfficientNetB7模型三分類(lèi)測(cè)試結(jié)果通過(guò)計(jì)算過(guò)渡為正常與翼狀胬肉二分類(lèi)結(jié)果后，準(zhǔn)確率為99.8%、靈敏度為100%、特異度為99.64%、AUC值為99.80%。

與Zaki等2020年結(jié)果想比，本研究準(zhǔn)確率和靈敏度更好，特異度和AUC值稍差，整體相差不大。

本研究試驗(yàn)中EfficientNet系列模型相比其他經(jīng)典模型取得了更好的三分類(lèi)測(cè)試結(jié)果，其中最好的EfficientNetB7模型準(zhǔn)確率為94.47%、Kappa值為91.51%、靈敏度平均值為93.63%、特異度平均值為97.34%、AUC平均值為95.47%。EfficientNetB7模型的網(wǎng)絡(luò)深度比其他模型更深，能獲取更多的圖像信息，提取更多的特征，可以獲得比其他模型更好的結(jié)果。

綜上所述，本研究采用深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)了翼狀胬肉自動(dòng)三分類(lèi)，通過(guò)對(duì)在原始數(shù)據(jù)集和增強(qiáng)數(shù)據(jù)集上訓(xùn)練的14個(gè)模型測(cè)試，結(jié)果表明在增強(qiáng)數(shù)據(jù)集上訓(xùn)練的EfficientNetB7模型具有較高靈敏度、特異度和AUC，可用于翼狀胬肉自動(dòng)分類(lèi)系統(tǒng)。該自動(dòng)分類(lèi)系統(tǒng)能較好地診斷翼狀胬肉疾病，有望成為基層醫(yī)療的有效篩查工具，為基層地區(qū)解決患者多醫(yī)療資源少的問(wèn)題提供一種方案，也為翼狀胬肉的細(xì)化分級(jí)研究提供參考。