基于遷移學(xué)習(xí)和數(shù)據(jù)增強(qiáng)策略構(gòu)建真菌性角膜炎鐮刀菌屬鑒定的智能診斷系統(tǒng)

黃光怡，唐寧寧，陳 琦，藍(lán)倩倩，蔣 莉，洪祎祎，呂 健，李 敏，曾思明，徐 帆

0引言

真菌性角膜炎是常見的致盲性眼病之一，在我國其病原菌主要為鐮刀菌屬(73.3%)和曲霉菌屬(12.1%)[1]，疾病的早期診斷和早期治療至關(guān)重要[2-4]。角膜活體共聚焦顯微鏡(invivoconfocal microscopy, IVCM)檢查對真菌性角膜炎診斷的陽性率較高[5-6]。隨著深度學(xué)習(xí)(deep learning)的發(fā)展，白內(nèi)障、糖尿病視網(wǎng)膜病變等眼病[7-9]的診斷模型問世。本課題組前期通過深度學(xué)習(xí)結(jié)合IVCM圖像，構(gòu)建真菌性角膜炎的智能診斷模型[10-11]。但是不同種屬的菌絲往往具有相似的形態(tài)學(xué)特征，IVCM檢查難以區(qū)分真菌種屬[12]，其鑒定方法主要為傳統(tǒng)培養(yǎng)。鐮刀菌屬是最常見的真菌性角膜炎致病菌，臨床預(yù)后較差[13]，故早期診斷非常重要。本研究結(jié)合遷移學(xué)習(xí)(transfer learning)和數(shù)據(jù)增強(qiáng)(data augmentation)，采用IVCM圖像建模對真菌性角膜炎病原菌鐮刀菌屬進(jìn)行智能鑒定，為疾病的早期診斷和治療提供依據(jù)。

1對象和方法

1.1對象本研究回顧性收集了2017-03/2020-01期間在廣西壯族自治區(qū)人民醫(yī)院因角膜病行IVCM檢查(海德堡HRT III/RCM)的患者76例，收集患者的IVCM圖像，共9380張。納入標(biāo)準(zhǔn)：患眼角膜刮片組織經(jīng)病原學(xué)培養(yǎng)確認(rèn)為真菌感染。排除標(biāo)準(zhǔn)：(1)檢查圖像模糊、變形等圖像質(zhì)量欠佳的患者。(2)合并其他可能對真菌性角膜炎造成影響的其他眼部疾病，如甲狀腺相關(guān)性眼病、并發(fā)細(xì)菌性角膜炎、病毒性角膜炎、角膜營養(yǎng)不良等。本研究遵守《赫爾辛基宣言》，經(jīng)醫(yī)院倫理委員會審核批準(zhǔn)(No.KS-SY-2020-1)。

1.2方法

1.2.1圖像篩選和分類由廣西壯族自治區(qū)人民醫(yī)院3名經(jīng)驗豐富的眼科醫(yī)師對收集的圖像進(jìn)行篩選，篩選出圖像中包含真菌菌絲的圖像，當(dāng)3名眼科醫(yī)師篩選結(jié)果一致時，則認(rèn)為該圖像中包含真菌菌絲；當(dāng)3名眼科醫(yī)師篩選結(jié)果不一致時，由另一名資歷超過15a的眼科主任醫(yī)師對圖像進(jìn)行審核，最終確定圖像是否包含真菌菌絲，通過上述步驟最終篩選出包含真菌菌絲的圖像共2157張。將篩選出的圖像，根據(jù)該患者角膜刮片真菌培養(yǎng)的結(jié)果進(jìn)行分類，分為鐮刀菌屬、黃曲霉菌、煙曲霉菌、刺盤孢、棘盤孢、毛色二孢菌6類(圖1)。

圖1 不同真菌菌屬的IVCM圖像(×800)，可見大量真菌菌絲(箭頭) A：鐮刀菌屬；B、C：其他菌屬真菌菌絲。

1.2.2圖像預(yù)處理將圖像統(tǒng)一處理成正方形圖像，像素大小為384×384。本研究選取標(biāo)注為鐮刀菌屬的IVCM圖像共1089張設(shè)置為正樣本數(shù)據(jù)集，選取標(biāo)注為黃曲霉菌、煙曲霉菌、刺盤孢、棘盤孢、毛色二孢菌的IVCM圖像共1068張設(shè)置為負(fù)樣本數(shù)據(jù)集。將正樣本和負(fù)樣本的數(shù)據(jù)集分別按比例隨機(jī)劃分，并組成訓(xùn)練集(train set)1380張、驗證集(validation set)345張和測試集(test set)432張。其中訓(xùn)練集用于對模型進(jìn)行訓(xùn)練，驗證集用于在訓(xùn)練過程中調(diào)節(jié)模型參數(shù)，測試集則用來最終評估模型的預(yù)測性能。

1.2.3數(shù)據(jù)增強(qiáng)為了訓(xùn)練得到一個性能良好的深度學(xué)習(xí)模型，訓(xùn)練的數(shù)據(jù)集至關(guān)重要，需要大量、豐富、代表性好的數(shù)據(jù)才能得到識別能力強(qiáng)和泛化能力好的模型。在國內(nèi)外的研究中發(fā)現(xiàn)[14-16]，數(shù)據(jù)增強(qiáng)策略可以在數(shù)據(jù)樣本有限的情況下，改進(jìn)模型的性能和泛化能力。本研究對訓(xùn)練集進(jìn)行數(shù)據(jù)增強(qiáng)處理，數(shù)據(jù)增強(qiáng)方法包括垂直翻轉(zhuǎn)、水平翻轉(zhuǎn)、垂直水平翻轉(zhuǎn)(圖2)，使訓(xùn)練集數(shù)據(jù)增加為原來的4倍(表1)。

表1 經(jīng)過數(shù)據(jù)增強(qiáng)后各個數(shù)據(jù)集的數(shù)據(jù)量大小 張

圖2 經(jīng)典數(shù)據(jù)增強(qiáng)策略處理后的IVCM圖像(×800)，可見大量真菌菌絲(箭頭) A：原始圖像；A1：垂直翻轉(zhuǎn)；A2：水平翻轉(zhuǎn)；A3:垂直水平翻轉(zhuǎn)處理的圖像；B：原始圖像；B1：垂直翻轉(zhuǎn)；B2：水平翻轉(zhuǎn)；B3:垂直水平翻轉(zhuǎn)處理的圖像。

1.2.4遷移學(xué)習(xí)構(gòu)建模型我們使用遷移學(xué)習(xí)策略搭建神經(jīng)網(wǎng)絡(luò)模型，通過比較之前的有關(guān)研究[11]，我們選擇了性能較好的Inception-ResNet V2模型的網(wǎng)絡(luò)，保留了在ImageNet數(shù)據(jù)集上預(yù)先訓(xùn)練的前部網(wǎng)絡(luò)和連接參數(shù)，該網(wǎng)絡(luò)的前部被用作數(shù)據(jù)集的固定特征提取器，最后的全連接層被移除，然后我們添加了由3個全連接層組成的自適應(yīng)層在網(wǎng)絡(luò)的最后，其中自適應(yīng)層的輸入是Inception-ResNet V2前部網(wǎng)絡(luò)的輸出向量，輸出是第3個全連接層的輸出，其激活函數(shù)為SoftMax，構(gòu)成了完整的訓(xùn)練模型。

1.2.5超參數(shù)設(shè)置本研究超參數(shù)設(shè)置如下，在進(jìn)行訓(xùn)練任務(wù)時，數(shù)據(jù)分批量進(jìn)行訓(xùn)練，訓(xùn)練批大小(batch size)設(shè)置為4，表示一次輸入用于模型訓(xùn)練的數(shù)據(jù)量為4；輪(Epoch)設(shè)置為20，這是根據(jù)訓(xùn)練過程中訓(xùn)練集損失率和驗證集損失率的變化確定的。損失函數(shù)選擇交叉熵?fù)p失函數(shù)；優(yōu)化器采用自適應(yīng)學(xué)習(xí)率優(yōu)化算法(RMSprop)，由于學(xué)習(xí)率是非常難以確定的超參數(shù)，因此我們初始學(xué)習(xí)率采用默認(rèn)值0.001，并在后期通過自適應(yīng)機(jī)制在多次訓(xùn)練中不斷調(diào)整學(xué)習(xí)率，以確定最終合適的學(xué)習(xí)率。其它初始參數(shù)權(quán)重則采用在Inception-ResNet V2網(wǎng)絡(luò)模型在ImageNet數(shù)據(jù)集上訓(xùn)練的所獲得的權(quán)重值，并通過反向傳播方法對網(wǎng)絡(luò)的權(quán)重進(jìn)行微調(diào)。

1.2.6評價指標(biāo)通過計算模型的特異度(specificity)，靈敏度(sensitivity)，準(zhǔn)確率(accuracy)，以及繪制受試者工作特征曲線(receiver operating characteristic curve，ROC)，并計算曲線下面積(area under ROC curve，AUC)對模型的預(yù)測性能進(jìn)行評估。其計算公式為

ROC是反映靈敏度和特異度連續(xù)變量的綜合指標(biāo)，以靈敏度為縱坐標(biāo)、(1-特異度)為橫坐標(biāo)繪制成曲線，AUC表示其曲線下面積，一般取值范圍為0～1.0，越接近1.0，表示模型的診斷性能越好。

1.2.7試驗環(huán)境本研究的訓(xùn)練過程是在NVIDIA Tesla T4 Tensor Core GPU上進(jìn)行的，訓(xùn)練一輪(1個Epoch)平均時間約292s，處理每張圖片的平均時間約0.21s。所有模型均使用Keras、Tensorflow2.3實現(xiàn)，程序是用Python編程語言(Python 3.7，Python Software Foundation)編寫。

統(tǒng)計學(xué)分析：采用SPSS 25.0統(tǒng)計學(xué)軟件進(jìn)行數(shù)據(jù)分析，通過計算模型的特異度、靈敏度、準(zhǔn)確率和繪制ROC曲線來反映模型的診斷性能，計算ROC曲線下面積、并與臨界水平0.5進(jìn)行比較，P<0.05表示差異具有統(tǒng)計學(xué)意義。

2結(jié)果

本研究納入鐮刀菌屬的IVCM圖像共1089張和黃曲霉菌、煙曲霉菌、白色念珠菌、刺盤孢和毛色二孢菌的IVCM圖像共1068張構(gòu)成原始數(shù)據(jù)集。結(jié)合遷移學(xué)習(xí)的方法利用Inception-ResNet V2網(wǎng)絡(luò)模型構(gòu)建智能診斷系統(tǒng)，該系統(tǒng)的測試結(jié)果為真陽性樣本154張，假陽性樣本62張，真陰性樣本156張，假陰性樣本60張(表2)，經(jīng)計算顯示該系統(tǒng)的特異度為71.6%，靈敏度為72.0%，準(zhǔn)確率為71.8%，AUC為0.785(95%CI：0.742～0.828，P<0.0001)，見圖3。

表2 原始數(shù)據(jù)集模型的預(yù)測結(jié)果 張

本研究通過數(shù)據(jù)增強(qiáng)策略對原始數(shù)據(jù)集進(jìn)行擴(kuò)展，使訓(xùn)練集數(shù)量增加為原來的4倍，構(gòu)建增強(qiáng)數(shù)據(jù)集，并使用相同的方法構(gòu)建智能診系統(tǒng)，該系統(tǒng)的測試結(jié)果為真陽性樣本178張，假陽性樣本51張，真陰性樣本167張，假陰性樣本36張(表3)，經(jīng)計算顯示該系統(tǒng)的特異度為76.6%，靈敏度為83.1%，準(zhǔn)確率為79.9%，AUC為0.876(95%CI：0.843～0.909，P<0.0001)，見圖3。我們發(fā)現(xiàn)通過數(shù)據(jù)增強(qiáng)策略，該智能診斷系統(tǒng)的診斷效能均較前提高，說明該智能診斷系統(tǒng)對鐮刀菌屬感染的真菌性角膜炎具有良好的診斷效能，可用于真菌性角膜炎病原菌鐮刀菌屬的智能診斷。

表3 增強(qiáng)數(shù)據(jù)集模型的預(yù)測結(jié)果 張

圖3 原始數(shù)據(jù)集和增強(qiáng)數(shù)據(jù)集訓(xùn)練模型的ROC曲線。

3討論

角膜疾病仍然是全世界單眼失明的主要原因，其中感染性角膜炎是引起角膜混濁的主要原因[17]，真菌性角膜炎是我國感染性角膜炎致盲的首位疾病[1]，其處理的關(guān)鍵因素是及時的診斷和正確的治療[2,18]。我們在之前的研究中利用IVCM圖像構(gòu)建了一個基于深度學(xué)習(xí)的智能診斷系統(tǒng)，其對感染性角膜炎中真菌菌絲檢測的準(zhǔn)確率達(dá)到96.2%，實現(xiàn)了對真菌性角膜炎的智能識別和早期診斷[10]。真菌性角膜炎的治療主要為抗真菌藥物，目前抗真菌的藥物種類較多，研究發(fā)現(xiàn)不同抗真菌藥物的最低抑菌濃度因真菌菌株而異[19]，因此我們在進(jìn)行抗真菌藥物治療之前，對致病真菌進(jìn)行菌株鑒定十分必要。但目前真菌的種屬鑒定仍依賴于傳統(tǒng)微生物培養(yǎng)，耗時久，無法為疾病的早期治療提供依據(jù)。

在本研究中我們采用IVCM圖像，利用深度學(xué)習(xí)的方法構(gòu)建智能診斷模型，通過ROC曲線計算模型對鐮刀菌屬檢測的AUC為0.876，說明該智能診斷模型對鐮刀菌屬的分類效果很好，實現(xiàn)了對真菌性角膜炎病原菌鐮刀菌屬的智能診斷，為真菌性角膜炎的早期治療用藥提供重要依據(jù)。本研究中構(gòu)建的智能診斷模型的特異度為76.6%，在既往的研究中通過深度學(xué)習(xí)方法的構(gòu)建診斷系統(tǒng)對炎癥細(xì)胞檢測的特異度為99.31%[11]，對活化樹突狀細(xì)胞檢測的特異度為95.17%[11]，對真菌菌絲檢測的特異度為98.34%[10]。我們認(rèn)為本研究中的智能診斷模型特異度不高的原因可能是因為分辨的任務(wù)難度較大，既往研究中的炎癥細(xì)胞在影像上呈小而明亮的高反射圓點，其特征清晰穩(wěn)定，易于辨別，而本研究中鐮刀菌屬和其他真菌菌屬的形態(tài)學(xué)特征相似，在IVCM圖像中難以區(qū)分，訓(xùn)練任務(wù)的難度較大。這也提示我們在臨床工作中仍需要結(jié)合患者病史、體征等信息進(jìn)行綜合分析，避免誤診。

隨著計算機(jī)技術(shù)的發(fā)展和醫(yī)療行為中產(chǎn)生的大量數(shù)據(jù)，深度學(xué)習(xí)技術(shù)在智慧醫(yī)療領(lǐng)域的應(yīng)用日漸成熟，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network)是典型的深度學(xué)習(xí)網(wǎng)絡(luò)模型之一[20]。相比傳統(tǒng)的機(jī)器學(xué)習(xí)方法，卷積神經(jīng)網(wǎng)絡(luò)可以通過分層自動提取有效特征。在傳統(tǒng)機(jī)器學(xué)習(xí)的方法中，比如支持向量機(jī)(SVM)[21]等算法，需要對圖像進(jìn)行分類和在圖像上標(biāo)注出病變的區(qū)域，而卷積神經(jīng)網(wǎng)絡(luò)可以自動提取有效特征的特點，為研究人員節(jié)省大量的時間和精力[20]。然而要獲得一個準(zhǔn)確率高且泛化能力強(qiáng)的卷積神經(jīng)網(wǎng)絡(luò)分類模型，依賴于在訓(xùn)練過程中大量圖像數(shù)據(jù)不斷的迭代和參數(shù)的調(diào)整[22]。

但是實際的情況是，我們在臨床工作中獲得的圖像數(shù)據(jù)往往是有限的，而且進(jìn)行大批量的圖像標(biāo)注和篩選，需要耗費大量的人力、物力和時間。因此如何利用少量有標(biāo)簽的樣本進(jìn)行訓(xùn)練，建立一個性能可靠的模型對目標(biāo)任務(wù)進(jìn)行分類和預(yù)測是待解決的關(guān)鍵問題。遷移學(xué)習(xí)的提出正好可以解決這一問題[23]，遷移學(xué)習(xí)指將在其他領(lǐng)域中學(xué)習(xí)獲得的知識，遷移到不同但是相關(guān)的目標(biāo)領(lǐng)域中，解決新問題的一種新的機(jī)器學(xué)習(xí)方法，目前在計算機(jī)視覺[24]、藥物發(fā)現(xiàn)[25]等領(lǐng)域的應(yīng)用取得良好的效果。這種遷移得以實現(xiàn)的基礎(chǔ)是兩個領(lǐng)域需要具有相同的要素，在Zhou等[26]研究中，他們成功地用基于VGG-16的遷移學(xué)習(xí)模型實現(xiàn)了甲狀腺結(jié)節(jié)超聲診斷的應(yīng)用，獲得了較高的準(zhǔn)確率。在一項關(guān)于青光眼性視神經(jīng)病變的智能識別的研究[27]中發(fā)現(xiàn)使用遷移學(xué)習(xí)的網(wǎng)絡(luò)模型具有更好的初始性能，可以在更短的時間內(nèi)達(dá)到收斂，并且相比原始模型而言，遷移學(xué)習(xí)模型的預(yù)測性能表現(xiàn)能更好。但是需要注意的是，并不是所有的遷移都能獲得理想的效果，當(dāng)兩個領(lǐng)域共同的因素越少時，遷移的難度越大，甚至可能出現(xiàn)相反的遷移效應(yīng)[25,28-29]。

數(shù)據(jù)集對模型的效能有重要的作用[22]，為了充分發(fā)揮數(shù)據(jù)集的作用，以及最大化利用現(xiàn)有的數(shù)據(jù)集，數(shù)據(jù)增強(qiáng)是目前應(yīng)用廣泛的一種技術(shù)[30]，但目前并沒有研究驗證過在IVCM圖像上是否適用。有研究顯示數(shù)據(jù)增強(qiáng)能夠提升深度學(xué)習(xí)模型的準(zhǔn)確性，并減少過擬合[31-32]。在高友文等[33]的研究中，他們通過圖像剪裁、鏡像變換等數(shù)據(jù)增強(qiáng)手段，應(yīng)用AlexNet網(wǎng)絡(luò)模型對公開數(shù)據(jù)集進(jìn)行識別，發(fā)現(xiàn)模型的準(zhǔn)確率較前提升。在本研究中，我們結(jié)合研究的任務(wù)和圖像的特征，盡可能保留了IVCM圖像中菌絲的形態(tài)特征，采用了垂直翻轉(zhuǎn)、水平翻轉(zhuǎn)、垂直水平翻轉(zhuǎn)的方式對圖像進(jìn)行處理，使用增強(qiáng)數(shù)據(jù)集訓(xùn)練的模型AUC從0.785提升到0.876，與之前的研究結(jié)果相似，本研究發(fā)現(xiàn)數(shù)據(jù)增強(qiáng)能夠提升模型的準(zhǔn)確性和泛化能力。此外，有學(xué)者提出數(shù)據(jù)增強(qiáng)的方法并不適用于所有深度學(xué)習(xí)模型的訓(xùn)練，不恰當(dāng)?shù)脑鰪?qiáng)方法反而可能會訓(xùn)練出性能欠佳的模型[34]，因此，我們選擇數(shù)據(jù)增強(qiáng)手段的時候需要結(jié)合本身數(shù)據(jù)集的情況靈活運用。

我們采用遷移學(xué)習(xí)聯(lián)合數(shù)據(jù)增強(qiáng)的方法構(gòu)建出智能診斷模型，實現(xiàn)了對真菌性角膜炎的病原菌鐮刀菌屬的識別，為眼科醫(yī)師的臨床診療工作提供重要依據(jù)。相比傳統(tǒng)的形態(tài)學(xué)、生物學(xué)和病理學(xué)檢查方法，IVCM檢查可以直接多層次立體地觀察角膜結(jié)構(gòu)的細(xì)胞圖像，省去傳統(tǒng)組織切片、固定和染色等步驟，為無創(chuàng)性檢查，更利于檢查的廣泛開展，本研究中結(jié)合深度學(xué)習(xí)構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型實現(xiàn)了對IVCM圖像病原菌進(jìn)行智能診斷，可以即時的提供真菌性角膜炎患者的致病真菌的鑒定結(jié)果，相比傳統(tǒng)的角膜刮片鏡檢、角膜刮片培養(yǎng)等檢查更快速、方便和經(jīng)濟(jì)，對真菌性角膜炎的臨床治療具有重要的意義，也為病原菌的鑒定提供了新方向和新思路。

此外，本研究也具有一定的局限性，表現(xiàn)在如下方面：(1)本課題組僅在真菌性角膜炎的IVCM圖像上研究了這個問題，可以在更多的應(yīng)用場景進(jìn)行驗證。(2)樣本的收集工作均在同一家醫(yī)院完成，未來應(yīng)進(jìn)一步進(jìn)行多中心的研究和驗證，另外本研究樣本量有限，未來研究將進(jìn)一步擴(kuò)大樣本量，增加數(shù)據(jù)異質(zhì)性，從而訓(xùn)練泛化性更強(qiáng)的模型。(3)本研究實現(xiàn)了對真菌性角膜炎病原菌鐮刀菌屬的識別，相比傳統(tǒng)真菌培養(yǎng)，雖然耗時短，但是無法進(jìn)一步進(jìn)行藥敏試驗，為抗真菌藥物的選擇提供準(zhǔn)確科學(xué)的依據(jù)，因此，真菌培養(yǎng)試驗對感染性角膜炎的診治仍然具有重要作用。(4)在進(jìn)一步的研究中，我們將結(jié)合多模態(tài)診療模式，以期可以進(jìn)一步改進(jìn)模型的性能和泛化能力。

本研究結(jié)果顯示結(jié)合遷移學(xué)習(xí)和數(shù)據(jù)增強(qiáng)策略構(gòu)建的智能診斷模型，可以提高模型的效能，具有較高的準(zhǔn)確性，實現(xiàn)了對真菌性角膜炎病原菌鐮刀菌屬的智能診斷，有助于更早地判斷致病真菌的菌屬，可以快速及時地為醫(yī)生提供診斷依據(jù)，對真菌性角膜炎的早期治療具有重要意義。