深度學習在肺炎檢測中的研究綜述

李 新, 陳 帆, 郝海江,黃 琳, 劉亞榮

(桂林理工大學 a.信息科學與工程學院; b.廣西嵌入式技術(shù)與智能系統(tǒng)重點實驗室, 廣西 桂林 541006)

0 引 言

肺炎是臨床醫(yī)學中最常見的感染性疾病之一[1], 其發(fā)病周期短、 成因復雜, 免疫力相對低下的兒童和老年人更是易感人群。 據(jù)世界衛(wèi)生組織報告, 僅2016年, 全球就有80多萬人死于肺炎, 死亡人數(shù)超過瘧疾、 艾滋病和麻疹的總和[2-3]。 因此, 及時的診斷肺炎并且進行治療是非常重要的。目前診斷肺部疾病的主要方法有X射線[4]、 計算機斷層掃描(CT)[5]、 磁共振成像(magnetic resonance imaging, MRI)等[6]。 由于X射線和CT價格相對便宜, 成像質(zhì)量適中等優(yōu)點, 是大多數(shù)病人選擇的檢查方式。在肺部胸片上檢測[7]是否患有肺炎，要求醫(yī)生有過硬的專業(yè)知識和豐富的臨床經(jīng)驗, 是一項極具挑戰(zhàn)性的工作。 此外，對于醫(yī)生來說, 每天花費大量時間來觀察大量肺部影像, 難免存在視覺疲勞, 出現(xiàn)誤診、 漏診等情況，計算機輔助診斷系統(tǒng) (computer-aided designs, CAD)應(yīng)運而生[8]。

深度學習作為人工智能領(lǐng)域的一個重要分支[9], 其出現(xiàn)開辟了現(xiàn)代計算機領(lǐng)域的一個新興研究方向。它是由Hinton等在2006年所提出, 其本質(zhì)是有監(jiān)督的學習[10], 使用原始或者經(jīng)過預處理帶有明確標簽的數(shù)據(jù)作為卷積神經(jīng)網(wǎng)絡(luò)算法的輸入； 然后算法對數(shù)據(jù)進行分層抽象處理, 將原始的輸入數(shù)據(jù)一層一層地抽象成其自身任務(wù)所需要的目標特征[11]； 最后將學習到的特性映射到任務(wù)目標作為結(jié)束。 深度學習與傳統(tǒng)的淺層學習的主要區(qū)別在于淺層學習(圖1)基本上只有輸入輸出和一層隱藏層; 而深度學習(圖2)主要是強調(diào)模型結(jié)構(gòu)的深度[12], 一般具有多層隱藏層(包含多層的卷積層和池化層), 深層網(wǎng)絡(luò)意味著擁有更好的非線性表達能力, 可以學習到更加復雜的非線性變換, 從而擬合更加復雜的輸入特征。因此,深度學習方法成為目前計算機輔助診斷領(lǐng)域所使用最為廣泛的方法，本文就深度學習在肺炎檢測中的研究現(xiàn)狀展開詳細討論,充分描述了目前肺炎檢測所取得的成果以及所面臨的問題，并給出了進一步的研究建議。

圖1 傳統(tǒng)淺層神經(jīng)網(wǎng)絡(luò)結(jié)點

圖2 深度神經(jīng)網(wǎng)絡(luò)一般模型結(jié)構(gòu)

1 深度學習模型

在2012年ImageNet競賽[13]上, 由Krizhevsky等[14]設(shè)計的AlexNet卷積神經(jīng)網(wǎng)絡(luò)模型(CNN)取得冠軍, 使得CNN成為圖像識別檢測等領(lǐng)域的核心算法模型。 隨后，大量優(yōu)秀模型相繼問世, 例如VGGNet[15]、 GoogleNet[16]、 ResNet[17]、 ResNext[18]等。其詳細參數(shù)以及Top5錯誤率如表1所示。

2 數(shù)據(jù)集

肺炎圖像數(shù)據(jù)集的獲取途徑特殊, 一般情況下只能在醫(yī)院獲得。文獻中所用到的數(shù)據(jù)集多是通過和一些大型醫(yī)院進行合作所得, 并未公開, 因此數(shù)據(jù)集獲取存在一定難度; 另外, 由于醫(yī)學影像的專業(yè)性, 其標注成本相對較高, 通常都是由1～2位經(jīng)驗豐富的專業(yè)醫(yī)學影像醫(yī)生進行標注, 再由1～2位醫(yī)生檢查標注結(jié)果, 這也是導致公開肺部醫(yī)學圖像數(shù)據(jù)集較少的原因之一。目前有3個比較大型的公開肺部影像數(shù)據(jù)集可以供學者進行研究。

(1)NIH Chest X-ray。此公開數(shù)據(jù)集是由美國國立衛(wèi)生研究院(national institutes of health, NIH)[19]所提供, 有112 120張X射線肺部影像, 包括肺炎在內(nèi)的14種胸部疾病, 研究人員在原始數(shù)據(jù)集上采用自然語言處理(NLP)的方式對圖片進行標注, 正確率超過90%, 由于其自身標簽就存在一定的誤差性, 因此采用此數(shù)據(jù)集進行研究所得到的結(jié)果一般都沒有其他兩個數(shù)據(jù)集所得到的結(jié)果理想。

(2)Chest X-ray Images。此數(shù)據(jù)集是加州大學圣迭戈分校Kermany等[20]在2018年間收集的廣州婦女兒童醫(yī)學中心1～5歲兒童肺部的5 863張胸片, 分為正常和肺炎兩個類別。 在此數(shù)據(jù)集上利用遷移學習的方法得到高達92.80%的準確率[21], 部分肺部影像如圖3所示。

(3)肺炎識別比賽公開數(shù)據(jù)集。 此數(shù)據(jù)集是2018年9月由北美放射協(xié)會(RSNA?)聯(lián)合Kaggle公司發(fā)起的醫(yī)學圖像肺炎識別比賽中提供的數(shù)據(jù)集[22]。 每組胸片還提供了患者的肺部病灶邊界框值、 目標值等; 此外數(shù)據(jù)集分為肺炎和非肺炎(包括正常和非肺炎異常組)。

表1 卷積神經(jīng)網(wǎng)絡(luò)不同模型的參數(shù)信息

圖3 胸部 X-ray部分影像[20]

3 國內(nèi)外研究現(xiàn)狀分析

3.1 傳統(tǒng)檢測方法

早期, 在肺炎檢測領(lǐng)域大多數(shù)采用傳統(tǒng)圖像處理[23]和機器學習[24]的方法對肺炎進行檢測, 如范炤等[25]提出了一種基于BP人工神經(jīng)網(wǎng)絡(luò)的肺炎預測模型，將肺炎的多個致病因素作為網(wǎng)絡(luò)模型的輸入，使用反向傳播算法對參數(shù)進行更新后達到肺炎預測目的，相對于如今的卷積神經(jīng)網(wǎng)絡(luò)，出現(xiàn)了網(wǎng)絡(luò)泛化能力不強、預測準確率不高等問題。袁茂州[26]使用LBP算法以及灰度共生矩陣來提取圖像只含肺部區(qū)域的特征, 結(jié)合支持向量機(SVM)分類器對肺部圖像進行識別, 然而新算法需要人工設(shè)置閾值, 提取到的肺部特征較為單一。王忠闖等[27]同樣是采用SVM的方法，針對感染肺炎后無法準確監(jiān)測病人的實時情況提出了一種基于支持向量機的呼吸器肺炎檢測方案，經(jīng)過交叉驗證和受試者工程特征曲線對搭建后的模型進行評估，其結(jié)果為?？漆t(yī)師提供了一定的參考作用。 王家銘等[28]采用KNN分類器, 最終也是只達到了75%的精確率。 岳路等[29]利用經(jīng)典的決策樹算法, 對200例的小兒肺炎進行分類, 準確率達到了80%。 朱碧云等[30]利用小波變換的熵紋理特征進行塵肺病分類診斷的研究, 準確率達到了84.6%。 2017年傅星瑜等[31]在采用小波變換和BP神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上提出了一種特征提取和分類不穩(wěn)定的肺音信號識別方法[32]來診斷肺炎, 在識別肺炎的過程中表現(xiàn)良好。

這類傳統(tǒng)方法一般需要人工提取特征, 并且對于肺部X射線影像而言, 需要研究人員有一定的醫(yī)學知識或者交叉學科基礎(chǔ), 因此人工提取特征存在一定的誤差性, 所得出的檢測結(jié)果也不十分理想, 目前已逐漸淡出肺炎檢測研究領(lǐng)域。

3.2 深度學習檢測方法

深度學習方法作為目前計算機視覺分類、 目標檢測領(lǐng)域的主流研究方法, 表現(xiàn)出強大的競爭力。針對傳統(tǒng)方法檢測過程中耗時耗力、 檢測準確率不高等問題， 為進一步提升識別效率和結(jié)果, 研究人員將深度學習方法引入肺炎檢測領(lǐng)域。深度學習成為提升醫(yī)學圖像分類識別效率的突破口, 其端到端的應(yīng)用方式、 高精度的分類結(jié)果是目前肺炎識別領(lǐng)域的研究熱點。

3.2.1 分類識別 分類是指將圖片結(jié)構(gòu)化為某一類別信息, 將標注好類別或者屬性ID的圖片經(jīng)過分類算法得出類別結(jié)果。 基于深度學習的分類方法在訓練階段通過大量的訓練數(shù)據(jù)優(yōu)化網(wǎng)絡(luò)的參數(shù), 在測試階段, 網(wǎng)絡(luò)可以通過多層卷積快速得到待求的類別, 而無需再進行繁瑣的數(shù)值優(yōu)化; 不足之處在于不能對圖片中特定信息(如肺炎檢測中病灶區(qū)域的定位)進行更為詳細的解釋。

潘麗艷等[33]提出一種基于改進AlexNet方法并結(jié)合遷移學習對肺炎胸片進行了細菌型和病毒性肺炎進行了判別:先利用AlexNet的全卷積神經(jīng)網(wǎng)絡(luò)對肺部胸片進行左右肺區(qū)的分割, 排除其他非肺部組織對檢測結(jié)果的干擾, 該網(wǎng)絡(luò)使用了3個卷積層替換了原來AlexNet網(wǎng)絡(luò)中的最后面3個全連接層, 使輸入的圖片大小和輸出的圖片大小保持一致; 算法采用Dice系數(shù)來進行分割效果評價, 最終平均Dice系數(shù)為0.90, 將分割后的圖片采用改進AlexNet+SVM的分類方法, 最后得到準確率為80.48%, 特異度為82.07%, 靈敏度為77.55%。劉長征等[34]提出一種改進的卷積神經(jīng)網(wǎng)絡(luò):該網(wǎng)絡(luò)由3個卷積層、 3個層和1個全連接層組成, 并且對卷積層進行了特殊處理, 加入了兩個標志符號, 有效抑制不活躍的肺部圖像信息, 同時也防止了過擬合的出現(xiàn); 前期預處理時采用趙恒等提出的閾值分割算法[35]，將分割后的肺部圖像送入到卷積神經(jīng)網(wǎng)絡(luò)中, 使用來自哈爾濱醫(yī)科大學附屬第二醫(yī)院的2 000張肺部CT(該數(shù)據(jù)集并沒有公開)，最終達到86.75%的識別率。

雖然以上文獻采用的都是深度學習技術(shù), 但由于采用的是經(jīng)典算法, 所用網(wǎng)絡(luò)結(jié)構(gòu)相對單一, 泛化能力不強, 以及使用了早期效果一般的激活函數(shù)， 在反向傳播的過程中或多或少出現(xiàn)了梯度爆炸或者梯度消失的情況, 導致在迭代的過程中出現(xiàn)了識別率飽和的現(xiàn)象。

為解決肺炎數(shù)據(jù)集中數(shù)據(jù)量不夠的問題, 遷移學習目前已經(jīng)成為了深度學習中醫(yī)學圖像輔助檢測的主流方法, 不僅解決了醫(yī)學圖像數(shù)據(jù)規(guī)模不夠的問題, 同時也解決了難以從開始就訓練大型網(wǎng)絡(luò)的問題，它采用已在大型數(shù)據(jù)集上(如ImageNet或者特征相近其他大型數(shù)據(jù)集)訓練好的權(quán)重, 將權(quán)重文件遷移到新的網(wǎng)絡(luò)中后再對網(wǎng)絡(luò)進行優(yōu)化改進。如鄧棋等[36]采用了一種基于知識蒸餾[37]并結(jié)合優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò)的方法, 根據(jù)肺部CT圖像的特點, 選用AlexNet和Inception V3深度學習模型網(wǎng)絡(luò), 利用遷移學習的方法有效避免了由于數(shù)據(jù)量過小而易引起的過擬合等問題, 具體實現(xiàn)過程如圖4所示。

圖4 知識蒸餾網(wǎng)絡(luò)模型

先將Teacher Module的訓練結(jié)果用指定的參數(shù)T“軟化”, 再利用激活函數(shù)softmax得到經(jīng)過T軟化后的概率, 具體計算式為

其中:i表示某一類別；qi為教師模型所得出的某一類結(jié)果的可能性;zi為教師模型中第i類的輸出值，zj為教師模型中總輸出值，j為分類類別數(shù)，本文為作二分類問題，j取值為1,2；T為軟化參數(shù)。模型的最終準確率達到了92.48%， 損失為0.023。

Liang等[38]同樣采用了遷移學習的思路, 基于ResNet殘差網(wǎng)絡(luò), 通過引入殘差的思想, 來解決隨著網(wǎng)絡(luò)深度不斷增加, 效果越差的問題。該網(wǎng)絡(luò)由49個卷積層和2個全連接層組成, 通過空洞卷積[39]的方式, 使得原始網(wǎng)絡(luò)分辨率不變, 圖像空間分辨率損失最小化, 空洞卷積的原理如圖5所示, 可看出, 空洞卷積支持在不增加核參數(shù)的情況下增加卷積核的感受域, 有效避免了過度丟失特征圖的分辨率, 達到了90.50%的準確率。

何新宇等[40]采用在ImageNet數(shù)據(jù)集上預訓練好的GoogleNet Inception V3模型進行特征提取, 在該深度學習模型中加入由2層全連接層(神經(jīng)元個數(shù)分別為1 024和512)和1個Dropout層所組成的特征融合層, 并結(jié)合隨機森林分類器, 在公開數(shù)據(jù)集Chest X-Ray Images肺炎數(shù)據(jù)集上進行了一系列的測試, 準確率達到了96.77%, 敏感度達到97.56%, 特異度達到94.26%, 此成果為目前肺炎檢測中所取得的最好研究成果。

圖5 膨脹系數(shù)為1(a)、 2(b)、 3(c)的3×3空洞卷積結(jié)構(gòu)圖

在有關(guān)肺炎檢測研究中, 使用的大多是層數(shù)較深的網(wǎng)絡(luò), 多層卷積以及多樣化的卷積核具有更好的特征擬合泛化能力。2017年Wang等[41]使用自建的Chest X-ray8, 即前文面所提到的公開數(shù)據(jù)集NIH Chest X-ray的子數(shù)據(jù)集, 來判定和定位肺不張、 心臟肥大、 肺炎等8種胸部疾病, 其中肺炎識別的精確率最高達到了63.33%。 Yao等[42]利用標簽之間的統(tǒng)計依賴關(guān)系來進行更加準確的預測, 其結(jié)果優(yōu)于文獻[19]研究中14個分組中的13個, 其中肺炎的精確率為71.3%，識別精確率較低的原因是因為數(shù)據(jù)集本身存在部分錯誤標簽, 并且多種胸部疾病的影像特征相近、 分類類別較多, 因此最終識別效果不高。 Rajpurkar 等[43]設(shè)計了一種叫作CheXNet的121層卷積神經(jīng)網(wǎng)絡(luò), 在目前最大的胸部X射線數(shù)據(jù)集Chest X-ray14上訓練、 測試, 所得結(jié)果與4位從事學術(shù)研究的放射學家的標注結(jié)果進行了對比, 結(jié)果表明在CheXNet上得到的指標中F1-score超過了放射科醫(yī)生的平均水平。Varshni等[44]使用在ImageNet上預訓練好的Xception[45]、 RestNet-50、 DensNet-121、 DensNet-169[46]等卷積神經(jīng)網(wǎng)絡(luò), 隨后結(jié)合隨機森林、 KNN、 樸素貝葉斯、 SVM分類器對其性能進行了評估, 最后在Chest X-ray14數(shù)據(jù)集上進行數(shù)據(jù)處理, 挑選出了1 431張帶有肺炎標簽的圖片； 為了平衡數(shù)據(jù)集, 同樣在該數(shù)據(jù)集上挑選出了1 431張標記為無發(fā)現(xiàn)的正常胸片, 然后將數(shù)據(jù)集分為訓練集和測試集, 結(jié)果顯示:在RestNet-169結(jié)合帶rbf核的SVM分類器并對網(wǎng)絡(luò)進行超參數(shù)調(diào)節(jié)后表現(xiàn)出了最好結(jié)果, 其評價指標AUC(area under the curve)值達到了0.800 2, 結(jié)合多種網(wǎng)絡(luò)和多種分類器, 進一步提升了分類效果。

3.2.2 目標檢測定位識別 深度學習具有自動從網(wǎng)絡(luò)中學習深層次、 鑒別特征的能力, 已在醫(yī)學圖像檢測定位領(lǐng)域廣泛應(yīng)用。 目標檢測的深度學習方法優(yōu)點在于不僅進行了類別識別, 同時也根據(jù)標簽信息將感興趣的區(qū)域(病灶區(qū)域)檢測出來, 在肺炎檢測領(lǐng)域更好地幫助醫(yī)生快速定位病灶點; 其缺點在于當圖片存在多個感興趣區(qū)域時檢測難度大大增加, 檢測結(jié)果準確性有待提高。

在目標檢測方面:Mubarok等[47]使用了由北美放射協(xié)會RSNA?聯(lián)合Kaggle公司提供的肺炎挑戰(zhàn)賽中的公開數(shù)據(jù)集, 基于ResNet和Mask-RCNN[48]兩個深度學習模型, 在ResNet的基礎(chǔ)之上實現(xiàn)了在每次卷積和使用激活函數(shù)之后進行批處理歸一化, 并且在訓練的過程中采用余弦退火算法來優(yōu)化學習率； 對于損失函數(shù), 結(jié)合了IOU和二元交叉熵。在Mask-RCNN上采用了自底而上和自頂而下兩種提取特征的路徑, 采用準確率、 敏感度、 特異度3個醫(yī)學圖像檢測常用的評價指標, Residual Network和Mask-RCNN的結(jié)果分別為85.60%、 51.52%、 94.83%和78.06%、 36.12%、 85.54%，并且利用Mask-RCNN進行了病灶區(qū)域的定位, 具體定位結(jié)果如圖6所示。

圖6 由Mask-RCNN給出的定位信息[53]

文獻[49]使用與前文所述都不相同的深度神經(jīng)網(wǎng)絡(luò)——CoupleNet[50]的全卷積神經(jīng)網(wǎng)絡(luò)： 先通過基本網(wǎng)絡(luò)將圖片信息傳送到區(qū)域建議網(wǎng)絡(luò)來產(chǎn)生Proposal區(qū)域； 然后每一個Proposal被傳送給兩個分支, 第一個分支使用位置敏感RoI pooling[51]來獲取本地信息, 第二個分支用來提取全局的上下文信息； 最后合并這兩個分支的輸出, 生成基于本地信息和全局信息的預測， 預測結(jié)果如圖7所示(紅色為預測框信息, 綠色框為真實信息)。

從某種程度上看, 在肺炎識別領(lǐng)域目標檢測的方法要優(yōu)于分類方法。 分類的方法僅是給出是否患有肺炎, 而目標檢測方法不僅區(qū)分出是否患有肺炎并且還給出了具體病灶區(qū)域的候選框, 真正達到了輔助醫(yī)生進行疾病的診斷,減少了醫(yī)生的負擔, 不足之處在于目前此方面的相關(guān)文獻不多, 同時相關(guān)文獻中肺炎病灶區(qū)域定位準確率還有待提高。

3.3 算法總結(jié)

由于多數(shù)研究者是利用不同的方法在不同的數(shù)據(jù)集上進行實驗, 而且不同的實驗環(huán)境和設(shè)備以及不同的數(shù)據(jù)集預處理方式和評價指標都會對最后的結(jié)果產(chǎn)生影響。在Chest X-ray Images數(shù)據(jù)集上進行研究的文獻較多, 對此數(shù)據(jù)集上的研究成果進行了對比總結(jié), 其結(jié)果如表2所示。

圖7 文獻[49]中的定位結(jié)果

表2 在Chest X-ray Images數(shù)據(jù)集上已有研究成果對比

4 總結(jié)與展望

隨著深度學習浪潮的涌起, 很多文獻在研究利用深度學習方法來進行肺炎的檢測診斷需求， 盡管取得了一定的進展, 但是其效果仍不能完全滿足實際的肺炎診斷。 究其原因, 主要是醫(yī)學疾病診斷的嚴謹性, 在當前技術(shù)不成熟的情況下仍然需要專業(yè)醫(yī)生再次把關(guān), 最終結(jié)果還是需要醫(yī)生根據(jù)以往的臨床診斷經(jīng)驗和專業(yè)知識來做最后的判別。多數(shù)研究人員只是對肺部影像進行了是否屬于肺炎的判別, 而肺炎具有多種類型, 例如大葉型肺炎、 支氣管肺炎、 間質(zhì)肺炎、 SARS等, 僅文獻[34]通過和醫(yī)院合作利用未公開的數(shù)據(jù)集對肺炎的類型進行了判別， 因此在未來的技術(shù)挑戰(zhàn)和發(fā)展方向上對相關(guān)研究人員給出幾點建議:

(1)更多肺炎數(shù)據(jù)集的公開: 目前只有3個比較大型的肺炎公開數(shù)據(jù)集, 對于深度學習領(lǐng)域而言, 通常需要大量的肺部醫(yī)學影像經(jīng)過長時間的訓練才能取得較好的效果, 因此需要更多的大型肺部影像數(shù)據(jù)集來為肺炎檢測作出貢獻。

(2)對相關(guān)肺炎數(shù)據(jù)集進行具體信息標注:對一般的肺部影像數(shù)據(jù)集而言, 如果沒有給出具體信息(如病灶區(qū)域的位置信息, 病灶區(qū)域的大小,x、y軸信息), 僅能識別出是否是患有肺炎, 無法具體定位病灶區(qū)域以及通過候選框框出, 因而不能良好地快速幫助醫(yī)生定位病灶大小, 給出建議性的治療方案。

(3)研究方向傾向于病灶定位以及快速定位:僅將肺部影像區(qū)分為肺炎和正常還遠遠不夠, 目前分類方面研究已取得較好效果, 未來的重點應(yīng)該是采用目標檢測的方法進行肺部炎癥病灶區(qū)域的快速定位和精準定位, 使得計算機輔助診斷系統(tǒng)能夠快速精確診斷。

(4)提出更加高效的算法: 目前深度學習算法參數(shù)量以及計算量基本上是少則幾十萬, 多則上億， 需要非常優(yōu)秀的硬件設(shè)備(顯卡和CPU等), 這無形之中大大增加了科研成本；另一方面也要求研究人員在算法方面進行創(chuàng)新。

深度學習方法作為一項新技術(shù), 其在影像醫(yī)學領(lǐng)域應(yīng)用研究還有很長的路要走, 針對醫(yī)學領(lǐng)域的實際情況, 需要投入更多的人力和物力去不斷改進與創(chuàng)新; 并且由于深度學習技術(shù)在圖像信息處理方面的卓越表現(xiàn)能力, 其未來可能成為影像醫(yī)學臨床診療中的得力輔助工具。