李爭平,栗卓然,王立軍,李曉雪,姚 遠,郝昱文
(1.北方工業(yè)大學(xué) 信息學(xué)院,北京 100144;2.解放軍總醫(yī)院醫(yī)學(xué)創(chuàng)新中心,北京 100039;3.解放軍聯(lián)勤保障部隊第903醫(yī)院,浙江 杭州 310004)
張力性氣胸是造成急性呼吸困難最常見的原因之一,臨床上以突發(fā)一側(cè)胸痛、胸悶氣促,甚至呼吸衰竭為主要特征。由于胸膜腔內(nèi)壓力突然改變導(dǎo)致靜脈回心血流受阻,影響心肺循環(huán)的穩(wěn)定性,急需早期診斷與處理。在交通事故、災(zāi)害救援以及戰(zhàn)創(chuàng)傷救治環(huán)境下,張力性氣胸是一種常見的創(chuàng)傷。
臨床上對于張力性氣胸的檢查和診斷一般以X光和CT斷層掃描居多。X光對于氣胸診斷的特異度較高,CT斷層掃描在臨床上可作為診斷氣胸的“金標(biāo)準(zhǔn)”。目前,將X光、CT斷層掃描和深度學(xué)習(xí)等模式識別方法相結(jié)合運用于氣胸診斷的研究已取得一定進展。ChenYi Kao等人研制了自動放射學(xué)報警系統(tǒng),通過深度學(xué)習(xí)模型檢測胸片中的氣胸,并與現(xiàn)有自動報警系統(tǒng)進行比較,性能提升明顯;Cho Yongil等研究了基于人工智能和Kim-Monte Carlo算法的胸部X射線氣胸檢測方法;Sebastian R?hrich等開發(fā)了基于深度殘差UNet和像素級分類算法對氣胸CT圖像進行分類識別,以提高深度學(xué)習(xí)診斷氣胸的穩(wěn)定性。Xiang Li等研究了基于深度學(xué)習(xí)的CT自動檢測氣胸技術(shù),并對深度學(xué)習(xí)模型對CT檢測氣胸的準(zhǔn)確性進行評估。但CT和X射線均具有一定的電離輻射,對使用者和患者都存在一定的副作用,且CT和X射線設(shè)備體積大、重量大,無法在災(zāi)害救援現(xiàn)場或戰(zhàn)場環(huán)境中快速部署。
隨著圖像處理和信號處理技術(shù)的發(fā)展,超聲設(shè)備逐漸小型化并更多的運用于災(zāi)害救援現(xiàn)場和戰(zhàn)創(chuàng)傷救治現(xiàn)場中。超聲設(shè)備具有結(jié)構(gòu)簡單、方便攜帶,且對人體無電離輻射等特點,逐漸受到救援人員的青睞。鑒于超聲的成像機理,超聲圖像噪聲較多,清晰度、分辨率相較于CT和X光等醫(yī)學(xué)影像而言明顯較弱。此外,超聲的使用者需要進行專業(yè)培訓(xùn),檢測結(jié)果也往往受限于使用者的臨床技能水平。為降低超聲設(shè)備使用者技術(shù)水平造成的影響,提高張力性氣胸的診斷準(zhǔn)確率,可將便攜式超聲設(shè)備引入智能化設(shè)計。將機器學(xué)習(xí)等模式識別方法引入本文,探究兩類深度學(xué)習(xí)模型GooLeNet和VGG19對5類肺部超聲圖像的識別效果。M模式圖像結(jié)構(gòu)示意圖如圖1所示。
圖1 M模式圖像結(jié)構(gòu)示意圖
本文將對有A線、沙灘征、條碼征、肺點以及被肋骨遮擋這五種特征圖像進行分類識別。A線是超聲波遇到胸膜后,經(jīng)過多層反射后形成的多條與胸膜線平行的線形偽像,表現(xiàn)為與胸膜線平行、等間距、強度依次減弱的高回聲水平線,每條A線之間的距離與壁層胸膜和皮膚表面之間的距離相等。A線多出現(xiàn)于肺密度正常的情況,通??杀硎緸檎7蔚奶卣鳌模式和B模式下A線的超聲圖像如圖2所示。
圖2 M模式(左)和B模式(右)A線超聲圖像
沙灘征是M型超聲特有的征象,它表現(xiàn)為一種顆粒狀間斷的沙質(zhì)圖案,因此被稱為沙灘征。在M模式下,當(dāng)掃描對象為運動的器官時,就會出現(xiàn)沙灘征。由于肺部的呼吸作用,使得M模式下正常肺部的征象呈現(xiàn)為沙灘征,因此肺超聲出現(xiàn)沙灘征一般可表示為正常肺的特征。和沙灘征相對應(yīng)的是條碼征,條碼征顧名思義,表現(xiàn)為一種條形碼形狀的圖案。與沙灘征不同的是,條碼征的出現(xiàn)一般表示被掃描對象無相對運動的器官或物體,因此在M模式下檢查肺部出現(xiàn)條碼征時,表示被掃描的部分無呼吸運動,進一步可得出此部分為出現(xiàn)病理的肺組織,如圖3所示。
圖3 沙灘征(左)和條碼征(右)
在臨床上,肺點是超聲診斷氣胸的“金標(biāo)準(zhǔn)”,當(dāng)出現(xiàn)肺點時,氣胸診斷的特異性為100%。肺點也是M模式超聲下特有的圖像特征,當(dāng)出現(xiàn)氣胸時,M模式下會觀察到沙灘征和條碼征交替出現(xiàn),沙灘征和條碼征之間的交界點即為肺點。本文將借助肺點模擬模型來采集肺點圖像。用水袋和吸水性樹脂建立肺點模擬模型,手動按壓模型來模擬沙灘征和條碼征交替出現(xiàn)的情況,采集肺點圖像。肺點模擬模型以及采集的肺點模擬圖像分別如圖4和圖5所示。此外,本文也將采集M模式下被肋骨遮擋后的超聲圖像作為反例。被肋骨遮擋后的M模式超聲圖像如圖6所示。
圖4 肺點模擬模型
圖5 模擬肺點圖像
圖6 掃描到肋骨后M模式超聲圖像
本文采集的上述5種M模式超聲圖像共計800余張,分別將上述5種M型超聲圖像的類標(biāo)簽設(shè)為“A-line”“Seashore”“Barcode”“l(fā)ung-point” 以 及“Rib”,為避免類不平衡問題,采集的5種M型超聲圖像各類之間數(shù)目相當(dāng)。5種M型超聲圖像如圖7所示。為避免過擬合,將訓(xùn)練集和數(shù)據(jù)集劃分比例分別分為90%和10%,具體分類情況見表1所列。
圖7 5種M型超聲圖像
表1 訓(xùn)練集和測試集劃分
本文主要聚焦于使用深度學(xué)習(xí)模型對M型超聲典型特征圖像的快速分類識別的研究,以了解深度學(xué)習(xí)網(wǎng)絡(luò)模型對M型超聲典型特征圖像的分類識別效果,因此不對深度學(xué)習(xí)模型的網(wǎng)絡(luò)結(jié)構(gòu)進行修改。本文將利用目前使用較為廣泛的深度學(xué)習(xí)網(wǎng)絡(luò)模型GoogLeNet和VGG對上述5種M型超聲典型特征圖像進行分類識別研究。GoogLeNet深度學(xué)習(xí)網(wǎng)絡(luò)由谷歌團隊最早應(yīng)用于ImageNet大規(guī)模視覺識別挑戰(zhàn)領(lǐng)域,并取得了比較理想的結(jié)果。GoogLeNet可以在增加網(wǎng)絡(luò)寬度和深度的同時,將全連接轉(zhuǎn)化為稀疏連接,從而降低過擬合、減少計算量,GoogLeNet的Inception結(jié)構(gòu)可以保證網(wǎng)絡(luò)結(jié)構(gòu)稀疏的同時,又提高矩陣的計算性能,大大減少了網(wǎng)絡(luò)運行的參數(shù)。Inception結(jié)構(gòu)如圖8所示。VGG網(wǎng)絡(luò)由Oxford的Visual Geometry Group團隊提出,通過改進卷積核大小以及增加網(wǎng)絡(luò)深度等方法,提高網(wǎng)絡(luò)識別的準(zhǔn)確性。VGG網(wǎng)絡(luò)共有2種結(jié)構(gòu),分別為VGG16和VGG19,它們在卷積核結(jié)構(gòu)上無差異,在網(wǎng)絡(luò)深度方面存在不同。本文將選用VGG19網(wǎng)絡(luò)。VGG19網(wǎng)絡(luò)包含19個隱藏層,其中包括16個卷積層和3個全連接層,網(wǎng)絡(luò)整體結(jié)構(gòu)較為一致,均為3×3的卷積和2×2的最大池化操作。
圖8 Inception結(jié)構(gòu)示意圖
上述2種網(wǎng)絡(luò)均借助遷移學(xué)習(xí),使用預(yù)訓(xùn)練的VGG和GoogLeNet網(wǎng)絡(luò)進行訓(xùn)練。兩種深度學(xué)習(xí)模型均使用ImageNet數(shù)據(jù)集上超過一百萬張圖像進行預(yù)訓(xùn)練,以減少訓(xùn)練時間,提高識別效率。深度學(xué)習(xí)模型運行的硬件環(huán)境為配置有R5-3600處理器,Nvidia RTX2060 6 GB顯卡以及16 GB內(nèi)存的計算機。軟件環(huán)境使用MATLAB深度學(xué)習(xí)工具箱搭建并訓(xùn)練網(wǎng)絡(luò)模型。兩種深度學(xué)習(xí)模型的超參數(shù)設(shè)置見表2所列。兩種模型均使用SGDM優(yōu)化器,損失函數(shù)均使用交叉熵?fù)p失函數(shù)。
表2 超參數(shù)設(shè)置
根據(jù)上章介紹方法,得到的結(jié)果見表3所列。由表3可知,在相同模型下設(shè)置不同的訓(xùn)練輪數(shù)和學(xué)習(xí)率,整體準(zhǔn)確率相同,橫向?qū)Ρ萔GG19和GoogLeNet可知,VGG19對5種M型超聲典型特征圖像的分類準(zhǔn)確率相較于GoogLeNet的識別效果較好。在相同超參數(shù)條件下,2種網(wǎng)絡(luò)對5種M型超聲典型圖像的統(tǒng)計分析見表4所列,選取超參數(shù)為最小批16,輪數(shù)30,學(xué)習(xí)率0.000 1。
表3 訓(xùn)練結(jié)果
表4 VGG19分類評價指標(biāo)
由于測試集中不同類之間特征圖像數(shù)量基本相同,因此類不平衡問題所帶來的統(tǒng)計指標(biāo)不準(zhǔn)確的問題可以忽略不計。從表4和表5可以看出,VGG網(wǎng)絡(luò)整體查準(zhǔn)率(精度)和查全率(召回率)相比GoogLeNet更好。但由于VGG網(wǎng)絡(luò)結(jié)構(gòu)中有3個全連接層,導(dǎo)致網(wǎng)絡(luò)運算的參數(shù)過多,最終模型大小約500 MB,而GoogLeNet由于用稀疏連接代替了全連接,使得模型整體大小約20 MB。在分類識別中,發(fā)現(xiàn)這2種網(wǎng)絡(luò)均對A線和沙灘征的識別出現(xiàn)較多的錯誤,可能是因為在M型超聲掃描出現(xiàn)A線時,本身就會出現(xiàn)沙灘征,同時采集的A線圖像有時在M模式下并不明顯,導(dǎo)致網(wǎng)絡(luò)對A線和沙灘征2種特征的識別出現(xiàn)誤差。同時,這2種網(wǎng)絡(luò)對于肺點、條碼征以及掃描到肋骨后的識別效果較好,甚至可達100%的查全率和查準(zhǔn)率。
表5 GoogLeNet分類評價指標(biāo)
本文研究了2種深度學(xué)習(xí)網(wǎng)絡(luò)模型對5類M型超聲圖像的分類識別效果。實驗結(jié)果表明,2種網(wǎng)絡(luò)對這5類超聲圖像的識別準(zhǔn)確率都較高,識別效果很好。橫向比較2種網(wǎng)絡(luò),VGG19的識別準(zhǔn)確率略高于GooLeNet。本文通過研究2種深度學(xué)習(xí)網(wǎng)絡(luò)對5類M型超聲的圖像分類效果,證明了深度學(xué)習(xí)模型在M型超聲圖像分類識別領(lǐng)域具有廣闊的應(yīng)用前景,同時可以借助深度學(xué)習(xí)模型大大降低M型超聲的使用門檻,實現(xiàn)快速診斷的目的。