基于深度學(xué)習(xí)模型的X線胸片去骨的初步研究

畢忠旭，李子元，周宇，任昕，李津書(shū)，劉建新，王霄英，張曉東

X線胸片(chest X-ray,CXR)在臨床工作中應(yīng)用廣泛，是診斷呼吸系統(tǒng)疾病的一線影像檢查方法。但由于CXR是重疊影像，胸廓骨質(zhì)結(jié)構(gòu)和肺部在圖像上的投影有重疊，導(dǎo)致當(dāng)肺部病灶不顯著時(shí)診斷醫(yī)師在閱片時(shí)可能受到干擾，造成漏診。

通過(guò)骨質(zhì)抑制技術(shù)去除CXR上的骨組織，無(wú)論對(duì)影像科醫(yī)師還是計(jì)算機(jī)輔助診斷系統(tǒng)都有幫助[1-2]。既往研究證明雙能減影成像(dual-energy subtraction imaging,DES)技術(shù)對(duì)骨質(zhì)結(jié)構(gòu)的抑制效果極佳[3]。然而DES的輻射劑量相對(duì)較大，需要特殊的雙能成像設(shè)備，而且心跳、呼吸產(chǎn)生的運(yùn)動(dòng)偽影可導(dǎo)致去骨效果不佳。如果能通過(guò)后處理軟件使得常規(guī)CXR得到與DES相似的去骨效果，則可避免DES的上述缺點(diǎn)，這已成為近期CXR去骨研究的關(guān)注熱點(diǎn)。目前除了傳統(tǒng)的圖像處理方法，基于深度學(xué)習(xí)模型的方法也有望用于CXR去骨處理[4-5]。本研究初步探索了一種深度學(xué)習(xí)算法實(shí)現(xiàn)CXR去骨處理的可行性。

材料與方法

本研究獲得了本院倫理審查委員會(huì)的批準(zhǔn)(2019-70)，按照本單位AI項(xiàng)目研發(fā)規(guī)范開(kāi)展研究工作。

1.研究隊(duì)列的建立

CXR數(shù)據(jù)來(lái)源于兩個(gè)方面，一個(gè)是開(kāi)源數(shù)據(jù)集[(JSRT+BSE JSRT，JSRT為日本放射技術(shù)學(xué)會(huì)(Japanese Society of Radiological Technology)，BSE為骨去除(bone shadow exclusion)][6]，其中包括241例正位常規(guī)CXR和與其對(duì)應(yīng)的241例去骨CXR[7]，該數(shù)據(jù)集的去骨結(jié)果由傳統(tǒng)的圖像后處理算法得到；另一個(gè)數(shù)據(jù)集是自采數(shù)據(jù)集，來(lái)自于我院雙能X光機(jī)(GE Discovery XR656)采集的59例臨床胸部篩查患者的圖像數(shù)據(jù)，其中包括常規(guī)CXR、去骨CXR和骨相CXR各59幀圖像。將兩個(gè)數(shù)據(jù)集整合，經(jīng)過(guò)數(shù)據(jù)篩選，去除運(yùn)動(dòng)偽影較大以及去骨效果較差的圖像后，建立研究隊(duì)列，獲得295例患者的常規(guī)CXR圖像和去骨CXR圖像各295幀。以295例患者隨機(jī)分入訓(xùn)練集(80%)、調(diào)優(yōu)集(5%)和測(cè)試集(15%)。

2.數(shù)據(jù)處理

將DICOM格式圖像轉(zhuǎn)化為PNG格式圖像，轉(zhuǎn)化時(shí)利用DICOM文件里的窗寬和窗位信息，將16bit圖像數(shù)據(jù)轉(zhuǎn)換為8bit圖像數(shù)據(jù)，保證原始CXR圖像和其對(duì)應(yīng)的去骨CXR圖像的窗寬和窗位一致。將研究樣本數(shù)據(jù)集中的所有圖像的覆蓋范圍統(tǒng)一，使其主要包括肺野區(qū)域，去除肩、腹等非肺野區(qū)域，并將剪切后的圖像統(tǒng)一調(diào)整為像素大小2048×2048。模型輸入為常規(guī)CXR圖像，模型輸出為去骨后的CXR圖像。

模型訓(xùn)練的初始權(quán)重來(lái)源于ImageNet[8]預(yù)訓(xùn)練ResNet34[9]和VGG(VGG:Visual Geometry Group)16模型[10]。圖像預(yù)處理步驟：原始圖像縮小至像素大小為512×512，并對(duì)圖像像素值按照ImageNet數(shù)據(jù)集的均值和方差進(jìn)行歸一化處理。擴(kuò)增方法包括隨機(jī)旋轉(zhuǎn)、裁剪、縮放和平移等。

3.模型訓(xùn)練

在NVIDIA GPU P100設(shè)備上利用Pytorch(https://pytorch.org/)深度學(xué)習(xí)Python庫(kù)，在整理好的CXR圖像數(shù)據(jù)集中進(jìn)行開(kāi)發(fā)和訓(xùn)練。

以Resnet34為卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)深度學(xué)習(xí)模型的基礎(chǔ)架構(gòu)，結(jié)合動(dòng)態(tài)UNet網(wǎng)絡(luò)[11]，并以VGG網(wǎng)絡(luò)為基礎(chǔ)，提取圖像激活及風(fēng)格特征組成損失函數(shù)(Loss Function)，逐步建立CXR去骨模型(圖1)[11-12]。

圖1 基于ResNet34基礎(chǔ)架構(gòu)并結(jié)合動(dòng)態(tài)UNet網(wǎng)絡(luò)的CXR去骨模型的結(jié)構(gòu)。

4.評(píng)價(jià)指標(biāo)

CXR去骨模型基于常規(guī)CXR圖像而生成去骨的CXR圖像，即由輸入的圖像生成新的圖像，屬于圖像生成模型。在圖像訓(xùn)練及測(cè)試階段，主要涉及三類圖像：輸入圖像I(input)，目標(biāo)圖像T(target)和預(yù)測(cè)生成圖像P(prediction)。其中目標(biāo)圖像是指模型需要學(xué)習(xí)的對(duì)象，預(yù)測(cè)生成圖像是指模型預(yù)測(cè)的結(jié)果。對(duì)于該模型的去骨效能，主通過(guò)比較目標(biāo)圖像T和預(yù)測(cè)生成圖像P來(lái)進(jìn)行評(píng)估。用測(cè)試集的峰值信噪比(peak signal-to-noise ratio,PSNR)和結(jié)構(gòu)相似性(structure similarity，SSIM)評(píng)價(jià)CXR去骨模型的效能。

PSNR是峰值信號(hào)的能量與噪聲的平均能量之比，其計(jì)算公式為：PSNR=10×log10(MaxI2/MSE)，其中MaxI指圖像灰度的峰值，MSE指相比較的T與P兩個(gè)圖像像素之間的均方誤差值(mean square error，MSE)，是一種評(píng)估圖像質(zhì)量的客觀標(biāo)準(zhǔn)。PSNR的單位是分貝(dB)，數(shù)值越大代表圖像質(zhì)量越好，一般來(lái)說(shuō)，PSNR與圖像質(zhì)量的關(guān)系如下：PSNR≥40dB，提示圖像質(zhì)量極好；30dB≤PSNR<40dB，提示圖像質(zhì)量較好；20dB≤PSNR<30dB，提示圖像質(zhì)量差；PSNR<20dB，提示圖像質(zhì)量極差。

SSIM也是一種圖像質(zhì)量的評(píng)價(jià)指標(biāo)，分別從亮度、對(duì)比度和結(jié)構(gòu)三方面度量圖像之間的相似性，分別用T和P兩組圖像的均值作為亮度、標(biāo)準(zhǔn)差作為對(duì)比度、協(xié)方差作為結(jié)構(gòu)相似度的相應(yīng)指標(biāo)。SSIM取值范圍為0～1，值越大表示圖像T與P之間的相似度越高[13]。

結(jié) 果

所建模型在測(cè)試集中生成的去骨CXR圖像的PSNR和SSIM值均較高(圖2)：PSNR為25.35～37.22dB，平均(31.94±2.49)dB；SSIM值為25.35%～98.48%，平均93.37%±5.11%。

圖2 測(cè)試集病例。a)常規(guī)CXR圖像I作為輸入圖像；b)由輸入圖像生成的目標(biāo)去骨CXR圖像T；c)模型預(yù)測(cè)生成的去骨CXR圖像P，顯示預(yù)測(cè)圖像的質(zhì)量較好(PSNR為33.35dB)，預(yù)測(cè)圖像與目標(biāo)圖像的結(jié)構(gòu)相似性較高(SSIM值為95.44%)。 圖3 測(cè)試集病例。a)常規(guī)CXR圖像I作為輸入圖像；b)由輸入圖像生成的目標(biāo)去骨CXR圖像T；c)模型預(yù)測(cè)生成的去骨CXR圖像P，顯示預(yù)測(cè)圖像與目標(biāo)圖像T的結(jié)構(gòu)相似性較差(SSIM值僅79.64%)。

根據(jù)PSNR值分析，測(cè)試集中45例預(yù)測(cè)圖像與DES真實(shí)去骨圖像的PSNR均值達(dá)31.94dB，其中PSNR小于30dB的情況僅有5例，即88.89%(5/45)的預(yù)測(cè)圖像的質(zhì)量較好。根據(jù)SSIM值分析，測(cè)試集中45例預(yù)測(cè)圖像的SSIM的均值達(dá)到93.37%，其中SSIM值小于88%的情況僅見(jiàn)于6例(圖3)，即86.67%(6/45)的預(yù)測(cè)圖像與目標(biāo)圖像的結(jié)構(gòu)相似性達(dá)到88%以上。

討 論

CXR是呼吸系統(tǒng)疾病的首選影像檢查方法，對(duì)CXR的閱片工作不僅包括影像專業(yè)的醫(yī)師，也常常包括臨床醫(yī)師。CXR的閱片準(zhǔn)確性與診斷者的經(jīng)驗(yàn)密切相關(guān)，但即使是有經(jīng)驗(yàn)的閱片者也可能漏診肺內(nèi)不顯著的小病變，主要是由于CXR是重疊影像，胸部區(qū)域的骨質(zhì)結(jié)構(gòu)對(duì)疾病的檢出和鑒別診斷會(huì)帶來(lái)干擾。

雙能量X線胸部檢查的研發(fā)和臨床應(yīng)用探索已有幾十年。其基本原理是將胸片上骨質(zhì)和軟組織分離，分別生成骨圖像和軟組織圖像，在臨床應(yīng)用中的主要優(yōu)勢(shì)是檢出被肋骨遮蔽的軟組織結(jié)節(jié)以及對(duì)鈣化的定性[14]。尤其是對(duì)不顯著的微小肺內(nèi)病變，可提高低年資醫(yī)師以及非影像診斷專業(yè)的臨床醫(yī)師的診斷準(zhǔn)確性[15]。最初研究的關(guān)注點(diǎn)是通過(guò)X線和探測(cè)器的改進(jìn)獲得更好的物質(zhì)分離圖像，以提高診斷效能[16]。近年來(lái)隨著深度學(xué)習(xí)技術(shù)的發(fā)展，除了在CXR診斷方面的研究[17]，也有關(guān)于深度學(xué)習(xí)模型應(yīng)用于CXR圖像的去骨處理的相關(guān)研究報(bào)告，認(rèn)為該技術(shù)可提高影像醫(yī)師對(duì)CXR閱片的工作效能，同時(shí)也能提高相關(guān)基于CXR圖像的深度學(xué)習(xí)分類模型的效能[1,2]。

本研究結(jié)果顯示，深度學(xué)習(xí)模型可以用于常規(guī)CXR圖像的去骨處理，這與既往的研究結(jié)果相似[4-5]。對(duì)于測(cè)試集中SSIM最小值(79.64%)的圖像(圖3)，可以看到由雙能量減影直接生成的目標(biāo)圖像中的偽影較為嚴(yán)重，肋骨痕跡明顯，而從常規(guī)CXR去骨模型生成的預(yù)測(cè)圖像則較好地抑制了骨質(zhì)結(jié)構(gòu)，但由于目標(biāo)圖像中偽影的影響，導(dǎo)致反映結(jié)構(gòu)相似性的SSIM值較低，但從該示例也進(jìn)一步說(shuō)明我們的CXR去骨模型可以更好地預(yù)測(cè)生成去骨CXR圖像，避免雙能減影成像過(guò)程中身體運(yùn)動(dòng)導(dǎo)致的偽影。

AI模型的研發(fā)和泛化過(guò)程中應(yīng)考慮技術(shù)問(wèn)題[18]。本研究CXR去骨模型訓(xùn)練過(guò)程中未對(duì)設(shè)備進(jìn)行篩選，使用了連續(xù)數(shù)據(jù)。CXR圖像來(lái)自本單位在實(shí)際臨床工作中使用的雙能量X光機(jī)以及開(kāi)源數(shù)據(jù)集，其中目標(biāo)圖像T的生成方法也不同，自采數(shù)據(jù)集采用的是雙能量減影，開(kāi)源數(shù)據(jù)集則來(lái)源于其它去骨算法[7]。全部圖像由不同技師完成攝片工作，未根據(jù)設(shè)備、人員及生成目標(biāo)圖像的方法進(jìn)行分組。本研究結(jié)果證明了不同DR設(shè)備、不同技師及不同去骨方法生成目標(biāo)圖像的數(shù)據(jù)均可用于模型的訓(xùn)練，且無(wú)論來(lái)源于何種DR設(shè)備的圖像，其測(cè)試集數(shù)據(jù)的預(yù)測(cè)生成圖像均達(dá)到較好的結(jié)果。由于常規(guī)CXR圖像質(zhì)量基本可以保證，來(lái)源于不同設(shè)備的圖像性質(zhì)差異不大，從這個(gè)角度考慮，在CXR去骨模型泛化過(guò)程中，沒(méi)有圖像采集技術(shù)上的風(fēng)險(xiǎn)。

本研究的局限性：首先，CXR去骨模型的結(jié)果評(píng)價(jià)指標(biāo)目前只使用了評(píng)估圖像質(zhì)量和結(jié)構(gòu)相似性的PNSR和SSIM。但對(duì)于臨床應(yīng)用來(lái)說(shuō)，不同年資的影像醫(yī)師的主觀評(píng)估也是非常重要的，在后續(xù)研究中需要進(jìn)一步開(kāi)展醫(yī)師針對(duì)去骨效果的評(píng)價(jià)研究，觀察在去骨過(guò)程中能否進(jìn)一步利用深度學(xué)習(xí)模型實(shí)現(xiàn)對(duì)病灶的自動(dòng)檢測(cè)和定位等[19-20]，這才是圖像處理的最終目的。其次，模型研發(fā)后應(yīng)在實(shí)際臨床工作中進(jìn)行驗(yàn)證，開(kāi)展前瞻性和隨機(jī)對(duì)照臨床試驗(yàn)，證明使用AI模型的臨床獲益。第三，CXR 去骨模型在本單位經(jīng)過(guò)驗(yàn)證后，應(yīng)嘗試將其泛化，應(yīng)用于不同醫(yī)療機(jī)構(gòu)和不同臨床場(chǎng)景下，尤其是應(yīng)與實(shí)際報(bào)告過(guò)程對(duì)接，在提高診斷準(zhǔn)確性的前提下，進(jìn)一步提高工作效率[21]。

總之，使用深度學(xué)習(xí)模型對(duì)X線胸片中的骨質(zhì)結(jié)構(gòu)進(jìn)行去骨處理是可行的，可用于進(jìn)一步研究去骨后處理圖像對(duì)醫(yī)學(xué)影像醫(yī)師讀片工作效率及相關(guān)CXR診斷模型效能的影響并嘗試應(yīng)用于臨床。