融合改進(jìn)變分自編碼器與影像組學(xué)的X光片肺部疾病篩查算法

馮 筠,牛 怡,楊晨希,沈 聰,郭佑民

(1.西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院,陜西 西安 710127;2.西安交通大學(xué)第一附屬醫(yī)院 醫(yī)學(xué)影像科,陜西 西安 710061)

肺部疾病以其發(fā)病率高、起病隱匿、病死率高等特點(diǎn)為社會(huì)及國民經(jīng)濟(jì)帶來沉重負(fù)擔(dān)[1]。常見的肺部疾病包含肺炎、肺癌、肺結(jié)核、慢性阻塞性肺疾病等。據(jù)世界衛(wèi)生組織2020年發(fā)布的《全球健康估計(jì)》[2]顯示,慢性阻塞性肺疾病、肺炎以及肺癌等多項(xiàng)肺部疾病仍屬于全球十大高病死率疾病。此外,世界衛(wèi)生組織發(fā)布的《2022年全球結(jié)核病報(bào)告》[3]中指出,僅2021年全球肺結(jié)核發(fā)病人數(shù)高達(dá)1 060萬例,并且仍是世界上最大的傳染性疾病之一。同時(shí),近幾年一直持續(xù)的新冠肺炎疫情更是近百年來傳播速度最快、感染范圍最廣、防控難度最大的突發(fā)公共衛(wèi)生事件[4]。諸多實(shí)例及數(shù)據(jù)警示我們,對(duì)肺部疾病的高效篩查對(duì)于保障人民健康生活起著至關(guān)重要的作用。

胸部X光片具有易獲取、低成本、低輻射等特點(diǎn),已成為肺部疾病篩查的主要手段[5-6]。同時(shí),隨著體檢需求量的逐年增加,胸部X光片檢查作為健康體檢的必要檢查項(xiàng)目,其產(chǎn)出量也成倍增加,影像科醫(yī)生的工作負(fù)擔(dān)也越來越重。當(dāng)前影像科醫(yī)生仍主要以肉眼閱片作為主要觀測手段。但受人的視覺疲勞或診斷水平等因素干擾,繁重的閱片任務(wù)容易使醫(yī)生產(chǎn)生觀察偏差,從而降低診斷準(zhǔn)確率。據(jù)不完全統(tǒng)計(jì),通過醫(yī)生肉眼閱片的錯(cuò)誤發(fā)生率在不同疾病及不同影像上呈現(xiàn)3%～60%不等[7-9]。同時(shí),醫(yī)生肉眼閱片仍然存在閱片速度有限以及專業(yè)醫(yī)生缺口大的問題。

越來越多的研究者們嘗試采用計(jì)算機(jī)手段輔助醫(yī)生進(jìn)行疾病篩查,進(jìn)而引入計(jì)算機(jī)輔助檢測或診斷(computer-aided detection/diagnosis,CAD)系統(tǒng)來助力醫(yī)療服務(wù)。計(jì)算機(jī)以其強(qiáng)大的計(jì)算及存儲(chǔ)能力可以對(duì)影像信息進(jìn)行快速、全面且精確的計(jì)算,進(jìn)而輔助醫(yī)生進(jìn)行病灶的檢出及診斷,在保證篩查結(jié)果準(zhǔn)確率的情況下極大減輕醫(yī)生工作負(fù)擔(dān)。早期,Van等人通過對(duì)肺實(shí)質(zhì)進(jìn)行分割進(jìn)一步提取肺部彌漫性紋理特征,并采用KNN方法實(shí)現(xiàn)肺結(jié)核疾病的篩查[10]。Singh等人利用log-Gabor濾波技術(shù)從X光片中提取肺部區(qū)域并提取其形狀和紋理特征,使用SVM模型得到較為優(yōu)異的分類效果[11]。隨著深度學(xué)習(xí)方法在醫(yī)學(xué)圖像分析方面的發(fā)展,Rajpurkar等人提出121層卷積神經(jīng)網(wǎng)絡(luò)CheXnet完成肺炎的分類,并使用類激活圖對(duì)分類結(jié)果進(jìn)行可視化解釋[12]。Guan等人提出了一種類別級(jí)殘差注意學(xué)習(xí)框架,以端到端的方式學(xué)習(xí)多標(biāo)簽分類的鑒別特征,并在Chest X-Ray14數(shù)據(jù)集上取得了優(yōu)越結(jié)果[13]。Rahman 等人使用 U-Net 對(duì)胸部X光片進(jìn)行肺實(shí)質(zhì)分割,并采用9種預(yù)訓(xùn)練的分類模型進(jìn)行集成學(xué)習(xí)來實(shí)現(xiàn)肺結(jié)核疾病的篩查[14]。Wang等人提出基于通道、元素以及尺度級(jí)別的三重注意力機(jī)制實(shí)現(xiàn)常見的14種肺部疾病的分類,并且取得先進(jìn)的實(shí)驗(yàn)效果[15]。Li等人以ResNet作為主干網(wǎng)絡(luò)并嵌入注意力機(jī)制進(jìn)行特征提取,同時(shí),部署了一組具有不同擴(kuò)張率的跳躍連接擴(kuò)張卷積,實(shí)現(xiàn)高級(jí)語義和低級(jí)形態(tài)信息的充分融合,促進(jìn)了新冠肺炎的輔助診斷效果[16]。

然而,目前肺部疾病篩查相關(guān)研究主要以追求篩查結(jié)果的準(zhǔn)確率為目標(biāo),尋找敏感性與特異性的折中點(diǎn),進(jìn)一步給出疾病診斷結(jié)果。對(duì)于影像科醫(yī)生來說,該診斷結(jié)果對(duì)誤診及漏診現(xiàn)象未加以約束,因此仍需醫(yī)生再次復(fù)核,反而增加了疾病診斷時(shí)間。此外,當(dāng)前研究大多面向某幾類常見疾病進(jìn)行建模,進(jìn)而完成該疾病的分類。但現(xiàn)實(shí)生活中肺部疾病類別往往難以窮盡且影像征象復(fù)雜多變,若臨床應(yīng)用中存在未知類型疾病,則極容易產(chǎn)生誤診及漏診現(xiàn)象。

針對(duì)以上導(dǎo)致當(dāng)前研究難以應(yīng)用于實(shí)際臨床場景的問題,本文認(rèn)為計(jì)算機(jī)輔助診斷重點(diǎn)在于為醫(yī)生提供“第二參考意見”來輔助醫(yī)生的診斷決策,而非代替醫(yī)生給出診斷結(jié)果。因此,本文對(duì)醫(yī)生的閱片診斷流程進(jìn)行分析,如圖1所示,將其梳理為以下幾個(gè)環(huán)節(jié):首先,進(jìn)行初步的疾病篩查,排除無需再次核查的正常影像;其次,對(duì)于有可能患病的影像進(jìn)行更加細(xì)粒度的病灶檢測以及征象辨識(shí);最后,確定疾病種類。

圖1 醫(yī)生診斷流程Fig.1 Doctor’s diagnosis process

遵從醫(yī)生的閱片診斷流程,本文的篩查任務(wù)主要聚焦在第1個(gè)環(huán)節(jié)。具體地,本文并不代替醫(yī)生進(jìn)行疾病類型的診斷,而是輔助醫(yī)生在篩查過程中排除無需再次核查的正常影像,進(jìn)而減輕醫(yī)生及后續(xù)任務(wù)的工作量。因此,本文肺部疾病的篩查目標(biāo)為保證零漏診率的同時(shí)降低誤診率。

大量研究表明,單類別分類(one-class classification,OCC)作為一種特殊的分類情況,在無監(jiān)督異常檢測、開集識(shí)別以及新穎點(diǎn)檢測等任務(wù)上展現(xiàn)了明顯優(yōu)勢[17]。單類別分類模型在訓(xùn)練過程中只有一類樣本參與,并且學(xué)習(xí)目標(biāo)是使分類器能夠在推理過程中正確識(shí)別學(xué)習(xí)到的正類樣本進(jìn)而完成分類。受此思想啟發(fā),若模型訓(xùn)練時(shí)只對(duì)正常的X光片進(jìn)行建模,使所學(xué)習(xí)到的分類器在推理過程中能正確識(shí)別正常的X光片,對(duì)于其他未知的X光片將其統(tǒng)一劃分為異常,這樣可以有效降低因未知疾病誤分所帶來的漏診現(xiàn)象。

目前僅有部分面向胸部X光片的異常檢測任務(wù)采用了上述單類別分類的思想來完成。Tang等人在僅有正常樣本的情況下訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)對(duì)胸部 X 光片進(jìn)行重構(gòu),在推理過程中通過衡量重構(gòu)圖像與原始圖像間的差異來區(qū)分正常樣本和異常樣本[18]。此假設(shè)模型在推理階段對(duì)學(xué)習(xí)過的正常樣本具有較好的重構(gòu)效果,對(duì)未學(xué)習(xí)過的異常樣本具有比較差的重構(gòu)效果。Zhao 等人同樣基于上述假設(shè),通過圖像在隱空間的編碼進(jìn)行重構(gòu)轉(zhuǎn)換,學(xué)習(xí)正常數(shù)據(jù)中的翻譯一致性特征,并基于圖像轉(zhuǎn)換前后所得編碼差異進(jìn)行分類[19]。目前這類研究相對(duì)較少,且大多采用深度學(xué)習(xí)模型來實(shí)現(xiàn)。一方面,單類別分類模型訓(xùn)練時(shí)只有正常類別樣本參與,難以學(xué)習(xí)到區(qū)別于非正常類別樣本的特征,容易造成肺部疾病篩查結(jié)果不理想;另一方面,深度學(xué)習(xí)模型在下采樣過程中容易遺漏圖像底層細(xì)微的視覺特征,同時(shí),未結(jié)合醫(yī)生先驗(yàn)知識(shí)容易造成具有微小病灶的疾病漏診。

在此,針對(duì)單類別分類方法難以學(xué)習(xí)區(qū)別于非正常類別樣本特征導(dǎo)致篩查結(jié)果不理想的問題,本文提出改進(jìn)變分自編碼生成對(duì)抗網(wǎng)絡(luò)用于肺部疾病的初篩,并提取圖像的深度編碼特征。進(jìn)一步受到影像組學(xué)工作的啟發(fā),針對(duì)具有微小病灶疾病容易漏診的問題,融合基于醫(yī)生經(jīng)驗(yàn)的影像組學(xué)特征以及深度學(xué)習(xí)特征間的互補(bǔ)優(yōu)勢,構(gòu)建一個(gè)集成學(xué)習(xí)模型實(shí)現(xiàn)本文的肺部疾病篩查目標(biāo)。

1 X光片肺部疾病篩查算法

本文肺部疾病篩查算法的框架如圖2所示,整體流程分為數(shù)據(jù)預(yù)處理、特征提取、特征分組及選擇、分類模型構(gòu)建4個(gè)階段。其中:數(shù)據(jù)預(yù)處理部分主要實(shí)現(xiàn)X光片圖像肺實(shí)質(zhì)的分割;特征提取階段包括影像組學(xué)特征的提取以及圖像深度學(xué)習(xí)特征的提取,深度學(xué)習(xí)特征的提取采用所提出的改進(jìn)變分自編碼網(wǎng)絡(luò)來實(shí)現(xiàn);特征分組及選擇階段對(duì)特征依據(jù)類別及左右肺區(qū)域進(jìn)行分組并獲取最佳特征子集;分類模型構(gòu)建部分用于構(gòu)建最終肺部疾病篩查的分類模型。需要強(qiáng)調(diào)的是,本文的模型訓(xùn)練過程均僅使用正常X光片圖像來完成。

圖2 本文研究框架圖Fig.2 Research framework dragram of this paper

1.1 改進(jìn)變分自編碼網(wǎng)絡(luò)模型構(gòu)建

1.1.1 網(wǎng)絡(luò)框架

本研究提出了一種改進(jìn)變分自編碼生成對(duì)抗網(wǎng)絡(luò)用于肺部疾病的初篩,同時(shí)提取胸部X光片的深度學(xué)習(xí)特征。在本文的學(xué)習(xí)場景中,給定訓(xùn)練集T={(xi,yi)},i=1,2,…,N。其中:N為訓(xùn)練集樣本數(shù)量,xi為正常的胸部X光片圖像,yi為對(duì)應(yīng)的標(biāo)簽(?xi,yi=0)。測試集S={(xi,yi)},i=1,2,…,M。其中:M為測試集樣本數(shù)量,yj為測試集圖像對(duì)應(yīng)的標(biāo)簽,包含正常(yi=0)和異常(yi=1)兩類。在此基于一個(gè)假設(shè):在訓(xùn)練時(shí),模型僅學(xué)習(xí)對(duì)正常圖像的重構(gòu)生成,在推理過程中對(duì)正常圖像會(huì)有較好的重構(gòu)效果,而對(duì)其他未學(xué)習(xí)過的異常圖像其重構(gòu)效果較差,因此,推理過程中可根據(jù)原圖和重構(gòu)后圖像之間的差異大小進(jìn)行分類?；谏鲜黾僭O(shè)所提出的改進(jìn)變分自編碼網(wǎng)絡(luò)框架如圖3。

圖3 改進(jìn)變分自編碼網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Improved variational autoencoder architecture

具體地,模型共包含兩個(gè)編碼器Enc、一個(gè)解碼器Dec、一個(gè)鑒別器D以及一個(gè)隱層編碼分類器C。其中,第一個(gè)編碼器用于對(duì)原始圖像x進(jìn)行編碼。隱層編碼分類器用來代替變分自編碼器[20]中的KL散度,進(jìn)而促使訓(xùn)練過程中原始圖像的編碼特征z盡可能符合標(biāo)準(zhǔn)高斯分布p(z),且z～N(0,I),即正常樣本所得編碼特征符合高斯分布。解碼器用于對(duì)隱層特征進(jìn)行解碼生成圖像。記

z=Enc(x)～q(z|x)

(1)

(2)

1.1.2 損失函數(shù)及訓(xùn)練過程

本文的損失函數(shù)主要包括圖像重構(gòu)損失Lrec、特征圖一致性損失Lfmp、編碼一致性損失Lcode、隱層編碼對(duì)抗損失Ladv_code、圖像對(duì)抗損失Ladv_img,具體損失函數(shù)定義如下。

(3)

(4)

(5)

式中,Fl代表編碼器Enc第l層輸出。

(6)

隱層編碼對(duì)抗損失Ladv_code采用對(duì)抗學(xué)習(xí)思路將其建模為真實(shí)圖像編碼特征z與從標(biāo)準(zhǔn)高斯分布采樣特征z′分類的二元交叉熵?fù)p失,

Ez′～p(z)[log(1-C(z′))]

(7)

圖像對(duì)抗損失Ladv_img同樣采用對(duì)抗學(xué)習(xí)思路,定義為

Ez～q(z|x)[log(1-D(Dec(z)))]+

Ez′～p(z)[log(1-D(Dec(z′)))]

(8)

編碼器Enc、解碼器Dec、鑒別器D以及隱層編碼分類器C依照表1所示步驟依次被訓(xùn)練。

表1 改進(jìn)變分自編碼網(wǎng)絡(luò)訓(xùn)練過程Tab.1 Training process of improved variational autoencoder

1.1.3 推理過程

在推理過程中,基于原始圖像和重構(gòu)后圖像間的像素差異以及二者經(jīng)過編碼器所提取到特征間的差異作為異常分?jǐn)?shù)對(duì)測試樣本進(jìn)行分類。異常分?jǐn)?shù)(AS,式中簡記為AAS)定義為

(9)

式中:α1、α2分別表示原始圖像和重構(gòu)圖像之間的像素差異以及特征差異在整體異常分?jǐn)?shù)中所占的權(quán)重。并且,α1、α2的參數(shù)選擇依據(jù)驗(yàn)證集分類結(jié)果的最佳AUC值進(jìn)行選取。

將得到的異常分?jǐn)?shù)作為后續(xù)集成模型中的一個(gè)基分類結(jié)果來構(gòu)建最終的篩查模型。此外,由于訓(xùn)練時(shí)強(qiáng)制正常樣本的編碼特征分布擬合標(biāo)準(zhǔn)高斯分布,因此,在推理過程中正常樣本的編碼特征更符合標(biāo)準(zhǔn)高斯分布,而異常樣本編碼特征分布更離散,二者具有一定區(qū)分性且相比底層視覺特征包含的語義性更強(qiáng)。所以,訓(xùn)練好的編碼器所提取的圖像隱空間特征將作為圖像深度學(xué)習(xí)特征,與基于醫(yī)生經(jīng)驗(yàn)的影像組學(xué)特征一起構(gòu)建后續(xù)的分類模型。

1.2 影像組學(xué)特征集構(gòu)建

1.2.1 特征提取

從影像科專家的角度來看,異常的胸部X光片往往表現(xiàn)出形狀不規(guī)則、大小或結(jié)構(gòu)不尋常、紋理復(fù)雜或混濁等異常的特征。因此,在本研究中共綜合收集了如表2所示的518個(gè)影像組學(xué)特征,其中,包括幾何形狀特征24個(gè)、一階統(tǒng)計(jì)量特征(first-order statistics features,FOSF,即強(qiáng)度特征)286個(gè)、灰度共生矩陣(gray level co-occurrence matrix,GLCM)紋理特征208個(gè)。在此使用GLCM紋理特征的關(guān)鍵動(dòng)機(jī)是它能夠在不同的方向上捕獲具有預(yù)定義灰度強(qiáng)度的像素對(duì)的空間關(guān)系和預(yù)定義距離,并且是醫(yī)學(xué)圖像分析領(lǐng)域廣泛接受的紋理特征編碼方式[21-22]。

表2 提取特征匯總Tab.2 All extracted features

已有基于醫(yī)生經(jīng)驗(yàn)的研究表明,彌漫性肺等異常會(huì)直接導(dǎo)致胸部X光片成像中肺部的寬度或高度出現(xiàn)異常[21];心臟肥大會(huì)導(dǎo)致心胸比的異常,胸腔積液會(huì)導(dǎo)致肋膈角變鈍,縱隔的寬度在正常影像和患有肺結(jié)核疾病的影像中存在一定差異[23]。因此,本文方法所提取的幾何形狀特征中除了影像組學(xué)中常見網(wǎng)格面、像素面、周長以及周長比等特征外,還補(bǔ)充提取了左右肺高度差、肺部寬高比、心胸比、左右肺肋膈角以及上下縱隔寬度特征。此外,為了提取更細(xì)粒度樣本強(qiáng)度特征,本文對(duì)分割后的肺部區(qū)域采用醫(yī)學(xué)中常用的肺部分區(qū)方式,將其縱向分為內(nèi)、中、外帶,橫向分為上、中、下野(見圖4)。進(jìn)一步分別對(duì)左右肺部的10個(gè)分區(qū)以及完整的左右肺部提取一階統(tǒng)計(jì)量特征。同時(shí),分別基于0°、45°、90°、135°這4個(gè)方向提取每個(gè)個(gè)體的左右肺灰度共生矩陣特征。

圖4 肺部分區(qū)結(jié)果Fig.4 Lung partition result

1.2.2 特征分組及選擇

在此,依據(jù)圖像左右肺部區(qū)域劃分及特征類別將所提取到的特征劃分為幾何形狀特征、深度學(xué)習(xí)特征、左肺強(qiáng)度特征、右肺強(qiáng)度特征、左肺紋理特征以及右肺紋理特征共6組,后續(xù)基于每一組進(jìn)行特征選擇。

為了尋找最優(yōu)特征子集,盡可能剔除不相關(guān)或冗余特征,分別基于單變量分析和多變量分析進(jìn)行特征選擇及抽取。其中,單變量分析方法采用t檢驗(yàn)、互信息以及基于單個(gè)變量分類結(jié)果的敏感性和特異性對(duì)特征進(jìn)行重要性評(píng)估,篩去低于閾值的特征。需要說明的是,單變量分析方法需要正常與異常兩類樣本對(duì)比評(píng)估,而本研究訓(xùn)練集只存在正常樣本一個(gè)類別,因此,上述特征選擇方法均在驗(yàn)證集上完成。此外,考慮到可能存在多個(gè)特征共同作用影響分類結(jié)果,采用因子分析方法進(jìn)行多變量分析,提取多個(gè)變量的共因子進(jìn)行分類。

最后,通過對(duì)以上幾種特征選擇及特征抽取方法進(jìn)行排列組合,并且以驗(yàn)證集分類結(jié)果的AUC值作為評(píng)價(jià)準(zhǔn)則,選取得到最優(yōu)的6組特征子集。

1.3 分類模型構(gòu)建

融合深度學(xué)習(xí)特征及基于醫(yī)生經(jīng)驗(yàn)的影像組學(xué)特征,完成如圖2所示的集成機(jī)器學(xué)習(xí)模型的構(gòu)建。其中,基模型和元模型均采用OC-SVM分類器[24]實(shí)現(xiàn)。這是由于本研究模型訓(xùn)練時(shí)僅對(duì)單獨(dú)的正常樣本進(jìn)行建模,完成單類別分類任務(wù),而OC-SVM模型作為單類別分類的經(jīng)典模型在多個(gè)單類別分類場景中取得優(yōu)異成就[17]。該模型將與負(fù)類對(duì)應(yīng)的支持向量定義為坐標(biāo)系原點(diǎn),目標(biāo)是尋找一個(gè)離原點(diǎn)最遠(yuǎn)的超平面,并且保證正樣本數(shù)據(jù)存在于超平面的正半空間,以此來完成單類別分類。

具體地,對(duì)正常圖像經(jīng)過上述分組及特征選擇后所得的6組特征分別構(gòu)建OC-SVM模型,得到每組的初步預(yù)測結(jié)果,將篩查結(jié)果中各樣本到超平面的距離作為當(dāng)前組的異常分?jǐn)?shù)。接著,將這6組異常分?jǐn)?shù)以及1.1.3節(jié)所得深度學(xué)習(xí)異常分?jǐn)?shù)作為后續(xù)元模型的輸入特征,構(gòu)建OC-SVM模型,進(jìn)一步得到最終分類結(jié)果。

2 實(shí)驗(yàn)評(píng)估與分析

2.1 數(shù)據(jù)集及評(píng)價(jià)指標(biāo)

本研究所使用的胸部X光片數(shù)據(jù)TCLD-CXR數(shù)據(jù)集[25]來源于國內(nèi)某三甲醫(yī)院,共采集5 189張胸部正位X光片圖像,其中,2 383張圖像為不包含任何疾病的正常圖像,2 806張圖像伴有多種肺結(jié)核疾病。采集圖像為DICOM格式,圖像分辨率在858×1 004至3 480×4 240像素之間。數(shù)據(jù)的所有標(biāo)注工作均由3名專業(yè)影像科醫(yī)生完成,對(duì)于有異議的標(biāo)注結(jié)果則由3人投票確定最終標(biāo)注。此外,對(duì)所有的DICOM圖像依次完成數(shù)據(jù)脫敏工作,并將16位灰度值的DICOM圖像映射至8位灰度值,并以無損壓縮類型PNG格式保存圖像。

對(duì)該數(shù)據(jù)集依次劃分,1 200張正常圖像作為訓(xùn)練集,500張正常圖像及500張異常圖像作為驗(yàn)證集,剩余圖像均用作測試集。為了模擬體檢數(shù)據(jù)集進(jìn)行測試,每次進(jìn)行50組測試,每組測試隨機(jī)從測試集中抽取500張正常樣本以及25張異常樣本進(jìn)行測試,保持異常占比不到5%。

采用分類實(shí)驗(yàn)的指標(biāo)進(jìn)行評(píng)估,包括AUC(area under the curve)用于衡量分類器優(yōu)劣;假陽性率(false positive rate,FPR)表示誤診率;假陰性率(false negative rate,FNR)表示漏診率。

2.2 數(shù)據(jù)預(yù)處理

為精準(zhǔn)提取肺部區(qū)域特征并排除肺部以外區(qū)域?qū)Y查結(jié)果的影響,對(duì)肺部區(qū)域的有效分割是整個(gè)篩查過程中必不可少的環(huán)節(jié)。近年來,深度神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像分割上取得了優(yōu)異的效果,其中,U-Net[26]無疑是較為成功的成果之一。在U-Net眾多改進(jìn)模型中,Attention U-Net[27]擁有同U-Net一樣適用于小樣本數(shù)據(jù)訓(xùn)練的優(yōu)點(diǎn),同時(shí),其soft-attention方法可有效抑制圖像的無關(guān)區(qū)域,并突出特定區(qū)域的顯著特征,進(jìn)一步提高模型靈敏度和預(yù)測精度。因此,本文采用Attention U-Net模型對(duì)肺實(shí)質(zhì)區(qū)域進(jìn)行自動(dòng)分割,無需醫(yī)生進(jìn)行手動(dòng)勾勒,可減輕大量工作負(fù)擔(dān)。

具體地,分割模型使用MontgomeryCXR數(shù)據(jù)集[28]進(jìn)行訓(xùn)練,該數(shù)據(jù)集包含來自美國蒙哥馬利縣共138張胸部正位X光片,其中,80張正常,58張伴有肺結(jié)核疾病,每張影像存在與之對(duì)應(yīng)的分割掩膜二值圖。為增強(qiáng)模型的泛化性能,分別對(duì)訓(xùn)練集胸部X光片和與之對(duì)應(yīng)的分割掩膜同時(shí)進(jìn)行旋轉(zhuǎn)、平移、裁剪以及水平翻轉(zhuǎn)操作,進(jìn)一步擴(kuò)充訓(xùn)練樣本多樣性。最終,訓(xùn)練好的模型以胸部X光片圖像作為輸入,模型對(duì)圖像的每一個(gè)像素進(jìn)行分類得到其對(duì)應(yīng)的分割掩膜二值圖作為輸出。為避免模型可能會(huì)將部分其他小的組織預(yù)測為肺部區(qū)域,對(duì)預(yù)測所得的分割掩膜進(jìn)行連通區(qū)域檢測,僅保留圖像中最大的兩個(gè)聯(lián)通區(qū)域即左右肺區(qū)域,進(jìn)一步得到最終肺部區(qū)域的分割掩膜。根據(jù)分割掩膜可以從原圖中裁剪出肺部區(qū)域,用于后續(xù)的特征提取部分。

本文將該模型應(yīng)用于TCLD-CXR數(shù)據(jù)集進(jìn)行肺部區(qū)域分割,其對(duì)應(yīng)分割結(jié)果如圖5所示,可以看到,該模型在TCLD-CXR數(shù)據(jù)集上取得較為優(yōu)秀的分割效果,該分割結(jié)果可以更好地應(yīng)用于后續(xù)特征提取環(huán)節(jié)。

圖5 肺部區(qū)域分割結(jié)果圖Fig.5 Lung segmentation results

2.3 實(shí)驗(yàn)設(shè)置

本研究所有實(shí)驗(yàn)在Ubuntu 20.04操作系統(tǒng)下完成,所有深度學(xué)習(xí)實(shí)驗(yàn)均使用Pytorch框架實(shí)現(xiàn)。

對(duì)于基于改進(jìn)變分自編碼網(wǎng)絡(luò)的肺部疾病初篩及深度學(xué)習(xí)特征提取部分,設(shè)置編碼器包含8個(gè)卷積核大小為3×3且步長為2的卷積層,除第1層外每層后均包含1個(gè)批量歸一化層以及LeakyReLU激活層。解碼器包含8個(gè)卷積核大小為3×3且步長為2的反卷積層,除最后1層外每層后均包含1個(gè)批量歸一化層以及LeakyReLU激活層。其中,解碼器最后一層卷積層后添加Tanh激活層。隱空間中編碼特征大小為128。鑒別器采用PatchGAN[29]的思想實(shí)現(xiàn)。隱層編碼分類器由2個(gè)全連接層組成。在訓(xùn)練過程中,將訓(xùn)練期數(shù)設(shè)置為200,批處理大小為16,學(xué)習(xí)率為5e-5,輸入圖像大小為256×256。使用Adam優(yōu)化器迭代更新網(wǎng)絡(luò)權(quán)值,其中,動(dòng)量β1=0.5,β2=0.999。推理過程中異常分?jǐn)?shù)的α1、α2分別設(shè)置為1和5。

在影像組學(xué)特征集構(gòu)建過程中經(jīng)特征分組和選擇后共得到幾何形狀特征13個(gè)、左肺強(qiáng)度特征26個(gè)、右肺強(qiáng)度特征28個(gè)、左肺紋理特征35個(gè)、右肺紋理特征36個(gè)、深度學(xué)習(xí)特征22個(gè)用于模型構(gòu)建。

2.4 實(shí)驗(yàn)結(jié)果分析

2.4.1 改進(jìn)變分自編碼網(wǎng)絡(luò)對(duì)比實(shí)驗(yàn)

為了衡量所提出的改進(jìn)變分自編碼生成對(duì)抗網(wǎng)絡(luò)的初篩效果,本文與采用生成對(duì)抗思想的自編碼器進(jìn)行對(duì)比,同時(shí),與AnoGAN[30]、OCGAN[18]等基于單類別分類思想的先進(jìn)方法進(jìn)行比較。實(shí)驗(yàn)結(jié)果如表3所示,可以看到,本文提出的改進(jìn)變分自編碼網(wǎng)絡(luò)相比其他方法其AUC指標(biāo)具有明顯提升,并且方差存在明顯降低,同時(shí),也取得了較低的誤診率和漏診率。說明本文的模型分類效果存在明顯提升,且模型預(yù)測結(jié)果也更加穩(wěn)定。

表3 基于單獨(dú)正常圖像分類的深度學(xué)習(xí)模型對(duì)比實(shí)驗(yàn)結(jié)果Tab.3 Comparative experimental results of depth learning model based on one-class normal image classification

然而,通過上述實(shí)驗(yàn)可以看到本文方法雖然相比其他方法分類效果存在明顯提升,但是仍然無法達(dá)到零漏診率的篩查目標(biāo)。本文認(rèn)為深度學(xué)習(xí)模型缺乏醫(yī)生經(jīng)驗(yàn)的指導(dǎo),同時(shí),當(dāng)只有正常圖像一個(gè)類別參與模型訓(xùn)練時(shí),所學(xué)習(xí)到的特征容易遺漏微小病灶信息,因此,當(dāng)推理過程中患病圖像病灶區(qū)域較小時(shí),也會(huì)取得與正常圖像同等的重構(gòu)效果,進(jìn)而難以對(duì)其進(jìn)行區(qū)分。在此,也進(jìn)一步驗(yàn)證了本文后續(xù)融合基于醫(yī)生經(jīng)驗(yàn)的影像組學(xué)特征進(jìn)行篩查的必要性。

2.4.2 參數(shù)α1、α2對(duì)初篩結(jié)果的影響

為了衡量式(9)中參數(shù)α1、α2對(duì)模型初篩結(jié)果的影響。具體地,分別設(shè)置α1=1,α2=0以及α1=0,α2=1進(jìn)行實(shí)驗(yàn),進(jìn)一步對(duì)比僅依據(jù)圖像重構(gòu)前后像素間差異以及特征間差異其中的一項(xiàng)時(shí)所取得的實(shí)驗(yàn)效果。分別控制α1或α2不變,進(jìn)而觀察另一參數(shù)的改變對(duì)實(shí)驗(yàn)結(jié)果的影響。表4展示了驗(yàn)證集所得實(shí)驗(yàn)結(jié)果。

通過上述實(shí)驗(yàn)結(jié)果可以看到,當(dāng)α1=0,α2=1時(shí),比α1=1,α2=0時(shí)取得更好的分類效果,說明推理過程中圖像重構(gòu)前后特征間的差異比像素間差異在正常與異常類別間更具有區(qū)分性。當(dāng)控制α2不變并逐漸增加α1的值時(shí),圖像重構(gòu)前后像素間差異所占權(quán)重逐漸增加,其分類效果存在較小的下降趨勢;而當(dāng)控制α1不變并逐漸增加α2的值時(shí),圖像重構(gòu)前后特征間差異所占權(quán)重逐漸增加,其分類效果在明顯的上升趨勢之后存在微小下降。說明適當(dāng)增加圖像重構(gòu)前后特征間差異的權(quán)重可以取得更好的分類效果,同時(shí),也驗(yàn)證了在圖像重構(gòu)前后像素級(jí)差異基礎(chǔ)上增加特征間差異來計(jì)算圖像異常分?jǐn)?shù)的有效性。

表4 不同α1、α2取值時(shí)的分類效果Tab.4 Classification results with different weighting parameters α1 and α2

2.4.3 消融實(shí)驗(yàn)

為了衡量最終所構(gòu)建的集成模型效果,設(shè)置了如下幾組消融試驗(yàn)來對(duì)比不同特征組成時(shí)的實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)1僅使用影像組學(xué)特征構(gòu)建集成模型完成疾病篩查;實(shí)驗(yàn)2使用所提出的改進(jìn)變分自編碼網(wǎng)絡(luò),并依據(jù)其異常分?jǐn)?shù)進(jìn)行分類所得結(jié)果;實(shí)驗(yàn)3使用所提出的改進(jìn)變分自編碼網(wǎng)絡(luò)提取圖像隱層特征并構(gòu)建對(duì)應(yīng)的OC-SVM模型完成疾病篩查;實(shí)驗(yàn)4使用影像組學(xué)特征以及深度學(xué)習(xí)異常分?jǐn)?shù)構(gòu)建集成模型完成疾病篩查;實(shí)驗(yàn)5使用如圖2所示的完整模型,即融合影像組學(xué)特征、深度學(xué)習(xí)特征以及深度學(xué)習(xí)異常分?jǐn)?shù)共同構(gòu)建集成模型完成疾病篩查。對(duì)比實(shí)驗(yàn)結(jié)果如表5所示。

從表5可以看到,本研究所構(gòu)建的混合模型分類結(jié)果比單獨(dú)使用影像組學(xué)特征和單獨(dú)使用深度學(xué)習(xí)模型均有明顯提升,且保證漏診率為0的前提下,誤診率也得到了大幅度的降低。此外,模型預(yù)測結(jié)果方差也有明顯降低,證明了該模型在魯棒性上具有明顯提升。

表5 消融實(shí)驗(yàn)結(jié)果Tab.5 Results of ablation experiment

圖6展示了上述實(shí)驗(yàn)1、實(shí)驗(yàn)2以及實(shí)驗(yàn)5分類結(jié)果的ROC曲線,圖7展示了這3個(gè)實(shí)驗(yàn)測試集中正常與異常樣本的異常分?jǐn)?shù)分布箱線圖。通過以上對(duì)比可以看到,在本任務(wù)中深度學(xué)習(xí)模型無論在分類能力還是在模型魯棒性上性能明顯差于僅使用影像組學(xué)特征構(gòu)建的傳統(tǒng)機(jī)器學(xué)習(xí)模型,并且深度學(xué)習(xí)模型也難以控制篩查結(jié)果不漏診。這是由于我們所提取的影像組學(xué)特征是基于一定的先驗(yàn)知識(shí)得到的,而深度學(xué)習(xí)模型無先驗(yàn)知識(shí)的指導(dǎo)且更加依賴訓(xùn)練集數(shù)據(jù)的分布。因此,本文認(rèn)為對(duì)醫(yī)生先驗(yàn)知識(shí)探索更有助于疾病篩查,可一定程度提升篩查結(jié)果的可解釋性。

圖6 實(shí)驗(yàn)1、2、5分類結(jié)果的ROC曲線圖Fig.6 ROC curve of experiment 1,2 and 5

圖7 實(shí)驗(yàn)1、2、5異常分?jǐn)?shù)分布箱線圖Fig.7 Distribution of anomaly score in experiment 1,2 and 5

3 結(jié)語

針對(duì)當(dāng)前計(jì)算機(jī)輔助肺部疾病篩查相關(guān)研究在臨床應(yīng)用中存在的實(shí)際問題,本文通過梳理醫(yī)生診斷流程,重新定義了肺部疾病的篩查目標(biāo)。針對(duì)單類別分類方法在肺部疾病篩查中效果不佳的問題,提出改進(jìn)變分自編碼網(wǎng)絡(luò)用于肺部疾病的初篩并提取圖像的深度編碼特征。進(jìn)一步針對(duì)具有微小病灶疾病容易漏診的問題,融合基于醫(yī)生經(jīng)驗(yàn)的影像組學(xué)特征以及深度學(xué)習(xí)特征間的互補(bǔ)優(yōu)勢,構(gòu)建了一個(gè)集成學(xué)習(xí)模型實(shí)現(xiàn)本文的肺部疾病篩查目標(biāo)。通過實(shí)驗(yàn)驗(yàn)證了本研究所構(gòu)建模型的有效性及魯棒性。此外,實(shí)驗(yàn)發(fā)現(xiàn)融合了影像組學(xué)特征后的傳統(tǒng)機(jī)器學(xué)習(xí)模型效果明顯優(yōu)于單獨(dú)的深度學(xué)習(xí)模型結(jié)果,進(jìn)一步凸顯了融合醫(yī)生經(jīng)驗(yàn)的有效性。在此,我們不否認(rèn)深度學(xué)習(xí)模型在醫(yī)學(xué)圖像分析各個(gè)領(lǐng)域的優(yōu)越性,同時(shí),更鼓勵(lì)研究者們重視醫(yī)生的診斷流程及閱片經(jīng)驗(yàn)所帶來的知識(shí)補(bǔ)充。

不同于以往研究,本文并不代替醫(yī)生進(jìn)行疾病類型診斷,也不對(duì)任何類型疾病進(jìn)行建模,而是輔助醫(yī)生在篩查過程中排除無需再次核查的正常影像,疾病診斷過程仍由醫(yī)生來主導(dǎo),因此,可以適用于醫(yī)生臨床閱片過程,極大減輕醫(yī)生及后續(xù)任務(wù)的工作量。