基于Faster-RCNN的肝細(xì)胞癌與肝內(nèi)膽管細(xì)胞癌多模態(tài)MR影像智能腫瘤識(shí)別與分類診斷模型構(gòu)建

雷 磊，李俊杰，王倩梅，趙 鵬，劉傳明

肝癌是世界范圍內(nèi)病死率最高的惡性腫瘤[1-3]，每年有800 000～1 000 000死于肝細(xì)胞肝癌(HCC)及相關(guān)疾病[4]。原發(fā)性肝癌(PLC)從組織學(xué)類型上可分為HCC和肝內(nèi)膽管細(xì)胞癌(ICC)[5-6]。由于兩種腫瘤治療策略不同，科學(xué)合理的鑒別診斷，對(duì)疾病后續(xù)治療有著重要的指導(dǎo)意義。MR增強(qiáng)掃描因具有軟組織分辨率高、對(duì)比度高、成像參數(shù)多等優(yōu)勢(shì)，在HCC/ICC的鑒別診斷中起重要作用[7]。但MR增強(qiáng)掃描在臨床應(yīng)用中仍存在一些問(wèn)題，一方面人工影像鑒別準(zhǔn)確率有進(jìn)一步提升的空間，另一方面其模式多、時(shí)相多，在一定程度上增加了判讀的復(fù)雜性。當(dāng)前，以區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(RCNN)為代表的深度學(xué)習(xí)方法已廣泛應(yīng)用于醫(yī)學(xué)圖像識(shí)別領(lǐng)域，在病變識(shí)別和性質(zhì)判斷上取得了諸多成果。Faster-RCNN是在RCNN基礎(chǔ)上的重要改進(jìn)，其將特征提取、邊框回歸、分類等任務(wù)整合到同一個(gè)網(wǎng)絡(luò)中，極大提高了網(wǎng)絡(luò)的綜合性能[5]。本研究擬將不同時(shí)相的MR圖像進(jìn)行配準(zhǔn)、融合，以Faster-RCNN為主要方法，對(duì)HCC和ICC的MR增強(qiáng)掃描圖像進(jìn)行腫瘤范圍識(shí)別及性質(zhì)分類，旨在為臨床轉(zhuǎn)化、協(xié)助診療工作提供幫助。

1 資料與方法

1.1一般資料 選取2017年1月—2020年1月于我院接受肝臟切除手術(shù)治療，經(jīng)術(shù)后病理明確診斷為HCC或ICC(不包括HCC-ICC混合型)，且術(shù)前4周內(nèi)于我院接受腹部MR增強(qiáng)掃描156例。排除標(biāo)準(zhǔn)：①合并肝臟良性占位性病變(肝血管瘤、肝囊腫、肝臟局灶性結(jié)節(jié)增生等)者；②患者在采集圖像過(guò)程中出現(xiàn)較大體位變化，導(dǎo)致MR不同時(shí)期圖像之間難以配準(zhǔn)；③圖像質(zhì)量不佳。

1.2圖像采集 所有入組患者使用3.0T MR儀進(jìn)行掃描。增強(qiáng)掃描序列包括動(dòng)脈期、靜脈期、延遲期。序列切片厚度為5 mm、間隔1.5 cm、圖像大小510×420像素。所有圖片使用DICOM格式收集并存儲(chǔ)。存儲(chǔ)時(shí)，以患者手術(shù)標(biāo)本的病理診斷為訓(xùn)練標(biāo)簽。

1.3圖像標(biāo)注及配準(zhǔn) 使用MR圖像中的動(dòng)脈期、靜脈期、延遲期圖像及融合圖像進(jìn)行訓(xùn)練。所有圖像感興趣區(qū)域(ROI)由有經(jīng)驗(yàn)的?？漆t(yī)師使用SLICE軟件進(jìn)行標(biāo)注。標(biāo)注時(shí)，首先選取一個(gè)序列的影像，在橫斷面、冠狀面、矢狀面中任選兩個(gè)方向(SLICE軟件可以通過(guò)一個(gè)方向的圖像序列，根據(jù)切片厚度生成其他方向的圖像)，在腫瘤截面積最大的層面對(duì)腫瘤進(jìn)行矩形標(biāo)注。標(biāo)注原則：①矩形標(biāo)注框應(yīng)完全包含腫瘤范圍；②在滿足①的前提下，標(biāo)注框面積應(yīng)盡可能??；③當(dāng)腫瘤邊界不清時(shí)，標(biāo)注框應(yīng)盡可能完整包含疑似腫瘤的部分。在完成一個(gè)序列的標(biāo)注后，SLICE軟件可以生成立方體的三維標(biāo)注框。在同一患者其他序列的影像標(biāo)注中，不調(diào)整該立方體標(biāo)注框的大小，僅調(diào)整其空間位置，使其可以包含新序列中的腫瘤區(qū)域。必要時(shí)調(diào)整標(biāo)注框。標(biāo)注完成后輸出標(biāo)注框在影像序列中的坐標(biāo)位置并保存。

使用image_registration軟件中的chi2_shift方法對(duì)圖像進(jìn)行配準(zhǔn)。為提高配準(zhǔn)的準(zhǔn)確性，首先將不同模態(tài)的影像依次沿X軸連接，配準(zhǔn)后融合動(dòng)脈期、靜脈期及延遲期圖像，按圖像尺寸裁剪。最終獲得融合后的420×510×3矩陣用于訓(xùn)練。

1.4Faster-RCNN模型訓(xùn)練 結(jié)合MR影像數(shù)據(jù)特征采用Faster-RCNN模型訓(xùn)練[8]。Faster-RCNN基本原理是將選擇候選區(qū)域、提取特征、分類與邊界回歸等步驟融合到一個(gè)神經(jīng)網(wǎng)絡(luò)中進(jìn)行，其結(jié)構(gòu)包括Faster-RCNN、區(qū)域建立網(wǎng)絡(luò)(RPN)和卷積神經(jīng)網(wǎng)絡(luò)(CNN),見圖1。在訓(xùn)練過(guò)程中，當(dāng)圖片輸入模型后，通過(guò)CNN提取圖像特征，一個(gè)分支將特征圖輸入池化層，另一個(gè)分支將特征圖輸入RPN，得到2000個(gè)候選框后送入池化層，分別提取各候選框特征。最后通過(guò)全連接層進(jìn)行分類計(jì)算和邊框回歸確定候選范圍。

圖1 Faster-RCNN基本結(jié)構(gòu)

1.6統(tǒng)計(jì)學(xué)方法 使用Dice系數(shù)作為腫瘤目標(biāo)識(shí)別準(zhǔn)確性的評(píng)價(jià)指標(biāo)，當(dāng)測(cè)試結(jié)果框選范圍與預(yù)先標(biāo)記的腫瘤范圍Dice系數(shù)≥50%時(shí)，認(rèn)為腫瘤位置判斷準(zhǔn)確；隨后判斷該區(qū)域的分類是否準(zhǔn)確，以精確率及召回率作為評(píng)價(jià)指標(biāo)。精確率=真陽(yáng)性/(真陽(yáng)性+假陽(yáng)性)×100%，召回率=真陽(yáng)性/(真陽(yáng)性+假陰性)×100%。臨床數(shù)據(jù)的統(tǒng)計(jì)學(xué)分析使用SPSS 23.0軟件，計(jì)數(shù)資料以率(%)表示，比較采用χ2檢驗(yàn)。α=0.05為檢驗(yàn)水準(zhǔn)。

2 結(jié)果

2.1訓(xùn)練集和測(cè)試集患者臨床資料比較 納入訓(xùn)練集和測(cè)試集影像數(shù)據(jù)來(lái)自156例患者，隨機(jī)選取其中125例(80.1%)作為訓(xùn)練集，31例(19.9%)作為測(cè)試集?；颊邉?dòng)脈期、靜脈期、延遲期圖像序列均包含88張圖像。訓(xùn)練集和測(cè)試集患者在性別、年齡、體質(zhì)量指數(shù)、乙型肝炎病毒感染、丙型肝炎病毒感染及病理類型構(gòu)成上均無(wú)顯著差異(P>0.05)，見表1。

表1 訓(xùn)練集和測(cè)試集患者臨床資料比較[例(%)]

2.2目標(biāo)識(shí)別測(cè)試結(jié)果 Faster-RCNN使用TensorFlow實(shí)現(xiàn)。分別針對(duì)單一序列圖像及融合后圖像(圖2)進(jìn)行訓(xùn)練，以學(xué)習(xí)率=10-4進(jìn)行優(yōu)化。在單一序列訓(xùn)練中，最終迭代次數(shù)為20 000次；在融合圖像訓(xùn)練中，迭代次數(shù)為30 000次。Faster-RCNN在每張圖片中輸出2000個(gè)候選框，保留其中置信度>0.7的候選框。在Z軸連續(xù)性篩選中，如連續(xù)2個(gè)層面中識(shí)別的腫瘤候選框范圍Dice系數(shù)≥50%認(rèn)為是真陽(yáng)性，否則判斷為假陽(yáng)性(圖3)。目標(biāo)識(shí)別準(zhǔn)確性判斷中，使用輸出的識(shí)別框與預(yù)先標(biāo)記的識(shí)別框比較，如二者Dice系數(shù)≥50%認(rèn)為判斷正確，否則認(rèn)為判斷錯(cuò)誤。目標(biāo)識(shí)別結(jié)果見表2。結(jié)果可見無(wú)論是單一序列圖像還是融合圖像，Z軸連續(xù)性篩選均提高了精確率和召回率。在單一序列測(cè)試中，延遲期圖像在經(jīng)Z軸連續(xù)性篩選前、篩選后均獲得了最高的精確率和召回率。

圖2 圖像配準(zhǔn)及融合示例

圖3 腫瘤目標(biāo)范圍識(shí)別示例

表2 目標(biāo)區(qū)域識(shí)別結(jié)果

2.3分類診斷測(cè)試結(jié)果 測(cè)試中，存在部分圖像ROI區(qū)域識(shí)別結(jié)果錯(cuò)誤，但分類診斷結(jié)果正確。實(shí)際應(yīng)用中此類識(shí)別結(jié)果不具有價(jià)值，因此僅當(dāng)ROI區(qū)域識(shí)別結(jié)果正確且分類診斷結(jié)果正確時(shí)，才認(rèn)為判斷結(jié)果正確(圖4)。在單一序列判別結(jié)果中，延遲期圖像整體分類診斷準(zhǔn)確率及HCC、ICC分類診斷準(zhǔn)確率均最高，而融合圖像準(zhǔn)確率則高于單一序列圖像。見表3。

表3 圖像層面分類診斷測(cè)試結(jié)果(%)

因同一位患者的不同層面結(jié)果可能存在差異，使用加權(quán)投票法對(duì)患者層面分類診斷結(jié)果進(jìn)行綜合判斷，即以各層面分類診斷結(jié)果置信度作為投票權(quán)重，以最終的投票結(jié)果作為患者的疾病診斷結(jié)果。加權(quán)投票后，動(dòng)脈期、靜脈期、延遲期HCC分類準(zhǔn)確率均高于加權(quán)投票前，ICC分類準(zhǔn)確率低于加權(quán)投票前，加權(quán)投票提高了整體準(zhǔn)確率。見表3、4。融合圖像整體分類診斷準(zhǔn)確率為93.5%，HCC分類診斷準(zhǔn)確率達(dá)96.0%，ICC分類診斷準(zhǔn)確率達(dá)83.3%。見表4。

圖4 腫瘤分類結(jié)果示例

表4 患者層面(加權(quán)投票后)分類診斷測(cè)試結(jié)果(%)

3 討論

近年來(lái)，以深度神經(jīng)網(wǎng)絡(luò)為代表的人工智能技術(shù)在醫(yī)學(xué)領(lǐng)域展現(xiàn)出巨大的應(yīng)用潛能。相較于傳統(tǒng)統(tǒng)計(jì)分析方法，神經(jīng)網(wǎng)絡(luò)更善于挖掘高維度、復(fù)雜數(shù)據(jù)間的內(nèi)在聯(lián)系，目前已經(jīng)在臨床診斷、預(yù)后分析等領(lǐng)域得到應(yīng)用。CNN具有良好的圖像特征提取及分類能力[9-10]。ESTEVA等[11]使用深度神經(jīng)網(wǎng)絡(luò)對(duì)皮膚惡性腫瘤分型進(jìn)行圖像識(shí)別，受試者工作特征曲線下面積(AUC)、診斷特異度和敏感度均較高。而利用遷移學(xué)習(xí)法對(duì)眼科影像進(jìn)行智能識(shí)別，在提高AUC的同時(shí)，還極大降低了模型訓(xùn)練對(duì)樣本量的要求[12]。

RCNN是第一個(gè)成功將深度學(xué)習(xí)應(yīng)用到目標(biāo)檢測(cè)中的方法。RCNN的檢測(cè)思路與傳統(tǒng)目標(biāo)檢測(cè)方法類似，均使用框提取、特征提取、圖像分類、非極大值抑制4個(gè)步驟[13]。在特征提取步驟中，由于使用CNN，可以提取更多的圖像信息，因此較傳統(tǒng)方法大幅提高了目標(biāo)檢測(cè)的準(zhǔn)確率。RCNN發(fā)明者Girshick于2016年提出了Faster-RCNN模型，在網(wǎng)絡(luò)結(jié)構(gòu)上將特征提取、邊框回歸、分類任務(wù)整合在一個(gè)網(wǎng)絡(luò)中，極大提高了檢測(cè)速度及模型綜合性能[14]。本研究的目標(biāo)識(shí)別及分類任務(wù)基于Faster-RCNN模型，該模型在單一圖像的目標(biāo)識(shí)別中可以識(shí)別多個(gè)目標(biāo)。由于HCC/ICC患者常合并肝囊腫、肝血管瘤等良性疾病；同時(shí)由于合并肝硬化患者較多，常在肝臟圖像中出現(xiàn)異常成像區(qū)域。因此在單層面圖像水平的目標(biāo)識(shí)別中可能存在較多假陽(yáng)性結(jié)果。為解決這一問(wèn)題，本研究采用Z軸連續(xù)性篩選，根據(jù)腫瘤的形態(tài)特征，將在Z軸中孤立的識(shí)別結(jié)果判斷為假陽(yáng)性，經(jīng)過(guò)Z軸連續(xù)性篩選后的識(shí)別精確率和召回率均顯著高于篩選前，尤其精確率得到大幅提高，證實(shí)該方法可以有效降低識(shí)別的假陽(yáng)性率。

MR增強(qiáng)掃描較MR平掃可以顯著提高診斷準(zhǔn)確率。在臨床工作中，HCC與ICC在MR增強(qiáng)掃描中的鑒別診斷需要結(jié)合不同序列影像進(jìn)行判斷。本研究在對(duì)單一序列圖像進(jìn)行識(shí)別的同時(shí)，提出將動(dòng)脈期、靜脈期及延遲期影像進(jìn)行融合，旨在增加單一圖像所包含的信息，以提高目標(biāo)識(shí)別和分類的準(zhǔn)確性[15]。為解決單一層面圖像配準(zhǔn)效果不理想的問(wèn)題，本研究將一個(gè)序列中的圖像按順序連接后進(jìn)行圖像配準(zhǔn)，該方法增加了單一圖像中的特征，在不改變圖像基本形狀的同時(shí)，獲得了較為理想的配準(zhǔn)效果，融合后的圖像無(wú)論在目標(biāo)識(shí)別和分類性能方面均優(yōu)于單一序列。

為進(jìn)一步提升模型性能，結(jié)合患者臨床特征，本研究提出使用加權(quán)投票的方法對(duì)患者腫瘤分類進(jìn)行整體判斷[16-17]。盡管該方法提高了整體判斷準(zhǔn)確率，尤其是在融合圖像中整體準(zhǔn)確率達(dá)93.5%、HCC判斷準(zhǔn)確率達(dá)96.0%；但在ICC的判斷中，準(zhǔn)確率卻出現(xiàn)下降，單一序列的判斷結(jié)果不理想，只有融合圖像判斷準(zhǔn)確率達(dá)到了83.3%，可能原因?yàn)镮CC測(cè)試集中患者水平樣本量較少(6例)，導(dǎo)致結(jié)果波動(dòng)較大；訓(xùn)練中HCC與ICC樣本量不平衡(85.6% vs 14.4%)。更加平衡的數(shù)據(jù)可能會(huì)獲得更好的分類性能，這是本研究的主要局限性之一；此外，本研究還需進(jìn)一步擴(kuò)大樣本量以提升模型的穩(wěn)定性和可靠性。

綜上，本研究通過(guò)Faster-RCNN模型，使用經(jīng)配準(zhǔn)、融合后的多模態(tài)MR影像數(shù)據(jù)，結(jié)合Z軸連續(xù)性篩選、加權(quán)投票方法，構(gòu)建了一種可以高效、準(zhǔn)確對(duì)HCC/ICC患者進(jìn)行腫瘤區(qū)域識(shí)別及分類診斷的模型。該模型具有較強(qiáng)的臨床轉(zhuǎn)化潛力，進(jìn)一步完善后有望協(xié)助相關(guān)醫(yī)生進(jìn)行HCC/ICC的識(shí)別及鑒別診斷工作。