深度注意力機(jī)制結(jié)合臨床特征預(yù)測(cè)肝細(xì)胞癌微血管浸潤

鞏 高，曹 石，肖 慧，方威揚(yáng)，闕與清，劉子蔚，陳超敏

1南方醫(yī)科大學(xué)生物醫(yī)學(xué)工程學(xué)院，廣東 廣州 510515；2南昌大學(xué)第一附屬醫(yī)院，江西 南昌 330006；3南方醫(yī)科大學(xué)附屬順德醫(yī)院，廣東 佛山528308

肝細(xì)胞癌已經(jīng)成為世界第六常見的惡性腫瘤，也是癌癥死亡的第3大原因［1］，術(shù)后復(fù)發(fā)對(duì)臨床治療仍是一個(gè)重大挑戰(zhàn)［2,3］。微血管浸潤的存在被證明是與肝切除和肝移植術(shù)后早期復(fù)發(fā)和低生存率相關(guān)的獨(dú)立預(yù)后因素［4,5］，對(duì)于MVI陽性患者，腫瘤復(fù)發(fā)風(fēng)險(xiǎn)增加4.4倍，擴(kuò)大切除邊緣的肝切除術(shù)可通過根除微轉(zhuǎn)移顯著提高患者的生存率［6,7］。但是目前MVI只能通過組織病理學(xué)結(jié)果來最終確定，因此迫切需要在術(shù)前基于影像學(xué)手段和臨床因素分析來對(duì)MVI進(jìn)行分類預(yù)測(cè)。

近年來，隨著醫(yī)療影像技術(shù)的進(jìn)步，越來越多的研究者關(guān)注術(shù)前影像學(xué)表征來預(yù)測(cè)肝細(xì)胞癌微血管浸潤，但微血管浸潤的影像學(xué)特征并不明顯，目前已有多項(xiàng)研究嘗試探索影像學(xué)特征以預(yù)測(cè)MVI［8-10］，影像學(xué)特征能否正確反映MVI的具體情況存在爭議。許多研究者關(guān)注腫瘤大小、邊緣光滑程度、包膜情況、瘤周強(qiáng)化方式、多灶性、表觀擴(kuò)散系（ADC）等對(duì)肝細(xì)胞癌微血管浸潤的影響［11-13］，已經(jīng)被證明有助于預(yù)測(cè)MVI。除此之外，還有一些研究者試圖研究臨床血清指標(biāo)對(duì)MVI的影響［14］，取得了前沿性的進(jìn)展。

放射組學(xué)作為一種無創(chuàng)的影像技術(shù)，可以采用數(shù)字影像中的高維特征進(jìn)行預(yù)測(cè)，已被成功應(yīng)用于MVI的預(yù)測(cè)。Li等［15］開發(fā)了一種基于FDG18 PET/CT的放射組學(xué)列線圖模型評(píng)估極早期和早期肝細(xì)胞癌患者微血管浸潤的無病生存期（DFS），證明該模型對(duì)提高極早期和早期肝細(xì)胞癌患者M(jìn)VI 個(gè)體化DFS 有重要價(jià)值。Hu等［16］建立基于超聲（US）的放射組學(xué)評(píng)分方法用于肝細(xì)胞癌術(shù)前微血管浸潤的預(yù)測(cè)，經(jīng)過實(shí)驗(yàn)驗(yàn)證，放射組學(xué)評(píng)分列線圖模型要優(yōu)于基于AFP和腫瘤大小的臨床列線圖模型。還有許多研究者通過結(jié)合放射組學(xué)和臨床血液檢測(cè)指標(biāo)對(duì)MVI進(jìn)行預(yù)測(cè)［14,17］，取得了一定成效。放射組學(xué)在醫(yī)學(xué)領(lǐng)域應(yīng)用廣泛且效果較好，但由于放射組學(xué)特征對(duì)特征提取和重建參數(shù)敏感而且過程繁瑣，有待改進(jìn)。

深度學(xué)習(xí)作為人工智能領(lǐng)域的一個(gè)分支，可以直接從醫(yī)學(xué)影像數(shù)據(jù)中學(xué)習(xí)到深度特征，已被證明效果優(yōu)于傳統(tǒng)的放射組學(xué)。在肝細(xì)胞癌微血管浸潤預(yù)測(cè)方面，深度學(xué)習(xí)也取得了很好的效果。Wei等［18］回顧性研究多中心（CE-CT）和（EOB-MRI）兩種數(shù)據(jù)類型建立了深度學(xué)習(xí)模型，并通過注意力圖來可視化MVI的高危區(qū)域，結(jié)果顯示基于EOB-MRI的深度學(xué)習(xí)模型效果要優(yōu)于基于CE-CT的深度學(xué)習(xí)模型，兩種模型都可以對(duì)肝細(xì)胞癌患者進(jìn)行無復(fù)發(fā)生存期和總生存期的高風(fēng)險(xiǎn)組和低風(fēng)險(xiǎn)組進(jìn)行分級(jí)，取得了良好的效果。Jiang等［19］構(gòu)建基于CT圖像的XGBoost放射組學(xué)模型和3D深度學(xué)習(xí)模型預(yù)測(cè)MVI，通過對(duì)比兩種模型效果，深度學(xué)習(xí)模型更有助于預(yù)測(cè)MVI。但能否輔助肝癌治療決策，還需進(jìn)一步驗(yàn)證。

本項(xiàng)研究旨在探究MRI評(píng)估MVI存在的一致性和診斷性能，基于深度學(xué)習(xí)方法結(jié)合注意力機(jī)制與臨床實(shí)驗(yàn)室檢測(cè)指標(biāo)建立模型，提高對(duì)MVI檢測(cè)的敏感度和特異度，希望為臨床術(shù)前準(zhǔn)確診斷MVI的存在并進(jìn)一步制定最佳治療方案提供參考意見和理論支持，降低醫(yī)生工作強(qiáng)度，輔助醫(yī)生做出臨床決策。

1 材料和方法

1.1 實(shí)驗(yàn)數(shù)據(jù)

本回顧性實(shí)驗(yàn)經(jīng)南方醫(yī)科大學(xué)附屬順德醫(yī)院（中國佛山）倫理評(píng)審委員會(huì)批準(zhǔn)（20201124）。所有訪問的患者數(shù)據(jù)均符合數(shù)據(jù)相關(guān)隱私保護(hù)，且所有患者的權(quán)利未受到侵犯。

數(shù)據(jù)收集過程：回顧性收集了南方醫(yī)科大學(xué)附屬順德醫(yī)院的患者，包括經(jīng)病理證實(shí)的單發(fā)和多發(fā)實(shí)性肝癌（圖1）。對(duì)于圖像數(shù)據(jù)，術(shù)前1個(gè)月接受增強(qiáng)MRI檢查以及MVI檢查；對(duì)于臨床數(shù)據(jù)，數(shù)據(jù)排除標(biāo)準(zhǔn)如下：（1）術(shù)前給予其他抗腫瘤治療和肝切除手術(shù)；（2）有大血管和肝外轉(zhuǎn)移；（3）用于解釋的MRI圖像質(zhì)量不理想。

圖1 本研究納入數(shù)據(jù)流程圖Fig. 1 Flow chart of the enrolled dataset.

1.2 數(shù)據(jù)獲取及預(yù)處理

所有肝細(xì)胞癌患者的MRI檢查均在3.0T MR 的磁共振掃描儀（磁共振采集協(xié)議如表1）下進(jìn)行掃描采集。3個(gè)常規(guī)腹部MRI序列包括：T1WI、T2WI（伴脂肪抑制的）、擴(kuò)散加權(quán)成像（DWI，b=0）、4個(gè)增強(qiáng)MRI序列包括：動(dòng)脈期（AP，17.5s-）、門靜脈期（PP，約80 s）、平衡期（EP，約3 min）、肝膽期（HBP，20 min），兩個(gè)合成MRI序列：T1mapping-pre、T1mapping-20 min（20 min）。詳細(xì)MRI參數(shù)見表1。數(shù)據(jù)集中腫瘤區(qū)域由兩名放射科醫(yī)生進(jìn)行手工繪制，并通過一名資深的臨床專家進(jìn)行確認(rèn)和驗(yàn)證。

表1 磁共振采集參數(shù)Tab.1 MR image acquisition protocols

在模型訓(xùn)練之前，采用圖像標(biāo)準(zhǔn)化的方法，消除在醫(yī)療環(huán)境中由于設(shè)備和軟件導(dǎo)致MRI圖像差異，便于對(duì)圖像進(jìn)行識(shí)別。由于MRI圖像數(shù)量不足，需要進(jìn)行數(shù)據(jù)增強(qiáng)，增加樣本容量，增強(qiáng)數(shù)據(jù)的多樣性，提高模型的泛化能力，防止模型過擬合。增強(qiáng)過程包括在原圖像的不同位置進(jìn)行隨機(jī)裁剪、或水平或垂直翻轉(zhuǎn)等，裁剪完的圖像為新圖像，使得圖像總數(shù)增加，并將所使用的MRI序列和增強(qiáng)后圖像數(shù)量等信息展示（表2）。

表2 本研究所納入病例數(shù)量信息Tab.2 Numbers of cases and MR images included in this study(n)

臨床參數(shù)通過收集患者的血液檢查信息，術(shù)前收集參數(shù)包括年齡、性別、甲胎蛋白（AFP）、乙型肝癌病毒（HBV）、丙型肝癌病毒（HCV）、谷丙轉(zhuǎn)氨酶（ALT）、谷草轉(zhuǎn)氨酶（AST）、谷氨酰轉(zhuǎn)肽酶（GGT）、堿性磷酸酶（AKP）、乳酸脫氫酶（LDH）、白蛋白、血清肌酐（SCR）、總膽紅素（TBIL）、結(jié)合膽紅素（DBIL）、C 反應(yīng)蛋白（CRP）、中性粒細(xì)胞/淋巴細(xì)胞比值（NLR）、血小板、淋巴細(xì)胞、血小板/淋巴細(xì)胞比值（PLR）、凝血酶原時(shí)間（PT）。

所有的病理檢測(cè)結(jié)果均為兩名專業(yè)的病理醫(yī)生完成，并通過一名病理專家進(jìn)行驗(yàn)證。肝細(xì)胞癌患者檢測(cè)數(shù)據(jù)包括Edmondson-Steiner分級(jí)、組織學(xué)類型、細(xì)胞類型、包膜浸潤狀態(tài)、MVI、膽管浸潤和衛(wèi)星結(jié)節(jié)。MVI被定義為腫瘤浸潤任何門靜脈、肝靜脈、或僅在顯微鏡下可見的內(nèi)皮敷襯的大囊狀血管。MVI的風(fēng)險(xiǎn)等級(jí)分為3個(gè)級(jí)別，分別是M0：無MVI、M1：轉(zhuǎn)移復(fù)發(fā)低風(fēng)險(xiǎn)、M2轉(zhuǎn)移復(fù)發(fā)高風(fēng)險(xiǎn)［1］，此次研究只分M0和非M0兩個(gè)級(jí)別。

1.3 深度學(xué)習(xí)模型建立

本章提出了一個(gè)結(jié)合深度注意力機(jī)制與臨床特征的肝細(xì)胞癌微血管浸潤分類預(yù)測(cè)模型，其框架如圖2所示。首先，將MRI序列中感興趣區(qū)域（ROI）輸入至特征提取網(wǎng)路中提取圖像深度特征；其次，將臨床特征進(jìn)行特征編碼，通過自編碼器進(jìn)行特征處理，初步學(xué)習(xí)臨床特征之間的相關(guān)關(guān)系；最后，利用注意力機(jī)制將兩個(gè)特征進(jìn)行特征融合并學(xué)習(xí)特征間的結(jié)構(gòu)關(guān)系，輸入分類器進(jìn)行分類。具體包含以下3個(gè)部分：深度自注意力特征提取、臨床特征編碼與提取、交叉注意力特征融合。

圖2 深度學(xué)習(xí)模型結(jié)構(gòu)圖Fig. 2 Framework of the proposed method including data preprocessing,clinical feature,attention feature and prediction.Data preprocessing is normalized after data denoising,clipping,rotation and translation.

1.3.1 深度自注意力特征提取 該部分以EfficientNetB0［20］為主干網(wǎng)絡(luò)，其結(jié)構(gòu)參數(shù)如表3。由表3中我們可以看出EfficientNetB0的最后一層特征圖分辨率為7×7，通道數(shù)為1280，我們?nèi)サ羝銹ooling&FC層，在此基礎(chǔ)上引入了自注意力機(jī)制模塊，可以更好地學(xué)習(xí)MVI的關(guān)鍵特征，具體連接結(jié)構(gòu)如圖3。模型的輸入ROI為原始MRI圖像經(jīng)預(yù)處理后的圖像，最終規(guī)定化為224×224大小。

表3 EfficientNetB0的結(jié)構(gòu)參數(shù)Tab.3 Network parameters of EfficientNetB0

圖3 注意力機(jī)制圖示Fig. 3 Attention mechanism module.

自注意力模塊是該系統(tǒng)的關(guān)鍵部分之一。微血管浸潤影像特征不明顯，我們需要利用注意力機(jī)制的特性幫助網(wǎng)絡(luò)更好地提取MVI高危區(qū)域的影像學(xué)特征，從而更好地對(duì)MVI進(jìn)行分類。我們?cè)趎on-local［21］注意力基礎(chǔ)上進(jìn)行修改得到自注意力模塊，這種改進(jìn)方法可以有效降低模型算法的時(shí)間復(fù)雜度。注意力模塊如圖3，具體實(shí)現(xiàn)步驟：（1）經(jīng)過EfficientNetB0提取的特征圖，我們通過f(x)、g(x)和h(x)分別其通道數(shù)為640，分別得到特征圖A（粉紅色模塊）、B（紫色模塊）、C（綠色模塊）；（2）對(duì)特征圖A 和B 求dot product 結(jié)果，并通過softmax進(jìn)行歸一化得到注意力系數(shù)矩陣；（3）對(duì)注意力系數(shù)矩陣和特征圖C求element-wise結(jié)果，得到注意力特征矩陣；（4）通過summation運(yùn)算將初始特征矩陣與注意力特征矩陣相加，得到最終輸出。自注意力機(jī)制原理如式（1）和（2）：

其中，xi和xj為注意力模型的輸入，yi為注意力模型的輸出，1/C(x)為歸一化常數(shù)，f(x)和g(x)為核函數(shù)，它們的選擇不敏感，f(x) 通過dot product實(shí)現(xiàn)，g(x)通過1×1卷積實(shí)現(xiàn)。為防止網(wǎng)絡(luò)退化，在模型中加入了shortcut，其中zi為xi和xj的加權(quán)輸出。

1.3.2 臨床特征編碼與提取 對(duì)輸入的臨床參數(shù)進(jìn)行one-hot編碼［22］，并將其進(jìn)行特征拼接。然后進(jìn)行特征降維，將降維后的特征輸入至自編碼器［23］以學(xué)習(xí)特征之間的隱含關(guān)系，從而得到臨床特征。之所以使用one-hot編碼，是因?yàn)榕R床參數(shù)為離散的類別型數(shù)據(jù)且類型不復(fù)雜。自編碼器及特征提取實(shí)現(xiàn)如圖4。

圖4 自編碼器Fig. 4 The self-encoder module.

在特征拼接的過程中，通常使用的方法是Concatenation進(jìn)行特征拼接，形成一個(gè)新的特征，以提取更多的特征信息。其原理如式（3）：

其中，xi，yi分別表示深度特征和臨床特征，*表示卷積，K為常數(shù)。

1.3.3 交叉注意力特征融合 交叉注意力特征融合模塊如圖5所示。經(jīng)過編碼和初步學(xué)習(xí)的臨床特征為低層次數(shù)字特征，而深度注意力特征為抽象化能力和特征表達(dá)能力較強(qiáng)的高層次特征向量，我們需要將其映射至同一維度。具體步驟為：a.我們將提取的臨床特征進(jìn)行特征映射Y=f(X?W+b)，映射后的維度為(H1,W?)，如圖5的綠色模塊。b.將深度注意力特征圖切割為n塊，每一塊都進(jìn)行三角編碼［24］處理，增加像素的位置信息。然后將經(jīng)過三角編碼的特征塊分別進(jìn)行特征映射，其維度大小為(H2,W?)，如圖5中藍(lán)白色塊。三角編碼原理如式（4）：

圖5 交叉注意力特征融合Fig. 5 Cross-attentional feature fusion.

其中，d為位置編碼向量的維度。c.最后，將每個(gè)深度特征小塊分別與臨床特征求相互注意力，學(xué)習(xí)深度特征與臨床特征間的相互關(guān)系以得到融合特征注意力特征塊。再次求融合注意力特征塊之間的相關(guān)關(guān)系，最后按位置編碼恢復(fù)，如圖5中的紅色塊。

具體算法步驟如下：

Step 1.提取映射后的臨床特征Y1(H1,W?)；

Step 2.提取經(jīng)過三角編碼和特征映射后的深度特征塊：

Y2(H1,W?),Y2(H2,W?),…Y2(Hn,W?)

Step 3.計(jì)算深度注意力特征小塊和臨床特征的融合注意力特征：

Y3(H1,H2)=Y1(H1,W?)?Y2(H2,W?)，依次類推

Step 4.計(jì)算融合注意力特征塊之間的相關(guān)關(guān)系：

Step 5.按位置編碼恢復(fù)最終特征Y=Concatenation(Y1,Y2…Yn)

由于MVI特征復(fù)雜，僅僅通過一個(gè)影像期的數(shù)據(jù)很難準(zhǔn)確判斷MVI的狀態(tài)，需要結(jié)合多個(gè)MRI序列的影像綜合判斷，而臨床參數(shù)的輔助能夠進(jìn)一步提高M(jìn)VI分類預(yù)測(cè)的準(zhǔn)確度。因此，根據(jù)影像數(shù)據(jù)和臨床特征，我們創(chuàng)建了13個(gè)模型，其中包括9個(gè)單序列模型和4個(gè)融合模型：（1）單序列模型為根據(jù)某個(gè)序列建立而無臨床特征 的模型，如T1WI model、T2WI model、DWI model、AP model、PP model、EP model、HBP model、T1mapping-pre model、T1mapping-20 min model；（2）而T1WI&T2WI&DWI fusion model 為同時(shí)融合了T1WI、T2WI、DWI 三種MRI 序列且無臨床特征的模型，AP&PP&EP&HBP fusion model為同時(shí)融合了AP、PP、EP、HBP 四種MRI 序列且無臨床特征的模型，T1mapping fusion model 為融合 了T1mapping-pre、T1mapping-20 min 兩種MRI 序列且無臨床特征的模型；（3）T1mapping-20 min&Clinical fusion model為融合T1mapping-20min序列和臨床參數(shù)的模型，clinical model為僅融合了臨床參數(shù)的模型。這樣設(shè)計(jì)的具體原因有：（4）考慮單序列和多序列融合在預(yù)測(cè)MVI方面的模型差異①對(duì)比常規(guī)MRI序列（T1WI、T2WI、DWI）、增強(qiáng)MRI 序列（AP、PP、EP、HBP）和合成MRI 序列（T1mapping-pre、T1mapping-20min）預(yù)測(cè)MVI的效果，從而選擇對(duì)MVI預(yù)測(cè)更有效的序列組合②對(duì)比加入臨床參數(shù)前后預(yù)測(cè)MVI的效果，判斷在MVI預(yù)測(cè)方面，臨床特征對(duì)影像特征的補(bǔ)充作用程度。

1.4 模型訓(xùn)練

我們使用影像數(shù)據(jù)和臨床參數(shù)來評(píng)估肝細(xì)胞癌微血管浸潤的分類預(yù)測(cè)模型，并且使用5折交叉驗(yàn)證方法對(duì)所有的方法進(jìn)行了評(píng)估。交叉驗(yàn)證的設(shè)置即使用數(shù)據(jù)集C中80%數(shù)據(jù)作為訓(xùn)練，20%作為測(cè)試。本實(shí)驗(yàn)均使用Python3.9的Pytorch環(huán)境來完成。關(guān)于網(wǎng)絡(luò)訓(xùn)練，所有的圖像訓(xùn)練均在兩個(gè)12G的NVIDIA圖像處理器上進(jìn)行。

1.5 MVI高危區(qū)域可視化與注意力模型的關(guān)注點(diǎn)對(duì)比

本研究中采用類激活映射（CAM）深度學(xué)習(xí)可視化方法，確保我們的模型能夠識(shí)別出MRI圖像中與肝細(xì)胞癌微血管浸潤最相關(guān)的區(qū)域，并生成注意力圖，顯示出最為可疑的區(qū)域，以0.5為界限［25,26］。CAM的實(shí)現(xiàn)步驟：（1）在CNN 的最后一個(gè)卷積層之后，加入一個(gè)全局平均池化層。該層將卷積層的特征圖進(jìn)行平均池化，得到一個(gè)特征向量；（2）將全局平均池化層的輸出作為一個(gè)全連接層的輸入，該全連接層只有一個(gè)節(jié)點(diǎn)，用于表示當(dāng)前圖像屬于哪個(gè)類別的概率；（3）計(jì)算該全連接層的梯度相對(duì)于卷積層輸出的梯度，得到一個(gè)權(quán)重向量；（4）將卷積層的輸出特征圖和權(quán)重向量進(jìn)行加權(quán)求和，得到一個(gè)加權(quán)特征圖；（5）對(duì)加權(quán)特征圖進(jìn)行類別標(biāo)簽上采樣，得到一個(gè)與輸入圖像相同大小的熱力圖。該熱力圖顯示了網(wǎng)絡(luò)對(duì)不同區(qū)域的關(guān)注程度，越亮的區(qū)域表示越重要。對(duì)于給定的圖像，用fk(x,y)代表最后一個(gè)卷積層上第k通道（x，y）的激活值。對(duì)于第k通道全局平均池化的結(jié)果為Fk=∑fk(x,y)。對(duì)于類別c，輸入到softmax里的是Sc=是Fk對(duì)于類別c的重要性（即權(quán)重）。CAM可實(shí)現(xiàn)如式（5）（6）：

定義Mc為類別c的CAM，則

其中，Mc(x,y)代表了像素(x,y)的激活值對(duì)圖像分類為c的權(quán)重，我們可視化權(quán)重特征圖，即得到注意力圖。

此外，雖然在深度學(xué)習(xí)中經(jīng)常使用原始圖像來更好驗(yàn)證模型的識(shí)別度，但MVI的特征較為復(fù)雜，原始圖像中的其他病灶會(huì)干擾肝細(xì)胞癌帶有微血管浸潤的腫瘤邊緣的MRI圖像特征，因此本研究中采用裁剪后的圖像來避免這些特征的丟失。

1.6 模型間對(duì)比與預(yù)測(cè)能力評(píng)估

采用準(zhǔn)確度（Accuracy）、敏感度（Sensitivity）、特異度（Specificity）、精確度（Precision）、F1指數(shù)（F1-score）、ROC 曲線及曲線下面積（AUC）來評(píng)價(jià)我們的模型。Accuracy、Sensitivity、Specificity、Precision、F1-score的計(jì)算如式（7）、（8）、（9）、（10）、（11）：

其中，真陽性（TP）是指正確分類的正樣本數(shù)，即預(yù)測(cè)為正樣本，實(shí)際也是正樣本；真陰性（TN）是指正確分類的負(fù)樣本數(shù)，即預(yù)測(cè)為負(fù)樣本，實(shí)際也是負(fù)樣本；假陽性（FP）是指被錯(cuò)誤的標(biāo)記為正樣本的負(fù)樣本數(shù)，即實(shí)際為負(fù)樣本而被預(yù)測(cè)為正樣本；假陰性（FN）是指被錯(cuò)誤的標(biāo)記為負(fù)樣本的正樣本數(shù)，即實(shí)際為正樣本而被預(yù)測(cè)為負(fù)樣本。ROC曲線為受試者工作特性曲線，橫坐標(biāo)為假陽性率（FPR），縱坐標(biāo)為真陽性率（TPR），AUC為ROC曲線與坐標(biāo)軸圍成的面積數(shù)值。FPR和TPR的計(jì)算如式（12）、（13）：

1.7 統(tǒng)計(jì)分析方法

采用spss22.0軟件包進(jìn)行統(tǒng)計(jì)學(xué)分析。采用單因素回歸分析和多因素回歸分析分別對(duì)MVI的臨床影響參數(shù)進(jìn)行分析并且計(jì)算95%可信區(qū)間（95%CI）。通過配對(duì)T檢驗(yàn)，檢測(cè)不同模型的顯著性差異。所有統(tǒng)計(jì)檢驗(yàn)均為雙側(cè)檢驗(yàn)，P≤0.05認(rèn)為有統(tǒng)計(jì)學(xué)意義。

2 結(jié)果

2.1 基線特征

在訓(xùn)練組/驗(yàn)證組和測(cè)試組中，經(jīng)過組織病理學(xué)驗(yàn)證為MVI陽性病變分別為33.33%（42/126）和43.75%（14/32）。在回顧性實(shí)驗(yàn)中訓(xùn)練組/驗(yàn)證組和測(cè)試組之間MVI均無顯著性差異（P>0.05），納入所有患者的基線特征匯總于表4。

表4 納入隊(duì)列的基線特征Tab.4 Baseline characteristics of the included cohort

2.2 MVI風(fēng)險(xiǎn)特征

表4列出了臨床數(shù)據(jù)集中的臨床血液檢測(cè)參數(shù)，共有158個(gè)病例，以均值和標(biāo)準(zhǔn)差的形式展示不同指標(biāo)的數(shù)值。為了說明測(cè)試組和驗(yàn)證組之間的差異，我們利用t檢驗(yàn)方法來檢驗(yàn)訓(xùn)練組/驗(yàn)證組和測(cè)試組之間的顯著性關(guān)系。結(jié)果表明，訓(xùn)練組/驗(yàn)證組和測(cè)試組之間無顯著性差異（P<0.05），通過此方法能提高我們算法的泛化能力，提供算法改進(jìn)啟示。

此外，后續(xù)實(shí)驗(yàn)中，我們利用統(tǒng)計(jì)學(xué)方法篩選臨床特征中的MVI風(fēng)險(xiǎn)特征。在19個(gè)臨床特征中，我們通過單因素二元邏輯回歸分析確定了其中有統(tǒng)計(jì)學(xué)意義的10個(gè)MVI風(fēng)險(xiǎn)特征，包括年齡、甲胎蛋白含量、乙型肝癌病毒（HBV）、丙型肝癌病毒（HCV）、白蛋白（Albumin）、總膽紅素（TBIL）、結(jié)合膽紅素（DBIL）、C反應(yīng)蛋白（CRP）、中性粒細(xì)胞/淋巴細(xì)胞比值（NLR）、血小板/淋巴細(xì)胞比值（PLR）。然后通過多因素二元邏輯回歸逐步分析確定了兩個(gè)獨(dú)立的危險(xiǎn)因素：甲胎蛋白的含量（OR，5.003；95%CI；P<0.05）和中性粒細(xì)胞與淋巴細(xì)胞的比值（OR，3.236；95%CI；P<0.05）。

2.3 模型間比較的結(jié)果

3種不同的MRI序列成功建立Fusion model后使用測(cè)試數(shù)據(jù)集進(jìn)行評(píng)估診斷效果，驗(yàn)證該方法的診斷性能。其中，單獨(dú)使用臨床特征建立clinical model的準(zhǔn)確度為77.27%，敏感度為67.56%，特異度為83.18%，AUC為85.80%。而使用T1mapping-20 min和臨床特征建立的T1mapping-20 min&Clinical fusion model的效果最優(yōu)，準(zhǔn)確度為83.76%，敏感度為83.78%，特異度為87.02%，AUC為85.01%（表5）。模型間比較ROC曲線如圖6所示。

表5 不同模型間對(duì)比結(jié)果Tab.5 Comparison of the test results of different models

圖6 模型間ROC曲線對(duì)比Fig. 6 ROC curves for inter-model comparison.A: Comparison of the results of three conventional single-series models. B: Comparison of the results of four dynamically enhanced single-series models. C: Comparison of the results of two mapping single-series models.D:Comparison of the results of four fusion models.

2.4 MVI高風(fēng)險(xiǎn)區(qū)域的模型驗(yàn)證

圖7 為融合模型檢測(cè)到的MRI 序列圖像中疑似MVI的相關(guān)區(qū)域。圖7A～E為MRI圖像中的MVI成像特征，圖7F～J為模型檢測(cè)疑似MVI相關(guān)病變的注意力圖，標(biāo)為高亮區(qū)域。由圖中可以看出深度學(xué)習(xí)模型的主要關(guān)注區(qū)域?yàn)門2WI圖像包膜強(qiáng)化位置、PP圖像上的包膜不完整性、AP圖像上的瘤周不均勻強(qiáng)化、HBP圖像和T1mapping-20min圖像上的腫瘤區(qū)低信號(hào)，模型可以識(shí)別出這樣明顯的MVI 高危區(qū)域。然而，深度模型在T1WI圖像和T1mapping-pre圖像沒有捕捉到MVI相關(guān)信息。

此外，根據(jù)網(wǎng)絡(luò)可視化注意力圖可知，深度注意力模型能夠發(fā)現(xiàn)腫瘤區(qū)域中的壞死病變和脂肪沉積，尤其是患者的HBP圖像和T1mapping-20min圖像。值得注意的是，根據(jù)我們的數(shù)據(jù)集，MVI陽性患者的病灶要比陰性患者的病灶體積更大，且病灶數(shù)量更多（圖8），（A）、（B）患者為MVI患者，（C）為非MVI患者。可以看出與（C）患者相比，（A）患者的病灶體積更大，（B）患者的病灶數(shù)量更多。

圖8 患者不同序列的MRI圖像Fig. 8 MRI images of different sequences of a 59-year-old male with MVI(A),a 56-year-old male with MVI(B)and a 66-year-old male with hepatocellular carcinoma without MVI(C).

2.5 消融實(shí)驗(yàn)

2.5.1 注意力機(jī)制的有效性分析 對(duì)比直接融合和交叉注意力特征融合模塊的效果，兩種模型分別記為M1和M2。消融實(shí)驗(yàn)在本文數(shù)據(jù)集的9個(gè)影像期數(shù)據(jù)上進(jìn)行。將數(shù)據(jù)重新分配，抽取其中三分之二，以此增加模型的泛化能力（表6）：（1）通過比較影像期M1和M2 的各項(xiàng)指標(biāo)，我們發(fā)現(xiàn)模型M2 在各項(xiàng)指標(biāo)上的預(yù)測(cè)性能相較于模型M1 均有所提高。具體來說，準(zhǔn)確度提升了3%～9%，敏感度增加了2%～6%，精確度上升了2%～8%，以及F1-score 增長了3%～10%；（2）根根據(jù)各影像期的P結(jié)果顯示，模型M1 和M2 的P-Value 均低于0.05。這意味著在預(yù)測(cè)MVI時(shí)，模型M1和M2在各項(xiàng)評(píng)價(jià)指標(biāo)（準(zhǔn)確度、敏感度、特異度、精確度和F1-score）上具有顯著性差異；（3）對(duì)比9個(gè)影像期模型M1和M2的各項(xiàng)指標(biāo)，T1mapping-20min的模型M2除了在準(zhǔn)確度（Accuracy）比門靜脈期低0.2%，其余各項(xiàng)指標(biāo)均達(dá)最高，即敏感度（Sensitivity）為85.30%、精確度為83.68%、F1-score為84.48%。

表6 在數(shù)據(jù)集中不同影像期的特征融合方式效果對(duì)比Tab.6 Effects of different feature fusion approaches for different image periods in dataset C

2.5.2 自編碼器對(duì)臨床特征篩選的有效性分析 為了說明自編碼器對(duì)臨床特征的篩選的有效性，我們通過對(duì)比統(tǒng)計(jì)學(xué)習(xí)方法篩選特征和自編碼器篩選特征分別與影像學(xué)特征（T1mapping-20 min）融合的模型對(duì)MVI預(yù)測(cè)的效果，通過準(zhǔn)確度、敏感度、精確度和F1-score來進(jìn)行評(píng)估，并通過T檢驗(yàn)檢測(cè)不同篩選方法的顯著性差異。分別對(duì)比了方差分析（ANOVA）、卡方檢驗(yàn)（Chi-square Test）、邏輯回歸（LR）和自編碼器（Self-encoder）4種方法的篩選效果（表7）：（1）由P可以看出，3種統(tǒng)計(jì)學(xué)特征篩選方法與自編碼器相比均無顯著性差異；（2）自編碼器與3種統(tǒng)計(jì)學(xué)特征篩選方法的相比，準(zhǔn)確度、敏感度、精確度和F1-score有1%～5%誤差，特別是F1-score，最高達(dá)到85.65%；（3）3種統(tǒng)計(jì)學(xué)特征篩選方法篩選出最終的風(fēng)險(xiǎn)特征個(gè)數(shù)都為2個(gè)，且在參與預(yù)測(cè)MVI準(zhǔn)確度上相差較小。

表7 統(tǒng)計(jì)學(xué)方法與自編碼器特征篩選效果對(duì)比Tab.7 Comparison of the effects of statistical methods and autoencoder feature selection

3 討論

在本次研究中，我們進(jìn)行了深度學(xué)習(xí)分析，以MRI的9 個(gè)不同序列的圖像建立單個(gè)序列模型及融合模型對(duì)術(shù)前MVI進(jìn)行分類預(yù)測(cè)。結(jié)果顯示，T1mapping-20 min序列圖像和臨床參數(shù)的融合模型對(duì)MVI分級(jí)具有最優(yōu)的預(yù)測(cè)能力。在預(yù)測(cè)MVI的同時(shí)，我們采用可視化技術(shù)分析模型感興趣的圖像特征，一旦模型確定患者患有MVI陽性，它就告訴臨床醫(yī)生MRI圖像的哪個(gè)區(qū)域引起了模型的注意。并且我們也通過組織病理學(xué)對(duì)MVI的腫瘤高危區(qū)域進(jìn)行證實(shí)，驗(yàn)證了模型定位的準(zhǔn)確性。因此，該模型在MVI分級(jí)上具有良好的識(shí)別能力，也可能為肝細(xì)胞癌的個(gè)性化治療提供幫助。

為了更好地實(shí)現(xiàn)預(yù)測(cè)MVI的無創(chuàng)分級(jí)，人們做出了許多努力?；贛RI、CT、US和PET/CT等成像方式的放射組學(xué)模型在MVI分類預(yù)測(cè)中取得了良好的成績，尤其是基于增強(qiáng)技術(shù)的MRI（EOB-MRI）成像和高分辨率特性的CE-CT。已有研究表明，腫瘤大小、腫瘤邊緣光滑程度、瘤周強(qiáng)化程度、肝膽期瘤周低信號(hào)等定性特征均與MVI的陰陽性相關(guān)［8,9］，基于EOB-MRI的放射組學(xué)模型預(yù)測(cè)結(jié)果AUC可達(dá)到0.892，基于CE-CT的放射組學(xué)模型預(yù)測(cè)結(jié)果AUC可達(dá)到0.852［18］。由于US成像對(duì)MVI分級(jí)不友好［27］和PET/CT技術(shù)的高費(fèi)用［28,29］，雖然取得了一定的成績，但相關(guān)研究較少，值得進(jìn)一步探索。在本文中，我們依據(jù)MRI技術(shù)、增強(qiáng)MRI技術(shù)和合成MRI技術(shù)得到的MRI影像，通過結(jié)合注意力機(jī)制和臨床特征建立單序列模型和融合模型。結(jié)果表明，融合模型在準(zhǔn)確度、敏感度、特異度，AUC等指標(biāo)上均優(yōu)于單序列模型，說明融合模型的預(yù)測(cè)效果遠(yuǎn)優(yōu)于單序列模型。而合成MRI序列T1mapping-20 min結(jié)合臨床參數(shù)的使用相比其他所有模型具有更高的敏感度，其原因可能是合成MRI技術(shù)T1mapping序列中的T1值的降低能夠被神經(jīng)網(wǎng)絡(luò)準(zhǔn)確捕獲［30］。消融實(shí)驗(yàn)的結(jié)果表明，我們?cè)O(shè)計(jì)的交叉注意力融合模塊相比直接融合深度特征和臨床特征對(duì)MVI的預(yù)測(cè)效果更佳，模型有具有更高的準(zhǔn)確度和F1-score，這也表明交叉注意力融合模塊能充分學(xué)習(xí)到深度特征和臨床特征的互補(bǔ)信息，并能利用這些信息提高對(duì)MVI的預(yù)測(cè)效果。此外，我們使用自編碼器來學(xué)習(xí)臨床參數(shù)之間的關(guān)系，并將其結(jié)果輸入至下游任務(wù)。為了說明自編碼器的實(shí)際效果，我們通過對(duì)比三種不同的臨床參數(shù)篩選方法和自編碼器方法的效果，結(jié)果表明，三種統(tǒng)計(jì)學(xué)方法篩選的MVI高危特征個(gè)數(shù)相同，也與自編碼器篩選特征無顯著性差異，而自編碼器的穩(wěn)定性更強(qiáng)，無需人工參與，說明自編碼器完全可以代替統(tǒng)計(jì)學(xué)特征篩選方法且能夠充分學(xué)習(xí)MVI風(fēng)險(xiǎn)特征之間的關(guān)系，對(duì)MVI預(yù)測(cè)效果更優(yōu)。我們還發(fā)現(xiàn)以合成MRI定量技術(shù)建立深度學(xué)習(xí)融合模型，能夠顯著提高深度學(xué)習(xí)模型敏感度但特異度較低。在引入臨床特征后，我們發(fā)現(xiàn)特異度有顯著上升，這些結(jié)果表明，合成MRI定量影像技術(shù)和深度學(xué)習(xí)定量分析技術(shù)能夠顯著性篩選出MVI特征，臨床參數(shù)能夠提高模型對(duì)MVI的特異度，能夠進(jìn)一步提高了模型的識(shí)別能力；另一面也表明臨床參數(shù)分析對(duì)定量影像分析技術(shù)在MVI評(píng)估中具有潛在的補(bǔ)充作用。由于設(shè)計(jì)的融合模型是一種端到端的模型，它直接學(xué)習(xí)MRI影像和臨床參數(shù)的抽象映射，我們采用可視化技術(shù)分析模型感興趣區(qū)域，包括壞死和脂肪沉積等。如圖7所示，這些區(qū)域被標(biāo)識(shí)為亮色，用于區(qū)分網(wǎng)絡(luò)模型MVI高危區(qū)域與其他腫瘤區(qū)域的學(xué)習(xí)能力。這表明深度學(xué)習(xí)模型在經(jīng)過大量數(shù)據(jù)訓(xùn)練后能夠掌握MVI相關(guān)的知識(shí)，并且擁有一定的自主預(yù)測(cè)能力。盡管不同序列的MRI影像學(xué)特征有所不同，但融合模型仍能通過MVI的典型特征，如腫瘤大小，腫瘤形態(tài)、腫瘤包膜完整性等，檢測(cè)出懷疑區(qū)域。既體現(xiàn)MRI影像評(píng)估MVI的一致性和診斷效果，也進(jìn)一步表明融合模型掌握了MVI影像學(xué)特征，并能夠做出適當(dāng)調(diào)整，穩(wěn)定性更強(qiáng)。

在現(xiàn)有研究的基礎(chǔ)上，本文方法具有以下優(yōu)勢(shì)：（1）基于EfficientNetB0模型提取特征所需的參數(shù)量比其他網(wǎng)絡(luò)更少，引入注意力機(jī)制后能發(fā)揮其性能，能在保持高性能預(yù)測(cè)的前提下減小內(nèi)存和計(jì)算需求，且能適應(yīng)不同分辨率的醫(yī)學(xué)影像；（2）我們提出的交叉注意力特征融合方法，能夠有效識(shí)別MVI特征，比直接后端融合的性能有質(zhì)的提升且模型魯棒性更強(qiáng)；（3）結(jié)合不同模態(tài)影像的深度注意力特征與臨床特征對(duì)MVI進(jìn)行預(yù)測(cè)，能夠大幅提高模型預(yù)測(cè)的準(zhǔn)確度、敏感度和特異度，臨床特征與深度特征在MVI的預(yù)測(cè)上具有互補(bǔ)作用；（4）通過深度學(xué)習(xí)可視化技術(shù)對(duì)疑似MVI高危區(qū)域進(jìn)行可視化，進(jìn)一步增加了術(shù)前準(zhǔn)確識(shí)別MVI 的可能性。然而，本文方法仍存在一定的局限性。首先，在MVI預(yù)測(cè)方面，我們采用的數(shù)據(jù)集來自同一研究中心，納入的患者群體屬于同一機(jī)構(gòu)，沒有通過多中心數(shù)據(jù)進(jìn)行外部驗(yàn)證。為了平衡數(shù)據(jù)缺乏問題，我們通過重采樣和數(shù)據(jù)增強(qiáng)的方式增加數(shù)據(jù)量，但仍需要多個(gè)機(jī)構(gòu)的數(shù)據(jù)進(jìn)行驗(yàn)證。其次，深度學(xué)習(xí)模型可視化實(shí)驗(yàn)中，我們可以看到模型能夠?qū)Ω渭?xì)胞癌疑似MVI高危區(qū)域進(jìn)行判定，但具體位置仍需組織病理學(xué)實(shí)驗(yàn)進(jìn)一步驗(yàn)證，組織病理學(xué)圖像與深度學(xué)習(xí)模型可視化圖像的相互匹配程度仍需后續(xù)研究。最后，該深度模型還未進(jìn)行臨床驗(yàn)證，后續(xù)需要將其用于預(yù)后實(shí)驗(yàn)，進(jìn)一步驗(yàn)證模型的臨床實(shí)用價(jià)值。

總而言之，我們提出的結(jié)合深度注意力機(jī)制與臨床特征的融合模型方法有助于MVI的分類預(yù)測(cè)，其中基于合成MRI定量技術(shù)的融合模型效果總體優(yōu)于基于常規(guī)MRI技術(shù)的融合模型和基于增強(qiáng)MRI技術(shù)的融合模型。除此之外，深度學(xué)習(xí)注意力機(jī)制和臨床特征的加入，有助于提高模型的敏感度和特異度，我們認(rèn)為這樣可以提高M(jìn)VI分類的準(zhǔn)確度。為了更全面準(zhǔn)確地預(yù)測(cè)肝細(xì)胞癌患者的復(fù)發(fā)和預(yù)后，需要進(jìn)一步研究。