自注意力指導(dǎo)的多序列融合肝細(xì)胞癌分化判別模型

賈熹濱，孫 政，楊大為，楊正漢?

1) 北京工業(yè)大學(xué)信息學(xué)部，北京 100124 2) 北京工業(yè)大學(xué)多媒體與智能軟件技術(shù)北京重點(diǎn)實(shí)驗(yàn)室，北京 100124 3) 首都醫(yī)科大學(xué)附屬北京友誼醫(yī)院放射科，北京 100050

肝細(xì)胞癌（Hepatocellular carcinoma, HCC）是一種高度流行且致命的腫瘤，是全球癌癥相關(guān)死亡的第4大最常見(jiàn)原因[1?2]. 一般來(lái)說(shuō)，肝細(xì)胞癌的分化程度分為高分化、中分化和低分化，分化程度越低則代表腫瘤惡性程度越高，從臨床角度看，在術(shù)前對(duì)肝細(xì)胞癌分化程度精確判別對(duì)治療方案制定和預(yù)后效果估計(jì)具有至關(guān)重要作用[3?4].

目前對(duì)肝細(xì)胞癌分化程度的病理判別的金標(biāo)準(zhǔn)是基于肝臟穿刺的肝臟組織活檢[5]，而基于肝臟穿刺的檢測(cè)方法創(chuàng)傷性很大且存在針道轉(zhuǎn)移、取樣誤差等風(fēng)險(xiǎn)，導(dǎo)致患者不愿意接受肝穿治療[6?7].因而無(wú)創(chuàng)性的影像學(xué)方法，例如超聲、電子計(jì)算機(jī)斷層掃描 (Computed tomography, CT)、磁共振成像(Magnetic resonance imaging, MRI)等多種影像技術(shù)被用于肝細(xì)胞癌分化程度的定性分析.

美國(guó)放射學(xué)會(huì)所制訂的肝臟影像報(bào)告及數(shù)據(jù)系 統(tǒng) (Liver imaging reporting and data system， LIRADS)通過(guò)對(duì)增強(qiáng)CT或動(dòng)態(tài)對(duì)比增強(qiáng)核磁共振成像 (Dynamic contrast-enhanced magnetic resonance imaging，DCE-MRI)診斷肝細(xì)胞癌的5種主要成像功能的描述，來(lái)規(guī)范化肝臟影像學(xué)方法的診斷流程，對(duì)HCC及其他局灶性肝臟進(jìn)行分類(lèi)診斷，然而傳統(tǒng)影像學(xué)方法尚無(wú)法實(shí)現(xiàn)HCC分化程度的精準(zhǔn)判別，因此，引入基于統(tǒng)計(jì)科學(xué)的深度學(xué)習(xí)方法以輔助醫(yī)生進(jìn)行HCC診斷，建立精準(zhǔn)無(wú)創(chuàng)的HCC分化程度判別模型，仍是亟待解決的問(wèn)題.

DCE-MRI所具有的高靈敏度、高清晰度和高對(duì)比度特性，被廣泛用于影像學(xué)智能診斷模型研究[8?9]. 在許多臨床研究中，DCE-MRI已廣泛用于無(wú)創(chuàng)檢測(cè)，表征和治療監(jiān)測(cè)不同疾病[10]. 不僅如此，在很多使用機(jī)器學(xué)習(xí)方法和影像學(xué)檢查結(jié)果搭建分類(lèi)、分割及目標(biāo)檢測(cè)模型用于輔助醫(yī)生診斷的工作中，DCE-MRI已經(jīng)成為一種常用的目標(biāo)序列[11?12].

DCE-MRI影像是通過(guò)注射了對(duì)比造影劑，在注入后的多個(gè)時(shí)刻，進(jìn)行多次掃描獲得各個(gè)序列影像，每個(gè)時(shí)刻的DCE-MRI序列具有多層切片的三維空間信息，可以清楚地反映出病灶區(qū)域周?chē)M織的一些紋理、邊緣和空間信息，同時(shí)其時(shí)序特征可以反映出造影劑在血管中流動(dòng)過(guò)程的血流灌注信息，體現(xiàn)病灶隨著時(shí)間發(fā)生變化的特性. 因而有效的利用DCE-MRI序列所提供的時(shí)空特性，建立分化程度可判別的深度網(wǎng)絡(luò)計(jì)算模型，有助于HCC分化程度無(wú)創(chuàng)診斷模型研究. 因此本文以HCC患者影像學(xué)檢查結(jié)果DCE-MRI序列及病理金標(biāo)準(zhǔn)標(biāo)注的臨床數(shù)據(jù)為基礎(chǔ)，研究基于多參數(shù)DCE-MRI的3D序列融合HCC分化程度判別方法.

1 相關(guān)工作及研究現(xiàn)狀

臨床對(duì)肝腫瘤病灶影像分析，通常采用的DCE-MRI序列包括平掃、動(dòng)脈早期、動(dòng)脈晚期、門(mén)靜脈期、延遲期共5個(gè)序列. 醫(yī)生對(duì)病灶區(qū)域病變分類(lèi)診斷，通常根據(jù)多個(gè)時(shí)相、序列的影像中病灶區(qū)域特征分析決定，因此，在智能影像研究領(lǐng)域，利用多模態(tài)數(shù)據(jù)融合進(jìn)行多個(gè)序列數(shù)據(jù)協(xié)同診斷亦成為主流方法.

2014年，Suk等[13]將深度學(xué)習(xí)方法用于阿茲海默病，采用包含分層結(jié)構(gòu)特征融合在內(nèi)的多種特征融合方式. 2016年，Wang等[14]則在多個(gè)序列融合的基礎(chǔ)上，將序列3D圖像的冠狀面、矢狀面和水平面作為三個(gè)分支作為輸入，利用多視角融合3D圖像信息，提升模型預(yù)測(cè)效果. 然而，目前序列融合方法未考慮序列分類(lèi)診斷能力的差異性及在判別中作用的差別. 因此本文引入了“自注意力”機(jī)制，在特征層融合時(shí)不僅考慮不同序列特征間的互補(bǔ)性，也考慮各個(gè)序列對(duì)最終分類(lèi)任務(wù)的“敏感度”. 通過(guò)不同序列特征的互補(bǔ)和對(duì)分類(lèi)任務(wù)的“敏感度”的計(jì)算，建模醫(yī)生診斷和讀片過(guò)程對(duì)不同序列給予不同的關(guān)注度的診斷經(jīng)驗(yàn).

本團(tuán)隊(duì)前期利用增強(qiáng)序列實(shí)現(xiàn)HCC分級(jí)工作中，Jia等[15]提出了一種數(shù)據(jù)層時(shí)空融合的方法，根據(jù)注入造影劑引發(fā)增強(qiáng)序列隨時(shí)間的表象變化特點(diǎn)，采樣2D橫斷層面的影像，并拼接多個(gè)時(shí)間段影像，構(gòu)建展現(xiàn)同一個(gè)2D層面隨時(shí)間變化影像特征的3D數(shù)據(jù)，驗(yàn)證DCE-MRI序列中時(shí)空融合特征在HCC分化程度判別中的作用.

總之，現(xiàn)有研究表明，病灶區(qū)域及其周?chē)M織的DCE-MRI時(shí)間和空間信息在分類(lèi)問(wèn)題上非常具有潛力[16?18]. 因此本文研究DCE-MRI多序列融合計(jì)算方法基礎(chǔ)上，重點(diǎn)探討如何結(jié)合醫(yī)生依據(jù)疾病類(lèi)別可能性重點(diǎn)關(guān)注幾個(gè)特定序列和征象的臨床經(jīng)驗(yàn)，通過(guò)提出的“自注意力”計(jì)算模塊，計(jì)算輸入的多個(gè)多通道3D數(shù)據(jù)對(duì)分類(lèi)任務(wù)的“敏感度”，并將其與特征提取器所提取的DCE-MRI序列的時(shí)空特征進(jìn)行融合. 充分利用DCE-MRI序列的時(shí)空信息同時(shí)，建立自注意力指導(dǎo)的多序列融合HCC分化判別模型.

2 研究?jī)?nèi)容及方法

2.1 研究動(dòng)機(jī)及方法概述

目前已有研究者使用肝臟CT和MRI影像進(jìn)行分割、分類(lèi)問(wèn)題的算法研究[19?20]，但現(xiàn)有的學(xué)習(xí)模型仍存在以下兩個(gè)主要問(wèn)題：

（1）傳統(tǒng)影像機(jī)器學(xué)習(xí)方法多從單一序列影像技術(shù)的角度進(jìn)行研究. 但臨床經(jīng)驗(yàn)表明，不同序列的影像通常反映出不同病理特征，蘊(yùn)含著支持診斷分類(lèi)信息所對(duì)應(yīng)的不同病灶征象，因此對(duì)最后分類(lèi)任務(wù)而言，不同序列可以提供不同角度信息.因此僅利用單一影像序列，無(wú)法做到多維度的全面評(píng)估，更無(wú)法關(guān)注不同序列所提供的不同的信息.

（2）相對(duì)自然圖像數(shù)據(jù)集而言，有標(biāo)簽的臨床影像數(shù)據(jù)集規(guī)模較小. 而帶病理金標(biāo)簽的HCC臨床醫(yī)學(xué)影像數(shù)據(jù)集，其數(shù)據(jù)規(guī)模也受限于病例數(shù)、專(zhuān)業(yè)標(biāo)注等因素，因此樣本數(shù)量非常少且高分化樣本多樣性大. 因此如何在訓(xùn)練數(shù)據(jù)有限的情況下，權(quán)衡模型體量和模型學(xué)習(xí)能力，獲得良好的分類(lèi)性能，仍是亟待解決的問(wèn)題.

針對(duì)以上兩個(gè)問(wèn)題，本文參考自然語(yǔ)言處理（Natural language processing, NLP）中常用的“自注意力”機(jī)制，結(jié)合醫(yī)生臨床診斷中關(guān)注不同序列和不同征象的經(jīng)驗(yàn)，提出一種基于自注意力指導(dǎo)的多序列特征融合提取方法，提取多參數(shù)3D序列特征基礎(chǔ)上，學(xué)習(xí)并計(jì)算各個(gè)序列及其各個(gè)通道特征的全局注意力，最后利用全局自注意力加權(quán)計(jì)算多序列融合的高層語(yǔ)義特征，為HCC分化程度判別提供可判別特征.

2.2 “自注意力”機(jī)制及“自注意力”模型

醫(yī)學(xué)影像反映器官組織在不同序列的多層橫斷面掃描層的病灶征象，不同成像方式所得的多個(gè)序列通過(guò)不同的成像參數(shù)反映病灶區(qū)域的不同信息. “自注意力”機(jī)制的引入旨在建模醫(yī)生影像診斷中對(duì)不同序列不同的關(guān)注度，在特征提取過(guò)程中計(jì)算各個(gè)輸入序列對(duì)最后分類(lèi)任務(wù)的注意力權(quán)值，并在特征層對(duì)特征加權(quán)后進(jìn)行融合. “自注意力”機(jī)制通過(guò)學(xué)習(xí)不同序列數(shù)據(jù)的注意力權(quán)值，增加對(duì)分類(lèi)任務(wù)更具判別性能序列的權(quán)值，減少分類(lèi)任務(wù)無(wú)關(guān)序列對(duì)結(jié)果的影響，以提升整體的分類(lèi)效果.

自注意力指導(dǎo)HCC分化判別模型網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，該模型結(jié)合了注意力權(quán)值計(jì)算模塊、特征提取模塊和分類(lèi)器的“自注意力”模型，輸入序列位于圖中間，并分別輸入到左側(cè)的“自注意力”計(jì)算模塊和右側(cè)的特征提取模塊，進(jìn)行注意力權(quán)值計(jì)算和特征提取.

圖1 “自注意力”模型結(jié)構(gòu)Fig.1 Structure of the "self-attention" model

“自注意力”的計(jì)算和加權(quán)主要分為4個(gè)過(guò)程.

第一步，對(duì)輸入的各個(gè)序列的特征進(jìn)行逐元素加（Element-wise addition），而逐元素加的結(jié)果即為用于計(jì)算各個(gè)序列對(duì)應(yīng)通道對(duì)于分類(lèi)任務(wù)的“注意力”的特征層融合特征.

第二步，對(duì)融合的特征進(jìn)行全局平均池化，即將整個(gè)3D特征沿著通道壓縮成一個(gè)1×1×C的特征，C代表整個(gè)3D特征的通道數(shù). 特征融合和全局平均池化（Global average pooling）的具體過(guò)程如式（1），其中H和W代表輸入數(shù)據(jù)的尺寸，N代表輸入的序列個(gè)數(shù)，F(xiàn)1代表全局平均池化的輸出，F(xiàn)i則代表各個(gè)輸入序列的對(duì)應(yīng)位置的灰度值.

第三步，將多模態(tài)融合特征輸入全連接層，引入非線(xiàn)性，添加線(xiàn)性整流函數(shù)（Rectified linear unit,ReLU）作為激活函數(shù)，全連接層的輸出為新的N個(gè)長(zhǎng)度為C的“注意力”特征，而為了便于與各個(gè)序列的各個(gè)通道進(jìn)行注意力加權(quán). 具體過(guò)程如式（2），其中F2∈N×1×1×C代表輸出的各個(gè)序列的注意力權(quán)值，δ代表激活函數(shù)，W1和b代表全連接層的參數(shù)值和偏置值.

最后，用 “注意力”計(jì)算模塊輸出的權(quán)值與輸入序列經(jīng)過(guò)特征提取模塊得到的特征進(jìn)行逐通道乘（Channel-wise product），得到注意力加權(quán)融合特征.

特征提取模塊分別使用權(quán)值不同的特征提取器提取各個(gè)序列特征. 特征提取器由卷積層(Convolution layer)、池化層 (Pool layer)和全連接層(Fully-connected layer)的組合構(gòu)成，在與注意力權(quán)值進(jìn)行逐元素乘之前，為了避免破壞輸入序列特征中各個(gè)通道的關(guān)系且方便注意力加權(quán)，設(shè)置卷積層為2D卷積. 在經(jīng)過(guò)了注意力加權(quán)融合之后，再引入3D卷積將所得的融合特征拉伸成一維特征，以在保留語(yǔ)義信息的基礎(chǔ)之上簡(jiǎn)化計(jì)算、減少網(wǎng)絡(luò)參數(shù)量，便于最后的分類(lèi)工作. 最后，與注意力權(quán)值融合的多模態(tài)特征在經(jīng)過(guò)由3D卷積層和全連接層組成的特征提取器后得到輸出特征，再將輸出特征送入softmax分類(lèi)器，輸出HCC分化程度判別結(jié)果.

2.3 模型優(yōu)化、驗(yàn)證及實(shí)驗(yàn)設(shè)計(jì)

為了優(yōu)化提出的自注意力指導(dǎo)的學(xué)習(xí)模型，并驗(yàn)證模型的可行性，本文使用了三甲醫(yī)院的肝細(xì)胞癌患者的臨床病例自建了肝細(xì)胞癌病灶數(shù)據(jù)集，并由專(zhuān)業(yè)醫(yī)師完成病灶區(qū)域的提取和標(biāo)注. 數(shù)據(jù)集預(yù)處理則使用了常規(guī)的數(shù)據(jù)增強(qiáng)、類(lèi)別均衡等方法.

分類(lèi)任務(wù)依據(jù)兩大病理金標(biāo)準(zhǔn)包括兩類(lèi)：世界衛(wèi)生組織（WHO）所制定的三分類(lèi)標(biāo)準(zhǔn)和Edmonson[21]分級(jí)標(biāo)準(zhǔn)所制訂的四分類(lèi)標(biāo)準(zhǔn). 本文在自建的數(shù)據(jù)集中與Baseline模型[22?23]、本課題組前期所提出的模型[15]和現(xiàn)有的幾種肝細(xì)胞癌分級(jí)模型[24?25]在兩個(gè)分類(lèi)任務(wù)進(jìn)行對(duì)比實(shí)驗(yàn).

從兩種分類(lèi)標(biāo)準(zhǔn)來(lái)看，WHO分級(jí)標(biāo)準(zhǔn)為三分類(lèi)，將HCC分化程度劃分為高分化、中分化和低分化3種，嚴(yán)重程度從低到高. 而Edmonson則是將HCC分化程度劃分為4個(gè)級(jí)別，分別為I、II、III和IV，嚴(yán)重程度從低到高. 基于2種分類(lèi)標(biāo)準(zhǔn)所劃分的經(jīng)過(guò)數(shù)據(jù)增強(qiáng)所得的數(shù)據(jù)集如表1～2所示.為了避免類(lèi)別不均衡的問(wèn)題影響模型分類(lèi)效果，本文使用了過(guò)采樣的方法對(duì)兩個(gè)任務(wù)的訓(xùn)練集進(jìn)行類(lèi)別平衡，即對(duì)數(shù)據(jù)量較少的類(lèi)別在訓(xùn)練過(guò)程中進(jìn)行隨機(jī)采樣，使得這個(gè)類(lèi)別的數(shù)據(jù)量與數(shù)據(jù)量最多的類(lèi)別的數(shù)據(jù)量相同，從一定程度上降低了數(shù)據(jù)量類(lèi)別不均衡造成的影響.

表1 基于 WHO 分類(lèi)標(biāo)準(zhǔn)的 HCC 類(lèi)別數(shù)據(jù)分布Table 1 Augmentation results for a dataset with HCC grading under the WHO grading system

表2 基于 Edmonson 分類(lèi)標(biāo)準(zhǔn)的 HCC 類(lèi)別數(shù)據(jù)分布Table 2 Augmentation results for a dataset with HCC grading under the Edmonson grading system

在損失函數(shù)方面，本文選擇在分類(lèi)問(wèn)題中表現(xiàn)較為優(yōu)異的交叉熵?fù)p失函數(shù)和在區(qū)分少量不同類(lèi)別的數(shù)據(jù)的任務(wù)中表現(xiàn)優(yōu)異的三元組損失函數(shù). 在使用驗(yàn)證集對(duì)模型的參數(shù)調(diào)整和結(jié)構(gòu)參數(shù)選擇上，對(duì)訓(xùn)練集使用了十折交叉驗(yàn)證的方法來(lái)獲取一個(gè)較為魯棒的值，同時(shí)也可以防止單獨(dú)劃分出一個(gè)驗(yàn)證集而進(jìn)一步減少本就不充足的訓(xùn)練集數(shù)據(jù).

總體的測(cè)試結(jié)果，本文使用在數(shù)據(jù)集中進(jìn)行十次隨機(jī)采樣所得的訓(xùn)練集和測(cè)試集進(jìn)行訓(xùn)練和測(cè)試，并通過(guò)十次實(shí)驗(yàn)中，模型在測(cè)試集上的準(zhǔn)確率（Accuracy）、召回率（Recall）、精確度（Precision）和F1值的平均值和標(biāo)準(zhǔn)差作為評(píng)價(jià)標(biāo)準(zhǔn)來(lái)開(kāi)展對(duì)比實(shí)驗(yàn)，并在此基礎(chǔ)上，利用T-SNE圖和混淆矩陣分析模型對(duì)類(lèi)別的區(qū)分能力.

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)組成及數(shù)據(jù)處理

本文自建了肝細(xì)胞癌病灶數(shù)據(jù)集，總共包含60個(gè)病例，每個(gè)病例均包含2種分化程度分級(jí)標(biāo)準(zhǔn)的標(biāo)簽. 數(shù)據(jù)來(lái)源于首都醫(yī)科大學(xué)附屬北京友誼醫(yī)院放射科，整個(gè)DCE-MRI序列總共包含平掃、動(dòng)脈早期、動(dòng)脈晚期、門(mén)靜脈期、延遲期共5個(gè)序列的DCE-MRI數(shù)據(jù)，分別代表注射釓噴酸葡甲胺鹽（Gd-DTPA）對(duì)比劑前、注射對(duì)比劑之后的第 16，26，60和 180 s所采集的數(shù)據(jù). 所有的數(shù)據(jù)由GE 3.0T 750W磁共振成像系統(tǒng)所采集. 而數(shù)據(jù)的標(biāo)注工作分為標(biāo)注和檢驗(yàn)兩個(gè)過(guò)程，標(biāo)注工作由擁有10 a腹部影像診斷經(jīng)驗(yàn)的放射科主治醫(yī)師完成，對(duì)標(biāo)定完數(shù)據(jù)的驗(yàn)證工作由擁有30 a腹部影像診斷經(jīng)驗(yàn)的放射科主任醫(yī)師負(fù)責(zé).

每個(gè)病例的5個(gè)序列的圖像，經(jīng)過(guò)病灶區(qū)域提取、重建和數(shù)據(jù)擴(kuò)充所得的2D原始圖(Raw data)、3D 重建結(jié)果 (3D reconstruction images)和數(shù)據(jù)增強(qiáng)結(jié)果如圖2所示.

圖2 5個(gè)增強(qiáng)序列的2D影像與3D建模、2D原始數(shù)據(jù)及數(shù)據(jù)增強(qiáng)結(jié)果展示Fig.2 Five enhanced sequences of 3D reconstruction, 2D raw data, and the corresponding data augmentation results

數(shù)據(jù)集按照2∶1劃分為訓(xùn)練集和測(cè)試集，針對(duì)數(shù)據(jù)集病例數(shù)目不足，本文采用了較為常用[11,15]的幾何變換的方法，對(duì)劃分好的訓(xùn)練集數(shù)據(jù)進(jìn)行擴(kuò)充. 幾何變換的方法包括：旋轉(zhuǎn)、翻轉(zhuǎn)(Flip)和轉(zhuǎn)置(Transpose)，幾何變換之后訓(xùn)練集數(shù)據(jù)的數(shù)量為原來(lái)的8倍. 因此在使用數(shù)據(jù)增強(qiáng)方法進(jìn)行擴(kuò)充后，數(shù)據(jù)集的體量為480例，其中增強(qiáng)所得的數(shù)據(jù)僅用于訓(xùn)練過(guò)程.

3.2 HCC 三分類(lèi)和四分類(lèi)對(duì)比實(shí)驗(yàn)

為了驗(yàn)證所提出的模態(tài)“自注意力”機(jī)制及“自注意力”模型對(duì)HCC分類(lèi)性能的表現(xiàn)，設(shè)計(jì)了與前人工作中常用于醫(yī)學(xué)影像分類(lèi)任務(wù)的模型，如 ResNet[22]、 3D SE-ResNet[23]、 MCF-3DCNN[15]和3D SE-DenseNet[24]4個(gè)模型的在自建數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn). 評(píng)價(jià)標(biāo)準(zhǔn)如下文所述，為4項(xiàng)參數(shù)10次實(shí)驗(yàn)的平均值和標(biāo)準(zhǔn)差.

在WHO分級(jí)標(biāo)準(zhǔn)和Edmonson分級(jí)標(biāo)準(zhǔn)上的對(duì)比實(shí)驗(yàn)結(jié)果如表3～4所示，表中數(shù)據(jù)表示“自注意力”模型和上述4個(gè)模型在三分類(lèi)和四分類(lèi)任務(wù)上10次實(shí)驗(yàn)的準(zhǔn)確率、召回率、精確度和F1值的平均值和標(biāo)準(zhǔn)差，而由于這2個(gè)任務(wù)都是多分類(lèi)問(wèn)題，因此本文采用的是4個(gè)指標(biāo)的多分類(lèi)計(jì)算方式，即每次把一類(lèi)作為正類(lèi)的時(shí)候，其他類(lèi)均算為負(fù)類(lèi).

表3 基于 WHO 分類(lèi)標(biāo)準(zhǔn)的對(duì)比實(shí)驗(yàn)Table 3 Detailed comparison of experimental results on the test set under the WHO grading standard

從兩個(gè)表中的結(jié)果可以看出，“自注意力”模型在兩個(gè)分類(lèi)任務(wù)中，4項(xiàng)參數(shù)均比其他4個(gè)模型有所提升. 這無(wú)疑驗(yàn)證了本文提出的“自注意力”機(jī)制的有效性，也說(shuō)明了計(jì)算和利用各個(gè)序列對(duì)分類(lèi)任務(wù)的重要程度是遠(yuǎn)比各個(gè)序列的直接融合重要的.

3.3 T-SNE 和混淆矩陣分類(lèi)性能分析

為了分析模型對(duì)三分類(lèi)和四分類(lèi)中各個(gè)類(lèi)別的區(qū)分能力，使用了模型訓(xùn)練前后特征空間的TSNE圖和在測(cè)試集上的混淆矩陣來(lái)直觀的測(cè)模型的分類(lèi)能力，T-SNE圖和混淆矩陣如圖3所示，其中 3（a）、3（b）、3（d）和 3（e）所示分別為“自注意力”模型在HCC三分類(lèi)和四分類(lèi)任務(wù)中模型在訓(xùn)練前后的嵌入空間的二維映射，從圖中可以看出，兩個(gè)任務(wù)在訓(xùn)練之前，各類(lèi)數(shù)據(jù)的特征點(diǎn)在二維嵌入空間中是混雜在一起，難以找到清晰的分類(lèi)邊界. 而在經(jīng)過(guò)模型訓(xùn)練之后，三分類(lèi)和四分類(lèi)任務(wù)中不同類(lèi)別數(shù)據(jù)的特征點(diǎn)的平均距離明顯得到了提升，這也使得分類(lèi)器易于找到各個(gè)類(lèi)別邊界，從而提升分類(lèi)的準(zhǔn)確性. 圖 3（c）和 3（f）則分別代表了模型在兩個(gè)分類(lèi)任務(wù)的測(cè)試集中測(cè)試結(jié)果的混淆矩陣. 從混淆矩陣可以看出“自注意力”模型更擅長(zhǎng)于區(qū)分高分化與低分化、中分化的HCC，中分化（Moderately, II, III）分類(lèi)效果不理想，低分化判別性能差. 該結(jié)果與醫(yī)生判別經(jīng)驗(yàn)一致，臨床診斷過(guò)程亦存在中分化和低分化的特異度低于高分化的現(xiàn)象，因?yàn)镠CC隨惡性程度高，病變樣本紋理等征象更復(fù)雜，判別難度增加.

圖3 HCC 三分類(lèi)和四分類(lèi)任務(wù)中“自注意力”模型的 embedding space和混淆矩陣. （a）三分類(lèi)任務(wù)訓(xùn)練前的特征空間；（b）三分類(lèi)任務(wù)訓(xùn)練后的特征空間；（c）三分類(lèi)任務(wù)的混淆矩陣；（d）四分類(lèi)任務(wù)訓(xùn)練前的特征空間；（e）四分類(lèi)任務(wù)訓(xùn)練后的特征空間；（f）四分類(lèi)任務(wù)的混淆矩陣Fig.3 Feature distributions at the embedding space before and after training and the corresponding confusion matrix of the WHO and Edmonson classification tasks: (a) feature space of the model in three classification tasks before training; (b) feature space of the model in three classification tasks after training; (c) confusion matrix in three classification tasks; (d) feature space of the model in four classification tasks before training; (e) feature space of the model in four classification tasks after training; and (f) confusion matrix in four classification tasks

表4 基于 Edmonson 分類(lèi)標(biāo)準(zhǔn)的對(duì)比實(shí)驗(yàn)Table 4 Detailed comparison of experimental results on the test set under the Edmonson grading standard

總之，實(shí)驗(yàn)結(jié)果表明所提出模型對(duì)于樣本差異大的高分化HCC更為敏感，取得相較更好的效果，在后續(xù)研究中，針對(duì)特征提取難點(diǎn)，一方面考慮提升訓(xùn)練數(shù)據(jù)數(shù)量級(jí)，另一方面考慮解決模型在分類(lèi)能力上具有類(lèi)別偏向性的問(wèn)題.

4 結(jié)論

（1）提出了一種基于DCE-MRI序列和“自注意力”機(jī)制的HCC分化程度判別模型，通過(guò)計(jì)算DCE-MRI序列中各個(gè)增強(qiáng)序列對(duì)最終分類(lèi)任務(wù)的“注意力”并將其與特征提取器所提取的序列時(shí)空特征進(jìn)行特征層融合以補(bǔ)充語(yǔ)義信息. 通過(guò)與4個(gè)現(xiàn)有工作的對(duì)比實(shí)驗(yàn)，驗(yàn)證了所提出的“自注意力”機(jī)制和“自注意力”模型的有效性.

（2）本文所提出的方法提供了一種有潛力充分利用多序列輸入所蘊(yùn)含的信息的特征提取機(jī)制，為多模態(tài)融合和多序列融合提供了一種潛在的可行的融合機(jī)制.