基于多模態(tài)MRI與深度學(xué)習(xí)的乳腺病變良惡性鑒別

楊一風(fēng)，祁章璇，聶生東

上海理工大學(xué) 醫(yī)學(xué)影像工程研究所，上海 200093

引 言

近年來，乳腺癌因高發(fā)病率和死亡率而成為危害女性身心健康的首要問題[1]．臨床上乳腺癌往往是由早期的乳腺病變逐漸惡化發(fā)展而來．但因其發(fā)病機理的不確定性和早期病情較為隱匿，往往會出現(xiàn)臨床漏診和誤診，從而導(dǎo)致良性病變沒有得到及時治療而逐漸發(fā)展為惡性癌變．因此，對早期乳腺病變的良惡性精確診斷及篩查，并對患者進(jìn)行有針對性的防控和治療，對降低乳腺癌的死亡率具有重要意義[2]．

醫(yī)學(xué)影像檢查為乳腺病變診斷提供了有效工具[3]．然而，近年來隨著乳腺影像檢查數(shù)量不斷攀升，臨床醫(yī)師的閱片壓力激增，極易造成誤診、漏診．乳腺癌計算機輔助診斷（computer aided diagnosis，CAD）技術(shù)應(yīng)運而生．現(xiàn)有的乳腺癌CAD 技術(shù)主要包括傳統(tǒng)機器學(xué)習(xí)和深度學(xué)習(xí)兩種方法．基于傳統(tǒng)機器學(xué)習(xí)的方法依賴于精細(xì)地靶區(qū)人工勾畫，以便于提取用于模型訓(xùn)練的特征[4,5]．而基于深度學(xué)習(xí)的方法能夠?qū)崿F(xiàn)高通量、自動化地感興趣區(qū)域（region of interest，ROI）特征提取，并且對ROI精細(xì)勾畫的依賴性較弱，在乳腺病變分類任務(wù)中得到了廣泛應(yīng)用[6-11]．例如Samala 團隊[8]基于數(shù)字乳腺斷層成像（digital breast tomosynthesis，DBT）和乳腺鉬靶X 射線成像，設(shè)計了一種多階段遷移學(xué)習(xí)模型進(jìn)行乳腺良惡性腫塊的自動分類．他們利用了非醫(yī)學(xué)圖像（ImageNet）數(shù)據(jù)上訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）模型的知識，首先用具有相對大樣本量的乳腺X射線數(shù)據(jù)進(jìn)行微調(diào)，然后再遷移到基于小型DBT 數(shù)據(jù)的目標(biāo)任務(wù)中，以提高模型在小樣本DBT 影像數(shù)據(jù)上的學(xué)習(xí)效率和診斷準(zhǔn)確率．該模型得到了平均0.93 的受試者工作特征曲線下方面積（area under the curve，AUC）值，證明了當(dāng)來自目標(biāo)域的訓(xùn)練樣本有限時，使用來自相似輔助域的數(shù)據(jù)進(jìn)行額外的遷移學(xué)習(xí)是有利的．Dalmis 等[9]通過訓(xùn)練DenseNet 網(wǎng)絡(luò)模型提取基于多參數(shù)的超快動態(tài)增強磁共振成像（dynamic contrast enhanced magnetic resonance imaging，DCE-MRI）的影像特征，實現(xiàn)了AUC 為0.811 的乳腺良惡性病灶分類準(zhǔn)確率，表明超快DCE-MRI 可對乳腺良惡性病變進(jìn)行有效鑒別診斷．該團隊進(jìn)一步采用隨機森林分類器對臨床信息（患者信息、乳腺癌易感基因和表觀彌散系數(shù)）進(jìn)行特征提取，并將影像特征與臨床特征相融合，顯著提高了模型的分類性能（AUC 提高至0.852）．Saritas 等[10]從鉬靶X 射線影像中提取影像特征，包括腫塊形狀、腫塊邊緣和腫塊密度，并與乳腺影像數(shù)據(jù)報告和數(shù)據(jù)系統(tǒng)（breast imaging reporting and data system，BI-RADS）分級和年齡進(jìn)行特征融合，而后輸入人工神經(jīng)網(wǎng)絡(luò)（artificial neural network，ANN）進(jìn)行乳腺病變良惡性的預(yù)測，從而輔助臨床醫(yī)生判斷病人是否需要進(jìn)行活檢．

CAD 模型效果不僅與模型本身結(jié)構(gòu)有關(guān)，還取決于模型的輸入[12,13]．目前大多數(shù)研究是基于鉬靶X 射線或乳腺超聲圖像進(jìn)行模型搭建，并且取得了較高的精度．相比于低分辨率的，對深位、高位病變低敏感性的鉬靶X 射線掃描，DCE-MRI 具有高分辨率、無創(chuàng)性、對乳腺病灶軟組織具有高靈敏度等優(yōu)點，對提高臨床早期乳腺疾病的檢出率具有重要價值[14]．然而，臨床MRI 目前通常作為乳腺診斷的一種補充掃描，因此可用于實驗研究的MRI 數(shù)據(jù)相比鉬靶和超聲數(shù)據(jù)較少．受限于有限數(shù)據(jù)量，基于DCE-MRI 影像構(gòu)建高精度的乳腺病變良惡性自動檢測模型仍具有一定挑戰(zhàn)性．

本研究提出了一種聯(lián)合非對稱卷積（asymmetric convolution，AC）和超輕子空間注意模塊（ultra-lightweight subspace attention module，Ulsam）的AC_Ulsam_CNN 網(wǎng)絡(luò)模型進(jìn)行乳腺病變良惡性的自動鑒別診斷．首先，該模型通過增加網(wǎng)絡(luò)寬度和深度，并引入子空間注意力機制，從而能夠增強網(wǎng)絡(luò)的特征表達(dá)能力，提高模型的檢測性能．其后，將DCE-MRI 影像特征與其他臨床指標(biāo)進(jìn)行特征融合，通過增加特征的多樣性，以彌補因樣本量少導(dǎo)致的分類精度低的缺陷，進(jìn)而獲得更準(zhǔn)確可靠的分類結(jié)果．

1 實驗部分

1.1 實驗數(shù)據(jù)

本研究中的乳腺數(shù)據(jù)來自上海交通大學(xué)醫(yī)學(xué)院附屬新華醫(yī)院．具體入組標(biāo)準(zhǔn)為：（1）根據(jù)BI-RADS[15]，放射醫(yī)師擬診為患良性或惡性乳腺病變的患者（BI-RADS 評估為0～V 級）；（2）病灶最大截面直徑≥5 mm；（3）于同一醫(yī)院檢查并進(jìn)行手術(shù)或活檢穿刺后取得病理結(jié)果；（4）術(shù)前影像檢查包括DCE-MRI 掃描，包括動態(tài)增強T1高分辨率各向同性容積采集序列（dyn-eTHRIVE，Dyn）掃描、動態(tài)增強T1高分辨率各向同性體積采集的減影序列（sdyn-eTHRIVE SENSE，Sdyn）掃描和擴散加權(quán)成像（diffusion-weighted imaging，DWI）掃描．自2014年1月至2019年12月間，符合數(shù)據(jù)入組條件的病例累計有277 例女性患者，包括良性乳腺病變119 例、惡性病變158 例（表1）．惡性病變中浸潤性癌占比最高，良性病變主要表現(xiàn)為纖維腺瘤和乳腺?。狙芯吭O(shè)計和實施方案已獲得由倫理委員會和合作醫(yī)院機構(gòu)審查簽署的知情協(xié)議．所有參與者均簽訂書面知情同意書．

表1 乳腺病變良惡性數(shù)據(jù)分布Table 1 Data distribution of benign and malignant breast lesions

MRI 掃描均采用飛利浦Ingenia 3.0T 超導(dǎo)型磁共振設(shè)備．在注射釓噴替酸葡甲胺（Gd-DTPA）對比劑前，進(jìn)行一次平掃采集；注射對比劑后，再進(jìn)行數(shù)次連續(xù)且不間斷的重復(fù)性MRI 掃描．對比劑經(jīng)病患手背由高壓注射器進(jìn)行靜脈團注，劑量為0.2 mmol/kg、流速為2.0 mL/s，之后使用相同方法注射15 mL 濃度為0.9%的氯化鈉水溶液，記錄磁共振動態(tài)增強曲線（time intensity curve，TIC）類型．

Dyn 掃描設(shè)有5 個時序，分別記為S0～S4（如圖1所示）．Sdyn 掃描設(shè)有4 個時序，分別記為S0～S3．掃描層數(shù)均為150 層，層厚為1.2 mm，掃描時間均為58 s，影像分辨率為512 mm×512 mm，通道數(shù)為3．DWI 掃描設(shè)定擴散敏感系數(shù)b值為0.80 s/mm2，記錄各被試的表現(xiàn)擴散系數(shù)（apparent diffusion coefficient，ADC）．

圖1 設(shè)有5 個時序（S0～S4）的Dyn 掃描影像Fig.1 The images acquired using Dyn with 5 time phase scans (S0～S4)

1.2 實驗方法

本文提出的基于多模態(tài)MRI 數(shù)據(jù)和深度學(xué)習(xí)的乳腺病變良惡性鑒別方法流程主要包括：（1）數(shù)據(jù)預(yù)處理；（2）基于DCE-MRI 影像數(shù)據(jù)，采用遷移學(xué)習(xí)方法預(yù)訓(xùn)練模型，以從不同的時序中篩選出對乳腺病變良惡性鑒別最為有效的掃描時序．（3）基于最優(yōu)掃描時序，構(gòu)建針對乳腺病變良惡性鑒別任務(wù)的AC_Ulsam_CNN 網(wǎng)絡(luò)模型．（4）將影像特征與臨床BI-RADS 分級指標(biāo)、ADC 值和TIC類型進(jìn)行特征融合，重新訓(xùn)練混合AC_Ulsam_CNN 網(wǎng)絡(luò)，從而進(jìn)一步提高乳腺病變良惡性鑒別的準(zhǔn)確率．

1.2.1 數(shù)據(jù)預(yù)處理

本文使用的數(shù)據(jù)模態(tài)包括DCE-MRI 不同時序的掃描圖像和其他衍生指標(biāo)，如：BI-RADS 分級指標(biāo)、ADC 值和TIC 類型．

首先，對DCE-MRI 影像數(shù)據(jù)進(jìn)行預(yù)處理．根據(jù)臨床醫(yī)師勾畫的金標(biāo)準(zhǔn)定位病灶位置，以病變區(qū)域為中心，設(shè)置大小為64*64 的像素窗口，分割出包含病灶區(qū)域且占比適中的ROI 圖像，并保存為灰度圖片，記為基于單一信源的ROI 數(shù)據(jù)．為豐富ROI 信息，分別選取時序相位掃描中的任意三個掃描進(jìn)行通道融合．將融合后的圖像保存為具有三通道的彩色圖片，并記為基于多信源的ROI數(shù)據(jù)（如圖2所示）．

圖2 DCE-MRI 不同時序掃描的多信源組合ROI 影像示意圖Fig.2 The multi-source combined ROI images scanned by different time phase scans of DCE-MRI

其次，對衍生指標(biāo)中的臨床BI-RADS 分級和TIC 評估數(shù)據(jù)分別進(jìn)行量化處理．其中，根據(jù)臨床BI-RADS 分級結(jié)果，將對應(yīng)分級（0 級、I 級、II 級、III 級、IVa 級、IVb 級、IVc 級和V 級）量化為0 到7，代表臨床對病灶性質(zhì)的初步篩查評估；將TIC 評估中上升型、平臺型和流出型分別量化為數(shù)值0、1 和2；定量ADC 值則進(jìn)行線性歸一化處理．

其中，X表示每個病例的ADC 特征值，Xmin表示所有病例ADC 特征值中的最小值，Xmax表示所有病例ADC 特征值中的最大值，Xnorm表示每個病例歸一化后的ADC 特征值．

最后，根據(jù)DCE-MRI 中不同時序掃描及其隨機排列組合，本實驗共獲得9 組基于單一時序掃描的單信源影像數(shù)據(jù)和13 組基于不同時序組合的多信源影像數(shù)據(jù)，如表2所示．其中，每組均包含95 106 張含乳腺病灶的ROI 圖像，包括良性病變31 722 張、惡性病變63 384 張．每張影像均有其對應(yīng)的衍生指標(biāo)，并且將臨床病理檢驗得到的良惡性診斷結(jié)果作為其真實標(biāo)簽．

表2 DCE-MRI 中不同時序掃描及其組合Table 2 The different time phase scans and their combinations

1.2.2 基于不同時序的DCE-MRI 對乳腺病變良惡性的分類

DCE-MRI 掃描中包含多個不同時序的掃描序列，而不同時序掃描的影像對良惡性病灶的組織對比度強度具有不同的敏感性．因此，為篩選出對病灶良惡性鑒別最為有效的掃描序列，本文首先進(jìn)行了初步的預(yù)實驗．然而，考慮到本實驗中樣本量不足，若直接從頭訓(xùn)練模型，容易造成模型欠擬合或過擬合問題，難以進(jìn)行最優(yōu)時序的篩選．遷移學(xué)習(xí)為解決小樣本量醫(yī)學(xué)影像數(shù)據(jù)提供了有效方法[16]．其中，InceptionV3 模型因具有較強的特征表達(dá)能力被廣泛應(yīng)用于各項分類任務(wù)[17]，并且已在乳房腫塊檢測研究[18-20]中取得了優(yōu)異的成果．與其他CNN 相比，InceptionV3 計算成本和內(nèi)存需求低，對有限數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí)的可行性高，因此本研究中采用經(jīng)典的InceptionV3 作為預(yù)訓(xùn)練模型．通過去除頂層分類器，并添加兩個輸出尺寸分別為128 和16 的Dense 層進(jìn)行模型微調(diào)，最后采用Sigmoid 層作為模型的輸出層，以評估基于不同時序的DCE-MRI 對乳腺病變良惡性的分類性能．

1.2.3 基于AC_Ulsam_CNN 網(wǎng)絡(luò)的乳腺病變良惡性鑒別模型

基于遷移學(xué)習(xí)的方法往往依賴于目標(biāo)數(shù)據(jù)與原始數(shù)據(jù)之間的相似性，而針對高維復(fù)雜的MRI數(shù)據(jù)，該方法在模型精度提升方面仍具有一定局限性．因此，為進(jìn)一步提高DCE-MRI 影像數(shù)據(jù)對乳腺病變良惡性鑒別性能，基于篩選出的最優(yōu)時序作為輸入圖像，本文構(gòu)建了基于AC_Ulsam_CNN網(wǎng)絡(luò)的模型．如圖3所示，AC_Ulsam_CNN 網(wǎng)絡(luò)主要由兩個非對稱卷積模塊（AC Block）、兩個超輕子空間注意模塊（Ulsam Block）、兩個最大池化層（MaxPooling）和四個殘差式學(xué)習(xí)跳躍連接結(jié)構(gòu)（分別為：(2)→(5)→(6)，(8)→(11)→(12)，(12)→(17)→(20)，(14)→(18)→(19)）組成，而后經(jīng)過全局平均池化層（global average polling，GAP）、密集全連接層（Dense）和分類器層（Sigmoid）得到輸出結(jié)果．網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)置如表3所示．

表3 AC_Ulsam_CNN 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)置Table 3 The parameter setting of the proposed AC_Ulsam_CNN structure

圖3 AC_Ulsam_CNN 的網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.3 The network structure diagram of AC_Ulsam_CNN

此外，為解決隨網(wǎng)絡(luò)結(jié)構(gòu)的加深、梯度優(yōu)化速度減緩、模型收斂慢等問題，模型中引入了批歸一化層（batch normalization，BN）和LeakyReLU 激活函數(shù)，并采用Sigmoid 函數(shù)進(jìn)行激活輸出，以加快網(wǎng)絡(luò)優(yōu)化速度，并提高模型的魯棒性．

非對稱卷積模塊（AC Block）是一種采用多個非對稱卷積核組合形式替換標(biāo)準(zhǔn)卷積核的特殊卷積結(jié)構(gòu)，通過增加模型不同尺度方向的特征提取通路，從而提升模型的魯棒性[21]．非對稱卷積參數(shù)訓(xùn)練后，與標(biāo)準(zhǔn)卷積參數(shù)的有效融合，也使得模型在訓(xùn)練階段能夠更專注于特征提取的強化，得到高表征能力、強相關(guān)的特征．雖然訓(xùn)練時間成本有提升，但卷積核參數(shù)的等效融合不會出現(xiàn)多余的計算量．因此，模型的性能提升無需多余的計算開支，該機制對解決因小樣本量數(shù)據(jù)而導(dǎo)致的模型過擬合問題具有充分的應(yīng)用價值．本文設(shè)計的非對稱卷積模塊結(jié)構(gòu)如圖4所示．首先，將上一層得到的特征圖分別輸入到尺寸為1×3、3×1 和3×3 的卷積核（c@1×3、c@3×1 和c@3×3，其中c 為卷積通道數(shù)）中進(jìn)行訓(xùn)練，并采用逐點求和方式進(jìn)行融合，以提升局部顯著性特征的影響因子．而后采用殘差學(xué)習(xí)方式，將融合后的特征圖與原特征圖進(jìn)行按通道拼接，從而避免圖像信息丟失，增強網(wǎng)絡(luò)的特征表達(dá)能力．

圖4 非對稱卷積模塊（AC Block）結(jié)構(gòu)示意圖Fig.4 The structure diagram of asymmetric convolution module (AC Block)

為提高小容量、低空間復(fù)雜網(wǎng)絡(luò)的學(xué)習(xí)效率，超輕子空間注意模塊（Ulsam Block）[22]引入了子空間注意力機制．通過將輸入特征分組為g個特征子空間（本實驗中設(shè)置g=2），依次采用1×1 depth-wise 卷積學(xué)習(xí)新特征，經(jīng)最大池化層降維后，再采用1×1 point-wise 卷積，從而可得到每個特征子空間的個體注意力圖．softmax 激活函數(shù)保證了g個特征子空間中的注意力圖的權(quán)重和為1．因此，Ulsam 模塊有助于網(wǎng)絡(luò)提取到多尺度和多頻率特征，同時也使模型能夠高效地利用跨通道信息．Ulsam Block 結(jié)構(gòu)如圖5所示．

圖5 超輕子空間注意模塊（Ulsam Block）結(jié)構(gòu)示意圖Fig.5 The structure diagram of ultra-lightweight subspace attention module (Ulsam Block)

1.2.4 融合多模態(tài)數(shù)據(jù)的乳腺病變良惡性鑒別

DCE-MRI 掃描能夠生成TIC，為鑒別病變性質(zhì)提供了血流動力學(xué)參數(shù)[23]．ADC 作為DWI 成像中的一種衍生指標(biāo)，能夠反應(yīng)軟組織內(nèi)水分子擴散情況，從而有效降低乳腺MRI 的假陽性，并被證明與乳腺良惡性程度具有強相關(guān)性[24]．因此，為進(jìn)一步探索多模態(tài)數(shù)據(jù)融合在乳腺病變良惡性鑒別中的價值，本文設(shè)計了一種混合式AC_Ulsam_CNN 卷積神經(jīng)網(wǎng)絡(luò)模型，通過將DCE-MRI 影像特征分別與其他衍生指標(biāo)（臨床BI-RADS 分級、ADC 值和TIC 類型）進(jìn)行特征級別的融合，即在圖3網(wǎng)絡(luò)全連接層部分，引入相應(yīng)衍生指標(biāo)特征，繼而將融合后的新特征輸入到Sigmoid 分類器中進(jìn)行良惡性分類（圖6）．在此基礎(chǔ)上，我們還將文獻(xiàn)[6]和文獻(xiàn)[8]中所設(shè)計的經(jīng)典模型應(yīng)用于本研究數(shù)據(jù)中，以進(jìn)行橫向?qū)Ρ葘嶒灒M(jìn)一步驗證所提模型的有效性．其中，文獻(xiàn)[6]所提模型為一種簡單線性堆疊卷積神經(jīng)網(wǎng)絡(luò)，由三種尺寸大小為11×11、5×5 和3×3 的卷積核和尺寸分別為2 048、1 024的全連接層組成，通道數(shù)從初始的64 增加到512．文獻(xiàn)[8]在網(wǎng)絡(luò)層方面相較文獻(xiàn)[6]多引入了批量歸一化層，設(shè)計了一個10 層CNN，包含尺寸大小為3×3 的卷積核和大小分別為4 096、1 000、100個神經(jīng)元的全連接層，通道數(shù)從初始的64 增加到384 又縮小至256．研究表明這兩種網(wǎng)絡(luò)結(jié)構(gòu)在乳腺腫瘤良惡性分類任務(wù)中均表現(xiàn)出優(yōu)異性能．

圖6 基于多模態(tài)數(shù)據(jù)融合的混合神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.6 The structure diagram of hybrid neural network based on multimodal data fusion

1.3 模型評估

受數(shù)據(jù)集樣本量大小限制，本實驗采用五折交叉驗證方法對各模型性能進(jìn)行綜合評估，并對每折中的訓(xùn)練集進(jìn)行平移、旋轉(zhuǎn)和鏡像翻轉(zhuǎn)的數(shù)據(jù)擴增處理，以減小模型過擬合．此外，考慮到本實驗數(shù)據(jù)中良惡性病變具有類間不平衡問題，在網(wǎng)絡(luò)損失函數(shù)計算部分，我們根據(jù)正負(fù)樣本比例賦予類別權(quán)重因子，從而使模型結(jié)果不會偏向多數(shù)類別．采用準(zhǔn)確率（accuracy，ACC）、靈敏度（sensitivity，Sens）、特異性（specificity，Spec），AUC 指標(biāo)進(jìn)行模型性能評估．計算公式如下：

其中，TP 表示惡性乳腺病變被正確分類的樣本數(shù)；FP 表示良性乳腺病變被錯誤分類的樣本數(shù)；TN表示良性乳腺病變被正確分類的樣本數(shù)；FN 表示惡性乳腺病變被錯誤分類的樣本數(shù).

最后，采用IBM SPSS（v25.0）進(jìn)行統(tǒng)計學(xué)分析，對不同模型的AUC 和ACC 進(jìn)行比較．雙尾t檢驗p< 0.05 表示統(tǒng)計學(xué)意義．

1.4 實驗設(shè)置

在硬件配置為計算機芯片Intel Core（TMi7-8700），其內(nèi)存為32 GB，NVIDIA 顯卡GeForce GTX 1080ti，軟件環(huán)境為Windows10 系統(tǒng)，Nvidia 顯卡驅(qū)動CUDA9.0，以及用于深度神經(jīng)網(wǎng)絡(luò)的GPU加速庫CUDNN7.0 的實驗配置下，本文基于Python 和Keras 框架進(jìn)行網(wǎng)絡(luò)模型開發(fā)．采用Adam 優(yōu)化器進(jìn)行超參數(shù)優(yōu)化，設(shè)置各卷積層初始化方式為Xavier，網(wǎng)絡(luò)學(xué)習(xí)率為0.002，批處理大小為32，總訓(xùn)練次數(shù)至少200 個epochs．

2 結(jié)果與討論

2.1 基于不同時序的DCE-MRI 對乳腺病變良惡性分類結(jié)果

本研究分別對9 個基于單一時序和13 個基于不同時序掃描的多信源組合構(gòu)建遷移學(xué)習(xí)模型，進(jìn)行乳腺良惡性分類預(yù)實驗．控制每次實驗均是在相同的數(shù)據(jù)劃分下基于相同InceptionV3 網(wǎng)絡(luò)結(jié)構(gòu)完成訓(xùn)練．基于不同時序的五折交叉驗證后的平均分類性能如圖7和圖8所示．其中，在基于各單一時序掃描中，基于DynS4 時序掃描具有最好的良惡性鑒別能力，AUC 為0.730，準(zhǔn)確率ACC為0.725．而在組合序列中，基于DynS024 的組合序列對乳腺良惡性鑒別的AUC 和準(zhǔn)確率ACC 可達(dá)到0.775 和0.749，高于基于單一時序的分類結(jié)果，這可能與單一時序中DynS2 和DynS4 具有較好的分類表現(xiàn)有關(guān)．因此，基于DynS4 時序掃描和DynS024 組合掃描序列對解決乳腺病變良惡性鑒別問題可能最具代表性，能夠更好地反映惡性病灶與良性病灶的紋理、形態(tài)等特征的差異性．

圖7 基于單一時序掃描的乳腺病變良惡性分類結(jié)果Fig.7 Differentiation results of benign and malignant breast lesions based on single-time phase scans

圖8 基于不同時序掃描的多信源組合的乳腺病變良惡性分類結(jié)果Fig.8 Differentiation results of benign and malignant breast lesions based on multi-source combination of different time phase scans

2.2 基于AC_Ulsam_CNN 網(wǎng)絡(luò)模型的乳腺病變良惡性分類結(jié)果

如表4所示，本實驗所設(shè)計AC_Ulsam_CNN 網(wǎng)絡(luò)模型在基于最優(yōu)DCE-MRI 掃描序列下的乳腺良惡性鑒別性能有了進(jìn)一步提升．其中，在DynS024 組合序列下，模型的平均AUC 可達(dá)0.826，比基于InceptionV3 模型提高了0.051（p= 0.027），準(zhǔn)確率提升了0.013（p= 0.047），特異性提升了0.094．雖然在靈敏度指標(biāo)上，所提模型略低于InceptionV3 模型，但其整體上對良性病變的鑒別能力與對惡性病變的鑒別能力相當(dāng)，不存在偏倚，表明本文所提模型的有效性及可行性．

表4 基于InceptionV3 網(wǎng)絡(luò)與AC_Ulsam_CNN 網(wǎng)絡(luò)模型的分類結(jié)果對比Table 4 Comparison of differentiation results based on InceptionV3 and AC_Ulsam_CNN network models

2.3 基于多模態(tài)融合的乳腺病變良惡性分類

多模態(tài)數(shù)據(jù)融合能夠為乳腺病變診斷提供多維度、綜合性的病理信息，從而進(jìn)一步提高其鑒別準(zhǔn)確性．如表5所示，在基于不同模態(tài)特征融合的消融實驗中，我們發(fā)現(xiàn)各特征融合隊列均可獲得比單一DCE-MRI 模型具有更高的分類性能．其中，基于四種特征的整體融合模型進(jìn)行良惡性病灶鑒別的平均ACC 達(dá)到了0.826，相比基于單一DynS024 特征的模型分類準(zhǔn)確率提升了0.064（p= 0.009），AUC 值提升了0.051（p= 0.021），突出了多模態(tài)數(shù)據(jù)融合的優(yōu)越性．

表5 基于多模態(tài)特征融合的消融實驗結(jié)果Table 5 Experimental results of ablation based on multimodal feature fusion

如表6所示，相比于文獻(xiàn)[6]和文獻(xiàn)[8]中的較為淺層的網(wǎng)絡(luò)模型，本文所提算法模型具有更好的乳腺病變良惡性鑒別性能，在各判別指標(biāo)上均有提升．AC_Ulsam_CNN 網(wǎng)絡(luò)結(jié)構(gòu)中采用非對稱卷積模塊，能夠增加模型的寬度，豐富特征圖信息的多樣性，而基于殘差式學(xué)習(xí)的跳躍連接結(jié)構(gòu)進(jìn)一步增加了網(wǎng)絡(luò)深度，彌補了隨網(wǎng)絡(luò)結(jié)構(gòu)的加深而損失特征信息的不足．此外，超輕子空間注意模塊的引入進(jìn)一步提高了模型對局部強相關(guān)性特征的注意力，使得本網(wǎng)絡(luò)模型能夠提取到更豐富的特征信息并得到了更好的良惡性鑒別結(jié)果．

表6 本文方法與其他方法的分類結(jié)果對比Table 6 Comparison of differentiation results between the methods from the literatures and the proposed method

3 結(jié)論

本研究構(gòu)建了一種針對乳腺病變良惡性鑒別診斷的AC_Ulsam_CNN 網(wǎng)絡(luò)模型，通過多尺度特征提取并引入子空間注意力機制，增強了網(wǎng)絡(luò)的特征表達(dá)能力及其魯棒性．實驗表明，在基于DynS024 組合的DCE-MRI 影像上，所提模型能夠?qū)崿F(xiàn)乳腺良惡性病變分類準(zhǔn)確率為0.762．當(dāng)模型進(jìn)一步納入臨床BI-RADS 分級、ADC 值以及TIC 類型等特征指標(biāo)后，基于多模態(tài)特征融合后的模型分類準(zhǔn)確率可達(dá)0.826，顯著高于基于單獨的DCE-MRI 影像特征模型．因此，臨床BI-RADS 分級、ADC 值和TIC 類型對基于DCE-MRI 進(jìn)行乳腺診斷的性能提升具有顯著貢獻(xiàn)，而多模態(tài)特征的融合也為CAD 提供了多維度、綜合性的信息，從而進(jìn)一步提高病灶的檢測精度，有效輔助臨床醫(yī)生對乳腺病變的診斷．未來研究應(yīng)進(jìn)一步擴充乳腺病變數(shù)據(jù)量及模態(tài)的多樣性，提高模型泛化能力．

致謝

感謝參與本研究的上海交通大學(xué)醫(yī)學(xué)院附屬新華醫(yī)院的所有患者和研究人員．

利益沖突

無