基于多尺度綜合注意力的左心室圖像分割方法研究

李孟歆，韓 煜，李松昂，賈欣潤(rùn)，李易營(yíng)

（沈陽(yáng)建筑大學(xué)電氣與控制工程學(xué)院，沈陽(yáng) 110168）

0 引言

根據(jù)《中國(guó)心血管健康與疾病報(bào)告2020》［1］發(fā)布報(bào)告指出，中國(guó)心血管疾病發(fā)病率呈上升趨勢(shì)。全世界每年死于心腦血管疾病的人數(shù)占全球死亡人數(shù)的30%，對(duì)于心血管疾病的提前診斷和及時(shí)治療是亟待解決的重大問(wèn)題。其中左心室是全身循環(huán)泵體，起到泵血的作用，工作量遠(yuǎn)遠(yuǎn)大于右心室。心血管疾病對(duì)左心室的生理形態(tài)影響很大，嚴(yán)重時(shí)甚至威脅生命，所以左心室的早期檢查，判斷生理輪廓是否正常，是評(píng)估心臟狀況的重要環(huán)節(jié)。有多種醫(yī)學(xué)攝影方法用于治療心臟病，其中磁共振（MRI）方法應(yīng)用更為廣泛。它可以獲得關(guān)于心臟結(jié)構(gòu)、心肌運(yùn)動(dòng)和組織特征的清晰信息，向醫(yī)生提供重要的補(bǔ)充診斷資料，并與左心室功能的評(píng)估具有臨床相關(guān)性，可以有效地輔助醫(yī)生進(jìn)行病灶判斷。但由于手動(dòng)分割一幅MRI 圖像耗時(shí)較長(zhǎng)，并且依賴(lài)醫(yī)生的專(zhuān)業(yè)能力，所以近年來(lái)左心室MRI圖像的自動(dòng)分割成為了研究熱點(diǎn)。

國(guó)內(nèi)外科學(xué)家提出了多種心室分割方法，基本包括兩種類(lèi)型，即傳統(tǒng)的分割方法和基于深度學(xué)習(xí)的分割方法。然而，在深度學(xué)習(xí)發(fā)展過(guò)程中，將深度學(xué)習(xí)與醫(yī)學(xué)圖像分割相結(jié)合是人們正在研究的新課題，實(shí)現(xiàn)左心室的全自動(dòng)分割，與傳統(tǒng)方法進(jìn)行比較，提升效果更為顯著。Tran［2］使用15 層FCN 對(duì)左心室和右心室進(jìn)行分割。Poudel 等［3］在尖端使用遞歸全卷積網(wǎng)絡(luò)（RFCN）來(lái)分析重疊心臟MRI 圖像的分割，獲得的結(jié)果顯著改善。Ronneberger 等［4］首次提出U-Net，可以有效解決醫(yī)學(xué)領(lǐng)域?qū)I(yè)圖像樣本少的問(wèn)題，通過(guò)對(duì)原始數(shù)據(jù)進(jìn)行增強(qiáng)，使網(wǎng)絡(luò)的圖像特征提取能力得到提升，利用編碼和解碼的結(jié)構(gòu)，通過(guò)對(duì)上下文信息的分析實(shí)現(xiàn)對(duì)目標(biāo)特征準(zhǔn)確定位，在基于神經(jīng)元結(jié)構(gòu)的U-Net分割網(wǎng)絡(luò)中取得了不錯(cuò)的成果。Lieman-Sifry 等［5］研究改進(jìn)E-Net 架構(gòu)，提出了Fast Ventricle 架構(gòu)用于心室分割，大大提升了運(yùn)行速度并保證了結(jié)果的準(zhǔn)確性。Vigneault 等［6］在U-Net 的基礎(chǔ)上提出了Ω-Net（Omega-Net），強(qiáng)化了特征的位置信息和語(yǔ)義分割。Khened 等［7］提出了一種新型長(zhǎng)短連接的上采樣結(jié)構(gòu)，針對(duì)FCN 的梯度爆炸問(wèn)題進(jìn)行了改善，結(jié)合Inception 模型和DenseNet 提出了一種全卷積多尺度殘差網(wǎng)絡(luò)，在心臟分割競(jìng)賽中表現(xiàn)突出。在深度學(xué)習(xí)領(lǐng)域的醫(yī)學(xué)圖像分割研究方法層出不窮，并且都取得了不錯(cuò)的成果［8-11］。

本文以生成對(duì)抗網(wǎng)絡(luò)為框架基礎(chǔ)，結(jié)合多尺度綜合注意力模塊（multi-scale integrated attention module）構(gòu)成改進(jìn)的生成對(duì)抗網(wǎng)絡(luò)MCA GAN，分割網(wǎng)絡(luò)由編碼—解碼模塊構(gòu)成，用結(jié)合多尺度綜合注意力網(wǎng)絡(luò)的全卷積神經(jīng)網(wǎng)絡(luò)替代原有的編碼模塊，針對(duì)網(wǎng)絡(luò)捕獲特征信息不足、淺層信息丟失的問(wèn)題，構(gòu)建新的分割網(wǎng)絡(luò)，并通過(guò)多尺度鑒別器鑒別網(wǎng)絡(luò)監(jiān)督生成圖像與標(biāo)注圖像之間的特征關(guān)系，通過(guò)不斷地迭代，更好地學(xué)習(xí)圖像的特征信息，提高分割精度。

1 本文網(wǎng)絡(luò)結(jié)構(gòu)及算法原理

1.1 生成對(duì)抗網(wǎng)絡(luò)

GAN 主要由生成器G（generator）和鑒別器D（discriminator）兩個(gè)網(wǎng)絡(luò)構(gòu)成，通過(guò)不斷迭代的對(duì)抗式學(xué)習(xí)來(lái)獲得更為精確的結(jié)果，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)

圖1中，G將隨機(jī)噪聲z作為輸入來(lái)生成圖像G(z)，然后將真實(shí)圖像x與G(z)輸入到D中，D將x和G(z)做二分類(lèi)，鑒別輸入的圖像是原始圖像還是生成圖像，D的輸出結(jié)果表示輸入x為原始圖像的概率，1 表示當(dāng)前的輸入為原始圖像；0 表示當(dāng)前的輸入為生成圖像。G繼續(xù)訓(xùn)練學(xué)習(xí)使得生成圖像接近原始圖像，并嘗試使D認(rèn)為這是原始圖像；D通過(guò)不斷學(xué)習(xí)提高原始圖像和生成圖像的分類(lèi)準(zhǔn)確率。一個(gè)網(wǎng)絡(luò)在不斷優(yōu)化生成數(shù)據(jù)，另一個(gè)網(wǎng)絡(luò)在不斷優(yōu)化分類(lèi)準(zhǔn)確率；通過(guò)迭代學(xué)習(xí)，兩個(gè)網(wǎng)絡(luò)達(dá)到一個(gè)均衡點(diǎn)，稱(chēng)為納什均衡點(diǎn)。

生成器（G）和判別器（D）的定義如下:

其中：z是隨機(jī)噪聲，x是原始圖像，Pdata是真實(shí)數(shù)據(jù)分布，Pz是均勻噪聲分布，G(z)是生成圖，D(x)表示真實(shí)圖像鑒別結(jié)果，D(G(z)) 表示生成圖像鑒別結(jié)果，E表示期望。

1.2 MCA GAN

在圖像的特征捕捉和表征方面，GAN 有著相較于其他模型更為優(yōu)秀的學(xué)習(xí)能力，提出一種改進(jìn)的生成對(duì)抗網(wǎng)絡(luò)，即MCA GAN，來(lái)對(duì)目標(biāo)任務(wù)進(jìn)行分割。網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 MCA GAN網(wǎng)絡(luò)結(jié)構(gòu)

1.3 基于多尺度綜合注意力的分割網(wǎng)絡(luò)

在分割網(wǎng)絡(luò)中引入多尺度注意力卷積神經(jīng)網(wǎng)絡(luò)，如圖3所示。主要由以下三個(gè)模塊構(gòu)成：①雙路徑因式分解多尺度融合模塊［12］（dual Path factor decomposition multi-scale Fusion block，DPF），該模塊用來(lái)捕捉更多的細(xì)節(jié)特征信息，使更多的淺層、深層信息得到保留；②通道和空間融合自注意力模塊（spatial and channel self-attention modules，SCA）［13］來(lái)增強(qiáng)特征圖上的待分割區(qū)域，并對(duì)分割內(nèi)容無(wú)關(guān)的部分進(jìn)行弱化；③多尺度注意力模塊（multi-scale attention module，MSA）［14］來(lái)凸顯圖像最重要的特征信息，并得到分割結(jié)果。

其結(jié)構(gòu)如圖3所示。

圖3 MCA-Net網(wǎng)絡(luò)結(jié)構(gòu)

DPF 模塊嵌入在編碼模塊與解碼模塊中的跳躍連接處，通過(guò)跳轉(zhuǎn)鏈接突出更多相關(guān)的特征信息，增強(qiáng)特征表達(dá)能力，最終捕獲更詳細(xì)的特征。如圖4所示。

圖4 DPF結(jié)構(gòu)

該模塊包含兩種機(jī)制，一維因式分解卷積和多尺度空洞卷積。在特征提取中，一維因式分解卷積與二維卷積相比，可以有效保留規(guī)則二維卷積核的空間信息，減少計(jì)算量，保證了特征信息精度，再通過(guò)學(xué)習(xí)不同尺寸的特征圖之間的特點(diǎn)來(lái)得到更相近的特征信息；多尺度空洞卷積可以結(jié)合不同圖像相關(guān)特征信息，擴(kuò)大感受野，使網(wǎng)絡(luò)對(duì)細(xì)節(jié)特征的學(xué)習(xí)能力進(jìn)一步提升。

令輸入特征圖的淺層特征和深層特征分別為Fl和Fh，深層特征Fh經(jīng)過(guò)轉(zhuǎn)置卷積后尺寸得到進(jìn)一步擴(kuò)張，保持與淺層特征Fl相同的尺寸。輸出公式如式（2）所示：

式中：r為空洞卷積擴(kuò)張率。

在編碼模塊與解碼模塊底部之間引入SCA，并在SCA 中加入密集空洞卷積塊（dense atrous convolution module，DAC）［15］，可以在擴(kuò)大感受野的情況下不損失信息。通過(guò)不同大小的感受野，捕獲不同尺度上的局部和全局信息，以獲得更深層的特征圖空間位置信息。

SCA 結(jié)構(gòu)如圖5所示，該模塊由空間注意力模塊、通道注意力模塊以及DAC等三部分組成。SCA 充分利用CNN 的特點(diǎn)，產(chǎn)生了關(guān)注圖像特征：空間性、渠道智能性和多層次性。SCA 的主要作用是保留了更多特征圖像的細(xì)節(jié)特征信息，通過(guò)獲取更深層的特征圖像空間通道位置信息，對(duì)局部和全局信息進(jìn)行特征融合。在空間與通道注意力模塊下，聚合正在學(xué)習(xí)的特征的上下文信息，同時(shí)對(duì)特征圖進(jìn)行重塑，得到不同維度的權(quán)重。將其在原始通道進(jìn)行加權(quán)聚合，突出最相關(guān)位置的特征信息。DAC 模塊的每個(gè)分支級(jí)聯(lián)一個(gè)或多個(gè)不同空洞率的卷積，不同的感受野用于提取圖像中不同尺度的特征。其結(jié)構(gòu)如圖6所示。

圖5 SCA結(jié)構(gòu)

圖6 DAC結(jié)構(gòu)

在解碼模塊末端引入MSA，捕捉各個(gè)不同尺度特征圖像的權(quán)重來(lái)確定其特征，結(jié)構(gòu)如圖7所示。

如圖7 所示，MSA 中的雙線性插值算法將解碼器獲得的不同尺度特征圖上采樣到與原始圖像相同的尺寸，再通過(guò)1×1 卷積將這些特征圖壓縮成4 個(gè)通道，組合在一起作為MSA 的輸入。壓縮后的圖像經(jīng)過(guò)平均池化（Pavg）和最大池化（Pmax）與多層感知器（MLP）組合而成的模塊，獲取關(guān)于特征圖像每個(gè)尺度最相關(guān)的系數(shù)γ，該系數(shù)為與特征通道信息最接近的權(quán)重，即尺度注意力系數(shù)［13］，針對(duì)分割目標(biāo)不同尺度的特征信息自發(fā)地調(diào)整更為相近的注意力系數(shù)，再與輸入相乘再相加得到輸出結(jié)果。表達(dá)式如式（3）所示：

圖7 MSA結(jié)構(gòu)

式中，F(xiàn)為拼接得到的特征圖，γ為尺度注意力系數(shù)。

1.4 基于多尺度的鑒別網(wǎng)絡(luò)

鑒別器的目的是監(jiān)督生成網(wǎng)絡(luò)的結(jié)果在真實(shí)圖像上的概率分布，為了獲取更多的特征信息，通過(guò)保留更多的深層與淺層特征信息來(lái)將更多維度的特征信息結(jié)合在一起。在醫(yī)學(xué)圖像的研究中，大部分GAN 鑒別器采用全卷積神經(jīng)網(wǎng)絡(luò)，給出一個(gè)real/false。通過(guò)使用多尺度鑒別網(wǎng)絡(luò)，可以獲得更多的多尺度信息對(duì)分割網(wǎng)絡(luò)進(jìn)行反饋，使圖像的形狀特征和邊緣輪廓等信息得到更好的學(xué)習(xí)，提升網(wǎng)絡(luò)的分割精度，優(yōu)化分割結(jié)果。

將L1 均方誤差損失函數(shù)和生成對(duì)抗網(wǎng)絡(luò)的目標(biāo)函數(shù)相結(jié)合，能對(duì)分割結(jié)果有更好的提升，結(jié)合后的損失函數(shù)如下：

其中：F(Xi)為生成圖像；Yi為原始圖像。組后的目標(biāo)函數(shù)為L(zhǎng)1 均方誤差損失函數(shù)與GAN 目標(biāo)函數(shù)之和：

結(jié)構(gòu)如圖8所示。

圖8 多尺度鑒別網(wǎng)絡(luò)

2 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)在Windows 64 位操作系統(tǒng)計(jì)算機(jī)上完成， GPU 配置：Nvidia GeForce RTX3060 8 GB，CPU 配置：Intel i7-11800H CPU，RAM：8 GB，使用基于Python 3.6的PyTorch框架來(lái)實(shí)現(xiàn)。由于使用梯度下優(yōu)化算法，學(xué)習(xí)效率設(shè)置為0.002。

2.1 數(shù)據(jù)處理

實(shí)驗(yàn)使用ACDC（automated cardiac diagnosis challenge）2017、MICCAI（medical image computing and computer-assisted intervention）2009 和MICCAI2013 作為數(shù)據(jù)集，使用MCA GAN 分割模型進(jìn)行實(shí)驗(yàn)。因?yàn)閿?shù)據(jù)集不同，所以圖像尺寸不同，為了更好地進(jìn)行訓(xùn)練，對(duì)圖像進(jìn)行統(tǒng)一的裁剪，在心臟MRI 圖像中，心臟輪廓一般位于圖像中心位置，所以選取中心點(diǎn)256 ×256 × 1 尺寸區(qū)域作為輸入圖像的尺寸大小，即統(tǒng)一輸入圖像尺寸又保留了完整的心臟輪廓。處理后的訓(xùn)練集和測(cè)試集數(shù)量及尺寸如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)集和訓(xùn)練集數(shù)量

2.2 分割結(jié)果評(píng)估

針對(duì)分割結(jié)果與標(biāo)簽圖像的相似性系數(shù)、交并面積比例以及像素分布，將下述三種評(píng)價(jià)指標(biāo)作為分割精準(zhǔn)度的衡量標(biāo)準(zhǔn)。

Dice 表示分割結(jié)果和目標(biāo)區(qū)域之間的最大相似度，指標(biāo)的范圍是［0-1］（0～100%），Dice值越高，表示分割結(jié)果與專(zhuān)家手動(dòng)標(biāo)記圖像相似性越高，準(zhǔn)確度越高。Dice定義如式（4）所示。

Jaccard 表示專(zhuān)家手動(dòng)標(biāo)記圖像與分割結(jié)果的交集面積與并集面積的比例大小，指標(biāo)的范圍是［0-1］（0～100%），0 表示分割結(jié)果與目標(biāo)區(qū)域沒(méi)有重疊部分；1表示分割結(jié)果與目標(biāo)區(qū)域完全重疊。Jaccard定義如式（5）所示。

Sensitivity表示所有正樣本劃分正確的比例，系數(shù)越高表示準(zhǔn)確率越高。Sensitivity 表達(dá)式如式（6）所示。

其中：Y為專(zhuān)家手動(dòng)標(biāo)記心肌和背景的像素集；X為文中方法分割結(jié)果的心肌和背景像素集。

通過(guò)計(jì)算模型在上述三個(gè)數(shù)據(jù)集的測(cè)試集上分割結(jié)果的Dice系數(shù)、Jaccard 系數(shù)、Sensitivity系數(shù)來(lái)評(píng)估分割結(jié)果，結(jié)果見(jiàn)表2。

表2 三個(gè)數(shù)據(jù)集左心室內(nèi)外膜分割結(jié)果

為了驗(yàn)證MAC GAN 模型分割左心室MRI心肌內(nèi)外膜的性能及其準(zhǔn)確性，在三個(gè)不同的數(shù)據(jù)集上對(duì)MAC GAN 進(jìn)行訓(xùn)練，并分別從MICCAI2009、MICCAI2013 和ACDC2017 數(shù)據(jù)集的測(cè)試集分割結(jié)果中隨機(jī)抽取三幅分割結(jié)果進(jìn)行比較，如圖9 所示。其中從左到右依次是MICCAI2009、MICCAI2013、ACDC2017 的模型分割結(jié)果和標(biāo)注標(biāo)簽。

圖9 MAC GAN 在三個(gè)數(shù)據(jù)集上的左心室內(nèi)外膜分割結(jié)果

對(duì)比三個(gè)數(shù)據(jù)集的分割結(jié)果可以看出，MAC GAN 對(duì)左心室MRI 心肌內(nèi)外膜的分割效果依然很好，總體上來(lái)說(shuō)對(duì)感興趣區(qū)域的捕捉、邊緣分割的精準(zhǔn)度仍有著非常不錯(cuò)的表現(xiàn)。

2.3 對(duì)比分析

為了對(duì)比分析MCA GAN模型與其他模型分割表現(xiàn)的差異，將MCA GAN與圖像分割神經(jīng)網(wǎng)絡(luò)模型FCN和DCGAN在分割效果上進(jìn)行比較分析。

2.3.1 模型分割結(jié)果評(píng)估

為了評(píng)估MCA GAN 模型與FCN 和DCGAN的分割表現(xiàn)，比較三個(gè)模型分別在三個(gè)不同數(shù)據(jù)集上的分割質(zhì)量，結(jié)果見(jiàn)表3～表5。

表3 三個(gè)模型在MICCAI2009數(shù)據(jù)集上左心室內(nèi)外膜分割結(jié)果

表4 三個(gè)模型在MICCAI2013數(shù)據(jù)集上左心室內(nèi)外膜分割結(jié)果

表5 三個(gè)模型在ACDC2017數(shù)據(jù)集上左心室內(nèi)外膜分割結(jié)果

從表3～表5 中的數(shù)據(jù)結(jié)果可以看出，MAC GAN 在各項(xiàng)指標(biāo)中均取得不錯(cuò)的結(jié)果，通過(guò)保留淺層信息和深層信息分割效果得到了明顯提升，相較于其他方法有著更為優(yōu)秀的分割能力。

2.3.2 表現(xiàn)對(duì)比分析

為了更加清晰地比較三個(gè)模型在MICCAI-2009、MICCAI2013 和ACDC2017 數(shù)據(jù)集上的分割表現(xiàn)，分別隨機(jī)抽取FCN、DCGAN 和MAC GAN 模型在上述三個(gè)數(shù)據(jù)集上的心肌內(nèi)外膜分割結(jié)果進(jìn)行對(duì)比，不同模型的分割效果如圖10所示。其中從左到右依次是FCN、DCGAN 和MCA GAN 的模型分割結(jié)果和標(biāo)注標(biāo)簽。可以看出MAC GAN分割模型有著更好的分割表現(xiàn)。

圖10 不同模型在三個(gè)數(shù)據(jù)集上的內(nèi)外膜分割結(jié)果對(duì)比

3 結(jié)語(yǔ)

本文提出一種基于生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)的分割模型MAC GAN，為了解決醫(yī)學(xué)圖像分割接收區(qū)域弱，感受野小及特征丟失等問(wèn)題，將多尺度綜合注意力的網(wǎng)絡(luò)框架加入到目標(biāo)域的分割網(wǎng)絡(luò)中，用來(lái)實(shí)現(xiàn)左心室心肌內(nèi)外膜的分割。利用綜合多尺度注意力網(wǎng)絡(luò)結(jié)構(gòu)捕捉每層卷積中的圖像特征，保留更多的淺層信息，通過(guò)上采樣將圖片還原成原始輸入尺寸，并再次捕捉每層的深層信息，進(jìn)行拼接最終獲取分割結(jié)果；再通過(guò)鑒別網(wǎng)絡(luò)對(duì)生成圖像多個(gè)尺度的特征信息與真實(shí)圖像進(jìn)行多次迭代對(duì)比，通過(guò)多次的對(duì)抗學(xué)習(xí)提高分割精度。在MICCAI2009、MICCAI2017和ACDC2017數(shù)據(jù)集上對(duì)MAC GAN進(jìn)行了實(shí)驗(yàn)對(duì)比分析。通過(guò)Dice、Jaccard、Sensitivity 三項(xiàng)評(píng)估指標(biāo)可以得出結(jié)論，該分割模型不論在大數(shù)據(jù)集還是小數(shù)據(jù)集上均有優(yōu)秀的分割能力，對(duì)于不同數(shù)據(jù)集仍能保持高精準(zhǔn)度的分割結(jié)果。與此同時(shí)，相較于FCN 和DCGAN 分割模型，MCA GAN 在三個(gè)數(shù)據(jù)集上的各項(xiàng)評(píng)價(jià)指標(biāo)也有著更好的表現(xiàn)，在左心室MRI心肌內(nèi)外膜的Dice系數(shù)提高了1.44%和3.18%，Jaccard系數(shù)提升了2.12%和3.35%，Sensitivity 系數(shù)提升了1.18%和1.80%，優(yōu)于其他模型。