用于肺部病灶圖像分割的多尺度稠密融合網(wǎng)絡(luò)

盧小燕，徐楊，2*，袁文昊

用于肺部病灶圖像分割的多尺度稠密融合網(wǎng)絡(luò)

盧小燕1，徐楊1，2*，袁文昊1

（1.貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴陽(yáng) 550025； 2.貴陽(yáng)鋁鎂設(shè)計(jì)研究院有限公司，貴陽(yáng) 550009）（ ? 通信作者電子郵箱xuy@gzu.edu.cn）

針對(duì)主流的深度學(xué)習(xí)網(wǎng)絡(luò)難以完整分割肺部病灶、區(qū)域邊界預(yù)測(cè)模糊的問(wèn)題，提出一種基于U-Net的多尺度稠密融合網(wǎng)絡(luò)（MDF-Net）。首先，引入多分支密集跳層連接以捕獲多級(jí)上下文信息，并在網(wǎng)絡(luò)末端引入信息加權(quán)融合（IWF）模塊進(jìn)行逐級(jí)融合，以解決網(wǎng)絡(luò)中的特征損失問(wèn)題；其次，設(shè)計(jì)一種自注意力金字塔模塊，使用各金字塔層對(duì)特征圖進(jìn)行不同規(guī)模的切分處理，并使用自注意力機(jī)制計(jì)算像素關(guān)聯(lián)度，從而增強(qiáng)局部與全局區(qū)域的感染特征顯著性；最后，設(shè)計(jì)一種區(qū)別于傳統(tǒng)U-Net的上采樣模式的上采樣殘差（UR）模塊，多分支的殘差結(jié)構(gòu)與通道特征激勵(lì)使網(wǎng)絡(luò)能夠還原更加豐富的微小病灶特征。在兩個(gè)公開(kāi)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果顯示，與UNeXt相比，所提網(wǎng)絡(luò)的準(zhǔn)確度（ACC）分別提升了1.5%和1.4%，平均交并比（MIoU）分別提升了3.9%和1.9%，實(shí)驗(yàn)結(jié)果驗(yàn)證了MDF-Net具有更好的肺部病灶分割性能。

肺部疾病；密集跳層連接；自注意力金字塔；上采樣殘差；信息加權(quán)融合

0 引言

肺是人體的重要呼吸器官，肺部感染會(huì)造成肺部產(chǎn)生炎癥性的改變、滲出性的改變和間質(zhì)性的改變，嚴(yán)重時(shí)會(huì)導(dǎo)致人體出現(xiàn)呼吸困難甚至是呼吸衰竭的表現(xiàn)。直接對(duì)患者判斷分析較難確認(rèn)感染程度，而通過(guò)計(jì)算機(jī)斷層掃描（Computed Tomography， CT）圖像進(jìn)一步篩查可以顯示部分顯著特征，包括磨玻璃影（Ground-Glass Opacity， GGO）、肺纖維化、胸腔積液和肺實(shí)變，對(duì)肺部病灶區(qū)域的早期診斷具有重要的研究?jī)r(jià)值和現(xiàn)實(shí)意義。

針對(duì)肺部CT病灶區(qū)域的分割方法主要有兩類(lèi)：傳統(tǒng)手工分割算法［1］和深度學(xué)習(xí)圖像分割算法。傳統(tǒng)的手工分割算法［1］主要依賴(lài)標(biāo)注醫(yī)生的先驗(yàn)知識(shí)，泛化能力差，不易遷移到新的任務(wù)場(chǎng)景。隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)中的快速發(fā)展，許多優(yōu)秀的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）模型被快速應(yīng)用于醫(yī)學(xué)圖像分割任務(wù)，為醫(yī)學(xué)影像研究提供了新的方向［2-3］。Ronneberger等［4］首次提出一種具有對(duì)稱(chēng)特點(diǎn)的U-Net，并引入跳躍連接提取細(xì)節(jié)特征信息?；赨-Net，Zhan等［5］提出一種新型的擴(kuò)張雙注意力U-Net（Dilated Dual Attention U-Net， D2A U-Net），利用由門(mén)注意模塊（Gate Attention Module， GAM）和解碼器注意模塊（Decoder Attention Module， DAM）組成的雙注意策略細(xì)化特征圖，此外引入混合擴(kuò)張卷積優(yōu)化解碼過(guò)程，從而提高模型識(shí)別肺部病變區(qū)域的能力；但是該模型以ResNeXt-50為主干，參數(shù)量較大，導(dǎo)致模型推理速度較慢。為了提高患者的治愈率，Wang等［6］提出一種用于快速診斷肺部疾病的智能輔助診斷系統(tǒng)。該系統(tǒng)首先利用分割網(wǎng)絡(luò)定位病變區(qū)域，再利用分類(lèi)網(wǎng)絡(luò)確定目標(biāo)區(qū)域是否具有感染特征；但是該系統(tǒng)缺乏泛化能力，當(dāng)圖像有多種病變時(shí)，無(wú)法較好地辨別目標(biāo)區(qū)域。Fan等［7］提出肺部病灶分割模型Inf-Net（lung Infection segmentation deep Network），通過(guò)邊緣注意模塊和反向注意模塊關(guān)注感染區(qū)域的邊界信息和小目標(biāo)區(qū)域，分割肺部CT圖像；雖然該模型的特異度得到大幅提升，但是對(duì)紋理復(fù)雜區(qū)域的分割結(jié)果不理想。為了提高網(wǎng)絡(luò)模型的學(xué)習(xí)能力，Kumar等［8］提出基于RFA（Receptive-Field-Aware）模塊的全自動(dòng)化和高效的肺部病灶分割（LungINFseg）模型，其中RFA模塊可以擴(kuò)大分割模型的感受野，學(xué)習(xí)上下文信息。

盡管基于CNN的肺部CT圖像病灶分割算法取得了極大的進(jìn)展，但是仍然存在不少問(wèn)題：首先，肺部CT圖像組織復(fù)雜、邊界模糊，網(wǎng)絡(luò)較難提取有效特征；其次，標(biāo)注醫(yī)生個(gè)人判斷的不確定性和不同醫(yī)生客觀認(rèn)知差異導(dǎo)致圖像標(biāo)注誤差大；最后，CT圖像病變高度異質(zhì)化，圖像特征表達(dá)不完整，難以建立上下文信息交流關(guān)系。

針對(duì)肺部CT圖像分割面臨的問(wèn)題，為了學(xué)習(xí)不同尺度的病灶特征，捕獲豐富的上下文信息，本文提出一種基于深度學(xué)習(xí)的多尺度稠密融合網(wǎng)絡(luò)（Multiscale Dense Fusion Network， MDF-Net）。首先，基于U-Net［4］提出一種新的多分支密集跳層連接方式，并引入一種自注意力金字塔模塊（Self-attention pyramid module），以提高局部與全局區(qū)域的病灶特征顯著性；其次，通過(guò)上采樣殘差（Up-sampling Residual， UR）模塊與逐級(jí)特征融合方式增強(qiáng)像素分類(lèi)能力，提升網(wǎng)絡(luò)的分割性能。

本文的主要工作如下：

1）基于U-Net的跳層連接，提出多分支密集跳層連接方式。多節(jié)點(diǎn)的形式使解碼部分不再局限于對(duì)應(yīng)編碼的單分支特征，有效增強(qiáng)了多尺度的特征信息傳遞。

2）在網(wǎng)絡(luò)的編碼部分，引入自注意力金字塔模塊。金字塔逐層遞進(jìn)的結(jié)構(gòu)和各層對(duì)特征圖不同規(guī)模的切分處理，使網(wǎng)絡(luò)在整體下采樣過(guò)程中能夠?qū)W習(xí)更精確的整體感染特征和更多的局部細(xì)節(jié)特征。

3）在網(wǎng)絡(luò)的解碼部分，設(shè)計(jì)上采樣殘差（UR）模塊。多分支殘差結(jié)構(gòu)和通道特征激勵(lì)可以有效減少低層特征的計(jì)算損失，利于解碼支路逐層恢復(fù)圖像分割信息。

4）設(shè)計(jì)一種信息加權(quán)融合（Information Weighted Fusion， IWF）模塊。該模塊的自適應(yīng)調(diào)節(jié)能力能夠合理實(shí)現(xiàn)特征加權(quán)融合，有效保留CT切片中的病變區(qū)域，抑制像素誤分類(lèi)。

1 MDF?Net

1.1　網(wǎng)絡(luò)架構(gòu)

MDF-Net的整體結(jié)構(gòu)如圖1所示。它采用端到端的網(wǎng)絡(luò)架構(gòu)，包含4個(gè)編碼?解碼部分（即圖1中的Stage 1～Stage 4）和信息加權(quán)融合塊。編碼部分依次提取語(yǔ)義信息并確定相對(duì)粗略的位置，解碼部分則根據(jù)提取的語(yǔ)義信息逐階段恢復(fù)感染區(qū)域。Stage 1～Stage 4的解碼分支對(duì)特征采取上采樣殘差操作，幫助網(wǎng)絡(luò)還原豐富的多尺度信息。此外，在每一個(gè)編碼分支都會(huì)使用一個(gè)密集連接處理輸入的特征張量，加強(qiáng)各層特征信息移動(dòng)，有效結(jié)合高級(jí)語(yǔ)義特征和低級(jí)輪廓細(xì)節(jié)特征，這有助于更好地分割病變區(qū)域。各解碼分支的輸出特征逐級(jí)疊加送入信息加權(quán)融合塊，有效突顯CT切片中的感染區(qū)域并抑制像素誤分類(lèi)，最終實(shí)現(xiàn)肺部CT病灶分割。

1.2　多分支密集跳層連接

U-Net通過(guò)跳層連接提取多尺度語(yǔ)義信息，但只是編碼和對(duì)應(yīng)解碼的一一連接，導(dǎo)致位置和邊界信息等細(xì)節(jié)仍然丟失。為了解決這個(gè)問(wèn)題，本文提出了多分支密集跳層連接，如圖2所示。在不擴(kuò)展網(wǎng)絡(luò)深度前提下引入更多節(jié)點(diǎn)，使得解碼部分不局限于只有對(duì)應(yīng)編碼的單分支特征，從而增強(qiáng)多尺度的特征信息傳遞。具體地，MDF-Net中的每個(gè)階段的解碼支路都結(jié)合了來(lái)自對(duì)稱(chēng)編碼部分和對(duì)應(yīng)上層編碼部分的特征圖，挖掘隱藏在淺層網(wǎng)絡(luò)中的低維特征信息，并在獲取多尺度特征時(shí)增強(qiáng)深層網(wǎng)絡(luò)中的語(yǔ)義信息。

圖2　多分支密集跳層連接

1.3　自注意力金字塔模塊

注意力機(jī)制可以有效增強(qiáng)圖像特征的顯著性，解決肺部CT圖像的病灶分割邊界模糊、特征提取困難的問(wèn)題。根據(jù)肺部CT圖像的像素特征與病灶區(qū)域的分布特性，本文提出了一種自注意力金字塔模塊，引導(dǎo)網(wǎng)絡(luò)從淺層到深層約束局部與全局的特征區(qū)域。

自注意力金字塔模塊分為3層結(jié)構(gòu)，由于肺部CT切片具有較好的左右肺部對(duì)稱(chēng)效果，首先，將輸入各金字塔層的特征圖切分（Split）為不同規(guī)模大小的特征子圖，再輸入多頭自注意力機(jī)制計(jì)算局部與全局區(qū)域的像素關(guān)聯(lián)度。其次，經(jīng)過(guò)多頭自注意力機(jī)制后像素特征已粗略顯著化，再將特征子圖輸入壓縮?激勵(lì)（Squeeze-Excitation， SE）模塊［9］實(shí)現(xiàn)通道特征加權(quán)，增強(qiáng)特征顯著化效果。最后，將特征子圖逐一拼接恢復(fù)到原始尺寸。自注意力金字塔模塊的整體結(jié)構(gòu)如圖3所示。由于金字塔逐層遞進(jìn)的結(jié)構(gòu)與各層對(duì)特征圖不同規(guī)模大小的切分處理，使得網(wǎng)絡(luò)在整體下采樣過(guò)程中能夠?qū)W習(xí)更精確的整體病變特征和更多的局部病變細(xì)節(jié)特征。

圖3　自注意力金字塔模塊

由此，自注意力機(jī)制的數(shù)學(xué)計(jì)算表達(dá)式為：

再次，使用全連接（Fully Connected， FC）層、線性整流函數(shù)（Rectified Linear Unit， ReLU）、FC和Sigmoid激活函數(shù)的組合方式作為激勵(lì)函數(shù)，如式（6）所示：

最后，通過(guò)通道權(quán)重相乘，得到最終結(jié)果輸出：

其中：表示權(quán)重加權(quán)操作；為第個(gè)通道的輸出值。

1.4　上采樣模塊

在上采樣時(shí)，有效融入低層采樣特征可以進(jìn)一步提高像素分類(lèi)準(zhǔn)確性。因此，本文設(shè)計(jì)了一種應(yīng)用于解碼分支的上采樣殘差（UR）模塊，如圖5所示。

圖5　上采樣殘差模塊

1.5　信息加權(quán)融合塊

圖6　信息加權(quán)融合模塊

1.6　損失函數(shù)

對(duì)于圖像分割，合適的損失函數(shù)可以加快訓(xùn)練過(guò)程的收斂，提高分割網(wǎng)絡(luò)的性能。本文利用Dice系數(shù)（Dice coefficient）［11］損失函數(shù)和BCE（Binary Cross-Entropy）損失函數(shù)組成的聯(lián)合損失函數(shù)訓(xùn)練MDF-Net。

Dice損失函數(shù)適用于圖像的微小目標(biāo)分割，一定程度上解決正負(fù)樣本在數(shù)量上不平衡的問(wèn)題，但是單獨(dú)使用Dice損失函數(shù)容易使訓(xùn)練變得不穩(wěn)定。Dice損失函數(shù)定義為：

BCE損失函數(shù)同樣廣泛應(yīng)用于二值分割任務(wù)的性能評(píng)估，它的定義如式（17）所示：

為了更好地提升網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性，本文聯(lián)合Dice損失函數(shù)和BCE損失函數(shù)，提高網(wǎng)絡(luò)模型的魯棒性與泛化能力。聯(lián)合損失函數(shù)如式（18）所示：

2 實(shí)驗(yàn)與結(jié)果分析

2.1　數(shù)據(jù)集和實(shí)驗(yàn)設(shè)置

本文使用Lung dataset-1（http：//medicalsegmentation.com）和Lung dataset-2（https：//www.kaggle.com/andrewmvd/datasets）評(píng)估MDF-Net。其中，Lung dataset-1由肺部CT分割數(shù)據(jù)集和肺部病灶CT圖像數(shù)據(jù)集組成，總共有6 804張切片。肺部CT分割數(shù)據(jù)集由意大利醫(yī)學(xué)和介入放射學(xué)會(huì)收集的20名肺炎患者的100張軸向CT圖像組成；肺部病灶CT圖像數(shù)據(jù)集由Radiopaedia機(jī)構(gòu)提供。本文選用肺部CT掃描數(shù)據(jù)集作為數(shù)據(jù)集2（Lung dataset-2），它包含肺炎患者的20次CT掃描和專(zhuān)家對(duì)肺部感染的人工分割圖，共11 191張切片。

實(shí)驗(yàn)的硬件環(huán)境為：CPU為Intel I7 12700KF處理器，GPU為Nvidia RTX3080TI，內(nèi)存16 GB。軟件環(huán)境為：基于Ubuntu20.04系統(tǒng)的PyTorch1.7深度學(xué)習(xí)框架，編程語(yǔ)言為Python3.8。在訓(xùn)練過(guò)程中，選擇Adam作為網(wǎng)絡(luò)優(yōu)化器，數(shù)據(jù)集的批大小設(shè)置為8，圖片尺寸設(shè)置為128×128，初始學(xué)習(xí)率為0.01，訓(xùn)練迭代次數(shù)設(shè)置為120。

2.2　評(píng)價(jià)指標(biāo)

為了評(píng)估MDF-Net分割肺部CT圖像的效果，本文選擇準(zhǔn)確度（ACCuracy， ACC）、平均交并比（Mean Intersection over Union， MIoU）、Dice相似系數(shù)（Dice Similariy Coefficient， DSC）和F1分?jǐn)?shù)（F1-Score）作為評(píng)判標(biāo)準(zhǔn)。

2.3　不同網(wǎng)絡(luò)對(duì)比

將MDF-Net與主流的圖像分割網(wǎng)絡(luò)進(jìn)行比較，對(duì)比網(wǎng)絡(luò)包括SegNet［12］、R2U-Net（Recurrent Residual U-Net）［13］、Attention U-Net［14］、U2-Net［15］、CaraNet（Context axial reverse attention Network）［16］和UNeXt［17］。為保證實(shí)驗(yàn)結(jié)果的公平性，本文在相同的實(shí)驗(yàn)環(huán)境下分別測(cè)試這7個(gè)對(duì)比網(wǎng)絡(luò)，實(shí)驗(yàn)對(duì)比結(jié)果如表1所示。

從表1可以看出，MDF-Net在兩個(gè)數(shù)據(jù)集上的4項(xiàng)指標(biāo)均為最高，相較于其他對(duì)比網(wǎng)絡(luò)具有更好的分割效果。與SegNet相比，MDF-Net的ACC提高了13.4%、8.8%，MIoU提高了17.9%、20.2%，DSC提高了19.7%、20.7%，1提高了31.2%、31.7%；與性能表現(xiàn)次優(yōu)的UNeXt相比，MDF-Net的ACC提高了1.5%、1.4%，MIoU提高了3.9%、1.9%，DSC提高了4.1%、1.4%，1提高了2.5%、2.0%。本文在U-Net基礎(chǔ)上，引入了多分支密集跳層連接，在下采樣過(guò)程中嵌入了自注意力金字塔模塊，并使用上采樣殘差模塊替換傳統(tǒng)的上采樣卷積操作，最后利用信息加權(quán)融合塊實(shí)現(xiàn)各編碼?解碼分支間的最優(yōu)融合效果。根據(jù)實(shí)驗(yàn)結(jié)果可知，本文提出的MDF-Net在肺部病灶分割精度上優(yōu)勢(shì)明顯。

隨機(jī)選擇Lung dataset-1和Lung dataset-2測(cè)試集中的6張CT切片，不同網(wǎng)絡(luò)的可視化效果如圖7～8所示。可以看出：SegNet和R2U-Net相較于其他對(duì)比網(wǎng)絡(luò)，只能夠分割主體部分較明顯的感染區(qū)域；Attention U-Net和U2-Net在對(duì)病灶邊界分割上較精準(zhǔn)；CaraNet和UNeXt對(duì)細(xì)節(jié)部分的處理結(jié)果更好；得益于自注意力金字塔模塊和信息加權(quán)融合模塊，MDF-Net能夠更清晰地分割病灶邊界和更完整的病灶區(qū)域，最接近人工分割。

圖7　不同網(wǎng)絡(luò)在Lung dataset-1上的可視化效果

圖8　不同網(wǎng)絡(luò)在Lung dataset-2上的可視化效果

表1　不同網(wǎng)絡(luò)在Lung dataset-1和Lung dataset-2上的性能對(duì)比 單位：%

為了進(jìn)一步直觀地反映分割網(wǎng)絡(luò)的性能，圖9展示了不同網(wǎng)絡(luò)訓(xùn)練時(shí)的損失曲線與準(zhǔn)確度曲線。訓(xùn)練過(guò)程中，MDF-Net相較于其他對(duì)比網(wǎng)絡(luò)的收斂更快，且收斂后精度最高。因此，MDF-Net更易于訓(xùn)練，可以更好地學(xué)習(xí)肺部病灶分割。

圖9　不同網(wǎng)絡(luò)在兩個(gè)數(shù)據(jù)集上的損失曲線和準(zhǔn)確度曲線

2.4　消融實(shí)驗(yàn)

為了說(shuō)明本文提出的各個(gè)模塊在整體網(wǎng)絡(luò)中的貢獻(xiàn)，本節(jié)以U-Net為基礎(chǔ)網(wǎng)絡(luò)進(jìn)行消融實(shí)驗(yàn)。Lung dataset-1和Lung dataset-2數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果如表2所示。

從表2可以看出，與基礎(chǔ)網(wǎng)絡(luò)相比，MDF-Net的ACC提升了11.9%、9.7%；MIoU提升了11.1%、10.8%；DSC提升了9.2%、10.2%；1提升了4.3%、3.3%。在基礎(chǔ)網(wǎng)絡(luò)中加入自注意力金字塔模塊或信息加權(quán)融合模塊后提升力度較顯著，說(shuō)明提出的自注意力金字塔模塊具有較強(qiáng)的特征提取能力，且信息加權(quán)融合模塊能夠有效增強(qiáng)病灶特征表現(xiàn)力。整體網(wǎng)絡(luò)相較于基礎(chǔ)網(wǎng)絡(luò)的ACC與MIoU指標(biāo)提升明顯，在分割精度上更有優(yōu)勢(shì)。

表2　不同模塊在Lung dataset-1和Lung dataset-2上對(duì)網(wǎng)絡(luò)性能的影響 單位：%

注：M1表示自注意力金字塔模塊；M2表示多分支密集跳層連接。

2.5　主要模塊的測(cè)試對(duì)比

2.5.1改進(jìn)上采樣前后對(duì)比

使用本文提出的UR模塊替換U-Net中傳統(tǒng)上采樣（upsampling）［4］的具體對(duì)比結(jié)果如表3所示。在ACC指標(biāo)上，UR模塊相較于傳統(tǒng)上采樣提高了1.2%、0.8%，MIoU指標(biāo)提高了1.5%、1.5%，DSC指標(biāo)提高了2.5%、2.6%，1提高了1.2%、1.0%。由此可見(jiàn)，在分割病灶區(qū)域時(shí)，UR模塊提高了低層語(yǔ)義特征與高層語(yǔ)義特征的融合質(zhì)量，融合了UR模塊的U-Net得到的分割結(jié)果更加接近真實(shí)標(biāo)簽。綜上，所提出的UR模塊性能優(yōu)于傳統(tǒng)的U-Net上采樣結(jié)構(gòu)。

表3　不同上采樣方式在Lung dataset-1和Lung dataset-2上的性能對(duì)比 單位：%

為了進(jìn)一步展示UR模塊對(duì)肺部病灶分割的有效性，本文對(duì)各組成部分展開(kāi)詳細(xì)的對(duì)比實(shí)驗(yàn)?；A(chǔ)網(wǎng)絡(luò)設(shè)置為原始U-Net；將UR模塊中的全局平均池化、全連接計(jì)算和Sigmoid激活函數(shù)整體替換為“無(wú)操作殘差連接”形式，再保留5×5卷積和3×3卷積分支組成多分支殘差結(jié)構(gòu)，記為M3；將UR模塊中的5×5卷積和3×3卷積分支去除，并保留全局平均池化、全連接計(jì)算和Sigmoid激活函數(shù)組成通道特征激勵(lì)，記為M4，實(shí)驗(yàn)結(jié)果如表4所示。

綜合各個(gè)指標(biāo)，U-Net和多分支殘差結(jié)構(gòu)組合（U-Net+M3）的分割效果優(yōu)于U-Net和通道特征激勵(lì)組合（U-Net+M4）。在提升較為突出的MIoU和DSC指標(biāo)上，相較于U-Net+M3，U-Net+M4在Lung dataset-1上分別提升了0.4%和1.0%，在Lung dataset-2分別提升了0.6%和0.8%。從整體來(lái)看，U-Net+UR的分割效果優(yōu)于U-Net+M3和U-Net+M4，說(shuō)明多分支殘差結(jié)構(gòu)與通道特征激勵(lì)的組合對(duì)網(wǎng)絡(luò)有更高的性能提升。

2.5.2自注意力金字塔模塊與其他注意力模塊對(duì)比

為了驗(yàn)證所提出的自注意力金字塔模塊在肺部病灶分割中的有效性，以U-Net［4］為基礎(chǔ)網(wǎng)絡(luò)，將它與其他注意力模塊對(duì)比，對(duì)比結(jié)果如表5所示。其中，空間與通道激勵(lì)（Spatial and Channel Squeeze & Excitation， SCSE）模塊［18］基于SE模塊，分別沿通道和空間重新校準(zhǔn)特征映射，獲取更多信息；高效通道注意力（Efficient Channel Attention， ECA）模塊［19］在避免降維情況下，適當(dāng)?shù)乜缤ǖ澜换?，從而學(xué)習(xí)有效的通道信息。

表5　不同注意力模塊在Lung dataset-1和Lung dataset-2上的性能對(duì)比 單位：%

從表5可以看出，在肺部病灶分割任務(wù)上，SCSE雖然在性能指標(biāo)上有所提升，但幅度較??；而使用ECA的分割效果與U-Net的效果相當(dāng)。在使用具有較復(fù)雜組織紋理的肺部CT圖像實(shí)驗(yàn)時(shí)，ECA模塊難以達(dá)到理想效果。相較于上述兩種注意力模塊，本文所提出的自注意力金字塔模塊借助肺部圖像的對(duì)稱(chēng)結(jié)構(gòu)，將輸入特征圖以對(duì)稱(chēng)形式切分，具有局部與全局的特征感知作用，再以金字塔形式逐級(jí)堆疊注意力特征。所提注意力模塊在U-Net基礎(chǔ)上提升幅度最大，表現(xiàn)最優(yōu)，分割病灶區(qū)域最有效。

2.5.3信息加權(quán)融合塊與其他特征融合模塊對(duì)比

為了驗(yàn)證信息加權(quán)融合（IWF）模塊對(duì)網(wǎng)絡(luò)性能的貢獻(xiàn)，以本文網(wǎng)絡(luò)為基礎(chǔ)網(wǎng)絡(luò)，將IWF模塊和特征融合模塊（Feature Fusion Module， FFM）［20］、改進(jìn)的自適應(yīng)特征融合（Modified Adaptive Feature Fusion， MAFF）模塊［21］對(duì)比，結(jié)果如表6所示。

表6中實(shí)驗(yàn)結(jié)果顯示，在Baseline上加入IWF模塊，它的ACC、MIoU、DSC和1指標(biāo)在兩組數(shù)據(jù)集上均取得了最優(yōu)結(jié)果。FFM在基準(zhǔn)模型中的貢獻(xiàn)能力最小，與FFM相比，IWF模塊在Lung dataset-1上各項(xiàng)指標(biāo)分別提升了4.1%、4.4%、2.5%和0.7%；在Lung dataset-2上分別提升了2.8%、3.1%、1.7%和1.2%?？梢钥闯?，由于信息加權(quán)融合策略，IWF模塊能夠自適應(yīng)地修正特征區(qū)域并抑制背景像素的顯著性，提高網(wǎng)絡(luò)的分割能力。

表6　IWF模塊與其他特征融合模塊在Lung dataset-1和Lung dataset-2上的性能對(duì)比 單位：%

2.5.4不同密集跳層連接方式對(duì)比

由于本文網(wǎng)絡(luò)與UNet++［22］具有相似的跳層連接方式，因此本節(jié)將MDF-Net與UNet++對(duì)比，結(jié)果如表7所示。

從表7可知，相較于UNet++，MDF-Net在各項(xiàng)指標(biāo)上均有所提升，在Lung dataset-1上各項(xiàng)指標(biāo)分別提升了3.3%、3.7%、4.7%和6.0%；在Lung dataset-2上分別提升了4.5%、2.8%、3.9%和5.3%，其中1指標(biāo)提升最為明顯。不同采樣階段提取到的病灶特征區(qū)域不同，UNet++直接將所有低層的編碼特征與高層的解碼特征相互疊加，缺少特征增強(qiáng)的過(guò)程，這無(wú)疑會(huì)造成特征損失。而本文網(wǎng)絡(luò)充分利用自注意力金字塔模塊，從不同感知范圍提取病灶特征，利用上采樣殘差模塊和信息加權(quán)融合模塊增強(qiáng)特征融合，實(shí)現(xiàn)了對(duì)病灶區(qū)域更精確的定位和分割。

表7　兩種網(wǎng)絡(luò)的密集連接方式在Lung dataset-1和Lung dataset-2上的性能對(duì)比 單位：%

3 結(jié)語(yǔ)

本文提出了一種針對(duì)肺部疾病的肺部病灶分割網(wǎng)絡(luò)（MDF-Net）。首先，引入了一種多分支密集跳層連接方式，使網(wǎng)絡(luò)中編碼節(jié)點(diǎn)的采樣特征能夠在多級(jí)結(jié)構(gòu)中重復(fù)利用；其次，在編碼部分引入自注意力金字塔模塊，最大化提取感染區(qū)域特征；同時(shí)在各解碼分支設(shè)計(jì)了上采樣殘差模塊，進(jìn)一步細(xì)化特征信息，更好地恢復(fù)被感染的顯著區(qū)域；最后，在所有解碼分支之后使用信息加權(quán)融合模塊，加權(quán)融合多尺度特征，有效突顯CT切片中的病變區(qū)域并抑制像素誤分類(lèi)。實(shí)驗(yàn)結(jié)果表明，MDF-Net優(yōu)于其他對(duì)比醫(yī)學(xué)圖像分割網(wǎng)絡(luò)，能夠得到更精確的分割結(jié)果。但本文網(wǎng)絡(luò)也存在不足之處，如對(duì)于紋理復(fù)雜的CT圖像仍存在分割不夠理想、病灶邊緣像素分類(lèi)不夠準(zhǔn)確的問(wèn)題。在未來(lái)工作中，我們將繼續(xù)優(yōu)化現(xiàn)有的方法，并嘗試將二維切片圖像和三維CT圖像結(jié)合，從多模數(shù)據(jù)的角度探尋更優(yōu)的分割模型。

[1] 陳樹(shù)越，晁亞，鄒凌. 基于幾何特征的孤立性肺結(jié)節(jié)檢測(cè)［J］. 生物醫(yī)學(xué)工程學(xué)雜志， 2016， 33（4）：680-685.（CHEN S Y， CHAO Y， ZOU L. Detection of solitary pulmonary nodules based on geometric features［J］. Journal of Biomedical Engineering， 2016， 33（4）： 680-685.）

[2] LITJENS G， KOOI T， EHTESHAMI BEJNORDI B， et al. A survey on deep learning in medical image analysis［J］. Medical Image Analysis， 2017， 42： 60-88.

[3] MUNUSAMY H， KARTHIKEYAN J M， SHRIRAM G， et al. FractalCovNet architecture for COVID-19 Chest X-ray image Classification and CT-scan image Segmentation［J］. Biocybernetics and Biomedical Engineering， 2021， 41（3）： 1025-1038.

[4] RONNEBERGER O， FISCHER P， BROX T. U-net： convolutional networks for biomedical image segmentation［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.

[5] ZHAN X， ZHANG P， SONG F， et al. D2A U-Net： automatic segmentation of COVID-19 CT slices based on dual attention and hybrid dilated convolution［J］. Computers in Biology and Medicine， 2021， 135： No.104526.

[6] WANG B， JIN S， YAN Q， et al. AI-assisted CT imaging analysis for COVID-19 screening： building and deploying a medical AI system［J］. Applied Soft Computing， 2021， 98： No.106897.

[7] FAN D P， ZHOU T， JI G P， et al. Inf-Net： automatic COVID-19 lung infection segmentation from CT images［J］. IEEE Transactions on Medical Imaging， 2020， 39（8）： 2626-2637.

[8] KUMAR SINGH V， ABDEL-NASSER M， PANDEY N， et al. LungINFseg： segmenting COVID-19 infected regions in lung CT images based on a receptive-field-aware deep learning framework［J］. Diagnostics， 2021， 11（2）： No.158.

[9] HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141.

[10] FU J， LIU J， TIAN H， et al. Dual attention network for scene segmentation［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 3141-3149.

[11] MILLETARI F， NAVAB N， AHMADI S A. V-Net： fully convolutional neural networks for volumetric medical image segmentation［C］// Proceedings of the 4th International Conference on 3D Vision. Piscataway： IEEE， 2016： 565-571.

[12] BADRINARAYANAN V， KENDALL A， CIPOLLA R. SegNet： a deep convolutional encoder-decoder architecture for image segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（12）： 2481-2495.

[13] ALOM M Z， YAKOPCIC C， HASAN M， et al. Recurrent residual U-Net for medical image segmentation［J］. Journal of Medical Imaging， 2019， 6（1）： No.014006.

[14] OKTAY O， SCHLEMPER J， LE FOLGOC L， et al. Attention U-Net： learning where to look for the pancreas［EB/OL］. （2018-03-20） ［2022-08-15］.https：//arxiv.org/pdf/1804.03999.pdf.

[15] QIN X， ZHANG Z， HUANG C， et al. U2-Net： going deeper with nested U-structure for salient object detection［J］. Pattern Recognition， 2020， 106： No.107404.

[16] LOU A， GUAN S， KO H， et al. CaraNet： context axial reverse attention network for segmentation of small medical objects［C］// Proceedings of the SPIE 12032， Medical Imaging 2022： Image Processing. Bellingham， WA： SPIE， 2022： No.120320D.

[17] VALANARASU J M J， PATEL V M. UNeXt： MLP-based rapid medical image segmentation network［C］// Proceedings of the 2022 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 13435. Cham： Springer， 2022： 23-33.

[18] ROY A G， NAVAB N， WACINGER C. Concurrent spatial and channel ‘squeeze & excitation’ in fully convolutional networks［C］// Proceedings of the 2018 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 11070. Cham： Springer， 2018： 421-429.

[19] WANG Q， WU B， ZHU P， et al. ECA-Net： efficient channel attention for deep convolutional neural networks［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020：11531-11539.

[20] 傅雙杰，陳瑋，尹鐘. 結(jié)合自注意力和特征自適應(yīng)融合的語(yǔ)義分割算法［J］. 信息與控制， 2022， 51（6）：680-687， 698.（FU S J， CHEN W， YIN Z. Semantic segmentation algorithm combining self-attention and feature adaptive fusion［J］. Information and Control， 2022， 51（6）：680-687， 698.）

[21] 梁禮明，詹濤，雷坤，等. 多級(jí)自適應(yīng)尺度的U型視網(wǎng)膜血管分割算法［J］. 電子測(cè)量技術(shù)， 2022， 45（13）：130-140.（LIANG L M， ZHAN T， LEI K， et al. Multi-level adaptive scale U-shaped retinal blood vessel segmentation algorithm［J］. Electronic Measurement Technology， 2022， 45（13）：130-140.）

[22] ZHOU Z， RAHMAN SIDDIQUEE M M， TAJBAKHSH N， et al. UNet++： a nested U-Net architecture for medical image segmentation［C］// Proceedings of the 2018 International Workshop on Deep Learning in Medical Image Analysis/ International Workshop on Multimodal Learning for Clinical Decision Support， LNCS 11045. Cham： Springer， 2018： 3-11.

Multiscale dense fusion network for lung lesion image segmentation

LU Xiaoyan1， XU Yang1，2*， YUAN Wenhao1

（1，，550025，；2，550009，）

Aiming at the problems of incomplete segmentation of lung lesions and fuzzy prediction of regional boundaries in mainstream deep learning networks， a Multiscale Dense Fusion Network （MDF-Net） based on U-Net was proposed. Firstly， multi-branch dense skip connections were introduced to capture multi-level contextual information， and Information Weighted Fusion （IWF） module was introduced at the end of the network for level-by-level fusion to solve the feature loss problem in the network. Secondly， a self-attention pyramid module was designed. Each pyramid layer was used to segment the feature map in different scales， and the self-attention mechanism was applied to calculate the pixel correlation， thereby enhancing the saliency of the infection features in local and global regions. Finally， unlike the up-sampling form in traditional U-Net， a Up-sampling Residual （UR） module was designed. The multi-branch residual structure and channel feature excitation were used to help the network restore more abundant features of micro lesions. Experimental results on two public datasets show that compared with UNeXt， the proposed network improves the ACCuracy （ACC） by 1.5% and 1.4% respectively， and the Mean Intersection over Union （MIoU） by 3.9% and 1.9% respectively， which verify that MDF-Net has better lung lesion segmentation performance.

lung disease; dense skip connection; self-attention pyramid; Up-sampling Residual (UR); Information Weighed Fusion (IWF)

This work is partially supported by Guizhou Science and Technology Program （Guizhou Science and Technology Cooperation Support ［2021］ General 176）.

LU Xiaoyan， born in 1997， M. S. candidate. Her research interests include deep learning， image processing.

XU Yang， born in 1980， Ph. D.， associate professor. His research interests include machine learning， data mining.

YUAN Wenhao， born in 1998， M. S. candidate. His research interests include deep learning， image processing.

1001-9081（2023）10-3282-08

10.11772/j.issn.1001-9081.2022101545

2022?10?14；

2023?02?06；

貴州省科技計(jì)劃項(xiàng)目（黔科合支撐［2021］一般176）。

盧小燕（1997—），女，河南南陽(yáng)人，碩士研究生，主要研究方向：深度學(xué)習(xí)、圖像處理； 徐楊（1980—），男，貴州貴陽(yáng)人，副教授，博士，CCF會(huì)員，主要研究方向：機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘； 袁文昊（1998—），男，四川成都人，碩士研究生，主要研究方向：深度學(xué)習(xí)、圖像處理。

TP183；TP391

A

2023?02?08。