融合注意力特征的多任務(wù)肺結(jié)節(jié)檢測(cè)和分割

肖 毅，謝 珺，謝 剛,3，續(xù)欣瑩

(1.太原理工大學(xué) 電氣與動(dòng)力工程學(xué)院，山西 太原 030024；2.太原理工大學(xué) 信息與計(jì)算機(jī)學(xué)院，山西 晉中 030600；3.太原科技大學(xué) 先進(jìn)控制與智能信息系統(tǒng)山西省重點(diǎn)實(shí)驗(yàn)室，山西 太原 030024)

0 引 言

肺結(jié)節(jié)是肺癌早期病灶，其影像學(xué)表現(xiàn)為直徑小于或等于3 cm的孤立的或多處肺部陰影。為了減少死亡人數(shù)[1]，早期的肺結(jié)節(jié)檢測(cè)和分割具有重要的意義。

計(jì)算機(jī)斷層掃描(computed tomography，CT)技術(shù)已經(jīng)成為最有效和可靠的肺結(jié)節(jié)診斷手段[2,3]，然而放射科醫(yī)生需要閱讀大量CT掃描，這項(xiàng)任務(wù)對(duì)放射科醫(yī)生提出了艱巨的挑戰(zhàn)。為了減輕放射科醫(yī)生的工作負(fù)擔(dān)，計(jì)算機(jī)輔助診斷系統(tǒng)(computer aided diagnosis，CAD)已經(jīng)得到了廣泛應(yīng)用[4]。通過(guò)自動(dòng)檢測(cè)和分割CT圖像中的可疑肺結(jié)節(jié)并將其預(yù)測(cè)作為最終診斷的參考，極大提高了醫(yī)生診斷的效率。

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)已經(jīng)被廣泛應(yīng)用于肺結(jié)節(jié)檢測(cè)和分割等多種任務(wù)。計(jì)算機(jī)輔助診斷系統(tǒng)通常由幾個(gè)獨(dú)立的子任務(wù)組成，單獨(dú)處理每個(gè)任務(wù)存在一些局限性。首先，訓(xùn)練多個(gè)3D神經(jīng)網(wǎng)絡(luò)既費(fèi)時(shí)又耗費(fèi)資源。其次，各個(gè)任務(wù)之間無(wú)法共享相關(guān)特征，整個(gè)系統(tǒng)的性能可能不是最佳的。肺結(jié)節(jié)具有體積小、邊緣模糊的特點(diǎn)，現(xiàn)有的方法存在特征利用率低的問(wèn)題，模型的檢測(cè)和分割性能難以提高。因此，本文期望研究一種既能簡(jiǎn)化模型又能提高模型精度的方法。

1 相關(guān)工作

肺結(jié)節(jié)檢測(cè)是自動(dòng)化CAD系統(tǒng)進(jìn)行肺癌篩查的第一步。傳統(tǒng)方法通常需要手工制作的特征[5]，然而醫(yī)學(xué)圖像較為復(fù)雜，很難為病變和解剖結(jié)構(gòu)等對(duì)象尋找良好的手工特征。深度學(xué)習(xí)方法以卷積神經(jīng)網(wǎng)絡(luò)為代表，主要使用二階段的檢測(cè)器。Tang等提出了肺結(jié)節(jié)檢測(cè)和假陽(yáng)性剔除的二階段框架[6]，采用類似U-Net的3D Faster R-CNN模型生成結(jié)節(jié)樣本，然后建立3D深度卷積神經(jīng)網(wǎng)絡(luò)以檢測(cè)候選結(jié)節(jié)，CPM得分為81.5%。Qin等開(kāi)發(fā)了一種在CT圖像中自動(dòng)檢測(cè)肺結(jié)節(jié)的系統(tǒng)[7]，提出的方法主要包括3D U-Net候選結(jié)節(jié)生成和3D DenseNet假陽(yáng)性剔除兩個(gè)模塊，在LUNA16數(shù)據(jù)集上達(dá)到96.7%的靈敏度和83.4%的CPM得分。通常CNN的訓(xùn)練需要大量的實(shí)驗(yàn)數(shù)據(jù)，而這些數(shù)據(jù)在醫(yī)學(xué)領(lǐng)域通常很難獲取，Winkels等[8]提出了一種基于3D G-CNN的系統(tǒng)，從NLST和LIDC-IDRI數(shù)據(jù)集上獲得的3000個(gè)結(jié)節(jié)樣本進(jìn)行訓(xùn)練，得到的CPM得分為85.6%。

肺結(jié)節(jié)分割也是自動(dòng)化CAD系統(tǒng)的一個(gè)重要任務(wù)，對(duì)于后續(xù)肺結(jié)節(jié)定量分析很重要。在分割任務(wù)中已經(jīng)廣泛地采用了U-net和無(wú)監(jiān)督學(xué)習(xí)的方法。Tong等[9]通過(guò)加入殘差網(wǎng)絡(luò)提出基于U-net的改進(jìn)的肺結(jié)節(jié)分割算法，結(jié)節(jié)分割的DSC為73.6%。Dong等[10]提出了用于3D肺結(jié)節(jié)分割的多視圖輔助輸入殘差(MV-SIR)卷積神經(jīng)網(wǎng)絡(luò)模型，MV-SIR模型在3D肺結(jié)節(jié)的分割中獲得了出色的結(jié)果，DSC得分為92.6%?？紤]到肺結(jié)節(jié)的異質(zhì)性及其與周圍組織的相似性，Wang等[11]通過(guò)使用數(shù)據(jù)驅(qū)動(dòng)的模型來(lái)分割異質(zhì)結(jié)節(jié)。

此外，也有研究將多任務(wù)學(xué)習(xí)應(yīng)用到醫(yī)學(xué)圖像領(lǐng)域。對(duì)于肺結(jié)節(jié)良惡性分類和屬性評(píng)分回歸任務(wù)，Liu等[12]提出了具有保證金排名損失的多任務(wù)深度模型MTMR-Net用于自動(dòng)結(jié)節(jié)分析。Zhai等[13]提出了一種新穎的多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)(MT-CNN)框架用于從良性結(jié)節(jié)中識(shí)別惡性結(jié)節(jié)，從9個(gè)二維視圖學(xué)習(xí)三維肺結(jié)節(jié)特征，每個(gè)二維MT-CNN模型都包含結(jié)節(jié)分類分支和圖像重建分支。Tang等[14]提出了一種端到端的DCNN用于解決肺結(jié)節(jié)檢測(cè)和分割問(wèn)題，在LIDC-IDRI數(shù)據(jù)集上結(jié)節(jié)檢測(cè)的CPM得分達(dá)到87.27%，結(jié)節(jié)分割的DSC得分達(dá)到83.1%。

2 方 法

本文提出了一種端到端的肺結(jié)節(jié)檢測(cè)和分割模型Leision-Net，包括肺結(jié)節(jié)檢測(cè)和分割分支。該模型首先以多任務(wù)學(xué)習(xí)的方式將檢測(cè)和分割任務(wù)集成在單個(gè)框架中。其次將多尺度通道和空間注意力機(jī)制嵌入到特征提取器中，得到一種殘差注意力特征融合模塊，融合尺度和語(yǔ)義不一致的特征。最后使用自適應(yīng)多任務(wù)損失函數(shù)平衡主任務(wù)和輔助任務(wù)的損失。模型框架如圖1所示。

2.1 多任務(wù)學(xué)習(xí)模型

2.1.1 結(jié)節(jié)檢測(cè)

結(jié)節(jié)檢測(cè)是肺結(jié)節(jié)CAD系統(tǒng)檢測(cè)肺部組織潛在病灶的首要任務(wù)。本文所提出的結(jié)節(jié)檢測(cè)網(wǎng)絡(luò)由3個(gè)階段組成：①特征提?。虎诤蜻x區(qū)域提??；③假陽(yáng)性剔除。

特征提取網(wǎng)絡(luò)基于包含4組3D卷積的VGG網(wǎng)絡(luò)，與后續(xù)的任務(wù)共享提取到的特征，特征提取網(wǎng)絡(luò)采用3D殘差塊代替三維卷積層。為了進(jìn)行有效的特征提取，本文將兩組轉(zhuǎn)置卷積加入了特征提取網(wǎng)絡(luò)，特征圖逐步上采樣到與down_16和down_8相同的大小以獲得較大的特征圖。

圖1 端到端的肺結(jié)節(jié)檢測(cè)和分割的框架LeisionNet

將特征圖輸入候選區(qū)域提取網(wǎng)絡(luò)，可以得到提取的候選區(qū)域。為了生成候選結(jié)節(jié)，將3D卷積層應(yīng)用于特征圖fea_8，然后用兩個(gè)1×1×1的3D卷積層在特征圖的每個(gè)體素上分別生成邊框回歸和分類概率。3D檢測(cè)框由中心的z、y、x坐標(biāo)、深度、高度和寬度等6個(gè)參數(shù)來(lái)指定。在本文中，選擇了大小分別為5×5×5、10×10×10、20×20×20、30×30×30和50×50×50的5個(gè)邊界框作為不同的錨框。

對(duì)于假陽(yáng)性剔除，本文將具有較小感受野的淺層特征特征圖down_8與高級(jí)特征圖fea_8進(jìn)行融合，然后將融合后的特征圖輸入3D ROI池化層。假陽(yáng)性剔除網(wǎng)絡(luò)學(xué)習(xí)到與結(jié)節(jié)候選區(qū)域提取網(wǎng)絡(luò)不同的特征表示，確保了特征信息的完整性。假陽(yáng)性剔除網(wǎng)絡(luò)與區(qū)域提取網(wǎng)絡(luò)具有相同的損失函數(shù)，肺結(jié)節(jié)檢測(cè)損失定義為

(1)

(2)

(3)

2.1.2 結(jié)節(jié)分割

一旦在檢測(cè)分支中檢測(cè)到了肺結(jié)節(jié)，CAD系統(tǒng)就將檢測(cè)到的結(jié)節(jié)直接送入分割分支。結(jié)節(jié)分割與結(jié)節(jié)檢測(cè)分支共享特征提取網(wǎng)絡(luò)，然后對(duì)特征圖進(jìn)行上采樣。在將高級(jí)特征圖fea_8裁剪為128×128×128的尺寸后，通過(guò)逐步進(jìn)行上采樣并通過(guò)長(zhǎng)連接將它們與低級(jí)語(yǔ)義特征連接起來(lái)，最后與原始的輸入圖像在相同的尺度上執(zhí)行分割任務(wù)。與每個(gè)任務(wù)均單獨(dú)訓(xùn)練一個(gè)模型相比，多任務(wù)學(xué)習(xí)模型通過(guò)特征共享在單個(gè)模型同時(shí)解決肺結(jié)節(jié)檢測(cè)和分割任務(wù)，減少了網(wǎng)絡(luò)的參數(shù)和計(jì)算量，使得3D圖像輸入對(duì)于訓(xùn)練和測(cè)試變得可行。結(jié)節(jié)分割的損失函數(shù)定義為

(4)

式中：Nm是輸入圖像的總的結(jié)節(jié)數(shù)，Nnp是第n個(gè)結(jié)節(jié)掩模中的像素?cái)?shù)，mni和gni分別表示第n個(gè)結(jié)節(jié)掩模中第i個(gè)像素的預(yù)測(cè)值和真實(shí)值。

2.2 注意力特征融合

深度學(xué)習(xí)中的注意力機(jī)制模仿人類視覺(jué)注意力，現(xiàn)有注意力特征融合方法在提取細(xì)粒度特征方面仍有較大的改進(jìn)空間[15,16]。

2.2.1 多尺度通道和空間注意力機(jī)制

X′=X?M(X)=X?(δ(G(X)⊕L(X)⊕X)⊕X)

(5)

式中：M(X)∈RC×D×H×W為Arch_2模塊生成的注意力權(quán)重，其中，X代表輸入特征矩陣，⊕表示廣播加法，?表示逐元素相乘，δ表示Sigmoid函數(shù)。

圖2 多尺度通道和空間注意力機(jī)制

為了充分關(guān)注信息豐富的通道特征，通道注意力采用全局通道和本地通道并行連接的方式。給定特征圖X∈RC×D×H×W， 其中D×H×W表示特征圖大小，C表示通道數(shù)。本文選擇深度可分離卷積(depthwise separable convolution，DSConv)作為通道注意力上下文的融合器。使用G(X)表示全局通道注意力上下文

G(X)=B(DSConv2(B(DSConv1(g(X)))))

(6)

式中：g(X) 為全局平均池化，B為批歸一化處理(batch normalization，BN)。為了實(shí)現(xiàn)多尺度通道關(guān)注，添加了本地通道注意力上下文

L(X)=B(DSConv2(B(DSConv1(X))))

(7)

本地通道注意力具有與輸入元素相同的大小，可以保留低級(jí)語(yǔ)義特征。

通常檢測(cè)和分割任務(wù)的感興趣目標(biāo)僅占部分像素，而其它大部分像素是背景區(qū)域?？臻g注意力根據(jù)空間特征施加注意力，以不同的方式考慮所有空間位置，因而更加關(guān)注目標(biāo)區(qū)域。為了提取多樣化的空間注意力特征信息，采用卷積核大小分別為3×3×3和1×1×1的并行卷積結(jié)構(gòu)，產(chǎn)生不同尺度的空間注意力特征。本文選擇逐點(diǎn)卷積(point-wise，PWConv)作為空間注意力融合器，它只利用每個(gè)空間位置的點(diǎn)向通道融合?？臻g注意力可表述為

S(X)=B(PWConv(B(Conv1×1×1(X))))⊕
B(PWConv(B(Conv3×3×3(X))))

(8)

所提出的多尺度通道和空間注意力機(jī)制遵循了MS-CAM的思想，將通道注意力和空間注意力相結(jié)合。但有如下不同：①使用深度可分離卷積代替逐點(diǎn)卷積；②為了提取不同尺度的空間注意力特征，采用了兩種不同尺寸的并行卷積。

2.2.2 殘差注意力特征融合模塊

提出殘差注意力特征融合模塊(residual attention feature fusion module，RAFF)對(duì)兩個(gè)特征圖進(jìn)行注意力特征融合。給定兩個(gè)特征圖X,Y∈RC×D×H×W， 基于多尺度通道和空間注意力機(jī)制MS-SCAM，將提出的RAFF表示為

Z=M(XΘY)?X+(1-M(XΘY))?Y

(9)

式中：Z∈RC×D×H×W為融合特征，Θ表示初始特征融合，這里采用逐元素求和。

本研究共發(fā)放152份問(wèn)卷，采用留置問(wèn)卷的方式，3天后收回問(wèn)卷130份，剔除無(wú)效問(wèn)卷，共獲得121份有效問(wèn)卷。

圖3為殘差注意力特征融合模塊RAFF，其中融合權(quán)重M(XΘY) 由0到1之間的實(shí)數(shù)組成，虛線表示1-M(XΘY)， 這使得網(wǎng)絡(luò)在兩個(gè)輸入特征圖之間進(jìn)行加權(quán)。

圖3 殘差注意力特征融合模塊

2.3 多任務(wù)損失函數(shù)

對(duì)于多任務(wù)學(xué)習(xí)的損失函數(shù)，不同的任務(wù)損失的量級(jí)很有可能不一樣，可能導(dǎo)致模型被某個(gè)任務(wù)主導(dǎo)而其它任務(wù)效果變差。為每個(gè)任務(wù)設(shè)置權(quán)重參數(shù)進(jìn)行加權(quán)求和，可以手動(dòng)調(diào)整每個(gè)任務(wù)的重要程度

(10)

固定的權(quán)重可能在某些階段限制任務(wù)的學(xué)習(xí)，動(dòng)態(tài)地調(diào)整權(quán)重可能可以取得更好的效果，Kendall等提出基于不確定性加權(quán)設(shè)置多任務(wù)損失函數(shù)[17]，其多任務(wù)損失函數(shù)表示為

(11)

任務(wù)的不確定性表征的是任務(wù)間的相對(duì)置信度，當(dāng)輔助任務(wù)置信度較低時(shí)可能學(xué)習(xí)到很小的權(quán)重，導(dǎo)致輔助任務(wù)的效果變差。根據(jù)以上思路，提出一個(gè)優(yōu)化的多任務(wù)損失函數(shù)，以適應(yīng)肺結(jié)節(jié)檢測(cè)和分割兩個(gè)任務(wù)。在基于不確定性加權(quán)自動(dòng)確定的損失權(quán)重基礎(chǔ)上，對(duì)兩個(gè)任務(wù)的損失權(quán)重進(jìn)行了進(jìn)一步約束，從而平衡主任務(wù)和輔助任務(wù)的損失，得到自適應(yīng)的多任務(wù)損失函數(shù)為

(12)

且滿足如下約束條件

(13)

在該多任務(wù)損失函數(shù)中，各個(gè)任務(wù)的同方差不確定性σi是可學(xué)習(xí)的參數(shù)，初始值設(shè)置均為1，在訓(xùn)練時(shí)自動(dòng)更新并最終確定合適的值，使得檢測(cè)和分割的損失基本與任務(wù)的重要性相匹配。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 數(shù)據(jù)集和參數(shù)配置

使用LIDC-IDRI數(shù)據(jù)集來(lái)評(píng)估模型的性能，該數(shù)據(jù)集是一個(gè)用于肺癌研究的大型公共數(shù)據(jù)集，共包含1018例CT掃描。在此數(shù)據(jù)集中，包含幾乎所有低劑量CT注釋信息，包括結(jié)節(jié)大小、輪廓、紋理、邊緣、惡性度等信息，直徑等于或大于3 mm的結(jié)節(jié)具有最多由4位放射科醫(yī)生勾勒出的輪廓。在本文中，僅使用直徑大于3 mm的結(jié)節(jié)，以及肺部區(qū)域分割掩模。將至少有四分之三的放射科醫(yī)生注釋了的結(jié)節(jié)認(rèn)為是真實(shí)值，因此總共包括586例CT掃描的1131個(gè)結(jié)節(jié)。

為了訓(xùn)練模型，需要大量帶標(biāo)注的數(shù)據(jù)。對(duì)于檢測(cè)分支，數(shù)據(jù)集中假陽(yáng)性候選結(jié)節(jié)和真實(shí)結(jié)節(jié)之間存在嚴(yán)重的不平衡。本文對(duì)圖像數(shù)據(jù)進(jìn)行圖像翻轉(zhuǎn)、旋轉(zhuǎn)、縮放以解決數(shù)據(jù)不平衡的問(wèn)題，采用預(yù)篩選方法來(lái)處理類別不平衡問(wèn)題，隨機(jī)進(jìn)行下采樣使負(fù)樣本和正樣本的數(shù)量達(dá)到平衡。

實(shí)驗(yàn)環(huán)境配置為：Intel Xeon E5-2620的32核CPU，64 G內(nèi)存，TITAN Xp的12 G顯存的GPU；在Ubuntu 18.04系統(tǒng)及Pytorch框架下運(yùn)行。為了驗(yàn)證模型的性能，進(jìn)行了六折交叉驗(yàn)證。使用SGD優(yōu)化器進(jìn)行訓(xùn)練，batchsize設(shè)為8，初始學(xué)習(xí)率為0.01，動(dòng)量為0.9。一共訓(xùn)練200個(gè)epoch，訓(xùn)練80個(gè)epoch后加入分割分支。

3.2 評(píng)價(jià)指標(biāo)

本文采用自由響應(yīng)接收器工作特性曲線(free-response ROC，F(xiàn)ROC)和競(jìng)爭(zhēng)性能指標(biāo)(competition performance metric，CPM)來(lái)評(píng)估結(jié)節(jié)檢測(cè)的性能。靈敏度也稱為召回率，即預(yù)測(cè)正確的樣本占總的陽(yáng)性樣本的比例，定義為

(14)

每位患者在1/8、1/4、1/2、1、2、4和8FPs(false positives per scan)下的靈敏度(sensitivity)進(jìn)行平均可以得到CPM分?jǐn)?shù)，反映的是模型檢測(cè)的整體性能。對(duì)于肺結(jié)節(jié)分割，采用交并比(intersection of union，IoU)和Dice相似系數(shù)(dice similariy coefficient，DSC)用于評(píng)估模型的性能。其計(jì)算方式分別為

(15)

(16)

其中，TP表示預(yù)測(cè)正確的真陽(yáng)性樣本數(shù)，F(xiàn)P表示預(yù)測(cè)錯(cuò)誤的假陽(yáng)性樣本數(shù)，F(xiàn)N表示預(yù)測(cè)錯(cuò)誤的假陰性樣本數(shù)。

3.3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文提出模型的有效性，構(gòu)造消融模塊進(jìn)行了廣泛的實(shí)驗(yàn)，主要包括多任務(wù)學(xué)習(xí)策略、注意力特征融合模塊和多任務(wù)損失函數(shù)策略。為了便于比較，使用CPM得分來(lái)評(píng)估各項(xiàng)策略的有效性。

多任務(wù)學(xué)習(xí)對(duì)本文的模型起到至關(guān)重要的作用。從表1可知，加入肺結(jié)節(jié)分割分支有效地提高了肺結(jié)節(jié)檢測(cè)的性能，單任務(wù)的基準(zhǔn)模型相比，CPM得分提高了約2.3%。通過(guò)融合殘差注意力特征融合模塊，結(jié)節(jié)檢測(cè)的性能進(jìn)一步提高了4.8%。通過(guò)自適應(yīng)多任務(wù)損失函數(shù)，結(jié)節(jié)檢測(cè)的性能持續(xù)提高了0.8%。

表1 不同策略下的消融實(shí)驗(yàn)結(jié)果

在訓(xùn)練過(guò)程中，每個(gè)子任務(wù)的損失函數(shù)不斷下降。本文設(shè)計(jì)的方法在65個(gè)epoch時(shí)加入假陽(yáng)性剔除部分，在80個(gè)epoch時(shí)加入分割分支。訓(xùn)練過(guò)程的損失函數(shù)如圖4所示，縱坐標(biāo)為總的損失函數(shù)值，橫坐標(biāo)為訓(xùn)練的epoch數(shù)。隨著訓(xùn)練時(shí)間的增加，總的損失函數(shù)趨于穩(wěn)定。訓(xùn)練過(guò)程中結(jié)節(jié)分割任務(wù)收斂的速度較快，120個(gè)epoch后總體損失函數(shù)逐漸趨于平滑。由此可見(jiàn)，本文算法所提出的模型收斂速度較快。

圖4 訓(xùn)練集和驗(yàn)證集上損失函數(shù)與迭代輪次的關(guān)系

3.3.1 多任務(wù)學(xué)習(xí)的影響

在本文中，多任務(wù)學(xué)習(xí)對(duì)模型起著至關(guān)重要的作用。為了研究多任務(wù)學(xué)習(xí)的影響，提供了兩種不同情況下的比較結(jié)果來(lái)驗(yàn)證多任務(wù)學(xué)習(xí)模型的有效性。分別用單任務(wù)網(wǎng)絡(luò)和加入分割分支的多任務(wù)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，表1展示了在LIDC-IDRI數(shù)據(jù)集上的性能。基于多任務(wù)學(xué)習(xí)的模型對(duì)于肺結(jié)節(jié)檢測(cè)任務(wù)的效果提升了2.3%，這表明分割分支可以更好地突出外觀信息，從而有助于肺結(jié)節(jié)檢測(cè)任務(wù)，說(shuō)明了多任務(wù)學(xué)習(xí)提升模型性能的有效性。

3.3.2 注意力特征融合的影響

為了研究注意力特征融合的影響，構(gòu)造了幾個(gè)消融模塊“Channel+Spatial串行”、“Channel+Spatial并行”、“Arch_1”以及“Arch_2”，在多任務(wù)學(xué)習(xí)模型的基礎(chǔ)上加入各個(gè)注意力特征融合模塊進(jìn)行對(duì)比。

表2列出了各種注意力機(jī)制和注意力特征融合模塊的性能。在所有設(shè)置中，多尺度通道和空間注意力機(jī)制Arch_2為最優(yōu)，獲得了90.10%的CPM得分。結(jié)果表明，多尺度通道和空間注意力特征融合可以有效提高模型性能。還將提出的MS-SCAM與Dai等提出的MS-CAM在相同的使用條件下進(jìn)行了對(duì)比，說(shuō)明了提出的殘差注意力特征融合模塊的有效性。

表2 注意力機(jī)制和注意力特征融合模塊的影響

3.3.3 多任務(wù)損失函數(shù)的影響

為了驗(yàn)證提出的多任務(wù)損失函數(shù)的優(yōu)越性，進(jìn)行了幾種情況的實(shí)驗(yàn)對(duì)比。對(duì)各任務(wù)損失函數(shù)分別進(jìn)行直接求和、加權(quán)求和、不確定性加權(quán)以及提出的損失均衡的不確定性加權(quán)，并分別統(tǒng)計(jì)各種情況下的平均檢測(cè)精度。

表3列出了使用各種方式加權(quán)的多任務(wù)損失函數(shù)的模型的性能，直接求和的損失函數(shù)獲得了90.10%的CPM得分，權(quán)重為0.6和0.4以及0.7和0.3時(shí)分別獲得了89.29%和89.18%的CPM得分，采用基于損失均衡不確定性加權(quán)的自適應(yīng)多任務(wù)損失函數(shù)的模型取得了90.94%的CPM得分，平衡了肺結(jié)節(jié)檢測(cè)和分割兩個(gè)任務(wù)的性能，模型表現(xiàn)出了更高的分割精度。

表3 多任務(wù)損失函數(shù)的影響

3.3.4 與其它方法的比較

為了驗(yàn)證方法的優(yōu)勢(shì)，給出了與其它方法的比較。如表4所示，統(tǒng)計(jì)了與其它方法在LICD-IDRI數(shù)據(jù)集上的肺結(jié)節(jié)檢測(cè)和分割性能的對(duì)比。根據(jù)與3.1節(jié)相同的網(wǎng)絡(luò)參數(shù)設(shè)置，分別對(duì)以上方法所提出的模型進(jìn)行了訓(xùn)練，并利用測(cè)試集進(jìn)行測(cè)試。

從表4可以看出，算法性能優(yōu)于其它算法。平均檢測(cè)精度為90.94%，比其它方法高出3.7%，結(jié)節(jié)分割的IoU和DSC分?jǐn)?shù)分別為71.78%和80.89%，該算法對(duì)于肺結(jié)節(jié)檢測(cè)和分割兩個(gè)任務(wù)的性能較為均衡。

表4 與其它方法的檢測(cè)和分割性能對(duì)比

4 結(jié)束語(yǔ)

本文提出了一種端到端的融合注意力特征的多任務(wù)肺結(jié)節(jié)檢測(cè)和分割算法。該方法首先以多任務(wù)學(xué)習(xí)的方式同時(shí)解決肺結(jié)節(jié)檢測(cè)和分割任務(wù)，通過(guò)共享特征減少了參數(shù)量，提高了模型的速度和精度。其次，提出了多尺度通道和空間注意力機(jī)制，并引入殘差注意力特征融合模塊，增強(qiáng)了尺度和語(yǔ)義不一致特征的融合效果。最后引入一種自適應(yīng)多任務(wù)損失函數(shù)來(lái)約束檢測(cè)和分割任務(wù)的損失，提高了損失的權(quán)重與任務(wù)重要性的匹配程度。在LIDC-IDRI數(shù)據(jù)集上進(jìn)行了廣泛的實(shí)驗(yàn)驗(yàn)證各個(gè)組件的有效性。結(jié)果表明，所提出的模型在結(jié)節(jié)檢測(cè)的CPM得分達(dá)到90.94%，在結(jié)節(jié)分割的IoU達(dá)到71.78%，DSC得分達(dá)到80.89%。