基于多任務(wù)聯(lián)合注意力的結(jié)腸息肉分割網(wǎng)絡(luò)

郭祥振，李思潼，盧銳，郭森，崔學(xué)榮，楊鋼

（1.東北大學(xué)信息科學(xué)與工程學(xué)院，遼寧 沈陽(yáng) 110819；2.東北大學(xué)冶金學(xué)院，遼寧 沈陽(yáng) 110819）

0 引言

結(jié)直腸癌（CRC）是消化系統(tǒng)中最常見(jiàn)的惡性腫瘤，位居城市居民腫瘤發(fā)病率的第2 位，病死率的第4 位，并且其發(fā)病率和死亡率逐年上升，甚至在最近幾年內(nèi)呈現(xiàn)年輕化的趨勢(shì)。根據(jù)國(guó)家癌癥中心統(tǒng)計(jì)數(shù)據(jù)顯示，我國(guó)每年約有超過(guò)100 萬(wàn)的新增病例以及60 萬(wàn)的死亡病例，結(jié)直腸癌新發(fā)人數(shù)占所有新發(fā)惡性腫瘤的9.9%［1］。

絕大多數(shù)結(jié)直腸癌都由腸道息肉發(fā)展而來(lái)，而腸道息肉檢查的最有效方法為腸鏡檢查，醫(yī)生通過(guò)腸鏡可以直觀地看到腸道內(nèi)部，尋找病變區(qū)域，并將其直接切除，使其不再進(jìn)一步惡化癌變。許多研究結(jié)果表明，早期腸鏡檢查能使結(jié)直腸癌發(fā)病率下降30%［2］。然而，由于息肉自身特點(diǎn)以及各種人為主客觀因素的存在，仍然會(huì)存在漏檢、誤檢的現(xiàn)象［3］，因此設(shè)計(jì)高性能的息肉分割系統(tǒng)作為輔助診斷工具具有重大意義。

基于傳統(tǒng)算法的息肉檢測(cè)依賴于手工提取息肉的紋理［4］、顏色和邊界［5］等特征，并將這些特征組合后進(jìn)行建模，用于訓(xùn)練生成分類器來(lái)辨別息肉和周圍組織。但是手工設(shè)計(jì)的特征是借助視覺(jué)系統(tǒng)中的敏感區(qū)域來(lái)提取能夠與腸壁區(qū)分的特征，其準(zhǔn)確性在很大程度上取決于科學(xué)家的經(jīng)驗(yàn)與專業(yè)水準(zhǔn)。MAMONOV 等［5］提出一種二分類策略分離息肉與非息肉組織。該方法從腸鏡每幀圖像中提取息肉紋理和幾何信息，并且借助中通濾波對(duì)圖像進(jìn)行幾何分析，使用最佳擬合球形半徑作為分類器的決策參數(shù)。BERNAL 等［6］提出使用分水嶺算法對(duì)息肉進(jìn)行檢測(cè)，該算法利用矩陣分析法計(jì)算得到息肉區(qū)域基于梯度圖像的特征值和特征向量，根據(jù)這些信息將圖片中每個(gè)區(qū)域分成息肉類和非息肉類，進(jìn)而將息肉分割出來(lái)。SASMAL 等［7］提出采用主成分追蹤法（PCP）和活動(dòng)輪廓（AC）模型對(duì)息肉進(jìn)行檢測(cè)分割。上述這些方法提取出的息肉特征無(wú)法有效將背景特征與息肉特征進(jìn)行區(qū)分。因此，在分割結(jié)果上也存在較明顯的局限，誤檢率、漏檢率仍然較高。

近年來(lái)，利用深度學(xué)習(xí)方法進(jìn)行的醫(yī)學(xué)圖像分割［8］和語(yǔ)義分割任務(wù)［9-10］取得了巨大突破，這些方法與傳統(tǒng)方法相比能提取出更加豐富的息肉組織細(xì)節(jié)和語(yǔ)義特征，提高息肉檢測(cè)效果。LONG 等［11］提出的全卷積網(wǎng)絡(luò)（FCN）與RONNEBERGER 等［12］提出的U-Net 網(wǎng)絡(luò)在息肉檢測(cè)任務(wù)中有著較廣泛的應(yīng)用。文獻(xiàn)［13］介紹基于FCN 思路的SegNet 網(wǎng)絡(luò)的特點(diǎn)是在進(jìn)行圖片下采樣時(shí)使用最大索引的方法，并且借助該索引在上采樣過(guò)程中實(shí)現(xiàn)非線性特征，保留細(xì)節(jié)信息并與語(yǔ)義信息相結(jié)合以提升檢測(cè)目標(biāo)邊緣細(xì)節(jié)分割的能力。ZHOU 等［14］借鑒DenseNet 的稠密連接方式將U-Net 各個(gè)層連接起來(lái)，使前后每個(gè)模塊之間產(chǎn)生相互作用，并表現(xiàn)出良好的效果。JHA 等［15］提出ResUNet++網(wǎng)絡(luò)，是一種結(jié)合殘差連接和U-Net 的網(wǎng)絡(luò)，不僅能更有效地解決梯度消失問(wèn)題還能解決語(yǔ)義信息缺失問(wèn)題，從而提高分割準(zhǔn)確率。目前的針對(duì)性設(shè)計(jì)主要依賴于卷積神經(jīng)網(wǎng)絡(luò)，但卷積神經(jīng)網(wǎng)絡(luò)的感受野十分有限，不能從全局范圍內(nèi)探索特征關(guān)系，因此無(wú)法提供完整的對(duì)象區(qū)域預(yù)測(cè)。

此外，很多研究人員在骨干網(wǎng)絡(luò)和相應(yīng)模塊中引入特征提取和聚合的方法。FAN 等［16］提出的PraNet 網(wǎng)絡(luò)，通過(guò)多尺度融合模塊將高級(jí)別特征相融合，根據(jù)這個(gè)組合特征生成全局引導(dǎo)圖，作為下1 個(gè)部分的初始引導(dǎo)區(qū)域，然后利用反向注意力模塊逐層向前挖掘邊緣線索信息以細(xì)化息肉邊界［17］。WEI等［18］提出SANet，針對(duì)息肉顏色分布差異大、尺寸小的特點(diǎn)進(jìn)行網(wǎng)絡(luò)設(shè)計(jì)，該方法選擇高級(jí)特征進(jìn)行融合，最高層的卷積特征經(jīng)過(guò)卷積過(guò)濾噪聲干擾，將生成的注意力逐像素相乘到上一層特征中，最終將不同層的特征拼接起來(lái)作為結(jié)果輸出。DONG 等［19］提出Polyp-PVT 網(wǎng)絡(luò)，充分利用卷積的局部感受野和平移不變性，以及Transformer［20］的全局注意力機(jī)制，對(duì)圖像進(jìn)行全局的語(yǔ)義建模和特征交互。這些方法存在2 個(gè)主要問(wèn) 題：1）Transformer 的局部特征建模較差，Transformer 模型的不足之處是缺乏對(duì)模型輸出特征中上下文信息的充分利用；2）基于Transformer 的解碼器通常對(duì)具有顯著性差異的特征感興趣，從而忽略一些不易被發(fā)現(xiàn)有價(jià)值的特征。

針對(duì)上述方法的不足，本文提出一種基于多任務(wù)聯(lián)合注意力的結(jié)腸息肉分割網(wǎng)絡(luò)CPMJA-Net。設(shè)計(jì)級(jí)聯(lián)融合模塊（CFM）和聯(lián)合注意力模塊（JAM），能夠有效解決局部區(qū)域內(nèi)部信息交換缺乏的問(wèn)題，構(gòu)建一種多任務(wù)注意力模塊（MAM），該模塊采用漸進(jìn)式的融合策略將3 個(gè)并行注意力模塊的輸出進(jìn)行融合，充分學(xué)習(xí)圖像中前景和背景之間的差異，進(jìn)而準(zhǔn)確預(yù)測(cè)息肉區(qū)域。

1 研究方法

1.1 方法概述

本文提出的CPMJA-Net 框架遵循編碼器-解碼器結(jié)構(gòu)，在編碼器階段利用PVT 網(wǎng)絡(luò)［21］獲得具有全局依賴關(guān)系的多尺度特征，其中有4 層輸出。CPMJA-Net 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。本文將第1 層輸出視為低級(jí)特征，第2 層輸出視為中級(jí)特征，后2 層輸出視為高級(jí)特征。通過(guò)將低級(jí)特征和中級(jí)特征送入級(jí)聯(lián)融合模塊，充分探索局部區(qū)域之間的關(guān)系，增強(qiáng)局部細(xì)節(jié)特征表示。中級(jí)特征和高級(jí)特征經(jīng)過(guò)聚合送入多任務(wù)注意力模塊，從多個(gè)方面探索息肉目標(biāo)和背景之間的關(guān)系，使網(wǎng)絡(luò)關(guān)注息肉目標(biāo)。最后將兩者的輸出經(jīng)過(guò)交互式融合得到輸出結(jié)果。

使用PVT 網(wǎng)絡(luò)作為backbone，提取輸入息肉RGB 圖片的多層次特征，? 視為低級(jí)特征，視為中級(jí)特征，與視為高級(jí)特征，將這些特征分別送入編碼器中的不同模塊中。

多任務(wù)注意力模塊的設(shè)計(jì)與每層的輸出相對(duì)應(yīng)。首先高級(jí)特征與中級(jí)特征先進(jìn)行特征融合，然后使每層對(duì)應(yīng)的融合分支送入多任務(wù)注意力模塊。在該模塊中使用3 個(gè)注意力模塊分別計(jì)算前景、背景和整體注意力，以有效提高對(duì)息肉區(qū)域的識(shí)別能力。

聯(lián)合注意力模塊的設(shè)計(jì)結(jié)合深度學(xué)習(xí)的交互式注意力和殘差連接的思想。根據(jù)這種結(jié)合，JAM 模塊可以同時(shí)接收低級(jí)細(xì)節(jié)特征和高級(jí)預(yù)測(cè)特征，從而能夠更充分捕捉圖像的全局和局部信息。在具體實(shí)現(xiàn)上，交互式注意力機(jī)制采用Self-Attention 的思想，通過(guò)計(jì)算注意力圖來(lái)加權(quán)融合低級(jí)和高級(jí)特征，從而得到更具代表性的融合特征，然后采用卷積操作提取特征間的相關(guān)性，以便挖掘息肉區(qū)域的全局語(yǔ)義特征和線索，同時(shí)也能夠捕捉局部像素之間的聯(lián)系，最后通過(guò)殘差連接輸出結(jié)果。經(jīng)過(guò)這些操作可以進(jìn)一步挖掘息肉區(qū)域的全局語(yǔ)義和局部像素之間的聯(lián)系。

1.2 級(jí)聯(lián)融合模塊

低級(jí)特征中包含的細(xì)節(jié)信息對(duì)網(wǎng)絡(luò)分割精度的提升至關(guān)重要，全局上下文和局部特征在息肉檢測(cè)任務(wù)中都發(fā)揮著重要的作用。然而大多數(shù)基于Transformer 的方法存在1 個(gè)共同的問(wèn)題，即：缺乏機(jī)制來(lái)增強(qiáng)局部區(qū)域信息的交換。

中層輸出特征有助于低層輸出特征細(xì)節(jié)信息的提取，將中層輸出特征與低層輸出特征進(jìn)行交互融合，使網(wǎng)絡(luò)探索局部區(qū)域特征之間的關(guān)系。為實(shí)現(xiàn)2 個(gè)分支信息的傳遞和共享，有效促進(jìn)不同尺度信息之間的互相協(xié)助，本文構(gòu)建級(jí)聯(lián)融合模塊，使低級(jí)特征和中級(jí)特征的內(nèi)部特征進(jìn)行交互和探索，以及補(bǔ)償Transformer 的局部建模能力。

級(jí)聯(lián)融合模塊由2 個(gè)并行分支組成，分別處理來(lái)自特征提取網(wǎng)絡(luò)前2 層的輸出，同時(shí)在輸入階段將這2 個(gè)分支進(jìn)行交互融合，使特征中每個(gè)對(duì)應(yīng)區(qū)域的局部像素進(jìn)行融合，以增強(qiáng)局部特征表示，然后將這個(gè)融合特征分別在兩者內(nèi)部進(jìn)行加權(quán)融合。具體而言，級(jí)聯(lián)融合模塊分別接收來(lái)自編碼器前2 層的輸出，記為f1和f2，調(diào)整尺寸使f1與f2相同，并將兩者進(jìn)行歸一化，然后對(duì)每個(gè)輸入分別使用2 個(gè)線性映射得 到2 個(gè)降維 后的特 征映射f(v，1)，f(k，1)和f(v，2)，f(k，2)，如式（1）所示：

級(jí)聯(lián)融合模塊結(jié)構(gòu)如圖2 所示。

將2 層輸出進(jìn)行特征融合，經(jīng)過(guò)卷積改變維度，再次經(jīng)過(guò)線性映射得到繼承2 個(gè)輸出特征的向量fq，該向量后續(xù)分別與2 個(gè)輸入特征交互，以達(dá)到局部特征增強(qiáng)的作用，其中對(duì)于2 個(gè)特征的操作為并行操作。對(duì)于每個(gè)分支首先將fq經(jīng)過(guò)Softmax 函數(shù)生成權(quán)重矩陣，然后使用主元素相乘方法將與fq進(jìn)行相乘，得到每個(gè)元素都被加權(quán)之后的特征向量，最后對(duì)特征向量進(jìn)行平均池化操作，降低圖像尺寸。其過(guò)程表達(dá)式如式（2）所示：

將加權(quán)之后的特征和fk進(jìn)行矩陣相乘，探索2種特征之間的相關(guān)性，使用Softmax 函數(shù)生成注意力圖Ta，此時(shí)的注意力圖成為2 層特征的交互注意力。該步驟的計(jì)算式如式（3）所示：

之后將2 個(gè)并行分支中的Ta分別與fv進(jìn)行交互相乘，使每個(gè)分支都能關(guān)注到對(duì)方的特征，實(shí)現(xiàn)特征互補(bǔ)，從而達(dá)到過(guò)濾冗余特征、關(guān)注細(xì)節(jié)特征的目的。使用殘差連接將增強(qiáng)特征與原始特征相結(jié)合，以保留原始信息。該過(guò)程的表達(dá)式如式（4）所示：

最后將2 個(gè)并行分支進(jìn)行Concat 拼接，再利用卷積操作調(diào)整尺寸，如式（5）所示：

1.3 多任務(wù)注意力模塊

注意力機(jī)制通過(guò)對(duì)每個(gè)像素分配不同的注意力權(quán)重，使網(wǎng)絡(luò)更加關(guān)注權(quán)重高的像素。由于息肉的自身特性和內(nèi)窺鏡頭的拍攝角度使得其局部特征分布具有極強(qiáng)的隨機(jī)性，因此要求網(wǎng)絡(luò)對(duì)輸入圖像的不同區(qū)域分配不同的權(quán)重。在大多數(shù)的研究中注意力權(quán)重是通過(guò)掩碼來(lái)形成的，主要思想是通過(guò)計(jì)算得出1 層擁有注意力權(quán)重的矩陣或者向量，再與輸入圖像的通道或者區(qū)域進(jìn)行相乘來(lái)突出重要信息或者抑制干擾和無(wú)關(guān)信息。

將Self-Attention 機(jī)制引入網(wǎng)絡(luò)中，增強(qiáng)像素的類內(nèi)一致性，使關(guān)鍵信息得以凸顯，干擾信息得以抑制。另外，受多頭Self-Attention 機(jī)制［23］的啟發(fā)，本文將注意力模塊分為3 個(gè)部分，分別使用不同的掩碼策略將息肉圖像的前景和背景區(qū)域區(qū)分，并輸入到3 個(gè)部分中完成不同的注意力任務(wù)。多任務(wù)注意力模塊結(jié)構(gòu)如圖3 所示，

圖3 多任務(wù)注意力模塊結(jié)構(gòu)Fig.3 Structure of multi-task attention module

1.3.1 前景注意力單元

該單元的任務(wù)是在輸入特征圖中挖掘前景區(qū)域的相關(guān)性，使網(wǎng)絡(luò)學(xué)習(xí)前景內(nèi)部之間的關(guān)系，避免內(nèi)部噪聲影響網(wǎng)絡(luò)分割效果。該單元遵循Self-Attention的原理，如式（6）所示：

其中：AAT表示注意力機(jī)制；Q，K，V分別表示使用3 個(gè)不同的1×1 和3×3 卷積生成的query，key 和value向量；α是1 個(gè)可學(xué)習(xí)參數(shù)。

在前景注意力單元（FAT）中，將每個(gè)級(jí)別特征輸出的息肉區(qū)域預(yù)測(cè)掩碼圖作為一部分輸入引入到注意力AT 中，作為先驗(yàn)知識(shí)來(lái)調(diào)節(jié)生成的注意力矩陣，以更好地識(shí)別息肉區(qū)域。前景注意力單元結(jié)構(gòu)如圖4 所示。

圖4 前景注意力單元結(jié)構(gòu)Fig.4 Structure of foreground attention unit

其表達(dá)式如式（7）所示：

該單元接收來(lái)自某一層的語(yǔ)義特征圖xinput∈RH×W×C和由該層特征圖得到 的預(yù)測(cè) 掩碼 圖Mf∈RH×W×C，其中H、W為特征圖的長(zhǎng)和寬，C為通道數(shù)。首先通過(guò)對(duì)輸入特征進(jìn)行樣本特征歸一化，然后分別經(jīng)過(guò)并行的3 個(gè)1×1 的卷積和3×3 的深度可分離卷積生成Q、K、V。此時(shí)將輸入的掩碼圖Mf分別與Q和K進(jìn)行逐像素相乘，用于提取預(yù)測(cè)的前景區(qū)域。將兩者結(jié)果相乘再送入Softmax 生成基于前景的attention map。最后將其與V矩陣相乘得到基于前景注意力的加權(quán)特征圖。

1.3.2 背景注意力單元

背景注意力單元（BAT）采用與前景注意力單元相同的結(jié)構(gòu)，在該單元中同樣接收某一層的語(yǔ)義特征圖xinput∈RH×W×C和由該層特征圖得到的預(yù)測(cè)掩碼圖Mb∈RH×W×C，與前景注意力單元不同的是掩碼圖換成了Mb，這是因?yàn)樵搯卧淖⒁饬C(jī)制在背景區(qū)域進(jìn)行注意力建模，需要引入背景掩碼圖。因此，背景掩碼圖的獲取采用1-Mf的形式以達(dá)到反轉(zhuǎn)的效果，經(jīng)過(guò)同樣的處理，以得到基于背景注意力單元的加權(quán)特征圖。BAT（計(jì)算中用BBAT）的表達(dá)式如式（8）所示：

此外，該注意力模塊的第3 個(gè)單元為常規(guī)注意力機(jī)制，接收某一層的特征圖，目的是從全局范圍內(nèi)計(jì)算出前景與背景間的關(guān)聯(lián)性，如式（9）所示：

1.3.3 特征融合方法

在網(wǎng)絡(luò)設(shè)計(jì)中，本文在每層輸出特征之后都加入多任務(wù)注意力模塊。為充分利用不同特征信息，采用漸進(jìn)式融合的方式逐步將不同的特征圖進(jìn)行融合，以有效捕捉多個(gè)特征圖中的不同特征，最后輸出1 個(gè)息肉區(qū)域預(yù)測(cè)特征圖。假設(shè)特征提取網(wǎng)絡(luò)的后3 層輸出為fi（i=2，3，4），首先將f2，f3，f4經(jīng)過(guò)特征整合單元生成粗略的區(qū)域預(yù)測(cè)圖D5，將該預(yù)測(cè)圖經(jīng)過(guò)尺寸調(diào)整和Sigmoid 函數(shù)生成掩碼圖P5，作為第1 個(gè)多任務(wù)注意力模塊的掩碼輸入，然后將f4經(jīng)過(guò)卷積調(diào)整維度，作為第1 個(gè)特征圖輸入。將這2 個(gè)輸入經(jīng)過(guò)第1 個(gè)多任務(wù)注意力模塊生成1 個(gè)聯(lián)合前景注意力、背景注意力和全局注意力的特征圖D4，其過(guò)程如式（10）所示：

其中：MMTA(*)為多任務(wù)注意力模塊。在該模塊中掩碼圖P5輸入到前景注意力單元中，將1-P5輸入到背景注意力單元中。

將第1 個(gè)多任務(wù)注意力模塊的輸出D4經(jīng)過(guò)上采樣調(diào)節(jié)尺寸使其與f3相同，經(jīng)過(guò)Sigmoid 函數(shù)生成掩碼圖P4，作為第2 部分的掩碼圖輸入，同時(shí)將f4經(jīng)過(guò)上采樣調(diào)整尺寸、卷積提取特征后與f3進(jìn)行逐像素相乘得到。將與f4拼接，經(jīng)過(guò)卷積調(diào)整維度后與D4進(jìn)行逐元素相乘，再與D4相加作為第2 部分的輸入特征。這種融合方式可以增強(qiáng)局部特征的表示，其過(guò)程如式（11）所示：

其中：upsample(*)為上采樣操作；⊙為哈達(dá)瑪乘積，即矩陣逐元素相乘。

第3 部分以相同的方法處理D3，同時(shí)將f4與f3分別進(jìn)行上采樣并調(diào)整為與f2尺寸相同，再分別經(jīng)過(guò)卷積與f2進(jìn)行逐像素相乘得到，再將與上一部分Concat 后的特征相拼接，最后用同樣的方法與D3進(jìn)行融合作為多任務(wù)注意力模塊最后部分的特征輸入。該過(guò)程如式（12）所示：

1.4 聯(lián)合注意力模塊

為解決早期卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型在目標(biāo)檢測(cè)任務(wù)中忽視了低層特征的問(wèn)題，研究人員設(shè)計(jì)特征金字塔網(wǎng)絡(luò)（FPN）［24］結(jié)構(gòu)。該結(jié)構(gòu)通過(guò)逐層融合低層特征，將頂層特征恢復(fù)到原圖大小的過(guò)程中，補(bǔ)充細(xì)節(jié)信息，提高目標(biāo)檢測(cè)的預(yù)測(cè)效果。然而，F(xiàn)PN在進(jìn)行不同層次特征融合時(shí)只采用簡(jiǎn)單的求和或者拼接策略，無(wú)法充分實(shí)現(xiàn)高低層信息互補(bǔ)，而且還有可能引入干擾噪聲。

因此，本文提出一種聯(lián)合注意力機(jī)制，該機(jī)制利用高級(jí)特征的輪廓信息在低級(jí)特征中篩選出有利于邊緣分割的細(xì)節(jié)特征，并將其與息肉輪廓聚合起來(lái)，得到更加精確的邊緣分割結(jié)果。聯(lián)合注意力模塊結(jié)構(gòu)如圖5 所示，分別將多任務(wù)注意力模塊輸出特征fM∈RH/8，W/8，C1和級(jí)聯(lián)融合模塊輸出特征fC∈RH/4×W/4×C2作為輸入。

圖5 聯(lián)合注意力模塊結(jié)構(gòu)Fig.5 Structure of joint attention module

首先將fC進(jìn)行上采樣操作，使其與fM尺寸相同，再將其經(jīng)過(guò)1×1 的卷積來(lái)調(diào)整維度，使其與fM的通道數(shù)相等，同時(shí)減少網(wǎng)絡(luò)計(jì)算量；然后將fC在通道維度上做Softmax，并且選擇第1 個(gè)通道作為注意力的映射，此時(shí)∈RH/8×W/8×1。該過(guò)程如式（13）所示：

其中：interpolate 表示雙線性插值法對(duì)圖像進(jìn)行上采樣。

對(duì)于另外1 個(gè)輸入特征fM具有更高級(jí)的語(yǔ)義特征，首先將fM經(jīng)過(guò)2 個(gè)映射進(jìn)行降維操作，分別得到映射特征Q∈R(H/8×W/8×16)和K∈R(H/8×W/8×16)，其映射操作分別為2 個(gè)1×1 的卷積，如式（14）所示：

將K和進(jìn)行對(duì)應(yīng)元素相乘，然后對(duì)其使用平均池化操作提取特征的平移不變性，使模型對(duì)于輸入圖像的微小平移具有一定的容忍度，此時(shí)得到了特征映射V，V中具有突出的息肉邊界信息。其過(guò)程如式（15）所示：

將K和V進(jìn)行矩陣相乘，將相乘結(jié)果經(jīng)過(guò)Softmax 建立K與V之間每個(gè)像素的相關(guān)性，從而獲得相關(guān)性注意力圖f。將f與Q相乘得到Q'，此時(shí)Q'中每個(gè)元素與f之間建立相關(guān)性，給息肉邊界區(qū)域分配更高的權(quán)重。將Q'經(jīng)過(guò)圖卷積層，從特征圖中每個(gè)節(jié)點(diǎn)的狀態(tài)和節(jié)點(diǎn)之間的關(guān)系中提取特征，并計(jì)算其關(guān)系矩陣，更新節(jié)點(diǎn)狀態(tài)，以提高模型的表征能力。這部分的表達(dá)式如式（16）所示：

其中：?為矩陣相乘；GCN(*)為圖卷積層。

再利用f和f'相乘，輸出結(jié)果與該節(jié)點(diǎn)的原始特征相結(jié)合，以保留節(jié)點(diǎn)的原始特征信息。之后將其通過(guò)1×1 的卷積層將重構(gòu)的特征圖調(diào)整為原來(lái)的維度，再利用殘差連接將重構(gòu)特征與原始輸入特征fM相加達(dá)到細(xì)化邊緣分割結(jié)果的目的，最后再經(jīng)過(guò)1×1的卷積調(diào)整為1 維，輸出息肉檢測(cè)結(jié)果。該過(guò)程的表達(dá)式如式（17）所示：

經(jīng)過(guò)聯(lián)合注意力模塊可以有效地聚合高級(jí)特征和低級(jí)特征，將它們以交叉的方式將自己的特征加入到對(duì)方的Token 中，并計(jì)算注意力圖。將每個(gè)注意力圖與對(duì)方的特征序列相乘，使得兩者特征中都包含對(duì)方的特征，從而建立兩者之間的相關(guān)性，實(shí)現(xiàn)相鄰2 層間的局部信息交換，豐富輸出特征的局部表達(dá)。將網(wǎng)絡(luò)的關(guān)注度聚焦到息肉邊界上，同時(shí)利用低級(jí)特征中的詳細(xì)信息來(lái)加強(qiáng)邊緣的分割。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集與實(shí)驗(yàn)細(xì)節(jié)

本文在4 個(gè)開(kāi)源數(shù)據(jù)集上對(duì)算法模型進(jìn)行驗(yàn)證，包 括ETIS-LaribPolypDB［25］、CVC-ColonDB［26］、CVC-ClinicDB［27］和Kvasir［28］。數(shù)據(jù)集遵循PraNet 中的劃分方法，其中訓(xùn)練集來(lái)自Kvasir 和CVCClinicDB，分別從中隨機(jī)抽取900 張和550 張樣本，共1 450 張樣本。測(cè)試集選取ETIS-LaribPolypDB、CVC-ColonDB 中的全部樣本、Kvasir 和CVCClinicDB 中剩下的樣本，共有798 張樣本。將圖像尺寸調(diào)整為352×352 像素，并采用隨機(jī)旋轉(zhuǎn)和隨機(jī)垂直翻轉(zhuǎn)的方法擴(kuò)充訓(xùn)練數(shù)據(jù)。

在PyTorch 深度學(xué)習(xí)框架下進(jìn)行網(wǎng)絡(luò)搭建、訓(xùn)練和測(cè)試，電腦顯卡為一塊NVIDIA GTX 1080Ti GPU。本文選用廣泛用于Transformer 網(wǎng)絡(luò)的AdamW 優(yōu)化器來(lái)更新權(quán)重，設(shè)置初始學(xué)習(xí)率為1×10-4，學(xué)習(xí)率更新策略采用Poly 策略，總共訓(xùn)練100 個(gè)epoch，batch_size 設(shè)置為4。

2.2 損失函數(shù)

本文使用二元交叉熵（BCE）損失和交并比（IoU）損失相結(jié)合的方法來(lái)訓(xùn)練模型。其中，交叉熵?fù)p失反映像素級(jí)別的損失，它對(duì)預(yù)測(cè)圖上的每個(gè)位置獨(dú)立求取損失值，并將這些損失進(jìn)行求和后取均值，如式（18）所示：

其中：H和W分別表示標(biāo)簽圖的長(zhǎng)度和寬度；S表示息肉預(yù)測(cè)圖的概率分布；G表示息肉真實(shí)標(biāo)簽0或者1。

IoU 損失函數(shù)是在目標(biāo)檢測(cè)任務(wù)中常見(jiàn)的損失函數(shù)，通過(guò)計(jì)算預(yù)測(cè)框與實(shí)際標(biāo)注框之間的重疊區(qū)域面積來(lái)評(píng)估預(yù)測(cè)框的準(zhǔn)確性，可以度量2 個(gè)集合之間的相似性。IoU 損失函數(shù)是基于IoU 指標(biāo)設(shè)計(jì)的，其表達(dá)式如式（19）所示：

其中：分子部分計(jì)算的是預(yù)測(cè)分割結(jié)果和真實(shí)分割結(jié)果的交集；分母部分計(jì)算的是預(yù)測(cè)分割結(jié)果和真實(shí)分割結(jié)果的并集。

為了使損失函數(shù)更適合本文任務(wù)，在設(shè)計(jì)損失函數(shù)時(shí)采用加權(quán)的方式，使整個(gè)模型計(jì)算的損失函數(shù)更加偏向于息肉邊緣部分。加權(quán)方法是選取某個(gè)像素15 鄰域的像素取平均值，然后再用這個(gè)平均值與該像素作差，計(jì)算該點(diǎn)像素與周圍像素之間的差異。該權(quán)重表達(dá)式如式（20）所示：

其中：AvgPool(*)為31×31 的平均池化；mask 為息肉真實(shí)分割結(jié)果。

經(jīng)過(guò)加權(quán)，最終的損失函數(shù)計(jì)算式如式（21）所示：

2.3 評(píng)價(jià)指標(biāo)

本文采用在息肉檢測(cè)領(lǐng)域中5 種最常見(jiàn)的評(píng)價(jià)指標(biāo)對(duì)算法進(jìn)行評(píng)估，包括mDice（計(jì)算中用mmDice）系數(shù)、平均交并比（mIoU，計(jì)算中用mmIoU）、平均絕對(duì)誤 差（MAE，計(jì)算中 用MMAE）、F-measure 值［29］、S-measure 值［30］，其計(jì)算式如下：

其中：X和Y表示2 個(gè)集合，分別代表息肉預(yù)測(cè)圖和真實(shí)標(biāo)簽圖；n表示數(shù)據(jù)點(diǎn)數(shù)量；Yi表示第i個(gè)數(shù)據(jù)點(diǎn)的實(shí)際值；Xi表示第i個(gè)數(shù)據(jù)點(diǎn)的預(yù)測(cè)值；參數(shù)β2的取值為0.5；參數(shù)α用于權(quán)衡2 種度量的比例；SO和Sr為平衡系數(shù)。

2.4 消融實(shí)驗(yàn)分析

為驗(yàn)證級(jí)聯(lián)融合模塊（CFM）、多任務(wù)注意力模塊（MAM）和聯(lián)合注意力模塊（JAM）的有效性，本文進(jìn)行消融實(shí)驗(yàn)。本文實(shí)驗(yàn)以PVT 網(wǎng)絡(luò)作為基線，在此基礎(chǔ)上添加或減去各模塊進(jìn)行實(shí)驗(yàn)對(duì)比。每個(gè)模塊的使用情況用w/o 來(lái)表示，即不加入某模塊時(shí)模型的性能。各模塊消融實(shí)驗(yàn)結(jié)果如表1所示。

表1 各模塊消融實(shí)驗(yàn)結(jié)果 Table 1 Ablation experimental results of each module

從表1 可以看出各個(gè)模塊對(duì)提升模型性能的貢獻(xiàn)，PVT 在各個(gè)數(shù)據(jù)集中的指標(biāo)較差，加入其他模塊后性能有所提高，CPMJA-Net將所有模塊都加入模型中，性能達(dá)到最優(yōu)。當(dāng)網(wǎng)絡(luò)移除CFM 后，w/o CFM網(wǎng)絡(luò)在4 個(gè)數(shù)據(jù)集中的表現(xiàn)都有所下降，相比CPMJA-Net，mDice 系數(shù)分 別下降0.7、2.4、1.1 和0.6 個(gè)百分點(diǎn)。移除MAM 模塊后網(wǎng)絡(luò)性能都出現(xiàn)下降情況，相比CPMJA-Net，在所有數(shù)據(jù)集中的mDice和mIoU 最多下降為2.2 和2.6 個(gè)百分點(diǎn)。去除JAM后網(wǎng)絡(luò)的各項(xiàng)指標(biāo)與CPMJA-Net 相比所有指標(biāo)均有明顯下降。

2.5 比較實(shí)驗(yàn)分析

本文將CPMJA-Net 和U-Net［12］、UNet++［14］、SFA［31］、PraNet［16］、DCRNet［32］、MSEG［33］、CaraNet［34］、Polyp-PVT［19］和SANet［18］9 種腸道息肉檢測(cè)算法進(jìn)行對(duì)比。

2.5.1 定量比較

表2 和表3 所示為CPMJA-Net 模型與其他腸道息肉檢測(cè)算法在4 個(gè)主流數(shù)據(jù)集上mDice 系數(shù)、mIoU、Fβ、S和MAE 等指標(biāo)的對(duì)比，其中，加粗表示最優(yōu)數(shù)據(jù)，下劃線代表次優(yōu)數(shù)據(jù)。從表2 和表3 可以看出，CPMJA-Net 在4 個(gè)數(shù)據(jù)集上性能都表現(xiàn)為最優(yōu)，與每個(gè)數(shù)據(jù)及次優(yōu)的算法相比，CPMJA-Net的mDice 系 數(shù)在Kvasir、CVC-ClinicDB、CVC-ColonDB和ETIS 數(shù)據(jù)集分別提升0.7、0.8、0.4、0.4 個(gè)百分點(diǎn)，mIoU 也分別提升1.6、1.2、0.6 和0.5 個(gè)百分點(diǎn)，MAE 值分別降低0.3、0、0.2 和0.2 個(gè)百分點(diǎn)。綜合考慮所有數(shù)據(jù)集的上述5 個(gè)評(píng)價(jià)指標(biāo)，本文算法性能優(yōu)于其他算法。

表2 不同算法在Kvasir 和CVC-ClinicDB 數(shù)據(jù)集上的評(píng)價(jià)指標(biāo) Table 2 Evaluation indexes among different algorithms on Kvasir and CVC-ClinicDB datasets

表3 不同算法在CVC-ColonDB 和ETIS 數(shù)據(jù)集上的評(píng)價(jià)指標(biāo) Table 3 Evaluation indexes among different algorithms on CVC-ColonDB and ETIS datasets

2.5.2 定性比較

圖6 所示為CPMJA-Net 與其他算法在不同場(chǎng)景腸道息肉下的分割結(jié)果。從圖6 可以看出，CPMJA-Net 不僅可以準(zhǔn)確識(shí)別息肉區(qū)域，而且能夠保留相對(duì)細(xì)致的邊緣輪廓。相比之下，其他算法的預(yù)測(cè)圖像在前景和背景交界區(qū)域的像素存在模糊現(xiàn)象，無(wú)法顯示出清晰的輪廓。在前景和背景比較相似的情況下，其他算法檢測(cè)出的息肉區(qū)域不完整，而本文算法能將息肉完整地分割出來(lái)。此外，CPMJA-Net 也可以檢測(cè)出小型息肉，說(shuō)明對(duì)于小目標(biāo)的檢測(cè)也是適用的。綜上所述，CPMJA-Net在腸道息肉分割方面具有較優(yōu)的檢測(cè)性能和魯棒性，能夠更準(zhǔn)確地區(qū)分邊界上的像素，并還原出更清晰的邊緣。

圖6 不同算法的預(yù)測(cè)結(jié)果圖對(duì)比Fig.6 Comparison of prediction results images among different algorithms

通過(guò)上述比較可以看出，CPMJA-Net具有較優(yōu)的分割性能，此前表現(xiàn)最好的Polyp-PVT，由于CAM 模塊存在特征融合的局限性以及高階特征和低階特征明顯的差異性，使得其仍然有提升的空間，而CPMJANet的CFM 和JAM 模塊可以有效解決此問(wèn)題。

3 結(jié)束語(yǔ)

本文提出一種新的息肉檢測(cè)算法CPMJA-Net，解決過(guò)分割和注意力機(jī)制不足的問(wèn)題，提升解碼器的細(xì)節(jié)恢復(fù)能力，有助于獲得邊緣清晰的息肉檢測(cè)結(jié)果。級(jí)聯(lián)融合模塊將低級(jí)特征和中級(jí)特征進(jìn)行交互融合，探索兩者特征之間的高階關(guān)系，并通過(guò)殘差連接保留豐富的細(xì)節(jié)信息和語(yǔ)義信息，增強(qiáng)基于Transformer 網(wǎng)絡(luò)在對(duì)象分割任務(wù)中的局部特征表示能力。多任務(wù)注意力模塊將注意力分為前景、背景和偽裝區(qū)域，通過(guò)漸進(jìn)式融合方式將不同特征圖逐步進(jìn)行融合，最后輸出1 個(gè)息肉區(qū)域預(yù)測(cè)特征圖，有效地捕捉多個(gè)特征圖中的不同特征，降低模型復(fù)雜度，同時(shí)也可以減少噪音和冗余信息的干擾。聯(lián)合注意力模塊把高級(jí)特征和低級(jí)特征以交叉的方式進(jìn)行融合，實(shí)現(xiàn)相鄰2 層間的局部信息交換，豐富輸出特征的局部表達(dá)。在4 個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與U-Net、U-Net++、SFA 等網(wǎng)絡(luò)相比，CPMJA-Net具有較優(yōu)的魯棒性和分割精度。下一步將對(duì)基于視頻的息肉分割技術(shù)進(jìn)行研究，以處理帶有時(shí)間維度的動(dòng)態(tài)醫(yī)學(xué)影像，更準(zhǔn)確地定位和描述息肉的形態(tài)、大小、位置等信息。