跨尺度跨維度的自適應Transformer網(wǎng)絡應用于結直腸息肉分割

梁禮明， 何安軍， 李仁杰， 吳健

（江西理工大學 電氣工程及其自動化學院，江西 贛州 341000）

1 引 言

結直腸癌是世界上最常見的高發(fā)癌癥之一，具有極高的死亡率［1］。研究報告數(shù)據(jù)顯示，早期結直腸腺瘤息肉可以通過簡單手術予以切除，生存率高達95%。也就是說，早發(fā)現(xiàn)和準確診斷結直腸腺瘤息肉是有效降低死亡率的關鍵。但由于不同時期的結直腸息肉大小不一，形狀尺度變化大、邊界模糊且存在正常組織與病變區(qū)域相似度高等復雜特性［2］，使得結直腸癌息肉分割面臨眾多挑戰(zhàn)。

為了解決結直腸息肉難以準確分割的挑戰(zhàn)，許多學者提出傳統(tǒng)分割方法和基于深度學習的方法［3］，傳統(tǒng)方法主要依賴于人為選取特征，以區(qū)域生長，閾值圖像和統(tǒng)計形狀為主［4-6］。受到結直腸息肉圖像病變區(qū)域復雜特性的影響，傳統(tǒng)方法存在較大的局限性。隨著深度學習的普及，卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）以強大的特征提取能力在圖像處理領域開辟了新范式［7］。基于CNN結構的U型網(wǎng)絡在生物醫(yī)學語義分割任務中被廣泛運用。U-Net［8］采用對稱的編碼-解碼器結構，并在編碼-解碼器之間引入跳躍連接，使網(wǎng)絡可以很好地將深層語義信息和淺層細粒度信息進行融合。由于卷積操作僅進行局部運算，難以建立遠距離特征依賴關系，所以U-Net網(wǎng)絡結構在一定程度上仍有較大的改進空間。Jha等［9］采用空洞空間金字塔池化（Atrous Spatial Pyramid Pooling, ASPP）來擴大模型感受野，嵌入SE(Squeeze and Excitation)［10］注意力機制促進通道特征信息之間的依賴關系，有效改善了息肉的分割精度，但在邊緣細節(jié)上處理并不是很好。Fan等［11］使用并行部分解碼器進行特征聚合，采用反向注意力模塊構建區(qū)域和邊界線索之間的顯性關系，優(yōu)化了分割結果邊緣，但對小目標分割還存在漏檢現(xiàn)象。Lou等［12］提出CaraNet，設計上下文軸向注意力模塊和通道級特征金字塔模塊來提高模型對小目標的分割性能，但整體流程較為復雜。

Transformer［13］結構通過捕獲長距離依賴顯性關系，建模全局上下文信息，在醫(yī)學圖像分析領域獲得了出色的表現(xiàn)。Dai等［14］結合CNN和Transformer的優(yōu)點，首次將Transformer結構應用于多模塊醫(yī)學圖像分類任務，獲得了較好的分類效果。Chen等［15］提出TransUNet，設計雙邊融合模塊來處理不同分支的語義信息，改善了多器官和心臟圖像分割任務的精度，但該結構帶來了大量的浮點運算和參數(shù)，影響模型的實際應用。Wang等［16］采用金字塔視覺Transformer提取輸入圖像的語義信息，提出漸進式解碼器來強調(diào)局部特征和強化目標信息，提升了息肉分割精度，但在未知數(shù)據(jù)集上的泛化性能較差。Wu等［17］結合Swin Transformer結構分成多階段產(chǎn)生多個不同尺度特征，構建多尺度通道注意力機制和空間反向注意力機制，以提升網(wǎng)絡學習和提取結直腸息肉各種形態(tài)特征的能力，進一步優(yōu)化結直腸息肉分割結果，但該結構需要預訓練權重才能發(fā)揮其效果，導致網(wǎng)絡結構不能靈活調(diào)節(jié)。

針對結直腸息肉分割當前面臨的技術挑戰(zhàn)，本文提出一種跨尺度跨維度的自適應Transformer分割模型。該模型首先在金字塔視覺Transformer（Pyramid Vison transformer v2，PVTv2）基礎上融合CNN結構，不僅能有效提取全局上下文信息，還增強了網(wǎng)絡對局部特征的解析能力。然后設計多尺度密集并行解碼模塊來補充淺層網(wǎng)絡細粒度信息和深層網(wǎng)絡語義信息之間的語義空白。最后引入多尺度預測模塊以調(diào)整不同階段預測結果，逐步細化息肉區(qū)域的邊緣結構信息。

2 方 法

2.1 研究基礎

卷積神經(jīng)網(wǎng)絡（CNN）通過與圖像周圍像素進行點運算提高模型的局部感知能力，具有平移不變性和歸納偏差，但受到卷積核大小、網(wǎng)絡層數(shù)以及計算資源的限制，導致捕捉全局上下文特征信息的能力不足。而Transformer結構中的多頭注意力機制能有效建立短距離和遠距離的特征間距，使網(wǎng)絡能夠從全局角度解析語義信息。結直腸息肉病灶區(qū)域與正常腸黏膜對比度低、邊界模糊，有效處理全局語義信息和局部細節(jié)信息能對分割精度提升帶來很大的幫助。最近，基于Transformer結構方法在多種視覺任務上取得了與基于CNN結構相當?shù)男阅?，PVTv2［18］表現(xiàn)得相當出色，其核心Transformer編碼模塊如圖1所示。圖1中zi-1表示第i個Transformer編碼模塊經(jīng)過卷積前饋層和殘差連接后的輸出特征圖；z′i表示經(jīng)線性空間自注意力層和殘差連接后的輸出特征圖。

圖1 核心Transformer編碼模塊Fig.1 Core Transformer encoding block

每個Transformer編碼模塊均由層歸一化（Layer Normalization，LN）、線性空間自注意力層（Linear Spatial-reduction Attention Layer，LSRA）、卷積前饋層（Conv Feed-Forward，CFF）和殘差連接組成，卷積前饋層由全連接層、高斯誤差線性單元（Gaussion Error Linear Unit，GELU）和3×3的深度可分離卷積組成。其中，LSRA通過重塑圖像結構，縮短遠距離特征間距，從而增強網(wǎng)絡捕獲全局語義信息的能力。

LSRA接受三個相同維度的特征向量，分別是查詢矩陣Q，鍵矩陣V和值矩陣K。相比于傳統(tǒng)的多頭注意力層，LSRA采用平均池化操作降低矩陣K和V的空間尺寸，在很大程度減少了計算開銷。具體的計算過程如下：

其中：Concat(?)表示連接操作；WQj∈RCi×dhead，為線性投影參數(shù)；Ni表示第i階段注意力層的頭數(shù)，即每個頭部的尺度（dhead）為表示第i階段輸出通道數(shù)；LSR(?)是降低輸入序列（K或V）空間維度操作，其計算式為LSR(x)=Norm(Reshape(x，P)WS)，其中，x∈R(HiWi)×Ci表示輸入序列；P為線性池化大小，設置為7；Reshape(x，P)是將輸入序列x重塑大小為P2×Ci，WS∈RCi×Ci是一種線性投影；Norm(?)值歸一化層。

自注意力層使用位置編碼方式來確定圖像上下文信息，其輸出結果是輸出圖像尺寸保持不變。當訓練圖像尺寸與測試圖像尺寸不一致時，需要對圖像進行插值操作來保持統(tǒng)一尺寸，而插值操作容易造成局部細節(jié)信息的丟失，導致分割結果精度下降。受到文獻［19］的啟發(fā)，為了改善零填充對位置編碼泄露的影響，在LSRA后引入卷積前饋層。卷積前饋層計算式為：

其中：MLP(?)表示多層感知器；GELU(?)表示激活函數(shù)；DWConv3×3(?)表示3×3的深度可分離卷積；xin表示自注意力層的輸出。

2.2 總體結構

為了減少空間歸納偏差和增強網(wǎng)絡對上下文特征信息的有效表示，針對結直腸息肉的特點，本文提出一種跨尺度跨維度的自適應Transformer網(wǎng)絡（Cross-Scale and Cross-Dimensional Adaptive Transformer Network，SDAFormer）應用于結直腸息肉分割，如圖2所示。其網(wǎng)絡結構主要包括編碼器、混合注意力機制、多尺度密集并行解碼（Multi-scale Dense Parallel Decoding，MDPD）模塊和多尺度預測（Multi-Scale Prediction，MSP）模塊。其中，編碼器采用在ImageNet數(shù)據(jù)集上預訓練的PVTv2網(wǎng)絡模型，逐層提取結直腸息肉圖像的空間信息和語義信息，輸出多尺度特征圖；混合注意力機制通過強調(diào)特征圖的病灶部分，有效建立不同階段，不同特征圖之間的通道信息聯(lián)系，以抑制背景噪聲影響并為目標區(qū)域分配合適的學習權重；多尺度密集并行解碼模塊用于深層網(wǎng)絡信息和淺層網(wǎng)絡信息的互補，融合空間信息和語義信息；多尺度預測模塊以可學習的方式來獲取一組權重系數(shù)，對權重系數(shù)進行自適應加權加法來糾正預測錯誤分類結果。

圖2 跨尺度跨維度的自適應Transformer網(wǎng)絡Fig.2 Cross-scale and cross-dimensional adaptive transformer network

2.3 混合注意力機制

由于結直腸息肉圖像中病灶區(qū)域的局部特征具有相關性，簡單地融合淺層細粒度信息和深層語義信息，容易引入背景噪聲等其他無關信息。為了自動調(diào)整不同特征之間的依賴關系，對重要特征施加合適的學習權重，在網(wǎng)絡跳躍連接處引入空間注意力橋（Spatial Attention Bridge，SAB）模塊和通道注意力橋（Channel Attention Bridge，CAB）模塊［20］。相比于CBAM［21］，SAB更加輕量級，能夠在計算資源有限的情況下提供較好的注意力增益。CAB相對于SAB更加重量級，但在特征圖的通道數(shù)較多時能夠提供更好的注意力增益。

2.3.1 空間注意力橋模塊

使用空間注意力橋模塊來充分利用編碼器不同階段、不同尺度的特征信息，聚焦特征圖中病灶部分，抑制背景噪聲。算法偽代碼（算法1）表示為：

Algorithm 1： Spatial attention bridge block Inputs： The input maps of the four channel attention bridge block Ci，i=1，2，3，4 Outputs： Si，i=1，2，3，4 1： χi mean=AvgPool（Ci） /*avg-pooling*/2： χi max=MaxPool（Ci）/*max-pooling*/3： χi s=Concat（hi mean，hi max）/*Concatenate the feature map odd*/4： α=Conv7×7(hc)/*7×7 convolution operation*/5： ε=σ(β)/*After sigmoid， the feature map becomeC×H×1*/6： Si=ε*Ci+Ci/*The feature map of sigmoid with the original feature and then add */End

首先將來自編碼器四個階段的輸出特征圖分別進行全局平均池化和全局最大池化，平均池化對結直腸息肉病灶區(qū)域進行去噪，最大池化用于凸顯圖像待分割的目標區(qū)域；然后拼接同一階段池化后的特征圖，將拼接后的特征圖輸送到權值共享的擴展卷積運算中（擴展卷積運算由一個卷積核大小為7，擴張率為3，填充量為9的卷積組成），使用Sigmoid函數(shù)生成空間注意力圖，最后將生成的空間注意圖以逐元素的方式與原始輸入特征圖相乘，并引入殘差結構。圖3為空間注意力橋模塊示意圖。

圖3 空間注意力橋模塊Fig.3 Spatial attention bridge block

空間注意力橋模塊的具體表示為：

其中：Avg表示全局平均池化；Max表示全局最大池化；Conv7d表示7×7卷積；Ei表示第i階段輸出特征圖；Concate表示拼接操作；

2.3.2 通道注意力橋模塊

多階段，多尺度信息的獲取對于不同大小目標的分割起著至關重要的作用。在空間注意力橋模塊后面引入通道注意力橋模塊有利于建立不同階段特征圖之間的長期依賴關系，從而增強重要信息的微觀表達能力。算法偽代碼（算法2）表示為：

通道注意力橋模塊將多階段，多尺度信息的融合細分為局部信息融合（一維卷積操作）和全局信息融合（每個階段都有不同的全連接層），來提供更豐富信息的通道注意力圖。首先將來自SAB四個階段特征圖分別進行全局平均池化，然后拼接四個階段池化結果得到1×1×C權重值。接著使用由一個3×3卷積核和全連接層組成多層感知器網(wǎng)絡來促進局部信息和全局信息的交互，使用Sigmoid函數(shù)生成通道注意力圖，最后將生成的通道注意圖以逐元素的方式與原始輸入特征圖相乘，并引入殘差結構。圖4為通道注意力橋模塊示意圖。

Algorithm 2： Channel attention bridge block Inputs： The input maps of the four stagesEi，i=1，2，3，4 Outputs： Ci，i=1，2，3，4 1： hi mean=AvgPool（Ci） /*avg-pooling*/2： hc=Concat（h1 mean，h2 mean，h3 mean，h4 mean）/*Concatenate the feature map of avg-pooling*/3： β=Conv3×3(hc)/*3×3 convolution operation*/4： γ=σ(β)/*After sigmoid， the feature map becomeC×H×1*/5： Ci=γ*Ei+Ei/*The feature map of sigmoid with the original feature and then add */End

圖4 通道注意力橋模塊Fig.4 Channel attention bridge block

通道注意力橋模塊可表示為：

其中：GAP表示全局平均池化；Concate表示拼接操作；FCi表示第i階段全連接層；Conv1d表示3×3標準卷積。

2.4 多尺度密集并行解碼模塊

網(wǎng)絡解碼階段得到不同尺度特征圖，這些特征圖蘊含的語義信息和空間細節(jié)信息像素相關性是不同的，通過直接上采樣操作來恢復圖像特征的空間細節(jié)，容易造成局部細節(jié)信息丟失［22］。因此，本文設計一種新的多尺度密集并行解碼模塊來對各階段輸出圖像進行解碼重建，其結構如圖5所示。

圖5 多尺度密集并行解碼模塊Fig.5 Multi-scale dense parallel decoding block

多尺度密集并行解碼模塊由標準3×3卷積，批量歸一化（BN）層，ReLU激活函數(shù)和上采樣層組成。模塊首先將高級特征圖C4進行雙線性插值上采樣操作，使其分辨率與特征圖C3相匹配，然后通過兩個標準3×3卷積、批量歸一化和Re-LU激活函數(shù)來傳遞語義結果，得到傳遞結果C41和C31，再將得到的結果C41與原特征圖C31進行矩陣乘法并引入殘差結構，最后利用卷積單元來平滑連接特征，得到第三階段融合特征圖。重復上述過程，直至融合所有階段的輸出，最終得到四個階段的預測輸出結果。

2.5 多尺度預測模塊

在結直腸息肉病理圖像中，病變區(qū)域通常具有不同的形狀和大小，且與正常組織高度一致。由于腸黏膜特征的相似性，精細的息肉外觀特征及容易被忽視。為了促進網(wǎng)絡對邊緣細節(jié)的識別能力，F(xiàn)an等［11］和Lou等［12］提出反向注意力模塊和軸向注意力模塊減少目標邊緣像素點的誤分類。文獻［23］提出一種多尺度預測模塊，以可學習的方式獲取一組權重系數(shù)整合不同階段的預測結果，其結構如圖6所示。

圖6 多尺度預測模塊Fig.6 Multi-scale prediction block

具體來說，在多尺度密集并行解碼模塊獲得輸出特征圖Fi后，采用四個并行的1×1卷積和上采樣（Upsampling）操作獲取不同階段對應的輸出二進制掩碼Pi。同時，將輸出特征圖Fi全局平均池化進行空間信息壓縮，然后使用4個并行的1×1的卷積來匹配池化后特征的維度，將匹配后的特征圖先進行信道加法融合，再通過兩個連續(xù)的全連接層進一步編碼，利用Sigmoid函數(shù)得到權重系數(shù)，最后采用自適應加權加法得到預測輸出掩膜。

3 實驗與分析

3.1 數(shù)據(jù)集和實驗設置

為了驗證本文模型的有效性，實驗采用4個公開的結直腸息肉數(shù)據(jù)集，即CVC-ClinicDB［24］、Kvasir-SEG［25］，CVC-ColonDB［26］和ETIS［27］。其中CVC-ClinicDB數(shù)據(jù)庫包含612張分辨率大小為384×288的結腸鏡圖像；Kvasir-SEG數(shù)據(jù)集包含了1 000張結腸鏡圖像和分割掩膜；CVCColonDB數(shù)據(jù)集包含了380張分辨率為574×500的結腸鏡圖像；ETIS數(shù)據(jù)集包含了196張分辨率為1 226×996的結腸鏡圖像。實驗訓練由未經(jīng)過任何數(shù)據(jù)增強隨機抽取550張CVC-ClinicDB數(shù)據(jù)圖像和900張Kvasir-SEG數(shù)據(jù)圖像組成，測試集由剩下的62張CVC-ClinicDB數(shù)據(jù)圖像、100張Kvasir-SEG數(shù)據(jù)圖像、196張ETIS數(shù)據(jù)圖像和380張CVC-ColonDB數(shù)據(jù)圖像組成。為了方便模型訓練和測試，將訓練集圖像統(tǒng)一分辨率352×352。

本實驗在操作系統(tǒng)Windows11進行；建模基于深度學習架構Pytorch 3.9（Facebook Inc.，美國）和計算統(tǒng)一設備架構CUDA 12.1（Nvidia Inc.，美國）。計算機具體配置：顯卡（Nvidia Ge-Fore GTX 4070 Ti GPU，Nvidia Inc.，美國）、中央處理器（Intel Core TM i5-13600KF CPU，Inter Inc.，美國）。模型使用以加權二進制交叉熵損失函數(shù)和加權交并比損失函數(shù)為基礎的聯(lián)合損失，采用自適應矩估計優(yōu)化器（Adam），實驗迭代次數(shù)50，批量大小設置為6，初始學習率5×10-5，動量設置為0.9，并使用多尺度訓練策略｛0.75，1，1.25｝。

3.2 評估指標

本文采用Dice相似性系數(shù)、平均交并比（Mean Intersection Over Union，MIoU）、召回率（Sensitivity，SE）、精確率（Precision，PC）、F2得分和平均絕對誤差（Mean Absolute Error，MAE）來對結腸息肉的分割結果進行評估。其具體計算式分別為：

其中：X為預測輸出圖像，Y專家標注的金標簽圖像，TP為預測結果中正確分類的前景像素數(shù)目，F(xiàn)N為預測結果中被錯誤分類為前景像素數(shù)目，F(xiàn)P為預測結果中被錯誤分類為背景像素數(shù)目，N為圖像中的像素點數(shù)。

3.3 對比試驗

為了驗證本文方法在結直腸息肉數(shù)據(jù)集分割方面的優(yōu)勢，分別與經(jīng)典醫(yī)學圖像分割網(wǎng)絡UNet，EU-Net［28］，PraNet和CaraNet以及最近提出基于Transformer結構的醫(yī)學圖像分割網(wǎng)絡PolypPVT［21］，SSFormer和MSRAFormer進行比較，實驗結果如表1~表2所示。表中最優(yōu)指標加粗表示。

表2 CVC-ColonDB和ETIS數(shù)據(jù)集上不同網(wǎng)絡分割結果Tab.2 Segmentation results of different networks on CVC-ColonDB and ETIS datasets

表1給出本文模型和其他7種模型在Kvasir和CVC-ClinicDB數(shù)據(jù)集上的評估結果，表2給出本文模型和其他7種模型在CVC-ColonDB和ETIS上的評估結果，在Dice指標和MIoU指標均為最高。Dice指標是用于衡量分割結果中預測像素數(shù)量與總數(shù)量的比例，值越高表示分割結果與真實標簽越接近，分割質(zhì)量越高。F2得分是綜合考慮召回率和精確度，相比于F1分數(shù)，F(xiàn)2分數(shù)更加重視召回率，值越高表示能更準確地將目標對象從背景中分割出來。表2顯示，在Kvasir和CVC-ClinicDB數(shù)據(jù)集中，本文方法的Dice和F2得分分別為0.932，0.942和0.931，0.954，相比基于CNN的基礎網(wǎng)絡CaraNet，分割結果分別提高了1.4%，1.7%和0.6%，0.6%。與基于Transformer結構的PolypPVT相比，Dice指標分別提高了1.5%和0.5%。表2顯示，本文方法在CVC-ColonDB和ETIS數(shù)據(jù)集上的Dice和MIoU指標分別為0.811，0.805和0.731，0.729。實驗結果表明，本文方法分割效果更好，泛化性能更加，病變區(qū)域誤分類更少。

表3給出了本文網(wǎng)絡和其他7種網(wǎng)絡的模型參數(shù)性能，以Transformer結構為基礎的Polyp-PVT，SSFormer-L，MSRAformer和本文方法在分割性能指標上均高于基于CNN結構的U-Net，EUNet和PraNet。在一定程度上Transformer結構會提升網(wǎng)絡的參數(shù)量和計算復雜度，相比于其他7種網(wǎng)絡本文方法在參數(shù)量上獲得最優(yōu)，計算復雜度和單輪訓練時長均獲得了次優(yōu)結果，分別為24.99 M，10.01 G 和 127 s。相比于基于Transformer結構MSRAformer，本文方法參數(shù)量和計算復雜度分別降低了63.26%和52.98%。相比于基于CNN結構的EUNet，本文方法參數(shù)量和計算復雜度分別降低了20.31%和18.31%。綜合分析，本文方法在兼顧參數(shù)量、計算量和推理時間的情況下，獲得較好的分割結果，實現(xiàn)了網(wǎng)絡分割性能的提升。

表3 不同網(wǎng)絡性能對比（CVC-ClinicDB）Tab.3 Performance comparison of different networks（CVC-ClinicDB）

圖7和圖8分別顯示了本文方法和上述7種方法在CVC-ClinicDB，Kvasir，ETIS和CVCColonDB數(shù)據(jù)集上的分割結果，從上往下依次為原始輸入圖像、金標簽、U-Net，EU-Net，PraNet，CaraNet，Polyp-PVT，SSFormer，MSRAFormer和本文方法。從圖7~圖8可以看出，在病灶區(qū)域占比較小的病理圖像中，EU-Net不能很好地區(qū)分背景和前景，出現(xiàn)大量的誤檢現(xiàn)象。Polpy-PVT使用相似性聚合模塊有效分割病灶區(qū)域占比小的病理圖像，但分割大面積病灶區(qū)域時分割結果出現(xiàn)內(nèi)部不連貫現(xiàn)象。SSFormer和CaraNet減少了分割結果內(nèi)部不連貫情況，但分割結果邊緣不平滑、出現(xiàn)偽影。U-Net和PraNet建模全局信息能力不足，存在大量漏檢錯檢的現(xiàn)象，易將背景錯分成前景。由于結直腸息肉病灶區(qū)域與正常組織對比度低，如圖7第4列和圖8第9列所示，U-Net，PraNet和MSRAFormer把病灶區(qū)域較深的區(qū)域當作正常組織，把正常組織較淺的區(qū)域錯認為病灶部分，誤檢現(xiàn)象十分嚴重。同時，由于結直腸息肉的復雜特性，病灶區(qū)域常常被淹沒在腸黏膜中，病灶區(qū)域變化大常常成為分割的難點，如圖7第7列和圖8第2列所示，EUNet，Polyp-PVT和CaraNet不能高效定位病灶區(qū)域，導致正常組織與病灶邊緣分割粗糙，出現(xiàn)偽影。相比之下，本文方法通過Transformer編碼器對全局上下文信息進行高效建模，以有效應對結直腸息肉病灶區(qū)域尺度變化大的特點，利用混合注意力機制高顯病灶區(qū)域，減少背景干擾因素的影響，采用多尺度預測模塊細化邊緣信息，減少分割結果邊緣不光滑、偽影現(xiàn)象。綜合對比分割結果，本文方法不管是在視覺效果上還是在分割精度上均更勝一籌。

圖7 Kvasir和CVC-ClinicDB數(shù)據(jù)集上不同網(wǎng)絡分割結果Fig.7 Segmentation results of different networks on Kvasir and CVC-ClinicDB datasets

圖8 CVC-ColonDB和ETIS數(shù)據(jù)集上不同網(wǎng)絡分割結果Fig.8 Segmentation results of different networks on CVC-ColonDB and ETIS datasets

3.4 消融實驗

為了探究本文方法各模塊對整體模型分割性能的影響，在Kvasir和CVC-ColonDB數(shù)據(jù)集上進行消融研究。M1在分層Transformer編碼器的基礎上加入多尺度密集并行解碼模塊，M2是在M1的基礎上添加空間注意力橋模塊，M3是在M2的基礎上添加通道注意力橋模塊，M4是在M3的基礎上添加多尺度預測模塊，即本文所提方法。消融結果如表4所示，最優(yōu)指標加粗表示?；旌贤ǖ雷⒁饬C制能有效建立通道信息之間的聯(lián)系，抑制背景噪聲的影響，提升網(wǎng)絡的相似性系數(shù)和平均交并比。多尺度預測模塊對多尺度特征進一步挖掘邊緣細節(jié)信息，糾正預測分類結果，提升網(wǎng)絡像素精度和F2得分，消融實驗進一步驗證了各模塊對整體模型的貢獻。

表4 各模塊在Kvasir和CVC-ColonDB數(shù)據(jù)集上消融結果Tab.4 Ablation results of each module on the Kvasir and CVC-ColonDB datasets

4 結 論

本文提出跨尺度跨維度的自適應Transformer網(wǎng)絡應用于結直腸息肉分割，有效地改善了結直腸息肉分割時邊緣細節(jié)信息丟失和病灶區(qū)域誤分割等問題。使用Transformer編碼器提取結直腸息肉圖像病灶特征，通過在網(wǎng)絡跳躍連接處引入混合注意力機制，以減少通道維度冗余和增強模型的空間感知能力。同時設計一種新的多尺度密集并行解碼模塊，充分融合不同尺度的特征信息。最后利用多尺度預測模塊激活病灶區(qū)域邊界的特征響應，進一步優(yōu)化分割結果。在CVC-ClinicDB和Kvasir-SEG數(shù)據(jù)集的Dice相似性系數(shù)分別為0.942和0.932，相比于基于Transformer結構的SSFormer分別提高了3.6%和1.4%，分割性能優(yōu)于現(xiàn)有算法，對結直腸息肉的診斷具有一定的臨床應用價值。為驗證該方法的泛化性和普適性，在CVC-ColonDB和ETIS數(shù)據(jù)集上進行了驗證，實驗結果表明本方法在未知數(shù)據(jù)集上適應能力較強。