融入交叉注意力編碼的皮膚病變分割網(wǎng)絡(luò)

李大湘，楊福杰，劉 穎，唐垚

（西安郵電大學 通信與信息工程學院，陜西 西安 710121）

1 引言

皮膚癌作為美國乃至全世界最常見的癌癥，其發(fā)病率正在逐年快速上升，給全球健康帶來了巨大的威脅與挑戰(zhàn)［1］。臨床上皮膚癌主要分為惡性黑色素瘤（Malignant Skin Melanoma，MSM）和非黑色素瘤皮膚癌（Non Melanoma Skin Cancer，NMSC），其中90%以上的皮膚癌死亡病例均由MSM 導(dǎo)致。臨床上，醫(yī)生通常采用“ABCDE”法則來辨別MSM，其中A，B，C，D 和E 分別表示痣的形狀不對稱、邊緣不規(guī)則、顏色不均勻、直徑改變、大小改變以及進展性改變［2］。通過早期發(fā)現(xiàn)，MSM 的5 年生存率可達99%，而延遲診斷導(dǎo)致生存率下降至23%［3］。因此，運用圖像分割技術(shù)對每張皮膚病變圖像進行目標區(qū)域的分割，具有較高的臨床意義。

目前，皮膚病變圖像分割方法可分為傳統(tǒng)圖像分割方法和基于深度學習的分割方法。其中，傳統(tǒng)分割方法包括閾值處理、活動輪廓模型和監(jiān)督學習方法［4］，但由于皮膚病變圖像中的病變區(qū)域與周圍區(qū)域?qū)Ρ榷鹊停也∽兊奈恢?、形狀、顏色和邊界各不相同，傳統(tǒng)方法難以準確的分割皮膚病變區(qū)域。隨著深度學習的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）已廣泛應(yīng)用于各類分割任務(wù)，其中基于全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）［5］和 UNet［6］的一系列擴展已取得良好的分割性能。例如：SpineParseNet［7］將用于三維粗分割的圖卷積分割網(wǎng)絡(luò)與用于二維分割細化的殘差U 型網(wǎng)絡(luò)組合，實現(xiàn)了對體積MR 圖像的脊椎解析。UNet++［8］設(shè)計一系列嵌套且密集的跳躍連接，減少了編碼器和解碼器之間的語義差距；Attention U-Net［9］提出一種新型的注意力門控機制，并將其與U-Net 相結(jié)合，使網(wǎng)絡(luò)能夠自動學習并關(guān)注具有不同形狀和大小的目標結(jié)構(gòu)，同時抑制不相關(guān)的特征響應(yīng)。該網(wǎng)絡(luò)在腹部CT 的多標簽分割問題上取得了良好的分割效果；CA-Net［10］提出了一個全面的基于注意力的CNN 網(wǎng)絡(luò)，即通過向U-Net 網(wǎng)絡(luò)中引入多個注意力模塊，同時了解最重要的空間位置、通道和尺度信息，實現(xiàn)準確且具有可解釋性的醫(yī)學圖像分割網(wǎng)絡(luò)。雖然上述基于CNN 的方法能有效捕捉局部細節(jié)信息，但由于卷積結(jié)構(gòu)存在局部感受野，該類網(wǎng)絡(luò)通常無法對皮膚損傷圖像中的目標形狀和邊界信息進行建模［11］。為了解決這一問題，文獻［12］提出了一種基于視覺Transformer（Vision Transformer，ViT）的網(wǎng)絡(luò)，其通過自注意力機制捕獲長期依賴關(guān)系并編碼形狀表示，解決了卷積結(jié)構(gòu)缺乏對圖像中全局上下文理解的問題。受此啟發(fā)，許多工作將Transformer 引入到醫(yī)學圖像分割任務(wù)中。例如：TransUNet［13］首先在編碼部分使用CNN 提取底層特征圖譜，然后通過Transformer對全局上下文信息進行建模，在解碼部分對編碼后的特征進行上采樣，并采用跳躍連接技術(shù)，在CT 多器官分割任務(wù)中創(chuàng)造了新的記錄。Trans-Fuse［14］通過并行的方式將CNN 與Transformer結(jié)合，使網(wǎng)絡(luò)以更淺的方式有效地捕捉全局依賴性和低級空間細節(jié)，提高了網(wǎng)絡(luò)建模全局上下文的效率。但由于自注意力機制的計算復(fù)雜度隨圖像大小的平方倍增加，導(dǎo)致大多數(shù)基于Transformer 的網(wǎng)絡(luò)具有較高的計算復(fù)雜度和參數(shù)量，且其將輸入視為1 維序列，僅關(guān)注于全局上下文建模，導(dǎo)致低分辨率特征圖譜缺乏詳細的定位信息。而這種信息并不能通過直接上采樣進行有效地恢復(fù)，導(dǎo)致了粗略的分割結(jié)果。

針對上述網(wǎng)絡(luò)存在的問題，本文提出一種融入交叉注意力編碼的U 型混合網(wǎng)絡(luò)（U-shaped hybrid network，UH-Net），用于皮膚病變圖像分割。首先，本文構(gòu)造了一個高效的多頭門控位置交叉自注意力（Multi-head Gated Position Cross Self-Attention，MhGPCSA）編碼器，并將其引入到U 型網(wǎng)絡(luò)的最后兩個層級中，用于建模全局上下文信息，使得網(wǎng)絡(luò)能夠捕獲目標區(qū)域的形狀和邊界信息；其次，在跳躍連接中引入一個新的位置通道注意力（Position Channel Attention，Pos-CA）機制，以使網(wǎng)絡(luò)在建模通道關(guān)系的同時保留精確的位置信息，提高其捕獲病變區(qū)域的空間結(jié)構(gòu)能力；最后，針對Dice 損失無法平衡假陽性（False Positive，F(xiàn)P）與假陰性（False Negative，F(xiàn)N）的問題，設(shè)計了一個正則化Dice 損失函數(shù)，使網(wǎng)絡(luò)在推理過程中同時關(guān)注于輸入圖像的前景與背景區(qū)域，提高網(wǎng)絡(luò)的分割性能。

2 網(wǎng)絡(luò)構(gòu)造

2.1 網(wǎng)絡(luò)整體架構(gòu)設(shè)計

針對皮膚病變圖像中存在目標區(qū)域形狀變化大，邊界不明顯的問題，本文提出一種融入交叉注意力編碼的皮膚病變圖像分割網(wǎng)絡(luò)（UHNet），其網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，共設(shè)計了五層U型混合網(wǎng)絡(luò)，其中前三層級采用的是卷積操作，以捕獲淺層特征而使網(wǎng)絡(luò)前端更注重圖像的局部細節(jié)信息，而在網(wǎng)絡(luò)的最后兩個層級采用的是MhGPCSA 編碼器，以彌補卷積操作建模全局信息能力的不足；在跳躍連接中，向融合后的特征圖譜中引入PosCA 模塊，用于編碼通道信息，并將結(jié)果輸入到解碼器中。最后通過正則化Dice損失函數(shù)實現(xiàn)皮膚病變圖像中目標區(qū)域的分割。

圖1 UH-Net 網(wǎng)絡(luò)整體架構(gòu)設(shè)計示意圖Fig.1 Schematic of overall architecture design of UH-Net network

2.2 MhGPCSA 編碼器

為了在圖像中學習語義信息的長期依賴關(guān)系，本節(jié)設(shè)計了一個新的門控位置交叉自注意力（Gated Position Cross Self-Attention， GPCSA）機制，且基于它構(gòu)造了MhGPCSA編碼器，并將其融入UH-Net的最后兩個層級，使網(wǎng)絡(luò)能夠高效地捕獲圖像的全局上下文信息，以緩解卷積操作全局建模能力的不足，提高其分割性能。相關(guān)原理如下：

2.2.1 GPCSA機制

給定任意輸入特征圖譜F∈RC×H×W，其中C，H和W分別表示F的通道數(shù)、高度和寬度。首先，使用三個1×1卷積來投影特征圖譜F，分別生成三個新的特征圖譜Q，K和V，即：

其中：f1×1表示1×1 卷積，設(shè)f1×1卷積核個數(shù)均為C′，則Q，K與V∈RC′×H×W，即它們通道數(shù)均為C′；然后，在Q中的任意空間位置i(i=1，2，…，H×W) 上沿通道維度抽取特征向量qi∈RC′×1，并在K中抽取與位置i處于同一行或同一列（即十字形鄰域）的所有特征向量，獲得特征向量集合記為Ki∈RC′×(H+W-1)，同理在V中抽取與位置i處于同一行或同一列的特征向量，獲得特征向量集合Vi∈RC′×(H+W-1)，則可得到qi∈RC′×1的交叉注意力輸出zi∈RC′×1，即：

其中：Ki，u∈RC′×1與Vi，u∈RC′×1分別表示Ki與Vi中的第u個列向量表示qi的轉(zhuǎn)置。

雖然上述交叉注意力機制可使網(wǎng)絡(luò)在圖像中學習語義信息的長期依賴關(guān)系，但由于該操作專注于建模全局上下文信息，導(dǎo)致低分辨率特征圖譜缺乏詳細的位置信息，而在圖像分割任務(wù)中，不同目標的相對位置關(guān)系通常利于捕捉目標結(jié)構(gòu)。因此，為了提高網(wǎng)絡(luò)捕獲目標結(jié)構(gòu)的能力，受文獻［15］的啟發(fā)，設(shè)計了一個新的GPCSA機制（如圖2 所示），即在計算注意力權(quán)值時，添加相對位置編碼項與門控項，以使其對位置信息更加敏感，進而提高網(wǎng)絡(luò)的分割精度，則公式（2）可改寫為：

圖2 門控位置交叉注意力（GPCSA）機制示意圖Fig.2 Schematic of Gated position cross self-attention mechanism

最后，對于Q中的所有空間位置i沿通道抽取的qi∈RC′×1，按式（3）進行GPCSA 計算重組，則輸入的特征圖譜F被重構(gòu)為一個新的特征圖譜Z，該過程記為：

其中，Z表示GPCSA 重構(gòu)的結(jié)果。

2.2.2 MhGPCSA 編碼器

由于單個GPCSA 機制只能捕獲每個像素對應(yīng)的交叉路徑的上下文信息，導(dǎo)致其無法與周圍不在交叉路徑中的像素建立聯(lián)系，為了解決這一問題，可通過連續(xù)使用兩層GPCSA 機制來對特征圖譜的全局上下文信息建模，并在GPCSA 的基礎(chǔ)上設(shè)計MhGPCSA 編碼器，以使網(wǎng)絡(luò)能夠關(guān)注來自同一位置的不同通道間的子空間信息。圖3 為設(shè)計的MhGPCSA 編碼器結(jié)構(gòu)示意圖，對于輸入的特征圖譜F∈RC×H×W，對其編碼過程可描述為：

圖3 多頭門控位置交叉自注意力編碼器Fig.3 Multi-head gated position cross self-attention encoder

其中：BN()，ReLU()與MhGPCSA()分別表示層歸一化、ReLU 激活函數(shù)與MhGPCSA 操作，Conv()表示C個不同1×1 核的卷積操作，F(xiàn)ˉ∈RC×H×W表示編碼器的最終輸出。MhGPC-SA 是GPCSA 的擴展，即并行地運行8 個GPCSA 操作，每個注意力頭將從不同的視角捕獲特征圖譜F的長期依賴關(guān)系而挖掘其全局上下文信息，并將它們的輸出串聯(lián)起來作為最終重構(gòu)結(jié)果，即：

其中：Concat[；]表示將每個注意力頭的輸出結(jié)果沿通道維度進行拼接。為了使F經(jīng)MhGPCSA 重構(gòu)之后，其輸出Z′與輸入F保持相同的維度，式（3）所示的每個GPCSA 頭輸出的維度C′設(shè)置為輸入元素維度的8 分之一，即C′=C/8。

在SE-Net［16］等傳統(tǒng)的通道注意力（Channel Attention，CA）機制中，對于輸入特征圖譜F∈RC×H×W（其中C、H與W分別表示其通道數(shù)、高度與寬度），通常采用”二維全局平均池化”將其綜合為C×1×1 的特征描述符，即：

其中：FGAP∈RC×1×1表示輸入經(jīng)過池化 后的結(jié)果。顯然，式（7）所示的二維池化（即同時沿高與寬二個維度進行池化）將每個通道的C個數(shù)壓縮為一個數(shù)，導(dǎo)致生成的CA 權(quán)值不帶有位置信息，若直接將其用在分割網(wǎng)絡(luò)中，則不利于像素的精確定位而影響分割精度。所以，本節(jié)分別沿高與寬維度定義了“一維全局平均與最大池化”用于建模通道關(guān)系且兼顧空間位置信息，即：

圖4 位置通道注意力機制Fig.4 Position channel attention mechanism

對于輸入特征圖譜F，先用式（8）和式（9）所示一維池化分別沿F的寬度軸和高度軸對其進行信息聚合，生成四種上下文描述符,，和；然后，由于平均和最大池化在特征聚合時發(fā)揮的作用存在差異，則不應(yīng)對它們進行簡單的相加融合。因此，引入兩組自適應(yīng)機制，分別對高、寬度方向的池化結(jié)果進行自適應(yīng)融合，二個不同方向的融合圖譜記為FX∈RC×H×1與FY∈RC×1×W；最后，在通道信息交互時，針對SENet 采用全連接層會存在通道降維而帶來信息丟失的問題，PosCA 機制使用快速一維卷積實施通道交互，再結(jié)合Sigmoid 激活函數(shù)得到二個方向的注意力權(quán)重MX∈RC×H×1與MY∈RC×1×W，即：

其中：α1，β1，α2和β2表示自適應(yīng)機制加權(quán)系數(shù)，作為可學習參數(shù)在網(wǎng)絡(luò)訓(xùn)練過程中通過隨機梯度下降法進行訓(xùn)練，?表示廣播元素乘法，σ表示Sigmoid 函數(shù)。C1Dk×1×1表示核大小為k的一維卷 積，k值使用ECA［17］中的經(jīng)驗公式計算，即：

其中：|t|odd表示離t最近的奇數(shù)，C為通道數(shù)。γ和b均為超參數(shù)，本文在所有的實驗中將其分別設(shè)置為2 和1，因此一維卷積核大小由通道數(shù)C自適應(yīng)地確定；最后，將輸入特征圖譜F與MX，MY進行廣播乘法，得到PosCA 模塊的輸出。其表達式為：

其中，?表示廣播元素乘法。由式（13）可知，PosCA 機制可給F中不同空間位置處的數(shù)據(jù)賦于不同的注意力，即可有差別地為圖像中不同目標給于相應(yīng)的注意力而提高其定位能力，從而提高整個網(wǎng)絡(luò)分割精度。

2.4 損失函數(shù)及正則化

在醫(yī)學圖像分割任務(wù)中，由于FN 較之FP 將付出更大的代價，則在網(wǎng)絡(luò)訓(xùn)練過程中，希望所有“前景（病變區(qū)域）”都能被分割出來，所以傳統(tǒng)的分割網(wǎng)絡(luò)采用的損失函數(shù)均為Dice 損失函數(shù)［18］，其表達式為：

其中，β為可學習的正則化參數(shù)，用于控制正則化項在網(wǎng)絡(luò)訓(xùn)練過程中所占比重，其隨網(wǎng)絡(luò)的不斷迭代自動地調(diào)整優(yōu)化。分析式（15）所示的損失函數(shù)可知，由于(1-pi)的制約，若pi=1（即前景）則損失為0，所以正則化只關(guān)注背景區(qū)域被誤分所造成的損失，即網(wǎng)絡(luò)在訓(xùn)練時，若更多的背景被分割為前景（FP 過高）時，則更多的趨向于1，導(dǎo)致正則化項中的In(1-將更趨向于負無窮大，再與前面的“負號”結(jié)合，將導(dǎo)致?lián)p失變大，損失在梯度下降反向傳播時，就會一定程度上約束更多的趨向于1 的情況，降低FP。這樣一來，本文網(wǎng)絡(luò)在訓(xùn)練過程中，經(jīng)過不停地優(yōu)化迭代，就會在FP 與FN 之間進行權(quán)衡，從而實現(xiàn)更好的分割結(jié)果。

3 實驗結(jié)果及分析

3.1 實驗數(shù)據(jù)及參數(shù)設(shè)置

本文的實驗數(shù)據(jù)為ISBI2017 數(shù)據(jù)集［19］和ISIC2018 數(shù)據(jù)集［3，20］，均為面向黑色素瘤檢測的皮膚病變分析挑戰(zhàn)賽使用的公共數(shù)據(jù)集，其中ISBI2017 數(shù)據(jù)集包含2150 張RGB 圖片，ISIC2018 數(shù)據(jù)集包含2 594 幅RGB 圖片，均采用二進制標注。由于數(shù)據(jù)集中圖像的分辨率各不相同，且樣本數(shù)量較少，為了增加樣本的多樣性而緩解網(wǎng)絡(luò)訓(xùn)練時的過擬合問題［21］，采用以下方法對數(shù)據(jù)集中的每幅圖像進行擴充：首先，在角度區(qū)間［0，360）之內(nèi)以45 度為步長，對原始圖像進行8 種不同方向的旋轉(zhuǎn)；然后，對旋轉(zhuǎn)后的8 幅圖像分別進行高斯模糊與RGB 平移處理，此時單幅圖像可以擴充為24 幅不同的圖片（即旋轉(zhuǎn)的8 幅、旋轉(zhuǎn)的8 幅經(jīng)高斯模糊后的8 幅以及旋轉(zhuǎn)的8 幅經(jīng)過RGB 平移后的8 幅）；最后，為了避免直接縮放而破壞原始圖像的形狀和紋理等信息，對增擴后的每幅圖像進行中心裁剪，并將裁剪后的圖像縮放為256×256 大小作為最終的樣本圖像。這樣以來，ISBI2017 和ISIC2018 數(shù)據(jù)集經(jīng)擴充之后樣本數(shù)分別為51 600 和62 256 幅不同的圖片，然后再分別按8∶1∶1 比例隨機劃分為訓(xùn)練集、驗證集和測試集，用于網(wǎng)絡(luò)的訓(xùn)練與測試。

實驗中網(wǎng)絡(luò)的具體參數(shù)：輸入圖像大小設(shè)置為256×256，批量大小為16，初始學習率為10-3，網(wǎng)絡(luò)優(yōu)化器為自適應(yīng)矩估計（Adaptive Moment estimation，Adam），一階矩估計指數(shù)衰減率設(shè)置為0.9，權(quán)重衰減系數(shù)為10-4，訓(xùn)練周期為200。在訓(xùn)練過程中使用余弦退火策略對學習率進行調(diào)整，并將最小學習率設(shè)置為10-5。實驗的硬件環(huán)境為Intel（R）Xeon（R）Platinum 8358P CPU，工作頻率為2.60 GHz，內(nèi)存為80 GB，NVIDIA GeForce RTX 3090 顯卡。操作系統(tǒng)為Ubuntu 18.04，編程語言為Python 3.8，所有程序均在Pytorch 框架下實現(xiàn)。

3.2 評價指標

本文使用交并比（Intersection over Union，IoU）、Dice 系數(shù)（Dice）、Hausdorff_95（HD95）距離、準確率（Precesion）和召回率（Recall）作為評價指標，用于衡量各種網(wǎng)絡(luò)分割結(jié)果的好壞。其中，前4 種評價指標的計算公式如式（16）～式（19）所示：

其中：X為預(yù)測結(jié)果中皮膚病變區(qū)域的像素集合，Y為原皮膚病變圖片真值中病變區(qū)域的像素集合，TP為分割結(jié)果中被正確分割的像素個數(shù)，F(xiàn)N為分割結(jié)果中被錯誤預(yù)測為背景的皮膚病變區(qū)域像素個數(shù)，F(xiàn)P為分割結(jié)果中被錯誤分割的前景像素個數(shù)。

Hausdorff（HD）距離計算公式為［22］：

表1 和表2 給出了本文網(wǎng)絡(luò)與其他六種網(wǎng)絡(luò)在ISBI2017 和ISIC2018 數(shù)據(jù)集上的性能指標、參數(shù)量（Params）和計算復(fù)雜度（GFLOPs），綜合對比本文U 型混合網(wǎng)絡(luò)（UH-Net）性能較優(yōu)，且在計算復(fù)雜度和參數(shù)量方面具有明顯的優(yōu)勢。與基于Transformer 的網(wǎng)絡(luò)相比，UH-Net 網(wǎng)絡(luò)參數(shù)是TransUNet 網(wǎng)絡(luò)參數(shù)的0.74%，計算復(fù)雜度僅是其3.74%?？梢妼ψ⒁饬C制進行改進，可有效地提高網(wǎng)絡(luò)分割效率。與卷積網(wǎng)絡(luò)U-Net相比，UH-Net 在分割性能、參數(shù)量和計算復(fù)雜度方面均具有明顯的優(yōu)勢，表明UH-Net 具有良好的分割結(jié)果。

表1 ISBI2017 數(shù)據(jù)集上不同網(wǎng)絡(luò)結(jié)果Tab.1 Results of different networks on ISBI2017 dataset

表2 ISIC2018 數(shù)據(jù)集上不同網(wǎng)絡(luò)結(jié)果Tab.2 Results of different networks on ISIC2018 dataset

在表1 和表2 中本文網(wǎng)絡(luò)UH-Net 召回率均最高，兩個數(shù)據(jù)集上的召回率分別為86.26%和90.52%，召回率表示正確分割為前景像素數(shù)量與金標準中的前景像素數(shù)量之比，表明UH-Net可有效地挖掘皮膚病變區(qū)域信息，降低欠分割率。IoU 和Dice 可用于衡量真值與分割圖像的相似程度，本文網(wǎng)絡(luò)UH-Net 的IoU 和Dice 均最高，IoU達到84.42% 和84.12%，Dice達到91.48%和91.30%，表明UH-Net 分割結(jié)果更接近于真實標簽。HD95 常用于衡量邊緣分割精度，本文網(wǎng)絡(luò)UH-Net 在兩個數(shù)據(jù)集上的HD95均最低，分別為32.67 和33.24，表明本文網(wǎng)絡(luò)UH-Net 可以有效地分割病灶區(qū)域的邊緣信息。因此，與其他網(wǎng)絡(luò)相比，UH-Net 具有良好的分割結(jié)果和較低的欠分割。

圖5 給出了不同網(wǎng)絡(luò)在ISBI2017 和ISIC2018 數(shù)據(jù)集上的分割結(jié)果，圖5 中（a）～圖5（d）來源于ISBI2017 數(shù)據(jù)集，圖5 中（e）～圖5（h）來源于ISIC2018 數(shù)據(jù)集，從上到下依次為原圖、真 值（Ground Truth，GT），UNet，UNet++，TransUNet，TransFuse，MedT，UNeXt 和UHNet 分割結(jié)果。由圖5 可知，與其他網(wǎng)絡(luò)的分割結(jié)果相比，本文網(wǎng)絡(luò)UH-Net 的分割結(jié)果更優(yōu)。在圖5（f）中，由于皮膚病變區(qū)域與其他區(qū)域?qū)Ρ榷容^高，本文網(wǎng)絡(luò)與其他網(wǎng)絡(luò)均能有效地分割出目標區(qū)域。在圖5（h）中，皮膚病變區(qū)域邊緣不明顯，U-Net 和UNet++作為卷積網(wǎng)絡(luò)捕獲目標結(jié)構(gòu)的能力不足，UH-Net 在網(wǎng)絡(luò)的最后兩個層級中引入MhGPCSA 編碼器以及在跳躍連接中引入PosCA 機制，提高了網(wǎng)絡(luò)捕獲目標結(jié)構(gòu)的能力，使得病變區(qū)域的邊緣更加清晰。在圖5（c）中，由于毛發(fā)干擾，皮膚病變區(qū)域不明顯，導(dǎo)致網(wǎng)絡(luò)在分割目標區(qū)域時容易過分割或欠分割，UHNet 通過將正則化Dice 損失替換傳統(tǒng)的Dice 損失，以使網(wǎng)絡(luò)同時關(guān)注與病變區(qū)域的前景和背景信息，提高了網(wǎng)絡(luò)分割結(jié)果。對比結(jié)果表明本文網(wǎng)絡(luò)UH-Net 可以有效捕獲病變區(qū)域，提高網(wǎng)絡(luò)的分割結(jié)果。

圖5 在ISBI2017 和ISIC2018 數(shù)據(jù)集上不同網(wǎng)絡(luò)的分割結(jié)果Fig.5 Segmentation results for different networks on ISBI2017 and ISIC2018 datasets

3.3.2 MhGPCSA 編碼器分析

為驗證MhGPCSA 編碼器各部分對實驗結(jié)果的影響，將本文網(wǎng)絡(luò)UH-Net 進行如下調(diào)整：（a）使用卷積操作代替UH-Net 的MhGPCSA 編碼器，記為Network_0；（b）將門控和位置信息從MhGPCSA 編碼器中移除，記為Network_1；（c）僅將門控從MhGPCSA 編碼器中移除，記為Network_2；（d）對UH-Net 不做任何更改。在ISIC2018 數(shù)據(jù)集上進行實驗，結(jié)果如表3 所示。

表3 MhGPCSA 編碼器的不同設(shè)置對實驗結(jié)果的影響Tab.3 Effect of different MhGPCSA encoder settings on experimental results

由表3 所示的實驗結(jié)果可知，Network_1與Network_0 相比，Dice 和IoU 分別提升了0.53%，0.78%，表明通過GPCSA 機制來建模輸入特征圖譜的全局上下文信息，可使網(wǎng)絡(luò)的分割結(jié)果得到明顯提升；Network_2 與Network_1 相比，Dice 和IoU 分別提高了0.35%，0.69%，表明向交叉自注意力機制中添加位置信息可提高網(wǎng)絡(luò)捕獲目標結(jié)構(gòu)的能力，從而有效地提高網(wǎng)絡(luò)的分割結(jié)果。UH-Net 與Network_2 相比，Dice和IoU 分別提高了0.23%，0.31%，表明在編碼器中同時使用門控和位置信息，更加能夠捕獲圖像的全局上下文信息，可進一步提高網(wǎng)絡(luò)的分割結(jié)果。

3.3.3 PosCA 機制分析

為了驗證本文提出的PosCA 機制的有效性，分別將UH-Net 的PosCA 機制舍棄（無）、僅保留PosCA 機制中沿寬度（+寬度注意力）或高度方向（+高度注意力）的一維全局池化以及將兩組一維池化更改為對應(yīng)的全局池化（+全局注意力），以了解在建模通道信息的過程中保留位置信息的重要性。在ISIC2018 數(shù)據(jù)集上的分割結(jié)果如表4 所示。與全局注意力相比，添加沿任意方向的注意力對網(wǎng)絡(luò)分割性能的影響相當，但當同時考慮寬度注意力和高度注意力時，即UHNet，Dice 和IoU 分別提升了0.47% 和1.26%。因此，在增加可學習參數(shù)和計算成本相當?shù)那闆r下，本文提出的PosCA 機制對網(wǎng)絡(luò)的分割結(jié)果更有幫助。

表4 PosCA 機制的不同設(shè)置對實驗結(jié)果的影響Tab.4 Effect of different PosCA mechanism settings on experimental results

從表5 實驗結(jié)果可知，在ISIC2018 數(shù)據(jù)集上，使用MhGPCSA 編碼器替換基線網(wǎng)絡(luò)最后兩個層級的卷積，Dice 和IoU 分別提升了1.16%和1.27%，HD95 減小了0.77，準確率和召回率分別提升了9.76%和1.14%，表明使用GPCSA 機制來學習圖像語義信息的長期依賴關(guān)系，可有效提高網(wǎng)絡(luò)捕獲圖像目標結(jié)構(gòu)的能力，減少過分割；向基線網(wǎng)絡(luò)中引入PosCA 機制，Dice 和IoU 分別提升了0.60%和0.79%，HD95 減小了0.20，準確率和召回率分別提升了8.98%和0.78%，而網(wǎng)絡(luò)的計算復(fù)雜度和參數(shù)量增加較少，表明Pos-CA 機制可有效地保留圖像中的位置信息；向Dice 損失中引入正則化項來訓(xùn)練基線網(wǎng)絡(luò)，Dice和IoU 分別提升了1.06%和1.13%，HD95 減小了0.45，準確率提升了10.89%，而召回率略有下降，表明通過向Dice 損失中引入一個正則項，提高了網(wǎng)絡(luò)在推理過程中對背景區(qū)域的關(guān)注度，可有效地降低過分割率。顯然，本文設(shè)計的三個部件是有效的，能夠有效地提高網(wǎng)絡(luò)的分割精度。同時也可看出，與僅使用一個部件相比，三個部件進行兩兩組合可進一步提高網(wǎng)絡(luò)的分割精度，且同時使用三個部件（即UH-Net），網(wǎng)絡(luò)的分割性能最高，這證實了三個部件可以相互補充。

表5 消融實驗結(jié)果Tab.5 Ablation experiment

4 結(jié)論

針對皮膚病變圖像中目標區(qū)域與周圍區(qū)域?qū)Ρ榷鹊?，且病變結(jié)構(gòu)和位置變化大等問題，本文提出一種融入交叉自注意力編碼的U 型混合網(wǎng)絡(luò)，用于皮膚病變圖像分割。首先，網(wǎng)絡(luò)利用MhGPCSA 編碼器對輸入特征的全局上下文信息建模，彌補了卷積操作全局建模能力不足，提高網(wǎng)絡(luò)的分割結(jié)果；其次，在跳躍連接中引入PosCA 機制來提高網(wǎng)絡(luò)捕獲目標空間結(jié)構(gòu)的能力；最后通過一個新的正則化Dice 損失函數(shù)，使得網(wǎng)絡(luò)能夠在FP 與FN 之間進行權(quán)衡，減少過分割和欠分割。在ISBI2017 和ISIC2018 數(shù)據(jù)集上IoU 分別為84.42%和84.12%，且網(wǎng)絡(luò)的參數(shù)量僅為TransUNet 參數(shù)量的0.74%，分割效率和性能優(yōu)于現(xiàn)有網(wǎng)絡(luò)，為輔助醫(yī)生診斷提供了有效的幫助。