邊緣概率分布引導(dǎo)的結(jié)直腸息肉高分辨率分割網(wǎng)絡(luò)

林佳俐，李永強(qiáng)，徐希舟，馮遠(yuǎn)靜

浙江工業(yè)大學(xué)信息工程學(xué)院，杭州 310023

0 引言

醫(yī)學(xué)圖像分割算法是臨床醫(yī)學(xué)診斷中的一項(xiàng)重要算法，目前已經(jīng)廣泛應(yīng)用于醫(yī)學(xué)圖像分析，如計(jì)算機(jī)斷層掃描（computed tomography，CT）圖像、內(nèi)窺鏡成像圖等，可以提供細(xì)粒度病理信息輔助醫(yī)生診斷，包括病灶定位、病理性初步判斷。

結(jié)直腸癌（colorectal cancer，CRC）作為全球發(fā)病率第3、致死率第2 的疾病，嚴(yán)重威脅著人類的生命健康。2020年，全球約有193萬CRC病例，死亡病例51 萬例，新發(fā)106.6 萬例；據(jù)《中國惡性腫瘤學(xué)科發(fā)展報(bào)告（2021）》統(tǒng)計(jì)，我國CRC 新發(fā)人數(shù)高達(dá)55 萬人以上，占所有新發(fā)惡性腫瘤的9.9%，是除肺癌外的第2大新發(fā)癌癥。醫(yī)學(xué)統(tǒng)計(jì)發(fā)現(xiàn)，有接近95%的結(jié)直腸癌病例通過早期結(jié)腸息肉演變而來。因此在早期若能及時(shí)發(fā)現(xiàn)息肉，并進(jìn)行長期醫(yī)學(xué)觀察，可以有效降低結(jié)直腸癌發(fā)生率。傳統(tǒng)的檢測方法依賴醫(yī)生經(jīng)驗(yàn)和手工特征提取，其主要局限性如下（Nisha等，2022）：首先，由于結(jié)腸內(nèi)部環(huán)境復(fù)雜、腸內(nèi)黏膜反射、息肉形態(tài)顏色差異和設(shè)備質(zhì)量等因素，需要依靠經(jīng)驗(yàn)豐富的醫(yī)生進(jìn)行診斷；此外，傳統(tǒng)的檢測方法通常依賴于手工特征提取，容易導(dǎo)致誤檢漏檢；最后，每個(gè)患者的結(jié)直腸鏡掃描會(huì)得到大量圖像數(shù)據(jù)，對這些數(shù)據(jù)的逐幀篩查是一項(xiàng)繁重的任務(wù)。因此，近年來通過計(jì)算機(jī)技術(shù)來進(jìn)行輔助診斷逐漸成為一種趨勢，基于深度學(xué)習(xí)的算法通過挖掘大量數(shù)據(jù)，進(jìn)行疾病輔助診斷，無需人工干預(yù)。在息肉檢測中，深度學(xué)習(xí)方法主要包括圖像分類、目標(biāo)檢測和圖像分割。圖像分類方法只能判斷圖像中是否存在息肉，無法精確確定病灶位置；目標(biāo)檢測方法能有效確定病灶位置，但對于部分形態(tài)差異過大的息肉圖像，其檢測效果較差；圖像分割方法可以更精細(xì)地確定病灶區(qū)域以及息肉形態(tài)，相對而言其結(jié)果更加細(xì)化。

近年來，醫(yī)學(xué)圖像分割算法在不斷發(fā)展，Ronneberger 等人（2015）提出的U-Net 模型通過跳躍連接將編碼器端的淺層特征傳播到解碼器端，有效保證了特征分辨率，在各類醫(yī)學(xué)圖像數(shù)據(jù)集上表現(xiàn)良好，并在后續(xù)衍生出了許多基于U-Net 的變體算法；V-Ne（tMilletari 等，2016）將U-Net 拓展到三維，用來處理磁共振成像（magnetic resonance imaging，MRI）數(shù)據(jù)，并提出了Dice loss 來解決前背景分布不平衡的問題；Zhou 等人（2018）在U-Net 的基礎(chǔ)上提出了U-Net++，重新設(shè)計(jì)了跳躍連接層，引入了密集連接和深度監(jiān)督，并通過模型剪枝兼顧了精度與速度；Cao 等人（2023）將Swin-Transformer（Liu 等，2021）中的滑動(dòng)窗口思想引入U(xiǎn)-Net，提出了Swin U-Net（shifted windows U-Net），在Synapse 多器官分割CT數(shù)據(jù)集上達(dá)到先進(jìn)水平；UCTransNet（Wang 等，2022a）同樣在U-Net結(jié)構(gòu)中使用Transformer，并對跳躍連接層重新設(shè)計(jì)，使其可以進(jìn)行多尺度特征交換，緩解語義鴻溝現(xiàn)象，以達(dá)到更好的分割效果；李金星等人（2022）使用視覺Transformer（vision Transformer，ViT）與卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行雙路特征提取嵌入，并使用混合損失函數(shù)引導(dǎo)網(wǎng)絡(luò)訓(xùn)練，能有效檢測肺部影像中的肺炎區(qū)域。綜上，現(xiàn)有的醫(yī)學(xué)圖像分割算法大多基于U-Net 架構(gòu)演變而來，其編解碼器的設(shè)計(jì)容易導(dǎo)致對細(xì)節(jié)部分的檢測較差；此外，為了彌補(bǔ)編碼器下采樣過程中的空間特征損失，在上采樣過程中使用跳躍連接來引入編碼側(cè)的特征信息，這會(huì)帶來語義鴻溝問題，對分割產(chǎn)生負(fù)面影響；許多算法通過重新設(shè)計(jì)跳躍連接層來改善語義鴻溝現(xiàn)象，盡管得到了一定的性能提升，但卻在模型設(shè)計(jì)上逐漸走向復(fù)雜化和技巧化。

結(jié)直腸息肉分割相比于其他的醫(yī)學(xué)分割任務(wù)，具有一定的特殊性：首先，由于息肉區(qū)域的形態(tài)復(fù)雜多樣和數(shù)據(jù)標(biāo)注時(shí)的個(gè)人主觀性，息肉邊界往往存在語義模糊區(qū)域；此外，息肉自身形態(tài)大小差異過大，導(dǎo)致分割難度較大。Fan 等人（2020）創(chuàng)新性地使用反向注意力模塊來建立息肉區(qū)域和邊界之間的聯(lián)系，提出了反向注意力網(wǎng)絡(luò)（parallel reverse attention network，Pra-Net）。并引入全局映射圖來引導(dǎo)網(wǎng)絡(luò)進(jìn)行分割，在多個(gè)息肉圖像數(shù)據(jù)集分割任務(wù)上達(dá)到了當(dāng)時(shí)最優(yōu)的性能，但由于全局映射圖為高維低分辨率特征圖，對小目標(biāo)物體感知情況較差；Kim 等人（2021）提出的不確定區(qū)域信息增強(qiáng)注意力網(wǎng)絡(luò)（uncertainty augmented context attention net，UACANet）通過在每個(gè)預(yù)測模塊中聚合圖像前景、背景和不確定區(qū)域圖，在多個(gè)息肉分割數(shù)據(jù)集分割任務(wù)上表現(xiàn)良好；Srivastava 等人（2022）提出的多尺度殘差融合網(wǎng)絡(luò)（multi-scale residual fusion network，MSRFNet），使用雙尺度密集融合模塊接收多尺度特征以獲得準(zhǔn)確的分割圖像，在息肉分割任務(wù)上同樣表現(xiàn)優(yōu)秀，但過多密集連接的使用會(huì)導(dǎo)致計(jì)算量過大；魏天琦和肖志勇（2022）將雙層編解碼器結(jié)構(gòu)應(yīng)用于結(jié)直腸息肉分割，并提出了子空間注意力結(jié)構(gòu)，在多個(gè)數(shù)據(jù)集上表現(xiàn)良好；Wang 等人（2022b）將視覺Transformer 技術(shù)應(yīng)用到息肉分割中，使用金字塔堆疊式Transformer 作為編碼器，并在解碼器中增加局部特征增強(qiáng)聚合模塊，提高模型對于局部細(xì)節(jié)特征的處理能力，提出了SSFormer（stepwise segmentation Transformer）架構(gòu)，在息肉分割任務(wù)上取得了目前最優(yōu)表現(xiàn)，然而金字塔式Transformer 的結(jié)構(gòu)極大增加了計(jì)算成本，效率較低。Chang 等人（2023）提出了一種輕量化的階段特征金字塔分割網(wǎng)絡(luò)ESFPNet（efficient stage-wise feature pyramid network）。針對SSFormer的效率問題，通過輕量化特征金字塔結(jié)構(gòu)，較好地權(quán)衡了性能與效率，在支氣管鏡病灶檢測任務(wù)和結(jié)直腸息肉分割任務(wù)上均表現(xiàn)優(yōu)秀。SSFormer和ESFPNet 主要關(guān)注息肉主體檢測，沒有考慮息肉邊緣的模糊性。

針對U-Net 結(jié)構(gòu)本身存在的問題和結(jié)直腸息肉圖像的數(shù)據(jù)特點(diǎn)，本文為了避免跳躍連接帶來的語義鴻溝問題，并加強(qiáng)對小目標(biāo)物體的感知，選擇以高分辨率網(wǎng)絡(luò)（high-resolution network，HRNet）系列（Sun等，2019；Wang等，2021）為基本框架，提出了一種基于邊緣概率分布模型和堆疊殘差卷積模塊的結(jié)直腸息肉分割網(wǎng)絡(luò)HRNetED（edge distribution guided high-resolution network），通過引入邊緣檢測任務(wù)，強(qiáng)化模型對邊緣信息的抽取能力以引導(dǎo)結(jié)直腸息肉分割。本文的主要貢獻(xiàn)包括3 個(gè)方面：1）在息肉分割基礎(chǔ)上引入息肉邊緣檢測任務(wù)，提出了一種基于高斯分布的邊緣概率模型，簡化邊緣檢測任務(wù)的同時(shí)加強(qiáng)模型對息肉邊緣的感知能力；2）提出了一種堆疊卷積殘差模塊（stack residual convolution module，SRC），通過拆分卷積有效減少參數(shù)量，堆疊卷積層逐級增大感受野，在保證模塊輕量化的同時(shí)提高局部圖像感知能力；3）提出了一種基于邊緣概率分布模型的結(jié)直腸息肉高分辨率分割網(wǎng)絡(luò)HRNetED，在ETIS（ETIS larib polyp database）（Silva等，2014）、CVC-ColonDB（colonoscopy videos challenge colon database）（Tajbakhsh 等，2016）、CVCClinicDB（colonoscopy videos challenge clinic database）（Bernal 等，2015）和 CVC-300（colonoscopy videos challenge 300）（Vázquez 等，2017）4 個(gè)結(jié)直腸息肉數(shù)據(jù)集上達(dá)到了目前先進(jìn)水平。

1 相關(guān)工作

1.1 密集殘差連接

自He等人（2016）提出ResNe（tdeep residual network）以來，殘差連接這一概念廣泛應(yīng)用于神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)。殘差連接使用直接映射方式將淺層信息添加到當(dāng)前層，有效解決了模型退化問題，同時(shí)使得梯度信息可以通過殘差連接較容易地傳播到淺層網(wǎng)絡(luò)，一定程度上解決了梯度消失問題。相較于ResNet，Huang 等人（2017）設(shè)計(jì)的DenseNet（dense convolutional network）提出了一種更為激進(jìn)的密集殘差連接方案，即將所有層特征都進(jìn)行密集連接，并引入特征重用以減少計(jì)算量。

無論是ResNet 還是DenseNet，其核心思想均為通過殘差連接以增加特征重用和特征交互，解決模型退化問題。在醫(yī)學(xué)圖像分割領(lǐng)域，這一概念也得到廣泛應(yīng)用。Zhou 等人（2018）重新設(shè)計(jì)了U-Net 結(jié)構(gòu)的跳躍連接層，引入密集連接和深度監(jiān)督，提出了U-Net++；ResUNet++（Jha 等，2019）和ResUNet（Jha等，2020），分別在U-Net++和U-Net 基礎(chǔ)上引入密集殘差連接以增加特征交互和重用。

1.2 卷積感受野

在圖像分割任務(wù)中，卷積核的感受野大小對于分割結(jié)果具有十分明顯的影響，較大的感受野能夠保證卷積核感知到更大鄰域信息，從而加強(qiáng)局部感知能力。在早期的神經(jīng)網(wǎng)絡(luò)模型中，往往會(huì)使用池化層和卷積層結(jié)合的方式來增大模型感受野，但是直接使用池化層會(huì)造成部分信息損失，需要通過跳躍連接等方法來補(bǔ)充信息到后級，如U-Net 型網(wǎng)絡(luò)；空洞卷積（dilated convolution）是另一種較為常見的擴(kuò)張感受野的方法（Chen 等，2016），它通過改變自身卷積核內(nèi)部孔洞數(shù)，使卷積核可以獲得任意指定尺寸的感受野；Deeplab 系列（Chen 等，2017）提出的空洞空間卷積池化金字塔（atrous spatial pyramid pooling，ASPP）模塊通過并聯(lián)多個(gè)不同擴(kuò)張率的空洞卷積層來改善空洞卷積有效感受野占比較小的問題；隨著計(jì)算機(jī)算力的提升，大核卷積也被重新使用到神經(jīng)網(wǎng)絡(luò)中，ConvNeX（tLiu 等，2022）重新設(shè)計(jì)了ConvNet 的各個(gè)層面，并首次使用7 × 7大核卷積核，在多個(gè)視覺任務(wù)中達(dá)到了目前先進(jìn)水平；Ding 等人（2022）提出的重參數(shù)大核卷積網(wǎng)絡(luò)（re-parameterized large kernel network，RepLKNet）將卷積核尺寸擴(kuò)大到31 × 31，在目標(biāo)檢測和語義分割多個(gè)任務(wù)上均達(dá)到了目前先進(jìn)水平。

1.3 高分辨率網(wǎng)絡(luò)（HRNet）

對于目標(biāo)檢測、語義分割和實(shí)例分割等位置敏感型任務(wù)，模型往往會(huì)通過引入高分辨率特征圖來提高位置信息的準(zhǔn)確性。HRNet系列模型便是在這一思路下設(shè)計(jì)產(chǎn)生的：HRNetv1 用來進(jìn)行人體姿態(tài)估計(jì)和關(guān)鍵點(diǎn)檢測，HRNetv2 中通過引入不同結(jié)構(gòu)的解碼器，使其在語義分割、實(shí)例分割等任務(wù)上也有十分出色的表現(xiàn)。

與常規(guī)的先下采樣再上采樣恢復(fù)分辨率思路不同，HRNet 的核心設(shè)計(jì)思想是始終維持一條高分辨率特征通路，從而避免了特征圖在從低分辨率恢復(fù)到高分辨率時(shí)存在的信息損失問題。同時(shí)在卷積過程中不斷擴(kuò)張低分辨率支路來獲取高維語義特征，使得網(wǎng)絡(luò)寬度加大；在每一個(gè)特征提取階段后，會(huì)進(jìn)行密集的特征交換，充分融合多尺度特征的信息。除此之外，HRNet使用殘差卷積作為基本卷積模塊，避免模型加深帶來的退化問題，最終得到了高分辨率高精度的檢測結(jié)果。

HRNetv1 系列奠定了該系列網(wǎng)絡(luò)的基本框架，其主體結(jié)構(gòu)如圖1 所示。對于每個(gè)階段，不同支路的特征會(huì)進(jìn)行密集交換，用來增強(qiáng)特征語義信息和空間信息，并融合所有尺度的特征進(jìn)行下采樣擴(kuò)張，得到更低分辨率的卷積支路；最高分辨率支路的最后一層特征在經(jīng)過特征抽取后，作為人體姿態(tài)估計(jì)的熱力圖進(jìn)行輸出。

圖1 HRNetv1結(jié)構(gòu)Fig.1 HRNetv1 structure

HRNetv1 的解碼器一側(cè)僅使用到了最高分辨率支路，沒有利用另外兩條低分辨率支路的語義信息；HRNetv2 在HRNetv1 的基礎(chǔ)上進(jìn)一步改進(jìn)，在解碼器部分將所有支路特征進(jìn)行融合，進(jìn)一步提高了模型性能，其解碼器結(jié)構(gòu)如圖2所示。

圖2 HRNetv2解碼器結(jié)構(gòu)Fig.2 HRNetv2 decoder structure（（a）semantic segmentation decoder；（b）object detection decoder）

HRNet系列網(wǎng)絡(luò)在計(jì)算機(jī)視覺任務(wù)中的廣泛應(yīng)用表明，其以高分辨率支路為主、低分辨率支路為輔的思路可以有效提高位置型任務(wù)的精確性。

2 本文算法

2.1 息肉邊界概率分布描述

如圖3所示，在結(jié)直腸鏡息肉的臨床數(shù)據(jù)中，息肉主體通常較為顯著，但其邊界往往不夠清晰，存在語義模糊區(qū)域；此外，人工標(biāo)注的質(zhì)量存在一定差異，同樣會(huì)影響息肉邊界的準(zhǔn)確性。因此，相比于直接判別邊緣像素點(diǎn)類別，估算息肉邊緣概率分布往往會(huì)更加簡單且實(shí)際，對標(biāo)注數(shù)據(jù)的誤差容忍度也會(huì)更高。

圖3 結(jié)直腸息肉圖像中的邊界模糊情況Fig.3 Boundary blurring in colorectal polyp images

基于上述思想，本文使用邊緣分布概率圖來描述息肉邊緣情況，即以邊緣點(diǎn)為中心，其周圍像素點(diǎn)屬于邊緣的概率滿足給定高斯分布，具體為

式中，X為掩膜圖像，fboundary表示輪廓提取算法，Pbd={p0，p1，…，pn}為掩膜圖像X的輪廓點(diǎn)集，M∈RH×W為邊緣概率分布圖，G(x，y)表示方差為σ2的歸一化二維高斯核；對于X上任意點(diǎn)p(x，y)，屬于邊緣的概率為其距離最近輪廓點(diǎn)pi在高斯核函數(shù)上的值。邊緣概率分布示意圖如圖4 所示，高亮區(qū)為掩膜邊緣，灰色區(qū)域?yàn)檫吘壐怕史植记闆r。

圖4 邊緣概率分布圖Fig.4 Edge probability distribution map

2.2 網(wǎng)絡(luò)總體架構(gòu)

本文網(wǎng)絡(luò)主要結(jié)構(gòu)如圖5 所示，參考了HRNet結(jié)構(gòu)，由三階段的骨干網(wǎng)絡(luò)和多尺度解碼器組成。

圖5 HRNetED網(wǎng)絡(luò)整體結(jié)構(gòu)Fig.5 HRNetED network structure

首先，與HRNet結(jié)構(gòu)類似，本文的骨干網(wǎng)絡(luò)用于圖像特征提取，始終維持一條高分辨率特征支路，并在每個(gè)階段擴(kuò)展一條低分辨率支路以提取高維語義特征信息；在每個(gè)階段末端，將不同分辨率的特征進(jìn)行充分交換融合。

在經(jīng)過骨干網(wǎng)絡(luò)提取特征后，本文將得到的金字塔特征輸入到多尺度解碼器中，通過引入息肉邊緣概率檢測這一輔助任務(wù)，提高模型對于息肉邊緣區(qū)域的感知能力，最后輸出結(jié)直腸息肉區(qū)域的分割結(jié)果。

2.3 堆疊卷積殘差模塊

考慮到HRNet架構(gòu)始終保持著高分辨率卷積支路，存在大量卷積操作，對于計(jì)算資源占用較大。本文從相關(guān)工作出發(fā)，設(shè)計(jì)了一種具有混合感受野和輕量化特點(diǎn)的堆疊卷積殘差模塊（SRC），在有效減少參數(shù)量的同時(shí)提高模型性能，結(jié)構(gòu)如圖6所示。

圖6 堆疊殘差卷積模塊Fig.6 Stack residual convolution module

首先，將卷積層、批歸一化BatchNormal 和ReLU（rectified linear unit）激活函數(shù)的組合視為卷積模塊，將單次3 × 3卷積模塊拆分成4次堆疊的3 × 3卷積模塊，每個(gè)卷積模塊的通道數(shù)為輸入特征張量的1/4。在逐次卷積過程中，卷積層感受野會(huì)不斷增大，最終得到4 個(gè)不同感受野的特征張量，將其按照通道維度進(jìn)行拼接，使用1 × 1逐點(diǎn)卷積進(jìn)行通道特征映射，最后引入殘差連接將原始輸入疊加到輸出側(cè)。

此方法通過堆疊卷積核的方式來捕獲不同感受野的特征信息，使得卷積模塊的局部感知能力增強(qiáng)，通過拆分卷積核的方式有效減少參數(shù)量，并使用逐點(diǎn)卷積進(jìn)行多感受野特征混合；最后通過殘差連接的方式將輸入特征直接映射到輸出端，防止深層模型性能退化，其整體計(jì)算式為

式中，x表示輸入特征張量，x′表示輸出特征張量，xi為中間特征張量表示3 × 3 卷積模塊，wp為1 × 1逐點(diǎn)卷積操作，δ表示非線性ReLU 激活函數(shù)。[?]表示特征按通道維度拼接。

2.4 基于邊緣特征引導(dǎo)的多尺度解碼器

在結(jié)直腸息肉的臨床數(shù)據(jù)中，息肉主體通常較為顯著，但其邊界往往不夠清晰。本文算法通過引入息肉邊緣檢測任務(wù)，強(qiáng)化模型對息肉邊緣的感知能力，有效避免了由于息肉邊界模糊導(dǎo)致的分割錯(cuò)誤，解碼器結(jié)構(gòu)如圖7所示。

圖7 解碼器結(jié)構(gòu)Fig.7 Decoder structure

骨干網(wǎng)絡(luò)提取到的4 個(gè)特征張量作為解碼器輸入，其長寬分別為原始輸入圖像的1/2、1/4、1/8 和1/16，深度為64。為了充分利用語義特征引導(dǎo)解碼，首先使用特征金字塔進(jìn)行特征融合：對于低分辨率特征，使用SRC模塊進(jìn)行特征提取后，通過上采樣和卷積操作提升分辨率，并將其與上一級特征在通道維度進(jìn)行拼接，自下而上地將低分辨率語義特征融合到高分辨率特征圖中，最終得到3 個(gè)特征融合張量，其融合過程為

在經(jīng)過特征金字塔結(jié)構(gòu)后得到3 個(gè)中間特征張量，將其輸入至邊緣增強(qiáng)模塊，用于抽取精細(xì)化邊緣特征。首先，該模塊對3 個(gè)輸入張量分別使用Max-Pool池化2倍下采樣，并通過2個(gè)SRC 模塊提取特征后，使用雙線性插值上采樣加卷積的方式提高特征圖分辨率，得到包含豐富信息的邊緣特征張量，之后使用1 × 1 卷積進(jìn)行特征聚合，經(jīng)過sigmoid 激活后得到邊緣概率分布圖集合。同時(shí)，將中間特征張量和邊緣特征張量使用殘差連接后，經(jīng)過ReLU 激活函數(shù)增強(qiáng)邊緣特征張量；最后，對于特征增強(qiáng)模塊輸出的增強(qiáng)邊緣特征張量，使用SRC 模塊進(jìn)行通道特征聚合后，經(jīng)過sigmoid 激活函數(shù)輸出息肉分割的最終結(jié)果集合ym，上述過程為

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集和評價(jià)指標(biāo)

為了評估本文方法的有效性，本文在5 個(gè)公開的結(jié)腸鏡息肉分割數(shù)據(jù)集Kvasir-Seg（Jha 等，2020）、ETIS（ETIS larib polyp database）、CVC-ColonDB（colonos copy videos challenge colon database）、CVCClinicDB（colonoscopy videos challenge clinic database）和CVC-300（colonoscopy videos challenge 300）上進(jìn)行了實(shí)驗(yàn)，每個(gè)數(shù)據(jù)集均包含若干幅由結(jié)腸鏡采集得到的息肉圖像和對應(yīng)標(biāo)注數(shù)據(jù)。CVCColonDB、CVC-300、CVC-ClinicDB 和ETIS 數(shù)據(jù)集為從結(jié)腸鏡檢查視頻中得到的若干幀圖像數(shù)據(jù)，Kvasir-Seg數(shù)據(jù)集由1 000幅息肉圖像和醫(yī)生標(biāo)注數(shù)據(jù)組成，在圖像分辨率和息肉形態(tài)上有很大差異。

本文遵循與Pra-Net、UACANet 等論文相同的設(shè)置：從Kvasir-Seg 和CVC-ClinicDB 數(shù)據(jù)集中選取1 450幅圖像作為訓(xùn)練集，其余所有數(shù)據(jù)作為測試集，數(shù)據(jù)集、訓(xùn)練樣本和測試樣本的分配如表1所示。

表1 數(shù)據(jù)集配置Table 1 Data set configuration

本文使用語義分割常用的Dice 相似系數(shù)（Dice coefficient，Dice）、平均交并比（mean intersection overunion，mIoU）和豪斯多夫距離（Hausdorff distance，HD）3種指標(biāo)來評估本文算法的性能，其定義分別如下：

1）相似系數(shù)Dice。Dice系數(shù)是一種相似度度量指標(biāo)，通常用于計(jì)算兩個(gè)集合的相似度。Dice 系數(shù)越高，則集合相似度越高。其計(jì)算式為

式中，A和B分別表示兩個(gè)元素集合。

2）平均交并比mIoU。mIoU 表示計(jì)算多個(gè)集合對的平均交并比，其計(jì)算式為

式中，k表示類別數(shù)量，(Ai，Bi)為第i類元素集合對。

3）豪斯多夫距離HD。豪斯多夫距離是一種描述兩組點(diǎn)集相似程度的度量距離。設(shè)有兩組點(diǎn)集A={a1，a2，…，an}，B={b1，b2，…，bm}，豪斯多夫距離的定義為

式中，h(?)為單向豪斯多夫距離，表示一個(gè)集合到另一集合最近點(diǎn)的最大距離，H(?)為雙向豪斯多夫距離。

在實(shí)際指標(biāo)計(jì)算中，通常使用雙向豪斯多夫距離來衡量相似度，并且為了排除離群點(diǎn)干擾，選取95%分位最大值距離作為最終結(jié)果。本文中使用95%分位雙向豪斯多夫距離作為評估指標(biāo)，記為HD95。HD95越小，說明兩個(gè)點(diǎn)集的相似度越高。

3.2 損失函數(shù)

對于息肉分割這一主要任務(wù)，本文使用二分類交叉熵?fù)p失函數(shù)LB對模型進(jìn)行訓(xùn)練，令y表示真實(shí)標(biāo)注數(shù)據(jù)表示模型預(yù)測輸出結(jié)果，其計(jì)算過程為

對于邊緣檢測這一輔助任務(wù)，考慮到相比于背景而言，邊緣分布占比較少，正負(fù)樣本差異過大。Lin 等人（2017）提出的Focal loss 通過引入權(quán)重因子有效解決了正負(fù)樣本不平衡問題。因此本文將其作為邊緣檢測的損失函數(shù)LE。令y表示真實(shí)標(biāo)注數(shù)據(jù)為模型預(yù)測輸出結(jié)果，γ為難易權(quán)重因子，本文中默認(rèn)為4，其整體計(jì)算式為

綜上，本文損失函數(shù)定義為

式中，λB和λE為超參數(shù)，在本文中默認(rèn)設(shè)置為1。

3.3 實(shí)驗(yàn)設(shè)置

本文算法實(shí)現(xiàn)的運(yùn)行環(huán)境為 64 位Ubuntu16.04，Pytorch1.7.1；硬件環(huán)境為CPU Intel i7-11700K@3.6 GHz，32 GB 內(nèi) 存，GPU Nvidia GeForce RTX3090 24 GB。

首先，對于數(shù)據(jù)集和標(biāo)簽的處理上，本文將實(shí)驗(yàn)數(shù)據(jù)集分辨率統(tǒng)一縮放至256 × 256 像素，設(shè)置邊緣概率圖生成的二維高斯核參數(shù)σ2=25；損失函數(shù)超參數(shù)λB=1，λE=1，難易權(quán)重因子γ=4；其次，在訓(xùn)練階段，設(shè)置訓(xùn)練批次大小為10，使用Adam 優(yōu)化器進(jìn)行訓(xùn)練，Adam 的相關(guān)參數(shù)β1=0.9，β2=0.999，權(quán)重衰減率為10-6，設(shè)置訓(xùn)練輪次200 輪，使用余弦退火學(xué)習(xí)率調(diào)整策略，學(xué)習(xí)率范圍為[1 × 10-6，2 ×10-4]，周期為50 輪，其中前10 輪學(xué)習(xí)率從1 × 10-6線性上升到2 × 10-4，后40 輪學(xué)習(xí)率按照余弦曲線從2 × 10-4衰減至1 × 10-6；最后，在測試階段，設(shè)置前景預(yù)測閾值為0.5進(jìn)行息肉分割。

3.4 實(shí)驗(yàn)結(jié)果

3.4.1 算法性能實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文算法的有效性，將本文算法和近幾年發(fā)布并開源的腸鏡息肉分割算法在5 個(gè)公開結(jié)腸鏡息肉數(shù)據(jù)集Kvasir-Seg、ETIS、CVC-ColonDB、CVC-ClinicDB 和CVC-300 上進(jìn)行比較，算法包括HRNetv2、Pra-Net、UACANet、MSRF-Net（multi-scale residual fusion network）、BDG-Net（boundary distribution guided network）（Qiu 等，2022）、SSFormer 與ESFPNet，其中HRNetv2指標(biāo)為本文復(fù)現(xiàn)結(jié)果。

Dice 系數(shù)和mIoU 指標(biāo)的對比實(shí)驗(yàn)結(jié)果如表2所示?？梢钥闯?，HRNetED 在CVC-ClinicDB 和CVC-300 數(shù)據(jù)集上的Dice 系數(shù)和mIoU 指標(biāo)均優(yōu)于現(xiàn)有其他算法，在CVC-ClinicDB 數(shù)據(jù)集上相較于先前最優(yōu)算法分別獲得了1.25%和1.37%的提升；在ETIS 數(shù)據(jù)集上，本文算法的Dice 和mIoU 分別為82.41%和71.21%，Dice 系數(shù)表現(xiàn)優(yōu)于對比最優(yōu)算法；在CVC-ColonDB 數(shù)據(jù)集上，本文算法的Dice 和mIoU 分別為80.55%和71.56%，處于較優(yōu)水平；在Kvasir-Seg 數(shù)據(jù)集上，本文算法表現(xiàn)較為一般。

表2 5個(gè)公開結(jié)腸鏡息肉數(shù)據(jù)集上的Dice系數(shù)和mIoU對比實(shí)驗(yàn)結(jié)果Table 2 Comparative trial results of Dice and mIoU on five public polyp datasets

HD95指標(biāo)的對比實(shí)驗(yàn)結(jié)果如表3 所示?？梢钥闯觯琀RNetED 在Kvasir-Seg、ETIS、CVC-ColonDB 數(shù)據(jù)集上的HD95指標(biāo)均優(yōu)于現(xiàn)有算法，分別降低了0.315%、29.19% 和2.95%，在CVC-ClinicDB 和CVC-300 數(shù)據(jù)集上，HD95表現(xiàn)排在次優(yōu)處，同樣具有良好的性能，可以說明本文算法對息肉輪廓形狀具有良好的感知能力。

表3 5個(gè)公開結(jié)腸鏡息肉數(shù)據(jù)集上的HD95對比實(shí)驗(yàn)結(jié)果Table 3 Comparative trial results of HD95 on five public polyp datasets

為了更直觀地對比本文算法與其他算法效果，圖8在上述數(shù)據(jù)集中選取了部分分割結(jié)果進(jìn)行可視化對比?？梢钥吹?，本文算法在不同形態(tài)的息肉圖像上均有較為優(yōu)秀和穩(wěn)定的分割表現(xiàn)。同時(shí)，對于小目標(biāo)、模糊目標(biāo)有較為魯棒的感知能力，在息肉輪廓形態(tài)上與標(biāo)注值更貼近。

圖8 部分息肉分割結(jié)果對比Fig.8 Comparison of partial polyp segmentation results（（a）input；（b）ground truth；（c）ours；（d）ESFPNet-L；（e）BDG-Net；（f）UACANet-L；（g）Par-Net；（h）HRNetv2）

3.4.2 參數(shù)設(shè)置實(shí)驗(yàn)結(jié)果

為了探究息肉邊緣概率描述中二維高斯核參數(shù)σ對模型性能的影響，本文進(jìn)一步開展實(shí)驗(yàn)探究：分別設(shè)置σ為1、3、5 和7，按照3.3 節(jié)相同的實(shí)驗(yàn)設(shè)置步驟進(jìn)行訓(xùn)練。此外，由式（11）和式（12）結(jié)合3.4.1 節(jié)實(shí)驗(yàn)結(jié)果可以推知，Dice 系數(shù)和mIoU 指標(biāo)基本呈正相關(guān)。因此在本節(jié)實(shí)驗(yàn)中，評估指標(biāo)選擇Dice 系數(shù)和HD95，以反映不同參數(shù)設(shè)置對算法在主體分割和輪廓分割上的影響，最終實(shí)驗(yàn)結(jié)果如表4所示。可以看出，在輸入圖像大小為256 × 256 像素的情況下，σ取值為5時(shí)模型平均表現(xiàn)最優(yōu)。合理推測可知，在歸一化高斯核函數(shù)中，σ過小會(huì)導(dǎo)致數(shù)值變化過大，在圖像中直觀表現(xiàn)為邊緣區(qū)域狹??；而σ過大則會(huì)導(dǎo)致邊緣概率變化緩慢，邊緣分布區(qū)域過大，使得邊緣檢測這一輔助任務(wù)無法獲取到足夠意義的邊緣語義信息。

3.4.3 消融實(shí)驗(yàn)結(jié)果

為了進(jìn)一步驗(yàn)證本文所提模塊的有效性，一共設(shè)計(jì)了5 組消融實(shí)驗(yàn)：首先將本文網(wǎng)絡(luò)結(jié)構(gòu)中的堆疊殘差卷積模塊SRC 替換為普通殘差卷積模塊；其次，去除本文多尺度解碼器中的邊緣檢測任務(wù)；最后去除多尺度輸入，僅保留最高分辨率支路的輸出結(jié)果，得到消融實(shí)驗(yàn)的基線模型baseline，最終消融實(shí)驗(yàn)結(jié)果如表5所示。其中edge 表示引入邊緣檢測輔助任務(wù)，scale 表示解碼器輸出多尺度預(yù)測結(jié)果，src表示使用堆疊殘差卷積模塊，實(shí)驗(yàn)指標(biāo)與3.4.2 參數(shù)設(shè)置實(shí)驗(yàn)保持一致。從表5 結(jié)果可以看出，本文所提的3 個(gè)模塊均能有效提高HRNetED 在結(jié)直腸息肉分割任務(wù)上的表現(xiàn)。通過引入邊緣檢測輔助任務(wù)，能夠有效提高HRNetED 在各個(gè)數(shù)據(jù)集上Dice和HD95距離的表現(xiàn)，特別是在降低HD95方面效果顯著，說明本文提出的邊緣概率分布模型能增強(qiáng)網(wǎng)絡(luò)對息肉邊緣區(qū)域的感知能力；多尺度解碼器的引入同樣能有效提升各項(xiàng)指標(biāo)，這得益于多尺度輸出能夠?qū)φZ義級別支路同樣進(jìn)行有監(jiān)督學(xué)習(xí)，提高了HRNetED 對不同尺度息肉的檢測能力；堆疊殘差卷積模塊SRC 在減少將近50%參數(shù)量的同時(shí)帶來了小幅度的性能提升，說明通過拆分卷積核并獲取混合感受野特征的方法，能有效滿足輕量化和提高性能的要求。

表5 消融實(shí)驗(yàn)結(jié)果Table 5 Ablation study results

4 結(jié)論

本文針對結(jié)直腸息肉圖像自身特點(diǎn)和息肉邊緣語義模糊現(xiàn)象，提出了一種基于邊緣概率分布模型的結(jié)直腸息肉高分辨率分割網(wǎng)絡(luò)HRNetED。該網(wǎng)絡(luò)使用HRNet 結(jié)構(gòu)作為網(wǎng)絡(luò)主干，設(shè)計(jì)了一種混合多尺度感受野的卷積模塊SRC，該模塊可以在顯著降低模型參數(shù)量的同時(shí)提高模型性能；在解碼器側(cè)，通過引入邊緣檢測任務(wù)來增強(qiáng)模型對息肉邊緣區(qū)域的特征感知，使用邊緣概率分布模型描述邊緣情況，有效降低了模型訓(xùn)練難度。

實(shí)驗(yàn)結(jié)果表明，HRNetED 在CVC-ClinicDB 和CVC-300 數(shù)據(jù)集上的Dice 系數(shù)和mIoU 指標(biāo)均優(yōu)于現(xiàn)有其他算法，且在CVC-ClinicDB 數(shù)據(jù)集上相較于先前最優(yōu)算法分別獲得了1.25%和1.37%的提升；在ETIS 數(shù)據(jù)集上，HRNetED 的Dice 和mIoU 分別為82.41%和71.21%，Dice 系數(shù)表現(xiàn)優(yōu)于對比最優(yōu)算法；在CVC-ColonDB 數(shù)據(jù)集上，本文算法的Dice 和mIoU 分別為80.55%和71.56%，處于較優(yōu)水平；此外，HRNetED 在Kvasir-Seg、ETIS、CVC-ColonDB 數(shù)據(jù)集上的HD95距離相較于對比最優(yōu)算法分別降低了0.315%、29.19% 和2.95%，在CVC-ClinicDB 和CVC-300 數(shù)據(jù)集上表現(xiàn)排在次優(yōu)處，同樣具有良好的性能；在主觀感受上，本文算法對于小目標(biāo)、模糊目標(biāo)也有較好的主體提取能力，在多個(gè)數(shù)據(jù)集中表現(xiàn)穩(wěn)定。

從實(shí)驗(yàn)結(jié)果可以看出，對于ETIS、CVC-ColonDB這兩個(gè)難度較大的數(shù)據(jù)集來說，本文模型和對比模型均存在性能下降的問題。其主要原因是該兩個(gè)數(shù)據(jù)集與訓(xùn)練集的數(shù)據(jù)分布存在差異；在臨床醫(yī)學(xué)中，結(jié)直腸息肉成像質(zhì)量通常會(huì)受到結(jié)腸內(nèi)部環(huán)境、息肉形態(tài)和采集設(shè)備質(zhì)量等影響，這就要求模型有更強(qiáng)的泛化能力，才能提供更可靠的醫(yī)學(xué)輔助診斷。后續(xù)工作將圍繞這一問題繼續(xù)展開研究，包括適合結(jié)直腸息肉數(shù)據(jù)的數(shù)據(jù)增強(qiáng)和模型泛化能力提升等。