高分辨率皮膚黑色素瘤圖像的兩階段式分割算法

貴向泉，張馨月，李 立

（蘭州理工大學(xué) 計(jì)算機(jī)與通信學(xué)院，蘭州 730050）

0 概述

皮膚惡性黑色素瘤是最常見的皮膚惡性腫瘤之一［1］，其致死率逐年上升，已成為一種嚴(yán)重的公共衛(wèi)生問題。在前期診斷過程中，由于醫(yī)生的臨床經(jīng)驗(yàn)和工作環(huán)境不同，醫(yī)生在對(duì)皮膚切片的黑色素瘤斑塊進(jìn)行手動(dòng)分割時(shí)，需要耗費(fèi)大量的精力和時(shí)間，這樣很容易造成漏診和誤診的情況。因此，皮膚黑色素瘤的自動(dòng)化精準(zhǔn)分割方法一直以來都備受關(guān)注。

現(xiàn)有的黑色素瘤自動(dòng)分割方法主要分為基于深度學(xué)習(xí)的方法和非深度學(xué)習(xí)的方法。非深度學(xué)習(xí)的方法又分為傳統(tǒng)方法和基于機(jī)器學(xué)習(xí)的方法。傳統(tǒng)皮膚黑色素瘤的分割方法主要分為閾值分割、基于邊緣檢測(cè)的分割［2］和基于區(qū)域的分割。CELEBI 等［3］提出一種包含3 種閾值化算法的方法，實(shí)現(xiàn)了對(duì)皮膚黑色素瘤病灶邊界的自動(dòng)檢測(cè)和分割；WONG等［4］采用一種迭代合并隨機(jī)區(qū)域的方法，從宏觀圖像中分割出與皮膚病灶對(duì)應(yīng)的區(qū)域，并引入基于區(qū)域統(tǒng)計(jì)的合并似然函數(shù)，以隨機(jī)方式確定合并的區(qū)域，有效降低了分割誤差。之后，機(jī)器學(xué)習(xí)方法掀起了圖像分割技術(shù)的熱潮。ZHOU 等［5］提出一種基于均值位移的模糊c-均值算法，有效地檢測(cè)出了皮膚病灶斑塊的邊界；IMTIAZ 等［6］提出了一種結(jié)合傳統(tǒng)圖像處理和機(jī)器學(xué)習(xí)的方法，也取得了不錯(cuò)的成績(jī)。但總體來說，這類方法的原理簡(jiǎn)單，對(duì)圖像本身的特征提取不足，導(dǎo)致精度和最終的分割效果并不理想。

隨著科技的發(fā)展，基于深度學(xué)習(xí)的方法逐漸成為主流，這種端到端的網(wǎng)絡(luò)避免了一些繁瑣的處理步驟，大大增加了分割的效率。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的應(yīng)用，使得圖像分割任務(wù)得到了飛速的發(fā)展，直到如今，很多深度學(xué)習(xí)算法依舊使用著CNN 的思想。ATTIA 等［7］采用一種結(jié)合深卷積和遞歸神經(jīng)網(wǎng)絡(luò)的聯(lián)合結(jié)構(gòu)用于皮膚病變分割，使得分割結(jié)果優(yōu)于僅依賴CNN 的方法。全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）［8］將卷積神經(jīng)網(wǎng)絡(luò)末端的全連接層改為卷積層，使得輸出結(jié)果為標(biāo)記好的圖像而不是概率值，但很顯然，這種方式僅僅是對(duì)所有的像素進(jìn)行了分類，并沒有考慮到圖像的全局上下文關(guān)系，且浪費(fèi)了多尺度特征圖的大量語義信息，將其應(yīng)用在皮膚黑色素瘤分割任務(wù)中會(huì)大大影響病灶區(qū)域的分割精度。與此同時(shí)，以編碼器-解碼器為主要結(jié)構(gòu)的U-Net［9］、SegNet［10］等網(wǎng)絡(luò)架構(gòu)被提出，相較于基本的卷積網(wǎng)絡(luò)，這種結(jié)構(gòu)對(duì)多尺度圖像特征的提取和利用更加充分。文獻(xiàn)［11-13］方法將U-Net 與其他網(wǎng)絡(luò)的優(yōu)勢(shì)有效結(jié)合，充分利用U-Net 網(wǎng)絡(luò)跳躍連接的結(jié)構(gòu)特點(diǎn)，融合多尺度圖像特征，提升了病灶斑塊的分割精度；NINH 等［14］提出一種基 于改進(jìn)SegNet 的FCN 結(jié)構(gòu)，減少了原始SegNet 模型中的下采樣和上采樣層，使得網(wǎng)絡(luò)總參數(shù)更少，但是在分割準(zhǔn)確度上優(yōu)于SegNet 和FCN。之后，注意力機(jī)制［15］創(chuàng)新性地將自然語言中處理上下文聯(lián)系的方法應(yīng)用到圖像處理領(lǐng)域，實(shí)現(xiàn)了特征圖全局上下文關(guān)系的提取。WU等［16］提出一種新穎高效的自適應(yīng)雙重注意模塊，并將2 種全局上下文建模機(jī)制集成到該模塊中，提升了算法的性能；AGHDAM 等［17］提出一種基于注意力機(jī)制的U-Net 架構(gòu)，通過結(jié)合注意力機(jī)制，進(jìn)一步改進(jìn)了跳躍連接中使用的經(jīng)典串聯(lián)操作，證明了注意力機(jī)制對(duì)皮膚病灶分割的有效性。此外，一些特征增強(qiáng)方法［18-19］有效加強(qiáng)了重要的圖像特征和通道信息，同樣提升了算法的性能。

然而，由于大部分皮膚病灶切片的分辨率高，現(xiàn)有算法在計(jì)算機(jī)性能需求和算法準(zhǔn)確度上不能達(dá)到良好的平衡。上述算法和很多其他算法為了減少計(jì)算機(jī)顯存消耗，要么將原圖像重新定義為很小的尺寸，要么將其切割為很多圖像塊，這樣必然會(huì)損失大量的圖像原始信息，對(duì)實(shí)際的分割結(jié)果造成影響。而高精度的方法，尤其是基于注意力機(jī)制的方法，更加需要巨大的顯存資源，使得硬件實(shí)現(xiàn)過程變得困難。因此，研究高分辨率皮膚黑色素瘤圖像在硬件上消耗友好且計(jì)算準(zhǔn)確度高的分割算法具有迫切的應(yīng)用需求。針對(duì)這些問題，本文具體進(jìn)行以下工作：

1）使用編碼器-解碼器的基礎(chǔ)網(wǎng)路架構(gòu)，在編碼器特征提取過程中，采用一種三層金字塔結(jié)構(gòu)的全局平均池化模塊來增強(qiáng)特征圖全局語義信息的提取，以此獲取病灶斑塊的不規(guī)則連續(xù)邊界信息，提升算法的精度。

2）采用一種多尺度語義融合分支，增強(qiáng)各層特征圖語義信息表征能力的同時(shí)融合不同尺度下的圖像特征，充分利用各層特征圖所包含的語義信息，進(jìn)一步提升算法精度。

3）采用一種全局到局部的兩階段式精細(xì)分割策略，局部分割網(wǎng)絡(luò)對(duì)剪裁后的原始圖像進(jìn)行計(jì)算，并通過與全局網(wǎng)絡(luò)中對(duì)應(yīng)層的特征圖共享圖像特征的方法來獲取全局上下文的語義聯(lián)系，在減少計(jì)算機(jī)顯存消耗的同時(shí)提高分割精度。

1 本文算法

1.1 獲取全局空間信息的過程

在神經(jīng)網(wǎng)絡(luò)中，感受野的大小可以大致代表網(wǎng)絡(luò)獲取全局語義信息的能力，小的感受野會(huì)使網(wǎng)絡(luò)漏掉重要的全局語義信息，過大的感受野又會(huì)對(duì)特征圖的細(xì)節(jié)內(nèi)容欠表示。ResNet［20］已經(jīng)被廣泛使用在各種圖像特征提取的方法中，其感受野在理論上大于輸入圖像大小，但在實(shí)際的實(shí)驗(yàn)中，其感受野遠(yuǎn)遠(yuǎn)小于理論值，一些重要的全局信息依舊沒有很好地融合到特征圖中。因此，本文使用一種多尺度的全局金字塔平均池化模塊（Global Pyramid Average Pooling Module，GPAPM）來加強(qiáng)特征圖全局語義信息的提取。

全局平均池化是提取全局語義信息一種很好的方式，其主要有兩點(diǎn)優(yōu)勢(shì)：一是整合了特征圖的全局語義信息，對(duì)全局空間信息的轉(zhuǎn)移具有很好的魯棒性；二是該層沒有參數(shù)，不但可以防止數(shù)據(jù)過擬合，而且有效減少了計(jì)算機(jī)算力消耗。然而，單一的全局平均池化層能夠表征的全局信息有限，會(huì)丟失全局空間信息不同子域之間的聯(lián)系，使得皮膚病灶邊界的分割效果不明顯。本文通過金字塔結(jié)構(gòu)來解決這一問題，使用多個(gè)不同尺度的平均池化層，得到不同尺寸下全局信息的表征，將來自同一感受野下不同大小子域的信息結(jié)合起來，使得全局語義信息表征更加豐富。

由于皮膚病灶斑塊區(qū)域占原始圖像的比例大小有很大的差別，過大和過小的池化尺度均不利于特征圖全局信息的提取，因此使用池化尺度大小為2、3和6 的三層金字塔結(jié)構(gòu)，該模塊的具體結(jié)構(gòu)如圖1 所示。輸入的特征圖經(jīng)過3 個(gè)不同尺度的平均池化層，分別得到大小為2×2、3×3 和6×6 的中間層特征圖，這些特征圖是3 個(gè)不同尺度下圖像全局信息的表征。為了得到更加全面的全局信息，需要對(duì)這3 個(gè)不同尺度下的信息表征進(jìn)行融合，融合時(shí)需要先將3 個(gè)特征圖的通道數(shù)調(diào)整到相同維度，再通過雙線性插值將其上采樣至與輸入特征圖相同尺寸大小，然后把不同層級(jí)的特征圖進(jìn)行拼接，得到最終的特征圖。本文算法將此特征圖作為特征提取階段最高層語義特征圖，增強(qiáng)其全局語義信息的表征。

圖1 全局金字塔平均池化模塊Fig.1 Global pyramid average pooling module

1.2 高層特征圖語義信息嵌入低層特征圖的過程

神經(jīng)網(wǎng)絡(luò)在圖像特征提取過程中，圖像經(jīng)過深層次的卷積之后，高層和低層特征圖之間存在顯著的差異。高層特征圖具有更豐富的編碼語義信息，但圖像的低分辨率導(dǎo)致其前景圖像的位置信息和空間信息十分稀少。反之，低層特征圖包含豐富的位置和空間信息，且分辨率更加接近原始圖像，但其語義信息稀缺。然而圖像的語義信息和空間位置信息對(duì)于圖像分割任務(wù)來說同等重要，因此，采取將高層特征圖語義信息融入低層特征圖的方法，使得低層特征圖在包含本身豐富的空間位置信息的同時(shí)，能夠包含所有高層特征圖的語義信息，將圖像具體的空間信息和抽象的語義信息有效地結(jié)合，實(shí)現(xiàn)多尺度特征信息的融合，充分利用各層特征圖的語義信息。

通常情況下，語義特征融合的方式為對(duì)高層低分辨率的特征圖進(jìn)行上采樣，再將其與低層高分辨率的特征圖像素按位相加，用公式表達(dá)為：

其中，殘差項(xiàng)F(xl)表示當(dāng)前低層高分辨率特征圖的語義信息。顯然，這種普通方式中F(xl)本身所包含的語義信息很單一，即使有高一層特征圖上采樣添加的信息，其包含的語義信息依舊很少。然而筆者希望在低層特征圖中融合盡可能多的高層特征圖語義信息，因此，使用一種輕量級(jí)的多尺度特征融合的語義嵌入分支（Semantic Embedding Branch，SEB）［21］，使得每一層的特征圖能包含高層特征圖的語義信息，該方法可用公式表示為：

在計(jì)算殘差項(xiàng)F(xl,xl+1,…,xL)時(shí)，為了方便不同尺度特征圖語義信息的融合，需要先將所有高層特征圖的通道數(shù)降維至最低層特征圖大小，保證所有特征圖都在同一維度進(jìn)行像素級(jí)的運(yùn)算，該計(jì)算過程如圖2 所示。

圖2 語義嵌入分支模塊示意圖Fig.2 Diagram of semantic embedding branch module

1.3 兩階段式精細(xì)分割策略

皮膚惡性黑色素瘤塊的臨床表現(xiàn)形式復(fù)雜多樣，病灶區(qū)域的大小和形狀也不盡相同。小的斑塊使得切片圖像中前景區(qū)域和背景區(qū)域像素相差過大，負(fù)樣本所占像素比例要遠(yuǎn)大于正樣本的比例，這就造成了嚴(yán)重的樣本不均衡問題，大大影響了模型對(duì)正樣本的學(xué)習(xí)能力。而使用兩階段式的分割策略，通過第一階段分割任務(wù)的結(jié)果對(duì)原始圖像的前景區(qū)域進(jìn)行不規(guī)則剪裁，可以平衡第二階段任務(wù)輸入圖像的正負(fù)樣本比例，大大增強(qiáng)模型對(duì)正樣本的學(xué)習(xí)能力。

本文的網(wǎng)絡(luò)結(jié)構(gòu)在GLNet［22］模型的基礎(chǔ)上進(jìn)行改進(jìn)，將整個(gè)結(jié)構(gòu)分為全局和局部分2 個(gè)分支。

在第一階段的全局分割任務(wù)中，將全局金字塔平均池化模塊和多尺度語義特征融合分支模塊嵌入到以ResNet50［20］為主干的FPN 網(wǎng)絡(luò)［23］中，得到粗略的全局分割結(jié)果，以此來確定局部精細(xì)分割的目標(biāo)區(qū)域，該全局分割網(wǎng)絡(luò)模型如圖3 所示。

圖3 全局分支網(wǎng)絡(luò)模型Fig.3 Global branch network model

在第二階段的局部分割任務(wù)中，將原始全分辨率圖像中被剪裁的邊界前景作為局部分支的輸入。該局部分割網(wǎng)絡(luò)與全局分割網(wǎng)絡(luò)模型的基礎(chǔ)結(jié)構(gòu)相同，但選取自下而上階段ResNet50 中第2～5 層卷積塊的特征圖、FPN 中自上而下平滑階段的特征圖與全局分割網(wǎng)絡(luò)中對(duì)應(yīng)層的特征圖共享圖像特征，并采用特征映射正則化來防止像素分類時(shí)的過擬合，將其拼接聚合為最后的分割結(jié)果。

該兩階段式分割過程如圖4（a）所示，將原始圖像輸入全局分支網(wǎng)絡(luò)中，得到一個(gè)大致的預(yù)測(cè)結(jié)果，根據(jù)這個(gè)結(jié)果對(duì)原始圖像和標(biāo)簽圖像進(jìn)行邊界剪裁，并將剪裁后的原始圖像輸入到局部分割網(wǎng)絡(luò)中。局部分支與全局分支網(wǎng)絡(luò)對(duì)應(yīng)層共享圖像特征的過程如圖4（b）所示，最終的分割結(jié)果由3×3 大小的卷積層將2 個(gè)分支結(jié)果聚合而成。此粗略到精細(xì)的分割過程僅將邊界框內(nèi)的特征映射從全局分支共享到局部分支，邊界框以外的所有區(qū)域都被預(yù)測(cè)為背景。由于在此過程中，通過剪裁前景區(qū)域的寬松邊界，使得局部分割僅在尺寸較小且類別平衡的圖像上訓(xùn)練，這種選擇性的精細(xì)處理不但降低了計(jì)算成本，而且在對(duì)剪裁的較小的圖像進(jìn)行下采樣時(shí)，圖像信息損失較小，進(jìn)一步提升了算法的性能。

圖4 兩階段式精細(xì)分割策略示意圖Fig.4 Schematic diagram of two-stage fine segmentation strategy

2 實(shí)驗(yàn)細(xì)節(jié)

2.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集

實(shí)驗(yàn)的硬件環(huán)境為RTX 3090 顯卡，24 GB 運(yùn)行顯存，鏡像環(huán)境為ubuntu18.04，軟件環(huán)境為Python3.8、PyTorch1.9.0 和Cuda11.1。

實(shí)驗(yàn)采用的數(shù)據(jù)集為ISIC2018，該數(shù)據(jù)集由國際皮膚成像協(xié)作組發(fā)布，是全球最大規(guī)模的皮膚鏡圖像數(shù)據(jù)集，其中的病變圖像是用皮膚鏡從不同機(jī)構(gòu)接受皮膚癌篩查的患者身體不同部位中獲取的，包含2 594 張圖像和對(duì)應(yīng)的由專家手動(dòng)標(biāo)注的標(biāo)簽圖像，數(shù)據(jù)集的部分圖像如圖5 所示?？梢钥吹剑つw病灶在顏色和形態(tài)上具有很大的多樣性，有的病灶區(qū)域幾乎占滿整個(gè)切片圖像，有的卻只是很小的一個(gè)斑塊，這個(gè)特點(diǎn)增加了皮膚病灶分割任務(wù)的難度。

圖5 ISIC2018 數(shù)據(jù)集部分圖像Fig.5 Partial images of ISIC2018 dataset

ISIC2018 數(shù)據(jù)集圖像的分辨率普遍都很高，且絕大多數(shù)都是分辨率超過4K 的超高分辨率圖像，其分辨率的統(tǒng)計(jì)結(jié)果如表1 所示。

表1 ISIC2018 數(shù)據(jù)集圖像分辨率統(tǒng)計(jì)Table 1 Image resolution statistics of ISIC2018 dataset

按照8︰1︰1 的比例劃分?jǐn)?shù)據(jù)集，分別得到訓(xùn)練集、驗(yàn)證集和測(cè)試集，每個(gè)數(shù)據(jù)集的劃分結(jié)果如表2所示。

表2 ISIC2018 數(shù)據(jù)集劃分Table 2 Division of ISIC2018 dataset 單位：張

2.2 參數(shù)和評(píng)測(cè)指標(biāo)

實(shí)驗(yàn)采用Focal Loss［24］作為第一階段全局分割的主體損失函數(shù)，以此來緩解第一階段對(duì)原始全分辨率圖像分割時(shí)的樣本不均衡問題，使用均方損失函數(shù)作為第二階段特征共享時(shí)的輔助損失函數(shù)，兩者權(quán)重相等，均為1。同時(shí)，采用Adam 優(yōu)化器，學(xué)習(xí)率1×10-4用于訓(xùn)練全局分割網(wǎng)絡(luò)，2×10-5用于訓(xùn)練局部分割網(wǎng)絡(luò)，使用Poly 學(xué)習(xí)策略來調(diào)整學(xué)習(xí)率。全局分割網(wǎng)絡(luò)遍歷訓(xùn)練60 個(gè)輪回，局部分割網(wǎng)絡(luò)訓(xùn)練30 個(gè)輪回，每個(gè)輪回批處理的圖像數(shù)量為16 張。訓(xùn)練模型并進(jìn)行驗(yàn)證，保存得分最高的一次結(jié)果，在測(cè)試數(shù)據(jù)集上測(cè)試模型的有效性。

實(shí)驗(yàn)通過使用命令行工具gpustat 來實(shí)時(shí)測(cè)量模型在處理一張圖片時(shí)的顯存使用情況，以此評(píng)判算法在硬件上的優(yōu)勢(shì)，同時(shí)使用評(píng)測(cè)指標(biāo)準(zhǔn)確度（ACC）和圖像交并比（IOU）來對(duì)比算法在計(jì)算性能上的優(yōu)劣，其表達(dá)式如式（3）、式（4）所示：

其中：表達(dá)式右邊的參數(shù)都由混淆矩陣得到；TP表示正確分割的病灶塊像素，即真正例；FP表示錯(cuò)誤分割的病灶塊像素，即假正例；TN表示正確分割的背景像素，即真反例；FN表示錯(cuò)誤分割的背景像素，即假反例。準(zhǔn)確率表示所有正確分類的像素占所有像素的比例，數(shù)值越大表示算法的分割準(zhǔn)確度越高。圖像交并比表示算法預(yù)測(cè)分割結(jié)果與真實(shí)分割結(jié)果之間的重疊率，其值越大，表示算法對(duì)病灶斑塊的分割結(jié)果越接近真實(shí)結(jié)果。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 消融實(shí)驗(yàn)結(jié)果與分析

本文以FPN 網(wǎng)絡(luò)作為基礎(chǔ)，添加的模塊為全局金字塔平均池化模塊、多尺度特征融合的語義分支模塊和兩段式全局到局部精細(xì)分割策略（G→L），為了驗(yàn)證上述模塊的有效性，進(jìn)行模塊的消融實(shí)驗(yàn)，逐步將各模塊添加到網(wǎng)絡(luò)中，消融實(shí)驗(yàn)結(jié)果對(duì)比如表3所示，其中加粗表示最優(yōu)值，下同。

表3 消融實(shí)驗(yàn)結(jié)果對(duì)比Table 3 Comparison of ablation experimental results %

從表3 中可以看出，GPAPM 模塊（FPN-GP）對(duì)原FPN 網(wǎng)絡(luò)性能的優(yōu)化較為明顯，其在分割準(zhǔn)確度上提升了3.4 個(gè)百分點(diǎn)，在圖像交并比上提升了2.5 個(gè)百分點(diǎn)，相比較而言，SEB 模塊（FPN-S）的提升效果較為細(xì)微，在分割精度和交并比上僅提升了0.4 和0.5 個(gè)百分點(diǎn)，但將兩者均添加到模型中，模型的性能優(yōu)化又很顯著。由此可以看出，GPAPM 和SEB 模塊能有效提升算法的性能，且在經(jīng)過第二階段由全局到局部的精細(xì)分割之后，各模塊的分割性能又均得到了明顯提升，進(jìn)一步說明由粗到細(xì)的分割方法可以有效地解決類別不平衡問題，更好地獲取全局上下文信息，優(yōu)化模型的性能。

3.2 對(duì)比實(shí)驗(yàn)結(jié)果與分析

為了進(jìn)一步分析本文算法的有效性，將本文方法 與FCN-8s、FCN-32s、DeepLabv3［25］、PSPNet［26］和GLNet 進(jìn)行對(duì)比實(shí)驗(yàn)。對(duì)ISIC2018 數(shù)據(jù)集進(jìn)行基本的預(yù)處理之后，分別對(duì)以上方法進(jìn)行訓(xùn)練，每一種網(wǎng)絡(luò)結(jié)構(gòu)都訓(xùn)練60 個(gè)輪回，得到的結(jié)果如表4所示。

表4 實(shí)驗(yàn)結(jié)果對(duì)比Table 4 Comparison of experimental results

從表4 中可以看出，本文提出的算法比GLNet在分割準(zhǔn)確度和圖像交并比上分別提高了2.8 和2.5 個(gè)百分點(diǎn)，且在所有對(duì)比實(shí)驗(yàn)中達(dá)到了最佳的性能。雖然顯存占用比GLNet 增加了7.2%，但是相比較于其他對(duì)比算法，顯存占用減少了22.8%～36.9%，在硬件方面具有明顯的低顯存消耗優(yōu)勢(shì)。可見在兩階段式分割策略中，僅處理剪裁區(qū)域內(nèi)像素的方法可以有效減少計(jì)算機(jī)顯存的消耗，但相較于同樣使用了這個(gè)方法的GLNet，多尺度特征融合分支為了盡可能利用特征圖的語義信息，對(duì)高層特征圖進(jìn)行了多次計(jì)算，這個(gè)過程會(huì)增加一些顯卡內(nèi)存的消耗，使得其對(duì)顯存的需求略高于GLNet。

為了更加直觀地對(duì)比算法在計(jì)算性能上的優(yōu)劣，給出6 種網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果的可視化對(duì)比圖，如圖6所示，其中，圖6（a）為原始皮膚切片，圖6（b）為對(duì)應(yīng)的醫(yī)學(xué)專家標(biāo)注的病灶斑塊真實(shí)圖像。觀察圖6（c）和圖6（d）的圖像明顯看到，F(xiàn)CN 系列算法對(duì)特征圖像素間的全局關(guān)系的忽視導(dǎo)致病灶斑塊的漏檢和誤檢現(xiàn)象較為嚴(yán)重，分割效果明顯很差，可見像素間全局關(guān)系對(duì)分割任務(wù)的重要性。圖6（e）圖像相較于前兩種方法，對(duì)病灶斑塊沒有很明顯的誤檢，但漏檢現(xiàn)象還是較為明顯，可見DeepLabv3 通過串行多個(gè)不同空洞率的空洞卷積來捕獲全局上下文關(guān)系的方法是具有優(yōu)良效果的。PSPNet 融合了4 種不同尺度的池化模塊，聚合了不同區(qū)域的全局上下文信息，提高了全局信息提取的能力，增強(qiáng)了分割性能，這一點(diǎn)從其結(jié)果上對(duì)病灶塊更少的漏檢中可以看出。GLNet的全局-局部的分割策略，使得特征圖全局和局部的語義信息雙向共享，從分割結(jié)果來看，其預(yù)測(cè)的標(biāo)注圖像在形態(tài)和輪廓上相較于前幾種方法更加光滑且接近真實(shí)標(biāo)注圖像，但由于其在特征提取過程中沒有增強(qiáng)全局語義信息提取，且對(duì)多尺度語義信息的利用不夠充分，導(dǎo)致分割結(jié)果依舊欠佳。

圖6 實(shí)驗(yàn)結(jié)果可視化對(duì)比圖Fig.6 Visualization comparison chart of experimental results

相比之下，本文算法的預(yù)測(cè)結(jié)果，無論是病灶斑塊大小還是邊界形態(tài)，都更加貼近于真實(shí)的標(biāo)注圖像。全局金字塔平均池化模塊在特征提取的最后一層有效結(jié)合了多尺度的全局語義信息，增強(qiáng)了特征圖全局語義信息的表征能力，對(duì)病灶斑塊的邊界信息表示提供了幫助。多尺度特征語義融合分支將高層特征圖語義信息與低層特征圖空間信息融合，有效避免了對(duì)非病灶斑塊的誤檢和漏檢。兩階段式的精細(xì)分割策略減少了數(shù)據(jù)集正負(fù)樣本不均衡問題帶來的影響，且通過全局與局部網(wǎng)絡(luò)對(duì)應(yīng)層特征圖共享圖像特征的方法有效獲取了圖像的全局上下文聯(lián)系，進(jìn)一步優(yōu)化了分割結(jié)果，預(yù)測(cè)出比其他對(duì)比算法都更加準(zhǔn)確的標(biāo)注圖，使得本文算法在計(jì)算性能上明顯優(yōu)于其他對(duì)比算法。

4 結(jié)束語

皮膚病灶自動(dòng)化分割算法在計(jì)算機(jī)輔助治療惡性黑色素瘤中具有重要意義。面對(duì)超高分辨率的皮膚病灶切片，本文提出的算法融合輕量級(jí)的網(wǎng)絡(luò)架構(gòu)，充分利用了特征圖的全局語義信息，并充分融合了多尺度特征圖的語義信息，采用的兩階段式分割策略進(jìn)一步優(yōu)化了分割結(jié)果并減少了計(jì)算機(jī)顯存的消耗。實(shí)驗(yàn)結(jié)果證明，相較于其他對(duì)比算法，本文算法更加適用于高分辨率背景下的皮膚病灶分割。但在特征融合過程中，本文算法僅向低層特征圖融合了高層特征圖的語義信息，因此在今后的研究中，可以考慮同時(shí)將低層特征圖的空間位置信息融合到高層特征圖中，雙向的信息融合對(duì)高分辨率皮膚黑色素瘤圖像分割精度的影響還有待驗(yàn)證。