基于改進(jìn)U-Net網(wǎng)絡(luò)的甲狀腺結(jié)節(jié)超聲圖像分割方法

王 波 李夢翔 劉 俠*

①(哈爾濱理工大學(xué)自動化學(xué)院 哈爾濱 150080)

②(黑龍江省復(fù)雜智能系統(tǒng)與集成重點(diǎn)實驗室 哈爾濱 150080)

1 引言

甲狀腺結(jié)節(jié)是常見的臨床問題，甲狀腺癌的發(fā)病率近年來呈上升趨勢[1]。超聲檢查因簡單、方便易行、經(jīng)濟(jì)以及檢查時間短等特點(diǎn)，已成為臨床上首選的甲狀腺結(jié)節(jié)檢測手段。甲狀腺結(jié)節(jié)的大小、形狀、輪廓等特征是臨床上甲狀腺結(jié)節(jié)良惡性診斷中的重要依據(jù)。因此，實現(xiàn)全自動、高精度的甲狀腺結(jié)節(jié)超聲圖像分割具有較高的臨床意義。

目前，常見的甲狀腺結(jié)節(jié)分割方法主要可分為基于活動輪廓模型的方法、基于區(qū)域的方法和基于深度學(xué)習(xí)的方法等3種類型?；诨顒虞喞Ｐ偷姆椒╗2-4]利用超聲圖像中的輪廓信息對甲狀腺結(jié)節(jié)進(jìn)行分割，這類方法需要預(yù)先設(shè)定初始輪廓，而甲狀腺結(jié)節(jié)，尤其是惡性結(jié)節(jié)通常存在浸潤性不規(guī)則邊緣，結(jié)節(jié)組織區(qū)域與周圍環(huán)境難以區(qū)分，分割效果并不理想。基于區(qū)域的方法[5,6]利用區(qū)域間的強(qiáng)度統(tǒng)計特性(比如均值等)得到邊界能量函數(shù)，通過最小化邊界能量函數(shù)生成結(jié)節(jié)的邊緣輪廓，這類方法適用于相同組織區(qū)域的灰度是均勻分布，而不同組織區(qū)域間的灰度分布是不均勻的圖像。然而，在大多數(shù)甲狀腺結(jié)節(jié)超聲圖像中，不同組織區(qū)域間的灰度差異并不明顯，需要先驗形狀信息和位置信息來實現(xiàn)區(qū)域的準(zhǔn)確分割。近年來，以U-Net[7]為代表的深度學(xué)習(xí)模型在醫(yī)學(xué)圖像分割任務(wù)中取得了很好的效果，已成為該領(lǐng)域最大的研究熱點(diǎn)。相較于前兩種方法來說，基于深度學(xué)習(xí)的方法通過對圖像中的像素或圖像塊進(jìn)行分類，利用訓(xùn)練模型完成甲狀腺結(jié)節(jié)圖像的分割，無需人工干預(yù)。然而，現(xiàn)有的模型大都會等權(quán)重地分配特征張量上所有空間位置和通道上的信息而產(chǎn)生大量的計算冗余，導(dǎo)致模型訓(xùn)練速度變慢，分割精度變低，注意力機(jī)制的引入在一定程度上提升了模型的效率和性能。另外，這類方法除了模型訓(xùn)練非常耗時之外，還需要大量的訓(xùn)練樣本和標(biāo)簽，才能獲得理想的分割效果。

鑒于目前研究中存在的問題，本文提出了一種新的改進(jìn)型U-Net網(wǎng)絡(luò)模型用于甲狀腺結(jié)節(jié)超聲圖像的自動分割。該模型以U-Net為主干網(wǎng)絡(luò)，設(shè)計了一種結(jié)合殘差結(jié)構(gòu)和多尺度卷積模塊用以提升對不同尺寸結(jié)節(jié)的分割精度。此外，為了保留甲狀腺結(jié)節(jié)的邊緣信息，在跳躍長連接過程中引入空間注意力和通道注意力機(jī)制。通過對比實驗和注意力模塊的可視化分析，證明本文所提的方法較傳統(tǒng)UNet具有更優(yōu)的分割性能。

2 相關(guān)工作

針對甲狀腺結(jié)節(jié)分割問題，部分研究者提出了基于活動輪廓模型的分割方法。文獻(xiàn)[2]在無邊主動輪廓(Active Contour Without Edges, ACWE)模型[8]的基礎(chǔ)上，提出了可變背景主動輪廓(Variable Background Active Contour, VBAC)模型，該模型在背景分布不均勻的甲狀腺結(jié)節(jié)超聲圖像中分割效果比ACWE有所提升，但對非低回聲結(jié)節(jié)的分割效果欠佳。文獻(xiàn)[3]提出了聯(lián)合回聲反射性-紋理(Joint Echogenicity-Texture, JET)模型，該模型在VBAC模型的基礎(chǔ)上加入了區(qū)域像素強(qiáng)度和紋理特征分布信息，對等回聲的甲狀腺結(jié)節(jié)超聲圖像分割效果較VBAC模型有所提升，但該模型并不能很好地區(qū)分大型血管和甲狀腺結(jié)節(jié)結(jié)構(gòu)。文獻(xiàn)[4]提出了一種結(jié)合ACWE模型和區(qū)域擴(kuò)張擬合能量(Region-Scalable Fitting energy, RSF)模型[9]的甲狀腺結(jié)節(jié)超聲圖像分割方法，獲得了不錯的分割結(jié)果，但需預(yù)先設(shè)置初始輪廓。這類方法雖然實現(xiàn)過程相對較為簡單，但需要預(yù)先設(shè)定初始輪廓，且在每次分割中都需要長時間的迭代，效率較低。此外，由于甲狀腺結(jié)節(jié)之間的個體差異較大，這類方法對不同的病例圖像分割結(jié)果存在較大的不確定性。

與此同時，研究者們也提出了基于區(qū)域的方法用于甲狀腺結(jié)節(jié)超聲圖像的分割。文獻(xiàn)[5]提出了一種基于歸一化模型的甲狀腺結(jié)節(jié)超聲圖像分割方法。該方法在歸一化模型中加入同態(tài)濾波和各向異性擴(kuò)散操作，在減少圖像噪聲的同時保留了重要的邊緣細(xì)節(jié)，但缺乏通用性和普適性。文獻(xiàn)[6]提出了一種基于徑向梯度和方差縮減統(tǒng)計(Variance-Reduction Statistics, VRS)算法的超聲甲狀腺結(jié)節(jié)分割方法。該方法首先需要放射科醫(yī)生手動標(biāo)注結(jié)節(jié)的長短軸和中心點(diǎn)，然后使用VRS算法粗略估計結(jié)節(jié)徑向線與結(jié)節(jié)邊緣的交點(diǎn)，隨后通過選擇最近的相鄰點(diǎn)進(jìn)行連接來確定結(jié)節(jié)的形狀，最后采用B樣條方法提高了分割精度。但是該方法需要專業(yè)的放射科醫(yī)生手動干預(yù)，效率較低。綜合已有研究，基于區(qū)域的方法也需要豐富的先驗信息才能獲得較為精確的分割效果。

相較于上面的傳統(tǒng)圖像分割算法，深度學(xué)習(xí)算法在分割的準(zhǔn)確率和算法的自動化程度上都有較大提升。文獻(xiàn)[10]提出了一種加入了殘差結(jié)構(gòu)和注意力門機(jī)制的U-Net網(wǎng)絡(luò)，該網(wǎng)絡(luò)的分割效果較UNet網(wǎng)絡(luò)有所提升，但在對比度較低的甲狀腺結(jié)節(jié)超聲圖像上效果較差，此外，當(dāng)一張圖像中出現(xiàn)多個結(jié)節(jié)時，該網(wǎng)絡(luò)不能有效地分割出所有結(jié)節(jié)區(qū)域。文獻(xiàn)[11]提出基于注意力機(jī)制的半監(jiān)督神經(jīng)網(wǎng)絡(luò)對甲狀腺結(jié)節(jié)超聲圖像進(jìn)行分割，該網(wǎng)絡(luò)通過使用弱注釋的分類數(shù)據(jù)和少量完全注釋的分割數(shù)據(jù)來完成甲狀腺超聲圖像的分割，并取得了較好的分割結(jié)果，但該模型的泛化能力還有待提升。文獻(xiàn)[12]提出了一種使用空間金字塔池化結(jié)構(gòu)的模型，該模型將空間金字塔池化結(jié)構(gòu)與編解碼器路徑相結(jié)合，使其能夠更好地捕獲圖像中的上下文信息，雖然最后取得了較好的分割結(jié)果，但是該模型需要的訓(xùn)練時間較長。文獻(xiàn)[13]在Mask-R-CNN網(wǎng)絡(luò)的基礎(chǔ)上設(shè)計了一種具有多任務(wù)處理能力的網(wǎng)絡(luò)框架，能夠同時進(jìn)行甲狀腺結(jié)節(jié)檢測、分割和分類的任務(wù)，但該模型對于小尺寸的結(jié)節(jié)分割效果較差。與上面兩種傳統(tǒng)的分割方法相比，基于深度學(xué)習(xí)的方法無論是在算法的自動化程度上還是在算法對不同病例圖像的適應(yīng)性上都有很大程度的提升。

近年來，注意力機(jī)制被引入深度學(xué)習(xí)中的圖像分割領(lǐng)域。文獻(xiàn)[14]在U-Net中加入了注意力機(jī)制，使用深層卷積提取的權(quán)重圖來監(jiān)督淺層卷積，將激活的部分限制于待分割的區(qū)域并減小背景的激活值以此來達(dá)到優(yōu)化分割效果的目的。文獻(xiàn)[15]提出了一種通道和空間相結(jié)合的注意力模塊，該模塊的參數(shù)量較少并且能夠嵌入在主流網(wǎng)絡(luò)中來有效提升分類和檢測工作的準(zhǔn)確率。文獻(xiàn)[16]提出了一種用于語義分割的雙重注意力網(wǎng)絡(luò)，分別使用了空間和通道的注意力模塊對同一通道內(nèi)的上下文信息以及不同通道間的依賴關(guān)系進(jìn)行提取，在語義分割任務(wù)中取得了不錯的結(jié)果。文獻(xiàn)[17]提出了一種帶邊界保持模塊的醫(yī)學(xué)超聲圖像分割模型，該模塊利用邊界關(guān)鍵點(diǎn)生成的權(quán)重圖增強(qiáng)網(wǎng)絡(luò)對于目標(biāo)邊界區(qū)域的關(guān)注度，能夠讓分割結(jié)果的形狀和輪廓保持在專家金標(biāo)準(zhǔn)的附近。文獻(xiàn)[18]認(rèn)為語義分割任務(wù)應(yīng)該分為像素預(yù)測和像素分組兩個子任務(wù)來完成，同時提出了一種用于學(xué)習(xí)多尺度空間特征以及非局部特征的壓縮和注意力(Squeeze-and-Attention,SA)模塊，并將該模塊添加在主流的分割模型上使其分割結(jié)果得到了較大優(yōu)化。總的來說，注意力機(jī)制在圖像分割領(lǐng)域起到了輔助作用，能夠幫助網(wǎng)絡(luò)模型達(dá)到更好的分割效果。

3 本文方法

針對甲狀腺結(jié)節(jié)尺寸多變且邊緣模糊導(dǎo)致圖像難以分割的問題，本文提出了一種基于殘差多尺度卷積和注意力機(jī)制的深度卷積神經(jīng)網(wǎng)絡(luò)模型。圖1給出了該模型的整體框架。該模型以U-Net為主干網(wǎng)絡(luò)結(jié)構(gòu)，包含編碼路徑、注意力模塊和解碼路徑3個部分。首先對圖像進(jìn)行殘差多尺度卷積和編碼下采樣，同時將每一層級輸出的特征張量經(jīng)過注意力模塊復(fù)制到對應(yīng)層級的解碼器中，然后對下采樣得到特征張量進(jìn)行疊加和上采樣，最終通過Dice損失函數(shù)實現(xiàn)甲狀腺結(jié)節(jié)的掩膜分割。

3.1 殘差多尺度卷積模塊

在圖1編解碼器的每個層級中，特征張量都依次經(jīng)過一個殘差塊和一個多尺度卷積塊。圖2給出了殘差塊結(jié)構(gòu)圖，其中H,W,C分別為特征張量的高，寬和通道的維度。該殘差模塊由兩個卷積層組成，每個卷積層依次包含一個3×3卷積，一個批量歸一化(Batch Normalization, BN)處理和一個修正線性單元(Rectified Linear Unit, ReLU)。輸入特征張量經(jīng)過兩個卷積層后與自身相加，再經(jīng)過一個ReLU激活函數(shù)，最終得到輸出特征張量。

另外，本文分別設(shè)計了兩種具有不同卷積核的多尺度卷積結(jié)構(gòu)。圖3給出了這兩種卷積結(jié)構(gòu)的框架圖。其中，圖3(a)為多尺度小核卷積，用于編碼路徑和解碼路徑中的上兩層卷積操作，以獲得更完整的局部幾何細(xì)節(jié)信息；圖3(b)為多尺度大核卷積，用于編解碼中的下3層卷積，以生成更完整的高層語義信息。

圖1 基于殘差多尺度卷積和注意力機(jī)制的深度卷積神經(jīng)網(wǎng)絡(luò)模型

圖2 本文中所使用的殘差塊

圖3 多尺度卷積結(jié)構(gòu)

對于多尺度小核卷積結(jié)構(gòu)，如圖3(a)所示，輸入特征張量經(jīng)過兩個分支，在上方分支中輸入特征張量先經(jīng)過1×1的卷積，然后分別通過一個1×3卷積分支和另一個3×1卷積分支得到兩個輸出特征張量；在下方的分支中輸入特征張量依次經(jīng)過平均池化和1×1卷積得到輸出特征張量。其中，每個卷積層后都依次包含一個BN處理和一個ReLU。上下兩個分支的輸出特征張量進(jìn)行通道上的拼接得到多尺度小核卷積的最終輸出特征張量。

對于多尺度大核卷積結(jié)構(gòu)，如圖3(b)所示，采用inception-v4結(jié)構(gòu)中的inception-B結(jié)構(gòu)[19]。其中，輸入的特征張量將經(jīng)過4個分支。在最上方的分支中輸入特征張量經(jīng)過1×1的卷積后得到輸出特征張量。在上方第2個分支中輸入特征張量依次經(jīng)過平均池化以及1×1的卷積后得到輸出特征張量。在上方第3個分支中輸入特征張量依次經(jīng)過1×1卷積、1×7卷積和7×1卷積后得到輸出特征張量。在最下方分支中輸入特征張量依次經(jīng)過1×1卷積、7×1卷積、1×7卷積、7×1卷積和1×7卷積后得到輸出特征張量。同樣的，4個路徑中的每個卷積層后都依次包含一個BN處理和一個ReLU。4個分支的輸出特征張量進(jìn)行通道維度上的拼接得到多尺度大核卷積的最終輸出特征張量。

3.2 注意力模塊

為了解決U-Net模型中的跳躍長連接在傳遞關(guān)鍵細(xì)節(jié)特征時將無用信息或噪聲同時傳入解碼層的問題，本文在網(wǎng)絡(luò)模型中引入了注意力機(jī)制。圖4給出了該注意力模塊的網(wǎng)絡(luò)結(jié)構(gòu)圖，其中H,W,C分別為特征張量的高，寬和通道的維度。該注意力機(jī)制包含空間注意力模塊和通道注意力模塊，輸入特征張量經(jīng)過空間注意力模塊后的輸出特征張量作為通道注意力模塊的輸入特征張量。

3.2.1 空間注意力模塊

在空間注意力模塊中，輸入特征張量首先通過通道上的全局平均池化和全局最大池化后進(jìn)行通道維度拼接，然后經(jīng)過一個7×7卷積，并利用Sigmoid激活函數(shù)得到一個通道數(shù)為1的權(quán)重圖，接著將權(quán)重圖和原輸入特征張量相乘，最后輸出一個與原張量同型的特征張量。令Fs∈RH×W×C為空間注意力模塊的輸出特征張量，其中H,W,C分別為輸入特征張量的高，寬和通道的維度，則有

圖4 注意力模塊網(wǎng)絡(luò)結(jié)構(gòu)

其中，F(xiàn)1表示空間注意力模塊的權(quán)重圖，F(xiàn)1i,j代表權(quán)重圖在位置P(i,j)處的權(quán)重，i=1,2,...,H;j=1,2,...,W。F ∈RH×W×C表示空間注意力模塊的輸入，F(xiàn)i,j ∈R1×1×C代表輸入特征張量在位置P(i,j)處的所有通道組成的向量，i=1,2,...,H;j=1,2,...,W。?表示對應(yīng)位置元素相乘。

3.2.2 通道注意力模塊

4 實驗與分析

4.1 實驗數(shù)據(jù)及參數(shù)設(shè)置

本文的實驗數(shù)據(jù)由上海市胸科醫(yī)院提供，一共有450例甲狀腺結(jié)節(jié)超聲圖像的樣本以及專家標(biāo)注輪廓。原始超聲圖像大小為500×300，去除隱私信息后，將圖片統(tǒng)一裁剪為256×256大小，并按照8:1:1比例隨機(jī)劃分為訓(xùn)練集、驗證集和測試集，再利用旋轉(zhuǎn)、尺度變換等操作對訓(xùn)練集數(shù)據(jù)進(jìn)行10倍數(shù)據(jù)增強(qiáng)，增強(qiáng)后訓(xùn)練集共有3960例數(shù)據(jù)。

實驗中網(wǎng)絡(luò)的具體參數(shù)為：輸入圖像大小為256×256，Batch_size大小為8，初始學(xué)習(xí)率設(shè)置為0.001，模型優(yōu)化器為自適應(yīng)矩估計(ADAptive Moment estimation, Adam)[20]，使用Dice-loss作為損失函數(shù)，最大迭代次數(shù)為150次。在訓(xùn)練過程中，如果驗證集上連續(xù)10輪損失值沒有下降，則學(xué)習(xí)率減半。實驗的硬件環(huán)境為Intel (R) Xeon(R)CPU主頻2.30 GHz, NVDIA Tesla P-100顯卡；操作系統(tǒng)為Ubuntu 18.04，編程語言為Python 3.7，所有程序均在Tensorflow和Keras混合框架下實現(xiàn)。

4.2 評價指標(biāo)

實驗從分割結(jié)果準(zhǔn)確性方面，將本文所提方法同U-Net[7], ADeeplabv3+[21], BCDU-Net[22], UNet++[23], AU-Net[14]以及帶有壓縮和激勵(Squeeze and Excitation, SE)模塊[24]的AU-Net進(jìn)行比較。評價指標(biāo)包括骰子相似系數(shù) (Dice Similarity Coefficient, DSC)、交并比(Intersection over Union, IoU)、豪斯多夫(Hausdorff)距離、過分割率(False Positive Rate, FPR)和欠分割率(False Negative Rate,FNR)。下面給出這些指標(biāo)的具體定義。

給定兩個區(qū)域A和B，則它們的骰子相似系數(shù)DSC和相似度IoU分別定義為

4.3 分割結(jié)果與分析

圖5給出了不同網(wǎng)絡(luò)的分割結(jié)果，其中圖5(a)是原始數(shù)據(jù)，圖5(b)是專家標(biāo)注的金標(biāo)準(zhǔn)，圖5(c)-圖5(i)依次是U-Net, ADeeplabv3+, BCDU-Net, UNet++, AU-Net, 帶有SE模塊的AU-Net和本文方法的分割結(jié)果，圖中線框標(biāo)注了專家金標(biāo)準(zhǔn)、對比網(wǎng)絡(luò)以及本文網(wǎng)絡(luò)分割結(jié)果之間的部分差異。

從圖5(c)、圖5(d)、圖5(g)、圖5(h)可以看到，U-Net, ADeeplabv3+, AU-Net, 以及帶有SE模塊的AU-Net的分割結(jié)果中出現(xiàn)了許多過分割現(xiàn)象，會將一些距離專家標(biāo)注輪廓較遠(yuǎn)處的區(qū)域劃入預(yù)測結(jié)果中，這種現(xiàn)象在結(jié)節(jié)尺寸較小處尤為明顯。從圖5(e)和圖5(f)可以看到，BCDU-Net和UNet++的分割結(jié)果也有類似的問題，不同的是BCDU-Net對于小型結(jié)節(jié)的分割效果較好，而UNet++在結(jié)節(jié)尺寸較小處出現(xiàn)了一些欠分割現(xiàn)象。從圖5(i)可以看出本文方法分割結(jié)果的邊緣輪廓保持在專家標(biāo)注的附近區(qū)域，并且橫縱比和形狀都沒有出現(xiàn)較大的誤差，而這兩種特征也是后續(xù)醫(yī)療診斷工作中至關(guān)重要的特征。從結(jié)果來看，本文提出的方法效果最好。

卷積神經(jīng)網(wǎng)絡(luò)在淺層會提取到一些邊緣的細(xì)節(jié)特征，隨著網(wǎng)絡(luò)深度的增加淺層邊緣信息會有一定程度的丟失，抽象的語義特征信息將會被提取。本文方法中將淺層的編碼器提取到的特征通過注意力模塊再連接到解碼器的對應(yīng)層級，能夠給那些淺層的特征中邊緣細(xì)節(jié)信息以更高權(quán)重，在保留邊緣信息的同時也在一定程度上抑制了淺層特征中的無用信息或者噪聲。此外，甲狀腺結(jié)節(jié)在尺寸上存在較大差異性，而U-Net, BCDU-Net, U-Net++和AUNet網(wǎng)絡(luò)都僅使用了3×3卷積，這種單一尺寸的卷積使得網(wǎng)絡(luò)不能對不同尺寸的目標(biāo)都獲得合適的感受野。因此，本文方法在編碼器和解碼器階段采用了多尺度卷積模塊，將不同尺寸卷積的結(jié)果進(jìn)行通道上的拼接，使其表現(xiàn)在不同的通道上。而通道注意力模塊在學(xué)習(xí)中給予不同通道以不同的權(quán)重，能夠讓網(wǎng)絡(luò)在學(xué)習(xí)中選擇合適尺寸的卷積層信息。

表1給出了本文模型與對比模型在測試集上的分割結(jié)果。

圖5 不同網(wǎng)絡(luò)分割結(jié)果對比

表1 不同模型的量化分割結(jié)果

從表1可以看出，總的來說本文提出的方法效果最好，與改進(jìn)前的U-Net網(wǎng)絡(luò)相比，本文提出的模型得到的分割結(jié)果在DSC上提升了約16%。在IoU上提升了約19%。從豪斯多夫距離上來看，本文方法在分割結(jié)果的邊緣輪廓精度上有較大提升，說明本文的注意力模塊在邊界保持方面起到了良好的作用。本文方法的FPR也有明顯降低，最后的FNR表現(xiàn)不及U-Net，這是因為U-Net在分割結(jié)果上出現(xiàn)了較多的過分割現(xiàn)象，即分割結(jié)果的面積總是較大一些，因此不易出現(xiàn)欠分割現(xiàn)象。同樣，與其余對比算法相比，本文的模型在各項指標(biāo)上也均有較大領(lǐng)先。

4.4 注意力模塊的可視化與分析

為了進(jìn)一步說明注意力模塊的作用，本文對兩個注意力模塊進(jìn)行了可視化實驗。圖6給出了包含4個注意力模塊的空間注意力權(quán)重圖可視化結(jié)果。其中，圖6(a)是原始圖像，圖6(b) 是專家標(biāo)注的金標(biāo)準(zhǔn)，圖6(c)-圖6(f)分別是圖1中從上到下的4個注意力模塊的權(quán)重圖可視化后的結(jié)果。圖中較亮的部分表示該地方權(quán)重接近于1，即該位置的空間信息對于分割結(jié)果有較大作用，較暗的部分表示該地方權(quán)重接近于0，即該位置的空間信息對于分割結(jié)果貢獻(xiàn)較小。特別地，如果沒有空間注意力模塊，所有權(quán)重圖應(yīng)是全白的，表示所有位置的權(quán)重都為1即每個像素的空間位置信息在學(xué)習(xí)中都會被全部接收。

從圖6(c)可以看到，結(jié)節(jié)的輪廓邊緣被標(biāo)記為較亮區(qū)域，但背景的許多部分也存在較亮區(qū)域。從圖6(d)可以看到，除結(jié)節(jié)內(nèi)部區(qū)域以及部分背景外，其余位置亮度均較高。從圖6(e)和圖6(f)可以看到，隨著網(wǎng)絡(luò)層級的加深，權(quán)重圖逐漸變得抽象，但是仍能看出在結(jié)節(jié)邊緣部分較亮，而背景部分則相對較暗。

在淺層編碼器路徑提取到的特征張量中，結(jié)節(jié)邊緣的輪廓信息被注意力模塊賦予較大的權(quán)重，但是由于淺層網(wǎng)絡(luò)的感受野較小，不能很好地感知整幅圖像的全局信息，所以一些背景的空間信息同樣也被賦予了較大的權(quán)重。而隨著網(wǎng)絡(luò)層次的加深，空間注意力模塊的感受野會逐漸變大，因此能更好地區(qū)分前景和背景區(qū)域，從而對目標(biāo)區(qū)域以外的空間位置信息會予以一定程度上的抑制。

圖7給出了注意力模塊輸出特征張量中幾個通道可視化后的結(jié)果。圖7(a)是原始圖像，圖7(b)是專家標(biāo)注的金標(biāo)準(zhǔn)，圖7(c)-圖7(e)是圖1中最上層注意力模塊輸出特征張量選取比較有代表性的通道可視化后的結(jié)果，并在圖的下方標(biāo)注了該通道所對應(yīng)的權(quán)重。

從圖7(c)-圖7(e)可以看出，該特征張量的通道6有較低的權(quán)重，而通道13和通道39有較高的權(quán)重。從圖7可以看出通道6提取出的結(jié)果因其包含許多無用信息和噪聲，所以難以分辨出有用的輪廓，而通道13和通道39則都在結(jié)節(jié)的邊緣區(qū)域提取到了可以區(qū)分的區(qū)域和邊緣信息。也就是說，通道13和通道39代表了某種抽象的特征，并且這種特征可以將結(jié)節(jié)區(qū)域與背景區(qū)域進(jìn)行區(qū)分。而這也解釋了注意力模塊為什么在學(xué)習(xí)中給予了這兩個通道較高的權(quán)重。

圖6 空間注意力權(quán)重圖可視化后的結(jié)果

圖7 通道注意力模塊輸出特征張量的不同通道可視化后的結(jié)果

5 結(jié)束語

本文提出了一種基于改進(jìn)U-Net網(wǎng)絡(luò)的甲狀腺結(jié)節(jié)超聲圖像的分割方法，采用殘差結(jié)構(gòu)和多尺度卷積對U-Net網(wǎng)絡(luò)的主干部分進(jìn)行了優(yōu)化，引入注意力機(jī)制進(jìn)一步提升了網(wǎng)絡(luò)的分割精度。通過實驗證明本文所提出的方法較以往算法更加有效地提高了分割結(jié)果的準(zhǔn)確率，對不同尺寸的結(jié)節(jié)都有較好的分割效果。如何減少網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)，以及將這種分割框架應(yīng)用于其他醫(yī)學(xué)圖像分割任務(wù)是下一步的研究方向。