多階U-Net甲狀腺超聲圖像自動(dòng)分割方法

王 波，袁鳳強(qiáng)，陳宗仁，胡建華，楊家慧，劉 俠，3

1.廣東科學(xué)技術(shù)職業(yè)學(xué)院 計(jì)算機(jī)工程技術(shù)學(xué)院（人工智能學(xué)院），廣東 珠海 519090

2.哈爾濱理工大學(xué) 自動(dòng)化學(xué)院，哈爾濱 150080

3.黑龍江省復(fù)雜智能系統(tǒng)與集成重點(diǎn)實(shí)驗(yàn)室，哈爾濱 150080

近年來，甲狀腺癌的發(fā)病率呈逐年上升趨勢，早期發(fā)現(xiàn)與診斷是其治療關(guān)鍵[1]。臨床上超聲成像技術(shù)由于實(shí)時(shí)、廉價(jià)以及無創(chuàng)等特點(diǎn)，已成為甲狀腺疾病的首選檢查手段。甲狀腺結(jié)節(jié)是常見的甲狀腺疾病，發(fā)病率近年來有上升趨勢。甲狀腺結(jié)節(jié)的大小、形狀是臨床中甲狀腺結(jié)節(jié)良惡性診斷的重要依據(jù)。另外，甲狀腺腺體大小可用于分析甲狀腺激素的分泌，是甲狀腺異常診斷的重要特征[2]。因此，實(shí)現(xiàn)超聲甲狀腺腺體以及甲狀腺結(jié)節(jié)的精準(zhǔn)分割，可以更準(zhǔn)確地描述出甲狀腺病變區(qū)域及周圍組織，對(duì)有效診斷甲狀腺病變具有重要臨床意義。

雖然甲狀腺和甲狀腺結(jié)節(jié)兩者對(duì)象不同，但是兩者的分割方法相似。目前，常用的甲狀腺和甲狀腺結(jié)節(jié)分割方法大致可分為基于輪廓和形狀的方法、基于區(qū)域的方法和基于學(xué)習(xí)的方法等三種類型[3]?；谳喞托螤畹姆椒ɡ媚繕?biāo)邊界或形狀信息來進(jìn)行分割，這類方法需要初始輪廓和先驗(yàn)形狀信息來提高邊界分割精度，工作量大且效率較低?；趨^(qū)域的方法利用區(qū)域間的灰度統(tǒng)計(jì)特性（如均值和方差等），得到最小的邊界能量函數(shù)，從而生成邊緣輪廓，這類方法假設(shè)甲狀腺超聲圖像中相同組織區(qū)域是均勻的，而不同組織區(qū)域是不均勻的。然而，在實(shí)際的甲狀腺超聲圖像中，不同組織區(qū)域之間的差異有時(shí)并不顯著，并且分割區(qū)域的邊緣也不明確。近幾年，基于學(xué)習(xí)的方法，尤其是基于深度學(xué)習(xí)的方法，例如全卷積網(wǎng)絡(luò)（fully convolutional networks，F(xiàn)CN）[4]已成為醫(yī)學(xué)影像分割領(lǐng)域研究的最大熱點(diǎn)。不同于以上兩類方法，基于學(xué)習(xí)的方法將圖像分割視為監(jiān)督分類問題，通過構(gòu)造分類器對(duì)甲狀腺超聲圖像中的像素或圖像塊進(jìn)行分類，從而實(shí)現(xiàn)對(duì)目標(biāo)組織區(qū)域的分割，取得了不錯(cuò)的分割效果。然而，甲狀腺與甲狀腺結(jié)節(jié)邊緣模糊、超聲圖像自身的噪聲信息以及網(wǎng)絡(luò)學(xué)習(xí)過程中產(chǎn)生的附加噪聲，使得甲狀腺超聲圖像分割更具挑戰(zhàn)性。

鑒于目前研究中存在的這些問題，本文提出了一種新穎的多階U-Net深度網(wǎng)絡(luò)模型用于甲狀腺超聲圖像的自動(dòng)分割。該模型以傳統(tǒng)U-Net[5]為基礎(chǔ)框架，利用k-階U-Net生成k-階特征信息，并將k-階特征跳躍累加到(k+1)-階U-Net的解碼路徑特征圖中，生成(k+1)-階特征信息，如此不斷重復(fù)該過程，直至解碼路徑中只含有一個(gè)特征層，最終實(shí)現(xiàn)圖像邊緣信息的深度提取。此外，為了加速模型收斂，還提出了一種融合二值交叉熵的Dice-BCE-like損失函數(shù)。通過以上方法，不同信噪比的層級(jí)獲得了不同程度的再編碼，減少了噪聲對(duì)預(yù)測結(jié)果的影響，從而可以獲得更優(yōu)的分割性能。

1 相關(guān)工作

為了實(shí)現(xiàn)甲狀腺超聲圖像的腺體或結(jié)節(jié)分割，一些研究學(xué)者提出了基于輪廓和形狀的方法，這類方法利用最小化內(nèi)部和外部能量函數(shù)驅(qū)動(dòng)輪廓向目標(biāo)邊界轉(zhuǎn)移并保持輪廓光滑。對(duì)于甲狀腺分割，Kaur和Jindal[6]對(duì)無邊活動(dòng)輪廓（active contour without edge，ACWE）、局部區(qū)域活動(dòng)輪廓（localized region based active contour，LRAC）和距離正則化水平集演化（distance regularized level set evolution，DRLSE）3種模型作了對(duì)比實(shí)驗(yàn)，但未給出甲狀腺超聲圖像分割結(jié)果的定量評(píng)估指標(biāo)。此后，Kollorz等[7]針對(duì)3D甲狀腺超聲圖像提出了一種半自動(dòng)分割方法，在分割之前先進(jìn)行強(qiáng)度矯正和濾波等預(yù)處理，然后設(shè)計(jì)了一種改進(jìn)的平均延拓測地線活動(dòng)輪廓（geodesic active contour with mean extension，GACME）模型，將初始輪廓的平均像素強(qiáng)度加入模型中，以減少不同組織之間的低對(duì)比度問題。另外，Poudel等[8]在活動(dòng)輪廓模型中加入圖像相似性指標(biāo)，以控制輪廓的擴(kuò)展，在實(shí)現(xiàn)2D超聲圖像分割的基礎(chǔ)上重建了甲狀腺的3D分割結(jié)果。對(duì)于甲狀腺結(jié)節(jié)分割，Nugroho等[9]在圖像預(yù)處理階段，使用雙邊濾波器對(duì)圖像進(jìn)行預(yù)處理從而平滑圖像并保留物體邊界信息，隨后使用ACWE對(duì)圖像進(jìn)行分割。Gui等[10]將ACWE中的輪廓長度約束變?yōu)榛诘戎芗s束的緊湊形狀約束。這類方法雖然過程較為簡單，但需要手動(dòng)設(shè)置初始化輪廓。另外，由于甲狀腺邊緣與背景的相似性，使其在邊緣輪廓的分割不夠精確。

與基于輪廓和形狀的方法不同，基于區(qū)域的方法則是利用區(qū)域的統(tǒng)計(jì)特性來區(qū)分不同的組織。譬如對(duì)于甲狀腺分割，Narayan等[11]利用斑點(diǎn)相關(guān)像素所產(chǎn)生的回聲信息，將超聲圖像中的不同組織量化成不同的相似反射區(qū)域（similarly reflective regions，SRR），以檢測出高回聲解剖標(biāo)志，然后利用局部相位法檢測和分離出其他器官，進(jìn)而實(shí)現(xiàn)甲狀腺腺體的分割。另有，Poudel等[12]利用圖割算法在2D超聲圖像上實(shí)現(xiàn)甲狀腺的分割，但需要預(yù)先手動(dòng)繪制前景和背景，是一種半自動(dòng)方法。對(duì)于甲狀腺結(jié)節(jié)分割，Zhao等[13]基于歸一化分割（normalized cut，NC）模型對(duì)甲狀腺結(jié)節(jié)進(jìn)行分割，通過在NC模型中加入同態(tài)濾波和各向異性擴(kuò)散操作最大程度上抑制噪聲對(duì)邊緣分割的影響，但未給出評(píng)價(jià)結(jié)果。Alrubaidi等[14]通過（variance reduction statistic，VRS）的方法對(duì)結(jié)節(jié)進(jìn)行分割。首先，由影像醫(yī)師給出包含結(jié)節(jié)的ROI區(qū)域。隨后根據(jù)VRS確定邊緣點(diǎn)并將邊緣點(diǎn)連接起來生成結(jié)節(jié)邊緣?？傮w而言，基于區(qū)域的方法事先需要空間位置信息和先驗(yàn)形狀信息，并假設(shè)不同組織區(qū)域具有不均勻性。然而，在實(shí)際的甲狀腺超聲圖像中，不同組織區(qū)域之間的差異并不顯著，從而導(dǎo)致分割效果并不理想。

以上兩類方法都缺乏自動(dòng)性和機(jī)器智能，并且分割精度都不高，而在甲狀腺超聲圖像分割領(lǐng)域，已證實(shí)大多數(shù)基于機(jī)器和深度學(xué)習(xí)的分割方法都比傳統(tǒng)的分割方法更有效。其中，傳統(tǒng)機(jī)器學(xué)習(xí)方法中最具代表性的包括徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)（radial basis function neural network，RBFNN）、前饋神經(jīng)網(wǎng)絡(luò)（feedforward neural network，F(xiàn)NN）、支持向量機(jī)（support vector machine，SVM）、極限學(xué)習(xí)機(jī)（extreme learning machine，ELM）、隨機(jī)森林決策樹（decision tree，DT）等。隨著卷積神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展，以U-Net為代表的深度學(xué)習(xí)網(wǎng)絡(luò)在超聲圖像分割任務(wù)中得到廣泛應(yīng)用。Poudel等[15]通過3種非自動(dòng)分割方法和2種機(jī)器學(xué)習(xí)方法的3D甲狀腺分割對(duì)比實(shí)驗(yàn)，證實(shí)在自動(dòng)化程度和分割精度上，3D U-Net都獲得了最佳效果。He等[16]在基于區(qū)域的深度學(xué)習(xí)基礎(chǔ)上，融入自注意力機(jī)制，提出了一種深度注意力U-Net網(wǎng)絡(luò)，實(shí)現(xiàn)了甲狀腺輪廓的自動(dòng)分割。Ma等[17]使用包含15個(gè)卷積層和2個(gè)池化層的卷積網(wǎng)絡(luò)對(duì)甲狀腺結(jié)節(jié)進(jìn)行分割。Ying等[18]首先利用U-Net提取甲狀腺結(jié)節(jié)的ROI（region of interest）區(qū)域，隨后使用VGG-19[19]對(duì)ROI區(qū)域進(jìn)行進(jìn)一步分割。王波等[20]提出了一種融合了空間注意力、通道注意力與多尺度特征的改進(jìn)U-Net（improved U-Net，IU-Net）網(wǎng)絡(luò)以解決甲狀腺結(jié)節(jié)尺寸多變的問題?；谏疃葘W(xué)習(xí)的方法在分割精度上相對(duì)其他方法得以提升。但是甲狀腺與甲狀腺結(jié)節(jié)邊緣模糊、超聲圖像自身的噪聲信息以及低對(duì)比度，使得甲狀腺超聲圖像分割仍具有挑戰(zhàn)性。

2 多階U-Net網(wǎng)絡(luò)模型

針對(duì)U-Net網(wǎng)絡(luò)對(duì)超聲圖像噪聲處理的不足，本文提出了一種新穎的多階U-Net深度網(wǎng)絡(luò)模型（multistage U-Net，MSU-Net）。該模型首先利用1-階U-Net網(wǎng)絡(luò)生成1-階特征信息；然后將1-階特征信息跳躍累加到2-階U-Net的解碼路徑特征圖中，生成2-階特征信息；隨后不斷重復(fù)上述特征解碼和特征跳躍累加過程，直至解碼路徑中只有一個(gè)特征層，最終實(shí)現(xiàn)圖像的分割。

圖1給出了一個(gè)4-階U-Net網(wǎng)絡(luò)框架模型及其實(shí)現(xiàn)過程。其中，圖1（a）~（d）分別為1-階、2-階、3-階和4-階U-Net。該網(wǎng)絡(luò)包含一條編碼路徑、4條解碼路徑和10次跳躍連接，通過15個(gè)卷積塊和4次最大值池化，構(gòu)成一個(gè)編碼路徑共享和特征遞進(jìn)累加的4-階U-Net網(wǎng)絡(luò)。其中Eni,j和Din,j分別表示編碼和解碼的多尺度殘差卷積模塊，i為卷積塊在模型中所在的層級(jí)數(shù)，j為卷積塊在模型中所在的路徑，n為特征通道數(shù)。

二茂鐵(分子式: Fe(C5H5)2；分子量: 186.03)，購自梯希愛(上海)化成工業(yè)發(fā)展有限公司。

圖1 4-階U-Net網(wǎng)絡(luò)框架模型及其實(shí)現(xiàn)過程Fig.1 4-stage U-Net network framework model and its implementation process.

2.1 多尺度殘差卷積模塊

GoogleNet[21]利用Inception模塊將多個(gè)尺度的卷積核整合到一起，從而自適應(yīng)地獲取多尺度特征。但是Inception模塊也增加了模型的參數(shù)量。隨著卷積網(wǎng)絡(luò)層數(shù)的加深，模型很容易出現(xiàn)模型退化問題。ResNet[22]通過殘差結(jié)構(gòu)，較好地解決了這個(gè)問題。為更好利用特征圖的多尺度信息，本文提出了多尺度殘差卷積模塊（multiscale residual convolution，MSRC）代替?zhèn)鹘y(tǒng)UNet使用的兩次3×3卷積，MSRC結(jié)構(gòu)如圖2所示。

圖2 多尺度殘差卷積模塊Fig.2 Multiscale residual convolution module

對(duì)于輸入特征圖，首先利用1×3和3×1卷積獲取圖像特征。此時(shí)，相對(duì)輸入特征感受野為3×3，但是參數(shù)量小于常規(guī)3×3卷積。繼續(xù)使用1×3和3×1卷積，此時(shí)，相對(duì)輸入特征感受野為5×5。隨后，第三次使用1×3和3×1卷積，此時(shí)，相對(duì)輸入特征感受野為7×7。最后，將這三次卷積獲得的特征相加起來得到最終輸出特征。每次卷積后都使用批標(biāo)準(zhǔn)化（batch normalization，BN）以及校正線性單元（rectified linear unit，ReLU）。

2.2 1-階U-Net網(wǎng)絡(luò)

圖1（a）為1-階U-Net的網(wǎng)絡(luò)模型，該網(wǎng)絡(luò)包含一條編碼路徑、一條解碼路徑和4次跳躍連接。第一層MSRC模塊的特征通道數(shù)為32，其他層級(jí)MSRC的特征通道數(shù)為前一層的二倍。具體實(shí)現(xiàn)過程如下：首先，在編碼路徑中，輸入圖像經(jīng)過多尺度殘差卷積模塊的卷積操作后使用最大值池化用于下采樣，池化尺寸為2×2，步長為2，特征通道數(shù)為32，對(duì)池化后的特征圖繼續(xù)卷積和池化，且通道數(shù)加倍，重復(fù)此操作直至特征通道數(shù)為512；其次，在解碼路徑中，對(duì)最深層特征圖進(jìn)行上采樣，上采樣使用2×2轉(zhuǎn)置卷積，步長為2；然后是一個(gè)與編碼路徑對(duì)應(yīng)的特征映射的級(jí)聯(lián)過程，對(duì)級(jí)聯(lián)后的特征圖進(jìn)行卷積，特征圖通道數(shù)減半。重復(fù)此過程直至特征圖恢復(fù)原輸入圖像的尺寸。1-階U-Net的輸入是預(yù)處理后的待分割圖像，輸出是1-階特征信息。

2.3 k階U-Net網(wǎng)絡(luò)

在1-階U-Net解碼過程中，跳躍連接使得細(xì)節(jié)信息與高語義特征得以融合，但鑒于淺層的低信噪比仍會(huì)不可避免地將淺層的噪聲信息引入到融合后的特征圖中。為減少這種影響，模型對(duì)解碼路徑進(jìn)行重解碼，且跳躍連接的對(duì)象從編碼路徑換為解碼路徑，在不減少細(xì)節(jié)信息的情況下對(duì)解碼特征多次加工從而減少噪聲的影響提升特征圖信噪比。具體實(shí)現(xiàn)如下：

在1-階U-Net網(wǎng)絡(luò)的解碼特征圖基礎(chǔ)上，以解碼路徑中的模塊為起點(diǎn)再次進(jìn)行特征解碼，解碼方式與1-階U-Net解碼路徑相同，但是跳躍連接的對(duì)象變?yōu)榻獯a路徑中的特征圖Din,2（i=3，2，1），n為特征圖的通道數(shù)，由此形成第二階U-Net特征網(wǎng)絡(luò)，如圖1（b）所示；隨后，在2-階U-Net網(wǎng)絡(luò)的解碼特征圖基礎(chǔ)上，以為起點(diǎn)開始解碼并融合Din,3,i=2,1中的特征圖，形成3-階U-Net，如圖1（c）所示；最后，對(duì)上采樣并融合特征圖形成4-階U-Net，如圖1（d）所示，由此構(gòu)成最終分割模型。模型輸出層使用sigmoid函數(shù)作為激活函數(shù)，多尺度殘差卷積模塊的輸出特征圖與其他特征圖的計(jì)算關(guān)系為：

其中，σ(·)為一次MSRC操作，u(·)為上采樣。

本文網(wǎng)絡(luò)與U-Net++[23]網(wǎng)絡(luò)都為倒金字塔形狀，最大差異點(diǎn)在于解碼過程。U-Net++模型包含了網(wǎng)絡(luò)深度從2逐漸到5共計(jì)4個(gè)不同深度的U-Net通過共享編碼層連接到一起。而本文網(wǎng)絡(luò)由深度皆為5的不斷進(jìn)階的四組U-Net連接構(gòu)成。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 損失函數(shù)

Dice損失函數(shù)由于能夠減少類不平衡問題而被廣泛應(yīng)用于圖像分割的訓(xùn)練當(dāng)中。模型輸出層激活函數(shù)為sigmoid函數(shù)，會(huì)將輸出映射為[0，1]范圍內(nèi)，模型訓(xùn)練完成后，通常以0.5為臨界點(diǎn)，大于0.5的預(yù)測值置1，小于0.5的預(yù)測值置0從而完成像素的二分類。因此，在網(wǎng)絡(luò)訓(xùn)練過程中可以先將更多注意力集中在正確分類上，即讓標(biāo)簽為1的像素預(yù)測值大于0.5，標(biāo)簽為0的像素預(yù)測值小于0.5，以加速模型收斂。

令yn為網(wǎng)絡(luò)模型的預(yù)測值，線性映射?(α,k)將[0，1]擴(kuò)大為[-k/2,k/2]，則將取值范圍擴(kuò)大后的預(yù)測值ynk為：

本文首先通過線性映射?(yn,k)將網(wǎng)絡(luò)模型的預(yù)測值yn映射為ynk，將取值范圍從[0，1]擴(kuò)大為[-k/2,k/2]。隨后經(jīng)過sigmoid非線性映射將輸出ynk映射為yn，則輸出范圍再次恢復(fù)為[0，1]，兩次變換過程可表示為：

令?dc為改進(jìn)的類Dice損失函數(shù)，其計(jì)算方法為：

其中，N是批量數(shù)據(jù)大小，yˉn為真實(shí)值。經(jīng)過?(yn,k)與sigmoid映射變換，模型預(yù)測值yn中[0，0.5]的值更接近0，[0.5，1]的值更接近1。此時(shí)計(jì)算得到的類Dice損失值?dc則會(huì)增大錯(cuò)分類的損失值并減少正確分類的損失值，從而使模型更專注于錯(cuò)分類以加速模型收斂。另外，上述過程會(huì)減少正確分類的損失值，不利于預(yù)測的魯棒性。為進(jìn)一步增強(qiáng)網(wǎng)絡(luò)模型的魯棒性，本文引入二值交叉熵?fù)p失函數(shù)?ce，其計(jì)算方法為：

為了同時(shí)保證模型訓(xùn)練的收斂速度和預(yù)測的魯棒性，本文融合了二值交叉熵與類Dice損失函數(shù)，最終定義了一種融合二值交叉熵的Dice-BCE-like損失函數(shù)，記作?seg，其值為：

其中，?dc為改進(jìn)的類Dice損失函數(shù)用以解決類不平衡問題并加速模型收斂，?ce為二值交叉熵?fù)p失函數(shù)用以增強(qiáng)模型輸出的魯棒性。

3.2 實(shí)驗(yàn)數(shù)據(jù)及參數(shù)設(shè)置

甲狀腺數(shù)據(jù)集來自耶拿大學(xué)診所的16例病人的3D超聲甲狀腺數(shù)據(jù)[15]。對(duì)這些3D數(shù)據(jù)進(jìn)行切片操作獲得4 063張2D超聲圖片。為增強(qiáng)圖像對(duì)比度，對(duì)圖像使用自適應(yīng)直方圖均衡化處理，隨后對(duì)數(shù)據(jù)進(jìn)行歸一化處理。實(shí)驗(yàn)過程中將16個(gè)病人的數(shù)據(jù)按照12∶2∶2的比例劃分為訓(xùn)練集，驗(yàn)證集和測試集，隨后進(jìn)行交叉驗(yàn)證。

甲狀腺結(jié)節(jié)實(shí)驗(yàn)數(shù)據(jù)由上海市胸科醫(yī)院提供，共3 200例甲狀腺結(jié)節(jié)超聲圖像樣本和專家標(biāo)注輪廓。將圖像按照6∶2∶2的比例分為訓(xùn)練集、驗(yàn)證集和測試集。然后進(jìn)行交叉驗(yàn)證。針對(duì)超聲圖像低對(duì)比度問題，所有數(shù)據(jù)均進(jìn)行限制對(duì)比度直方圖均衡化處理，以增強(qiáng)對(duì)比度。

實(shí)驗(yàn)的硬件環(huán)境為Intel?Xeon?4216主頻2.10 GHz，6張GeForce RTX 3070顯卡；操作系統(tǒng)為Ubuntu 20.04，編程語言為Python 3.8，所有程序均在Pytorch框架下實(shí)現(xiàn)。

訓(xùn)練時(shí)的批量大小為16，學(xué)習(xí)率為0.000 5，初始BaseDice值為0，損失函數(shù)中的線性變換系數(shù)k為10；其次，每次訓(xùn)練結(jié)束將模型在驗(yàn)證集中進(jìn)行驗(yàn)證，當(dāng)驗(yàn)證集中的dice值大于BaseDice時(shí)保存模型并更新BaseDice為此dice值。當(dāng)驗(yàn)證集中的dice值連續(xù)15次不再上升時(shí)，模型提前結(jié)束訓(xùn)練以避免出現(xiàn)“過擬合”現(xiàn)象。

為更好地針對(duì)甲狀腺及結(jié)節(jié)超聲圖像進(jìn)行分割，本文首先通過對(duì)比實(shí)驗(yàn)確定最合適的多階U-Net網(wǎng)絡(luò)模型的階數(shù)。本文對(duì)1-階U-Net、2-階U-Net、3-階U-Net和4-階U-Net在甲狀腺數(shù)據(jù)上進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示。從表1數(shù)據(jù)可知，隨著U-Net階數(shù)的上升模型的分割精度不斷上升并在4階時(shí)達(dá)到最高，故本次實(shí)驗(yàn)將使用4-階U-Net進(jìn)行分割。

表1 各階U-Net模型的甲狀腺分割結(jié)果Table 1 Thyroid segmentation results of each model

3.3 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)從多個(gè)分割準(zhǔn)確度指標(biāo)以及參數(shù)量進(jìn)行分析，并將本文方法與SegNet[24]、U-Net、U-Net++、AU-Net[25]、BCDU-Net[26]與IU-Net[20]模型進(jìn)行對(duì)比。評(píng)價(jià)指標(biāo)包括骰子相似系數(shù)（dice similarity coefficient，DSC）、交并比（intersection over union，IoU）、準(zhǔn)確率（Precision）和召回率（Recall），指標(biāo)的具體定義如下：

其中，TP表示真陽性，F(xiàn)P表示假陽性，F(xiàn)N表示假陰性。

3.4 分割結(jié)果及分析

表2給出了在甲狀腺測試集中不同模型在各種分割評(píng)價(jià)指標(biāo)下的分割結(jié)果。由表2可以看出，在甲狀腺分割任務(wù)中，未使用MSRC的MSU-Net模型在DSC、IoU和Precision三個(gè)分割指標(biāo)中相對(duì)SegNet、U-Net與U-Net++等其他算法性能達(dá)到優(yōu)。其中DSC、IoU、Precision和Recall分 別 為0.768 1、0.666 9、0.825 9和0.776 0。在參數(shù)量較U-Net增加0.97×106的基礎(chǔ)上，DSC增加2.1%，IoU增加了3.25%。而AU-Net在參數(shù)量增加1.05×106的基礎(chǔ)上，僅比U-Net提高了0.86%的DSC和1.1%的IoU。與AU-Net相比，無MSRC的MSUNet可以在較少參數(shù)的情況下實(shí)現(xiàn)更高的分割精度。相對(duì)于分割表現(xiàn)次優(yōu)的IU-Net，本文方法同樣在更小參數(shù)量的情況下實(shí)現(xiàn)更優(yōu)的分割性能。在引入MSRC后，MSU-Net分割效果進(jìn)一步提升，DSC、IoU、Precision和Recall分別為0.769 6、0.668 1、0.828 9和0.779 2，DSC、IoU相對(duì)U-Net分別提升了2.3%、3.4%。

表2 各模型的甲狀腺分割結(jié)果Table 2 Thyroid segmentation results of each model

表3為甲狀腺結(jié)節(jié)測試集中不同模型在各種分割評(píng)價(jià)指標(biāo)下的分割結(jié)果。由表3可以看出，在甲狀腺結(jié)節(jié)的分割任務(wù)中，未使用MSRC的MSU-Net模型在DSC、IoU、Precision和Recall四個(gè)分割指標(biāo)中皆取得了最優(yōu)的表現(xiàn)。其中DSC值為0.829 8，IoU值為0.740 1，Precision值為0.861 8，Recall值為0.848 4。在引入MSRC后，MSU-Net分割效果進(jìn)一步提升，DSC、IoU、Precision和Recall分別為0.831 0、0.741 0、0.862 9和0.849 7，DSC、IoU相對(duì)U-Net分別提升了1.9%、2.1%。

表3 各模型的甲狀腺結(jié)節(jié)分割結(jié)果Table 3 Segmentation results of thyroid nodules in each model

圖3和圖4分別顯示了不同分割方法對(duì)甲狀腺和甲狀腺結(jié)節(jié)的分割效果。從第一列到最后一列分別是輸入的超聲圖像、真實(shí)輪廓、SegNet、U-Net、U-Net++、AU-Net、BCDU-Net、IU-Net以及本文方法的分割結(jié)果。其中，綠框表示每個(gè)網(wǎng)絡(luò)在邊緣細(xì)節(jié)上的分割差異。

如圖3所示，對(duì)于甲狀腺分割。SegNet和U-Net++算法分割效果較差，分割邊緣存在模糊或過分割現(xiàn)象。U-Net、AU-Net、BCDU-Net、IU-Net算法以及本文算法都能達(dá)到較好的分割效果，但在邊緣細(xì)節(jié)方面，本文網(wǎng)絡(luò)的性能優(yōu)于U-Net和AU-Net等其他算法。

圖3 不同分割方法在甲狀腺圖像上的分割表現(xiàn)Fig.3 Different segmentation performance of segmentation methods in thyroid image

如圖4所示，在甲狀腺結(jié)節(jié)分割實(shí)驗(yàn)中。U-Net和U-Net++算法的分割效果并不好，存在邊緣模糊或欠分割現(xiàn)象。SegNet、AU-Net、BCDU-Net、IU-Net算法以及本文的算法都能達(dá)到較好的分割效果，但本文算法在邊緣細(xì)節(jié)方面的性能要優(yōu)于其他算法。

圖4 不同分割方法在甲狀腺結(jié)節(jié)圖像上的分割表現(xiàn)Fig.4 Different segmentation performance of segmentation methods in thyroid nodule image

圖5和圖6展示了U-Net及其改進(jìn)方法MSU-Net得到的在甲狀腺和甲狀腺結(jié)節(jié)上的四種分割指標(biāo)的累積分布函數(shù)。圖中，從（a）到（d）分別為DSC、IoU、Precision和Recall的累積分布函數(shù)。橫坐標(biāo)為評(píng)價(jià)指標(biāo)值的變化范圍為[0，1]，縱坐標(biāo)為分布函數(shù)，表示模型的評(píng)價(jià)指標(biāo)大于橫坐標(biāo)的概率值。

通過觀察圖5和圖6兩幅圖片中U-Net和MSU-Net的累積分布函數(shù)曲線可以發(fā)現(xiàn)，在甲狀腺分割和甲狀腺結(jié)節(jié)分割實(shí)驗(yàn)中，MSU-Net在所有指標(biāo)上的表現(xiàn)都優(yōu)于U-Net，具備更好的分割精度與穩(wěn)定性。因此，本文提出的算法確實(shí)提高了甲狀腺超聲圖像的分割性能。

圖5 U-Net與MSU-Net甲狀腺分割結(jié)果的累積分布函數(shù)Fig.5 Cumulative distribution function of thyroid gland segmentation result achieved by U-Net and MSU-Net

圖6 甲狀腺結(jié)節(jié)分割結(jié)果的累積分布函數(shù)Fig.6 Cumulative distribution function of thyroid nodule segmentation results

從以上數(shù)據(jù)可以看出，本文模型在甲狀腺與甲狀腺結(jié)節(jié)超聲圖像中的分割表現(xiàn)均優(yōu)于其他模型。其中表1中的數(shù)據(jù)顯示，隨著U-Net階數(shù)的提升模型分割表現(xiàn)逐漸增優(yōu)，且增長的幅度逐漸減小。該現(xiàn)象表明隨著U-Net階數(shù)的增加模型的分割性能也同步增加，但隨著階數(shù)的增加其所能帶來的性能提升也隨之減少，驗(yàn)證了本文提出的多階U-Net模型的有效性。其原因是本文方法通過多階U-Net不斷遞進(jìn)的連接方式以實(shí)現(xiàn)圖像邊緣的深度信息提取。在解碼的過程中，隨著特征圖尺寸的不斷擴(kuò)大，淺層和深層的語義特征通過跳躍連接實(shí)現(xiàn)多尺度特征的不斷融合。通過高語義信息的融合從而抑制淺層特征圖中存在的噪聲并保留其中的細(xì)節(jié)信息。因此，該算法在細(xì)節(jié)特征方面優(yōu)于其他算法。此外，本文模型在增加MSRC模塊后模型分割性能進(jìn)一步上升同樣驗(yàn)證了MSRC模塊的有效性。

4 結(jié)語

本文提出了一種新多階U-Net模型，用于甲狀腺與甲狀腺結(jié)節(jié)的超聲圖像分割。為了提高分割性能，模型對(duì)不同層次的特征進(jìn)行了不同程度的再處理，包括深度高語義特征的融合并抑制淺層特征噪聲。此外，引入了多尺度殘差卷積模塊進(jìn)一步提升了分割性能。實(shí)驗(yàn)結(jié)果表明，該方法比以往的算法具有更高的分割準(zhǔn)確性。對(duì)于如何減少網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，并將該分割框架應(yīng)用于其他醫(yī)學(xué)圖像分割任務(wù)是下一步的研究方向。