融合全局推理和MLP架構(gòu)的甲狀腺結(jié)節(jié)分割模型

李彬榕 謝 珺 李 鋼 續(xù)欣瑩 藍(lán)子俊

甲狀腺是一個蝴蝶形的內(nèi)分泌腺，位于頸部的前下方，會分泌人體所需激素.甲狀腺結(jié)節(jié)是指甲狀腺細(xì)胞異常生長形成的腫塊，甲狀腺結(jié)節(jié)的大小、形狀、輪廓等特征是臨床上甲狀腺結(jié)節(jié)良/惡性診斷的重要依據(jù).超聲影像技術(shù)已成為臨床上首選的甲狀腺結(jié)節(jié)檢測手段，然而，超聲圖像具有分辨率和對比度較低、固有斑點噪聲較大、偽影較多等特性，且甲狀腺結(jié)節(jié)尺寸形態(tài)各異,邊緣輪廓粗糙，導(dǎo)致臨床檢查時甲狀腺結(jié)節(jié)區(qū)域不易精確判別[1].目前，常使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)實現(xiàn)對甲狀腺結(jié)節(jié)的自動快速分割，輔助臨床檢查，如PSPNet(Pyramid Scene Parsing Net-work)[2]、DeepLabv3+[3]、U-Net類深度神經(jīng)網(wǎng)絡(luò)[4]等.

近期，研究人員提出質(zhì)疑：卷積層的存在是否必要，不使用卷積層能否更好地實現(xiàn)機器視覺任務(wù).因此，能通過簡單的線性操作實現(xiàn)參數(shù)學(xué)習(xí)的多層感知機(Multi-layer Perceptron, MLP)再次受到研究者的關(guān)注，很多基于深度MLP的網(wǎng)絡(luò)架構(gòu)被提出.Tolstikhin等[5]提出MLP-Mixer，未使用任何卷積層，僅利用矩陣轉(zhuǎn)置和MLP層實現(xiàn)空間特征信息的傳輸,并在圖像分類任務(wù)中取得較優(yōu)結(jié)果.MLP-Mixer只能用于固定大小的輸入圖像，Chen等[6]提出CycleMLP，可應(yīng)對不同尺寸的輸入圖像.Cycle-MLP使用循環(huán)采樣的空間連接方法,在不增加計算復(fù)雜度的基礎(chǔ)上擴大感受野范圍，在圖像分類、目標(biāo)檢測、語義分割任務(wù)中都取得與CNN媲美的性能.

然而，MLP架構(gòu)與CNN都只能捕獲圖像局部區(qū)域關(guān)系，無法捕獲任意形狀的不相交區(qū)域和遠(yuǎn)距離區(qū)域關(guān)系[7].對于醫(yī)學(xué)圖像處理任務(wù)，局部推理無法有效應(yīng)對圖像中斑點噪聲較大和偽影較多的問題.全局推理模塊致力于捕獲圖像全局依賴關(guān)系，緩解噪聲干擾.Wang等[8]提出Non-local塊，引入圖像全局關(guān)系推理中，計算圖像中任何像素對當(dāng)前像素的關(guān)系權(quán)值，捕獲圖像遠(yuǎn)程像素點之間的依賴關(guān)系.Fu等[9]提出DANet(Dual Attention Network),把Non-local操作視為空間維度的注意力機制，并在此基礎(chǔ)上引入通道注意力機制,構(gòu)建雙注意力機制,獲取圖像上下文依賴關(guān)系.

此外，研究人員致力于探索效率和靈活性更高、性能提升更明顯的全局推理方案，如多頭自注意力[10]、使用全連接圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Net-works, GNN)對上下文信息進(jìn)行交互[11]、基于圖卷積(Graph Convolutional Networks, GCN)[12]的全局推理、知識引導(dǎo)圖推理[13]等方法.研究表明，全局推理模塊具有輕量化的優(yōu)點，能輕松插入模型中，提升模型性能.

為了完成精確、高效的甲狀腺結(jié)節(jié)分割，本文提出融合全局推理和MLP架構(gòu)的甲狀腺結(jié)節(jié)分割模型，融合基于圖卷積的全局推理模塊和金字塔特征層.模型以軸向移位MLP模塊為基礎(chǔ)架構(gòu)，以更小的計算復(fù)雜度實現(xiàn)不同空間位置特征之間的交互.在編碼部分,融合端到端的全局推理單元，基于圖卷積完成遠(yuǎn)距離像素依賴關(guān)系建模，緩解圖像噪聲干擾較大的影響.在解碼部分，引入金字塔特征層，完成多尺度特征交互，應(yīng)對結(jié)節(jié)尺寸多變的問題.在DDIT數(shù)據(jù)集上的實驗表明，本文模型性能較優(yōu)，此外，本文模型還適用于乳腺結(jié)節(jié)分割、視網(wǎng)膜血管分割等其它醫(yī)學(xué)圖像分割任務(wù).

1 融合全局推理和MLP架構(gòu)的甲狀腺結(jié)節(jié)分割模型

圖1 本文模型結(jié)構(gòu)圖

1.1 軸向移位MLP單元

為了完成甲狀腺結(jié)節(jié)的精確分割，需要對輸入的圖像特征進(jìn)行充分的感知交互.為了以更小的計算復(fù)雜度實現(xiàn)不同空間位置特征之間的交互，本文以軸向移位MLP單元[14]組成的模塊為基礎(chǔ)架構(gòu),搭建甲狀腺結(jié)節(jié)分割模型.

軸向移位MLP單元結(jié)構(gòu)如圖2(a)所示，由層歸一化(Layer Normalization, LN)操作、軸向移位操作、MLP和殘差連接組成.軸向移位環(huán)節(jié)通過執(zhí)行通道投影、水平移位和垂直移位以提取特征，水平移位和垂直移位負(fù)責(zé)特征沿空間維度的運算，通道投影將沿不同方向移位運算后的特征映射到一個線性層.

圖2(b)以水平移位為例展示軸向移位操作的交互過程.當(dāng)輸入特征尺寸為H×W×C時，H、W為特征張量的高、寬，C為特征張量維度，假設(shè)W=5，C=3，省略H，當(dāng)移位大小設(shè)置為3時，輸入特征會分成3部分，每部分沿水平方向分別移位[-1，0，1]個單位并進(jìn)行零填充((b)中白色塊)，也可使用其它填充方法[15].提取(b)中虛線框中的特征作為新特征，完成水平移位操作.垂直移位沿垂直方向執(zhí)行同樣的操作.

(a)單元結(jié)構(gòu) (b)交互過程

分別表示特征的水平移位運算和垂直移位運算.由于特征在水平方向和垂直方向執(zhí)行移位操作，再將特征進(jìn)行重新組合，可組合來自不同空間位置的信息，這樣特征就可進(jìn)行充分的感知和交互.

1.2 全局推理單元

為了獲取更全面的語義上下文信息，同時更好地解決甲狀腺超聲圖像噪聲干擾較大的問題，在MLP架構(gòu)的基礎(chǔ)上融合全局推理單元[16]，對圖像特征的全局信息進(jìn)行交互推理.全局推理單元的推理策略可分為3步：1)將特征投影到可有效計算推理關(guān)系的交互空間；2)在交互空間應(yīng)用圖卷積進(jìn)行推理操作；3)將關(guān)系感知特征導(dǎo)回原始坐標(biāo)空間.

全局推理單元結(jié)構(gòu)如圖3所示.輸入特征X∈RH×W×C，其中H、W分別表示輸入特征張量的高、寬，C表示輸入特征張量的維度.通過學(xué)習(xí)投影函數(shù)f(·)，將特征投影到交互空間，即交互空間的輸入特征V=f(X)∈RN×C′，N為交互空間中特征節(jié)點的個數(shù),C′為特征節(jié)點維度.這里將投影函數(shù)表示為f(φ(X;Wφ))，投影函數(shù)的權(quán)重矩陣表示為B=θ(X;Wθ)，其中φ(·)和θ(·)如圖3所示，由2個1×1卷積層生成.

圖3 全局推理單元結(jié)構(gòu)圖

在交互空間中，把捕獲輸入特征區(qū)域之間的關(guān)系簡化為捕獲相應(yīng)節(jié)點之間的交互，即構(gòu)建一個全連接圖，如圖4(a)所示，圖中每個節(jié)點將對應(yīng)的特征存儲為其狀態(tài)，這樣關(guān)系推理簡化為在較小的圖上對節(jié)點之間的交互進(jìn)行建模.

本文應(yīng)用圖卷積建模和推理節(jié)點之間的上下文關(guān)系，將全連接圖表示為鄰接矩陣Ag的形式.圖卷積推理計算過程可分為2步，如圖4(b)所示.1)執(zhí)行拉普拉斯平滑，將全連接圖中節(jié)點的新特征計算為該節(jié)點和其鄰居節(jié)點的加權(quán)平均值，從而使同個簇中的節(jié)點特征相似，消除圖像噪聲干擾問題.2)在模型訓(xùn)練期間，學(xué)習(xí)節(jié)點底層特征之間關(guān)系的權(quán)重矩陣Wg,并進(jìn)行特征交互，學(xué)習(xí)特征之間的強聯(lián)系，為圖像像素點的分類提供依據(jù)，提升分割精度.

整個交互空間的輸出特征為：

V′=((I-Ag)V)Wg，

其中，鄰接矩陣Ag和權(quán)重矩陣Wg都隨機初始化并在模型訓(xùn)練期間通過梯度下降法迭代學(xué)習(xí)，I為單位矩陣，用于加速算法優(yōu)化.

(a)推理原理

(b)推理過程

再將關(guān)系推理后的輸出特征反向投影回原始坐標(biāo)空間，以便整個單元的輸出可被后面單元利用，做出更好決策.通過學(xué)習(xí)投影函數(shù)g(·)，將交互空間的輸出特征V′∈RN×C′反向投影，得到

Y=g(V′)∈RH×W×C′，

這里投影函數(shù)的權(quán)重矩陣D=BT，使用權(quán)重矩陣B可減少計算成本.投影回原始坐標(biāo)空間后，再經(jīng)過一個1×1卷積層，將維度擴展為輸入維度，并進(jìn)行殘差連接，得到整個單元的輸出Z∈RH×W×C.

1.3 金字塔特征層

為了應(yīng)對甲狀腺結(jié)節(jié)尺寸多變的特點，改善模型對甲狀腺結(jié)節(jié)輪廓線細(xì)節(jié)的分割能力，在解碼模塊使用金字塔特征層，完成多尺度特征交互[17]，結(jié)構(gòu)如圖5所示.首先輸入圖像經(jīng)過主干網(wǎng)絡(luò)進(jìn)行特征提取，獲取具有豐富語義的特征圖.假設(shè)輸入圖像X0∈RH0×W0×C0，其中H0、W0分別為輸入特征張量的高、寬，C0為輸入特征張量的維度，本文使用Efficient-

Net-D4網(wǎng)絡(luò)進(jìn)行特征提取，將提取的多尺度特征表示為f1∈RHi×Wi×Ci、f2∈RHi×Wi×Ci、f3∈RHi×Wi×Ci、f4∈RHi×Wi×Ci，其中，

利用提取到的多尺度特征構(gòu)建金字塔特征層，構(gòu)建方法是先對f4進(jìn)行上采樣,得到特征圖：

f34=upsample×2(f4)+conv34(f3).

其中:conv34(·)表示1×1卷積層，實現(xiàn)f3到f4特征維度的補齊;upsample×2(·)表示對特征圖進(jìn)行兩倍的上采樣，這里使用雙線性插值法，也可使用其它上采樣方法[18].得到的特征圖f34為原始圖像尺寸的1/8.再繼續(xù)對特征圖進(jìn)行上采樣：

f12=upsample×2(f2)+conv12(f1)，

f1234=upsample×4(f34)+conv24(f12).

其中:conv12(·)、conv24(·)分別實現(xiàn)f1到f2和f2到f4特征維度的補齊；upsample×4(·)表示對特征圖進(jìn)行四倍的上采樣，得到原始圖像尺寸1/2的特征圖f1234.然后，將f1234與經(jīng)過降維和上采樣的特征進(jìn)行合并，得到金字塔特征層的輸出.

圖5 金字塔特征層結(jié)構(gòu)圖

研究表明，這種自下而上提取多尺度特征的金字塔結(jié)構(gòu)比原始自頂向下的特征金字塔表現(xiàn)更優(yōu)[19]，可更好地保留頂層豐富的語義信息.如圖1所示，金字塔特征層的輸出特征首先經(jīng)過卷積層，將特征維度轉(zhuǎn)換為分割類別數(shù)，再經(jīng)過一個分割頭，得到最終的分割結(jié)果.而分割頭是一個1×1卷積層，輸出標(biāo)簽圖中每個類別的置信度分?jǐn)?shù)，根據(jù)置信度分?jǐn)?shù)確定最終的分割結(jié)果.

1.4 計算復(fù)雜度分析

首先分析基于軸向移位MLP的模型相比CNN和Transformer架構(gòu)的計算復(fù)雜度.卷積操作的計算復(fù)雜度與輸出特征圖的尺寸及卷積核的尺寸相關(guān)，即單個卷積層的時間復(fù)雜度為O(M2K2CinCout)，其中，M表示卷積核輸出特征圖的尺寸，K表示卷積核的尺寸，Cin表示卷積層輸入通道數(shù)，Cout表示卷積層輸出通道數(shù).而CNN的計算復(fù)雜度還要隨卷積層的堆疊而不斷累加，導(dǎo)致CNN計算復(fù)雜度常出現(xiàn)冗余現(xiàn)象.基于Transformer的架構(gòu)通常采用多頭自注意力操作計算輸入特征的注意力關(guān)系，給定一個輸入尺寸為H×W×C的特征圖，多頭自注意力操作會經(jīng)過4次全連接運算和2次矩陣乘法運算，計算復(fù)雜度為

Ω(多頭自注意力)=4HWC2+2(HW)2C.

軸向移位MLP單元只對輸入特征進(jìn)行移位操作，不需要任何加法運算和乘法運算，時間成本較低，幾乎與移位大小沒有關(guān)系.對于H×W×C的輸入特征圖，軸向移位操作實際上只有4個通道投影操作，計算復(fù)雜度

Ω(軸向移位)=4HWC2,

其中，卷積操作的計算復(fù)雜度為O(M2K2CinCout)，自注意力操作的計算復(fù)雜度為O(4HWC2+2(HW)2C),軸向移位操作的計算復(fù)雜度為O(4HWC2).因此，基于軸向移位MLP模型的計算復(fù)雜度要遠(yuǎn)低于CNN和Transformer架構(gòu)的計算復(fù)雜度.

全局推理單元由3個1×1卷積層和圖卷積推理操作構(gòu)成.1×1卷積層的計算復(fù)雜度只與輸入特征和輸出特征的尺寸、維度有關(guān)，圖卷積推理中的拉普拉斯平滑和特征交互操作都只進(jìn)行一次矩陣乘法.圖3中全局推理單元的計算復(fù)雜度可計為O(3HWNCC′+N2C′+NC′2)，其中降維后的特征維度C′往往很小.因此，相比其它復(fù)雜的推理方法(如多頭自注意力方法)，本文使用的全局推理單元具有計算復(fù)雜度較小、靈活性較高的特點.由圖1本文模型整體結(jié)構(gòu)圖可知，模型由12個軸向移位MLP單元和4個全局推理單元堆疊而成，因此模型整體計算復(fù)雜度約為

Ω(48HWC2+12HWNCC′+4N2C′+4NC′2).

2 實驗及結(jié)果分析

2.1 實驗數(shù)據(jù)及參數(shù)設(shè)置

實驗選用DDIT(Digital Database Thyroid Image)小型開源數(shù)據(jù)集[20]，包含來自不同年齡、性別的637位患者病例的甲狀腺超聲圖像，部分圖像中會有不相關(guān)區(qū)域.首先使用閾值法去除圖像的不相關(guān)區(qū)域，即對原始圖像的像素值沿x軸和y軸求平均，去除均值小于閾值的行和列，經(jīng)過實驗確定閾值為5.將處理后的圖像調(diào)整為256×256，作為網(wǎng)絡(luò)輸入.

本文使用交叉驗證的方法評估模型性能，在保證訓(xùn)練集和測試集中結(jié)節(jié)大小和類別分布相似的基礎(chǔ)上執(zhí)行五折交叉驗證.輸入圖像為256×256，將結(jié)節(jié)規(guī)模按照結(jié)節(jié)所占像素數(shù)分為3個等級：1)小于1 722像素、2)小于5 666像素,大于1 722像素、3)大于5 666像素.每個尺寸等級的圖像都分成5部分，如圖6所示.將5部分依次作為測試集進(jìn)行交叉驗證.通過卡方獨立性檢驗，這個結(jié)節(jié)等級劃分與甲狀腺結(jié)節(jié)良/惡性分類有統(tǒng)計學(xué)意義.因此，將數(shù)據(jù)集的637幅超聲圖像中的509幅圖像作為訓(xùn)練集，128幅圖像作為測試集.

圖6 五折交叉驗證

實驗使用Adam(Adaptive Moment Estimation)優(yōu)化器訓(xùn)練網(wǎng)絡(luò)，優(yōu)化器平滑參數(shù)β1=0.7,β2=0.999，批尺寸設(shè)置為3.采用Warmup預(yù)熱學(xué)習(xí)率策略和余弦退火衰減策略進(jìn)行學(xué)習(xí)率調(diào)整，初始學(xué)習(xí)率為1e-4，學(xué)習(xí)率衰減率為0.011，開始衰減的迭代次數(shù)為20，每隔30次衰減一次.預(yù)熱階段的學(xué)習(xí)率為1e-12，預(yù)熱迭代次數(shù)為5.使用的損失函數(shù)為Soft Dice損失.

實驗在具有NIVIDIA GeForce GTX-1080 Ti的單個GPU機器上進(jìn)行，GPU專用內(nèi)存為11 GB，所有模型都使用Pytorch 1.5.0和Python 3.7完成實驗.

2.2 評估指標(biāo)

使用Dice系數(shù)和交并比(Intersection over Union, IoU)值作為分割結(jié)果的評估指標(biāo).Dice系數(shù)主要用于評估兩個不同樣本間的相似程度，即判斷兩個樣本中重合部分占總元素的比例，所占比例越高，模型精度越高.IoU計算兩個樣本的交集和并集之比,評估兩個樣本的相關(guān)性，比值越高，相關(guān)度越高，模型性能越優(yōu).具體計算公式如下：

對于甲狀腺結(jié)節(jié)分割任務(wù)，上式中的X表示分割金標(biāo)準(zhǔn)圖中的甲狀腺結(jié)節(jié)區(qū)域，Y表示預(yù)測結(jié)果中的甲狀腺結(jié)節(jié)區(qū)域，真正例數(shù)(True Positive, TP)表示正確分割甲狀腺結(jié)節(jié)的部分，假正例數(shù)(False Positive, FP)表示將黑色背景預(yù)測為甲狀腺結(jié)節(jié)的部分，假反例數(shù)(False Negative, FN)表示將甲狀腺結(jié)節(jié)預(yù)測為黑色背景的部分，真反例數(shù)(True Nega-tive, TN)表示正確預(yù)測黑色背景的部分.

實驗首先通過訓(xùn)練得到模型參數(shù)，進(jìn)而預(yù)測得到分割圖，最后使用預(yù)測分割圖和分割金標(biāo)準(zhǔn)圖計算Dice系數(shù)和IoU值.Dice系數(shù)和IoU值越接近1，表明甲狀腺結(jié)節(jié)分割效果越優(yōu).

使用準(zhǔn)確性(Accuracy, AC)，敏感性(Sensibi-lity, SE)，特異性(Specificity, SP)，精準(zhǔn)率(Preci-sion, PC)和ROC(Receiver Operating Characte-ristic)曲線下面積AUC(Area Under Curve)值評價分割結(jié)果.ROC曲線的橫軸是假正例率(False Posi-tive Rate, FPR)，縱軸是真正例率(True Positive Rate, TPR)，TPR越高，F(xiàn)PR越低，ROC曲線越陡，AUC值越大，模型的性能越優(yōu).具體計算公式如下：

2.3 消融實驗結(jié)果

為了探索模型中各組成模塊的性能，將MLP中的軸向移位操作、卷積操作、自注意力操作進(jìn)行對比.實際上，軸向移位可看作卷積操作的一個變體，類似于空洞卷積[21]，可通過改變移位大小產(chǎn)生不同范圍的感受野.此外，軸向移位MLP還解決空洞卷積對小目標(biāo)分割性能較差的問題.單個卷積核的參數(shù)量為O(K2CinCout)，其中，K表示卷積核的尺寸，Cin表示卷積層輸入通道數(shù)，Cout表示卷積層輸出通道數(shù).自注意力操作需要沿著通道維度進(jìn)行映射，計算每個Patch塊的查詢向量、索引向量、內(nèi)容向量，因此參數(shù)量為O(3C2).軸向移位操作的參數(shù)量僅與特征維度有關(guān)，可計為O(C2)，隨著特征維度的增加，本文模型將具有相當(dāng)大的參數(shù)量，使模型擁有更小的Patch Size和更多的特征維度數(shù)，獲得更精細(xì)和更多的特征信息.

為了探索MLP架構(gòu)和全局推理單元的性能優(yōu)勢，本文組合目前較通用的主流框架，搭建不同模型，進(jìn)行消融實驗，結(jié)果如表1所示.在表中，全局推理+多頭自注意力的組合使用單階段的編碼方式，其余全部為四階段編碼，不同階段特征維度不同.表1中的前4行對比ResNet、EfficientNet、多頭自注意力和軸向移位MLP的性能差異，從結(jié)果可看出，使用軸向移位MLP使模型具有更快的訓(xùn)練時間和測試時間，也使模型具有很大的參數(shù)量，取得最優(yōu)的分割結(jié)果.表1中第4行和第5行對比全局推理和多頭自注意力的性能差別，從結(jié)果可看出，兩者都會使模型產(chǎn)生很大的參數(shù)量，但在效率和分割結(jié)果上，使用全局推理的模型性能明顯優(yōu)于使用多頭自注意力的模型.

表1 不同組合方式下模型性能對比

為了進(jìn)一步探索全局推理單元對模型整體分割性能的影響，在模型編碼部分的4個階段分別使用或不使用全局推理，消融實驗結(jié)果如表2所示.由表可見，在編碼模塊引入全局推理單元,有助于提升模型性能，添加的全局推理單元越多，模型所需的訓(xùn)練時間越長、參數(shù)量越大、分割效果越優(yōu).在4個階段全部使用全局推理單元，取得最佳的分割結(jié)果.

表2 是否使用全局推理對模型性能的影響

下面定量分析是否在解碼部分加入金字塔特征層,消融實驗結(jié)果如表3所示.由表可看出，使用金字塔特征層后，雖然模型訓(xùn)練時間較多、參數(shù)量較大，但分割結(jié)果值顯著提升，可見使用金字塔特征層能有效提升分割精度.

表3 是否加入金字塔特征層對模型性能的影響

由于實驗測試集數(shù)量較少，為了防止模型訓(xùn)練中過擬合現(xiàn)象的發(fā)生，以及提高分割模型的泛化能力，在模型訓(xùn)練階段均使用測試時數(shù)據(jù)增強策略(Test-Time Augmentation， TTA)[22].給測試集上的每幅圖像創(chuàng)建多個增強副本，在包含增強副本的測試集上完成預(yù)測，得到更可靠的評估結(jié)果，并反饋到模型訓(xùn)練中.

下面使用本文模型進(jìn)行消融實驗，定量分析TTA策略的好處，實驗結(jié)果如表4所示.由表可見，使用TTA策略可取得更高值，分割效果更優(yōu).

表4 是否使用TTA策略對模型性能的影響

2.4 不同分割模型對比結(jié)果

為了驗證本文模型的性能，實驗選擇醫(yī)學(xué)圖像分割經(jīng)典模型進(jìn)行量化對比.實驗使用的經(jīng)典模型全部來自基于Pytorch的圖像分割神經(jīng)網(wǎng)絡(luò)庫，它們的特征提取網(wǎng)絡(luò)均使用EfficientNet-D6.對比模型如下：PSPNet[2]、DeepLabv3+[3]、LinkNet[23]、PAN(Py-ramid Attention Network)[24]、U-Net[25]、UNet++[26].所有模型在同臺機器的單個GPU上進(jìn)行實驗，輸入圖像裁剪尺寸均采用256×256，總迭代次數(shù)均設(shè)置為184，批尺寸設(shè)置為3，學(xué)習(xí)率等其它超參數(shù)都保持一致，所有模型均使用TTA策略完成訓(xùn)練.

各模型性能對比如表5所示.由表可看出，本文模型單次迭代訓(xùn)練時間和測試時間都相對較少，說明本文模型的計算復(fù)雜度較低，能更快速地完成訓(xùn)練和預(yù)測.計算復(fù)雜度的降低并不意味著本文模型具有更少的參數(shù)量，相反，本文模型保留較高的參數(shù)量，占用更多的存儲空間，這允許本文模型能以更小的計算復(fù)雜度獲得通道維度更大、更精細(xì)、更多的特征信息.

表5 各模型的性能對比

各模型訓(xùn)練過程中IoU值曲線變化情況如圖7所示.由圖可見，本文模型的IoU值曲線提升更明顯.

圖7 各模型分割結(jié)果的IoU曲線

各模型分割結(jié)果的指標(biāo)值對比如表6所示，表中黑體數(shù)字表示最優(yōu)值.由表可看出，本文模型分割結(jié)果最優(yōu)，取得更高的AC值、PC值、Dice系數(shù)和IoU值，說明本文模型對甲狀腺結(jié)節(jié)區(qū)域的判別精度更高，即分割結(jié)果更準(zhǔn)確.而本文模型的SE值和SP值不如U-Net和PAN，這是因為U-Net在分割結(jié)果上出現(xiàn)較多的過分割現(xiàn)象，即分割結(jié)果的面積總是較大一些，而PAN在分割結(jié)果上出現(xiàn)較多的欠分割現(xiàn)象，即分割結(jié)果的面積總是較小.

表6 各模型分割結(jié)果的指標(biāo)值對比

各模型的實際分割結(jié)果示例如圖8所示，其中，(a)為預(yù)處理之后的輸入圖像，(b)為專家標(biāo)注的分割金標(biāo)準(zhǔn)圖.由(c)、(d)可看出，PSPNet和LinkNet對大型結(jié)節(jié)和邊緣輪廓線的分割結(jié)果粗糙.由(e)～(h)可看出，多數(shù)模型對大型結(jié)節(jié)的分割效果較優(yōu)，而對小型結(jié)節(jié)和邊緣不規(guī)則的結(jié)節(jié)會出現(xiàn)欠分割或過分割現(xiàn)象.由(i)可看出，本文模型分割結(jié)果的邊緣輪廓保持在專家標(biāo)注圖輪廓的附近，除不規(guī)則結(jié)節(jié)以外，其它結(jié)節(jié)分割結(jié)果縱橫比和形狀都未出現(xiàn)較大誤差，而這兩種特征也是后續(xù)醫(yī)療診斷工作中至關(guān)重要的特征，因此，本文模型具有更好的分割效果.

(a)輸入圖像

(b)分割金標(biāo)準(zhǔn)圖

(c)PSPNet

(d)LinkNet

(e)DeepLabv3+

(f)PAN

(g)U-Net

(h)UNet++

(i)本文模型

為了進(jìn)一步驗證本文模型在DDIT甲狀腺結(jié)節(jié)分割數(shù)據(jù)集上的良好性能，使用五折交叉驗證方法對7個模型進(jìn)行性能對比，結(jié)果如表7所示.由表可見，本文模型在每折上的IoU值都最高，具有最好的分割性能.

表7 各模型的五折交叉驗證IoU值對比

2.5 通用性分析

為了驗證本文模型的通用性，在TN-SCUI挑戰(zhàn)賽甲狀腺結(jié)節(jié)分割數(shù)據(jù)集[27]、乳腺結(jié)節(jié)分割BUSI數(shù)據(jù)集[28]、視網(wǎng)膜血管分割DRIVE數(shù)據(jù)集[29]上進(jìn)行實驗.TN-SCUI數(shù)據(jù)集為原始數(shù)據(jù)集經(jīng)過增強處理后的版本，包含7 288幅甲狀腺超聲圖像，其中3 282幅為良性結(jié)節(jié)、4 006幅為惡性結(jié)節(jié).使用五折交叉驗證方法，選取5 830幅圖像作為訓(xùn)練集，1 458幅作為測試集，經(jīng)處理后的圖像尺寸為256×256，總迭代次數(shù)為30.乳腺結(jié)節(jié)分割BUSI數(shù)據(jù)集共有647幅乳腺超聲圖像，其中437幅圖像為良性乳腺結(jié)節(jié)，210幅圖像為惡性乳腺腫瘤.在數(shù)據(jù)集上隨機抽取516幅圖像作為訓(xùn)練集，131幅圖像作為測試集，圖像尺寸為256×256，總迭代次數(shù)為90.對于視網(wǎng)膜血管分割DRIVE數(shù)據(jù)集，首先運用取圖像塊的方法對訓(xùn)練圖像進(jìn)行數(shù)據(jù)增強，增強后的數(shù)據(jù)集包含30 000幅圖像塊，其中29 940幅圖像塊作為訓(xùn)練集，60幅圖像塊作為測試集，圖像塊尺寸為64×64，總迭代次數(shù)為120.

本文模型在3個數(shù)據(jù)集上的可視化分割結(jié)果如圖9所示.由圖可看出，本文模型整體上的分割效果較完美，說明模型中的全局推理單元能較好地應(yīng)對超聲圖像中噪聲干擾較大和偽影較多的問題，而金字塔特征層的引入使模型能較準(zhǔn)確地分割大小形態(tài)各異的結(jié)節(jié)和細(xì)微的視網(wǎng)膜血管分支.當(dāng)然，本文模型也存在一些不足之處，如第1幅～第6幅中甲狀腺和乳腺結(jié)節(jié)的邊緣輪廓線分割差異較大，分割表現(xiàn)有待提高.

(a)輸入圖像

(b)分割金標(biāo)準(zhǔn)圖

(c)本文模型分割結(jié)果

為了進(jìn)一步表現(xiàn)本文模型的先進(jìn)性，在3個數(shù)據(jù)集上與多個模型進(jìn)行對比，實驗結(jié)果如表8所示.實驗中所有模型均在同臺機器上使用相同的策略完成訓(xùn)練.由表可看出，本文模型在3個數(shù)據(jù)集上都取得最高的指標(biāo)值，可見本文模型能充分捕獲圖像中的多尺度信息和細(xì)節(jié)信息，更好地應(yīng)對圖像中的噪聲干擾問題，對乳腺結(jié)節(jié)分割和視網(wǎng)膜血管分割也能獲得精度更高的分割結(jié)果.

表8 各模型在3個數(shù)據(jù)集上的指標(biāo)值對比

3 結(jié) 束 語

本文提出融合全局推理和MLP架構(gòu)的甲狀腺結(jié)節(jié)分割模型，以軸向移位MLP為基礎(chǔ)架構(gòu)，編碼部分融合全局推理單元，解碼部分引入金字塔特征層，實現(xiàn)甲狀腺超聲圖像中結(jié)節(jié)區(qū)域的自動分割.實驗驗證和計算復(fù)雜度的分析表明，本文模型能以更小的計算復(fù)雜度實現(xiàn)快速、精確的甲狀腺結(jié)節(jié)分割，更好地應(yīng)對目前甲狀腺結(jié)節(jié)分割存在的難點問題.另一方面，對于其它醫(yī)學(xué)圖像分割任務(wù)，如乳腺結(jié)節(jié)分割和視網(wǎng)膜血管分割，本文模型也取得較優(yōu)的分割效果.但是，面對形狀不規(guī)則的甲狀腺結(jié)節(jié)，本文模型分割結(jié)果仍存在不準(zhǔn)確或輪廓線粗糙的現(xiàn)象.今后將考慮獲取甲狀腺超聲圖像顯著性圖，往更精細(xì)化方向發(fā)展，并結(jié)合深度學(xué)習(xí)技術(shù)，實現(xiàn)甲狀腺結(jié)節(jié)良/惡性分類.