改進(jìn)UNet在肺癌患者頸部淋巴結(jié)超聲圖像分割中應(yīng)用

宮 霞 吳衛(wèi)華

(上海市胸科醫(yī)院 上海 200030) (上海交通大學(xué)附屬胸科醫(yī)院 上海 200030)

0 引 言

超聲成像具有成本低、便攜性、無創(chuàng)傷和無輻射等優(yōu)點(diǎn),在現(xiàn)代醫(yī)學(xué)檢測中應(yīng)用廣泛;對超聲圖像結(jié)果準(zhǔn)確性取決于操作者的經(jīng)驗,具有很大的主觀性[1-2],比較耗時。近年來隨著深度學(xué)習(xí)技術(shù)的發(fā)展,在醫(yī)療影像智能輔助診斷上的應(yīng)用越來越廣,例如圖像分類[3]、分割和目標(biāo)檢測[4]等領(lǐng)域,通過人工標(biāo)注好的數(shù)據(jù),訓(xùn)練出模型的診斷精度都優(yōu)于人類[5],極大提高了醫(yī)生的診斷效率和準(zhǔn)確性。因此,將深度學(xué)習(xí)應(yīng)用于超聲圖像分割與分類,區(qū)分肺癌轉(zhuǎn)移性淋巴結(jié)病變和良性病變具有重要的臨床應(yīng)用前景,超聲圖像分析具有強(qiáng)大的理論基礎(chǔ)支撐。超聲圖像分辨率較CT、MRI低,圖像存在大量偽影和噪聲,其自身的局限性導(dǎo)致分類效果難以提升,文獻(xiàn)[6]提出了一種綜合利用B型超聲和超聲造影視頻來提高分類精度的網(wǎng)絡(luò)模型,深度學(xué)習(xí)技術(shù)應(yīng)用于超聲圖像分析發(fā)展空間大,具有重要的理論意義和實(shí)際應(yīng)用價值。

鎖骨上淋巴結(jié)轉(zhuǎn)移對肺癌轉(zhuǎn)移鑒別診斷非常關(guān)鍵,有無淋巴結(jié)的轉(zhuǎn)移直接關(guān)聯(lián)到肺癌的分期、手術(shù)方式以及預(yù)后等,通過深度學(xué)習(xí)對肺癌患者頸部淋巴結(jié)超聲圖像分割對正確診斷肺癌轉(zhuǎn)移具有重要意義。目前常見的應(yīng)用于超聲圖像分割的深度學(xué)習(xí)模型FCN(Fully Convolutional Networks)[7]、UNet[8]、MaskRcnn[9]和UNet改進(jìn)版等,其中UNet使用最為廣泛,衍生的網(wǎng)絡(luò)包括V-Net[10]、W-Net[11]、M-Net[12]、Y-net[13]和FPD-M-net[14]。文獻(xiàn)[15]提出一種基于改進(jìn)U-net網(wǎng)絡(luò)的甲狀腺結(jié)節(jié)超聲圖像分割方法,利用帶有注意力模塊的跳躍長連接部分對特征張量進(jìn)行邊緣輪廓保持操作。

1 相關(guān)工作

UNet[8]網(wǎng)絡(luò)利用了神經(jīng)網(wǎng)絡(luò)內(nèi)在的多尺度特性,淺層輸出保存了空域細(xì)節(jié)信息,深層輸出保存了相對抽象的語義信息,利用底層信息補(bǔ)充高層信息,適用于醫(yī)學(xué)圖像分割、自然圖像生成,在醫(yī)學(xué)圖像分割比RPN和FCN網(wǎng)絡(luò)有更好的分割精確度。文獻(xiàn)[16]提出了一種改進(jìn)UNet卷積網(wǎng)絡(luò),卷積塊采用了inception block,網(wǎng)絡(luò)將噪聲激勵函數(shù)NHReLU和NHSeLU(Noisy Hard SeLU function)代替ReLU和NReLU(Noisy Rectified Linear Unit functions)噪聲激勵函數(shù);網(wǎng)絡(luò)在兩個尺度上預(yù)測輸出,而不是只在上采樣最后層輸出,這樣很好處理了超聲圖像中標(biāo)注區(qū)域尺寸變化的問題,提高對淋巴結(jié)超聲圖像分割效果,達(dá)到了0.89。CE-Net[17]是一篇將空洞卷積和金字塔池化結(jié)合,專門用于2D醫(yī)學(xué)圖像分割任務(wù)。Fabian等[18]提出的nnUNet是基于UNet和3D UNet的醫(yī)學(xué)影像分割算法框架。R2UNet[19]全稱叫作Recurrent Residual CNN-based UNet,其融合了UNet、ResNet、RCNN的結(jié)構(gòu),在視網(wǎng)膜、肺和血管等多個醫(yī)學(xué)影像分割任務(wù)上都取得很好的實(shí)驗結(jié)果。Zhou等[20]提出的UNet++可以用于語義分割和實(shí)例分割,主要包括:通過不同深度的UNet的有效集成來緩解未知的網(wǎng)絡(luò)深度,這些UNet可以部分共享一個編碼器,并且可以通過深度監(jiān)督[21]同時進(jìn)行共同學(xué)習(xí);重新設(shè)計跳接以在解碼器子網(wǎng)絡(luò)上聚合語義尺度不同的特征,從而產(chǎn)生高度靈活的特征融合方案;設(shè)計一種剪枝方案以加快UNet++的推理速度。UNet3+[22]是基于UNet和UNet++基礎(chǔ)上提出的,它改進(jìn)了UNet++沒有直接從多尺度信息中提取足夠多的信息的缺陷,UNet3+利用了全尺度的跳躍連接和深度監(jiān)督。UNet3+中,可以從全尺度捕獲細(xì)粒度的細(xì)節(jié)和粗粒度的語義。為了進(jìn)一步從全尺寸的聚合特征圖中學(xué)習(xí)層次表示法,每個邊的輸出都與一個混合損失函數(shù)相連接,這有助于精確分割,特別是對于在醫(yī)學(xué)圖像體積中出現(xiàn)不同尺度的器官。

注意力UNet[23]分為Hard Attention和Soft Attention,增加了Attention的機(jī)制,即注意力門(Attention Gate,AG)模型,通過自動學(xué)習(xí)參數(shù)來調(diào)整激活值。訓(xùn)練時能抑制模型學(xué)習(xí)與任務(wù)無關(guān)的部分,同時增加與任務(wù)有關(guān)的特征。AG接在每個跳躍連接的末端,對提取的feature實(shí)現(xiàn)Attention機(jī)制。加權(quán)的Res-UNet注意力機(jī)制[24]是通過將模型的最后一層的特征圖與注意掩模相乘來實(shí)現(xiàn)的。利用這種加權(quán)注意機(jī)制,模型將只關(guān)注目標(biāo)ROI區(qū)域,拋棄無關(guān)的噪聲背景。PsP-Net[25]認(rèn)為傳統(tǒng)的交叉熵?fù)p失不適合小目標(biāo)的醫(yī)學(xué)圖像,對損失函數(shù)進(jìn)行了改進(jìn),選用Dice損失函數(shù)和Reg正則化損失函數(shù)結(jié)合。

上述的分割網(wǎng)絡(luò)的分割精度低,對小目標(biāo)檢測、小樣本訓(xùn)練存在缺陷,為此本文改進(jìn)了注意力UNet網(wǎng)絡(luò)結(jié)構(gòu),引入了新的激勵函數(shù)、圖像多尺度輸入和適合小目標(biāo)檢測的損失函數(shù)。

2 方法設(shè)計

2.1 改進(jìn)注意力UNet

改進(jìn)的注意力UNet網(wǎng)絡(luò)(A2R2UNet)是在注意力R2UNet基礎(chǔ)上實(shí)現(xiàn)的,其結(jié)構(gòu)與標(biāo)準(zhǔn)UNet基本相同,區(qū)別在于增加了循環(huán)殘差模塊和注意力模塊。循環(huán)殘差模塊在考慮前面時間步的狀態(tài)特征的同時,使得網(wǎng)絡(luò)層數(shù)更深,進(jìn)而提取更加豐富的特征,注意力機(jī)制使得網(wǎng)絡(luò)更能提取感興趣區(qū)域。首先,x和g都被送入到1×1卷積中,將它們變?yōu)橄嗤瑪?shù)量的通道數(shù),在上采樣操作后(特征圖大小相同)將x和g累加;然后,依次通過NHReLU激活函數(shù)、1×1的卷積、sigmoid,得到一個0到1的權(quán)重值;最后,注意力權(quán)重值與上采樣特征圖相乘,產(chǎn)生這個注意力塊的最終輸出。為了更好地提取局部特征,網(wǎng)絡(luò)的輸入圖像為多尺寸,每一個尺度的輸入對應(yīng)各自的卷積層,其模型結(jié)構(gòu)如圖1所示,圖中的輸入圖像分為四個尺度,每個尺度在本層使用conv和pooling,提取的特征分別作為下采樣和右側(cè)注意力門的輸入,該輸出特征與上采樣進(jìn)行concatenate操作。

圖1 A2R2UNet網(wǎng)絡(luò)結(jié)構(gòu)

2.2 數(shù)據(jù)增強(qiáng)方法

數(shù)據(jù)增強(qiáng)(Data Augmentation)是在收集數(shù)據(jù)準(zhǔn)備微調(diào)深度學(xué)習(xí)模型時,經(jīng)常會遇到某些分類數(shù)據(jù)嚴(yán)重不足的情況,為了防止過擬合,在對預(yù)訓(xùn)練的網(wǎng)絡(luò)模型參數(shù)進(jìn)行微調(diào)之前,采用的一種技術(shù)。文獻(xiàn)[26]結(jié)合了GAN和UNet,提出了生成對抗UNet,該模型是無域的,可以泛化到各種醫(yī)學(xué)圖像增廣。通過實(shí)驗,該方法對頸部淋巴結(jié)超聲圖像數(shù)據(jù)增強(qiáng)效果有效。第20個epoch訓(xùn)練結(jié)果如圖2所示。

圖2 數(shù)據(jù)增強(qiáng)訓(xùn)練結(jié)果

2.3 損失函數(shù)改進(jìn)

(1) Dice損失函數(shù)。Dice loss來于Dice系數(shù),是一種用于評估兩個樣本之間相似性度量的函數(shù),取值范圍為0～1,值越大表示兩個值的相似度越高,計算公式如下:

(1)

式中:N是像素個數(shù),p(k,i)∈[0,1]為類別k類在第i個像素相應(yīng)的預(yù)測概率值,g(k,i)∈[0,1]為類別k在第i個像素的真實(shí)值(GT),K是類別數(shù)。

(2) Generalized Dice損失函數(shù)。Dice loss對小目標(biāo)分割誤差較大,因為如果小目標(biāo)有部分像素預(yù)測錯誤,那么Dice值會大幅度的變動,從而導(dǎo)致梯度變化劇烈,訓(xùn)練不穩(wěn)定。當(dāng)病灶分割有多個區(qū)域時,使用Generalized Dice loss,其計算公式如下:

(2)

(3) Focal Loss。Focal Loss函數(shù)是對標(biāo)準(zhǔn)交叉熵?fù)p失函數(shù)的改進(jìn),通過增加難分類樣本的權(quán)重,使得模型在訓(xùn)練時更專注于難分類的樣本,公式如下:

(3)

因此,得出總損失函數(shù)為:

L=LGDice+LRg+λLFocal

(4)

式中:λ是LFocal的權(quán)重,根據(jù)驗證集其取值為0、0.1、0.5或1;LRg表示正則化損失。式(4)損失函數(shù)可以避免在數(shù)據(jù)不平衡時,組合Loss會退化為Dice Loss,同時對小目標(biāo)有較好的分割效果。

3 實(shí)證分析

本研究采集上海市胸科醫(yī)院超聲科360例肺癌患者的420幅淋巴結(jié)超聲圖像,其中男性200例,淋巴結(jié)300個,女性210例,淋巴結(jié)295個。所有淋巴結(jié)均進(jìn)行針吸細(xì)胞學(xué)及細(xì)針穿刺活檢檢查,所有超聲診斷結(jié)果均與病理結(jié)果相對照。論文中的數(shù)據(jù)增強(qiáng)的方法是旋轉(zhuǎn)(90°、180°、270°、小于90°)、隨機(jī)水平翻轉(zhuǎn)、隨機(jī)豎直翻轉(zhuǎn)、cutout和對抗生成網(wǎng)絡(luò)生成數(shù)據(jù),共4 545幅。實(shí)驗環(huán)境基于深度學(xué)習(xí)PyTorch框架,操作系統(tǒng)為Ubuntu 18.04,處理器為Intel i7-8700K,內(nèi)存32 GB,顯卡為11 GB顯存的NVIDIA RTX 1080Ti。

數(shù)據(jù)集按照8∶1∶1劃分為訓(xùn)練集、驗證集和測試集,采用Adam優(yōu)化器,用來訓(xùn)練的圖像、UNet下采樣和上采樣卷積層指標(biāo)明確,使用Dice系數(shù)來評估圖像分割結(jié)果和原標(biāo)簽數(shù)據(jù)的相似程度。

通過圖3-圖5分析,NHReLU UNet網(wǎng)絡(luò)Dice系數(shù)低于0.9,注意力UNet網(wǎng)絡(luò)Dice系數(shù)為0.91,本文提出的A2R2UNet Dice系數(shù)達(dá)0.94。因此,通過實(shí)驗得出,A2R2UNet分割效果好于注意力UNet和NHReLU UNet,為下一階段良惡性的分類提供了可靠的數(shù)據(jù)支持。

圖3 NHReLU Dice系數(shù)和損失函數(shù)

圖4 注意力UNet網(wǎng)絡(luò)Dice系數(shù)和損失函數(shù)

圖5 A2R2UNet網(wǎng)絡(luò)Dice系數(shù)和損失函數(shù)

圖6列出了UNet、AUNet、R2AttUNet和A2R2UNet模型對淋巴結(jié)病灶分割結(jié)果,第一列為原超聲圖像,第二列為預(yù)測結(jié)果,第三列為人工標(biāo)注病灶區(qū)域,預(yù)測病灶區(qū)域與人工標(biāo)注的一致。激勵函數(shù)、多尺度輸入和損失函數(shù)改進(jìn),使得新模型針對小樣本、小目標(biāo)分割邊界更加清晰,對病灶的細(xì)節(jié)信息分割更加精確。

圖6 不同網(wǎng)絡(luò)結(jié)構(gòu)淋巴結(jié)病灶分割

表1列出了不同網(wǎng)絡(luò)結(jié)構(gòu)在平均IOU、Dice系數(shù)和Acc三個指標(biāo)上的比較,可以看出本文提出的方法最優(yōu),在MIOU上A2R2UNet較UNet網(wǎng)絡(luò)提升了12%,Dice系數(shù)提升了11%,Acc提升了3%。同樣,與其余對比算法相比,本文的模型在各項指標(biāo)上也均有較大改進(jìn)。

表1 不同網(wǎng)絡(luò)結(jié)構(gòu)量化指標(biāo)比較

A2R2UNet網(wǎng)絡(luò)增加了循環(huán)殘差和注意力模塊,因此,較其他UNet網(wǎng)絡(luò)在參數(shù)和計算資源消耗上都要大,如表2所示。可通過增加GPU數(shù)量進(jìn)一步提高實(shí)時性。

表2 不同網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)和比較

4 結(jié) 語

本文基于注意力UNet網(wǎng)絡(luò)分割超聲圖像,引入了新激勵函數(shù)、多尺度輸入改進(jìn)了網(wǎng)絡(luò)結(jié)構(gòu),為了提高小目標(biāo)分割性能和小樣本訓(xùn)練模型,改進(jìn)了損失函數(shù),防止網(wǎng)絡(luò)的過擬合;采用了數(shù)據(jù)增強(qiáng)和生成對抗UNet擴(kuò)充訓(xùn)練數(shù)據(jù),實(shí)驗結(jié)果表明該網(wǎng)絡(luò)提高了Dice系數(shù)。對超聲圖像分割出來的區(qū)域,需要分類網(wǎng)絡(luò)進(jìn)一步預(yù)測淋巴結(jié)病灶區(qū)域的良惡性。同時,在本文基礎(chǔ)上,改進(jìn)損失函數(shù)、對UNet++網(wǎng)絡(luò)引入注意力機(jī)制等方法值得今后進(jìn)一步研究。UNet++網(wǎng)絡(luò)在參數(shù)和計算資源消耗上都優(yōu)于R2AttUnet,因此,對該網(wǎng)絡(luò)的優(yōu)化將在準(zhǔn)確率和實(shí)時性上都有提高。