基于深度學(xué)習(xí)的頸部淋巴結(jié)超聲圖像分割方法

宋穎超 梅禮曄 張俊華 王嘉慶 蔣 毅

1(云南大學(xué)信息學(xué)院 云南 昆明 650504)2(武漢大學(xué)工業(yè)科學(xué)研究院 湖北 武漢 430072)

0 引 言

淋巴結(jié)是人體內(nèi)產(chǎn)生免疫應(yīng)答的重要器官，淋巴結(jié)異常通常表明其屬區(qū)范圍內(nèi)發(fā)生了病變，因此重要的是根據(jù)淋巴結(jié)的分布來診斷相關(guān)疾病的淋巴結(jié)，特別是對于某些傳染病的診斷[1]。對淋巴結(jié)檢查的各種方法中，超聲成像技術(shù)具有準確性、實時性、無輻射性及廉價性等優(yōu)點，是淋巴結(jié)檢查的首選影像方式。淋巴結(jié)超聲圖像的分割是后續(xù)量化的基礎(chǔ)，但因為淋巴結(jié)超聲圖像中存在著不可避免的噪聲，常規(guī)的方法難以準確地分割，后續(xù)量化就難以得到正確的結(jié)果，所以要采用一定的方法對淋巴結(jié)超聲圖像進行分割。

目前，有很多關(guān)于淋巴結(jié)圖像分割的研究方法。朱長明等[2]采用譜聚類集成的超聲圖像分割算法對淋巴結(jié)超聲圖像進行分割。劉露等[3]采用交互式分割從CT圖像中提取出腫大淋巴結(jié)。張艷玲等[4]采用最大類間方差與形態(tài)學(xué)對盆腔淋巴結(jié)CT圖像進行了分割。Zhang等[5]提出一種改進的模糊聚類算法對淋巴結(jié)圖像進行分割。魏駿等[6]采用遍歷閾值算法對頸部淋巴結(jié)進行半自動分割。Kuo等[7]提出了一種利用圖像嵌套結(jié)構(gòu)的新方法，即嵌套圖切法對淋巴結(jié)超聲圖像進行分割。傳統(tǒng)方法在分割時會產(chǎn)生較多的偽邊緣。

近年來，隨著深度學(xué)習(xí)的發(fā)展，越來越多的人開始將深度學(xué)習(xí)應(yīng)用到圖像分割中。卷積神經(jīng)網(wǎng)絡(luò)[8](Convolutional neural network,CNN)是圖像分類及分割中最常用的一種方法，有較好的特征提取能力，但是其訓(xùn)練及預(yù)測時速度慢、耗時久，存在著大量冗余計算，像素塊的大小限制了感知區(qū)域的大小。Girshick等[9]提出了R-CNN應(yīng)用了候選框區(qū)域并使用支持向量機來進行分類及自然圖像的分割，但R-CNN需要預(yù)先提取，會占用較大的空間，導(dǎo)致輸入信息丟失，會帶來巨大的計算浪費。為了提高精度，Shelhamer等[10]對其進行了改進，提出了基于全卷積神經(jīng)網(wǎng)絡(luò)(Fully Con-volutional Networks,FCN)的圖像分割算法。FCN用于圖像語義分割，將圖像級別的分類擴展到像素級別的分類。雖然FCN相較于CNN的分割精度提高，但由于FCN本身的特征，只能對圖像進行初級分割，難以精確分割。Ronneberger等[11]提出了U-Net網(wǎng)絡(luò)，U-Net網(wǎng)絡(luò)擁有對稱的網(wǎng)絡(luò)結(jié)構(gòu)和條約連接，并且在醫(yī)學(xué)圖像的分割上優(yōu)于FCN。但因為有時候有些醫(yī)學(xué)圖像過大，所以U-Net網(wǎng)絡(luò)需要將圖像分割成若干幅小塊，因此會造成邊緣分割不清晰的問題。而He等[12]將構(gòu)建的Mask R-CNN網(wǎng)絡(luò)用于對自然圖像中的目標進行分割，該網(wǎng)絡(luò)表現(xiàn)出了較好的分割性能。

本文采用深度學(xué)習(xí)方法，利用遷移學(xué)習(xí)和Mask R-CNN網(wǎng)絡(luò)來分割超聲圖像中的頸部淋巴結(jié)，網(wǎng)絡(luò)訓(xùn)練實現(xiàn)了有效的分割模型，并測試了該算法的可行性和有效性。

1 Mask R-CNN算法設(shè)計

1.1 網(wǎng)絡(luò)模型

本文使用Mask R-CNN網(wǎng)絡(luò)對淋巴結(jié)檢測和分割。該網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，基于Mask R-CNN的頸部淋巴結(jié)圖像分割網(wǎng)絡(luò)結(jié)構(gòu)可分為三部分。

圖1 基于Mask R-CNN的頸部淋巴結(jié)圖像分割網(wǎng)絡(luò)結(jié)構(gòu)

1) 主干網(wǎng)絡(luò)。主干網(wǎng)絡(luò)是一個標準的卷積神經(jīng)網(wǎng)絡(luò)，作為特征提取器對輸入圖像進行特征提取。頸部淋巴結(jié)圖像分割網(wǎng)絡(luò)將殘差網(wǎng)絡(luò)(ResNet101)[13]與特征金字塔網(wǎng)絡(luò)(FPN)[14]結(jié)合在一起作為主干網(wǎng)絡(luò)。

2) 區(qū)域建議網(wǎng)絡(luò)(RPN)。用于生成感興趣區(qū)域(Region of Interest,ROI)推薦框。RPN是一個輕量的神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)中的特征圖來自FPN中金字塔特征層，通過就滑動窗口來掃描圖像，并尋找存在的目標區(qū)域。

3) 三分支。用于回歸檢測物體的類別、矩形框(Bounding-box,B-box)及mask。

特別地，Mask R-CNN是在Faster R-CNN[15]基礎(chǔ)上改進得到的一種深度學(xué)習(xí)網(wǎng)絡(luò)，Mask R-CNN在Faster R-CNN的基礎(chǔ)上增加了一個Mask預(yù)測分支，并且改良了感興趣區(qū)域池化層(Region of Interest pooling,ROI Pooling)，提出了另外一種感興趣區(qū)域池化層(Region of Interest Align,ROI Align)。ROI Align引入了雙線性插值法，能更精確地找到每個塊對應(yīng)的特征。

Mask R-CNN分割網(wǎng)絡(luò)的損失函數(shù)包括三部分，其公式為：

L=Lcls+Lbox+Lmask

(1)

式中：L為損失函數(shù)；Lcls為分類誤差；Lbox為檢測誤差；Lmask為分割誤差。

對于每一個ROI，mask分支有k個輸出。對于每一個像素，使用Sigmoid函數(shù)二值交叉熵，對每個像素進行邏輯回歸，得到平均的二值交叉熵。通過引入預(yù)測k個輸出機制，允許每類都生成獨立的mask，從而避免了類間競爭。

1.2 分割流程

鑒于小樣本數(shù)據(jù)集的訓(xùn)練效果不佳，本文引入了遷移學(xué)習(xí)思想，并使用在COCO數(shù)據(jù)集[16]上預(yù)先訓(xùn)練的參數(shù)模型來初始化Mask R-CNN網(wǎng)絡(luò)。COCO數(shù)據(jù)集是由微軟公司構(gòu)建的一個數(shù)據(jù)集，是大多數(shù)深度神經(jīng)網(wǎng)絡(luò)進行圖像分割評價性能時常用的數(shù)據(jù)集。Mask R-CNN可以更快地學(xué)習(xí)特征，從而大大減少了訓(xùn)練模型所需的時間。分割網(wǎng)絡(luò)Mask R-CNN結(jié)合標注好的頸部淋巴結(jié)數(shù)據(jù)集對整個網(wǎng)絡(luò)進行了微調(diào)，獲取了淋巴結(jié)的分割模型。

經(jīng)過反復(fù)的調(diào)參，最后設(shè)定RPN的5個anchor尺度為32、64、128、256、512，positive IOU設(shè)定為0.7，沖量設(shè)定為0.9，學(xué)習(xí)率為0.002，權(quán)重衰減為10-4。

淋巴結(jié)圖像分割模型流程如圖2所示。

圖2 淋巴結(jié)圖像分割模型流程

將圖像輸入到ResNet101的網(wǎng)絡(luò)中，經(jīng)過C2-C5的特征提取得到P2-P5的特征圖，P5通過步長為1的下采樣得到的P6，P6僅用于RPN，P2-P5不僅用于RPN，還要通過FPN特征層的選擇將特征經(jīng)ROI Align后送入三分支，從而完成對淋巴結(jié)圖像的檢測與分割。

2 實 驗

2.1 模型訓(xùn)練

在訓(xùn)練過程中，采用遷移學(xué)習(xí)的方法，并通過COCO預(yù)訓(xùn)練得到的參數(shù)并對網(wǎng)絡(luò)進行初始化，然后進行微調(diào)至理想效果。具體過程如下：

1) 經(jīng)label me的標注得到數(shù)據(jù)集共209幅圖像；

2) 將得到數(shù)據(jù)集輸入經(jīng)COCO預(yù)訓(xùn)練后得到的參數(shù)初始化網(wǎng)絡(luò)Mask R-CNN中進行訓(xùn)練，訓(xùn)練過程中選取80%的圖像作為訓(xùn)練集，20%的圖像作為測試集；

3) 經(jīng)Mask R-CNN網(wǎng)絡(luò)訓(xùn)練后得到Mask R-CNN的訓(xùn)練模型；

4) 使用驗證集圖像來測試Mask R-CNN的訓(xùn)練模型，得到分割的淋巴結(jié)圖像；

5) 得到分割的淋巴結(jié)圖像后，利用Dice系數(shù)做模型評價指標，評判模型的分割結(jié)果；

6) 根據(jù)得到的結(jié)果來調(diào)整Mask R-CNN的訓(xùn)練模型的參數(shù)；

7) 重復(fù)步驟3)-步驟6)，直到測試集的結(jié)果達到0.9以上。

2.2 模型評價指標

目前，尚無統(tǒng)一的淋巴結(jié)超聲圖像分割標準。本文選擇了像素級分割領(lǐng)域常用的Dice系數(shù)來評估分割效果。準確率表示正確判斷的像素數(shù)與像素總數(shù)之比，如式(2)所示。Dice系數(shù)是一種評估相似度的函數(shù)，用于計算兩個樣本的相似度或重疊度。對于每一幅測試圖片，A表示原有分割圖像的參考面積，B表示算法分割得到的圖像的真實的面積，A∩B代表以上兩幅圖像重疊的面積。

(2)

2.3 結(jié)果分析

將隨機選擇的43個測試集輸入到淋巴結(jié)分割網(wǎng)絡(luò)中，并使用經(jīng)過訓(xùn)練的淋巴結(jié)分割網(wǎng)絡(luò)來測試測試集的準確性，其中給出了5幅分割圖像作為示例如圖3所示，其中(a)為原始圖像的醫(yī)生手工分割結(jié)果，(b)為U-Net網(wǎng)絡(luò)分割后二值化結(jié)果，(c)為本文方法分割后二值化結(jié)果。

(a) (b) (c)圖3 頸部淋巴結(jié)圖像分割

表1為分割結(jié)果的對比。分析表中數(shù)據(jù)可知，改進MaskR-CNN網(wǎng)絡(luò)應(yīng)用于淋巴結(jié)圖像分割效果的Dice系數(shù)達到了91.24%，相較于U-Net網(wǎng)絡(luò)提升13.74%。

表1 分割結(jié)果

3 結(jié) 語

淋巴結(jié)的診斷和評估可以有效地幫助醫(yī)生診斷和治療癌癥，本文提出基于遷移學(xué)習(xí)和Mask R-CNN網(wǎng)絡(luò)的頸淋巴結(jié)圖像訓(xùn)練分割網(wǎng)絡(luò)模型，模型在頸部淋巴結(jié)的分割上精確度達到0.912 4，證明了本文改進的Mask R-CNN網(wǎng)絡(luò)具有很好的分割性能，有望為醫(yī)生臨床診斷、治療提供輔助依據(jù)，提高工作效率。