基于全局特征U-net的胰腺圖像分割

向智霆，劉劍聰，魏 柳，王淇銳，簡麗瓊，肖 斌,3

(1.重慶郵電大學 計算機科學與技術學院，重慶 400065；2.寧夏回族自治區(qū)血液中心， 銀川 750001；3.圖像認知重慶市重點實驗室， 重慶 400065)

0 引 言

胰腺癌是一種惡性度高、早期較難發(fā)現(xiàn)的消化道腫瘤。近年來，胰腺癌的發(fā)病率在全球范圍內呈上升趨勢，該疾病難以治療且死亡率較高。為了提高手術成功率，醫(yī)生需要準確了解胰腺區(qū)域細節(jié)特征，因此，開發(fā)一個能夠真實準確反映胰腺特征的計算機系統(tǒng)勢在必行。在計算機輔助疾病診斷領域，對肺[1-3]和心臟等大型器官疾病的診療已經初具成效[4-5]，但由于胰腺體積較小，具有形狀變異性，受到背景場的干擾很大，在計算機斷層成像(computed tomography, CT)中胰腺區(qū)域的精確分割依舊十分困難。

傳統(tǒng)醫(yī)學圖像分割方法大體可分為3類[6]：①閾值分割法；②邊緣分割法；③種子區(qū)域生長法。閾值分割法利用圖像中物體灰度值強度的不同選取目標區(qū)域，具有低成本、易實現(xiàn)的特點，但腹部CT圖像中胰腺區(qū)域與周圍組織的灰度值相近，并且胰腺由于具有個體差異性難以選取合適的閾值，故閾值分割法不能勝任胰腺圖像分割的任務。邊緣分割法利用不同的算子檢測圖像邊緣，通常這些邊緣標示圖像中灰度、顏色、紋理不連續(xù)的位置。Sobel算子[7]根據(jù)像素點上下、左右相鄰點的灰度加權差在邊緣處達到極值來檢測圖像邊緣。在胰腺圖像分割任務中，腹部區(qū)域器官較多、結構復雜，并且胰腺區(qū)域沒有明顯的灰度邊緣，故邊緣分割法也難以取得理想的效果。種子區(qū)域生長是一種典型的串行區(qū)域分割方法。文獻[8]提出種子區(qū)域生長法，將圖像按灰度值不同分割成若干小區(qū)域，之后從種子區(qū)域出發(fā)按照特定的規(guī)則將小區(qū)域合并為大區(qū)域，直至迭代停止。種子區(qū)域生長算法中種子點選擇需要人工交互，但在沒有先驗知識的情況下，人工選擇的種子點和隨機選擇的生長規(guī)則使分割效果與實際情況存在較大差異。此外該算法對噪聲和灰度均不敏感，這可能會產生空洞和過分割現(xiàn)象，因此種子區(qū)域生長法不適用于對灰度信息要求較高的胰腺分割領域。

隨著深度學習的發(fā)展，神經網(wǎng)絡已經在醫(yī)學圖像分割領域廣泛應用。常見的用于醫(yī)學圖像分割的深度學習方法有U-net[9]、全卷積神經網(wǎng)絡 (FCN)[10]、Segnet[11]等。其中U-net方法提取了編解碼器結構，編碼過程可以捕捉語義信息，與之對應的解碼過程可以進行精確定位，并且該結構可以在數(shù)據(jù)集有限的情況下獲得良好的效果。針對U-net在胰腺圖像分割任務上的不足，文獻[12]提出了一種先粗分割再細分割的胰腺分割方法，采用粗分割定位胰腺的區(qū)域并對圖像進行裁剪獲得包含胰腺區(qū)域的較小圖像，能夠減少背景的干擾，增加胰腺的分割準確率，最終，文獻[12]提出的基于FCN的定點模型平均Dice相似系數(shù)(Dice similariy coefficient,DSC)達到 83.18%。文獻[13]提出利用神經網(wǎng)絡反復進行上下文學習的胰腺分割方法，將卷積神經網(wǎng)絡(convolutional neural networks, CNN)進行胰腺分割預訓練，后將CNN多層相鄰胰腺分割結果輸入RNN整合其相鄰層的信息得到胰腺分割結果，利用該方法得到更加精確的胰腺分割結果，并使平均DSC提升至83.70%。文獻[14]將深度神經網(wǎng)絡分割與Bayeux統(tǒng)計形狀模型結合在胰腺分割模型中。該方法利用Bayeux統(tǒng)計形狀模型獲取豐富的先驗形狀改善神經網(wǎng)絡的分割能力，得到平均DSC為85.32%，但通過Bayeux模型獲得先驗形狀十分繁瑣。文獻[15]提出一種基于3D計算機斷層掃描的自動化系統(tǒng)：第1步，通過在3個正交軸的方向上掃描，把隨機森林方法結合到胰腺的3D邊框；第2步，利用神經網(wǎng)絡融合3個方向語義特征，得到可靠的胰腺邊緣，最后得到的平均DSC為81.30%。

盡管胰腺圖像分割的準確率逐年升高，但依舊有一些困難沒有解決。分割的困難主要體現(xiàn)在以下幾個方面：①胰腺與周圍組織沒有明顯的灰度邊緣；②胰腺是軟體組織具有形狀變異性，個體與個體之間存在較大差異；③胰腺器官較小，只占腹部CT圖像的很小一部分。全局特征具有旋轉不變性和灰度不變性等顯著的優(yōu)點，能夠很好地把握胰腺的紋理特征及其整體形狀。本文將全局特征模塊與U-net網(wǎng)絡集成，通過全局特征模塊提取胰腺的全局特征，并與編碼器提取的局部特征進行整合后輸入解碼器提升分割結果的準確率。該方法不僅能夠把握胰腺的全局特征，而且能夠增強網(wǎng)絡對細節(jié)信息的提取能力，進一步提升分割效果。

1 基于GF U-net的胰腺圖像分割方法

1.1 網(wǎng)絡體系結構

全局特征能夠整體把握目標形狀，紋理信息，能夠直觀表示胰腺特征。受全局特征和U-net的啟發(fā)，本文提出了基于全局特征U-net(U-net with global features, GF U-net)的胰腺圖像分割方法，采用與U-net類似的整體架構，兩側為對稱的編碼器和解碼器，通過中間對應的快捷連接傳遞上下文信息并在網(wǎng)絡底部加入全局特征模塊。編碼器將提取的特征通過快捷連接傳入解碼器，解碼器整合編碼器不同層次的信息以及全局特征模塊的形狀信息，使得網(wǎng)絡更加準確和健壯，本文GF U-net的網(wǎng)絡體系結構如圖1所示，圖1直角藍色框表示一個多通道特征映射，虛線框代表一個網(wǎng)絡操作單元。

圖1 GF U-net的網(wǎng)絡體系結構Fig.1 Network architecture of GF u-net

1.2 全局特征模塊

在經典U-net網(wǎng)絡上，衍生出了加入殘差模塊[16]的Residual U-net[17]網(wǎng)絡和加入注意力模塊[18]的Attention U-net[19]網(wǎng)絡。Residual U-net網(wǎng)絡加深了網(wǎng)絡的深度，使得網(wǎng)絡的表達能力增強且能夠抽象出圖像更深層次的特征，從而提高網(wǎng)絡識別率；Attention U-net網(wǎng)絡加入了注意力機制，使得網(wǎng)絡能夠對目標區(qū)域賦予更大的注意參數(shù)，從而對目標區(qū)域分割更準確，這兩種網(wǎng)絡也存在對目標形狀、紋理等特征把握不準的問題。

全局特征是指圖像的整體特征，用于描述圖像或目標的顏色、形狀、亮度和紋理等特征，具有良好的不變性和表示直觀等特點。全局特征模塊如圖2所示。胰腺在計算機斷層成像中具有較明顯的整體形狀以及清晰的紋理特征，經典U-net通過快捷連接傳遞上下文信息，難以較好地掌握目標區(qū)域的形狀、紋理信息。本文針對胰腺的特點提出的GF U-net方法，能夠通過全局特征模塊提取全局特征對胰腺區(qū)域進行整體約束。全局特征模塊能夠保存編碼器提取胰腺的局部特征，并通過特征提取分支整合局部特征得到胰腺的全局特征，最后通過拼接單元將局部特征和全局特征進行拼接輸入解碼器。主干分支包括兩個3×3的卷積緊跟非線性單元(Selu)用以提取更深層的特征并保留局部特征。特征提取分支包括兩個3×3的卷積緊跟非線性單元以及一個2×2的最大池化層減小特征圖尺寸，然后通過兩個特征通道數(shù)(1 024和512)的全連接層用以整合局部特征得到全局特征。雖然相對于卷積和池化操作不能很好地把握相鄰每個節(jié)點之間的關聯(lián)性，但全連接層在每個節(jié)點之間都建立了參數(shù)關聯(lián)，能夠更好地表現(xiàn)出圖像的全局特征。拼接單元將復制4×4的全局特征張量與主干分支的輸出張量進行拼接，最后通過3×3的卷積調整為所需特征通道數(shù)輸出解碼器。本文的GF U-net不僅有全局特征，還包含胰腺的局部特征。全局特征很好地保留了胰腺重要的形狀、亮度和紋理等信息。局部特征具有數(shù)量豐富，特征相似性小，遮擋情況下不會因為部分特征的消失而影響其他特征的檢測和匹配等特點。

圖2 全局特征模塊組成Fig.2 Global feature module composition

1.3 損失函數(shù)

在醫(yī)學圖像分割中，Dice[20]通常被用來衡量目標區(qū)域和待測區(qū)域的重合程度。Dice通過“∩”計算出真實輸出和預測輸出的相同部分后進行歸一化并修改為負值。Dice值越小時兩者重合程度越高，分割效果越好，并且Dice計算效率高。因此，本文選用Dice衡量輸出掩模與真實掩模的差距，同時能夠加快網(wǎng)絡的收斂，提升分割精度，將其作為GF U-net的損失函數(shù)。其定義為

(1)

(1)式中：M為真實輸出；N為預測輸出。

1.4 實現(xiàn)細節(jié)

本文實驗采用美國國立衛(wèi)生研究院(national institutes of health，NIH)公開胰腺數(shù)據(jù)集，其中包含了82個病人的腹部增強三維CT圖像(512×512×D,D∈[180，465])。切片用標簽的包圍框裁剪，得到胰腺部分的原始圖像[12]?？紤]到胰腺的共同強度分布，本文將圖像縮放到[0,1]，使用標簽對原始圖像進行標記，選出含有胰腺部分的切片，然后通過全零填充將圖像標準化為192×256×160。在進行實驗時，對學習率、批大小和訓練迭代次數(shù)進行調參，并嘗試了多種激活函數(shù)。最終，得出網(wǎng)絡的最優(yōu)參數(shù)構成：學習率設置為0.000 01；訓練迭代次數(shù)設置為10；批大小設置為1；激活函數(shù)使用Selu。為了提高實驗結果的準確性，避免產生訓練集依賴，本文采用了四折交叉驗證。

2 實驗結果及分析

本文采用與Dice相似的DSC作為評估標準，GF U-net方法與其他文獻分割方法的DSC對比如表1所示。

表1 DSC實驗結果比較

在表1的分割結果中，GF U-net方法的DSC平均值最高，達到87.13%，標準差為3.76%，在最好的情況下DSC值為93.58%，最壞的情況為76.39%。與文獻[12]提出的基于FCN的定點模型相比，GF U-net方法的最低DSC值提高了11.29%；與文獻[13]胰腺分割方法相比，標準差減小了1.34%，因此，GF U-net方法更加穩(wěn)健。文獻[14]通過微調U-net并結合貝葉斯方法使DSC平均值達到了85.32%，但也未達到本文方法水平。因此，本文的GF U-net方法具有更好的魯棒性，能夠在極端情況下的測試樣例中獲得明顯優(yōu)于其他處理方法的結果，在計算機輔助疾病診斷領域具有實用價值。

在NIH數(shù)據(jù)集第29號病例中應用U-net[9]、Residual U-net[17]和本文GF U-net方法，圖3為效果展示圖。圖3第1列為NIH數(shù)據(jù)集中的原圖切片，29#-72表示第29號病人的72號切片；第2列MASK為標準胰腺區(qū)域；第3—5列分別表示GF U-net (GN)、Residual U-net (RN)、U-net方法對第29號病人的胰腺圖像分割結果。

同年，黨中央部門機構改革也開始推進。這次改革重點抓定職能、定機構、定編制的“三定”工作，實施黨政職能分開，理順黨的工作部門和行政部門、黨的工作機構和政府機構、黨的群團組織和黨務工作部門之間的關系，精簡機構和人員編制。

圖3 第29號病例效果展示圖Fig.3 Illustration of case No.29

從圖3可以看出，在第29位病人CT的第79切片中，GF U-net的效果比Residual U-net與U-net都好，與真實情況基本吻合。Residual U-net和U-net的結果與真實偏差較大且出現(xiàn)了組織區(qū)域斷離的情況。整體來看GF U-net以及Residual U-net出現(xiàn)了不同程度的過分割現(xiàn)象，而傳統(tǒng)的U-net則同時出現(xiàn)了過分割和欠分割的現(xiàn)象，因為U-net僅簡單通過快捷連接在編碼器和解碼器之間傳遞上下文信息，無法準確把握胰腺的形狀、紋理信息，導致分割效果較差。GF U-net通過全局特征模塊提取胰腺圖像中的全局特征，最終結果更加符合真實的胰腺區(qū)域。本文方法能夠較好地把握胰腺的全局特征，對于胰腺的整體形狀把握更加準確，分割的效果平滑且更符合生物器官特征。對29號病例的分割準確率GF U-net為76.31%，Residual U-net為76.24%，U-net最差，只有74.53%。在3種結構中，GF U-net分割準確率最高，更接近于實際的掩模。

用GF U-net, Residual U-net和U-net這3種方法再對 NIH數(shù)據(jù)集第72號病例進行處理，圖4 為第72號病例效果圖。GF U-net方法擁有最高的DSC，達到了93.58%，能夠更準確地把握胰腺的細節(jié)特征。在72號病人的第80個CT圖像切片中，真實的胰腺區(qū)域中部有較小的突起，GF U-net能夠較明顯地分辨該區(qū)域，而U-net則完全不行。本文的方法能夠更好地分辨胰腺的局部特征。

結合圖3、圖4可知，對于具有最低DSC的29號病例和具有最高DSC的72號病例，GF U-net都能取得較好的效果。因此，針對具有不同形狀特征的胰腺，本文的GF U-net方法具有更強的魯棒性，能夠更準確地提取局部特征并整合全局特征。

3 結束語

胰腺形狀難以描述且灰度信息難以與周圍的環(huán)境區(qū)分開，本文在加深網(wǎng)絡層數(shù)的基礎上引用全局特征，能夠更好地提取胰腺的抽象特征以便和背景區(qū)分，描述出胰腺的基本形狀、紋理特征。本文方法基于U-net結構，通過進一步收縮網(wǎng)絡，加深網(wǎng)絡深度，引用全局特征模塊來描述形狀，提升網(wǎng)絡對胰腺形狀的整體把握。在NIH數(shù)據(jù)集進行試驗得到的平均DSC為87.13%，優(yōu)于目前的方法，且具有更好的魯棒性。以后將進一步探索胰腺圖像分割中的潛在特征鑒別，以提升胰腺圖像分割的精度。

圖4 第72號病例效果展示圖Fig.4 Illustration of case No.72