基于深度學(xué)習(xí)網(wǎng)絡(luò)PSP?NET的前列腺MR圖像的分割

范嵩 馮前進

摘 ?要： 為了提高前列腺磁共振圖像分割的準確性，文中提出一種新的基于金字塔場景解析網(wǎng)絡(luò)（PSP?NET）的深度卷積神經(jīng)網(wǎng)絡(luò)分割方法。先將三維前列腺磁共振圖像經(jīng)相應(yīng)的轉(zhuǎn)換工具包得到二維圖像切片，然后將二維圖像的切片輸入基于PSP?NET神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練。為了訓(xùn)練網(wǎng)絡(luò)，從臨床科室抽取50個病人的三維前列腺磁共振圖像，共5 000張圖像切片，其中4 000張切片用來訓(xùn)練，1 000張切片用來測試。實驗結(jié)果表明，對其中1 000個對象的識別，分割精度達到91.3%，此分割算法與已經(jīng)提出的算法相比，圖像分割精度明顯提高，分割用時更少，能夠更好地應(yīng)用于臨床診斷。

關(guān)鍵詞： 磁共振成像; 前列腺圖像分割; 網(wǎng)絡(luò)訓(xùn)練; 深度學(xué)習(xí); PSP?NET; 臨床診斷

中圖分類號： TN915?34; TP302 ? ? ? ? ? ? ? ? 文獻標識碼： A ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2019）12?0148?04

Abstract： A new deep convolutional neural network segmentation method based on the pyramid scene parsing network （PSP?NET） is proposed to improve the segmentation accuracy of prostate magnetic resonance （MR） images. The 2D image slices are obtained from the 3D prostate magnetic resonance images by using the corresponding conversion toolkit， and then input into the PSP?NET based neural network for training. The 3D prostate MR images of 50 patients are extracted from the clinical department， so as to train the network. 5 000 image slices are extracted， in which 4 000 slices are used for training， and 1 000 slices for testing. The experimental results show that the segmentation accuracy of the new method can reach 91.3% for identification of 1 000 image slices; in comparison with the already proposed algorithms， the segmentation algorithm has a significantly?improved image segmentation accuracy， and less segmentation time consumption， which can be better applied to clinical diagnosis.

Keywords： magnetic resonance imaging; prostate image segmentation; network training; deep learning; PSP?NET; clinical diagnosis

0 ?引 ?言

前列腺疾病是中老年男性的主要疾病之一，且是剝奪男性生命的疾病之一。磁共振成像是診斷和治療前列腺疾病最有效的方式。在臨床診斷上，比較常見的還是使用手動分割前列腺磁共振圖像，由此消耗的時間較長。隨著病人的增多，手動分割已無法滿足臨床的需要。因此，準確地自動分割前列腺對疾病的治療十分重要。

針對上述問題，研究人員提出眾多前列腺MR圖像的分割方法，例如：基于多圖譜[1]的分割方法主要是依賴手工分割精度高的優(yōu)點，將圖像分割直接轉(zhuǎn)變?yōu)閳D像配準;2014年，Mahapatra等人提出的基于上下文特征和圖像的自動分割算法，主要利用超像素以及上下文特征再結(jié)合隨機森林得到最終的分割[2];2017年，李雪莉等人提出了橢球先驗約束的分割算法，分割效果進一步提升[3]。上述這些方法雖在分割精度上有一定提升，但均存在一個較大的缺點就是過分依賴手動分割。

近年來，F(xiàn)CN等[4]深度學(xué)習(xí)網(wǎng)絡(luò)逐漸應(yīng)用到醫(yī)學(xué)圖像的分割中，如已發(fā)表的基于三維卷積神經(jīng)網(wǎng)絡(luò)分割椎體MRI圖像[5]、基于多尺度特征融合的深度三維卷積編碼網(wǎng)絡(luò)分割[6]、反卷積網(wǎng)絡(luò)法[7]分割前列腺MR圖像等。受到這些思想的啟發(fā)，本文提出了一種基于深度學(xué)習(xí)網(wǎng)絡(luò)PSP?NET（Pyramid Scene Parsing Network）的前列腺MR圖像自動分割方法，該網(wǎng)絡(luò)模型中，利用殘差結(jié)構(gòu)[8]（Residual Networks，Res?Net）構(gòu)造有效的先驗特征提取網(wǎng)絡(luò)并制定優(yōu)化策略。用病人的前列腺MR圖像集來訓(xùn)練網(wǎng)絡(luò)模型，并測試最終獲得一種優(yōu)越的前列腺磁共振圖像的自動分割方法。此分割方法跟已經(jīng)提出的分割方法相比，分割精度明顯提高，分割用時更少，更加適用于臨床的應(yīng)用。

1 ?深度學(xué)習(xí)模型與方法

1.1 ?構(gòu)造空洞卷積殘差結(jié)構(gòu)模型

殘差網(wǎng)絡(luò)構(gòu)造模塊如圖1所示，設(shè)輸入為[x]，激活函數(shù)采用ReLu，通過擬合得到殘差函數(shù)[F（x）]，且與輸入特征圖[x]疊加，便可得到輸出特征圖[y]，[y]可以表示為：

在網(wǎng)絡(luò)設(shè)計中，每個殘差模塊的內(nèi)部有3個卷積層，整個神經(jīng)網(wǎng)絡(luò)中包含7個殘差學(xué)習(xí)塊，共有21個卷積層。

圖1 ?殘差網(wǎng)絡(luò)構(gòu)造模塊

圖2 ?空洞卷積原理示意

在做空洞卷積時，引入一個參數(shù)[s]，稱為擴張率（Dilation Rate），即像素之間空洞。卷積神經(jīng)網(wǎng)絡(luò)到最后，圖像是一個只保留了微弱空間信息的特征圖，小的細節(jié)因為網(wǎng)絡(luò)結(jié)構(gòu)中各種池化、采樣操作而被損失掉，因此很可能造成嚴重的后果。但若不做池化操作，則深度網(wǎng)絡(luò)將沒有任何意義。所以，采用空洞卷積使得在不增加卷積核參數(shù)量的同時，又能夠使感受視野增大?？斩淳矸e的基本原理是在卷積核中間加入0元素，0元素不會隨著學(xué)習(xí)而做出調(diào)整。

1.2 ?PSP?NET網(wǎng)絡(luò)結(jié)構(gòu)

本文分割前列腺MR圖像所使用的方法是深度神經(jīng)網(wǎng)絡(luò)PSP?NET模型，整體算法流程如圖3所示。

圖3 ?算法流程圖

1.3 ?全局特征提取

該網(wǎng)絡(luò)主要有兩大主體部分，第一部分是全局特征的提取，如圖3所示。訓(xùn)練圖片輸入網(wǎng)絡(luò)，卷積核的大小是7×7，卷積的步長為2（stride=2）。這一層做的是same卷積，輸出的圖像尺寸大小不變，通道數(shù)變?yōu)?4維。經(jīng)過上面卷積層輸出的圖片進行一次下采樣，用3×3的卷積核做局部的最大池化（max?pool），池化的步長也是2。通過池化的作用，提取到了相對前面比較抽象的圖像特征。該層輸出后，圖片的尺寸就縮小到了上面的[12]。經(jīng)過same卷積和池化，這里的通道數(shù)（維數(shù)）變成了64維。經(jīng)過池化輸出的圖片，進入到殘差結(jié)構(gòu)，如圖3中帶有虛線框的結(jié)構(gòu)所示。左右兩個殘差結(jié)構(gòu)均是1×1，3×3，1×1的卷積核，做的均是same卷積。經(jīng)過這3個卷積，此時的通道數(shù)增加到256維，但特征圖的尺寸并未發(fā)生變化（這部分重復(fù)了3次）。接下來用空洞卷積（[s]=2）代替池化層。經(jīng)過這一層空洞卷積，輸出特征圖的尺寸再次減半，變成剛開始輸入之前的[14]。接著特征圖將再次進入到殘差結(jié)構(gòu)，又是一個3層的卷積核。卷積核大小分別如圖3右側(cè)第二個殘差結(jié)構(gòu)（右邊虛線框）所示。連續(xù)做4次，通道數(shù)在相應(yīng)的改變。再次用空洞卷積代替池化，這一層輸出的特征圖尺寸再次減半。最終，圖3左邊的網(wǎng)絡(luò)結(jié)構(gòu)就完成了。

表1展示了輸入圖像在每一步操作之后，尺寸以及通道數(shù)對應(yīng)的變化。其中，Res代表殘差結(jié)構(gòu)。輸入圖像為512×512×1，尺寸為512×512，通道數(shù)是1，輸出的特征圖為64×64×512，尺寸為64×64，通道數(shù)變?yōu)?12。這樣，PPM模型之前的網(wǎng)絡(luò)就完成了，從而得到了一個只有原始圖像[18]的特征圖（Feature Map），稱為全局特征圖。

表1 ?各階段圖像尺寸大小和通道數(shù)

1.4 ?金字塔池化模型

為進一步減少不同子區(qū)域之間上下文的丟失，使用分層的全局先驗?zāi)Ｐ蛠硖崛〔煌叨鹊男畔?，稱之為金字塔池化模型（PPM）。

金字塔池化模型結(jié)構(gòu)（PPM）如圖4所示，該池化模型融合了4種不同尺度的特征：

1） 首先輸出的是最粗糙的全局平均池化，即粗略的特征濃縮與提取，用來生成單個的輸出。池化的感受野是整個特征圖，輸出特征圖尺寸是1×1，見圖4中最頂層。

2） 第二層再繼續(xù)池化，輸出2×2的特征圖。

3） 同理，第3層和第4層如圖4所示，輸出特征圖的尺寸分別是3×3和6×6的大小。

圖4 ?金字塔池化模型結(jié)構(gòu)（PPM）

上面4層池化以后，特征圖的通道數(shù)跟池化之前是不同的。原始特征圖（Feature Map）的通道數(shù)是512，池化后的特征圖增加到2 048。為了保持全局特征的權(quán)重，文中在金字塔每個等級后使用1×1卷積核做卷積。若金字塔等級大小為N，則將卷積后圖像的通道數(shù)減少到卷積前的[1N]。這里的N為4，因此通道數(shù)就從2 048減小到512。通過上采樣（雙線性插值）的方法獲得與池化前相同大小尺寸的特征圖（大小為64×64×512）。然后將這些不同級別的特征圖連接起來，匯總成總的特征圖，總共得到了5層通道數(shù)均為512且圖像尺寸均是64×64的特征圖（5層中，有1層沒有經(jīng)過PPM模型）;再把這5個特征圖融合起來，就可以進行圖像的分割和分類。其中，金字塔等級的數(shù)量與每個卷積核大小級別均可修改。

1.5 ?網(wǎng)絡(luò)結(jié)構(gòu)簡圖

圖5是網(wǎng)絡(luò)簡圖，這里的CNN不是簡單的卷積神經(jīng)網(wǎng)絡(luò)，而是使用帶有空洞卷積的殘差網(wǎng)絡(luò)（見圖1）。輸入圖像大小是512×512×1，得到初步的全局特征圖（Feature Map），大小是原始輸入圖像的[18]，即64×64×512。在此全局特征的基礎(chǔ)上，再分別通過PPM模型池化為尺寸大小不同的特征圖，將不同感受野提取到的特征分別再進行降維處理。最后，把這些降維處理后的特征與先驗的全局特征融合起來，就得到含有更多細節(jié)的特征圖。

圖5 ?網(wǎng)絡(luò)結(jié)構(gòu)簡圖

2 ?實驗結(jié)果

2.1 ?數(shù)據(jù)集

從臨床醫(yī)生處采集50個前列腺患者的磁共振圖像，由于磁共振圖像是三維的，首先使用Matlab將每張磁共振圖像轉(zhuǎn)化成20張二維切片，共1 000張圖像切片;為了使實驗結(jié)果更具有說服力，每幅圖像分別旋轉(zhuǎn)±5°和10°，額外得到4 000張圖片的切片，對數(shù)據(jù)進行增強;準確地標記出每張圖像切片的前列腺輪廓，再把無病變的區(qū)域去除，得到前列腺MRI圖像對應(yīng)的標簽圖像。

共得到5 000張患者前列腺磁共振圖像和與之對應(yīng)的圖像標簽。在這5 000張圖片中，用4 000張切片圖像與標簽輸入網(wǎng)絡(luò)進行訓(xùn)練，用另外1 000張切片圖像來進行測試，得到此網(wǎng)絡(luò)預(yù)測的標簽與分割結(jié)果。再與這1 000個圖像的真實標簽（手工標記）進行對比，從而評價圖像分割效果。

2.2 ?圖像處理的工具和參數(shù)

該實驗是在深度學(xué)習(xí)平臺TensorFlow上面進行的，學(xué)習(xí)速率和衰減動量分別設(shè)置為0.000 1和0.995，迭代次數(shù)為250，batch為1。

2.3 ?評價標準

文中使用常見的重合率[Dice]與Hausdorff距離（Hausdorff Distance，[HD]）兩個指標來評價分割結(jié)果，如下：

[M=max（mina-b），a∈A，b∈BN=max（minb-a），b∈B，a∈AHD=max（M，N）] （2）

式中：[A]，[B]表示兩個輪廓;[a]，[b]分別是2個輪廓中的點。[HD]反映的是兩個輪廓之間的最大差異，先找到一個輪廓上的點到另一個輪廓的最小距離;再將兩個輪廓互換，得到另外一個最小距離;以兩個最小距離中大的一個作為[HD]。[Dice]定義為：

式中：[AS]為自動分割圖像;[MS]為醫(yī)生手工標記圖像。

2.4 ?實驗結(jié)果分析

故將使用PPM模型與不使用PPM模型以及在使用PPM模型前提下相同卷積核大小、不同池化方式（最大值池化MAX和均值池化AVE）分別進行實驗，所得實驗結(jié)果如表2所示。其中，ResCNN表示帶有空洞卷積的殘差網(wǎng)絡(luò)。

表2 ?不同模型下的分割結(jié)果

表3 ?不同分割方法的實驗結(jié)果對比

從表3可以看出，本文方法的分割精度在[Dice]和[HD]兩個指標上是超過了已提出的一系列前列腺MR圖像分割方法，且所用時間極少。

為進一步展示所提出方法的分割效果，圖6和圖7給出了4個患者的前列腺磁共振圖像分割結(jié)果。綠色輪廓是醫(yī)生手工標注的前列腺病變部分，紅色輪廓為基于PSP?NET網(wǎng)絡(luò)模型預(yù)測分割結(jié)果。圖7是原始標簽與模型預(yù)測標簽的對比。通過比較可以看出，此方法已經(jīng)很接近臨床醫(yī)生手工的真實標記。

圖6 ?分割結(jié)果 （一）

圖7 ?分割結(jié)果 （二）

3 ?結(jié) ?語

本文使用如今比較火熱的神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)來實現(xiàn)前列腺MR圖像的自動分割。文中訓(xùn)練網(wǎng)絡(luò)是將三維的磁共振圖像先轉(zhuǎn)化為二維的圖像切片，用這些切片去訓(xùn)練并優(yōu)化網(wǎng)絡(luò)。實驗結(jié)果表明，基于PSP?NET網(wǎng)絡(luò)的前列腺磁共振圖像分割方法已經(jīng)超越其他算法，且分割用時極少，能夠更好地應(yīng)用于臨床診斷。

參考文獻

[1] LITJENS G， TOTH R， VAN DE VEN W， et al. Evaluation of prostate segmentation algorithms for MRI： the PROMISE12 challenge [J]. Medical image analysis， 2014， 18（2）： 359?373.

[2] MAHAPATRA D， BUHMANN J M. Prostate MRI segmentation using learned semantic knowledge and graph cuts [J]. IEEE transactions on biomedical engineering， 2014， 61（3）： 756?764.

[3] 李雪麗，龐樹茂，陽維，等.橢球先驗約束的前列腺磁共振圖像分割[J].南方醫(yī)科大學(xué)學(xué)報，2017，37（3）：347?353.

LI Xueli， PANG Shumao， YANG Wei， et al. Segmentation of the prostate on magnetic resonance images using an ellipsoidal shape prior constraint algorithm [J]. Journal of Southern Medical University， 2017， 37（3）： 347?353.

[4] SHUAI B， LIU T， WANG G. Improving fully convolution network for semantic segmentation [J]. IEEE transactions on image proceeding， 2016（9）： 597?608.

[5] KOREZ R， LIKAR B， PERNU? F， et al. Model?based segmentation of vertebral bodies from MR images with 3D CNNs [C]// Proceedings of International Conference on Medical Image Computing and Computer?Assisted Intervention. Quebec： Springer International Publishing， 2016： 433?441.

[6] BROSCH T， TANG L Y W， YOO Y， et al. Deep 3D convolutional encoder networks with shortcuts for multiscale feature integration applied to multiple sclerosis lesion segmentation [J]. IEEE transactions on medical imaging， 2016， 35（5）： 1229?1239.

[7] 詹曙，梁植程，謝棟棟.前列腺磁共振圖像分割的反卷積神經(jīng)網(wǎng)絡(luò)方法[J].中國圖象圖形學(xué)報，2017，22（4）：516?522.

ZHAN Shu， LIANG Zhicheng， XIE Dongdong. Deconvolutional neural network for prostate MRI segmentation [J]. Journal of image and graphics， 2017， 22（4）： 516?522.

[8] HE K， ZHANG X， REN S， et al. Identity mappings in deep residual networks [C]// Proceedings of European Conference on Computer Vision. Berlin： Springer， 2016： 630?645.

[9] YU F， KOLTUN V. Multi?scale context aggregation by dilated convolutions [J]. Journal of image and graphics， 2015， 20（4）： 516?522.

[10] QIU W， YUAN J， UKWATTA E， et al. Dual optimization based prostate zonal segmentation in 3D MR images [J]. Medical image analysis， 2014， 18（4）： 660?673.