基于卷積神經(jīng)網(wǎng)絡(luò)的胸片肺野自動分割*

秦子亮， 李朝鋒

(江南大學 物聯(lián)網(wǎng)工程學院 江蘇 無錫 214122)

基于卷積神經(jīng)網(wǎng)絡(luò)的胸片肺野自動分割*

秦子亮， 李朝鋒

(江南大學物聯(lián)網(wǎng)工程學院江蘇無錫214122)

針對傳統(tǒng)胸片肺野分割方法需要人工干預(yù)、提取特征以及對先驗知識的依賴性問題，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的胸片肺野自動分割方法，將X光胸片的分割問題轉(zhuǎn)換為圖像塊的分類問題。將原圖像分割成左、右肺，切塊處理后分別作為訓練樣本，利用深度學習自動發(fā)現(xiàn)圖像塊中的潛在特征，對圖像塊進行分類，并將結(jié)果映射成二值圖，得到初步分割結(jié)果，再對其進行后處理，合并之后作為最終的分割結(jié)果。實驗表明：此方法在公開的JSRT數(shù)據(jù)集上進行測試，Jaccard指標可達94.6 %，平均邊界距離(MBD)指標達到1.10 mm，較現(xiàn)存分割算法更加出色。

卷積神經(jīng)網(wǎng)絡(luò); 肺野分割; 胸片; 分類

0 引 言

目前,很多分割方法被應(yīng)用到肺區(qū)分割[1]中?；谝?guī)則[2]的分割方法由于受各分離步驟的影響，難以分割出較理想的結(jié)果，魯棒性不強；Van Ginneken B等人[3]基于像素分類，通過提取特征訓練模型實現(xiàn)分割目標。但組合合適的特征需要大量的實驗，且訓練分類器計算量比較大；Guo S等人[4]采用基于形變模型的分割方法，方法對參數(shù)的選擇很敏感且只能用于單個物體的分割。Dawoud A[5]和羅海峰[6]均采用聯(lián)合多種分割方法[7]，解決了單種方法在分割時存在的不足，多種方法的聯(lián)合使用能夠起到互補作用而使分割效果更好。

本文針對傳統(tǒng)胸片肺野分割方法需要人工設(shè)置種子點、特征選取和組合以及對先驗知識的依賴性等問題，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)的X光胸片肺野自動分割方法。方法無需人工干預(yù)，即不必設(shè)置種子點及進行特征選取，直接在原圖取塊后輸入到網(wǎng)絡(luò)中訓練，利用深度學習[8]發(fā)現(xiàn)圖像塊中的潛在特征，對圖像塊進行分類，分割出目標對象，魯棒性強且可以精確地分割出X光胸片的輪廓。

1 改進的CNN模型方法實現(xiàn)

本文的分割算法基本流程如圖1。在訓練階段將256×256大小的原始圖像左、右肺分割成256×160大小，對左、右肺圖像以步長為4分別進行n×n(本文實驗中n取8，16和32)大小的切塊得到左、右肺訓練樣本，然后將訓練樣本輸入到網(wǎng)絡(luò)中進行訓練得到左、右肺模型(model)。測試時，如圖2所示，由于部分圖像肺區(qū)離圖像邊緣較近，導致測試結(jié)果超出邊界問題。為此，本文將256×256測試圖像周邊加黑邊至320×320大小(如圖1測試階段所示)，然后同樣分成左、右肺取步長為1的塊輸入到訓練好的左、右肺model中進行測試得到大小為289×161的左、右肺二值結(jié)果，最后對得到的結(jié)果去噪處理后，合并得到最終的分割結(jié)果。

圖1 改進的網(wǎng)絡(luò)結(jié)構(gòu)流程

圖2 分割結(jié)果超出邊界實例演示

1.1 CNN結(jié)構(gòu)

如圖1訓練階段所示，本文提出的網(wǎng)絡(luò)結(jié)構(gòu)模型由6層組成。將原圖像分割成左、右肺的訓練圖像，對左、右肺以步長為4取32×32(n=32)的圖像塊輸入到輸入層(左、右肺分別提取231363個訓練樣本)。通過卷積層與次采樣層相互配合學習得到12個1×1的特征映射，將特征映射輸入到全連接層，通過線性回歸網(wǎng)絡(luò)得到每個圖像塊的類別。

1.2 卷積層

CNN中卷積層的網(wǎng)絡(luò)結(jié)構(gòu)采用卷積的離散型

(1)

式中Mβ為輸入特征的一個選擇；k為卷積核；γ為網(wǎng)絡(luò)的層數(shù)；b為每個輸出特征映射添加的偏置，對于特定的輸出映射，輸入的特征映射可以應(yīng)用不同的卷積核卷積得到；f為卷積層神經(jīng)元所用的激活函數(shù)，本文采用sigmoid。

1.3 次采樣層

考慮JSRT庫圖像的復雜性，選用2×2大小的均值池，且2次采用池化操作。

1.4 全連接層

本文模型在全連接層加入一層隱含層，神經(jīng)元個數(shù)設(shè)置為20，每一個特征均與20個節(jié)點進行連接，這樣全連接層的輸入與隱含層共需要12×20=240個參數(shù)，通過加入20個隱含層節(jié)點更有利于反向傳導時卷積核權(quán)重的調(diào)節(jié)，對網(wǎng)絡(luò)訓練提取圖像潛在特征更有效。每次將特征批量輸入到全連接層通過BP算法對權(quán)值進行更新，最終通過迭代學習得到需要的模型。全連接層更新權(quán)值公式為

w(t+1)=w(t)+ηδ(t)x(t)

式中η為BP算法的學習率；δ(t)為后一層得到誤差項；x(t)為前一層神經(jīng)元的輸出。

2 實驗結(jié)果與分析

2.1 實驗數(shù)據(jù)集

實驗數(shù)據(jù)采用公開的JSRT胸片圖像數(shù)據(jù)集[9]，每幅胸片均有專家手工勾畫的肺野輪廓，原始圖像大小為2048×2048。為了與文獻結(jié)果比較并減少運算時間，以原始胸片圖像降采樣為256×256進行實驗和性能評價，將JSRT胸片分為相等的2個奇、偶子集，交替用于訓練集和測試集。肺野分割性能指標包括Jaccard指標(JI)和平均邊界距離(mean boundary distance,MBD)，其中

(2)

MBD(GTB,SMB)=

(3)

2.2 結(jié)果與分析

圖3反映了塊大小對Jaccard指標的影響，曲線為手工勾畫的肺野輪廓。從圖3可以看出：當取塊大小n增大時，分割得到的肺野輪廓更平滑、分割結(jié)果更準確，原因是由于JSRT庫的復雜多樣性，當取塊過小時，訓練樣本會增大，則正、負樣本相似性增大，減弱了正、負樣本的表達能力，使圖像的語義信息丟失。塊大時不僅保證了正樣本與負樣本的差異性，而且還保證了圖像塊的語義信息的完整性。

圖3 塊大小對分割結(jié)果的影響

圖4為JSRT數(shù)據(jù)集中部分圖像肺野輪廓的對比，從分割效果看：二維OTSU受肋骨和胸膈角的影響，分割效果不理想；傳統(tǒng)CNN的分割結(jié)果也會受肋骨強邊界的細微影響；本文方法一定程度較好地解決了胸片中細小的胸膈角和受鎖骨影響的肺肩部區(qū)域準確分割的困難。

圖4 分割結(jié)果對比

表1列出了本文方法和其他胸片肺野分割方法在JSRT數(shù)據(jù)集上的分割性能比較，文獻[13]與本文方法Jaccard指標相當，但文獻[13]在訓練時需要人工設(shè)定種子點以及提取了HOG，Haar，LBP特征，而本文方法不需要設(shè)定種子點和提取特征。相比傳統(tǒng)CNN方法，本文方法能夠精確地挖掘出圖像塊的潛在特征，較好地完成了圖像塊的分類，而且MBD指標優(yōu)于其他算法，說明本文方法分割出的肺野邊界與人工勾勒的輪廓更吻合，分割效果更好。

表1 肺野分割算法性能比較

2.3 CNN模型參數(shù)比較分析

2.3.1 卷積核大小對胸片肺野分割結(jié)果的影響

如果卷積核設(shè)置的過小，通過卷積提取的特征對分割結(jié)果的貢獻小，同樣，如果卷積核設(shè)置的過大，不能提取到有效的特征。因此，本文在實驗中測試了卷積核尺寸的大小對輸出結(jié)果的影響。如表2所示。

表2 卷積核大小對胸片肺野分割結(jié)果的影響

表2中KS代表Size of convolution kernel，F(xiàn)M代表Feature map，PA代表pooling area。從表2中可以看出，通過改變卷積核大小對分割精度幾乎沒有影響?？紤]到后續(xù)試驗要驗證網(wǎng)絡(luò)深度對分割結(jié)果的影響，本文選擇了5×5大小卷積核。

2.3.2 網(wǎng)絡(luò)結(jié)構(gòu)深度對胸片肺野分割結(jié)果的影響

實驗測試了網(wǎng)絡(luò)結(jié)構(gòu)深度對輸出結(jié)果的影響，如表3所示。

表3 網(wǎng)絡(luò)結(jié)構(gòu)深度對胸片肺野分割結(jié)果的影響

從表3中可以看出：當網(wǎng)絡(luò)結(jié)構(gòu)的深度增加時，Jaccard結(jié)果越好，說明隨著網(wǎng)絡(luò)結(jié)構(gòu)的加深，圖像的特征表現(xiàn)力越強，泛化能力越強。本文選用表3 Net4的網(wǎng)絡(luò)結(jié)構(gòu)模型。

2.3.3 輸入圖像尺寸

實驗中，對肺區(qū)的分割實際上是對圖像塊的分類，所以圖像塊的尺寸不同可能會影響預(yù)測結(jié)果，同時對完整的圖像取塊和將圖像分割成左、右肺實驗對結(jié)果也有很大的影響，表4給出了不同尺寸以及原圖像是否分割左、右肺的實驗結(jié)果。

表4 塊尺寸以及左右肺分開對Jaccard的影響

從表4中可以看出：對于在256×256原圖像上取塊為8×8,16×16大小時，后者的Jaccard值較好，取塊32×32時，由于維度增大到1 024且數(shù)據(jù)量較大，訓練時間大大增加，失去實際意義，所以取消了32×32取塊的實驗。JSRT數(shù)據(jù)庫由于受胸片中細小的胸膈角、鎖骨影響的肺肩部區(qū)域以及脊柱的多樣性和復雜性的影響，而在原圖像上進行切塊訓練并不能很好地解決問題，而且極大的增加了訓練時間，為了避免這些因素的影響，本文將原圖像分割成256×160大小的左、右肺進行訓練，對于JSRT數(shù)據(jù)庫圖像256×256分割成256×128即可較好地將左、右肺完整分割開。為了試驗的嚴謹性有些數(shù)據(jù)庫的圖像左、右肺區(qū)域面積并不一樣，所以采用256×160大小的分割，同時避免了采用256×128測試結(jié)果超出邊界的問題。從表4中可以看出：左、右肺分開訓練測試的結(jié)果要好于完整取塊的結(jié)果，且大大提高了實驗效率，綜合考慮，本文選用32×32大小，左、右肺分開取塊。

3 結(jié)束語

研究了CNN在胸片肺野分割中的應(yīng)用，通過改變網(wǎng)絡(luò)結(jié)構(gòu)及網(wǎng)絡(luò)深度等方面測試了CNN對胸片肺野分割的影響。提出的方法無需為原圖像提取特征和人工設(shè)置種子點及人工干預(yù),是一個自動的、無監(jiān)督的X光胸片分割系統(tǒng)，解決了人工選擇種子點的不穩(wěn)定性和選取特征困難等問題。同時也解決了胸膈角和受鎖骨影響的肺肩區(qū)域難以準確分割的問題，而且大幅提高了分割精度。

[1] 梁文宇,龔 濤,吳宇翔.改進的遺傳算法在醫(yī)學圖像中的應(yīng)用[J].傳感器與微系統(tǒng),2016,35(10):136-139.

[2] 張雪飛.一種改進的多尺度梯度矢量流模型[J].微計算機應(yīng)用,2007,28(5):465-468.

[3] Van Ginneken B,Stegmann M B,Loog M.Segmentation of anatomical structures in chest radiographs using supervised methods:A comparative study on a public database[J].Medical Image Analysis,2006,10(1):19-40.

[4] Guo S,Fei B.A minimal path searching approach for active shape model (ASM)-based segmentation of the lung[C]∥SPIE Medical Imaging.International Society for Optics and Photonics,2009:72594B—1-72594B—8.

[5] Dawoud A.Lung segmentation in chest radiographs by fusing shape information in iterative thresholding[J].IET Computer Vision,2011,5(3):185-190.

[6] 羅海峰,翟榮存.基于小波變換與 Snake 模型的肺野圖像分割方法[J].計算機應(yīng)用與軟件,2013(11):176-179.

[7] 謝 昕,王建賓,胡鋒平.一種基于 PSO 與 OSTU 的改進絮體分割算法[J].傳感器與微系統(tǒng),2015,34(1):131-134.

[8] Hinton G E,Ruslan R S.Reducing the dimensionality of data with neural network[J].Science,2006,313(5786):504-507.

[9] Shiraishi J,Katsuragawa S,Ikezoe J,et al.Development of a digital image database for chest radiographs with and without a lung nodule:Receiver operating characteristic analysis of radiologists' detection of pulmonary nodules[J].American Journal of Roentgenology,2000,174(1):71-74.

[10] Tan J H,Acharya U R,Lim C M,et al.An interactive lung field segmentation scheme with automated capability[J].Digital Signal Processing,2013,23(3):1022-1031.

[11] Shi Y,Qi F,Xue Z,et al.Segmenting lung fields in serial chest radiographs using both population-based and patient-specific shape statistics[J].IEEE Transactions on Medical Imaging,2008,27(4):481-494.

[12] Coppini G,Miniati M,Monti S,et al.A computer-aided diagnosis approach for emphysema recognition in chest radiography[J].Medical Engineering & Physics,2013,35(1):63-73.

[13] Shao Y,Gao Y,Guo Y,et al.Hierarchical lung field segmentation with joint shape and appearance sparse learning[J].IEEE Transactions on Medical Imaging,2014,33(9):1761-1780.

AutomaticsegmentationoflungfieldsinchestradiographsbasedonCNN*

QIN Zi-liang， LI Chao-feng

(SchoolofInternetofThingsEngineering,JiangnanUniversity,Wuxi214122,China)

Aiming at these limitations of traditional lung segmentation methods which manual feature extraction and prior knowledge are needed,a convolutional neural network(CNN) based auto-matically segment method for lung fields in chest X-ray (CXR) is proposed,original image is splited into the left and right lungs and cut blocks from them as the training samples,and then use deep CNN to automatically discovery the potential characteristics,and then classify the image blocks.Secondly the classified results are mapped into two-value images as the initial segmentation results.Lastly the initial results are merged to get the area of lung fields.Our experimental results on the public JSRT dataset show that Jaccard metric of our proposed method can reach94.6%,mean boundary distance(MBD) metric can reach1.10mm,and outperform current reported algorithms.

convolutional neural network(CNN); lung segmentation; chest radiograph; classification

10.13873/J.1000—9787(2017)10—0064—03

2016—11—23

國家自然科學基金資助項目(61170120)

TP 391.4

A

1000—9787(2017)10—0064—03

秦子亮(1988-)，男，碩士研究生，主要研究方向為深度學習，人工智能。