蔡程飛 徐 軍? 梁 莉 魏建華 周洋樞
1(南京信息工程大學(xué)江蘇省大數(shù)據(jù)分析技術(shù)重點(diǎn)實(shí)驗(yàn)室,南京 210044)
2(南方醫(yī)科大學(xué)病理學(xué)系,廣州 510515)
基于深度卷積網(wǎng)絡(luò)的結(jié)直腸全掃描病理圖像的多種組織分割
蔡程飛1徐 軍1?梁 莉2魏建華2周洋樞2
1(南京信息工程大學(xué)江蘇省大數(shù)據(jù)分析技術(shù)重點(diǎn)實(shí)驗(yàn)室,南京 210044)
2(南方醫(yī)科大學(xué)病理學(xué)系,廣州 510515)
結(jié)直腸全掃描圖像處理困難,原因在于圖像的數(shù)據(jù)量大、結(jié)構(gòu)復(fù)雜、信息含量多。目前對于結(jié)直腸癌組織病理圖像的研究通常包含腫瘤和基質(zhì)兩種組織類型,只有一小部分研究可以解決多種組織的問題,但又不是處理全掃描的結(jié)直腸病理圖像。提出一種基于深度卷積網(wǎng)絡(luò)的結(jié)直腸全掃描病理圖像進(jìn)行多種類型組織分割的模型。該模型使用的網(wǎng)絡(luò)層數(shù)有8層,利用深度卷積網(wǎng)絡(luò)學(xué)習(xí)結(jié)直腸全掃描圖像中典型的8種類型的組織,利用訓(xùn)練好的模型對這8種類型的結(jié)直腸組織進(jìn)行分類測試,其測試集分類準(zhǔn)確率達(dá)92.48%。利用該模型對結(jié)直腸全掃描病理圖像中的8種類型組織進(jìn)行分割,首先對全掃描圖像進(jìn)行預(yù)處理,分成5000像素×5000像素大小的圖像塊,然后標(biāo)記出每一張中的8種類型的組織,最后將所得到的標(biāo)記結(jié)果進(jìn)行拼接,從而獲得整張結(jié)直腸全掃描病理圖像的8種類型組織的標(biāo)記結(jié)果。該方法對8種類型的組織分割的準(zhǔn)確率比較高,有一定輔助診斷的幫助。
全掃描病理圖像;多種類型組織;深度卷積網(wǎng)絡(luò)
結(jié)直腸癌是最常見的惡性腫瘤之一。美國癌癥協(xié)會(ACS)發(fā)布的2016年美國新發(fā)癌癥病例數(shù)以及患者死亡率顯示,結(jié)直腸癌在所有癌癥當(dāng)中排第三[1]。在中國,結(jié)直腸癌也是危害人們健康的主要惡性腫瘤之一,對其早發(fā)現(xiàn)和早治療可以使患者死亡率下降50%左右。
近些年來,計(jì)算機(jī)圖像處理技術(shù)得到飛速發(fā)展,在醫(yī)學(xué)臨床病理方面也得到一定的應(yīng)用。計(jì)算機(jī)及圖像處理技術(shù)不僅能夠提高組織病理學(xué)評估的效率、準(zhǔn)確率和穩(wěn)定性,還能夠?yàn)樵\斷的一致性提供支持依據(jù)。由于全掃描的病理圖像尺寸過大,圖像中包含多種不同類型的組織,所以對全掃描病理圖像中的多種類型組織進(jìn)行自動分類再將其分割出來是一項(xiàng)具有挑戰(zhàn)性的工作。在本研究中,使用的是蘇木素-伊紅染色(H&E)的結(jié)直腸全掃描病理圖像,這類染色是臨床組織病理分析應(yīng)用中比較常用的一種組織病理分析染色。當(dāng)前病理醫(yī)生對結(jié)直腸全掃描圖像的分析主要還是依賴于人工的分析,對圖像當(dāng)中不同的組織部分,通過尋找、觀察和分析進(jìn)行診斷,這項(xiàng)工作是非常耗時(shí)的。在醫(yī)療資源分配不均勻的背景之下,計(jì)算機(jī)輔助診斷的醫(yī)療手段能夠很大程度上緩解這種狀況。
目前,自動分離組織類型可以通過機(jī)器學(xué)習(xí)的方法獲得。Xu等基于細(xì)胞形態(tài)學(xué)的方法分割出單個(gè)細(xì)胞[2],將這些細(xì)胞分為不同的類型,如腫瘤細(xì)胞、間質(zhì)細(xì)胞和免疫細(xì)胞,并且利用這些生物信息進(jìn)行標(biāo)記[3-5]。在基于紋理特征的不同類型的組織分類方法中,主要利用圖像組織的結(jié)構(gòu)特征,如粗糙與光滑或者有序與隨機(jī)等[6-8]。在醫(yī)學(xué)圖像的分析中,基于紋理的方法也是一種非常有用的多種類型組織分類方法[9-11]。通常這些方法首先是提取圖像的紋理特征[12-14],然后利用提取的特征進(jìn)行分類。上述的是現(xiàn)在已有的方法,目前適用于對腫瘤和基質(zhì)這兩類組織分割,同時(shí)能夠處理的圖片尺寸也有規(guī)定,因而不適用對大尺寸、復(fù)雜度高的結(jié)直腸全掃描圖像。
本研究提出對結(jié)直腸全掃描圖像中8種典型的區(qū)域或者組織進(jìn)行分割,分別是腫瘤上皮細(xì)胞、簡單基質(zhì)、復(fù)雜基質(zhì)、免疫細(xì)胞、碎片和黏膜、黏膜腺體、脂肪、背景,如圖1所示。
本研究基于深度卷積網(wǎng)絡(luò)模型,對結(jié)直腸全掃描圖像的多種類型組織進(jìn)行分割,對實(shí)驗(yàn)設(shè)計(jì)以及實(shí)驗(yàn)結(jié)果進(jìn)行討論,并對研究工作進(jìn)行總結(jié)。
本研究提出了一個(gè)多種類型組織分割模型,用來處理結(jié)直腸全掃描圖像,其整個(gè)流程如圖2所示。
本研究的主要設(shè)計(jì)思路是:在分辨率為20倍下,分割出8種類型的組織區(qū)域。選取8種類型的組織構(gòu)建訓(xùn)練集圖像為150像素×150像素,然后利用深度卷積網(wǎng)絡(luò)訓(xùn)練分類模型,從而可以將這8種類型的組織分開。對一張結(jié)直腸全掃描的圖像首先進(jìn)行預(yù)處理,將全掃描圖像分塊成5 000像素 ×5 000像素的圖像,再利用訓(xùn)練好的模型和150像素×150像素的滑動窗分割出里面的8種類型的組織,在對所有圖片進(jìn)行處理之后,得到每張5 000像素×5 000像素的分割結(jié)果圖像,最后將這些圖像進(jìn)行拼接,得到結(jié)直腸全掃描的分割圖像。
圖1 結(jié)直腸圖像中8種類型的組織。(a)腫瘤上皮細(xì)胞;(b)簡單基質(zhì);(c)復(fù)雜基質(zhì);(d)免疫細(xì)胞;(e)碎片和黏膜;(f)黏膜腺體;(g)脂肪;(h)背景Fig.1 Representative structures in an entire colorectal histologic image.(a)Tumor epithelium;(b)Simple stroma;(c)Complex stroma;(d)Immune cell conglomerates;(e)Debris and mucus;(f)Mucosal glands;(g)Adipose tissue;(h)Background
圖2 基于深度卷積網(wǎng)絡(luò)的結(jié)直腸全掃描病理圖像多種類型組織分割模型流程Fig.2 The flowchart of a deep convolutional networks for multipletissue segmentation on a colorectal histologic image of whole slide
深度卷積網(wǎng)絡(luò)結(jié)構(gòu)是基于經(jīng)典的AlexNet模型,主要包括卷積層、池化層[15]、線性糾正函數(shù)的激活函數(shù)[16]、局部響應(yīng)歸一化層、全鏈接層以及最后的softmax分類器。整個(gè)模型的輸入是包含RGB三個(gè)顏色通道的正方形圖像塊,該模型根據(jù)輸入的每個(gè)彩色圖像塊中的顏色信息特征,通過這種特有的網(wǎng)絡(luò)結(jié)構(gòu),將顏色特征轉(zhuǎn)化為高層次的特征,之后會利用得到的高層次特征進(jìn)行分類。
卷積層是深度卷積網(wǎng)絡(luò)的核心,卷積層中卷積核的大小以及它的步長對卷積層提取圖像的特征至關(guān)重要。通過構(gòu)建多個(gè)卷積濾波器,從而得到整張圖像局部感受域的卷積運(yùn)算結(jié)果。利用每一個(gè)卷積核,提取輸入特征圖在所有位置上的特定特征,從而對同一張?zhí)卣鲌D實(shí)現(xiàn)權(quán)值共享。激活層的非線性函數(shù)主要作用就是對卷積層上提特征進(jìn)行非線性映射。非線性變換映射函數(shù)雖然有多種,如sigmoid、tanh、ReLU、PReLU、Maxout等,但本研究在深度卷積網(wǎng)絡(luò)中使用ReLU激活函數(shù)描述,有
池化層是一種非線性的下采樣方法,它對每一個(gè)特征映射進(jìn)行池化操作,平均池化和最大池化是最常用的兩種池化方法。本研究中的深度網(wǎng)絡(luò)采用最大池化,能把輸入圖像分割成不重疊的局部感受域,對每一個(gè)局部感受域都輸出最大值,并提取最能代表和反映局部感受域的特征。
特征提取完成之后,通過最后一層輸出到全鏈接層,在全鏈接層中使用了Dropout層[17],從而進(jìn)一步提高了網(wǎng)絡(luò)的泛化能力。全鏈接層的目標(biāo)是:將前一層的輸出特性連接成一個(gè)向量作為后一層的輸入量,通過兩個(gè)全鏈接層連接的softmax作為輸出層,最后輸出分類結(jié)果。
為了使用這樣的模型對結(jié)直腸全掃描圖像中多種類型組織進(jìn)行分割,利用滑動窗口的方法[18],遍歷整張圖像。窗口滑動的方法是:從圖像左上角起的第一個(gè)像素開始從左向右滑動,再從上到下依次滑動,每滑動一次就會對滑動窗口區(qū)域的組織判斷類別,分別將8種類型的組織區(qū)域分割出來。利用滑動窗進(jìn)行滑動分割時(shí),會出現(xiàn)邊界效應(yīng)問題,即在邊界處出現(xiàn)像素的缺失,使滑動窗無法繼續(xù)進(jìn)行。在本研究中,利用鏡像填充的操作方式,在邊緣處產(chǎn)生一定寬度的像素,從而確保滑動窗能繼續(xù)掃描圖像。
數(shù)據(jù)來源主要有兩個(gè),第一個(gè)是由德國曼海姆(Mannheim)大學(xué)醫(yī)學(xué)中心提供的結(jié)直腸病理圖像(http://creativecommons.org/licenses/by/4.0/),第二個(gè)是從TCGA上獲取的結(jié)直腸病理圖像(https://cancergenome.nih.gov/)。其中,對于從曼海姆大學(xué)醫(yī)學(xué)中心獲得的數(shù)據(jù),通過病理醫(yī)生在上面標(biāo)注出8種類型的組織區(qū)域,再從圖像分辨率為20倍下取得150像素×150像素的8種類型組織區(qū)域作為訓(xùn)練集,對于TCGA中的數(shù)據(jù)沒有提取數(shù)據(jù)構(gòu)建訓(xùn)練集只是用來對模型進(jìn)行測試。在本研究中,從第一個(gè)數(shù)據(jù)中取得5 000像素×5 000像素的圖像,用來測試和對比所提出模型的組織分類準(zhǔn)確率以及分割的效果。第二個(gè)數(shù)據(jù)同樣也是用來測試模型的效果,為了使數(shù)據(jù)在當(dāng)前的設(shè)備環(huán)境之下有效,對結(jié)直腸全掃描病理圖像先進(jìn)行分塊,之后再處理分塊的圖像,將其中多種類型的組織分割出來。
Linux系統(tǒng)為Ubuntu 14.04,處理器為Intel(R)Core(TM)i7-3770 CPU @3.40 GHz,內(nèi)存(RAM)為16.0 GB,獨(dú)立顯卡為GeForce GTX Titan X,開發(fā)工具采用 Matlab R2015a、Caffe 框架[19]。
從第一個(gè)數(shù)據(jù)集中取得了3萬張8種類型組織區(qū)域的訓(xùn)練圖片,訓(xùn)練集24 000張,測試集6 000張。然后通過旋轉(zhuǎn)、水平鏡像和垂直鏡像對數(shù)據(jù)集進(jìn)行擴(kuò)充,再將這些數(shù)據(jù)集中的8類組織區(qū)域做標(biāo)簽,8種類型組織標(biāo)簽分別對應(yīng)為0~7,之后將訓(xùn)練集的圖片直接送入到Caffe框架中訓(xùn)練它的網(wǎng)絡(luò)模型。在本研究中,以AlexNet網(wǎng)絡(luò)模型作為基礎(chǔ),在此基礎(chǔ)上修改它的網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)節(jié),見表1。這種方法直接利用它的模型權(quán)值等一些參數(shù),可以提高訓(xùn)練效率和模型的準(zhǔn)確率,在利用其進(jìn)行訓(xùn)練建立模型時(shí)主要調(diào)節(jié)了AlexNet網(wǎng)絡(luò)模型的學(xué)習(xí)率。
表1 所使用的深度卷積網(wǎng)絡(luò)結(jié)構(gòu)及其參數(shù)設(shè)置Tab.1 The structure details and parameters of deep convolutional networks in experiment
在本研究中,利用深度卷積網(wǎng)絡(luò),對結(jié)直腸8種類型測試集的組織區(qū)域進(jìn)行識別分類,準(zhǔn)確率達(dá)92.48%。2016年,Kather等在Scientific Reports發(fā)表文章,介紹利用形態(tài)學(xué)方法訓(xùn)練分類器對8種類型的組織區(qū)域進(jìn)行分類,分類準(zhǔn)確率達(dá)87.4%[11]。相比而言,本研究使用深度卷積網(wǎng)絡(luò)對8種類型的組織區(qū)域進(jìn)行分類具有明顯的優(yōu)勢,圖3是利用該方法和Kather等的方法對5 000像素×5 000像素的結(jié)直腸病理圖像分割效果的對比。可以明顯看出,該方法對圖像中的一些微小組織區(qū)域部分分辨比Kather等提出的方法分辨要細(xì)致,這主要取決于模型對8種類型組織區(qū)域分類的準(zhǔn)確率。Xu等利用深度網(wǎng)絡(luò)對乳腺癌病理圖像的上皮和基質(zhì)兩類組織進(jìn)行分割[20],其效果已經(jīng)非常不錯,而本研究是利用深度卷積網(wǎng)絡(luò)對結(jié)直腸癌的病理圖像中的多種類型組織進(jìn)行分割,也取得了優(yōu)良的效果。
圖3 兩種方法實(shí)驗(yàn)對比。(a)原始圖像;(b)Kather等的方法的分割結(jié)果;(c)本方法的分割結(jié)果Fig.3 Two methods of experimental contrast figure.(a)Original image;(b)Segmentation results of[11];(c)Segmentation results of our proposed method
為驗(yàn)證本方法的模型對結(jié)直腸的病理圖像具有廣泛的適用性,以及能夠?qū)θ珤呙鑸D像進(jìn)行處理,利用第二個(gè)數(shù)據(jù)集進(jìn)行驗(yàn)證,根據(jù)TCGA上獲取的結(jié)直腸全掃描病理圖像,先將結(jié)直腸全掃描圖像分塊成5 000像素×5 000像素的圖像,其分割效果如圖4所示。實(shí)驗(yàn)結(jié)果表明,該訓(xùn)練模型對TCGA上的結(jié)直腸病理圖像具有一定的適用性。
在測試該方法的適用性之后,利用本研究提出的模型,可以對結(jié)直腸全掃描病理圖像當(dāng)中的8種類型的組織區(qū)域進(jìn)行分割,其中對一張全掃描圖像的處理的流程如下:
圖4 基于TCGA的數(shù)據(jù)對本模型適用性測試。(a)原始圖像;(b)分割的圖像Fig.4 Based on TCGA’s data to test this article’s modelapplicability.(a)Originalimage;(b)Segmentation of(a)
1)先將結(jié)直腸的全掃描圖像按照前面所述的測試和評估方法,分成5 000像素×5 000像素大小的圖像;
2)利用滑動窗口和訓(xùn)練的模型,對所有分割的圖像進(jìn)行依次的預(yù)測,從而可以得到每一張5 000像素×5 000像素分割之后的圖像;
3)最后按照分割時(shí)的坐標(biāo)將這些圖像拼接在一起,從而獲得結(jié)直腸全掃描病理圖像的分割圖像,其分割結(jié)果如圖5所示。
圖5 基于深度卷積網(wǎng)絡(luò)的結(jié)直腸全掃描病理圖像多種類型分割結(jié)果示例。(a)原始圖像;(b)分割的圖像Fig.5 The example result of basing on a deep convolutional networks for multiple types of tissue segmentation on colorectal histologic image of whole slide.(a)Original image;(b)Segmentation of(a)
在實(shí)驗(yàn)當(dāng)中,利用深度卷積網(wǎng)絡(luò)成功地訓(xùn)練數(shù)據(jù)集并建立模型,從而實(shí)現(xiàn)對結(jié)直腸全掃描病理圖像的分割,這有助于病理醫(yī)生能夠迅速地找到感興趣的區(qū)域,對患者的病情做出快速準(zhǔn)確的判定,因而這種方法在臨床上具有一定的實(shí)用價(jià)值。
本研究的主要目的就是利用深度卷積網(wǎng)絡(luò),對結(jié)直腸全掃描病理圖像中的8類組織區(qū)域進(jìn)行分割。在Kather等的方法當(dāng)中,主要是利用圖像本身的形態(tài)學(xué)特征,提取了圖像的低階和高階直方圖特征、局部二進(jìn)制特征、灰度共生矩陣、Gabor特征、感知特征,其中分別對這些特征進(jìn)行測試,獲得了一組最好的特征組合;結(jié)合合適的分類器,對其進(jìn)行訓(xùn)練,從而可以獲得對不同組織類型的分類分割,如圖3(b)所示。而本研究并沒有去尋找這些特征及其組合,而是直接通過深度卷積網(wǎng)絡(luò)中多次的卷積、非線性映射和池化作用,得到訓(xùn)練集當(dāng)中不同類型組織的特征,輸入到全鏈接層中,利用Dropout層增加網(wǎng)絡(luò)的泛化能力和效率,最后使用softmax分類器輸出,從而實(shí)現(xiàn)對多種類型組織的分類;利用訓(xùn)練完成的模型和滑動窗口的方法,從而快速地實(shí)現(xiàn)對不同類型組織的分割,同時(shí)它的分類準(zhǔn)確率相對于形態(tài)學(xué)方法得到了一定的提升。因此,深度學(xué)習(xí)的出現(xiàn)提供了一個(gè)特征學(xué)習(xí)和圖像分類相結(jié)合的可行性方案,這樣的結(jié)合使得學(xué)習(xí)到的特征極大提高了分類器的能力。
本研究利用深度卷積網(wǎng)絡(luò)處理病理圖像,提高了圖像中的特征表達(dá)能力,這種端對端的傳輸方式,使分類器訓(xùn)練得到很大的改善,從而提高滑動窗口中組織判斷的準(zhǔn)確率。該方法在對結(jié)直腸多種類型組織的分類和全掃描病理圖像的分割中取得了一定的成果,可為以后這方面的研究提供參考。
[1] Chen W,Zheng R,Baade PD,et al.Cancer statistics,2015[J].Ca A Cancer Journal for Clinicians,2016,66(2):115-32.
[2] Xu Jun,Xiang Lei,Liu Qingshan,et al.Stacked sparse autoenconder(SSAE)for nuclei detection on breast cancer histopathology images[J]. IEEE Transactions on Medical Imaging,2016,35(1):119-130.
[3] Lan C,Heindl A,Huang X,et al.Quantitative histology analysis of the ovarian tumour microenvironment[J].Scientific Reports,2015,5(2):16317.
[4] Ginsburg S,Lee G,Ali S,et al.Feature importance in nonlinear embeddings(FINE):applications in digital pathology[J].IEEE Trans Medical Imaging,2015,35(1):76-88.
[5] Yuan Y,F(xiàn)ailmezger H,Rueda O M,et al.Quantitative image analysis of cellular heterogeneity in breast tumors complements genomic profiling[J].Science Translational Medicine,2012,4(157):157ra143.
[6] Tamura H,Mori S,Yamawaki T.Textural features corresponding to visualperception [J]. IEEE Trans SystemsMan &Cybernetics,1978,8(6):460-473.
[7] Bianconi F,álvarez-Larrán A,F(xiàn)ernández A.Discrimination between tumour epithelium and stroma via perception-based features[J].Neurocomputing,2015,154:119-126.
[8] Haralick R M,Shanmugam K,Dinstein I.Textural features for image classification [J]. IEEE Trans Systems Man &Cybernetics,1973,SMC-3(6):610-621.
[9] Schad LR,H?rle W,Zuna I,et al.Magnetic resonance imaging of intracranial tumors:tissue characterization by means of texture analysis[J].Zeitschrift Für Medizinische Physik,1992,2(1):12-17.
[10] Lerski RA,Schad LR.The use of reticulated foam in texture test objects for magnetic resonance imaging[J].Magnetic Resonance Imaging,1998,16(9):1139-1144.
[11] Kather JN,Weis CA,Bianconi F,et al.Multi-class texture analysis in colorectal cancer histology[J].Scientific Reports,2016,6:27988.
[12] Linder N.Identification of tumor epithelium and stroma in tissue microarrays using texture analysis[J].Diagnostic Pathology,2012,7(1):1-11.
[13] Turkki R,Linder N,Holopainen T,et al.Assessment of tumour viability in human lung cancer xenografts with texture-based image analysis[J].Journal of Clinical Pathology,2015,68(8):614-621.
[14] Barker J,HoogiA,Depeursinge A,etal. Automated classification of brain tumor type in whole-slide digital pathology images using local representative tiles[J].Medical Image Analysis,2015,30:60-71.
[15] Koushik,Jayanth.Understanding convolutional neural networks[C] //29th Conference on Neural Information Processing Systems(NIPS 2016).Barcelona:The California Institute of Technology and Bell Laboratories,2016.
[16] Glorot X,Bordes A,Bengio Y.Deep sparse rectifier neural networks[J].Journal of Machine Learning Research,2011,15.
[17] Hinton G E,Srivastava N,Krizhevsky A,et al.Improving neural networks by preventing co-adaptation of feature detectors[J].Computer Science,2012,3(4):212-223.
[18] May M.A better lens on disease[J].Scientific American,2010,302(5):74-77.
[19] Jia Yangqing,ShelhamerE,Donahue J,etal. Caffe:convolutional architecture for fast feature embedding[J].Eprint Arxiv,2014:675-678.
[20] Xu Jun,Luo Xiaofei,Wang Guanghao,etal. A deep convolutional neural network for segmenting and classifying epithelial and stromal regions in histopathological images[J].Neurocomputing,2016,191:214-223.
A Deep Convolutional Networks for Identifying Multiple Tissues from Colorectal Histologic Image of Whole Slide
Cai Chengfei1Xu Jun1?Liang Li2Wei Jianhua2Zhou Yangshu2
1(Jiangsu Key Laboratory of Big Data Analysis Technology,Nanjing University of Information and Technology,Nanjing210044,China)
2(Department of Pathology,Southern Medical University,Guangzhou510515,China)
whole scanning pathological image;multiple type of tissue;deep convolutional networks
R318 文獻(xiàn)標(biāo)志碼:D 文章編號:0258-8021(2017)05-0632-05
10.3969 /j.issn.0258-8021.2017.05.018
2017-06-05,錄用日期:2017-07-10
國家自然科學(xué)基金(61771249);江蘇省“六大人才高峰”高層次人才項(xiàng)目(2013-XXRJ-019);江蘇省自然科學(xué)基金(BK20141482)
?通信作者(Corresponding author),E-mail:xujung@gmail.com