基于卷積神經網絡的肺癌病理圖像分類 寧靜艷， 俞　晨，程　年，等（141）

寧靜艷1， 俞　晨2，程　年1，劉　芃1

摘 要：確定肺癌類型對于病人后續(xù)治療方案的選擇至關重要，但肺癌診斷必須由專業(yè)病理醫(yī)師在顯微鏡下觀察活體組織切片確定，診斷過程耗時長，且病理醫(yī)師之間很難取得較好的一致診斷。隨著病理全切片掃描設備的普及，病理圖像可在計算機上保存、觀察、分析，使通過現代數字圖像處理技術輔助診斷或提供決策支持成為可能。對于億級像素的全切片病理圖像（WSI），通過在圖像中提取小塊、訓練分類網絡，并根據驗證結果調整網絡參數，可得到較好的分類準確率。測試時，聚合全圖中小塊分類結果得到最終類別。使用基于塊的分類方法，卷積神經網絡模型在WSI分類任務中取得了較好的效果，有望通過現代深度學習方法對肺癌提供輔助診斷及決策支持。

關鍵詞：卷積神經網絡;肺癌;病理圖像分類;計算機輔助診斷

DOI：10. 11907/rjdk. 181868

中圖分類號：TP317.4文獻標識碼：A文章編號：1672-7800（2019）002-0141-04

Abstract： The diagnosis of lung cancer must be determined by a professional pathologist after looking at the biopsy under a microscope， which is time consuming. Besides， determining the subtype of lung cancer is crucial for the follow-up treatment plan， but it is difficult for pathologists to obtain a decent consistent diagnosis. With the popularity of virtual microscopy devices， it is convenient that pathological images can be stored， observed， and analyzed on computers， which make it possible to assist in diagnosis or provide decision support through modern computerized image processing techniques. For the very large GigaPixel pathological whole-slide images （WSI）， patches were extracted and used to train the convolutional neural network model in this paper. After the parameters of network were adjusted based on the verification results， decent classification accuracy were ultimately obtained. During test phase， the classification results of the patches extracted from a whole image were aggregated to get the final result. By the patched-based classification method， the convolutional neural network model has achieved good results in the classification of pathological WSIs. It is hoped that modern deep learning methods can be used to assist in the diagnosis of lung cancer and provide decision support.

Key Words： convolutional neural network; lung cancer; pathological image classification; computer-aided diagnosis

0 引言

肺癌是男性最常見的癌癥致死病因，及早發(fā)現和確診對于病人身體健康至關重要。胸部影像學檢查如電腦斷層（CT）等能提供初步檢查和評估，但是只能作為診斷參考，肺癌的確診以及肺癌子類型的確定必須由病理醫(yī)師在顯微鏡下觀察活體組織樣本特征才能得到結果[1]。肺癌可粗分為小細胞癌和非小細胞癌，其中非小細胞癌主要有鱗癌和腺癌[2-3]。確定病人肺癌子類型對于后續(xù)治療策略選擇和預測治療相當重要[4]。然而，對于樣本中表現最好的特征病理，醫(yī)師也難以得到很好的一致性診斷結果[4]。對于確定非小細胞癌和區(qū)分其子類型，腺癌和鱗癌的診斷一致性也相對較低[5]。診斷一致性與腫瘤區(qū)分度、活體組織切片質量相關。對病理圖像主觀或錯誤的診斷可能誤選對應的治療方案，從而降低病人存活率和生活質量[6]。

近年來，一些學者著力于對肺癌診斷預測定義額外的視覺特征[7]。數字病理學的出現使病理學得到了跳躍式發(fā)展[8]：虛擬顯微鏡傳送技術能夠將活體組織玻璃切片輸出為能夠在計算機上進行觀察、分析的數字圖像，數字病理學被稱為能為癌癥和其它重癥疾病診斷、預后提供更好、更快、更廉價的最有潛力的實現方向之一[9]。Hipp[10]提出數字圖像處理技術能夠提高病理圖像評估效率、準確率和一致性， 能夠為診斷結果提供決策支持。Yu等[11]通過在非小細胞癌數字病理切片圖像中提取形態(tài)學特征并訓練分類器分類非小細胞癌的亞型，從而預測患者生存期。

傳統圖像分類方法主要利用圖像顏色、紋理和形狀及手工設計的特征描述算子從圖像中獲取的Harris角點、SURF特征、SIFT特征等[12]，且需要單獨設計分類器。人工篩選特征的方法需要對特定任務有足夠知識背景，并通過不斷實驗對參數進行調節(jié)，精力耗費大。

上世紀90年代，反向傳播算法的出現使神經網絡在人工智能領域引起了一次技術變革[13]。隨著計算機處理能力不斷提升，神經網絡模型參數訓練緩慢的問題得到解決[14]，使其成為機器學習領域最受歡迎的主題。神經網絡不同結構的模型解決了計算機科學領域的不同問題，在計算機視覺、語音識別、自然語音處理等領域取得了較好的識別結果[15]。卷積神經網絡作為神經網絡的一種變形，是各種網絡結構中最重要的形式之一[16]，通過局部連接和共享權重的方式獲取圖像豐富的特征，大幅提升了圖像分類與檢測能力[17]，在圖像處理領域得到廣泛應用。對于億兆像素的病理全切片圖像，本文使用卷積神經網絡模型訓練基于塊的分類器，測試階段則通過聚合圖像中塊的分類結果得到最終結果。

1 分類模型與方法

1.1 深度學習框架選擇

Keras是一個利用Python編寫的開源神經網絡庫，可以以Tensorflow、Theano或MXNet為后端，提供一個更高層次、更直觀的深度學習抽象集合，專注于用戶友好、模塊化和可擴展性，使用戶能快速在各種計算后端開發(fā)深度學習模型。考慮實驗模型構建的快速性與便捷性，本文選擇使用Keras框架進行卷積神經網絡模型構建。

1.2 卷積神經網絡結構設計

卷積神經網絡通過局部感受域和共享權重解決傳統前饋網絡中參數過多的問題[14]。卷積操作能夠學習圖像中的局部特征，特別適用于圖像識別任務?；诰矸e神經網絡的分類模型能夠自動學習訓練樣本圖像中的特征表達，將傳統圖像識別任務中的特征提取與分類識別合二為一，進行端到端的圖像處理，得到分類結果，避免重新訓練基于圖像特征的分類器。

對于輸入圖像，卷積網絡的局部感受域（通常為3 × 3或5 × 5的區(qū)域）在圖像上進行卷積操作構建隱藏層，每個連接學習一個權重和一個總偏置。同時，可以選擇多個卷積核學習圖像的不同特征。前面卷積層學習的特征為局部特征，最后卷積層可學習圖像全局特征。本文實驗卷積核大小為3×3區(qū)域，卷積核個數隨網絡層數加深，由32增至64。為避免Sigmoid激活函數梯度飽和及非0輸出問題，并加快收斂速度，實驗選用Relu激活函數[18]，如式（1）所示。在卷積層之后通過池化層獲取凝縮的特征映射，對于多個特征映射，混合層與其一一對應，本文實驗以2×2的區(qū)域進行最大值池化。

最后網絡通過全連接神經網絡對學習到的特征進行分類，輸出層采用Softmax輸出類別概率。損失函數采用交叉熵代價函數，見公式（2）。

損失函數優(yōu)化方法為RMSProp，相對于AdaGrad[19]方法，RMSProp通過加權平均的方法在訓練過程中使學習率隨著訓練epoch增加自動衰減，解決了多層網絡中學習過早結束的問題。相比于AdaGrad中的梯度累積量[r←r+g⊙g]， RMSProp優(yōu)化器中引入衰減速率[ρ]，加權計算歷史梯度，累積量為[r←ρr+（1-ρ）g⊙g]。卷積神經網絡總體結構如圖1所示。

1.3 減小過擬合方法

機器學習方法通過擬合大量訓練樣本預測同分布數據時常出現的擬合問題。模型在訓練數據上有很好的識別效果，但在未經訓練的測試集上的識別效果則不夠理想。通常數據增強是減少過擬合的首選方法，但是本實驗中從每例肺癌病理圖像中能得到上萬張訓練樣本，所以考慮使用L2權重正則化方法減小過擬合。L2正則化方法如式（3）所示。

其中 [C0]為原始代價函數，L2正則化通過在損失函數中引入權重的平方限制模型權重值，達到簡化模型的目的，并在較小的權重和代價函數之前找到一個折中值。加入正則化項后，學習過程中權重w的更新如式（4）、式（5）所示，其中m為小批量數據個數，[λ]為正則化系數、實驗中設為0.005。

另外，稀疏的網絡節(jié)點，即簡單的網絡模型，能減少過擬合。實驗采用Dropout方法[20]在網絡訓練過程中按指定概率將網絡節(jié)點隨機丟棄，使每個batch都可以訓練不同的網絡。測試時通過以相同比率規(guī)范激活層的輸入得到輸出。實驗在每個卷積最后的部分及全連接層添加Dropout，keep_prob分別設為0.25、0.5、0.5。

2 肺癌病理圖像分類實驗

病理切片掃描圖為上億兆像素，而神經網絡模型的輸入一般約為256像素。輸入圖像過大對計算機內存和計算能力要求較高。本文采用訓練基于小塊的卷積神經網絡分類模型，測試時采用投票表決的方法聚合基于塊的分類結果，得到大圖最終分類結果，即選擇塊中所占比例最大的類別作為大圖類別。

2.1 肺癌病理圖片數據集

本文使用的數據集為江蘇省腫瘤醫(yī)院采集的肺癌患者病理切片掃描圖。其中包括肺腺癌切片95例，小細胞癌切片33例，鱗癌切片14例。由于病理全切片掃描圖一般為億兆像素級，可從每例病理圖中獲得上萬個小塊作為訓練圖片，解決了卷積神經網絡訓練樣本不足的問題。

為確保數據集中不同類別數量平衡性，實驗從每類數據取得13例，去除其中的背景區(qū)域后，從每個全切片掃描圖中得到約28張寬、高均在6 000～9 000像素的子圖，即每類肺癌各有約350張圖片，每類肺癌局部圖像如圖2所示。在每類中取60%作為訓練集，20%為驗證集，20%為測試集。

2.2 實驗結果

小塊中包含足夠的區(qū)分信息是卷積神經網絡能夠學習不同肺癌特征的重要條件[21]。但是，小塊太大也會影響網絡區(qū)分不同特征的能力，且受計算機內存限制。因此，必須選擇大小合適的塊級圖像訓練分類網絡，本文塊級圖像大小為224×224。采用滑動窗口和隨機取塊的方式選取塊：滑動窗口下以無縫剪切的方式從每張大圖中?。╳/224）×（h/224）張小圖（w，h分別為每張圖的寬和高）;以隨機取塊的方式對每張圖生成1024個在（0，w-224）和（0，h-224）的隨機數對，在圖像中選取1 024個小圖。為保證不同類別訓練樣本數量平衡，每個batch的數據都是將3幅不同類別的大圖中的小塊隨機打亂后輸入網絡所得。

實驗采用RMSprop優(yōu)化器默認配置不斷減少模型交叉熵損失函數。Batchsize 大小為128，訓練10個epoch，在驗證損失不再下降時采用EarlyStopping的方法終止訓練，對驗證集損失的容忍度設為3，即經過3個epoch后損失不再下降則停止訓練，模型在6個epoch后自動停止。訓練過程中損失和準確率變化如圖3所示。

對于基于塊的卷積神經網絡分類模型，通過滑動窗口取塊方式和隨機取塊的方式在訓練集和測試集取得了相似結果：準確率為0.92，損失為0.20;在測試集的準確率為0.75，損失為0.67。但是結合圖中所有塊的分類結果對整張圖進行預測，隨機取塊的方式取得了較好的結果：小細胞癌分類準確率為0.95、腺癌為0.75、腺癌為0.875，總準確率為0.86;在滑動取塊的方式下得到的預測準確率分別為0.85、0.825、0.75。在滑動取塊和隨機取塊方式下訓練得到的模型在測試集的準確率如表1（分別簡稱模型1、模型2）所示。

實驗表明隨機取塊的方式能更好地學習圖像特征，預測準確率相對較高。在隨機取塊的方式下，訓練樣本能夠包含多種隨機樣本，在滑動窗口下固定的樣本位置會影響樣本多樣性。兩種模型對小細胞癌分類準確率均較高，在一定程度上與肺癌類別的劃分一致：腺癌與鱗癌屬于非小細胞癌的二級類別，而小細胞癌屬于肺癌的一級類別。

3 結語

病理全切片圖像一般為億兆像素級別，難以直接通過卷積神經網絡模型提取特征，但是可從中提取足夠的樣本訓練模型。本文在肺癌數據集上分別通過滑動窗口和隨機取塊的方式訓練模型，然后通過聚合圖像小塊分類結果得到整副圖的類別，最終通過在圖像中隨機取塊訓練得到的模型，使大圖中的分類準確率平均達到86%，表明數字圖像處理方法如卷積神經網絡模型可以應用于肺癌病理圖像分類，以輔助病理學家進行相關研究。本文實驗結果表明，運用卷積神經網絡模型難以區(qū)分非小細胞癌。排除圖像本身特征相似性的原因，后續(xù)可針對非小細胞癌圖像單獨訓練模型，提高對鱗癌和腺癌圖像的區(qū)分度。

參考文獻：

[1] NAGTEGAAL I D， KRIEKEN J H J M V. The role of pathologists in the quality control of diagnosis and treatment of rectal cancer—an overview[J]. European Journal of Cancer， 2002， 38（7）：964-972.

[2] LOO P S， THOMAS S C， NICOLSON M C， et al. Subtyping of undifferentiated non-small cell carcinomas in bronchial biopsy specimens[J]. Journal of Thoracic Oncology， 2010， 5（4）：442-447.

[3] NICHOLSON A G， GONZALEZ D， SHAH P， et al. Refining the diagnosis and EGFR， status of non-small cell lung carcinoma in biopsy and cytologic material， using a panel of mucin staining， TTF-1， cytokeratin 5/6， and P63， and EGFR， mutation analysis[J]. Journal of Thoracic Oncology， 2010， 5（4）：436-441.

[4] SILVESTRI G A，TANOUE L T，MARGOLIS M L，et al. Noninvasive staging of non-small cell lung cancer： the guidlines [J]. Chest，2007，132（3）：178S–201S.

[5] GRILLEY-OLSON J E， NEIL HAYES？D， Moore？D T， et al. Validation of interobserver agreement in lung cancer assessment： hematoxylin-eosin diagnostic reproducibility for non-small cell lung cancer： the 2004 World Health Organization classification and therapeutically relevant subsets [J]. Archives of Pathology & Laboratory Medicine， 2013， 137 （1）： 32-40.

[6] RAAB S S， GRZYBICKI D M， JANOSKY J E， et al. Clinical impact and frequency of anatomic pathology errors in cancer diagnoses[J]. Cancer， 2010， 104（10）：2205-2213.

[7] TRAVIS W D， BRANBILLA E， NOGUCHI M， et al. International association for the study of lung cancer American Thoracic Society/European Respiratory Society International multidisciplinary classification of lung adenocarcinoma[J]. Journal of Thoracic Oncology， 2011， 6： 244-285.

[8] CHEN R， JING Y T， JACKSON H. Identifying metastases in sentinel lymph nodes with deep convolutional neural networks[DB/OL]. http：//pdfs.semanticscholar.org/b9a0/4c9ddad98c9ca6899390aeba95fc9d99 59fa.pdf.

[9] GHAZNAVI F， EVANS A， MADABHUSHI A， et al. Digital imaging in pathology： whole-slide imaging and beyond[J]. Annual Review of Pathology： Mechanisms of Disease， 2013， 8： 331-359.

[10] HIPP J， FLOTTE T， MONACO J， et al. Computer aided diagnostic tools aim to empower rather than replace pathologists： lessons learned from computational chess[J]. Journal of Pathology Informatics， 2011， 2（2）： 25.

[11] YU K H， ZHANG C， BERRY G J， et al. Predicting non-small cell lung cancer prognosis by fully automated microscopic pathology image features[J]. Nature Communications， 2016， 7：12474.

[12] 張恒亨. 基于傳統方法和深度學習的圖像精細分類研究[D]. 合肥： 合肥工業(yè)大學， 2014.

[13] LECUN Y， BOSER B， DENKER J S， et al. Handwritten digit recognition with a back-propagation network[C]. Advances in Neural Information Processing Systems， 1990： 396-404.

[14] 呂力兢.基于卷積神經網絡的結腸病理圖像中的腺體分割[D]. 南京： 東南大學， 2016.

[15] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks[C]. International Conference on Neural Information Processing Systems，2012：1097-1105.

[16] LECUN Y， BOTTON L， BENGIO Y， Gradient based learning applied to document recognition[J]. Proceedings of the IEEE， 1998， 86：2278-2324.

[17] SZEGEDY C， LIU W， JIA Y Q， et al. Going deeper with convolutions[C]， Computer Vision and Pattern Recognition（CVPR） 2015 IEEE Conference on， 2015： 1-9.

[18] GLOROT X， BORDES A， BENGIO Y. Deep sparse rectifier neural networks[C]. International Conference on Artificial Intelligence and Statistics. 2011：315-323.

[19] DUCHI J， HAZAN E， SINGER Y. Adaptive subgradient methods for online learning and stochastic optimization[J]. Journal of Machine Learning Research， 2011， 12（7）：257-269.

[20] HINTON G E， SRIVASTAVA N， KRIZHEVSKY A， et al. Improving neural networks by preventing co-adaptation of feature detectors[J]. Computer Science， 2012， 3（4）： 212-223.

[21] LITJENS G， SáNCHEZ C I， TIMOFEEVA N， et al. Deep learning as a tool for increased accuracy and efficiency of histopathological diagnosis[J]. Scientific Reports， 2016， 6：26286.

（責任編輯：江 艷）