基于多尺度深度卷積神經(jīng)網(wǎng)絡(luò)的骨髓白細(xì)胞識別研究

陳德海 潘韋馳 丁博文 黃艷國

摘 ?要： 針對骨髓白細(xì)胞人工提取特征復(fù)雜，識別困難等問題，提出一種多尺度濾波深度卷積神經(jīng)網(wǎng)絡(luò)（MS?DCNN）模型。首先，該模型將傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型的濾波器尺寸縮小，以減少模型的總體參數(shù)以提升網(wǎng)絡(luò)模型訓(xùn)練的效率;其次，通過增加濾波器的個數(shù)和網(wǎng)絡(luò)深度來提取骨髓血細(xì)胞更豐富的特征;最后通過在Sysmex（希森美康）公開數(shù)據(jù)集上對6類骨髓白細(xì)胞進(jìn)行實(shí)驗(yàn)，并與其他主流分類方法進(jìn)行對比。結(jié)果表明，該文提出的MS?DCNN模型準(zhǔn)確率達(dá)到了98.9%，高于其他主流方法，其有效性得到了驗(yàn)證。

關(guān)鍵詞： 骨髓白細(xì)胞; 卷積神經(jīng)網(wǎng)絡(luò); 多尺度特征; 深度學(xué)習(xí); 機(jī)器視覺; 圖像分類

中圖分類號： TN711?34; TP391.4 ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼： A ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）02?0160?04

Research of bone marrow white blood cell recognition based on multi?scale deep convolutional neural network

CHEN Dehai， PAN Weichi， DING Bowen， HUANG Yanguo

Abstract： A multi?scale filtering depth convolutional neural network （MS?DCNN） model is proposed to improve the problems of complex features and difficult recognition of manual extraction of the bone marrow white blood cells. In this MS?DCNN model， the filter size of the traditional convolutional neural network model is shrinked to reduce the overall parameters of it， so as to improve the efficiency of network model training. The more abundant features of bone marrow blood cells can be extracted by increasing the number of filters and the network depth. The experiment of six types of bone marrow white blood cells are conducted on the Sysmex open datasets， and compared with other mainstream classification methods. The results show that the accuracy of the proposed MS?DCNN model is up to 98.9%， higher than other mainstream methods， and its effectiveness has been verified.

Keywords： bone marrow white blood cell; convolution neural network; multi?scale features; deep learning; machine vision; image classification

0 ?引 ?言

白細(xì)胞識別在醫(yī)療診斷中作用巨大。例如，細(xì)胞譜相的識別與某個特定的疾病相關(guān)聯(lián)[1?2]，白細(xì)胞的計(jì)數(shù)已被證明與多種疾病相關(guān)聯(lián)[3]等。最初，白細(xì)胞識別與計(jì)數(shù)在顯微鏡下手工進(jìn)行，這樣不僅耗時，而且錯誤率也高。由于不同類型的白細(xì)胞形狀相似，細(xì)胞識別的準(zhǔn)確性仍然對傳統(tǒng)的顯微成像技術(shù)造成挑戰(zhàn)。人體中血細(xì)胞有紅細(xì)胞、白細(xì)胞和血小板三種類型。與其他細(xì)胞類型相比，白細(xì)胞的識別分類被認(rèn)為是一個活躍的研究領(lǐng)域，因?yàn)榘准?xì)胞負(fù)責(zé)人體的免疫。骨髓中這些細(xì)胞的計(jì)數(shù)為醫(yī)生提供了寶貴的信息，有助于白血病和艾滋病等許多重要診斷[4]。

隨著計(jì)算機(jī)視覺技術(shù)的蓬勃發(fā)展，計(jì)算機(jī)輔助工具在醫(yī)療領(lǐng)域里進(jìn)行疾病診斷的應(yīng)用也越來越廣泛。精確的計(jì)算機(jī)輔助工具有助于加快疾病的診斷，減少醫(yī)生的工作量提高工作效率。文獻(xiàn)[5]總結(jié)了2003—2011年該領(lǐng)域的研究成果，對于白細(xì)胞識別分類的準(zhǔn)確率在70.6%～96%之間。文獻(xiàn)[6]使用屬性多層次結(jié)構(gòu)分析方法對白細(xì)胞6分類進(jìn)行研究，其綜合準(zhǔn)確率達(dá)到95.98%。

卷積神經(jīng)網(wǎng)絡(luò)[7]（Convolutional Neural Network，CNN）是一種重要的深度學(xué)習(xí)技術(shù)，在計(jì)算機(jī)視覺領(lǐng)域中，如圖像分類[8]、目標(biāo)識別[9]、圖像檢索[10]等領(lǐng)域，都得到了廣泛的應(yīng)用，而現(xiàn)代意義上的CNN則是由LeCun等對手寫數(shù)字識別的研究中提出來的經(jīng)典CNN模型LeNet?5[11]，其后出現(xiàn)了更為復(fù)雜的AlexNet[12]，ResNet[13]，NasNet[14]等模型。卷積神經(jīng)網(wǎng)絡(luò)中的卷積和池化操作對數(shù)據(jù)進(jìn)行特征提取可以有效解決圖像因平移、選擇或縮放等變換導(dǎo)致特征提取不準(zhǔn)確的問題，通過訓(xùn)練學(xué)習(xí)到輸入圖像的局部和全局特征，解決了人工提取特征帶來的特征提取不充分的問題。

1 ?實(shí)驗(yàn)方法

1.1 ?骨髓白細(xì)胞數(shù)據(jù)集的準(zhǔn)備

1.1.1 ?骨髓白細(xì)胞數(shù)據(jù)集

本文的骨髓樣本細(xì)胞顯微圖像來自于Sysmex（希森美康）公開實(shí)驗(yàn)數(shù)據(jù)集。數(shù)據(jù)集中包含骨髓白細(xì)胞6個分類：成髓細(xì)胞（myeloblast）、前髓細(xì)胞（promyelocyte）、髓細(xì)胞（myelocyte）、間質(zhì)細(xì)胞（metamyelocyte）、桿狀核中性粒細(xì)胞（Band neutrophils）和分葉核中性粒細(xì)胞（Segmented neutrophils）。每個類別由5個骨髓白細(xì)胞顯微鏡圖像組成，如圖1所示。

1.1.2 ?數(shù)據(jù)增強(qiáng)

深度學(xué)習(xí)需要大量的學(xué)習(xí)樣本。學(xué)習(xí)樣本的大小影響著網(wǎng)絡(luò)的訓(xùn)練結(jié)果，因此需要對數(shù)據(jù)集進(jìn)行擴(kuò)充。但對于骨髓白細(xì)胞圖像，能夠獲取的訓(xùn)練數(shù)據(jù)是有限的，需要通過圖像處理的方法擴(kuò)增樣本數(shù)量。本研究采取平移、選擇以及縮放等方法擴(kuò)充數(shù)據(jù)集，數(shù)據(jù)集中每類骨髓白細(xì)胞分為5種，每種擴(kuò)充到100張樣本，總計(jì)3 000張樣本。

1.2 ?實(shí)驗(yàn)平臺

圖像工作站為PC機(jī)，實(shí)驗(yàn)環(huán)境如下：WIN10 64位操作系統(tǒng)，i7?7700HQ CPU，16 GB內(nèi)存和GeForce GTX 1060顯卡，在TensorFlow平臺下進(jìn)行，所有的樣本尺寸均歸一化為227[×]227。

1.3 ?卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種經(jīng)典的深度學(xué)習(xí)算法，可以從少量預(yù)處理甚至原始的樣本圖片中提取圖像特征，最終能獲得一副圖像的高級語義特征。CNN一般由卷積層、池化層以及全連接層組成。卷積層用來提取特征，并且在計(jì)算過程中通過權(quán)值共享的形式來減少網(wǎng)絡(luò)參數(shù)。模型的訓(xùn)練過程分為前向傳播和反向傳播兩個階段。

1） 前向傳播階段，傳播過程對每層輸入特征的運(yùn)算公式如下：

[y（l）=fi∈mWli?x（l-1）i+bl] （1）

式中：[y（l）]為第[l]個卷積層的輸出;[x（i）]為輸入向量;“[?]”為卷積運(yùn)算;[bl]為偏置;[Wi]為該層對應(yīng)的卷積核權(quán)重;[m]為輸入特征圖的集合; [fx]為非線性激活函數(shù)，常用的有Sigmoid，Tanh和Relu等。

2） 反向傳播階段，對于有m個樣本的數(shù)據(jù)集，網(wǎng)絡(luò)的前向傳播階段會輸出每個類別線性預(yù)測結(jié)果，根據(jù)這個結(jié)果和網(wǎng)絡(luò)期望的輸出定義網(wǎng)絡(luò)的整體目標(biāo)函數(shù)為：

[E（W）=mini=1ML（zi）+λW2] （2）

式中：[L（zi）]是網(wǎng)絡(luò)模型對應(yīng)的損失函數(shù)，通過迭代訓(xùn)練最小化損失函數(shù)來降低網(wǎng)絡(luò)的分類誤差;[zi]為網(wǎng)絡(luò)反向傳播的輸入，即式（1）中最后一層網(wǎng)絡(luò)的輸出;[W]為網(wǎng)絡(luò)在本次迭代訓(xùn)練中所占的權(quán)值;[λ]為相應(yīng)的歸一項(xiàng)所占比重。

1.4 ?多尺度濾波深度卷積神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)

多尺度濾波深度卷積神經(jīng)網(wǎng)絡(luò)（Multi?Scale Filtering Deep Convolution Neural Network，MS?DCNN）模型由二部分組成：第一部分為多尺度濾波設(shè)計(jì);第二部分為網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)。多尺度濾波設(shè)計(jì)部分為：將傳統(tǒng)的大卷積核尺寸修改為3[×]3的小卷積核，減少了模型的參數(shù)量;增加卷積核的數(shù)量，獲得骨髓白細(xì)胞不同尺度的多個特征圖，獲得其更加豐富的特征。

網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)部分分為兩種：

1） MS?DCNN模型的前一部分采用一層卷積層加一層池化層的組合方式;

2） MS?DCNN模型的后一部分采用疊加兩層卷積層加一層池化層的組合方式，在模型的最后采用三層全連接層的方式。

綜上所述，MS?DCNN模型如圖2所示。激活函數(shù)選用線性整流函數(shù)（Rectified Linear Units，ReLU），增強(qiáng)了網(wǎng)絡(luò)的稀疏性，并且減少了參數(shù)之間的依賴關(guān)系，增強(qiáng)了模型的表達(dá)能力。

1.5 ?實(shí)驗(yàn)設(shè)計(jì)

為了驗(yàn)證MS?DCNN模型的可行性，本文從經(jīng)過數(shù)據(jù)擴(kuò)充后的3 000張骨髓白細(xì)胞數(shù)據(jù)集中取2 700張作為訓(xùn)練集，300張圖片作為驗(yàn)證集用來測試模型性能。訓(xùn)練過程中設(shè)定批訓(xùn)練樣本數(shù)量（batch_size）為40，初始學(xué)習(xí)率（learning_rate）為0.01，并采用Adam優(yōu)化器訓(xùn)練數(shù)據(jù)，并與當(dāng)前主流的深度學(xué)習(xí)模型進(jìn)行對比實(shí)驗(yàn)。同時，為了測試MS?DCNN模型的有效性，與其他骨髓白細(xì)胞識別分類方法進(jìn)行準(zhǔn)確度比較。

2 ?實(shí)驗(yàn)結(jié)果

2.1 ?MS?DCNN實(shí)驗(yàn)結(jié)果

通過對MS?DCNN模型進(jìn)行3 000次迭代訓(xùn)練后，模型逐漸收斂，其損失函數(shù)（loss）及學(xué)習(xí)率變化曲線如圖3所示。

從圖中可以看出，隨著迭代次數(shù)的增加，損失（loss）值和學(xué)習(xí)率不斷降低，當(dāng)?shù)? 000次時，損失的值為0.067，模型能有效的收斂，此時驗(yàn)證集的準(zhǔn)確率為98.9%。

2.2 ?與主流深度學(xué)習(xí)模型的對比結(jié)果

參數(shù)設(shè)定不變，在相同數(shù)據(jù)集中與當(dāng)前主流的深度學(xué)習(xí)模型，LeNet，AlexNet，CifarNet，ResNet進(jìn)行實(shí)驗(yàn)對比，其損失函數(shù)變化曲線如圖4所示。

由圖4可知，LeNet，ResNet隨著迭代次數(shù)的增加能有效收斂，當(dāng)?shù)? 000次時，loss值逐漸接近于0;AlexNet當(dāng)?shù)? 400次時，開始逐漸收斂;CifarNet在本數(shù)據(jù)集下無法收斂，說明該模型不適合進(jìn)行骨髓白細(xì)胞識別分類。各模型準(zhǔn)確率對比實(shí)驗(yàn)結(jié)果見表1。

由表1可知，本文的MS?DCNN模型對于骨髓白細(xì)胞的識別準(zhǔn)確率達(dá)到了98.9%，比主流深度學(xué)習(xí)模型中表現(xiàn)最好的ResNet高出4.23%，比其他深度學(xué)習(xí)模型高出33.2%左右，表明MS?DCNN模型優(yōu)于其他主流深度學(xué)習(xí)模型。

2.3 ?與其他骨髓白細(xì)胞識別分類方法對比結(jié)果

將MS?DCNN模型分別與其他分類方法進(jìn)行對比，見表2。

由表2可知，各種分類方法對于骨髓白細(xì)胞有著或好或壞的分類性能。對于總體的驗(yàn)證樣本數(shù)據(jù)集，本文的MS?DCNN分類方法，取得了98.9%的最高分類準(zhǔn)確率，比表現(xiàn)最好的FGSA+RBNN的準(zhǔn)確度高出3.9%，比其他分類方法高出9.7%左右，進(jìn)一步證明了本文針對骨髓白細(xì)胞識別提出的網(wǎng)絡(luò)模型的有效性。

3 ?結(jié) ?語

本文提出一種多尺度深度卷積神經(jīng)網(wǎng)絡(luò)模型，進(jìn)行骨髓白細(xì)胞識別分類。該模型通過濾波器的調(diào)整、網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化，充分利用骨髓白細(xì)胞的特征，以提高白細(xì)胞識別分類的準(zhǔn)確性。通過對比實(shí)驗(yàn)證實(shí)，提出的MS?DCNN模型優(yōu)于主流的深度學(xué)習(xí)模型以及現(xiàn)有的白細(xì)胞分類方法，這證實(shí)該模型具有較好的分類性能;同時也證明，深度學(xué)習(xí)的思想在醫(yī)學(xué)圖像處理領(lǐng)域具有重要的理論意義及應(yīng)用價值。接下來的研究中，在干擾條件下更多類別細(xì)胞的識別將成為研究重點(diǎn)，研究出具有較高泛化能力與魯棒性的網(wǎng)絡(luò)結(jié)構(gòu)，將會大大改善當(dāng)前的工作。

注：本文通訊作者為潘韋馳。

參考文獻(xiàn)

[1] ZHANG Y， BAI J， WU H， et al. Trapping cells in paper for white blood cell count [J]. Biosens bioelectron， 2015， 69： 121?127.

[2] YI F， MOON I， LEE Y H. Three?dimensional counting of morphologically normal human red blood cells via digital holographic microscopy [J]. Journal of biomedical optics， 2015， 20（1）： 16005.

[3] LU G， FEI B. Medical hyperspectral imaging： a review [J]. Journal of biomedical optics， 2014， 19（1）： 10901.

[4] NAMDEV D P， SATISH T H. Fractional gravitational search?radial basis neural network for bone marrow white blood cell classification [J]. The imaging science journel， 2018， 66： 106?124.

[5] SARASWAT M， ARYA K V. Automated microscopic image analysis for leukocytes identification： a survey [J]. Micron， 2014， 65： 20?33.

[6] 郝連旺，洪文學(xué).屬性多層次結(jié)構(gòu)關(guān)系在白細(xì)胞形態(tài)六分類技術(shù)中的應(yīng)用[J].中國生物醫(yī)學(xué)工程學(xué)報(bào)，2015，34（5）：533?539.

[7] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient?based learning applied to document recognition [J]. Proceedings of the IEEE， 1999， 86（11）： 2278?2324.

[8] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks [C]// NIPS′12 Proceedings of 25th International Conference on Neural Information. Nevada： ACM， 2012： 1097?1105.

[9] REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real?time object detection [C]// IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas： IEEE， 2016： 779?788.

[10] SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions [C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston： IEEE， 2015： 1?9.

[11] YANG H F， LIN K， CHEN C S. Supervised learning of semantics?preserving hash via deep convolutional neural networks [J]. IEEE transactions on pattern analysis & machine intelligence， 2015（99）： 437?451.

[12] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition [C]// IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas： IEEE， 2016： 11?17.

[13] ZOPH B， VASUDEVAN V， SHLENS J， et al. Learning transferable architectures for scalable image recognition [EB/OL]. [2019?03?19]. https：//blog.csdn.net/u012193416/article/details/88658629.

[14] LECUN Y， KAVUKCUOGLU K， CLE?MENT F. Convolutional networks and applications in vision [C]// Proceedings of 2010 IEEE International Symposium on circuits and systems. Paris： IEEE， 2010： 253?256.

[15] THEERA?UMPON N. Patch?based white blood cell nucleus segmentation using fuzzy clustering [J]. Research gate， 2016（14）： 15?20.

作者簡介：陳德海（1978—），男，博士研究生，副教授，研究方向?yàn)樯疃葘W(xué)習(xí)與智能控制技術(shù)。

潘韋馳（1994—），男，碩士研究生，研究方向?yàn)樯疃葘W(xué)習(xí)與模式識別。

黃艷國（1973—），男，博士，教授，研究方向?yàn)橹悄芸刂婆c信息技術(shù)。