骨髓紅粒細(xì)胞自動識別的深度學(xué)習(xí)模型

吳汾奇, 呂麗麗, 呂 迪, 馮辰彬, 施 恬, 王 維, 崔紅花, 周 柚,c

(吉林大學(xué) a. 計算機(jī)科學(xué)與技術(shù)學(xué)院； b. 第二醫(yī)院； c. 符號計算與知識工程教育部重點(diǎn)實(shí)驗(yàn)室, 長春 130012)

0 引 言

骨髓是人體重要的造血器官和免疫器官, 骨髓血細(xì)胞來源于造血干細(xì)胞,造血干細(xì)胞具有長期自我更新和分化成各類成熟血細(xì)胞的能力[1]?；诩?xì)胞形態(tài)學(xué)對骨髓血細(xì)胞進(jìn)行分類和統(tǒng)計是臨床上對白血病、 各種貧血和惡性組織細(xì)胞病等多種重大血液疾病診斷的依據(jù), 是疾病治療方案選擇的決定性因素[2]。骨髓血細(xì)胞形態(tài)極為復(fù)雜, 包括髓系和淋系, 髓系包含紅系、 粒單系、 巨核系三大類共20余種子類； 淋系包含4種子類, 根據(jù)細(xì)胞核與胞漿的顏色、 形態(tài)和大小等特征共同決定血細(xì)胞的類型[3-4]。目前, 在國內(nèi)外大型醫(yī)療機(jī)構(gòu)中, 一些重大血液疾病的臨床診斷仍然采用醫(yī)師人工觀察顯微鏡下血細(xì)胞涂片, 以細(xì)胞形態(tài)學(xué)為理論基礎(chǔ), 對骨髓血細(xì)胞進(jìn)行識別和計數(shù)統(tǒng)計, 該項(xiàng)工作十分耗時耗力, 而且醫(yī)師需要多年的培訓(xùn)才能勝任該項(xiàng)工作[5]。因此, 將人工智能領(lǐng)域中主流的深度學(xué)習(xí)技術(shù)與圖像處理技術(shù)相結(jié)合[6], 研究骨髓血細(xì)胞自動識別的新技術(shù), 部分替代專家繁瑣勞動, 輔助醫(yī)生診斷, 是一項(xiàng)有意義的工作。

近年來隨著人工智能, 特別是深度學(xué)習(xí)理論和技術(shù)的發(fā)展[7], 為醫(yī)學(xué)影像處理領(lǐng)域提供了更高效的解決方案。在細(xì)胞自動識別領(lǐng)域, 主要人工智能技術(shù)包括圖像分割技術(shù)[8]、 目標(biāo)檢測技術(shù)[9]和圖像語義分割技術(shù)[10]。圖像分割是將數(shù)字圖像細(xì)分為多個圖像子區(qū)域的過程, 實(shí)現(xiàn)定位圖像中的物體和邊界, 在細(xì)胞識別中將細(xì)胞從整體圖像中分割出來, 送入分類器進(jìn)行識別。目標(biāo)檢測是一種基于目標(biāo)幾何和統(tǒng)計特征的圖像分割技術(shù), 從圖像中定位所需識別的目標(biāo), 準(zhǔn)確判斷它們的位置和類別, 并給出每個目標(biāo)的邊界框。目標(biāo)檢測技術(shù)根據(jù)有無候選框生成階段分為兩類： 一類是基于候選區(qū)域的雙步驟算法[11], 即先對細(xì)胞進(jìn)行定位, 然后再對細(xì)胞做分類； 另一類是使用卷積神經(jīng)網(wǎng)絡(luò)將定位和分類兩階段步驟融合的目標(biāo)檢測算法[12], 直接給出定位和分類結(jié)果。而圖像語義分割技術(shù)是通過構(gòu)建端到端的深度學(xué)習(xí)網(wǎng)絡(luò)對輸入圖像中的每個像素點(diǎn)根據(jù)其所屬類別進(jìn)行分類,并為圖像中像素點(diǎn)分配表示其語義類別的標(biāo)簽。

在血細(xì)胞自動識別研究領(lǐng)域, 學(xué)者們在血細(xì)胞自動分割[13]、 定位[14]、 分類[15]和語義分割[16]等領(lǐng)域開展了廣泛研究, 提出了一系列算法和可用數(shù)據(jù)集。這些方法中包括Ramoser等[17]利用K均值聚類方法將血細(xì)胞與其他細(xì)胞分離, 然后利用支持向量機(jī)對血細(xì)胞進(jìn)行分類。Ghosh等[18]使用分水嶺算法分割細(xì)胞, 將分割后的血細(xì)胞圖像送入樸素貝葉斯分類器中進(jìn)行分類。這類方法對細(xì)胞分割的精確度要求較高, 而細(xì)胞分割方法對形狀不規(guī)則細(xì)胞以及多粘連細(xì)胞分割效果不穩(wěn)定, 易對實(shí)驗(yàn)結(jié)果產(chǎn)生影響。Prayag等[14]建立基于CNN(Convolutional Neural Networks)框架使用雙階段目標(biāo)檢測方法實(shí)現(xiàn)外周血細(xì)胞圖像的自動分類, 這種方法準(zhǔn)確度較高, 但檢測速度較慢。Alam等[15]使用基于YOLO(You Only Look Once)框架的目標(biāo)檢測算法識別3種類型的血細(xì)胞, 這種單階段目標(biāo)檢測方法檢測速度較快, 但分類準(zhǔn)確性較低。圖像語義分割技術(shù)是圖像處理領(lǐng)域的新技術(shù), Long等[16]提出了全卷積網(wǎng)絡(luò)(FCN： Fully Convolutional Networks)將圖像分類問題從圖像級別的分類延伸到像素級別的分類, 推動了語義分割技術(shù)領(lǐng)域的發(fā)展。這種像素級別的分割方法保證了速度和分割結(jié)果的準(zhǔn)確度, 是目前圖像處理領(lǐng)域主流的技術(shù)。近年來, 學(xué)者們提出了多種圖像語義分割模型, 如Badrinarayanan等[19]改進(jìn)FCN網(wǎng)絡(luò)模型, 提出了具有編碼器-解碼器結(jié)構(gòu)的SegNet模型。Chen等[20]提出DeepLab模型對圖像進(jìn)行語義分割。雖然語義分割模型實(shí)驗(yàn)效果較好, 但需要大量的數(shù)據(jù)圖像進(jìn)行訓(xùn)練, 而醫(yī)學(xué)影像的獲取, 以及對圖像進(jìn)行準(zhǔn)確的標(biāo)記對大多數(shù)任務(wù)是一項(xiàng)耗時耗力的工作。Ronneberger等[21]提出同樣具有編碼器-解碼器結(jié)構(gòu)的U-Net模型, 該模型在訓(xùn)練數(shù)據(jù)不足的情況下仍能表現(xiàn)出較好的分割效果, 并在ISBI(IEEE International Symposium on Biomedical Imaging)細(xì)胞跟蹤挑戰(zhàn)賽中獲得冠軍。Zeng等[22]使用基于U-Net的神經(jīng)網(wǎng)絡(luò)模型在計算精度醫(yī)學(xué)細(xì)胞核分割挑戰(zhàn)中獲得第3名。目前很多理論和實(shí)驗(yàn)表明加深網(wǎng)絡(luò)的層次有利于獲得更好的訓(xùn)練結(jié)果[23]。然而, 隨著網(wǎng)絡(luò)模型深度的增加, 模型的訓(xùn)練變得更加困難。He等[24]提出了ResNet網(wǎng)絡(luò)結(jié)構(gòu), 利用殘差模塊使網(wǎng)絡(luò)隨深度增加而不退化, 有效解決了網(wǎng)絡(luò)深度的訓(xùn)練問題, 同時能更好地結(jié)合圖像語義信息。

雖然深度學(xué)習(xí)技術(shù)在血細(xì)胞分割、 定位和識別研究方面有了長足的進(jìn)步, 但骨髓血細(xì)胞形態(tài)復(fù)雜、 種類繁多, 部分細(xì)胞間類別差異達(dá)到細(xì)粒度級別, 使骨髓血細(xì)胞自動識別技術(shù)成為一項(xiàng)極具挑戰(zhàn)性的工作, 在國內(nèi)外文獻(xiàn)中未見相關(guān)報道。筆者構(gòu)建了骨髓紅系細(xì)胞和粒系細(xì)胞數(shù)據(jù)集, 提出了一種基于U-Net網(wǎng)絡(luò)結(jié)構(gòu)和ResNet殘差網(wǎng)絡(luò)結(jié)構(gòu)的CellNet網(wǎng)絡(luò)模型, 并通過實(shí)驗(yàn)驗(yàn)證了CellNet在骨髓紅系細(xì)胞和粒系細(xì)胞自動識別上的有效性, 在骨髓血細(xì)胞自動識別領(lǐng)域開展了探索性研究。

1 數(shù)據(jù)采集與處理

筆者構(gòu)建了骨髓血細(xì)胞數(shù)據(jù)集BMCD(Bone Marrow Cells Dataset)(https:∥pan.baidu.com/s/1EPAJ_AzAe AWFt9th4mP2_g. 提取碼： nf08), 該數(shù)據(jù)集由吉林大學(xué)第二醫(yī)院血液科采集, 血液科醫(yī)師使用IDA-2000數(shù)學(xué)醫(yī)學(xué)圖像分析儀系統(tǒng)-200139和日本OLYMPUS顯微鏡, 首先鏡下鎖定目標(biāo)圖像, 其次將圖像上傳至醫(yī)學(xué)圖像分析系統(tǒng), 再次導(dǎo)出圖像并根據(jù)專家經(jīng)驗(yàn)標(biāo)記各類不同細(xì)胞, 構(gòu)建骨髓血細(xì)胞數(shù)據(jù)集。骨髓血細(xì)胞數(shù)據(jù)集中包含圖像共298張, 包含紅系和粒系細(xì)胞共計2 682個, 其中紅系細(xì)胞819個, 粒系細(xì)胞1 863個, 圖像尺寸為512×512像素, 采用手工方式對所有血細(xì)胞進(jìn)行了標(biāo)記?；趫D像語義分割技術(shù)本質(zhì)上是對原始圖像中像素進(jìn)行分類, 因此筆者將圖像中紅系細(xì)胞與粒系細(xì)胞作為待識別的兩類, 其余細(xì)胞及背景區(qū)域作為第3類, 標(biāo)記方式如圖1a所示, 用RGB(Red Green Blue)值(255,0,0)標(biāo)記紅系細(xì)胞像素、 (255,255,0)標(biāo)記粒系細(xì)胞像素、 (0,0,0)標(biāo)記背景像素, 得到掩膜(Mask)圖像。另外, 筆者在訓(xùn)練深度學(xué)習(xí)模型時, 采用了數(shù)據(jù)增強(qiáng)技術(shù)[25]為模型訓(xùn)練過程提供更多的訓(xùn)練數(shù)據(jù), 數(shù)據(jù)增強(qiáng)包括旋轉(zhuǎn)、 翻轉(zhuǎn)、 隨機(jī)放大裁剪等方法, 如圖1b所示。

圖1 骨髓血細(xì)胞圖像數(shù)據(jù)處理過程

2 CellNet模型

CellNet是一種基于U-Net[21]和ResNet50[24]的圖像語義分割模型, CellNet網(wǎng)絡(luò)結(jié)構(gòu)與U-Net相似, 為編碼器-解碼器結(jié)構(gòu), 如圖2所示。

圖2 CellNet模型網(wǎng)絡(luò)架構(gòu)

CellNet網(wǎng)絡(luò)的輸入圖像尺寸為512×512×3像素, 經(jīng)過3次卷積、 1次下采樣操作和14個3層殘差模塊逐步縮小圖像尺寸, 得到紅系、 粒系細(xì)胞在骨髓血細(xì)胞圖像中上下文語義信息(深層信息)。在解碼器中經(jīng)過上采樣操作逐步恢復(fù)圖像大小, 并融合同等高度編碼器中的信息(淺層信息), 最后經(jīng)過softmax得到輸出圖像。CellNet與U-Net的區(qū)別在于將ResNet50中的殘差模塊加入到網(wǎng)絡(luò)中, 增加了網(wǎng)絡(luò)的深度； 另外, CellNet網(wǎng)絡(luò)采用卷積代替U-Net網(wǎng)絡(luò)中用于特征提取的最大池化操作, 并移除U-Net網(wǎng)絡(luò)中的裁剪操作, 為分割提供更精細(xì)的特征。

CellNet網(wǎng)絡(luò)的左側(cè)編碼器部分采用ResNet50中的3層殘差模塊結(jié)構(gòu), 3層殘差模塊包括恒等殘差塊(Identity Block)和卷積殘差塊(Convolutional Block), 結(jié)構(gòu)如圖3所示。恒等殘差塊是ResNet網(wǎng)絡(luò)中使用的標(biāo)準(zhǔn)殘差塊, 對應(yīng)于輸入激活與輸出激活具有相同的維度。卷積殘差塊是另一種類型的殘差塊, 與恒等殘差塊不同之處是卷積殘差塊的shortcut路徑中為一個CONV2D層。Batch Norm即批標(biāo)準(zhǔn)化(Batch Normalization), 可以在訓(xùn)練過程中使每層神經(jīng)網(wǎng)絡(luò)的輸入保持相同分布。這種結(jié)構(gòu)有效克服了由于加深網(wǎng)絡(luò)層數(shù)造成的參數(shù)過多和梯度彌散問題, 而且使網(wǎng)絡(luò)模型更容易訓(xùn)練, 提升了模型的訓(xùn)練速度。

CellNet網(wǎng)絡(luò)模型第1個卷積層定義卷積核大小為7×7, 步長為2, 下采樣操作定義卷積核大小為3×3, 步長為2, 輸出圖像尺寸為128×128×64像素, 之后經(jīng)過14個3層殘差模塊和兩次步長分別為1和2的卷積, 輸出圖像的尺寸變?yōu)?×8×1 024, 編碼器結(jié)構(gòu)參數(shù)如表1所示。

圖3 3層殘差模塊

表1 CellNet模型編碼器結(jié)構(gòu)參數(shù)

CellNet網(wǎng)絡(luò)模型右側(cè)擴(kuò)展路徑基于U-Net的解碼器結(jié)構(gòu), 由5次上采樣和12次卷積組成, 并融合由同等高度的編碼器傳遞的淺層信息, 將圖像尺寸逐步恢復(fù)為512×512×3, 具體結(jié)構(gòu)參數(shù)如表2所示。

表2 CellNet模型解碼器結(jié)構(gòu)參數(shù)

(續(xù)表2)

3 實(shí)驗(yàn)設(shè)計與結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)計

為了驗(yàn)證筆者提出的CellNet模型在骨髓血細(xì)胞上識別的效果, 在BMCD數(shù)據(jù)集上設(shè)計了實(shí)驗(yàn), 并與U-Net在相同實(shí)驗(yàn)條件下進(jìn)行了對比。實(shí)驗(yàn)是在BMCD數(shù)據(jù)集中隨機(jī)選取40張圖像作為測試集, 利用Python的Pillow庫對其余258張骨髓血細(xì)胞圖像做數(shù)據(jù)增強(qiáng)處理, 擴(kuò)充到1 200張圖像, 并將其劃分為訓(xùn)練集和驗(yàn)證集(9 ∶1), 其中訓(xùn)練集1 080張, 驗(yàn)證集120張, 采用十折交叉驗(yàn)證的方法對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

實(shí)驗(yàn)基于Keras2.2.4開源框架, 在型號為NVIDIA GeForce GTX 1080 Ti的GPU上進(jìn)行訓(xùn)練。CellNet網(wǎng)絡(luò)的輸入圖像尺寸為512×512×3, 批大小設(shè)置為12, 學(xué)習(xí)率設(shè)置為0.000 1, 訓(xùn)練輪次設(shè)置為100, 采用Adam優(yōu)化器和交叉熵?fù)p失函數(shù)(Categorical Crossentropy)。

3.2 評價方法

為了評價CellNet模型效果, 筆者使用4個性能指標(biāo)對網(wǎng)絡(luò)模型進(jìn)行測試, 分別為均交并比(MIoU： Mean Intersection over Union)、 精確率(Precision)、 召回率(Recall)和算法執(zhí)行時間。

交并比(IoU: Intersection over Union)為計算機(jī)視覺圖像分割領(lǐng)域中經(jīng)常使用的一個概念, 是產(chǎn)生的候選框與原標(biāo)記框的交疊率, 即它們的交集與并集的比值, 是衡量定位精確度的一種方式。均交并比作為衡量圖像分割精度的標(biāo)準(zhǔn)度量, 其原理為在每個類上計算IoU值并取平均值, 定義為

(1)

其中k為類別數(shù)量,nij為類別i預(yù)測為類別j的像素點(diǎn)個數(shù)。

精確率(Precision,PPrecision)即在被所有預(yù)測為正的樣本中實(shí)際為正樣本的概率。召回率(Recall,RRecall)即在實(shí)際為正的樣本中被預(yù)測為正樣本的概率。精確率與召回率定義如下

(2)

(3)

其中NTP為在原圖像與模型預(yù)測圖中均為正例的細(xì)胞數(shù)量；NFP為在原圖像中為反例且在模型預(yù)測圖中為正例的細(xì)胞數(shù)量；NFN為在原圖像中為正例且在模型預(yù)測圖中為反例的細(xì)胞數(shù)量。

3.3 結(jié)果與分析

實(shí)驗(yàn)結(jié)果給出的是十折交叉驗(yàn)證訓(xùn)練結(jié)果的均值, CellNet和U-Net對骨髓血細(xì)胞圖像語義分割的交并比和運(yùn)算時間的結(jié)果如表3所示, 較U-net相比, CellNet模型將MIoU從87.63% 提高到91.21%。在訓(xùn)練時間和測試時間上, 筆者設(shè)計的網(wǎng)絡(luò)都優(yōu)于U-Net網(wǎng)絡(luò)。

表3 實(shí)驗(yàn)結(jié)果1

通過統(tǒng)計兩種網(wǎng)絡(luò)模型在預(yù)測圖中紅系、 粒系細(xì)胞數(shù)量的識別情況, 計算出精確率和召回率如表4所示。CellNet相比U-Net網(wǎng)絡(luò)模型, 精確率和召回率有更優(yōu)秀的表現(xiàn), 筆者方法在紅系、 粒系細(xì)胞識別召回率上分別提高了3.97%、 4.74%。

表4 實(shí)驗(yàn)結(jié)果2

如圖4所示, 筆者在測試集上選用4幅骨髓血細(xì)胞圖像進(jìn)行對比分析, 其中圖4a為原圖像, 圖4b為對應(yīng)的掩膜(Mask)圖, 圖4c和圖4d分別為CellNet、 U-Net網(wǎng)絡(luò)分割的結(jié)果。

a 原圖 b Mask c CellNet d U-Net

圖5 訓(xùn)練過程曲線

根據(jù)分割結(jié)果對比可以看出, CellNet網(wǎng)絡(luò)在分割精度上有較大提高, 擬合效果較強(qiáng), 對不同形態(tài)分布的骨髓血細(xì)胞圖像都能獲得較好的分割結(jié)果, 對U-Net未能識別的邊緣處細(xì)胞也能達(dá)到較為準(zhǔn)確的識別效果, 甚至在復(fù)雜并且細(xì)胞密度較大的圖像上也能有出色的表現(xiàn)。CellNet和U-Net網(wǎng)絡(luò)模型的訓(xùn)練過程如圖5所示, 與U-Net相比CellNet網(wǎng)絡(luò)在訓(xùn)練過程中收斂速度更快, 同時能獲得較低的損失值。

4 結(jié) 語

骨髓血細(xì)胞自動識別技術(shù)對于白血病、 各種貧血、 惡性組織細(xì)胞病等多種重大血液疾病診斷和治療有重要的研究意義, 可以部分替代專家繁瑣重復(fù)工作, 是一項(xiàng)有意義的研究工作。骨髓血細(xì)胞因其形態(tài)學(xué)的復(fù)雜特點(diǎn), 是該領(lǐng)域研究的難點(diǎn)問題。筆者探索性研究了骨髓血細(xì)胞中紅系細(xì)胞和粒系細(xì)胞自動識別技術(shù), 構(gòu)建了骨髓血細(xì)胞數(shù)據(jù)集(BMCD： Bone Marrow Cells Dataset), 提出了一種基于U-Net網(wǎng)絡(luò)結(jié)構(gòu)和ResNet殘差網(wǎng)絡(luò)結(jié)構(gòu)的CellNet網(wǎng)絡(luò)模型, 通過實(shí)驗(yàn)驗(yàn)證了CellNet在骨髓紅系細(xì)胞和粒系細(xì)胞自動識別上的有效性。