革蘭氏染色細(xì)菌顯微圖像深度學(xué)習(xí)分類(lèi)與計(jì)數(shù)

董宇波，王蕊，趙慧娟，張書(shū)景

前言

細(xì)菌的分類(lèi)和計(jì)數(shù)在生物工程、環(huán)境檢測(cè)和醫(yī)藥學(xué)等領(lǐng)域都有十分重要的意義。傳統(tǒng)的細(xì)菌計(jì)數(shù)方法有平板計(jì)數(shù)法［1-3］，這是一種間接培養(yǎng)計(jì)數(shù)法，由于單個(gè)細(xì)菌難以觀測(cè)，因此將分散的細(xì)菌在培養(yǎng)基上培養(yǎng)形成菌落，將菌落個(gè)數(shù)作為計(jì)數(shù)標(biāo)準(zhǔn)，這種方法需要花時(shí)間培養(yǎng)細(xì)菌，結(jié)果不穩(wěn)定。流式細(xì)胞術(shù)是一種通過(guò)儀器分析細(xì)胞而完成計(jì)數(shù)的方法［4-6］，被熒光標(biāo)記過(guò)的細(xì)菌以一定的速度流過(guò)流式細(xì)胞儀測(cè)定區(qū)域，熒光反應(yīng)的信號(hào)強(qiáng)度能夠檢測(cè)細(xì)菌的組成和含量；然而流式細(xì)胞儀價(jià)格昂貴，對(duì)單個(gè)細(xì)菌的檢測(cè)準(zhǔn)確，對(duì)混合細(xì)菌分類(lèi)效果不好。最大可能數(shù)（MPN）計(jì)數(shù)方法通過(guò)概率統(tǒng)計(jì)來(lái)估計(jì)細(xì)菌濃度［7-8］。顯微鏡計(jì)數(shù)是一種常用的方法，顯微鏡可以放大細(xì)菌或染色細(xì)菌，以便于人們觀察，對(duì)于單個(gè)視野中細(xì)菌分布不均勻且數(shù)量眾多的顯微鏡計(jì)數(shù)工作量巨大，過(guò)程繁瑣，并且極易出錯(cuò)［9-11］。

針對(duì)以上問(wèn)題，本研究提出一種基于深度學(xué)習(xí)的顯微圖像細(xì)菌計(jì)數(shù)方法，該方法能夠?qū)?shí)際任務(wù)圖像中的革蘭氏陽(yáng)性桿菌、革蘭氏陰性桿菌、革蘭氏陽(yáng)性球菌和革蘭氏陰性球菌進(jìn)行分類(lèi)識(shí)別和計(jì)數(shù)，圖1顯示了4 種不同類(lèi)型細(xì)菌的顯微圖像。該算法過(guò)程流程模擬人眼觀察，對(duì)4種細(xì)菌的分類(lèi)計(jì)數(shù)過(guò)程為：“分割”→“分類(lèi)器訓(xùn)練”→“識(shí)別”→“分類(lèi)計(jì)數(shù)”。首先采用U-Net“漸進(jìn)式分割”方法去除背景，分割出細(xì)菌部分；然后將分割后的細(xì)菌部分分別投入經(jīng)過(guò)訓(xùn)練后的ResNet50 模型和VGG19 模型進(jìn)行識(shí)別和計(jì)數(shù)。

圖1 4種革蘭氏染色菌形態(tài)差異Fig.1 Morphological differences among four kinds of Gram-stained bacteria

1 漸進(jìn)分割

圖像分割是將圖像分成具有獨(dú)特特征的特定區(qū)域，也是后續(xù)圖像分析的預(yù)處理和關(guān)鍵準(zhǔn)備［12］。由于顯微圖像中的細(xì)菌尺寸小且存在黏連和邊緣模糊的情況，以往的分割方法難以很好地將背景剔除。U-Net［13-14］在醫(yī)學(xué)圖像分割方面有很好的表現(xiàn)，在2015年ISBI 細(xì)胞追蹤比賽中取得了優(yōu)秀的表現(xiàn)。U-Net網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，它是一個(gè)編碼器-解碼器結(jié)構(gòu)，左半邊為編碼器，與傳統(tǒng)的分類(lèi)網(wǎng)絡(luò)結(jié)構(gòu)類(lèi)似，是“下采樣階段”，右半邊為解碼器，是“上采樣階段”，中間的灰色箭頭為跳躍連接，將淺層的特征與深層的特征拼接，淺層通?？梢宰トD像一些簡(jiǎn)單的特征，比如邊界、顏色，深層的特征是高維特征，經(jīng)過(guò)訓(xùn)練后記憶在網(wǎng)絡(luò)參數(shù)中。

圖2 U-Net模型結(jié)構(gòu)Fig.2 The U-Net model structure

1.1 訓(xùn)練U-Net

細(xì)菌顯微圖像和醫(yī)學(xué)圖像有很多相同的特點(diǎn)，例如圖像顏色種類(lèi)少、背景單調(diào)、噪聲高、分辨率低；不同的是細(xì)菌顯微圖像中微小細(xì)菌的數(shù)量十分巨大。因此，首先將一幅細(xì)菌顯微圖像分割成若干個(gè)30×30 像素的子塊，然后選取部分子塊作標(biāo)記，對(duì)U-Net 模型進(jìn)行訓(xùn)練。每個(gè)子塊進(jìn)行分割之后，將它們拼接起來(lái)作全局分割掩膜。掩膜為一個(gè)二值圖像，白色為細(xì)菌部分，黑色為背景部分，將掩膜與原圖相乘即可得到分割后的細(xì)菌。圖3顯示了U-Net分割后的掩膜，圖4顯示了子塊合成掩膜的過(guò)程。

圖3 U-Net子塊分割掩膜Fig.3 The mask of sub-blocks segmented by U-Net

圖4 合成全局分割掩膜過(guò)程Fig.4 The synthesis process of the whole mask segmented by U-Net

本文中使用的U-Net 網(wǎng)絡(luò)模型包括19 次卷積運(yùn)算和4 次轉(zhuǎn)置卷積運(yùn)算，4 次上采樣和4 次下采樣，最終輸出由Simoid 函數(shù)激活。先將圖像分解成30×30像素的子塊，從中選擇50 個(gè)作標(biāo)簽，用于U-Net 模型的訓(xùn)練。該模型經(jīng)過(guò)500次迭代，取得了良好的分割效果。分割掩膜很難通過(guò)一次性閾值得到，較高的閾值會(huì)導(dǎo)致部分細(xì)菌的丟失，而較低的閾值則會(huì)導(dǎo)致細(xì)菌黏連不能完全分割。因此，本研究采用漸進(jìn)分割，通過(guò)至少兩次調(diào)整閾值，可以完成幾乎所有細(xì)菌輪廓分割。

1.2 漸進(jìn)分割

由U-Net模型生成的掩膜的像素分布如圖5所示。通過(guò)觀察U-Net模型生成的掩膜的像素分布，選擇中點(diǎn)處約0.500 5作為首次分割閾值，去除大部分背景。再選首次閾值和最大值之間中點(diǎn)處約0.500 75作為二次分割閾值。

圖5 掩膜像素灰度值及分布情況Fig.5 The pixel value and grey value of mask generated by U-Net and their distribution

1.2.1 首次分割在得到圖3所示的首次全局分割掩膜后，我們通過(guò)分水嶺算法找到連通域［15］。這些連通域中有的包含多個(gè)細(xì)菌，通過(guò)簡(jiǎn)單比較連通域與最大單個(gè)細(xì)菌面積，挑選出包含多個(gè)細(xì)菌的連通域進(jìn)行二次分割。

1.2.2 二次分割選擇更高的閾值為U-Net 輸出二值掩膜，稱之為“主要部分”。在得到更加細(xì)致的分割掩膜的同時(shí)，也丟失了部分包含細(xì)菌的部分。為了找回其余部分的細(xì)菌，我們將首次分割結(jié)果進(jìn)行開(kāi)運(yùn)算，將得到的結(jié)果和首次分割結(jié)果相減得到的結(jié)果稱之為“殘差部分”，經(jīng)過(guò)開(kāi)運(yùn)算后得到的“殘差部分”可以減少兩部分相減造成的邊緣輪廓和毛刺。然后再次分別搜索“主要部分”和“殘差部分”中的連通域，這兩部分的連通域幾乎覆蓋了所有且獨(dú)立的細(xì)菌位置。圖6顯示了二次分割的過(guò)程和分割后的細(xì)菌位置定位，圖7顯示了黏連嚴(yán)重的細(xì)菌經(jīng)過(guò)漸進(jìn)分割后得到的結(jié)果。

圖6 漸進(jìn)分割過(guò)程Fig.6 The progressive segmentation

圖7 黏連細(xì)菌分割結(jié)果Fig.7 Segmentation of adhesive bacteria

2 分類(lèi)和計(jì)數(shù)

為了比較結(jié)果的準(zhǔn)確性，我們選擇了兩種深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類(lèi)和計(jì)數(shù)。

2.1 深度卷積神經(jīng)網(wǎng)絡(luò)

VGGNet模型［16］：VGGNet使用3×3卷積核和3×3池化核，通過(guò)不斷深化網(wǎng)絡(luò)結(jié)構(gòu)來(lái)提高性能。堆疊式小卷積核優(yōu)于大卷積核，因?yàn)槎喾蔷€性層可以增加網(wǎng)絡(luò)深度以保證更復(fù)雜模式的學(xué)習(xí)，而且代價(jià)相對(duì)較?。▍?shù)較少）。

ResNet 模型［17］：當(dāng)神經(jīng)網(wǎng)絡(luò)層數(shù)增多時(shí)，由于存在梯度消失問(wèn)題，訓(xùn)練困難。ResNet 模型主要使用3×3的卷積核。模型的核心內(nèi)容是殘差，如圖8所示，其學(xué)習(xí)特性表示為H(x)。當(dāng)輸入為x時(shí)，殘差是F(x)=H(x)-x，那么原始學(xué)習(xí)特性應(yīng)該為:H(x) =F(x) +x，殘差的學(xué)習(xí)結(jié)構(gòu)稱為跳躍連接，可以從網(wǎng)絡(luò)的一層激活，然后快速反饋到另一層甚至更深層的神經(jīng)網(wǎng)絡(luò)。這也使卷積層能夠根據(jù)輸入特征學(xué)習(xí)新的特征，從而獲得更好的性能。

2.2 數(shù)據(jù)源

圖8 ResNet 模型Fig.8 The ResNet model

實(shí)驗(yàn)中的顯微圖像為濱州醫(yī)學(xué)院公共衛(wèi)生與管理學(xué)院實(shí)驗(yàn)室采集的革蘭氏染色菌顯微圖像，并對(duì)用以U-Net 模型、ResNet50 模型和VGG19 模型所使用分割后的訓(xùn)練子圖進(jìn)行標(biāo)注。標(biāo)簽將革蘭氏染色細(xì)菌分為陽(yáng)性桿菌、陽(yáng)性球菌、陰性桿菌和陰性球菌4類(lèi)。最后，總共有600個(gè)細(xì)菌圖像被標(biāo)記為訓(xùn)練集，100 個(gè)細(xì)菌圖像被標(biāo)記為測(cè)試集。然后，通過(guò)水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、水平垂直翻轉(zhuǎn)和轉(zhuǎn)置等操作，將訓(xùn)練集擴(kuò)大到3 000個(gè)，測(cè)試集擴(kuò)大到500個(gè)。

2.3 訓(xùn)練

分別使用ResNet50 模型和VGG19 模型進(jìn)行訓(xùn)練。為了防止過(guò)擬合，當(dāng)訓(xùn)練集的準(zhǔn)確度小于95%時(shí)，提前停止對(duì)測(cè)試集參數(shù)進(jìn)行保存。經(jīng)過(guò)100次迭代，最終選取在訓(xùn)練集和測(cè)試集均有最高準(zhǔn)確率時(shí)的模型參數(shù)，VGG19 模型在測(cè)試集中的準(zhǔn)確率達(dá)到88%，ResNet50 模型的準(zhǔn)確率達(dá)到90%，兩者在訓(xùn)練集中的準(zhǔn)確率均達(dá)到95%。

2.4 識(shí)別和計(jì)數(shù)

由于細(xì)菌特征較少，我們將漸進(jìn)分割后得到的細(xì)菌放在白色背景的矩陣中，以此減少噪聲干擾，將細(xì)菌輸入VGGNet模型和ResNet模型進(jìn)行識(shí)別和計(jì)數(shù)。

3 實(shí)驗(yàn)結(jié)果

我們對(duì)多張革蘭氏染色細(xì)菌顯微圖像進(jìn)行實(shí)驗(yàn)，并分別記錄兩種深度學(xué)習(xí)模型識(shí)別計(jì)數(shù)的結(jié)果。圖9顯示了VGGNet模型和ResNet模型的結(jié)果。表1和表2分別列出了陽(yáng)性及陰性菌和桿菌及球菌的混淆矩陣［18］?；煜仃噷?duì)應(yīng)行代表實(shí)際情況，列代表深度學(xué)習(xí)判定的情況。實(shí)驗(yàn)結(jié)果表明，VGGNet 模型和ResNet模型在陰性細(xì)菌和陽(yáng)性細(xì)菌的分類(lèi)中均有較好的表現(xiàn)。然而，在桿菌和球菌的分類(lèi)上，ResNet模型優(yōu)于VGGNet模型。另外，ResNet比VGGNet平均少花9%的時(shí)間，在圖9所展示的3 組圖像結(jié)果中ResNet 和VGGNet 的計(jì)算時(shí)間分別為178.1、111.4、95.9 s和185.4、137.4、100.2 s。

圖9 識(shí)別分類(lèi)結(jié)果（顯微鏡放大倍數(shù)為1 000倍）Fig.9 Classification results(The microscope magnifies 1 000 times)

表1 陽(yáng)性菌及陰性菌混淆矩陣Tab.1 Positive-negative Confusion matrix

4 結(jié)語(yǔ)

使用深度學(xué)習(xí)算法進(jìn)行細(xì)菌分類(lèi)和計(jì)數(shù)，可以節(jié)省時(shí)間和人力，本文中的圖片經(jīng)比較，人眼計(jì)數(shù)與ResNet 計(jì)數(shù)結(jié)果誤差率不超過(guò)5%。與此同時(shí)，單幅圖片人工計(jì)數(shù)需要數(shù)個(gè)小時(shí)，而使用ResNet 模型計(jì)數(shù)僅需要幾分鐘。一些分辨率低的黏連細(xì)菌目前仍舊難以分割，同樣也難以進(jìn)行人工識(shí)別。但隨著深度學(xué)習(xí)模型的能力越來(lái)越強(qiáng)，計(jì)算機(jī)視覺(jué)將實(shí)現(xiàn)低分辨率重建和更精確的分割。因此，細(xì)菌計(jì)數(shù)在未來(lái)將更加依賴于先進(jìn)的人工智能技術(shù)。

表2 桿菌及球菌混淆矩陣Tab.2 Bacilli and cocci Confusion matrix