革蘭氏染色細(xì)菌顯微圖像深度學(xué)習(xí)分類與計數(shù)

董宇波，王蕊，趙慧娟，張書景

前言

細(xì)菌的分類和計數(shù)在生物工程、環(huán)境檢測和醫(yī)藥學(xué)等領(lǐng)域都有十分重要的意義。傳統(tǒng)的細(xì)菌計數(shù)方法有平板計數(shù)法［1-3］，這是一種間接培養(yǎng)計數(shù)法，由于單個細(xì)菌難以觀測，因此將分散的細(xì)菌在培養(yǎng)基上培養(yǎng)形成菌落，將菌落個數(shù)作為計數(shù)標(biāo)準(zhǔn)，這種方法需要花時間培養(yǎng)細(xì)菌，結(jié)果不穩(wěn)定。流式細(xì)胞術(shù)是一種通過儀器分析細(xì)胞而完成計數(shù)的方法［4-6］，被熒光標(biāo)記過的細(xì)菌以一定的速度流過流式細(xì)胞儀測定區(qū)域，熒光反應(yīng)的信號強(qiáng)度能夠檢測細(xì)菌的組成和含量；然而流式細(xì)胞儀價格昂貴，對單個細(xì)菌的檢測準(zhǔn)確，對混合細(xì)菌分類效果不好。最大可能數(shù)（MPN）計數(shù)方法通過概率統(tǒng)計來估計細(xì)菌濃度［7-8］。顯微鏡計數(shù)是一種常用的方法，顯微鏡可以放大細(xì)菌或染色細(xì)菌，以便于人們觀察，對于單個視野中細(xì)菌分布不均勻且數(shù)量眾多的顯微鏡計數(shù)工作量巨大，過程繁瑣，并且極易出錯［9-11］。

針對以上問題，本研究提出一種基于深度學(xué)習(xí)的顯微圖像細(xì)菌計數(shù)方法，該方法能夠?qū)嶋H任務(wù)圖像中的革蘭氏陽性桿菌、革蘭氏陰性桿菌、革蘭氏陽性球菌和革蘭氏陰性球菌進(jìn)行分類識別和計數(shù)，圖1顯示了4 種不同類型細(xì)菌的顯微圖像。該算法過程流程模擬人眼觀察，對4種細(xì)菌的分類計數(shù)過程為：“分割”→“分類器訓(xùn)練”→“識別”→“分類計數(shù)”。首先采用U-Net“漸進(jìn)式分割”方法去除背景，分割出細(xì)菌部分；然后將分割后的細(xì)菌部分分別投入經(jīng)過訓(xùn)練后的ResNet50 模型和VGG19 模型進(jìn)行識別和計數(shù)。

圖1 4種革蘭氏染色菌形態(tài)差異Fig.1 Morphological differences among four kinds of Gram-stained bacteria

1 漸進(jìn)分割

圖像分割是將圖像分成具有獨特特征的特定區(qū)域，也是后續(xù)圖像分析的預(yù)處理和關(guān)鍵準(zhǔn)備［12］。由于顯微圖像中的細(xì)菌尺寸小且存在黏連和邊緣模糊的情況，以往的分割方法難以很好地將背景剔除。U-Net［13-14］在醫(yī)學(xué)圖像分割方面有很好的表現(xiàn)，在2015年ISBI 細(xì)胞追蹤比賽中取得了優(yōu)秀的表現(xiàn)。U-Net網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，它是一個編碼器-解碼器結(jié)構(gòu)，左半邊為編碼器，與傳統(tǒng)的分類網(wǎng)絡(luò)結(jié)構(gòu)類似，是“下采樣階段”，右半邊為解碼器，是“上采樣階段”，中間的灰色箭頭為跳躍連接，將淺層的特征與深層的特征拼接，淺層通?？梢宰トD像一些簡單的特征，比如邊界、顏色，深層的特征是高維特征，經(jīng)過訓(xùn)練后記憶在網(wǎng)絡(luò)參數(shù)中。

圖2 U-Net模型結(jié)構(gòu)Fig.2 The U-Net model structure

1.1 訓(xùn)練U-Net

細(xì)菌顯微圖像和醫(yī)學(xué)圖像有很多相同的特點，例如圖像顏色種類少、背景單調(diào)、噪聲高、分辨率低；不同的是細(xì)菌顯微圖像中微小細(xì)菌的數(shù)量十分巨大。因此，首先將一幅細(xì)菌顯微圖像分割成若干個30×30 像素的子塊，然后選取部分子塊作標(biāo)記，對U-Net 模型進(jìn)行訓(xùn)練。每個子塊進(jìn)行分割之后，將它們拼接起來作全局分割掩膜。掩膜為一個二值圖像，白色為細(xì)菌部分，黑色為背景部分，將掩膜與原圖相乘即可得到分割后的細(xì)菌。圖3顯示了U-Net分割后的掩膜，圖4顯示了子塊合成掩膜的過程。

圖3 U-Net子塊分割掩膜Fig.3 The mask of sub-blocks segmented by U-Net

圖4 合成全局分割掩膜過程Fig.4 The synthesis process of the whole mask segmented by U-Net

本文中使用的U-Net 網(wǎng)絡(luò)模型包括19 次卷積運算和4 次轉(zhuǎn)置卷積運算，4 次上采樣和4 次下采樣，最終輸出由Simoid 函數(shù)激活。先將圖像分解成30×30像素的子塊，從中選擇50 個作標(biāo)簽，用于U-Net 模型的訓(xùn)練。該模型經(jīng)過500次迭代，取得了良好的分割效果。分割掩膜很難通過一次性閾值得到，較高的閾值會導(dǎo)致部分細(xì)菌的丟失，而較低的閾值則會導(dǎo)致細(xì)菌黏連不能完全分割。因此，本研究采用漸進(jìn)分割，通過至少兩次調(diào)整閾值，可以完成幾乎所有細(xì)菌輪廓分割。

1.2 漸進(jìn)分割

由U-Net模型生成的掩膜的像素分布如圖5所示。通過觀察U-Net模型生成的掩膜的像素分布，選擇中點處約0.500 5作為首次分割閾值，去除大部分背景。再選首次閾值和最大值之間中點處約0.500 75作為二次分割閾值。

圖5 掩膜像素灰度值及分布情況Fig.5 The pixel value and grey value of mask generated by U-Net and their distribution

1.2.1 首次分割在得到圖3所示的首次全局分割掩膜后，我們通過分水嶺算法找到連通域［15］。這些連通域中有的包含多個細(xì)菌，通過簡單比較連通域與最大單個細(xì)菌面積，挑選出包含多個細(xì)菌的連通域進(jìn)行二次分割。

1.2.2 二次分割選擇更高的閾值為U-Net 輸出二值掩膜，稱之為“主要部分”。在得到更加細(xì)致的分割掩膜的同時，也丟失了部分包含細(xì)菌的部分。為了找回其余部分的細(xì)菌，我們將首次分割結(jié)果進(jìn)行開運算，將得到的結(jié)果和首次分割結(jié)果相減得到的結(jié)果稱之為“殘差部分”，經(jīng)過開運算后得到的“殘差部分”可以減少兩部分相減造成的邊緣輪廓和毛刺。然后再次分別搜索“主要部分”和“殘差部分”中的連通域，這兩部分的連通域幾乎覆蓋了所有且獨立的細(xì)菌位置。圖6顯示了二次分割的過程和分割后的細(xì)菌位置定位，圖7顯示了黏連嚴(yán)重的細(xì)菌經(jīng)過漸進(jìn)分割后得到的結(jié)果。

圖6 漸進(jìn)分割過程Fig.6 The progressive segmentation

圖7 黏連細(xì)菌分割結(jié)果Fig.7 Segmentation of adhesive bacteria

2 分類和計數(shù)

為了比較結(jié)果的準(zhǔn)確性，我們選擇了兩種深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類和計數(shù)。

2.1 深度卷積神經(jīng)網(wǎng)絡(luò)

VGGNet模型［16］：VGGNet使用3×3卷積核和3×3池化核，通過不斷深化網(wǎng)絡(luò)結(jié)構(gòu)來提高性能。堆疊式小卷積核優(yōu)于大卷積核，因為多非線性層可以增加網(wǎng)絡(luò)深度以保證更復(fù)雜模式的學(xué)習(xí)，而且代價相對較?。▍?shù)較少）。

ResNet 模型［17］：當(dāng)神經(jīng)網(wǎng)絡(luò)層數(shù)增多時，由于存在梯度消失問題，訓(xùn)練困難。ResNet 模型主要使用3×3的卷積核。模型的核心內(nèi)容是殘差，如圖8所示，其學(xué)習(xí)特性表示為H(x)。當(dāng)輸入為x時，殘差是F(x)=H(x)-x，那么原始學(xué)習(xí)特性應(yīng)該為:H(x) =F(x) +x，殘差的學(xué)習(xí)結(jié)構(gòu)稱為跳躍連接，可以從網(wǎng)絡(luò)的一層激活，然后快速反饋到另一層甚至更深層的神經(jīng)網(wǎng)絡(luò)。這也使卷積層能夠根據(jù)輸入特征學(xué)習(xí)新的特征，從而獲得更好的性能。

2.2 數(shù)據(jù)源

圖8 ResNet 模型Fig.8 The ResNet model

實驗中的顯微圖像為濱州醫(yī)學(xué)院公共衛(wèi)生與管理學(xué)院實驗室采集的革蘭氏染色菌顯微圖像，并對用以U-Net 模型、ResNet50 模型和VGG19 模型所使用分割后的訓(xùn)練子圖進(jìn)行標(biāo)注。標(biāo)簽將革蘭氏染色細(xì)菌分為陽性桿菌、陽性球菌、陰性桿菌和陰性球菌4類。最后，總共有600個細(xì)菌圖像被標(biāo)記為訓(xùn)練集，100 個細(xì)菌圖像被標(biāo)記為測試集。然后，通過水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、水平垂直翻轉(zhuǎn)和轉(zhuǎn)置等操作，將訓(xùn)練集擴(kuò)大到3 000個，測試集擴(kuò)大到500個。

2.3 訓(xùn)練

分別使用ResNet50 模型和VGG19 模型進(jìn)行訓(xùn)練。為了防止過擬合，當(dāng)訓(xùn)練集的準(zhǔn)確度小于95%時，提前停止對測試集參數(shù)進(jìn)行保存。經(jīng)過100次迭代，最終選取在訓(xùn)練集和測試集均有最高準(zhǔn)確率時的模型參數(shù)，VGG19 模型在測試集中的準(zhǔn)確率達(dá)到88%，ResNet50 模型的準(zhǔn)確率達(dá)到90%，兩者在訓(xùn)練集中的準(zhǔn)確率均達(dá)到95%。

2.4 識別和計數(shù)

由于細(xì)菌特征較少，我們將漸進(jìn)分割后得到的細(xì)菌放在白色背景的矩陣中，以此減少噪聲干擾，將細(xì)菌輸入VGGNet模型和ResNet模型進(jìn)行識別和計數(shù)。

3 實驗結(jié)果

我們對多張革蘭氏染色細(xì)菌顯微圖像進(jìn)行實驗，并分別記錄兩種深度學(xué)習(xí)模型識別計數(shù)的結(jié)果。圖9顯示了VGGNet模型和ResNet模型的結(jié)果。表1和表2分別列出了陽性及陰性菌和桿菌及球菌的混淆矩陣［18］。混淆矩陣對應(yīng)行代表實際情況，列代表深度學(xué)習(xí)判定的情況。實驗結(jié)果表明，VGGNet 模型和ResNet模型在陰性細(xì)菌和陽性細(xì)菌的分類中均有較好的表現(xiàn)。然而，在桿菌和球菌的分類上，ResNet模型優(yōu)于VGGNet模型。另外，ResNet比VGGNet平均少花9%的時間，在圖9所展示的3 組圖像結(jié)果中ResNet 和VGGNet 的計算時間分別為178.1、111.4、95.9 s和185.4、137.4、100.2 s。

圖9 識別分類結(jié)果（顯微鏡放大倍數(shù)為1 000倍）Fig.9 Classification results(The microscope magnifies 1 000 times)

表1 陽性菌及陰性菌混淆矩陣Tab.1 Positive-negative Confusion matrix

4 結(jié)語

使用深度學(xué)習(xí)算法進(jìn)行細(xì)菌分類和計數(shù)，可以節(jié)省時間和人力，本文中的圖片經(jīng)比較，人眼計數(shù)與ResNet 計數(shù)結(jié)果誤差率不超過5%。與此同時，單幅圖片人工計數(shù)需要數(shù)個小時，而使用ResNet 模型計數(shù)僅需要幾分鐘。一些分辨率低的黏連細(xì)菌目前仍舊難以分割，同樣也難以進(jìn)行人工識別。但隨著深度學(xué)習(xí)模型的能力越來越強(qiáng)，計算機(jī)視覺將實現(xiàn)低分辨率重建和更精確的分割。因此，細(xì)菌計數(shù)在未來將更加依賴于先進(jìn)的人工智能技術(shù)。

表2 桿菌及球菌混淆矩陣Tab.2 Bacilli and cocci Confusion matrix