微生物數(shù)字全息顯微圖像的嵌入式分類系統(tǒng)

陳 朋，戴陳統(tǒng)，宮 平，王海霞

1(浙江工業(yè)大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，杭州 310023) 2(浙江工業(yè)大學(xué) 信息工程學(xué)院，杭州 310023)

1 引 言

微生物是指自然界中大量、多樣的微小生物，其體型微小，結(jié)構(gòu)較為簡單，人類肉眼無法直接觀察到，需要使用顯微鏡等方式才能獲得其形態(tài)[1].微生物對自然環(huán)境的生態(tài)平衡具有重要作用，而水中微生物的檢測，能夠有效地指示水質(zhì)狀況[2]，對水質(zhì)檢測以及污水處理等領(lǐng)域的研究具有重要意義.

傳統(tǒng)方法下微生物的觀察與分類鑒定[3]，如流式細(xì)胞術(shù)(Flow cytometry，F(xiàn)CM)、ATP檢測法、變性梯度凝膠電泳技術(shù)等，需要繁瑣的實驗步驟，依賴昂貴的儀器和專業(yè)人員，檢測難度大，耗時長，條件受限制.因此傳統(tǒng)微生物分類識別技術(shù)還存在很大的改進(jìn)空間.

近年來，國內(nèi)外也出現(xiàn)了很多替代人工的微生物檢測方法，如Huffman和Serebrennikova等人[4，5]利用細(xì)菌的多波長透射光譜創(chuàng)建識別模型，結(jié)合多元統(tǒng)計技術(shù)對特征光譜進(jìn)行識別，靈敏度達(dá)到87.7%～94.6%；馬麗麗等人[6]優(yōu)化了流式細(xì)胞術(shù)用于淡水環(huán)境中微生物的檢測；李喬等人[7]采用支持向量機(jī)結(jié)合頂帽變換和OTSU等算法對拖拽式水下顯微鏡圖像進(jìn)行檢測，做到實時智能識別，準(zhǔn)確率達(dá)93.4%.

基于數(shù)字全息顯微方法的微生物檢測，能夠記錄微生物的幾何形狀、三維信息，獲取相比光學(xué)圖像更多的目標(biāo)特征，使得檢測工作更加容易，成為研究的關(guān)注點[8].例如Bianchi等人[9]利用3束不同角度相干光源對同一目標(biāo)作全息成像，獲得運動細(xì)菌和真核細(xì)胞的大范圍快速動態(tài)過程數(shù)據(jù)；Shaked等人[10]使用全息顯微鏡觀測單個生物細(xì)胞懸浮液，通過旋轉(zhuǎn)顯微鏡獲得細(xì)胞3D折射率分布，為無標(biāo)記細(xì)胞分選和診斷做出貢獻(xiàn)；Robisch等人[11]利用近場X射線成像(Near-field x-ray imaging)，同時重建對象和探頭，通過波前擴(kuò)展重建納米級全息圖像.

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network，CNN)是人工神經(jīng)網(wǎng)絡(luò)的一種，被廣泛地應(yīng)用于圖像識別和語音處理，但其在微生物數(shù)字全息圖像上的應(yīng)用仍處于探索階段[12].卷積神經(jīng)網(wǎng)絡(luò)其本質(zhì)是一種輸入到輸出的映射關(guān)系，跳過了顯示的數(shù)學(xué)表達(dá)，通過已知模式對卷積網(wǎng)絡(luò)加以訓(xùn)練，網(wǎng)絡(luò)即可獲得輸入輸出之間的映射能力[13].

而將數(shù)字全息顯微方法與CNN相結(jié)合，能碰撞出更具創(chuàng)新的微觀物體檢測技術(shù)，例如Trujillo等人[14]利用CNN對全息圖中紅細(xì)胞的檢測和計數(shù)，無需重建計算，并對比了傳統(tǒng)的對重建后數(shù)字全息圖像中的紅細(xì)胞視覺檢測計數(shù)方法，新方法在密集樣本中獲得了100%的準(zhǔn)確性.而Kim等人[15]利用深度遷移學(xué)習(xí)(Deep transfer learning，DTL)，對在線無透鏡數(shù)字全息顯微的細(xì)胞圖像進(jìn)行分類.實驗證明不同細(xì)胞球體能夠產(chǎn)生不同的全息圖像，盡管人眼無法察覺，但機(jī)器視覺分類器能夠識別，因此無需重建全息圖即以從原始圖中提取特征信息.以原始全息圖作為輸入，經(jīng)過訓(xùn)練的網(wǎng)絡(luò)能夠?qū)蝹€細(xì)胞進(jìn)行分類，表現(xiàn)出良好的性能，并節(jié)約了大量計算資源.

近年來，儀器產(chǎn)品小型化、便攜化成為趨勢，嵌入式系統(tǒng)逐漸替代大型主機(jī)，被廣泛地應(yīng)用在各個領(lǐng)域[16].數(shù)字全息顯微成像的嵌入式化也是其前進(jìn)的目標(biāo).將基于PC平臺的卷積神經(jīng)網(wǎng)絡(luò)算法移植到嵌入式平臺，并具有較高的運行效率與準(zhǔn)確率，能夠促進(jìn)微生物識別技術(shù)的普及.因此，本文提出一種嵌入式分類系統(tǒng)，利用Tengine架構(gòu)配合多種嵌入式運算庫部署卷積神經(jīng)網(wǎng)絡(luò)算法，結(jié)合全息成像技術(shù)，實現(xiàn)嵌入式的微生物數(shù)字全息顯微圖像分類.本文的主要工作如下：

1)針對傳統(tǒng)微生物識別分類需要人工干預(yù)的缺點，本文將卷積神經(jīng)網(wǎng)絡(luò)算法應(yīng)用到微生物全息顯微圖像進(jìn)行自動分類.

2)本文設(shè)計嵌入式數(shù)字全息顯微系統(tǒng)，首次采用多種嵌入式運算庫配合Tengine架構(gòu)在嵌入式平臺部署神經(jīng)網(wǎng)絡(luò)分類算法，實現(xiàn)全息圖像快速分類.

3)針對嵌入式資源有限的特點，本文無需對數(shù)字全息圖像重構(gòu)計算，在嵌入式系統(tǒng)中直接采用原始數(shù)字全息圖像進(jìn)行分類，節(jié)約計算資源.

2 嵌入式數(shù)字全息顯微系統(tǒng)

本文設(shè)計的數(shù)字全息顯微系統(tǒng)由硬件和軟件兩部分組成，其中硬件部分主要完成全息圖像的采集、計算、結(jié)果顯示等工作；軟件部分依托于硬件，利用卷積神經(jīng)網(wǎng)絡(luò)算法，對全息圖像進(jìn)行分類處理，以實現(xiàn)全息圖的快速自動分類.

2.1 硬件系統(tǒng)結(jié)構(gòu)

嵌入式全息顯微圖像分類系統(tǒng)硬件如圖1所示，主要由3部分組成，包括：圖像采集、信息處理、顯示輸出.

數(shù)字全息光路包括同軸與離軸兩種，相比于離軸全息，同軸全息因為具有光路更加簡單，更好地微型化等優(yōu)點，更加適用于數(shù)字全息顯微技術(shù)的便攜化應(yīng)用[17].因此，本系統(tǒng)選擇采用同軸全息光路，如圖1左側(cè)所示，采用650nm部分相干紅色LED作為光源，利用200μm微孔增加其相干性.為了獲取更加清晰的圖像，本系統(tǒng)采用3.75μm像元尺寸的黑白CCD傳感器(SONY ICX445)作為圖像傳感器.

圖1 硬件系統(tǒng)結(jié)構(gòu)Fig.1 Hardware system structure

在信息處理部分采用國產(chǎn)EAIDK嵌入式開發(fā)板，以瑞芯微電子公司的RK3399處理器作為主處理器，該處理器由4個A53核心、2個A72核心及Mali-T860圖像處理核心組成，最高主頻為1.8GHz.RK3399核心配合WiFi模塊、藍(lán)牙模塊、板載相機(jī)、IO接口等組成一塊高性能可擴(kuò)展的系統(tǒng)主板.顯示交互部分采用5.5寸液晶屏和觸摸屏配合，通過LCD總線和I2C總線實現(xiàn)與RK3399的數(shù)據(jù)通信，從而完成整個采集、處理和顯示過程.

2.2 軟件架構(gòu)

本系統(tǒng)軟件架構(gòu)由兩部分組成：1)PC平臺卷積神經(jīng)網(wǎng)絡(luò)算法訓(xùn)練；2)嵌入式平臺算法部署運算.

圖2 軟件架構(gòu)Fig.2 Software architecture

軟件架構(gòu)如圖2所示，左側(cè)為PC平臺卷積神經(jīng)網(wǎng)絡(luò)算法訓(xùn)練，本文在Caffe框架下，對GoogLeNet等網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，獲得分類算法.右側(cè)RK3399嵌入式開發(fā)板具有4GB運行內(nèi)存和16GB閃存，安裝Linux系統(tǒng)，部署Tengine深度學(xué)習(xí)框架，通過多種高性能計算庫充分利用RK3399核心性能，解構(gòu)分類算法，對攝像頭獲取的全息圖像進(jìn)行分類計算，將結(jié)果通過顯示屏輸出.

3 數(shù)字全息圖像的分類算法設(shè)計

3.1 全息圖像數(shù)據(jù)集的構(gòu)建

本系統(tǒng)需使用微生物全息顯微圖像作為機(jī)器學(xué)習(xí)算法基準(zhǔn)，系統(tǒng)采集生物樣片數(shù)據(jù)，如草履蟲、竹枝藻、渦蟲、舟形藻、雜藻等，其中部分樣品尺寸過大，而草履蟲、漿果毛、雜藻、竹枝藻這4類樣本尺寸與數(shù)量較為合適，共80張圖像可供使用.

同時，本節(jié)采用微生物光學(xué)圖像數(shù)據(jù)集，為適應(yīng)本系統(tǒng)對全息圖像分類的特性，將其全息化計算，生成全息圖像后作為訓(xùn)練基準(zhǔn).圖像數(shù)據(jù)集采用Whoi微生物光學(xué)顯微圖像[18](如圖3所示).

圖3 Whoi微生物數(shù)據(jù)集Fig.3 Whoi microbial dataset

該數(shù)據(jù)集共包含6600幅圖像，分布于22個類別，為節(jié)約實驗資源，本節(jié)隨機(jī)選取10個類別，每個類別300張原始圖像，分割為訓(xùn)練集240張，測試集60張.

為提高分類的準(zhǔn)確性，本節(jié)將數(shù)據(jù)集進(jìn)行旋轉(zhuǎn)擴(kuò)充，擴(kuò)充后數(shù)據(jù)集中每個類別為960張訓(xùn)練圖像，240張測試圖像，10個類別總計12000張.此外，圖片分辨率統(tǒng)一轉(zhuǎn)換為128×128.

全息技術(shù)來源于光的波動特性，使用相干光作為光源，照射被測物體，其中透過被測物體的光形成物光波，未透過的光作為參考波，圖像傳感器通過采集物光波與參考波干涉后的圖像，以記錄物體振幅及相位信息，得到全息圖[19]，其中，物光波的復(fù)振幅表示為：

O(r,t)=A0(r)ei(φ0(r)-ωt)

(1)

式中，A0(r)、φ0(r)代表物光波與空間位置r相應(yīng)的振幅與相位，ωt代表波面的瞬時相位.

而參考波則表示為：

R(r,t)=AR(r)ei(φ0(r)-ωt)

(2)

當(dāng)物光波和參考波相干疊加時，將產(chǎn)生合振動：

U(r,t)=A(r,t)+O(r,t)=Uo(r)ei(φ0(r)-ωt)+UA(r)ei(φ0(r)-ωt)

(3)

其光學(xué)強(qiáng)度信息分部為：

I(r)==|O|2+|R|2+R*O+O*R=|O|2+|R|2+2|O||R|cos[φR(r)+φO(r)]

(4)

式中，< >表示對時間求平均，*表示復(fù)共軛.由此推導(dǎo)得出：在強(qiáng)度分布信息中與時間相關(guān)的因素能夠消去，保留空間相關(guān)項.其中|O|2代表物光波強(qiáng)度分布信息，|R|2代表參考波強(qiáng)度分布信息，第3項則代表兩個波之間的干涉效應(yīng)，由余弦因子調(diào)制，其調(diào)制深度為：

(5)

干涉條紋的形狀由相位差φR(r)-φo(r)決定，因此全息圖像能夠記錄物光波和參考波的振幅和相位信息，并以此推導(dǎo)出被測物體的三位立體信息.

根據(jù)以上全息成像原理，結(jié)合空間傳遞函數(shù)(SFTP)與角譜算法(ASM)，該方法可以模擬出光的傳播路徑，從光學(xué)原圖像出發(fā)計算它在CCD平面上產(chǎn)生的干涉條紋，最終生成相應(yīng)的全息圖像.空間傳遞函數(shù)(SFTP)公式如下：

(6)

其中Ψp為復(fù)振幅，Ψp0為復(fù)振幅在z=0平面上的場分布.而衍射場ψp(x,y;z)是由入射場ψp0(x,y)傅立葉變換后，乘以傳遞函數(shù)H(kx,ky;z)，再經(jīng)傅立葉反變換得到，即為角譜算法(ASM)，其基本公式：

ψp(x,y;z)=F-1{F{ψp0(x,y)}×H(kx,ky;z)}

(7)

本節(jié)在Matlab上部署ASM算法，將CCD像素間距設(shè)為3.75um，傳播距離設(shè)為1200um，光源 波長設(shè)為650nm.將Whoi數(shù)據(jù)集光學(xué)顯微圖像作為輸入源，計算獲得全息圖像.

3.2 卷積神經(jīng)網(wǎng)絡(luò)算法及優(yōu)化

卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)多種多樣，經(jīng)典模型例如LeNet、AlexNet等，以及由此發(fā)展而來的VGGNet、GoogLeNet.其中LeNet是首個效果比較好的CNN模型，結(jié)構(gòu)簡單明了.AlexNet與LeNet相似，通過增加網(wǎng)絡(luò)層數(shù)到8層，由若干卷積層、池化層、歸一化層和全連接層組成，首次在ImageNet上取得不錯的分類效果.VGGNet相對AlexNet做了部分改進(jìn)，增加網(wǎng)絡(luò)層數(shù)為16層(VGG16)，并減小了卷積核大小，使用多個小卷積核替代大卷積核，同時保持感受野不變，使得網(wǎng)絡(luò)對特征的學(xué)習(xí)能力更強(qiáng).

GoogLeNet則進(jìn)行了更大膽的結(jié)構(gòu)改變[20]，使其在擁有22層網(wǎng)絡(luò)深度的同時，保持了較小的參數(shù)規(guī)模.其中，AlexNet參數(shù)個數(shù)為GoogLeNet的12倍，VGGNet則為36倍，因此在計算機(jī)資源有限時，GoogLeNet是更好的選擇.

GoogLeNet采用了模塊化結(jié)構(gòu)，利用多個連續(xù)的Inception子網(wǎng)絡(luò)(Inception子網(wǎng)絡(luò)結(jié)構(gòu)如圖4下半部分)，構(gòu)造類“基礎(chǔ)神經(jīng)元“結(jié)構(gòu)，來搭建一個稀疏性、高計算性能的網(wǎng)絡(luò)結(jié)構(gòu)[21].

Inception架構(gòu)的主要思想是利用密集成分來近似局部稀疏解，采用不同大小的卷積核來表征不同的感受野，以關(guān)注不同尺度的特征，最后對特征進(jìn)行拼接融合.Inception架構(gòu)的意義在于無需人為定義過濾器類型，由網(wǎng)絡(luò)自行決定這些參數(shù).

本文將經(jīng)典GoogLeNet網(wǎng)絡(luò)模型的輸入數(shù)據(jù)尺寸進(jìn)行了裁剪和優(yōu)化，以適應(yīng)嵌入式平臺資源有限的特點.尺寸由224×224減少為128×128，將3通道RGB數(shù)據(jù)改為1通道灰度數(shù)據(jù)，在保證足夠信息量的前提下將數(shù)據(jù)量減少90%.相應(yīng)的，需要將池化層5(Pool5)尺寸由7×7修改為4×4以對應(yīng)裁剪后的數(shù)據(jù)量.修改后的GoogLeNet網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，為作區(qū)分，本文將之稱為GoogLeNet-Lite.

3.3 嵌入式平臺Tengine架構(gòu)部署

圖4 GoogLeNet-Lite網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 GoogLeNet-Lite network structure

Tengine架構(gòu)是由開放智能機(jī)器(上海)有限公司(OPEN AI LAB)開發(fā)，針對嵌入式終端平臺設(shè)計的前端推理計算框架，采用模塊化設(shè)計.Tengine架構(gòu)如圖5所示，其主要特點是包含多種高性能優(yōu)化庫，以提高嵌入式SoC神經(jīng)網(wǎng)絡(luò)算法運算效率.

圖5 Tengine架構(gòu)Fig.5 Tengine architecture

本系統(tǒng)運行環(huán)境為國產(chǎn)RK3399處理器，包含4個A53核心，2個A72核心(CPU)和Mali-T860圖像處理核心(GPU)，通過加載ACL(Arm Compute Library)驅(qū)動程序，驅(qū)動GPU進(jìn)行圖形運算，使得在ACL環(huán)境下構(gòu)建的Tengine框架能夠同時調(diào)用CPU與GPU進(jìn)行運算，性能更加強(qiáng)勁.

同樣的，本文在嵌入式平臺上安裝了Protobuf、Boost、Google-glog等組件以支持caffe模型部署，安裝Opencv庫用以調(diào)用圖像處理函數(shù)，添加對OpenBLAS基礎(chǔ)線性代數(shù)庫的支持使得運算過程更加高效.

Tengine架構(gòu)中還集成了HCL(Heterogeneous Computing Library)異構(gòu)計算庫，是一種由OPEN AI LAB開發(fā)，專用于嵌入式平臺神經(jīng)網(wǎng)絡(luò)的計算庫，提高了算法運行效率.

4 算法訓(xùn)練部署與結(jié)果分析

4.1 神經(jīng)網(wǎng)絡(luò)算法訓(xùn)練

本系統(tǒng)中神經(jīng)網(wǎng)絡(luò)算法模塊由PC機(jī)訓(xùn)練生成，PC硬件平臺處理器為Intel i5 6500，顯卡為NVIDIA GTX1050Ti，采用Ubuntu18.04操作系統(tǒng)，部署Caffe深度學(xué)習(xí)框架，通過NVIDIA CUDA運算平臺調(diào)用顯卡進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練，在GoogLeNet模型下對12000張圖片進(jìn)行50余次循環(huán)運算耗時2小時.

為保證分類算法的準(zhǔn)確性，本文采用GoogLeNet、CaffeNet、AlexNet和VGG16Net 4個經(jīng)典神經(jīng)網(wǎng)絡(luò)模型，在全息化的Whoi數(shù)據(jù)集上進(jìn)行分類訓(xùn)練.訓(xùn)練完成后對各個網(wǎng)絡(luò)模型的分類準(zhǔn)確性進(jìn)行對比.各個網(wǎng)絡(luò)模型分類的最終結(jié)果如表1所示.通過表1可知，GoogLeNet網(wǎng)絡(luò)模型能夠在全息化Whoi數(shù)據(jù)集中獲得最高分類準(zhǔn)確率，達(dá)95.06%，達(dá)到了本系統(tǒng)對分類算法準(zhǔn)確率的要求.

表1 各網(wǎng)絡(luò)模型訓(xùn)練最優(yōu)準(zhǔn)確率(Whoi數(shù)據(jù)集)Table 1 Optimal accuracy of each network training(Whoi)

4.2 算法優(yōu)化分析與討論

為對比測試經(jīng)典GoogLeNet網(wǎng)絡(luò)與本文優(yōu)化的GoogLeNet-Lite網(wǎng)絡(luò)，我們在PC環(huán)境Tengine架構(gòu)下分別對兩個網(wǎng)絡(luò)進(jìn)行性能測試，結(jié)果如表2所示.由表2中各項數(shù)據(jù)對比得知，相對于經(jīng)典GoogLeNet，本文優(yōu)化的GoogLeNet-Lite準(zhǔn)確率僅下降1.3%，而輸入數(shù)據(jù)的裁剪使其參數(shù)規(guī)?？s小14MB，為其帶來了計算運行時間減少64.5%的效果.因此，優(yōu)化后的GoogLeNet-Lite在精度損失較小的同時提高了運行效率，適用于本嵌入式系統(tǒng).

為使PC平臺下Caffe架構(gòu)的神經(jīng)網(wǎng)絡(luò)算法能夠運行在嵌入式開發(fā)板上，本文在RK3399開發(fā)板上安裝Linux-redhat系統(tǒng)，利用Tengine網(wǎng)絡(luò)計算架構(gòu)對算法模型進(jìn)行部署.將Caffe架構(gòu)下算法的參數(shù)文件caffemodel與網(wǎng)絡(luò)結(jié)構(gòu)描述文件prototxt讀取至Tengine架構(gòu)中，從中獲取輸入張量形狀等相關(guān)參數(shù).由本地讀取輸入圖像數(shù)據(jù)，申請張量緩存數(shù)據(jù)區(qū)，通過預(yù)運行為圖的運行準(zhǔn)備資源.預(yù)運行測試成功后正式運行圖，根據(jù)張量模型計算圖像數(shù)據(jù)，并將運行結(jié)果保存在張量句柄中，最后將結(jié)果輸出.

表2 GoogLeNet與GoogLeNet-Lite網(wǎng)絡(luò)對比測試Table 2 GoogLeNet vs GoogLeNet-Lite

各個網(wǎng)絡(luò)模型在不同環(huán)境下測試結(jié)果如表3所示.由表3準(zhǔn)確率對比可知，GoogLeNet-Lite與VGG16Net網(wǎng)絡(luò)模型能夠在RK3399-Tengine環(huán)境下獲得較好的準(zhǔn)確率，CaffeNet與AlexNet測試準(zhǔn)確率相對較低.由此可得出：同為PC平臺下，Tengine架構(gòu)由于其通用性需求，同時支持Caffe、TensorFlow、ONNX等框架模型，較純粹的Caffe架構(gòu)運行耗時更長，近4∶1，運算精度也有一定損失.而同為Tengine架構(gòu)下，模型在RK3399平臺較PC平臺運行耗時更長，但考慮嵌入式平臺計算資源有限，適當(dāng)?shù)暮臅r延長仍在接受范圍內(nèi).

表3 不同環(huán)境下各網(wǎng)絡(luò)模型測試結(jié)果Table 3 Network model test results in different environments

嵌入式RK3399平臺、Tengine架構(gòu)下，各個模型運行時間細(xì)分如表4所示，本文將單次運行時間分解為:1)圖像預(yù)處理；2)模型參數(shù)初始化；3)網(wǎng)絡(luò)運行1幀圖像時間.在大量數(shù)據(jù)連續(xù)運行的情況下，模型參數(shù)初始化僅需1次，單幀速度可由圖像預(yù)處理時間+運行1幀圖像時間相加而得.

CaffeNet、AlexNet由于提出時間較早，結(jié)構(gòu)設(shè)計上較為簡潔，模型深度與寬度不足.但正是由于其簡潔性，使得在嵌入式平臺下依然獲得了不錯的準(zhǔn)確率與運行效率.VGG16Net與GoogLeNet屬于同一時期，VGG16Net繼承了AlexNet的框架結(jié)構(gòu)，并在此基礎(chǔ)上加大網(wǎng)絡(luò)深度與寬度，使用了小卷積核代替大卷積核、小池化核替代大池化核，以此減少計算量，由表4中實際運行時間來看，盡管獲得了較高的準(zhǔn)確率，但由于其過于龐大的網(wǎng)絡(luò)規(guī)模，造成幀運行時間過長，不適用于當(dāng)前的嵌入式平臺.而GoogLeNet則通過模塊化的Inception子網(wǎng)絡(luò)設(shè)計，不僅利用小卷積核代替大卷積核以減少計算量，并且增加1×1卷積核降低特征圖像厚度，使其能夠在網(wǎng)絡(luò)深度達(dá)22層的同時參數(shù)規(guī)模遠(yuǎn)遠(yuǎn)小于其他網(wǎng)絡(luò).由表4可知，本文優(yōu)化的GoogLeNet-Lite參數(shù)初始化時間極短，僅為其他模型的10%～25%，幀運行時間與同期的VGG16Net相比減少了88.6%，適用于即開即用的戶外場景.而22層的網(wǎng)絡(luò)深度為其帶來了較高的準(zhǔn)確率，優(yōu)秀的結(jié)構(gòu)使其在性能與效率中取得平衡，適用于本嵌入式圖像分類系統(tǒng).

表4 Tengine下各網(wǎng)絡(luò)模型運行時間(ms)Table 4 Network model running time on Tengine(ms)

故本文選擇GoogLeNet-Lite作為本系統(tǒng)實際使用網(wǎng)絡(luò)模型，取得RK3399下最高94.15%準(zhǔn)確率的同時，保證了12.7fps幀率.其中，PC平臺下Tengine架構(gòu)相比于Caffe架構(gòu)損失準(zhǔn)確率5.53%，增加運行時間33ms.而Tengine架構(gòu)下RK3399平臺相比于PC平臺損失準(zhǔn)確率0.16%，增加運行時間35ms.

本系統(tǒng)實物如圖6所示.

圖6 系統(tǒng)實物圖Fig.6 Physical system

采集生物樣片數(shù)據(jù)中共4類80張圖像符合網(wǎng)絡(luò)分類標(biāo)準(zhǔn)，擴(kuò)充為320張圖像后進(jìn)行分類訓(xùn)練.自制數(shù)據(jù)集于GoogLeNet-Lite網(wǎng)絡(luò)下測試準(zhǔn)確率81.3%，在訓(xùn)練過程中網(wǎng)絡(luò)不易收斂，準(zhǔn)確率變化幅度大，獲得的算法模型可靠性較低.產(chǎn)生這一問題的原因可能是系統(tǒng)采集的圖像中，各個對象之間有所重疊、遮擋，多個目標(biāo)黏連成團(tuán)，并伴隨大量灰塵等雜物產(chǎn)生的光斑.因此導(dǎo)致自制數(shù)據(jù)集模型識別準(zhǔn)確率低于Whoi數(shù)據(jù)集模型.

4.3 系統(tǒng)對比分析

與傳統(tǒng)數(shù)字全息顯微圖像分類方法相比，本文方法通過引入卷積神經(jīng)網(wǎng)絡(luò)來識別人眼不可識別的全息圖像，無需傳統(tǒng)全息重建計算過程.為驗證本方法在嵌入式平臺下識別速度上的優(yōu)越性，本文在AM335X嵌入式平臺移植了數(shù)字全息重建算法，重建過程分為傳遞函數(shù)與角譜算法兩個部分，采用OPENCV結(jié)合FFTW庫提高算法速度，實際測試主頻在1GHZ下算法運行時間為590ms.因此，本文通過流程優(yōu)化，為數(shù)字全息圖像分類節(jié)約時間590ms，與傳統(tǒng)數(shù)字全息顯微圖像分類方法相比具有識別速度上的優(yōu)越性.

相比于其他微生物檢測技術(shù)，例如VITEK-AMS生物檢測儀[22]，需4～18小時即可給出準(zhǔn)確的生物報告，但其儀器價格高昂.FCM流式細(xì)胞儀[6]能夠檢測未經(jīng)培養(yǎng)的低濃度微生物樣本，單次用時3～5分鐘.廣為使用的人工微生物鏡檢方法[23]，準(zhǔn)確率高，但其流程復(fù)雜，費時費力，人工檢測無法保證穩(wěn)定性，難以避免主觀因素.本文方法在準(zhǔn)確性上與領(lǐng)域內(nèi)其他方法相近，在檢測速度上優(yōu)于大部分方法，其主要優(yōu)勢在于利用嵌入式平臺與全息顯微技術(shù)，擺脫了大型儀器與實驗室環(huán)境的束縛，能夠做到即采集即檢測，為科研工作與工業(yè)現(xiàn)場節(jié)約微生物檢測成本.

5 結(jié) 論

本文利用卷積神經(jīng)網(wǎng)絡(luò)，設(shè)計了一種嵌入式微生物數(shù)字全息顯微圖像分類系統(tǒng).利用精簡的GoogLeNet-Lite網(wǎng)絡(luò)模型，對全息化的Whoi微生物數(shù)據(jù)集進(jìn)行訓(xùn)練，取得了95.06%準(zhǔn)確率的分類效果，并利用Tengine框架在嵌入式開發(fā)板上部署算法，實測分類準(zhǔn)確率94.15%，每幀耗時78.8毫秒(12.7fps).

相對于傳統(tǒng)方法，本系統(tǒng)利用嵌入式平臺提高了微生物分類系統(tǒng)的便攜性，解決系統(tǒng)體積問題，無需對數(shù)字全息圖像重構(gòu)計算，直接采用原始數(shù)字全息圖像進(jìn)行分類，節(jié)約計算資源，利用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)自動化圖像分類，提高識別效率與準(zhǔn)確率，并且具有更好的魯棒性.此外，傳統(tǒng)方法需要實驗室環(huán)境，需要大型儀器分析，需要人工干預(yù)等問題，本系統(tǒng)能夠在工業(yè)現(xiàn)場快速地進(jìn)行微生物檢測，更高效地完成同樣的工作，減少了時間與資源成本.而嵌入式系統(tǒng)低成本的特點，有利于產(chǎn)品大規(guī)模量產(chǎn)，為微生物檢測儀器的普及提供了可能.