基于反卷積神經(jīng)網(wǎng)絡的腦脊液圖像快速識別模型

黃文明　冷金強　鄧珍榮　徐雙雙　雷茜茜

(桂林電子科技大學計算機科學與工程學院　廣西 桂林 541004)

?

基于反卷積神經(jīng)網(wǎng)絡的腦脊液圖像快速識別模型

黃文明冷金強*鄧珍榮徐雙雙雷茜茜

(桂林電子科技大學計算機科學與工程學院廣西 桂林 541004)

摘要提出一種基于反卷積神經(jīng)網(wǎng)絡的腦脊液CSF(Cerebrospinal Fluid)圖像快速識別模型。該模型使用無監(jiān)督學習方法從底層邊緣特征到高層對象部分連接對整個圖像進行圖片特征表述。此外，對不變性、多層模型中層與層如何直接訓練等基本問題設(shè)計了一系列方法，如引入開關(guān)變量，計算每一幅圖片試用的濾波器，并允許對每一層的圖片單獨訓練，都提高了學習的魯棒性。實驗結(jié)果表明，該模型大大改進了腦脊液細胞圖像識別的準確率，同時提高了訓練效率。

關(guān)鍵詞反卷積神經(jīng)網(wǎng)絡特征提取腦脊液圖像識別分類線性支持向量機

0引言

檢查腦脊液CSF，在臨床上有助于中樞神經(jīng)神經(jīng)系統(tǒng)及全身相關(guān)疾病的診斷。傳統(tǒng)腦脊液細胞液檢驗分三個步驟：第一，使用腦脊液細胞玻離儀收集腦脊液細胞；第二，在顯微鏡下染色；第三，根據(jù)細胞大小以及細胞核的顏色、形狀、紋理、細胞漿內(nèi)所含顆粒的大小及顏色等來觀察腦脊液中細胞形狀和成分的變化[1]。脊液細胞的數(shù)量少，種類多，變化大，形態(tài)各異，在整個用人工目測的過程，難免會存在很大的誤差。而且長期在顯微鏡下觀察會對檢測人員的身體造成一定的傷害[1,2]。

除此之外，大部分細胞自動化識別系統(tǒng)還不能滿足對腦脊液的自動分析需求，而自動化分析系統(tǒng)的重點在于對腦脊液細胞圖像的準確識別，為此反卷積神經(jīng)網(wǎng)絡模型為探索更準確、更可靠的腦脊液圖像自動化識別技術(shù)有及其重要的應用意義，也是國內(nèi)外廣大學者的研究熱點，同時也是醫(yī)學檢驗者與醫(yī)學工程領(lǐng)域急需等待解決的重要問題。

1相關(guān)工作

圖像特征是對圖像的本質(zhì)的表示，對圖像分析和理解具有重要意義。圖像識別的關(guān)鍵步驟是有良好的特征表達，而且系統(tǒng)主要的計算和測試工作都耗在尋找良好的特征表達。以前這塊大多都是人工完成的。截止現(xiàn)在，靠人工提取特征，也出現(xiàn)了不少好的特征提取算法(好的特征應具有不變性和可區(qū)分性)：例如Sift的出現(xiàn)，是局部圖像特征描述子研究領(lǐng)域里的一項里程碑[3]。Sift特征具有尺度旋轉(zhuǎn)不變性，同時對視角和光照也有很強的魯棒性，使得很多問題都可以得到解決。但它也不是萬能的，比如Sift算法在圖像匹配中對圖像紋理較少的就很難匹配。因此人們自然希望采用自動學習機制來完成特征提取。無監(jiān)督學習主要是模擬人類的學習行為，其在提取特征算法中取得了很大的發(fā)展，在計算機視覺領(lǐng)域應用非常廣泛。

同時，神經(jīng)網(wǎng)絡自從被LeCun引入后，在手寫字識別分類和臉部識別已經(jīng)發(fā)展成了非常好的成效。在過去幾年里，很多關(guān)于神經(jīng)網(wǎng)絡的文獻都證明了它在圖片分類的優(yōu)點。盡管優(yōu)點很多，但在完成這些模型時仍然有很多限制。它們只是單純地提取圖像表示的符號，即各種形式的連通圖像元集，如輪廓，區(qū)域等。這些符號通常只能體現(xiàn)圖像內(nèi)容的某些重要信息，不能很好地把層次性的特征表現(xiàn)出來。

2本文模型

卷積神經(jīng)網(wǎng)絡是一種自底向上的方法，該方法將輸入信號通過卷積、采樣、非線性變換分解到多層稀疏信息[4]。但反卷積網(wǎng)絡模型的每層信息是自頂向下的，通過濾波器學習得到的卷積特征組合來尋求輸入信號，與反卷積神經(jīng)網(wǎng)絡的有監(jiān)督學習方法不同，本文模型是無監(jiān)督學習。Predictive Sparse Decomposition (PSD)[5]和Deep Belief Networks(DBN)[6]手動的對不同層稀疏特征圖之間進行連接，增加了特征提取的復雜度。相比之下，本文模型是全層之間進行連接，更好地簡化了它的復雜結(jié)構(gòu)。

模型是通過卷積和max-pooling操作進行層次迭代，分解一張圖片成多層次性的特征map。每一反卷積層都是使得重構(gòu)誤差最小，通過訓練圖片產(chǎn)生一組完備的圖像表示。

通過這種無監(jiān)督訓練，可以獲得整個腦脊液細胞的從底層邊緣邊緣特征到高層的物體鏈接特征。再將得到的特征輸入到SVM進行胞腦脊液細胞的分類，得到腦脊液細胞識別的準確率。

2.1單層反卷積神經(jīng)網(wǎng)絡

反卷積神經(jīng)網(wǎng)絡模型是通過卷積稀疏編碼和max-pooling操作進行層次迭代，每一張圖片分解成多層卷積層。

損失函數(shù)的表達式為：

(1)

(1) 卷積：不像現(xiàn)存的一些方法[8,9]卷積稀疏編碼層盡力直接減少輸入圖片的重構(gòu)誤差，而不是直接使得每一層輸出的誤差最小。

(2)

濾波器f是對所有圖片可用。 如果k1>1那么這個模型是完備的，式(1)中的正則項是為了保證方程有唯一解。這個理論是為了發(fā)現(xiàn)一個凸優(yōu)的zl和找到一個最相近的方法估計fl。為了標記簡單，將第一層卷積核求和操作放在一個卷積矩陣Fl和2Dmap zk,1卷積后的放在向量zl。其中：

(3)

如果是一個Nr×Nc大小的圖像，且濾波器的尺寸是H×H,則其隱含特征圖的大小是(Nr+H-1)×(Nc+H-1)。

(2) pooling：在Pooling操作適用于特征mapz，產(chǎn)生pooledmap p和轉(zhuǎn)變開關(guān)s(記錄圖片極值標志)。得到了pooled maps和轉(zhuǎn)換開關(guān)，我們能夠完成unpooling操作US(在特征圖合適的位置插入零)。

每一個反卷積層的頂部，在特征圖maps完成一個max-pooling操作。

圖1是一層可視化模型。每一層由一卷積層和max-pooling層。反卷積層是一種卷積稀疏編碼，輸入的圖片y分解成特征圖z1和學習的濾波器fl做卷積操作和求和重構(gòu)圖片y，使重構(gòu)的誤差最小，得到最好的特征。濾波器根據(jù)c個通道，重構(gòu)不同通道的圖片。max-pooling層讓特征圖做pooling操作，使得pooled map在數(shù)量和規(guī)模上都減小了。每一個pooling操作的極大值位置都被開關(guān)s記錄著。第二卷積層跟第一層概念上是一樣的。

事實上，每一層都有很多特征圖。這允許層以上的特征圖捕捉比當前層結(jié)構(gòu)在一個更大的規(guī)模。pooling操作是在空間和領(lǐng)域map是3D的，在每一個特征mapz都要記錄極大值的屬性和位置。pooled map存儲屬性，開關(guān)存儲位置。

這個模型在feature maps上用了兩種pooling操作。第一種：把開關(guān)當作輸出：[p,s]=P(Z)。第二，把開關(guān)當作輸入，把z的元素復制到p中。如果不變，那它就是一個線性操作?？梢詫懽鱬=PSz這里的PS是二進制選擇矩陣，由開關(guān)s設(shè)置。

2.2多層反卷積神經(jīng)網(wǎng)絡

對于更高層模型的框架式一樣的，但是特征mapkl是不一樣的。在每一層我們通過下面濾波器和轉(zhuǎn)變開關(guān)來重構(gòu)輸入。我們定于重構(gòu)操作Rl，用l層的特征map交替做卷積和unpooling操作。

(4)

(5)

梯度步驟：這涉及到式(1)的重構(gòu)項的梯度gl代替zl：

(6)

zl=zl-λlβlgl

(7)

這里的βl參數(shù)的設(shè)置可以控制梯度的大小。

收縮步驟：跟梯度步驟一樣，對每一個元素進行收縮操作，然后把zl中小的元素規(guī)劃為零，因此可以增加它的稀疏性。

zl=max(|zl|-βl,0)sign(zl)

(8)

pooling/unpooling：通過pooling操作更新當前層的開關(guān)sl[pl,sl]=p(zl)緊接著就是unpooling操作zl=Uslpl這完成了兩大功能：

(1) 當我們在頂部增加層的時候，確保通過pooling重構(gòu)當前的輸入圖片。

(2) 更新的開關(guān)可以反映改后的特征map的值。如果這些理論定了，這些開關(guān)也會定，然后就是準備訓練上面的層。因此，整個過程的一個目的是設(shè)置當前層的優(yōu)化開關(guān)。

單個ISTAISTA迭代包括：梯度，收縮，pooling三個步驟。在這個過程中，對每張圖片的每層進行10次ISTA迭代。

重構(gòu)和投影操作時間快，僅包括卷積，求和，pooling和unpooling操作，這些操作都可以實現(xiàn)并行化?？梢愿咝У乜s短運行時間。

如果梯度步驟是線性的，就可以不用這個模型。如果是非線性的就可以分為兩種情況：1) 通過式(8)來減少他的稀疏性。2) 在重構(gòu)Rl通過迭代pooling和unpooling操作來設(shè)置開關(guān)s。

偽代碼：

1需要的參數(shù)訓練層數(shù)L，迭代次數(shù)E，正則權(quán)重

2for L=1:Ldo

%%循環(huán)層數(shù)

4for epoch=1：E

%%迭代的次數(shù)

5for t=1：T do

%%ISTA 迭代

end for

13通過方程(13)更新濾波器

14特征z輸入SVM到進行分類

15end for

end for

16輸出：濾波器f，特征map z，開關(guān)s

3訓練過程

3.1推理特征圖

(9)

(10)

(11)

其中：

(12)

3.2更新濾波器

(13)

其中Z為同F(xiàn)相似的卷積矩陣[10]。

4實驗和討論

實驗對象：單細胞圖像樣本分類測試，樣本如圖2所示，其中訓練樣本集為：230張淋巴細胞樣本，220張單核細胞樣本，230張嗜中性粒細胞樣本，117張紅細胞樣本。測試樣本集為：60張淋巴細胞樣本，60張單核細胞樣本，60張嗜中性粒細胞樣本，60張紅細胞樣本。

圖2　四類單細胞樣本

實驗環(huán)境：64位Windows 8.1操作系統(tǒng)、intel i5主頻3.30 GHz四核、內(nèi)存8.00 GB、Matlab R2013a。

圖3為樣品紅細胞中一個細胞訓練后得到的濾波器，從上往下依次為第一層濾波器(7×7)，第二層濾波器(27×27)，第三層濾波器(87×87)。

圖3　紅細胞訓練三層濾波器

依次為淋巴細胞、紅細胞、單核細胞、嗜中性粒細胞通過反卷積神經(jīng)網(wǎng)絡模型訓練后得到的三層特征map(各取其中一張).底層是四類腦脊液細胞，第二行四類細胞通過模型訓練后的第一層特征圖。每一列表示每一類細胞一個樣本對應的特征圖。如圖4所示。

實驗對比：在以下三種不同模型下分別對不同種類腦脊液細胞進行實驗，得到的實驗結(jié)果。

(1) Sc -LSVM[2]模型：稀疏編碼和線性SVM結(jié)合，對輸入圖片進行分塊，把圖片訓練成基與系數(shù)的形式。

(2) CNN-LSVM[11]模型：卷積神經(jīng)網(wǎng)絡和SVM,其中學習率為1，迭代次數(shù)為400次。

(3) 本文模型：對整張圖片直接進行運算，每層通過縮小重構(gòu)誤差提取最優(yōu)的特征圖，并且在pooling操作時采用開關(guān)記錄，然后經(jīng)過LSVM進行分類器訓練和預測。

表1　兩類樣本預測平均結(jié)果

表2　三類樣本預測平均結(jié)果

表3　四類樣本預測平均結(jié)果

表1、表2和表3的結(jié)果表明，隨著類別的增加，腦脊液細胞識別的準確率在降低。但是單張識別耗時相差不大的情況下，基于引入了開關(guān)變量的反卷積神經(jīng)網(wǎng)絡的模型比基于稀疏編碼模型和卷積神經(jīng)網(wǎng)絡識別準確率要高?？紤]單核細胞和淋巴細胞的形態(tài)特征極為相近，舍棄這兩類細胞，表1中的結(jié)果證明了對特征差異較大的二類樣本，基于反卷積神經(jīng)網(wǎng)絡模型的準確率足夠高。把相似的兩類細胞進行訓練，表2和表3實驗結(jié)果表明，稀疏編碼分類效果不理想。而反卷積神經(jīng)網(wǎng)絡模型仍然比較其它兩個模型效果要好。

5結(jié)語

根據(jù)提取的特征進行圖片分類是對圖像表述和分析理解的一種重要方法。本文以腦脊液細胞為研究背景，提出了快速識別CSF圖片的四類細胞模型，為了更好更快得到中高層的圖像特征，提出以反卷積神經(jīng)網(wǎng)絡為模型，緊緊圍繞稀疏化圖像特征提取[11,12]，舍棄了傳統(tǒng)基于分割的特征提取方法，無監(jiān)督訓練提取腦脊液細胞圖像的多層次[13]的圖像特征。借助LSVM分類器進行腦脊液細胞分類。實驗結(jié)果表明，該模型識別速度較快，準確率較高，因此在實際臨床診斷上具有一定的參考價值。

反卷積神經(jīng)網(wǎng)絡算法的相關(guān)參數(shù)對實驗結(jié)果影響很大，然而手工調(diào)整往往需要多次嘗試才能達到理想結(jié)果，因此之后也將考慮如何自適應的調(diào)整參數(shù)，以提高實驗效率。

參考文獻

[1] 何俊瑛,孔繁森,郭力.臨床腦脊液細胞學診斷[M].石家莊:河北科學技術(shù)出版社,2007:16-20.

[2] 黃文明,蔡文正,鄧珍榮.基于稀疏編碼的腦脊液圖像快速識別模型[J].計算機應用,2014,34(7):2040-2043.

[3] Lowe D G.Distinctive image features from scale-invariant keypoints[J].International journal of computer vision,2004,60(2):91-110.

[4] Lee H,Battle A,Rainaa R,et al.Efficient sparse coding algorithms[C]//Advances in neural information processing systems,2006:801-808.

[5] Zeiler M D,Taylor G W,Fergus R.Adaptive deconvolutional networks for mid and high level feature learning[C]//Computer Vision (ICCV),2011 IEEE International- Conference on.IEEE,2011:2018-2025.

[6] Hinton G,Osindero S,The Y W.A fast learning algorithm for deep belief nets[J].Neural computation,2006,18(7):1527-1554.

[7] Fidler S,Boben M,Leonardis A.Similaritybased cross-layered hierarchical repressentation for object categoryzation[C]//Computer Vision and Patter Recognition,2008.CVPR 2008.IEEE Conference on.IEEE,2008:1-8.

[8] Yang J,Yu K,Gong Y,et al.Linearspatial pyramid matching using sparse coding for image classification[C]//Computer Vision and Pattern Recognition,2009.CVPR 2009.IEEE Conference on. IEEE,2009:1794-1801.

[9] Wang J,Yang J,Yu K,et al.Locality- constrained linear coding for image classification[C]//Computer Vision and Pattern Recognition (CVPR),2010 IEEE Conference on. IEEE,2010:3360-3367.

[10] Zeiler M D,Krishnan D,Taylor G W,et al.Deconvolutional networks[C]//Computer Vision and Pattern Recognition(CVPR),2010 IEEE Conference on.IEEE,2010:2528-2535.

[11] Ciresan D,Meier U,SchmidhuberJ.Multicolumn deep neural networks for image classification[C]//Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE,2012:3642-3649.

[12] Kai Yu.CVPR12 Tutorial on Deep Learning: Sparse coding.

[13] Deng J,Dong W,Socher R,et al.Imagenet:A Large-scale hierarchical image database[C]//Computer Vision and Pattern Recognition,2009.

收稿日期：2014-12-17。廣西自然科學基金項目(2013GXNSFAA 019350)。黃文明，教授，主研領(lǐng)域：網(wǎng)格計算，圖形圖像處理，軟件工程，信息安全。冷金強，碩士生。鄧珍榮，副教授。徐雙雙，碩士生。雷茜茜，碩士生。

中圖分類號TP391.41

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.07.052

FAST CSF IMAGES RECOGNITION MODEL BASED ON DECONVOLUTIONAL NEURAL NETWORK

Huang WenmingLeng Jinqiang*Deng ZhenrongXu ShuangshuangLei Qianqian

(SchoolofComputerScienceandEngineering,GuilinUniversityofElectronicTechnology,Guilin541004,Guangxi,China)

AbstractIn this paper, we put forward a way that is based on deconvolution neural network for fast recognition of cerebrospinal fluid (CSF) image model. The model uses an unsupervised learning method to represent the features of picture in terms of whole image from the bottom edge features to the connection of high-level object parts. In addition, we design a series of approaches for the basic issues including the invariance and the way of training directly between layers in multi-model, etc., such as introducing the switch variables and computing the trial filters for every image, and allow the single training of the pictures on every layer, these have all improved the robustness of learning. Experimental results show that, the proposed model greatly improves the accuracy of CSF cell images recognition while raises the training efficiency.

KeywordsDeconvolution neural networkFeature extractionCerebrospinal fluidImage recognitionClassified linear support vector machine