融合HOG+SVM與MFCC特征的自動(dòng)優(yōu)化物體識(shí)別系統(tǒng)研究

莊屹 陳瑋 尹鐘

摘 要：在與人交互情況下，針對(duì)物體識(shí)別系統(tǒng)通過(guò)反饋信息自動(dòng)優(yōu)化識(shí)別能力問(wèn)題，提出一種結(jié)合梯度直方圖（HOG）特征提取和支持向量機(jī)（SVM）進(jìn)行特定物體識(shí)別的方法。運(yùn)用Tensorflow訓(xùn)練語(yǔ)音識(shí)別模型反饋人機(jī)交互信息，使系統(tǒng)實(shí)現(xiàn)自優(yōu)化。以手表類別作為識(shí)別對(duì)象，通過(guò)HOG特征描述對(duì)手表進(jìn)行特征提取，通過(guò)二維主成分分析（2DPCA）和線性判別分析（LDA）對(duì)整體和局部特征進(jìn)行降維，運(yùn)用改進(jìn)的空間金字塔匹配模型通過(guò)SVM對(duì)其分類，并運(yùn)用非極大值抑制（NMS）確定區(qū)域，運(yùn)用訓(xùn)練的梅爾倒譜（MFCC）特征語(yǔ)音識(shí)別模型對(duì)反饋信息進(jìn)行識(shí)別，最終整合信息優(yōu)化識(shí)別系統(tǒng)。實(shí)驗(yàn)表明，該系統(tǒng)對(duì)手表有較高的識(shí)別率，并能通過(guò)人機(jī)交流在較短時(shí)間內(nèi)使系統(tǒng)實(shí)現(xiàn)自優(yōu)化。

關(guān)鍵詞：物體識(shí)別;自優(yōu)化系統(tǒng);梯度直方圖;支持向量機(jī);梅爾倒譜

DOI：10. 11907/rjdk. 182221

中圖分類號(hào)：TP301文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672-7800（2019）003-0010-06

0 引言

隨著智能化的不斷普及，很多場(chǎng)合都可以用機(jī)器識(shí)別物體，物體識(shí)別系統(tǒng)正朝著愈發(fā)精確成熟的方向發(fā)展。物體識(shí)別關(guān)鍵在于特征提取和分類器設(shè)計(jì)，特征提取主要從全局特征提取和局部特征提取兩個(gè)方向入手。不同物體擁有不同性質(zhì)的特征，在不同特征提取以及不同分類器下實(shí)現(xiàn)的識(shí)別效果也略有差距。對(duì)于一個(gè)投入使用的識(shí)別系統(tǒng)，由于其分類模型已經(jīng)確定，其識(shí)別率也就確定下來(lái)，無(wú)法直接提高識(shí)別能力。目前，物體識(shí)別系統(tǒng)的主要分類器是運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)（CNN）或者相對(duì)成熟的Tensorflow深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練?；谏窠?jīng)網(wǎng)絡(luò)的模型訓(xùn)練要擁有較高識(shí)別率，對(duì)樣本量有著極高要求，而在樣本量有限的情況下，神經(jīng)網(wǎng)絡(luò)訓(xùn)練下的模型識(shí)別效果相差很多，并且無(wú)法進(jìn)行自優(yōu)化操作。在2005年的CVPR（Internaltional Conference on Computer Vision and Pattern Recogintion 計(jì)算機(jī)視覺(jué)與模式識(shí)別國(guó)際會(huì)議）上，來(lái)自法國(guó)的研究人員Navneet Dalal & Bill Triggs[1]提出利用梯度直方圖（HOG）進(jìn)行特征提取，利用線性支持向量機(jī)（SVM）作為分類器，從而實(shí)現(xiàn)行人檢測(cè)，但對(duì)于空間金字塔的匹配模型并沒(méi)有進(jìn)行優(yōu)化。本文提出一種改進(jìn)的HOG特征提取和SVM進(jìn)行物體識(shí)別，同時(shí)通過(guò)Tensorflow訓(xùn)練自己的語(yǔ)音識(shí)別模型反饋人機(jī)交互信息，基于Python 3.6 環(huán)境編寫(xiě)程序?qū)崿F(xiàn)自優(yōu)化識(shí)別。在加州學(xué)院256類圖像數(shù)據(jù)庫(kù)（“The Caltech-256 object category dataset”）以及ImageNet圖像數(shù)據(jù)庫(kù)基礎(chǔ)上進(jìn)行實(shí)驗(yàn)，結(jié)果表明該系統(tǒng)能實(shí)現(xiàn)自優(yōu)化功能，提高了手表類別的識(shí)別能力。

1 改進(jìn)的HOG特征提取與SVM分類

1.1 HOG特征提取及降維算法

1.1.1 HOG特征提取

一幅圖像可通過(guò)梯度或邊緣的方向密度分布很好地描述局部目標(biāo)的表象和形狀（appearance and shape），梯度主要存在于邊緣[2]。如圖1所示，HOG特征提取步驟如下：

（1）灰度化。

（2）通過(guò)[γ]校正法對(duì)輸入圖像進(jìn)行顏色空間的歸一化。

（3）計(jì)算圖像每個(gè)像素的梯度（大小、方向），以此捕獲輪廓信息。

（4）將圖像劃分成小像素點(diǎn)，并計(jì)算每個(gè)像素點(diǎn)的梯度直方圖（不同梯度的個(gè)數(shù)），即可形成像素點(diǎn)的圖像塊。

（5）將幾個(gè)像素點(diǎn)組成一個(gè)圖像塊，一個(gè)圖像塊內(nèi)所有像素點(diǎn)的特征串聯(lián)起來(lái)便得到該圖像塊的HOG特征。

（6）聯(lián)結(jié)所有圖像塊的HOG特征得到全圖HOG特征，此即為最終可供分類使用的特征向量[3]。

1.1.2 LDA算法

LDA是一種用于監(jiān)督學(xué)習(xí)的降維技術(shù)，其數(shù)據(jù)集的每個(gè)樣本都有類別輸出，這點(diǎn)和PCA不同。PCA是一種無(wú)監(jiān)督降維技術(shù)，不考慮樣本類別輸出。數(shù)據(jù)以低維度進(jìn)行投影，投影后希望每一種類別數(shù)據(jù)的投影點(diǎn)盡可能地接近，而不同類別的數(shù)據(jù)與類別中心之間的距離應(yīng)盡可能大。本文主要運(yùn)用二類LDA算法提取局部特征[4]。

1.1.3 2DPCA算法

2DPCA算法是一維PCA算法的改進(jìn)優(yōu)化。利用二維圖像矩陣直接構(gòu)造一個(gè)協(xié)方差矩陣，選取最大的幾個(gè)特征值對(duì)應(yīng)的特征向量為最佳投影軸，將原始圖像矩陣經(jīng)過(guò)投影后提取主元分量，以達(dá)到數(shù)據(jù)降維和壓縮效果[5]。

1.2 空間金字塔匹配模型改進(jìn)

1.2.1 圖像預(yù)處理

以手表圖像為例，為達(dá)到識(shí)別目的，首先要對(duì)訓(xùn)練集中的圖像進(jìn)行預(yù)處理。對(duì)手表圖像進(jìn)行濾波去噪，確定手表的表盤(pán)位置并將圖像歸一化為128×128，步驟如下：①對(duì)圖像進(jìn)行差分高斯濾波（DoG），用于消除圖像陰影以及高頻和低頻噪音干擾;②對(duì)圖像進(jìn)行對(duì)比度均衡化與圖像增強(qiáng)，提高圖像清晰度;③對(duì)圖像霍夫變換進(jìn)行圓形邊緣提取，確定最小外接矩形并截取得到手表表盤(pán)，如圖2所示。

對(duì)于任何圓， 假設(shè)中心像素點(diǎn)p[（x0，y0）]已知，圓半徑已知，將其旋轉(zhuǎn)360°，可通過(guò)極坐標(biāo)方程得到每個(gè)點(diǎn)上的坐標(biāo)。同樣，如果只是知道圖像上的像素點(diǎn)、 圓半徑，旋轉(zhuǎn)360°，則會(huì)有一個(gè)集中的交點(diǎn)。也就是說(shuō)，圓的中心點(diǎn)處坐標(biāo)值最強(qiáng)，這就是霍夫變換檢測(cè)圓的數(shù)學(xué)原理[7]。

1.2.2 改進(jìn)的空間金字塔匹配

傳統(tǒng)的空間金字塔匹配模型一般在水平和數(shù)值方向進(jìn)行相同劃分，即分割后的每個(gè)空間都是形如n×n的正方形區(qū)域[8]，這樣得到的圖像結(jié)構(gòu)信息在一定程度上是不連續(xù)的，使得表盤(pán)中的結(jié)構(gòu)信息劃分成極小的碎片，影響最終識(shí)別效果。

為此對(duì)空間金字塔的劃分方案進(jìn)行改進(jìn)，如圖3所示，確定Level 0層（1×1），Level 1層（1×4）、（4×1），Level 2層（2×8）、（8×2），從而使其底層特征分布直方圖的統(tǒng)計(jì)特性不被破壞。傳統(tǒng)情況下，由于劃分的局部區(qū)域過(guò)小，所以得到的空間分布直方圖區(qū)分度不高。改進(jìn)的匹配模型保留了較大范圍的特征分布，盡管不能在細(xì)節(jié)上提供更精確的信息，但是較大范圍的特征信息保證了一定的一致性和連續(xù)性，便于更好地完成識(shí)別工作，如圖4所示。

1.3 SVM分類器及非極大值抑制

1.3.1 SVM分類器訓(xùn)練

支持向量機(jī)（Support Vector Machine，SVM）是Corinna Cortes & Vapnik等[9]于1995年首先提出的，對(duì)于小樣本、非線性及高維樣本問(wèn)題表現(xiàn)出許多特有優(yōu)勢(shì)。

SVM本身是一個(gè)線性分類器，最開(kāi)始解決的是線性可分問(wèn)題，然后拓展到非線性可分問(wèn)題，甚至擴(kuò)展到非線性函數(shù)中。解決線性不可分，主要方法是利用非線性映射，將低維空間內(nèi)不可分的樣本映射成高緯空間線性可分樣本。然后如線性可分一般，計(jì)算一個(gè)超平面將樣本分成兩類，使兩邊分類的點(diǎn)盡可能遠(yuǎn)離超平面，也就是保證虛線部分的點(diǎn)盡可能遠(yuǎn)離即可，這些虛線上的點(diǎn)即為支撐向量。遠(yuǎn)離超平面距離的概念有很多種，在SVM中主要使用幾何距離。幾何距離見(jiàn)式（10），即使SVM問(wèn)題轉(zhuǎn)換成一定約束情況下式（11）中|W|最小[10]。

從Scene-15數(shù)據(jù)集選取1000張場(chǎng)景圖片進(jìn)行128×128的歸一化操作作為初始負(fù)樣本，從加州理工學(xué)院256類圖像數(shù)據(jù)庫(kù)（“The Caltech-256 object category dataset”）中提取200張作為初始正樣本，分別對(duì)其進(jìn)行HOG特征提取后導(dǎo)入SVM分類器進(jìn)行訓(xùn)練，見(jiàn)圖5。

1.3.2 非極大值抑制

非極大值抑制[11]（Non-Maximum Suppression，NMS）是指對(duì)非最大值元素進(jìn)行抑制，即搜索鄰域極大值。鄰域有維數(shù)和大小兩個(gè)參數(shù)，在目標(biāo)檢測(cè)中用于提取分?jǐn)?shù)最高的窗口[12]。經(jīng)分類器分類后，每個(gè)窗口會(huì)有一個(gè)分?jǐn)?shù)（score）。滑動(dòng)窗口會(huì)導(dǎo)致很多窗口交叉或包含，這時(shí)用NMS選取鄰域里分?jǐn)?shù)最高的（目標(biāo)手表的概率最大）窗口，抑制那些分?jǐn)?shù)低的窗口，如圖6所示。本系統(tǒng)分?jǐn)?shù)大于0.8即認(rèn)為識(shí)別出手表。

2 MFCC語(yǔ)音識(shí)別模型

2.1 聲音特征提取

聲音特征提取步驟：①獲取數(shù)據(jù)集中分好類的語(yǔ)音文件（wav）列表;②對(duì)文件列表進(jìn)行隨機(jī)化;③取一定數(shù)量（batch_size）的語(yǔ)音文件作為一個(gè)批次（batch）;④提取一個(gè)批次語(yǔ)音文件的梅爾倒譜（MFCC，Mel-Frequency Cepstral Coefficients）特征并進(jìn)行歸一化處理;⑤根據(jù)文件名得到語(yǔ)音文件的類標(biāo)。

MFCC梅爾倒譜系數(shù)是語(yǔ)音識(shí)別中最為常用的特征，步驟如下：①獲得語(yǔ)譜圖便于進(jìn)行頻率分析;②將聲音信號(hào)輸入梅爾濾波器組;③取對(duì)數(shù)。人聲系統(tǒng)信號(hào)由基調(diào)信息與聲道信息卷積而成。在語(yǔ)譜圖FFT變換后，卷積變成了乘法，即[FFT（s）×FFT（v）]。取對(duì)數(shù)后，乘法變成了加法，即[log（FFT（s））+log（FFT（v））]，把卷積信號(hào)轉(zhuǎn)換成加法信號(hào)[13];④DCT（離散余弦變換）又稱為“倒譜域”，倒譜域的低頻部分描繪了聲道信息，高頻部分描繪了基調(diào)信息。選擇DCT代替FFT，是因?yàn)镈CT變換之后的值仍為實(shí)數(shù)，會(huì)更加方便[14]。

2.2 基于Tensorflow的神經(jīng)網(wǎng)絡(luò)構(gòu)建

在Tensorflow中，運(yùn)用已經(jīng)搭好的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。LSTM（Long Short-Term Memory，長(zhǎng)短期記憶網(wǎng)絡(luò)）作為一種時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)，適合處理和預(yù)測(cè)時(shí)間序列中間隔和延遲相對(duì)較長(zhǎng)的重要事件[15]，見(jiàn)圖7。

LSTM和卷積神經(jīng)網(wǎng)絡(luò)（RNN）之間的區(qū)別在于算法中添加了“處理器”用于判斷信息有用與否，該處理器作用的結(jié)構(gòu)稱為“判斷神經(jīng)元”[16]。

一個(gè)判斷神經(jīng)元存在三扇門(mén)，分別稱其為輸入門(mén)、遺忘門(mén)和輸出門(mén)。消息進(jìn)入LSTM網(wǎng)絡(luò)，可根據(jù)規(guī)則判斷，留下符合算法認(rèn)證的信息，不符的信息通過(guò)遺忘門(mén)被遺忘[17]。

2.3 Tensorflow訓(xùn)練模型

根據(jù)反饋給機(jī)器的對(duì)錯(cuò)（Yes or No）關(guān)鍵字信息判斷識(shí)別的圖像是正樣本還是負(fù)樣本。

2.3.1 No的情況

（1）如果圖像中有手表出現(xiàn)，但系統(tǒng)沒(méi)有識(shí)別出來(lái)，便將該圖像添加入正樣本數(shù)據(jù)集，提取HOG特征后重新進(jìn)行圖像識(shí)別模型訓(xùn)練。

（2）如果圖像中并無(wú)手表，系統(tǒng)錯(cuò)判物體為手表，便將該圖像添加入負(fù)樣本數(shù)據(jù)集，提取HOG特征后，重新進(jìn)行圖像識(shí)別模型訓(xùn)練。

2.3.2 Yes的情況

系統(tǒng)識(shí)別正確，用戶反饋正確信息。

該系統(tǒng)利用TensorFlow和AIY團(tuán)隊(duì)創(chuàng)建的語(yǔ)音命令數(shù)據(jù)集。成千上萬(wàn)的用戶在AIY網(wǎng)站上傳了包含30個(gè)詞的65 000條語(yǔ)音數(shù)據(jù)，每條數(shù)據(jù)長(zhǎng)度為1s。數(shù)據(jù)集為應(yīng)用程序構(gòu)建基本可用的語(yǔ)音樣本，包含“yes”、“no”等常用單詞[18]。導(dǎo)入Tensorflow的LSTM網(wǎng)絡(luò)訓(xùn)練，設(shè)置為16個(gè)epoches，在訓(xùn)練到18000步時(shí)，閾值收斂情況如圖8所示，圖中縱坐標(biāo)即表示此時(shí)收斂的閾值，閾值越接近0代表此時(shí)分類效果越好[19]。

根據(jù)劃分的測(cè)試集進(jìn)行標(biāo)簽判斷，得到語(yǔ)音信息識(shí)別率分別為Yes（0.903 73）、No（0.931 09），均達(dá)到90%以上，且識(shí)別到的樣本置信平均分?jǐn)?shù)為Yes（score=0.814 77）、No（score=0.841 39），信息識(shí)別準(zhǔn)確率達(dá)到80%以上即認(rèn)為識(shí)別到語(yǔ)音信息。

3 改進(jìn)模型的自優(yōu)化識(shí)別系統(tǒng)

3.1 系統(tǒng)方案

基于改進(jìn)HOG+SVM與MFCC語(yǔ)音分類模型的自優(yōu)化識(shí)別系統(tǒng)主要由模型訓(xùn)練模塊、圖像識(shí)別模塊以及語(yǔ)音識(shí)別系統(tǒng)模塊3大部分組成，通過(guò)用戶界面進(jìn)行關(guān)聯(lián)[20]，系統(tǒng)結(jié)構(gòu)如圖9所示。

3.2 系統(tǒng)流程

系統(tǒng)流程見(jiàn)圖10。

3.3 系統(tǒng)測(cè)試與結(jié)果分析

3.3.1 分類器實(shí)驗(yàn)

實(shí)驗(yàn)選用圖像來(lái)源于ImageNet手表集圖像素材。初始情況下，選用加州理工學(xué)院256類圖像數(shù)據(jù)庫(kù)（“The Caltech-256 object category dataset”）中的200張手表圖片作為初始正樣本，從Scene-15數(shù)據(jù)集中選取1000張場(chǎng)景圖片作為負(fù)樣本。將本文方法與其它方法進(jìn)行比較，如表1所示。

從表1可以看出，在同等條件實(shí)驗(yàn)中，3種分類器識(shí)別率相當(dāng)。雖然初始識(shí)別率SVM并不是最佳的，但對(duì)于一個(gè)自由化系統(tǒng)，識(shí)別率會(huì)根據(jù)人機(jī)交互信息的不斷增多，其智能性也越來(lái)越高，所以每次優(yōu)化時(shí)的訓(xùn)練時(shí)間十分重要。而從訓(xùn)練時(shí)間看，SVM的訓(xùn)練時(shí)間明顯優(yōu)于其它兩種方法[21]。綜合考慮，利用SVM進(jìn)行物體分類識(shí)別效率最高。

3.3.2 系統(tǒng)實(shí)驗(yàn)

系統(tǒng)自由化性能測(cè)試，同樣從ImageNet圖像素材中選取3組數(shù)據(jù)，每一組10幅圖像，分別為5個(gè)包含手表的圖像和5個(gè)不含手表的圖像，識(shí)別結(jié)果見(jiàn)表2。

從表2可以看出，系統(tǒng)的自優(yōu)化性不斷增強(qiáng)。在第一組數(shù)據(jù)中加入帶有圓形物體的高干擾項(xiàng)，導(dǎo)致負(fù)樣本識(shí)別錯(cuò)誤，而添加負(fù)樣本特征的分類器重新訓(xùn)練后，可以看到高干擾項(xiàng)得到了明顯辨識(shí)。同時(shí)，由于正樣本數(shù)量的不斷增加，對(duì)手表圖像的識(shí)別率也在不斷提高。

圖11（a）是初始對(duì)某圖像的識(shí)別結(jié)果，圖11（b）是優(yōu)化一段時(shí)間后再次對(duì)該圖像識(shí)別結(jié)果

圖11反映了系統(tǒng)運(yùn)行過(guò)程。圖11（a）表示導(dǎo)入一張圖像后的識(shí)別結(jié)果，可以看出此時(shí)的置信分?jǐn)?shù)并未達(dá)到0.8。添加正樣本特征優(yōu)化模型經(jīng)過(guò)一段時(shí)間優(yōu)化后，再次對(duì)同一幅圖像進(jìn)行識(shí)別，可以看到已經(jīng)識(shí)別到了相應(yīng)區(qū)域，區(qū)域的置信分?jǐn)?shù)達(dá)到了0.858 1。

4 結(jié)語(yǔ)

本文提出一種改進(jìn)的梯度直方圖（HOG）特征提取與支持向量機(jī)（SVM）進(jìn)行物體識(shí)別，同時(shí)通過(guò)Tensorflow訓(xùn)練MFCC特征語(yǔ)音識(shí)別模型，反饋人機(jī)交互信息進(jìn)而使系統(tǒng)實(shí)現(xiàn)自優(yōu)化，對(duì)傳統(tǒng)機(jī)器學(xué)習(xí)方法與深度學(xué)習(xí)方法相結(jié)合進(jìn)行探索，以對(duì)優(yōu)化空間金字塔模型進(jìn)行深入研究。實(shí)驗(yàn)表明，該系統(tǒng)具有良好的自優(yōu)化功能，提高了手表類別的自動(dòng)識(shí)別能力。基于此實(shí)驗(yàn)結(jié)論，預(yù)測(cè)該系統(tǒng)能不斷提升識(shí)別能力。但隨著正樣本增加，模型的復(fù)雜程度及大小也隨之增加，優(yōu)化時(shí)間也不斷延長(zhǎng)，如何進(jìn)一步簡(jiǎn)化模型以及縮短優(yōu)化時(shí)間是下一步研究方向。

參考文獻(xiàn)：

[1] DALALAND N， TRIGGS B. Histograms of oriented gradients for human detection[C]. IEEE Conference on Computer Vision and Pattern Recognition，2005：886-893.

[2] YAMAUCH Y，MATSUSHIMA C，YAMASHITA T. Relational hog feature with wild-card for object detection[C]. IEEE International Conference on Computer Vision Workshops，2011，21（5）：1785-1792.

[3] RAFAEL C，GONZALEZ，RICHARD E WOODS. Digital image processing[M]. Third edition. New Jersey：Pearson Education，2008.

[4] XIE Y L. LDA and its application in face recognition[J]. Computer Engineering and Application，2010，46（19）：189-192.

[5] VYTAUTAS PERLIBAKAS. Measures for PCA-based face recognition[J]. Pattern Recognition Letters，2004，25（6）：711-724.

[6] YANG J，? LIU C. Horizontal and vertical 2DPCA-based discriminant analysis for face verification on a large-scale database[J]. IEEE Transactions on Information Forensics & Security，2007，2（4）：781-792.

[7] 何揚(yáng)名，戴曙光. 提高霍夫變換識(shí)別圓形物體準(zhǔn)確率的算法[J].微計(jì)算機(jī)信息，2009（10）：279-281.

[8] 胡正平，涂瀟蕾. 多方向上下文特征結(jié)合空間金字塔模型的場(chǎng)景分類[J].信號(hào)處理， 2011，27（10）：1536-1542.

[9] 齊敏，李大健，赫重陽(yáng). 模式識(shí)別導(dǎo)論[M]. 北京：清華大學(xué)出版社，2009：98-101.

[10] 鄒沖，蔡敦波，劉瑩. 組合SVM分類器在行人檢測(cè)中的研究[C].計(jì)算機(jī)科學(xué)，2017，44（S1）：188-191.

[11] NEUBECK A，GOOL L V. Efficient non-maximum suppression[C]. International Conference on Pattern Recognition.2006：850-855.

[12] 張強(qiáng)，張陳斌，陳宗海. 一種改進(jìn)約束條件的簡(jiǎn)化非極大值抑制[J].中國(guó)科學(xué)技術(shù)大學(xué)學(xué)報(bào)，2016（1）：6-11.

[13] TIWARI V. MFCC and its applications in speaker recognition[J]. International Journal on Emerging Technologies Issn，2010（3）521-527.

[14] 陳瑤瑤，郝建華，張子博. 基于DCT變換的端到端語(yǔ)音加密算法[J].電子測(cè)量技術(shù)， 2015（8）：140-143.

[15] 趙力. 語(yǔ)音信號(hào)處理[M]. 北京：機(jī)械工業(yè)出版社，2017：140-151.

[16] SUNDERMEYER M，SCHLüTER R，NEY INTERSPEECH H. LSTM neural networks for language Modeling[J]. INTERSPEECH，2012，31（43）：601-608.

[17] GERS FA，SCHMIDHUBER JA，CUMMINS FA. Learning to forget： continual prediction with LSTM[J]. Neural Computation，2014，12（10）：2451-2471.

[18] VARIANI E，BAGBY T，MCDERMOTT E. End-to-end training of acoustic models for large vocabulary continuous speech recognition with Tensorflow[J]. Interspeech，2017（6）：1641-1645.

[19] 黃文堅(jiān)，唐源. Tensorflow實(shí)戰(zhàn)[M]. 北京：電子工業(yè)出版社，2017：101-103.

[20] 左德承，張展，董劍. 面向事務(wù)處理的容錯(cuò)計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)設(shè)計(jì)與實(shí)現(xiàn)[J].高技術(shù)通訊，2008，18（2）：111-115.

[21] 曹貴寶. 隨機(jī)森林和卷積神經(jīng)網(wǎng)絡(luò)在神經(jīng)細(xì)胞圖像分割中的應(yīng)用研究[J].山東大學(xué)學(xué)院，2014（1）：123-153.

（責(zé)任編輯：杜能鋼）