層次記憶模型的圖像識別算法與神經(jīng)網(wǎng)絡(luò)的長短時記憶算法的比較

關(guān)云方 李佳旭

摘 要：圖像識別技術(shù)在我們的日常生活中至關(guān)重要。隨著社會的發(fā)展和科技的進(jìn)步，圖像識別技術(shù)也在不斷地進(jìn)步。文章將分別闡述層級實(shí)時記憶HTM算法在圖像識別上的實(shí)現(xiàn)過程，和長短時記憶LSTM算法在圖像識別上的實(shí)現(xiàn)過程。在此基礎(chǔ)之上，通過學(xué)習(xí)次數(shù)、對數(shù)據(jù)變化的適應(yīng)程度、網(wǎng)絡(luò)破壞下的魯棒性、對歷史緩沖區(qū)的處理和容錯性來源這幾個特點(diǎn)，來將HTM算法和LSTM算法進(jìn)行性能上的比較。

關(guān)鍵詞：圖像識別；層級實(shí)時記憶；長短時記憶

中圖分類號：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號：2095-2945（2018）18-0027-02

Abstract： Image recognition technology is very important in our daily life. With the development of society and the progress of science and technology， the technology of image recognition is also making continuous progress. The realization process of hierarchical real-time memory HTM algorithm in image recognition and long-term and short-term memory LSTM algorithm in image recognition are described in this paper. On this basis， the performance of HTM algorithm and LSTM algorithm are compared in terms of learning times， adaptability to data change， robustness under network destruction， processing of historical buffer and fault tolerance source.

Keywords： image recognition； hierarchical real-time memory； long and short-term memory

1 介紹

圖像識別技術(shù)是信息時代中的一門重要的技術(shù)，是模式識別研究的一個主要領(lǐng)域，涉及手寫字符識別、人臉識別、物體識別等等。其產(chǎn)生目的是為了讓計(jì)算機(jī)代替人類去處理大量的物理信息。隨著計(jì)算機(jī)技術(shù)的發(fā)展，圖像識別技術(shù)已取得了較好的識別效果。然而，由于圖像識別問題的多樣性，例如：有些圖像分類少樣例足，有的分類多樣例少，有的清晰單一，有的模糊復(fù)雜，并且當(dāng)前用于圖像識別的方法一般都是針對具體的識別問題，所以很大一部分的識別系統(tǒng)需要大量的工作和算法研究來在性能上獲得特定的識別問題的突破。因此，尋找一種不僅在不同識別問題上都能獲得較好的識別效果，并且還相對比較通用的方法是必要的，在這樣的環(huán)境下，類似HTM和LSTM的識別技術(shù)應(yīng)運(yùn)而生。

2 HTM的識別功能及其算法實(shí)現(xiàn)過程

HTM，即層級實(shí)時記憶，是一種以捕捉新大腦皮層的結(jié)構(gòu)與算法特性為目標(biāo)的機(jī)器學(xué)習(xí)技術(shù)。HTM雖然同屬于大腦皮層的建模工作，但當(dāng)我們將層次記憶模型的底層輸入圖像中的一小塊區(qū)域作為輸入數(shù)據(jù)時，更高層神經(jīng)元則對應(yīng)更大的圖像區(qū)域。這樣使得高層能更有效地結(jié)合低層中的多個區(qū)域。因此，HTM中的層級性是它比較重要的一個特點(diǎn)，HTM每個層中的每一個區(qū)域都是用來識別和預(yù)測的，這個特點(diǎn)減少了訓(xùn)練時間，提高了圖像識別的效率。在圖像識別技術(shù)中，除了層級性，學(xué)習(xí)功能和識別功能也至關(guān)重要。HTM的學(xué)習(xí)功能是在模式的基礎(chǔ)上進(jìn)行學(xué)習(xí)的，在經(jīng)過了學(xué)習(xí)過程之后，HTM就可以開始對輸入的圖像數(shù)據(jù)進(jìn)行識別，即將時間和空間的輸入模式識別成之前學(xué)過的模式。之后，HTM通過將接收的圖像輸入與之前學(xué)習(xí)的空間實(shí)時模式進(jìn)行匹配。僅是這樣的識別是有一定的局限性的，因此HTM區(qū)域使用了稀疏離散表征，通過這個特點(diǎn)我們可以對圖像區(qū)域的一部分進(jìn)行識別，來確認(rèn)是否匹配，而不用按照模式部分的上下左右順序來進(jìn)行識別。

如圖1，級別1的網(wǎng)絡(luò)有64個節(jié)點(diǎn)，它們被安排在8*8的坐標(biāo)格子中。每一個節(jié)點(diǎn)都用一個小方塊來表示。級別2節(jié)點(diǎn)的輸入是來自做了標(biāo)記的級別1的4個節(jié)點(diǎn)輸出。因此級別2的節(jié)點(diǎn)的輸出又通向一個單獨(dú)的級別3的節(jié)點(diǎn)。輸入是向級別1 的節(jié)點(diǎn)提供信息的。輸入的圖片，是一個32像素*32像素大小的，來自訓(xùn)練影像的一個框架。正如所展示的那樣，這個圖片被分為鄰接的，大小為4像素*4像素的碎片。每一個級別1的節(jié)點(diǎn)輸入都和這樣的一個4*4的碎片相對應(yīng)。級別1的兩個節(jié)點(diǎn)分別被標(biāo)記為（a）和（b）。在輸入圖像中的方塊被標(biāo)記為（A）和（B），它們表示這些節(jié)點(diǎn)各自的接受域。每個級別1的節(jié)點(diǎn)看起來僅僅是輸入圖像的一小部分。這些被標(biāo)記為（C）和（D）的方塊和級別2中被標(biāo)記為（c）和（d）的節(jié)點(diǎn)的接受域相對應(yīng)。

圖2展示了一段在級別1的節(jié)點(diǎn)的長輸入序列。每個輸入模式是一個16個元素的向量并且被表示成4乘4像素?cái)?shù)組。模式的短子序列可以在一個長序列中重復(fù)。比如，長度為4的水平序列在展示的輸入序列中移動了兩次。

3 神經(jīng)網(wǎng)絡(luò)的LSTM的識別功能及其算法

LSTM，即長短時記憶，本質(zhì)上屬于遞歸神經(jīng)網(wǎng)絡(luò)，而LSTM在此基礎(chǔ)上，還可以學(xué)習(xí)長期依賴的信息。LSTM和HTM一樣都擁有記憶功能。遞歸神經(jīng)網(wǎng)絡(luò)的核心是由三個門和一個記憶單元構(gòu)成的記憶塊，它能夠?qū)?dāng)前時刻獲取的圖像信息有選擇地跨時間傳送到下一個時刻使用。LSTM的三個門分別負(fù)責(zé)輸入，輸出和遺忘。其中遺忘門是負(fù)責(zé)管理記憶的，遺忘門可以決定LSTM要遺忘過去的多少記憶，要保留過去的多少記憶。只有符合算法認(rèn)證的信息才會留下，不符的信息則通過遺忘門被遺忘。LSTM算法通過輸入門輸入圖像數(shù)據(jù)，接著通過遺忘門對過去的記憶進(jìn)行有效性的判定和處理，并將預(yù)測出的圖像進(jìn)行匹配，最后通過輸出門進(jìn)行判斷輸出。

4 神經(jīng)網(wǎng)絡(luò)與LSTM算法之間的比較

我們將HTM和LSTM分別從5個方面進(jìn)行比較。HTM和LSTM在使用數(shù)據(jù)的時候采用了不同的方式。LSTM通過多次學(xué)習(xí)優(yōu)化了數(shù)據(jù)流中的所有轉(zhuǎn)換，與訓(xùn)練數(shù)據(jù)擬合度較高，但是用的時間較長，且需要保留歷史緩沖區(qū)。而HTM只需要一次學(xué)習(xí)，運(yùn)用較短的時間也能達(dá)到一定的擬合度，且不需要保留歷史緩沖區(qū)。這兩種算法在容錯性來源上的不同則表現(xiàn)在HTM的來源是稀疏分布表示，而LSTM的來源則是特殊訓(xùn)練方法或復(fù)制訓(xùn)練網(wǎng)絡(luò)。當(dāng)面對數(shù)據(jù)的變化時，HTM的適應(yīng)速度較快，且在網(wǎng)絡(luò)破壞下的魯棒性較好，相比之下，LSTM的適應(yīng)速度較慢，且在網(wǎng)絡(luò)破壞下的魯棒性則是一般。

5 結(jié)束語

HTM和LSTM都是適合當(dāng)今科技環(huán)境的，經(jīng)過改進(jìn)后的圖像識別算法。首先我們了解了HTM的識別功能及算法實(shí)現(xiàn)過程，了解了HTM的層級性以及通過稀疏離散表征實(shí)現(xiàn)來與其中的一部分進(jìn)行識別與匹配。第二，我們又研究了LSTM的識別功能及算法實(shí)現(xiàn)過程，了解LSTM算法是如何在遞歸神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行發(fā)展。第三，我們通過比較HTM和LSTM的特點(diǎn)，對兩個算法的性能有了更深的理解。相比較之下，HTM對于數(shù)據(jù)變化的適應(yīng)速度，魯棒性和實(shí)現(xiàn)時間都更勝一籌，擁有更好的性能。盡管如此，我認(rèn)為不管是HTM還是LSTM在未來的發(fā)展中，都可以進(jìn)一步進(jìn)行優(yōu)化。這將是一個值得我們思考與研究的課題。

參考文獻(xiàn)：

[1]Numenta， "Images Example，" Numenta Inc， 2007.

[2]J. Hawkins and D. George， "Hierarchical Temporal Memory： Concepts， Theory， and Terminology，" Numenta Inc， Mar. 2006.

[3]D. George and B. Jaros， "The HTM Learning Algorithms，" Numenta Inc， Mar. 2007.

[4]D. George， "How the Brain Might Work： A Hierarchical and Temporal Model for Learning and Recognition，" Numenta Inc， June 2008.

[5]Y. Cui， S. Ahmad and J. Hawkins，"Continuous Online Sequence Learning with an Unsupervised Neural Network Model，" Neural Computation，November 2016.

[6]Gers F A，Schmidhuber J and Cummins F，"Learning to forget： continual prediction with LSTM.[J]，"Neural Computation，Octoper 2000.