基于BP神經(jīng)網(wǎng)絡(luò)的景象匹配算法

劉 剛1，周 珩2，梁曉庚2，王明靜2

（1.河南科技大學信息工程學院，河南洛陽 471023；2.中國空空導(dǎo)彈研究院，河南洛陽 471009）

基于BP神經(jīng)網(wǎng)絡(luò)的景象匹配算法

劉 剛1，周 珩2，梁曉庚2，王明靜2

（1.河南科技大學信息工程學院，河南洛陽 471023；2.中國空空導(dǎo)彈研究院，河南洛陽 471009）

針對以可見光圖像為基準、紅外圖像為實測的景象匹配問題，提出了一種基于BP神經(jīng)網(wǎng)絡(luò)的景象匹配方法；該方法首先抽取滿足平移、旋轉(zhuǎn)、尺度不變性的Krawtchouk不變矩作為紅外目標的特征描述并構(gòu)造特征向量，隨后，基于主分量分析法消除特征向量各個分量間的相關(guān)性，去掉多個對目標匹配識別貢獻不大的特征的影響，形成描述目標的有效特征向量；接下來，構(gòu)造三層BP神經(jīng)網(wǎng)絡(luò)，以有效匹配特征作為輸入，匹配位置作為輸出，按照經(jīng)驗公式確定隱層節(jié)點個數(shù)，基于樣本集對紅外目標在可見光基準圖像中的匹配過程進行訓(xùn)練，最終形成智能化景象匹配識別器；實驗結(jié)果表明，與常用的景象匹配算法相比，提出方法不僅具有更高的匹配精度和速度，而且魯棒性好，能抵抗實測圖像的旋轉(zhuǎn)幾何畸變。

景象匹配；紅外與可見光；Krawtchouk不變矩；主分量分析法；BP神經(jīng)網(wǎng)絡(luò)

0 引言

景象匹配是一種依靠圖像匹配技術(shù)對飛行器進行精確定位的輔助導(dǎo)航技術(shù)。雖然基準圖和實時圖都是可見光圖像的下視景象匹配已在巡航導(dǎo)彈和末制導(dǎo)導(dǎo)彈得到了成功應(yīng)用，但由于光學傳感器容易受到惡劣天氣條件的影響，在很多情況下無法得到理想的高質(zhì)量圖像。紅外成像傳感器則不受云霧、黑夜等自然因素影響，具有全天時成像能力。因此，發(fā)展基準圖為可見光圖像，實時圖為紅外圖像的下視景象匹配精確制導(dǎo)武器已成為主流方向之一。

現(xiàn)有的景象匹配主要可分為兩大類：基于區(qū)域的方法［1-4］和基于特征的方法［5 11］?；趨^(qū)域的匹配方法主要利用模板內(nèi)的灰度信息或者灰度信息的某種變換進行匹配。由于異源圖像的灰度屬性關(guān)聯(lián)性不大，使得在同源圖像匹配領(lǐng)域里被廣泛采用的基于區(qū)域的匹配方法在異源圖像匹配領(lǐng)域里應(yīng)用不是很廣?；谔卣鞯钠ヅ浞椒ú⒉恢苯永没叶刃畔?，使得該類型方法成為異源圖像匹配領(lǐng)域里非常熱門的研究方向。目前，匹配過程所用到的特征主要集中在點特征［5-8］、線特征［9］、梯度方向直方圖特征［10］和不變矩特征［11］。

一般說來，景象匹配過程由特征空間、搜索空間、相似性度量、搜索策略四要素組成。特征空間的選擇決定了圖像的哪些特性參與匹配，哪些特征將被忽略。景象匹配問題是一個參數(shù)的最優(yōu)估計問題，待估計參數(shù)組成的空間即搜索空間。相似性度量衡量匹配圖像特征之間的相似性。搜索策略在搜索空間中找到一個最優(yōu)的變換，使得相似性度量達到最大值。因此，提高景象匹配效率可從上述四要素出發(fā)。

為提高匹配的精度和匹配過程的智能化程度，本文設(shè)計并實現(xiàn)了一種基于Krawtchouk不變矩和BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)的智能化景象匹配識別器。該匹配器從特征空間的選擇出發(fā)，應(yīng)用Yap［12］等提出的新型正交矩-Krawtchouk矩，推導(dǎo)其不變矩參與匹配過程。通過設(shè)計三層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，匹配特征作為輸入，匹配位置作為輸出，利用大樣本離線對網(wǎng)絡(luò)權(quán)值進行訓(xùn)練，最終形成智能化景象匹配識別器。在匹配特征向量作為輸入進入BP網(wǎng)絡(luò)前，采用主分量分析法（principal component analysis PCA）消除其冗余。實驗結(jié)果驗證了本文方法的有效性。

1 紅外目標特征描述和主分量分析法

1.1 Krawtchouk不變矩理論

在景象匹配應(yīng)用中，特征空間的選擇是一個關(guān)鍵問題。圖像矩作為圖像的特征描述子，既可表達圖像形狀的全局特征，同時也可提供不同類型的幾何特性信息。另外，圖像矩經(jīng)過簡單的變換和重新組合，可得到若干個平移、尺度和旋轉(zhuǎn)不變特征量，其在圖像經(jīng)過平移、縮放或旋轉(zhuǎn)后，仍保持不變，因此可作為圖像匹配的特征向量。傳統(tǒng)正交矩難于同時表示圖像的全局信息和局部信息，因此僅適用于分類具有顯著差別的模式，而難以區(qū)分具有細微差別的相似模式。和傳統(tǒng)正交矩相比，Krawtchouk正交矩具有可以從任何感興趣的圖像區(qū)域中提取局部特征的優(yōu)點。作為一種性能更為優(yōu)良的正交矩，由其構(gòu)成的Krawtchouk矩不變量具有Krawtchouk矩的基本性質(zhì)，并具有良好的平移、旋轉(zhuǎn)和尺度不變性，作為特征向量完全滿足圖像目標特征描述的要求。圖像f（x，y）的（n＋m）階Krawtchouk矩可表示為：

其中：x，n＝0，1，2，…N，N＞0，p∈ （0，1）。2F1是超幾何函數(shù)：

其中：（a）k是Pochhammer算子：

在圖像Krawtchouk矩計算公式基礎(chǔ)上，可進一步得到對平移、旋轉(zhuǎn)和尺度變換具有不變性的Krawtchouk不變矩［13］：

利用Krawtchouk不變矩作為特征描述，目標識別率和運算時間都將隨n＋m階數(shù)的增加而增大。權(quán)衡識別率和運算時間因素，本文選擇n＋m≤3。由于與圖像內(nèi)容無關(guān)，所以可采用的Krawtchouk不變矩特征向量如下：

1.2 主分量分析法理論

利用Krawtchouk不變矩描述紅外目標特征，具有平移、旋轉(zhuǎn)和放縮變換的不變性。但其各階矩信息間具有冗余性，如不消除會降低匹配過程的識別率和實時性。主分量分析方法是從多個指標構(gòu)造少數(shù)主要指標的一種統(tǒng)計方法。將主分量分析用于特征選取，可以去掉多個對目標匹配識別貢獻不大的特征的影響，構(gòu)造出能夠真實反映目標的特征。

設(shè)Xk＝［x1，x2，...，xn］T為第k 個樣本特征向量，n為向量維數(shù)。N個樣本向量組成矩陣X，其協(xié)方差矩陣為R（X）。主分量提取的具體步驟為：

步驟1：求R的特征值及特征向量，所求得特征值按降序排列為λ1≥λ2≥…≥λn≥0，與其對應(yīng)的特征向量分別記為β1，β2，…βn。

步驟2：確定前m個主分量y1，y2，…，ym：

式（11）中，B為由前m個特征向量βi構(gòu)成的主特征向量矩陣。由q值確定主分量的個數(shù)m和前m個主分量向量yi。

R的主分量向量與原特征向量生成相同的空間。原特征向量空間中的任何向量均可表示為主分量向量的線性組合。通過主分量分析，可以消除原有向量X的各分量之間的相關(guān)性，從而去掉那些帶有較少信息的特征。

本文針對紅外目標的特征描述，利用主分量分析法對Krawtchouk不變矩各階特征進行分析，去掉多個對目標匹配識別貢獻不大的特征的影響，形成有效特征向量。

2 BP神經(jīng)網(wǎng)絡(luò)景象匹配識別器

采用誤差反向傳播算法進行訓(xùn)練的多層前饋網(wǎng)絡(luò)稱為BP網(wǎng)絡(luò)。BP網(wǎng)絡(luò)由輸入層、隱含層、輸出層及各層之間的節(jié)點連接權(quán)值組成。通過利用反向傳播算法，對網(wǎng)絡(luò)的權(quán)值和閥值進行反復(fù)的調(diào)整訓(xùn)練，使網(wǎng)絡(luò)實際輸出與期望輸出盡可能地接近。使用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)即可對應(yīng)用中的實際輸入進行計算并得到輸出結(jié)果。

在本文的設(shè)計中，BP神經(jīng)網(wǎng)絡(luò)采用單隱層的三層前向網(wǎng)絡(luò)。利用公式（9）所描述的Krawtchouk不變矩作為描述目標的特征，經(jīng)過主分量分析法消除冗余后，作為神經(jīng)網(wǎng)絡(luò)的輸入。網(wǎng)絡(luò)輸出神經(jīng)元個數(shù)由可見光基準圖像的匹配位置決定。如果匹配位置為M×N，則輸出層節(jié)點個數(shù)為log2（M ×N）。

隱層和輸出層的激勵函數(shù)選擇logsig函數(shù)。隱層節(jié)點個數(shù)按照如下經(jīng)驗公式確定：

t和r分別是輸入、輸出層神經(jīng)元個數(shù)，α一般為1～10的常數(shù)。

3 實驗與分析

實驗硬件平臺為方正臺式機，CPU主頻3.4 Ghz，內(nèi)存4 GB，軟件平臺為Matlab 2008a。

3.1 Krawtchouk不變矩的PCA分析

選取三組紅外目標圖像如圖1，分別進行平移、旋轉(zhuǎn)和放縮變換，計算得到的Krawtchouk不變矩如表1所示。平移變換向右上移動10個像素，旋轉(zhuǎn)變換順時針10度，放縮變換兩個方向各縮小2倍。表中的數(shù)值是除以然后取對數(shù)得到。

圖1 紅外圖像

表1 紅外目標的Krawtchouk不變矩

對上述矩特征進行PCA分析，選擇貢獻率達到95%的前4個主分量構(gòu)造新的目標特征，如表2所示。

表2 PCA構(gòu)造的目標特征

從表2中看出，采用文中算法構(gòu)造的紅外目標特征，可以準確的描述紅外目標的特性，有效區(qū)分不同類目標。構(gòu)造的特征不僅可以反映不同目標，而且降低了可利用特征的維數(shù)。

3.2 本文算法的匹配結(jié)果

實驗中基準圖像為可見光圖像，實測圖像則采用紅外圖像。兩組紅外與可見光視頻對兒，各400幀，大小分別為640像素×720像素和720像素×240像素。BP神經(jīng)網(wǎng)絡(luò)輸入層節(jié)點個數(shù)為4，輸出層節(jié)點個數(shù)為20，隱含層節(jié)點個數(shù)取8。BP網(wǎng)絡(luò)各層的初始權(quán)值在0.1～0.4范圍內(nèi)隨機取得，初始學習率取0.5。為克服BP網(wǎng)絡(luò)訓(xùn)練過程中可能陷入局部最優(yōu)的缺陷，采用動態(tài)學習率。訓(xùn)練目標誤差為10－4。750幀用于訓(xùn)練，其余50幀用于匹配測試。從紅外實測圖像中提取目標樣本，大小為128像素×128像素。BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練曲線如圖2所示。

將50幀測試樣本圖像目標輸入訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)匹配識別器，全部實現(xiàn)成功匹配。圖3和圖4是兩個視頻的兩幀測試圖像對兒匹配結(jié)果。紅外目標1、2、3從圖3（b）紅外圖像中提取，紅外目標4來自于圖4（b）中的紅外圖像。匹配位置如表3所示。

圖2 BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練曲線

圖3 視頻1圖像對兒匹配

圖4 視頻2圖像對兒匹配

表3 本文算法的匹配結(jié)果

實際應(yīng)用中，幾何畸變主要包括平移、尺度、旋轉(zhuǎn)變換。對算法結(jié)果影響較大的是旋轉(zhuǎn)幾何畸變。對紅外目標圖像進行旋轉(zhuǎn)變換如圖5。對每個目標的每個旋轉(zhuǎn)角度圖像運行本文算法，列出匹配誤差的結(jié)果數(shù)據(jù)如表4。表中度量與正確匹配位置偏移的匹配誤差值向右、向下為正，反之為負。從中可看出，本文方法基本不受圖像旋轉(zhuǎn)角度的影響，具備抗旋轉(zhuǎn)幾何畸變能力。由于Krawtchouk不變矩的穩(wěn)定性，即便旋轉(zhuǎn)角度達到15度，本文方法仍然能夠較精確定位。這進一步說明了Krawtchouk不變矩作為匹配特征的優(yōu)越性。

圖5 紅外目標旋轉(zhuǎn)

表4 算法的抗旋轉(zhuǎn)幾何畸變結(jié)果

本文與兩種經(jīng)典匹配方法進行比較：（a）文獻4的梯度互信息法；（b）文獻11的小波域多分辨率Hu不變矩法，結(jié)果如表5所示。位置坐標右上為正，左下為負。從中可看出：算法（a）耗時最長，這是因為互信息匹配法計算量最大；算法（b）速度明顯提高，原因在于匹配空間變換到小波域后，壓縮了搜索空間。本文算法由于引入Krawtchouk不變矩提取圖像局部特征，匹配精確度大于其它2種方法，穩(wěn)定性最好，且特征空間經(jīng)過PCA方法壓縮后進入訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)進行匹配識別，因此匹配速度較算法（a）和（b）來得快。

表5 不同算法匹配結(jié)果比較

4 結(jié)論

針對以可見光圖像為基準、紅外圖像為實測的景象匹配問題，本文提出了一種智能化的景象匹配方法。該方法利用Krawtchouk不變矩特征的優(yōu)良特性，結(jié)合主分量分析法，構(gòu)造出消除冗余的紅外目標特征描述。接下來，基于樣本集對紅外目標在可見光基準圖像中的匹配過程進行訓(xùn)練，形成智能化的BP神經(jīng)網(wǎng)絡(luò)景象匹配識別器。實驗結(jié)果表明，相對一些經(jīng)典方法，本文算法在匹配精度、匹配速度和抗幾何畸變方面具有一定的優(yōu)勢。

［1］Stefano LD，Mattocia S，Tombari F.ZNCC－based template matching using bounded partial correlation［J］.Pattern Recognition Letter，2005，26（14）：2129-2134.

［2］李俊山，譚園園，張媛莉.SSDA的改進算法［J］.電光與控制，2007，14（2）：66-68.

［3］任三孩，常文革，劉向君.一種基于小波變換和變尺度圓模板融合的景象匹配算法［J］.電子學報，2011，39（9）：2200 -2203.

［4］柏連發(fā)，韓 靜，張 毅，等.采用改進梯度互信息和粒子群優(yōu)化算法的紅外與可見光圖像配準算法［J］.紅外與激光工程，2012，41（1）：248-254.

［5］武建明，田 錚，劉向增，等.圖像多尺度配準的小波域SIFT方法 ［J］.西北工業(yè)大學學報，2011，29（1）：17-21.

［6］Sima，A.Aleksandra，Buckley，et al.Optimizing SIFT for matching of short wave infrared and visible wavelength images［J］.Remote Sensing，2013，5（5）：2037-2056.

［7］朱英宏，李俊山，楊 威，等.紅外與可見光圖像特征點邊緣描述與匹配算法［J］.計算機輔助設(shè)計與圖形學學報，2013，25 （6）：857-864.

［8］吉 祥，韓軍偉，梁 楠，等.基于景象匹配的無人飛行器定位方法 ［J］.系統(tǒng)仿真學報，2014，26（6）：1291-1296.

［9］高 峰，文貢堅，呂金建.基于干線對的紅外與可見光最優(yōu)圖像配準算法［J］.計算機學報，2007，30（6）：1014-1021.

［10］Lee J H，Kim Y S，Lee D，et al.Robust CCD and IR image registration using gradient－based statistical information［J］.IEEE Signal Processing Letters，2010，17（4）：347-350.

［11］符艷軍，程詠梅，潘 泉，等.基于不變矩的景象匹配輔助導(dǎo)航快速匹配算法［J］.系統(tǒng)工程與電子技術(shù)，2011，33（4）：847 -853.

［12］Yap P T，Paramesran R，Ong S H.Image Analysis by Krawtchouk Moments［J］.IEEE Trans Image Processing，2003，12 （11）：1367-1377.

［13］張 力，肖薇薇，錢恭斌，等.基于Krawtchouk不變矩的仿射攻擊不變性局部水印算法［J］.電子學報，2007，35（7）：1403 -1408.

A Scene Matching Algorithm Based on BP Neutral Network

Liu Gang1，Zhou Heng2，Liang Xiaogeng2，Wang Mingjing2

（1.College of Information Engineering，Henan University of Science and Technology，Luoyang 471023，China；2.China Airborne Missile Academy，Luoyang 471009，China）

Aiming at the problem of scene matching which takes infrared image as the actual data and the visible image as the referenced data，a matching algorithm is presented based on Back Propagation（BP）neutral network.Firstly，the features of Krawtchouk invariant moment which has the changeless character of translation，rotation and scale for infrared target are abstracted.Then，the method of Principal Component Analysis（PCA）is used to remove the redundancy of the feature vector in order to form an effective description for target.Subsequently，taking the effective features as network input vector，matching position as network output and defining hidden layer node’s number according to the experienced formula，a scene matching recognizer based on BP neutral network which had three layers is constructed.The experimental results show that the method given by this paper，compared with some classic matching algorithms，can not only has the high matching accuracy and fast matching speed，but also has better robustness which can resist the rotating geometric distortion.

scene matching；infrared and visible light；Krawtchouk invariant moment；principal component analysis；BP neutral network

1671-4598（2016）08-0222-04

10.16526／j.cnki.11－4762／tp.2016.08.061

：TP391.41

：A

2016-02-02；

：2016-02-29。

航空科學基金（20130142004）；河南科技大學創(chuàng)新能力培育基金（2014ZCX010）；河南科技大學博士科研啟動基金（0p001631）。

劉 剛（1974-），男，湖南臨武人，副教授，博士后，主要從事圖形圖像處理、測控技術(shù)，嵌入式開發(fā)方向的研究。

周 珩（1972-），女，河南洛陽人，碩士，研究員，主要從事紅外成像制導(dǎo)方向的研究。

梁曉庚（1960-），男，河南孟州人，博士，研究員，副總設(shè)計師，博士生導(dǎo)師，主要從事飛行器總體設(shè)計，導(dǎo)航、制導(dǎo)與控制方向的研究。