一種基于邊緣匹配的前視紅外目標(biāo)識別算法

蘇娟，徐青松，劉剛

(第二炮兵工程學(xué)院，陜西 西安710025)

0 引言

前視紅外(FLIR)末制導(dǎo)是精確制導(dǎo)武器發(fā)展的重要方向，在末制導(dǎo)尋的階段起決定作用的是自動目標(biāo)識別技術(shù)，通過對典型目標(biāo)的識別，可為精確制導(dǎo)武器提供定位導(dǎo)航支持，從而有效地提高制導(dǎo)性能和命中精度。目前，F(xiàn)LIR 自動目標(biāo)識別算法主要分為2 大類:基于模板匹配的自動識別和基于知識檢測的自動識別?；谥R的目標(biāo)識別方法是針對目標(biāo)紅外特征明顯、相對背景有較顯著差異且背景較為簡單的情況而設(shè)計。這類算法不需進行模板制備，但需一些目標(biāo)的先驗知識，且不同的目標(biāo)需研究不同的算法?；谀０迤ヅ涞哪繕?biāo)識別方法的工作原理是，根據(jù)目標(biāo)高程、下視可見光圖像、成像視角和距離等信息，制作前視基準(zhǔn)模板并裝定到飛行器上，飛行器在末制導(dǎo)階段對獲取的實時圖與基準(zhǔn)模板進行匹配識別，找出實時圖中與模板匹配的目標(biāo)區(qū)域，由此得出實時圖與基準(zhǔn)圖的相對位置關(guān)系，實現(xiàn)目標(biāo)的識別定位［1－3］。

基于模板匹配的目標(biāo)識別方法大都采用相關(guān)識別方法，采用灰度或邊緣等特征，歸一化積相關(guān)系數(shù)或Hausdorff 距離等相似性測度［4］，將相關(guān)矩陣主峰所在位置作為匹配位置。由于基準(zhǔn)圖和實時圖存在較大差異，真實匹配點往往落在相關(guān)矩陣的次峰上，從而導(dǎo)致匹配失敗。因此選取魯棒的模板匹配方法和根據(jù)模板匹配結(jié)果確定最佳匹配位置是該類算法的關(guān)鍵所在。針對前一問題，文獻［3］提出了梯度矢量互相關(guān)的匹配測度，在模板匹配過程中，綜合考慮梯度點的強度信息和方向信息。針對后一問題，文獻［5］提出利用單幀匹配后形成的相關(guān)矩陣的主峰信息及慣導(dǎo)的位移信息，進行多幀景像匹配的一致性決策，實現(xiàn)誤匹配點的剔除，但該方法是針對下視景像匹配提出的，在前視目標(biāo)識別時，無法利用慣導(dǎo)位移信息進行誤匹配點的剔除。

本文針對上述問題，提出了一種基于邊緣匹配的目標(biāo)識別方法，提取濾波后的Canny 邊緣作為形狀特征，計算基于距離變換的匹配代價和基于邊緣點梯度方向直方圖的匹配代價作為相似性測度，實現(xiàn)魯棒的模板匹配。在模板匹配的基礎(chǔ)上，利用目標(biāo)鄰域信息排除虛警，基于匹配代價矩陣計算匹配置信度，在單幀穩(wěn)定識別的基礎(chǔ)上，根據(jù)前視景像匹配的特點，利用前面連續(xù)多幀圖像的識別結(jié)果為當(dāng)前幀識別提供信息。采用上述策略實現(xiàn)誤匹配點的剔除，從而提高識別率。

1 算法

本文算法流程如圖1所示，包括4 部分內(nèi)容:基于邊緣匹配的模板匹配、基于鄰域信息的虛警排除、匹配置信度計算和基于多幀信息的匹配識別。

圖1 本文算法流程Fig.1 Overall flowchart of the proposed algorithm

1.1 基于邊緣匹配的模板匹配

FLIR 目標(biāo)識別中的基準(zhǔn)圖是根據(jù)目標(biāo)高程、彈目距離和成像視角等信息，以及典型目標(biāo)和背景的紅外輻射特性，由下視可見光圖像反演生成，而實時圖是由飛行器上裝載的FLIR 成像儀拍攝而成，二者存在較大差異，并且在不同的飛行高度與距離，對同一打擊目標(biāo)成像所得的實時圖也存在較大差異，如視角差異和尺度差異等。這種差異導(dǎo)致傳統(tǒng)的灰度匹配算法很難實現(xiàn)可靠而精確的匹配，因此研究特征匹配算法是提高匹配性能的有效途徑。通過對大量典型目標(biāo)圖像判讀可知，形狀特征是典型人造目標(biāo)所具有的主要特征，在實時圖和基準(zhǔn)圖中具有較好的對應(yīng)關(guān)系。因此本文算法提取的特征為基于邊緣的形狀特征，提取方法如下:

首先，采用Canny 算子得到邊緣圖像;然后，采用連通域搜索的方法將邊緣圖中的邊緣點組合標(biāo)識為邊緣線段，由于人造目標(biāo)的邊緣以直線或弧線為主，曲率比較穩(wěn)定，所以從標(biāo)識的邊緣線段中保留曲率穩(wěn)定的邊緣線段，并去除大量雜亂散碎的邊緣線段。整個邊緣提取過程相當(dāng)于對Canny 邊緣圖進行濾波，從中提取出有意義的、滿足人造目標(biāo)幾何結(jié)構(gòu)定義的邊緣。

在形狀特征提取的基礎(chǔ)上，選取形狀匹配代價作為相似性度量，以基準(zhǔn)邊緣圖為模板，采用模板匹配方法對實時邊緣圖進行匹配。形狀匹配代價由基于距離變換的匹配代價和基于邊緣點梯度方向直方圖的匹配代價構(gòu)成。

1.1.1 基于距離變換的匹配代價

該匹配代價定義為基準(zhǔn)邊緣圖與待匹配的實時邊緣圖上的邊緣點之間的平均最近距離，通過距離變換計算實現(xiàn)［7］。距離變換是對二值邊緣圖像進行的一種運算，變換矩陣中各點的值表示該點到距它最近的一個邊緣點的歐式距離，如(1)式表示:

式中:E ={e}為實時邊緣圖像上所有邊緣點的集合;d 為歐式距離。本文采用了文獻［6］提出的快速方法對實時邊緣圖進行距離變換計算。如圖2所示，以一對FLIR 實時圖與基準(zhǔn)圖為例，給出了邊緣提取與距離變換的結(jié)果，其中在邊緣圖像上的白色線條表示邊緣點，在距離變換圖像中，邊緣點的灰度值為0，越暗的點表明和邊緣點的距離越近。

匹配過程相當(dāng)于將基準(zhǔn)邊緣圖作為二維濾波器對實時邊緣圖的距離變換矩陣進行濾波，并按照基準(zhǔn)圖的尺寸求平均值。在這個二維濾波器中，對應(yīng)邊緣點位置的值為1，而對應(yīng)非邊緣點位置的值為0.因此基于距離變換的匹配代價定義為

式中:T={t}為基準(zhǔn)邊緣圖上所有邊緣點的集合;M×N 為基準(zhǔn)邊緣圖的尺寸;x 為基準(zhǔn)邊緣圖在距離變換矩陣上移動的位移向量。

對于預(yù)設(shè)基準(zhǔn)圖，采用上述算法在實時圖中逐像素匹配時，在不同位置都可以得到一個匹配代價，所有位置的匹配代價的集合便構(gòu)成匹配代價矩陣，可用圖3所示的匹配代價曲面表示，代價值越小表示對應(yīng)的位置和基準(zhǔn)圖越匹配。

1.1.2 基于邊緣點梯度方向直方圖的匹配代價

該匹配代價定義為基準(zhǔn)圖與待匹配實時圖上邊緣點梯度方向直方圖的相似性。在原始灰度圖像上，利用中心對稱的梯度算子［－1 0 1］，計算基準(zhǔn)邊緣圖和實時邊緣圖的邊緣點對應(yīng)的像素在水平和垂直方向上的梯度，即:

圖2 邊緣提取與距離變換Fig.2 Edge extraction and distance transform

圖3 匹配代價曲面Fig.3 Matching cost surface

將基準(zhǔn)圖和待匹配實時圖分為2 ×2 的圖像單元，計算每個圖像單元內(nèi)邊緣點像素的梯度方向，將梯度方向按照45°的間隔劃分為8 個區(qū)間，得到相應(yīng)的梯度直方圖，將4 個圖像單元內(nèi)的梯度直方圖連接起來，即可得到基準(zhǔn)圖和實時圖的邊緣點像素的梯度方向直方圖hB(k)和hR(k)，該直方圖可視為一個2 ×2 ×8 維的向量。用χ2距離表示2 個向量之間的相似性［8］:

同樣，根據(jù)(4)式定義計算得到的匹配代價矩陣中，代價值越小的地方對應(yīng)著和基準(zhǔn)圖越匹配的位置。

1.1.3 基于匹配代價的感興趣目標(biāo)檢測

對于基于距離變換的匹配代價矩陣，預(yù)設(shè)閾值TDT，采用此閾值對匹配代價矩陣進行閾值分割，將分割結(jié)果以二值圖像表示，凡滿足CDT＜TDT的元素被認為是目標(biāo)前景。本文經(jīng)過多次試驗設(shè)定TDT=2min(CDT).

采用同樣方法對基于邊緣點梯度方向直方圖的匹配代價矩陣進行閾值分割。將得到的2 幅二值圖像進行與運算，得到一幅同時考慮到2 種匹配代價的二值分割圖像，并對其進行標(biāo)識。找出每個標(biāo)識區(qū)域中基于距離變換的匹配代價的最小值，將其對應(yīng)的實時圖位置作為一個感興趣目標(biāo)。

基于距離變換的匹配代價是基于邊緣點計算的，而邊緣點的確定主要依據(jù)梯度強度信息?；谶吘夵c梯度方向直方圖的匹配代價依據(jù)梯度方向信息進行計算，因此上述2 種匹配代價充分利用了邊緣特征的梯度強度和方向信息?；鶞?zhǔn)圖與實時圖之間的差異直接體現(xiàn)在基準(zhǔn)圖邊緣與實時圖邊緣之間出現(xiàn)邊緣局部未對準(zhǔn)或局部形變的情況。由于基于距離變換的匹配能夠容許模板和待匹配圖像之間存在的部分不相似性［7］，并且基于邊緣點梯度方向直方圖的匹配代價是基于區(qū)域統(tǒng)計信息作出的，對邊緣局部未對準(zhǔn)或局部形變的情況具有魯棒性。因此上述匹配方法對基準(zhǔn)圖與實時圖的差異比較魯棒。

1.2 基于鄰域信息的虛警排除

本文的匹配方法利用邊緣為匹配特征，采用形狀匹配代價為相似性度量，當(dāng)背景中的邊緣比較豐富時，匹配常會在這些區(qū)域取得極小值，盡管本文對Canny 邊緣進行了濾波處理，去除了大量雜亂的邊緣，保留了曲率穩(wěn)定的邊緣，提高了后續(xù)處理的準(zhǔn)確性，但仍然容易在與目標(biāo)形狀類似的邊緣處取得局部極小值，從而造成虛警，如圖4所示。

圖4 形狀匹配產(chǎn)生的虛警Fig.4 False alarm produced by shape matching

紅外成像主要反映物體的熱輻射差，因此對于建筑物或冷卻塔等人造目標(biāo)，其紅外圖像一般具有以下特點:目標(biāo)區(qū)域的亮度比背景區(qū)域的亮度高，區(qū)域內(nèi)部灰度比較均勻，這一特點導(dǎo)致目標(biāo)區(qū)域與其鄰近區(qū)域在灰度、紋理和邊緣等特征方面存在差別，該差別可以用來對模板匹配得到的感興趣目標(biāo)進行虛警排除。

本文選取的目標(biāo)鄰域如圖5所示，與具體目標(biāo)的模板尺寸有關(guān)。在模板匹配選取的感興趣目標(biāo)位置處(以黑色方框表示)，分別向上、下、左、右移動模板尺寸的1/2，得到4 個方向上的鄰域(以白色方框表示)，用于提取目標(biāo)與鄰域在均值、方差和邊緣密度方面的差異信息。差異信息定義如下:

圖5 目標(biāo)鄰域的選取Fig.5 Selection of neighboring region of target

式中:邊緣密度e 定義為區(qū)域內(nèi)邊緣點數(shù)與總像素點數(shù)的比值。在此基礎(chǔ)上，建立如下判別規(guī)則:

式中:τ1，τ2，τ3分別為預(yù)先設(shè)置的閾值。采用(7)式對模板匹配選取的感興趣目標(biāo)進行判別，排除不滿足目標(biāo)紅外特性的虛假目標(biāo)。

當(dāng)基準(zhǔn)圖與實時圖之間的差異導(dǎo)致匹配位置存在微小偏差(如像素級偏差)時，由于用于虛警排除的特征屬于區(qū)域統(tǒng)計特征，匹配位置的微小偏差并不會對基于區(qū)域均值、方差和邊緣密度的差異信息有大的影響，換言之，上述特征對匹配位置偏差具有較強的魯棒性，因此對基準(zhǔn)圖和實時圖之間的差異比較魯棒。

1.3 匹配置信度計算

由圖3所示的匹配代價曲面可看出，基于距離變換的匹配代價曲面呈高低起伏分布，若把曲面內(nèi)的局部較為突出的極小值稱為波谷，則最小代價值對應(yīng)的波谷稱為最低谷，其他極小代價值對應(yīng)的波谷稱為次低谷。理想情況下真實的匹配位置應(yīng)對應(yīng)于最低谷，但由于基準(zhǔn)圖與實時圖之間的差異性，匹配代價矩陣中多個極小值的存在是不可避免的，并且這種差異性可能使最低谷升高，次低谷降低，甚至次低谷有可能轉(zhuǎn)變?yōu)樽畹凸?，從而?dǎo)致真實匹配位置并不一定位于匹配代價矩陣的最低谷。

考慮到在FLIR 目標(biāo)實時圖中目標(biāo)區(qū)域與背景區(qū)域的形狀特征存在顯著不同，因此理想的匹配位置所對應(yīng)的匹配代價曲面上的波谷應(yīng)顯得比較尖銳。因此，本文提出了基于最低谷尖銳度的匹配置信度，該置信度的計算是在基于距離變換的匹配代價矩陣上進行的。如圖6所示，在匹配代價矩陣的各個候選極值區(qū)域中，以波谷為中心、以n1和n2長度為半徑作2 個圓，半徑為n1的圓形區(qū)域內(nèi)的最小值以Vinner表示，n1與n2之間的環(huán)形區(qū)域內(nèi)的最小值以Vouter表示，則最低谷尖銳度定義為

由定義可知，尖銳度定義為用內(nèi)環(huán)最小值進行歸一化處理的內(nèi)外環(huán)差值，當(dāng)內(nèi)外環(huán)最小值的差別越大，內(nèi)環(huán)的最小值越小，即S 值越大，極值波谷越陡峭，對應(yīng)的匹配置信度越高，匹配性能越好。本文經(jīng)過大量實驗，設(shè)定n1=3，n2=6.

采用上述方法對感興趣目標(biāo)進行匹配置信度計算與排序，置信度最大的候選目標(biāo)即為算法確定的匹配目標(biāo)。

圖6 最低谷尖銳度定義區(qū)域Fig.6 Definition region for sharpness

1.4 基于多幀信息的匹配識別

前視目標(biāo)識別與下視景像匹配有一個明顯的區(qū)別，下視景像匹配中多幀實時圖像間相關(guān)性差甚至不相關(guān)，而前視目標(biāo)識別中多幀紅外實時圖像之間具有很強的相關(guān)性，目標(biāo)隨著成像距離的減小，在實時圖中的尺寸越來越大，原因在于飛行器從最后一個下視景像匹配區(qū)飛出以后，基本上以直線飛行為主，不作大的航向機動和姿態(tài)調(diào)整。因此可以在單幀識別的基礎(chǔ)上，利用前面連續(xù)多幀圖像的識別結(jié)果為當(dāng)前幀的識別提供信息，從而提高正確識別概率。具體如下:

1)圖像區(qū)間劃分。本文處理的實時圖像尺寸為320 ×256，將實時圖像劃分為5 ×4 個尺寸為64 ×64 的圖像單元。

2)識別結(jié)果統(tǒng)計。從第一幀起，對連續(xù)N 幀識別結(jié)果進行統(tǒng)計，統(tǒng)計每幀中前3 個置信度較大的候選目標(biāo)落入20 個圖像單元中的個數(shù)，并計算出每個圖像單元可能存在目標(biāo)的概率。例如，在N 幀識別中，當(dāng)候選目標(biāo)落入某個圖像單元Ui的次數(shù)共為K 次，則該單元的概率

式中:i=1，2，…，20，因此可得到一個表示各圖像單元存在目標(biāo)的20 維的概率分布。連續(xù)進行上述概率統(tǒng)計，當(dāng)相鄰2 次基于N 幀識別結(jié)果的概率分布之差小于某一預(yù)設(shè)閾值時，可認為單幀識別進入穩(wěn)定識別階段，目標(biāo)在視場中的位置比較固定(雖然可能因為載體振動出現(xiàn)部分異常幀的情況)。本文經(jīng)多次試驗設(shè)定N =20.

3)多幀識別信息加權(quán)的匹配置信度計算。進入穩(wěn)定識別階段以后，記錄下此時的幀號M，對M+1 幀進行識別時，開始利用M 幀之前的N 幀識別信息。用計算得到的每個圖像單元可能存在目標(biāo)的概率對候選目標(biāo)的匹配置信度進行加權(quán)，即根據(jù)候選目標(biāo)在實時圖像中的匹配位置，得到其相應(yīng)的圖像單元可能存在目標(biāo)的概率，將此概率作為權(quán)重，對基于最低谷尖銳度的匹配置信度進行加權(quán)，得到最終的匹配置信度，根據(jù)此匹配置信度找出最終識別的目標(biāo)。

4)權(quán)重更新。在得到新的一幀實時圖的識別結(jié)果后，根據(jù)該幀識別結(jié)果和前面連續(xù)N－1 幀識別結(jié)果重新統(tǒng)計每個圖像單元可能存在目標(biāo)的概率，進行圖像單元的權(quán)重更新，利用更新后的權(quán)重進行下一幀實時圖的目標(biāo)識別。

由于圖像單元的權(quán)重是根據(jù)當(dāng)前幀之前的連續(xù)N 幀識別結(jié)果計算得到的，這樣得到的最可能匹配位置與真實匹配位置之間存在一定的誤差，雖然該誤差值在幀間是較小的，但通過多幀圖像累積以后，其積累誤差必然影響最終的識別。因此在該算法中增加了權(quán)重更新步驟，適時根據(jù)最近一幀識別結(jié)果進行權(quán)重更新，消除多幀積累誤差的影響。

采用上述方法，可在當(dāng)前幀識別時充分利用前面多幀的識別結(jié)果信息，對誤匹配點的出現(xiàn)有抑制作用，能在一定程度上降低對單幀識別可靠性的要求，進一步提高匹配識別的可靠性。

2 實驗結(jié)果與分析

本文的實驗數(shù)據(jù)集包括2 組機載試飛的FLIR圖像序列，其中待識別的目標(biāo)分別是位于復(fù)雜背景下的建筑物和熱電廠冷卻塔，每組圖像序列對應(yīng)多張基準(zhǔn)圖，根據(jù)彈目距離進行切換。

針對上述圖像序列，將本文方法與基于邊緣強度的歸一化積相關(guān)法進行比較，其匹配結(jié)果如表1所示?？梢钥闯?，本文算法在2 組目標(biāo)序列上均取得了較好的匹配性能，其中在冷卻塔目標(biāo)序列上的匹配性能更好，這是因為冷卻塔序列圖像中目標(biāo)與背景的灰度差異較大，形狀特征明顯;與此同時，建筑物序列圖像中目標(biāo)位于復(fù)雜背景中，且建筑物側(cè)面的輪廓和紋理比較豐富，而基準(zhǔn)圖無側(cè)面紋理信息，造成了基準(zhǔn)圖與實時圖的邊緣特征的較大差異，因此匹配性能受到了一定的影響。

表1 匹配率Tab.1 Matching probability

實驗結(jié)果表明，歸一化積相關(guān)法性能很不穩(wěn)定，受實時圖成像質(zhì)量和基準(zhǔn)圖制作質(zhì)量的影響較大，當(dāng)基準(zhǔn)圖和實時圖的差異較大時，匹配性能較差;與此同時，本文算法對基準(zhǔn)圖和基準(zhǔn)圖之間的差異比較魯棒，即使在復(fù)雜背景下或者實時圖中目標(biāo)與背景灰度差異較小的情況下，也能取得較好的匹配性能。原因在于:1)與歸一化積相關(guān)法相比，基于邊緣匹配的模板匹配可給出較為平滑的匹配結(jié)果，對邊緣出現(xiàn)局部未對準(zhǔn)或者局部形變等情況具有較強的魯棒性;2)本文提出的匹配后處理模塊可以有效地提高單幀目標(biāo)識別的正確率，使得匹配性能得到改善。在上述測試樣本集上進行了對比實驗，加入匹配后處理模塊后匹配率分別提高了8%(建筑物目標(biāo))和10%(冷卻塔目標(biāo)).

FLIR 目標(biāo)識別的特殊應(yīng)用環(huán)境決定了算法的實時性要求。從運行速度上來看，在Intel Pentium 2.6 GHz 處理器和2 GB 內(nèi)存的硬件配置下，采用VC+ +6.0 的編程環(huán)境，本文算法的運行時間約為10 幀/s，能夠滿足實時需要。

3 結(jié)論

在基于模板匹配的FLIR 目標(biāo)識別中，基準(zhǔn)圖和實時圖之間存在的各種差異和目標(biāo)所處復(fù)雜背景的干擾可能導(dǎo)致匹配失敗。本文針對這一問題，提出了一種基于邊緣匹配的目標(biāo)識別方法。該方法在模板匹配過程中充分利用邊緣特征的梯度強度信息和梯度方向信息，在模板匹配后處理中采用了多種誤匹配點剔除策略，因此使得方法的準(zhǔn)確性和魯棒性均得到了較大提高。實驗結(jié)果表明該方法具有良好的匹配性能，對建筑物和冷卻塔等復(fù)雜場景下的典型目標(biāo)匹配識別具有一定的應(yīng)用價值。

在此算法框架下，如何使所采用的匹配特征具有更好的尺度不變性，以適應(yīng)FLIR 序列中目標(biāo)尺度變化劇烈的特點，是筆者未來研究的重點。

References)

［1］ Weiss I.A framework for a general model－based ATR theory［C］∥Proceedings of SPIE.US:University of Maryland，2004，5472:449－ 458.

［2］ 楊小岡.動態(tài)景像匹配算法設(shè)計與應(yīng)用研究［R］.西安:第二炮兵工程學(xué)院，2009.YANG Xiao－gang.On dynamic scene matching approach design and application［R］.Xi’an:The Second Artillery Engineering College，2009.(in Chinese)

［3］ 明德烈，田金文.紅外前視對一類特殊建筑目標(biāo)識別技術(shù)研究［J］.宇航學(xué)報，2010，31(4):1190－1194.MING De－lie，TIAN Jin－wen.Automatic infrared condensing tower target recognition using gradient vector features［J］.Journal of Astronautics，2010，31(4):1190－1194.(in Chinese)

［4］ 曹治國，鄢睿丞，宋喆.利用模糊形狀上下文關(guān)系的紅外與可見光圖像匹配方法［J］.紅外與激光工程，2008，37(6):1095－1100.CAO Zhi－guo，YAN Rui－cheng，SONG Zhe.Approach on fuzzy shape context matching between infrared images and visible images［J］.Infrared and Laser Engineering，2008，37(6):1095－1100.(in Chinese)

［5］ 王永明.連續(xù)景像匹配的后處理算法［J］.宇航學(xué)報，2004，25(5):535－540.WANG Yong－ming.A post－processing algorithm for continuous scene matching［J］.Journal of Astronautics，2004，25(5):535－540.(in Chinese)

［6］ Felzenszwalb P，Huttenlocher D.Distance transforms of sampled functions，TR2004—1963［R］.Ithaca:Cornell Computing and Information Science，2004.

［7］ Gavrila D M.Pedestrian detection from a moving vehicle［C］∥Proceedings of 6th European Conference on Computer Vision.London:Springer－Verlag，2000:37－49.

［8］ Belongie S，Malik J，Puzicha J.Shape matching and object recognition using shape contexts［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，8(6):509－522.