基于改進(jìn)的Harris角點(diǎn)的機(jī)載紅外圖像電子穩(wěn)像

王施鰻，許文海，董麗麗，徐 周

基于改進(jìn)的Harris角點(diǎn)的機(jī)載紅外圖像電子穩(wěn)像

王施鰻，許文海，董麗麗，徐 周

（大連海事大學(xué) 信息科學(xué)技術(shù)學(xué)院，遼寧 大連 116026）

飛機(jī)飛行過程中產(chǎn)生的顛簸、晃動(dòng)會使得采集到的紅外圖像序列存在抖動(dòng)，影響后續(xù)對紅外圖像的觀察，不利于對紅外圖像目標(biāo)的識別、定位與跟蹤。本文提出了一種基于改進(jìn)的Harris角點(diǎn)法對機(jī)載紅外圖像進(jìn)行實(shí)時(shí)電子穩(wěn)像的方法。首先采用改進(jìn)的Harris角點(diǎn)響應(yīng)函數(shù)結(jié)合距離約束條件進(jìn)行角點(diǎn)檢測，該方法保證即使對圖像質(zhì)量較差的紅外圖像，也能檢測出數(shù)量足夠且分布均勻的角點(diǎn)；然后基于檢測出的角點(diǎn)利用提出的關(guān)鍵幀參考方式結(jié)合多尺度的金字塔光流算法進(jìn)行跟蹤匹配，完成運(yùn)動(dòng)估計(jì)，進(jìn)而實(shí)現(xiàn)對機(jī)載紅外圖像的電子穩(wěn)像。用該方法對多組含有抖動(dòng)的640×512尺寸的紅外圖像序列進(jìn)行穩(wěn)像處理，實(shí)驗(yàn)表明，本文提出的算法與傳統(tǒng)的Harris角點(diǎn)檢測算法相比有更好的檢測效果，能夠很好地去除紅外機(jī)載圖像序列的抖動(dòng)，且能夠滿足50fps采集速率下的實(shí)時(shí)處理。

電子穩(wěn)像；機(jī)載紅外穩(wěn)像；Harris角點(diǎn)檢測；距離約束條件

0 引言

由于在高空中氣流變化不均，飛機(jī)航姿不同等原因使得機(jī)載紅外采集設(shè)備存在不同程度的振動(dòng)，雖然穩(wěn)定平臺已經(jīng)從機(jī)械的形式上減少了平臺的振動(dòng)，但不能完全將振動(dòng)消除，這就使獲得的紅外視頻圖像序列隨成像系統(tǒng)的振動(dòng)而產(chǎn)生抖動(dòng)的現(xiàn)象，影響后續(xù)對紅外圖像的觀察，不利于對紅外圖像目標(biāo)的識別、定位與跟蹤。因此，使用快速有效的穩(wěn)像算法去除機(jī)載紅外視頻圖像序列中的抖動(dòng)具有重要的實(shí)用價(jià)值。

電子穩(wěn)像技術(shù)是利用圖像處理的方法對圖像序列的幀間偏移量進(jìn)行補(bǔ)償，消除圖像序列中的隨機(jī)抖動(dòng)，保留主動(dòng)運(yùn)動(dòng)，得到穩(wěn)定的易于觀看的視頻。電子穩(wěn)像算法分為3個(gè)步驟：運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)濾波和運(yùn)動(dòng)補(bǔ)償[1-3]。為了保證穩(wěn)像效果，必須使運(yùn)動(dòng)估計(jì)盡可能準(zhǔn)確地計(jì)算出兩幀圖像間的偏移量，常見的運(yùn)動(dòng)估計(jì)方法有：塊匹配法、灰度投影法、光流法和特征點(diǎn)匹配法。其中塊匹配法能夠檢測出平移運(yùn)動(dòng)分量，但涉及到旋轉(zhuǎn)和尺度變化的情況下塊匹配的精度會受到影響，無法準(zhǔn)確檢測出復(fù)雜的抖動(dòng)分量[4-5]；灰度投影法是對整幅圖像的行、列灰度值進(jìn)行累加，以達(dá)到降維處理的目的，但無法避免前景運(yùn)動(dòng)物體對運(yùn)動(dòng)估計(jì)的影響[6]；光流法具有很強(qiáng)大的數(shù)學(xué)理論基礎(chǔ)，但對圖像中的每一個(gè)像素點(diǎn)都計(jì)算其光流失量，計(jì)算量巨大，無法做到實(shí)時(shí)穩(wěn)像處理[7]。特征點(diǎn)匹配法可以與仿射變換模型或透視變換模型結(jié)合，檢測復(fù)雜的運(yùn)動(dòng)分量，也可以與光流法結(jié)合，以特征點(diǎn)代表圖像信息，只求取特征點(diǎn)處的光流失量，大大減少了計(jì)算量，此外對光流法加入約束條件，可以剔除前景物體的光流，故特征點(diǎn)匹配法在當(dāng)前的穩(wěn)像算法研究中得到了廣泛的應(yīng)用。特征點(diǎn)匹配法中常采用的特征點(diǎn)有Harris角點(diǎn)，SIFT特征點(diǎn)，SURF特征點(diǎn)等。

文獻(xiàn)[8]對電子穩(wěn)像算法中的SIFT特征點(diǎn)進(jìn)行了研究，文獻(xiàn)[9-10]對SURF特征點(diǎn)進(jìn)行了研究，研究表明，提取SIFT特征點(diǎn)與SURF特征點(diǎn)的穩(wěn)像速度比提取Harris角點(diǎn)慢1～2個(gè)數(shù)量級。

文獻(xiàn)[11]利用Harris角點(diǎn)自相關(guān)矩陣的跡生成低維描述子，降低算法復(fù)雜度，在存在亮度變化、較小的視角變化和旋轉(zhuǎn)縮放的情況下，利用Harris角點(diǎn)進(jìn)行快速圖像匹配，實(shí)驗(yàn)證明了Harris角點(diǎn)的匹配效果好，但是對于小范圍內(nèi)存在大量角點(diǎn)的情況并未進(jìn)行約束，角點(diǎn)代表性不好也增加了后續(xù)角點(diǎn)匹配的計(jì)算量。

目前，相關(guān)的電子穩(wěn)像技術(shù)大多集中于對可見光視頻序列的處理?；诩t外視頻圖像序列的穩(wěn)像方法研究較少。機(jī)載紅外圖像的成像質(zhì)量低，所有像素點(diǎn)與其鄰域內(nèi)的像素點(diǎn)灰度值接近，灰度梯度差較小，能夠提取的特征點(diǎn)少。紅外探測器的圖像采集幀頻為50fps，而傳統(tǒng)的可見光視頻圖像的幀率范圍為25～30fps，更高的圖像幀率對穩(wěn)像算法的實(shí)時(shí)性有更高的要求，在常見的特征點(diǎn)中，Harris角點(diǎn)的提取速度最快，能夠滿足紅外探測器圖像采集實(shí)時(shí)穩(wěn)像的要求。

為了解決傳統(tǒng)Harris角點(diǎn)檢測算法對于成像質(zhì)量較低的紅外圖像無法檢測出數(shù)量足夠且均勻分布的角點(diǎn)，本文提出了一種基于改進(jìn)的Harris角點(diǎn)法對機(jī)載紅外圖像進(jìn)行實(shí)時(shí)電子穩(wěn)像的方法。通過分析Harris算子的基本原理，提出采用改進(jìn)的Harris角點(diǎn)響應(yīng)函數(shù)結(jié)合距離約束條件來檢測角點(diǎn)的方法，并對檢測出的角度進(jìn)行進(jìn)一步的位置坐標(biāo)校正，然后利用提出的關(guān)鍵幀參考方式結(jié)合多尺度的金字塔光流算法進(jìn)行跟蹤匹配，完成運(yùn)動(dòng)估計(jì)。實(shí)驗(yàn)證明，該方法在處理紅外圖像時(shí)易于實(shí)現(xiàn)，能夠?qū)崟r(shí)地進(jìn)行穩(wěn)像處理，且在工程實(shí)踐中得到應(yīng)用。

1 機(jī)載紅外平臺穩(wěn)像算法設(shè)計(jì)

基于改進(jìn)Harris角點(diǎn)的機(jī)載紅外圖像的電子穩(wěn)像算法流程如圖1所示，穩(wěn)像算法由運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)濾波、運(yùn)動(dòng)補(bǔ)償3個(gè)階段組成，其中運(yùn)動(dòng)估計(jì)的準(zhǔn)確性是穩(wěn)像精度的重要保障。

Harris角點(diǎn)提取算法是尋找在鄰域內(nèi)水平方向和垂直方向上灰度變化劇烈的像素點(diǎn)，也就是灰度梯度的局部最大值點(diǎn)。角點(diǎn)數(shù)量與分布是影響運(yùn)動(dòng)估計(jì)準(zhǔn)確度的一個(gè)重要因素，當(dāng)角點(diǎn)數(shù)量過少時(shí)，角點(diǎn)不能很好地代表圖像的特征，無法得到準(zhǔn)確的幀間變換參數(shù)；為使得運(yùn)動(dòng)估計(jì)具有全局性，要利用整幅圖像的特征信息，需要角點(diǎn)相對均勻地分布在整幅圖像上，不要集中于小區(qū)域，且過多角點(diǎn)集中于小區(qū)域會增加后續(xù)匹配和計(jì)算幀間變換矩陣的計(jì)算量，影響算法的實(shí)時(shí)性。

圖1 基本算法框架

1.1 傳統(tǒng)的Harris角點(diǎn)提取

Harris角點(diǎn)的提取主要依賴描述像素鄰域梯度分布的二階矩，其形式如下：

式中：I，I分別代表圖像(,)在方向和方向的偏導(dǎo)數(shù)；(,)表示高斯函數(shù)。二階矩矩陣有兩個(gè)特征值1，2，利用這兩個(gè)特征值通過公式(2)計(jì)算出角點(diǎn)響應(yīng)函數(shù)，當(dāng)計(jì)算的角點(diǎn)響應(yīng)函數(shù)的值大于給定閾值，再通過在3×3的鄰域內(nèi)進(jìn)行非最大值抑制處理，得到的局部最大點(diǎn)為角點(diǎn)：

＝1×2－×(1＋2)2(2)

式中：1×2和1＋2分別表示二階矩矩陣的行列式和跡；為一個(gè)取值范圍是0.04～0.06的系數(shù)[12]。

1.2 改進(jìn)的Harris角點(diǎn)提取

由于紅外圖像的成像質(zhì)量較低，所有像素點(diǎn)與其鄰域內(nèi)的像素點(diǎn)灰度值接近，灰度梯度差較小，若使用式(2)計(jì)算角點(diǎn)響應(yīng)函數(shù)，很多情況下即使將閾值設(shè)置的很低，也無法檢測出足夠數(shù)量且分布均勻的角點(diǎn)，所以本文對Harris角點(diǎn)提取算法進(jìn)行改進(jìn)，改進(jìn)了角點(diǎn)響應(yīng)函數(shù)計(jì)算方法，加入距離約束條件，使其可以自適應(yīng)地檢測出足夠數(shù)量的分布均勻的角點(diǎn)，能夠很好地代表圖像的特征，保證運(yùn)動(dòng)估計(jì)的準(zhǔn)確性。

圖2是改進(jìn)的自適應(yīng)Harris角點(diǎn)提取方法的流程圖，首先通過公式(3)比較二階矩矩陣的兩個(gè)特征值1、2直接進(jìn)行分類，求出每個(gè)像素點(diǎn)的較小的特征值記為角點(diǎn)響應(yīng)函數(shù)：

＝min(1,2) (3)

依據(jù)文獻(xiàn)[13]，角點(diǎn)響應(yīng)函數(shù)值越大的點(diǎn)，角點(diǎn)的代表性越好，角點(diǎn)越穩(wěn)定，為了篩選出符合條件的代表性最好的角點(diǎn)，要對角點(diǎn)響應(yīng)函數(shù)降序排列。然后構(gòu)造一個(gè)歸一化的矩形窗口，窗口中的一個(gè)像素的距離相當(dāng)于距離約束條件中的最小容忍距離個(gè)像素的距離，取前200個(gè)值對應(yīng)的像素點(diǎn)標(biāo)記為預(yù)選角點(diǎn)依次遍歷，若在預(yù)選角點(diǎn)的四鄰域內(nèi)，存在已被標(biāo)記為角點(diǎn)的點(diǎn)，則比較兩點(diǎn)間的距離，若距離小于最小容忍距離個(gè)像素的距離，由于先確定為角點(diǎn)的像素點(diǎn)的值更大，角點(diǎn)代表性更好，故舍棄當(dāng)前的像素點(diǎn)，否則將當(dāng)前像素點(diǎn)標(biāo)記為角點(diǎn)。

本文從統(tǒng)計(jì)學(xué)的角度出發(fā)，對包括海面大目標(biāo)圖像、海面小目標(biāo)圖像、純海面圖像以及飛機(jī)起飛時(shí)的地面圖像在內(nèi)的200幅中紅外相機(jī)采集得到的紅外圖像進(jìn)行實(shí)驗(yàn)，不斷調(diào)整閾值，比較結(jié)果發(fā)現(xiàn)，角點(diǎn)數(shù)目減少到30左右時(shí)仍能較好地完成運(yùn)動(dòng)估計(jì)進(jìn)而完成穩(wěn)像，此時(shí)角點(diǎn)數(shù)目若再減少，人眼觀看的穩(wěn)像效果就有較大程度的減弱。故以30作為角點(diǎn)提取時(shí)數(shù)量的基準(zhǔn)值，當(dāng)真正角點(diǎn)個(gè)數(shù)小于30時(shí)，預(yù)選角點(diǎn)數(shù)遞增，再次篩選真正角點(diǎn)。

圖2 改進(jìn)的Harris角點(diǎn)提取流程

為保證角點(diǎn)的總數(shù)，不同圖像尺寸，選擇不同大小的容忍距離，一般來說圖像尺寸越大，選用的越大；相同尺寸的可見光圖像與紅外圖像，可見光圖像選取的值大于紅外圖像。為使檢測出的改進(jìn)后角點(diǎn)的數(shù)量不小于30，對4組640×512尺寸的紅外圖像進(jìn)行角點(diǎn)檢測實(shí)驗(yàn)，結(jié)果如圖3所示，可以看出取10個(gè)像素的時(shí)候，較容易達(dá)到角點(diǎn)數(shù)目為30的標(biāo)準(zhǔn)，且不會在較小范圍內(nèi)聚集很多特征點(diǎn)，若再增加的大小，會使角點(diǎn)數(shù)目減少。當(dāng)增加為15個(gè)像素的時(shí)候可以看到海面小目標(biāo)圖像中檢測到的角點(diǎn)數(shù)目小于30，不滿足角點(diǎn)數(shù)量上的要求，而在海面遇險(xiǎn)目標(biāo)搜尋的過程中，海面小目標(biāo)是最常見的情況，所以在距離約束時(shí)，本文取10個(gè)像素。

距離約束條件使最終提取到的角點(diǎn)分布均勻，不存在小區(qū)域角點(diǎn)聚集的情況。

1.3 亞像素級角點(diǎn)定位

經(jīng)過上述角點(diǎn)提取，會獲得滿足要求的角點(diǎn)在圖像上的坐標(biāo)，數(shù)字圖像中像素點(diǎn)的位置坐標(biāo)是整數(shù)的形式，為了計(jì)算更加精確的幀間光流失量，需要將角點(diǎn)的整數(shù)坐標(biāo)精確到浮點(diǎn)數(shù)。亞像素級定位就是計(jì)算角點(diǎn)在圖像中更加精確的真實(shí)坐標(biāo)，而真實(shí)坐標(biāo)通常不在像素所在的整數(shù)坐標(biāo)位置上，而在像素的內(nèi)部。本文利用向量正交性和特征點(diǎn)附近的灰度梯度信息，采用迭代插值的方法，通過整數(shù)角點(diǎn)坐標(biāo)計(jì)算亞像素級角點(diǎn)的位置坐標(biāo)。每次迭代結(jié)束后，計(jì)算本次迭代計(jì)算得到的角點(diǎn)與前一次迭代運(yùn)算得到的角點(diǎn)之間的距離，若距離小于設(shè)定的誤差精度閾值或迭代次數(shù)達(dá)到設(shè)定的閾值，則迭代終止。迭代終止后計(jì)算得到的坐標(biāo)點(diǎn)與初始的整數(shù)角點(diǎn)之間的差值，判斷迭代過程的收斂性，若迭代過程中的收斂性不好，則不使用計(jì)算得到的亞像素級角點(diǎn)，仍然使用初始的整數(shù)角點(diǎn)。表1列出一些特征點(diǎn)的位置坐標(biāo)。

圖3 角點(diǎn)數(shù)量與距離約束條件的關(guān)系

表1 亞像素特征點(diǎn)定位

1.4 關(guān)鍵幀參考方式

Harris特征不生成對應(yīng)的描述向量，只能使用光流法跟蹤下一幀對應(yīng)點(diǎn)坐標(biāo)，跟蹤成功即視為成功匹配。跟蹤前首先要確定參考幀，目前主要有固定參考幀和相鄰參考幀兩種方式：①固定參考幀方式是選擇一幀作為參考幀，以后的各幀圖像的運(yùn)動(dòng)估計(jì)都以選定的參考幀為參考。這種方式適合相機(jī)沒有主動(dòng)運(yùn)動(dòng)的場景，當(dāng)主動(dòng)運(yùn)動(dòng)存在時(shí)，參考幀與當(dāng)前幀中能夠跟蹤成功的特征點(diǎn)會越來越少，以至于無法進(jìn)行準(zhǔn)確的運(yùn)動(dòng)估計(jì)。②相鄰參考幀方式是以前一幀圖像作為參考幀，即使在存在主動(dòng)運(yùn)動(dòng)的場景中，當(dāng)前幀和參考幀中也始終存在著很大的重疊區(qū)域，能夠克服固定參考幀方式不適合掃描運(yùn)動(dòng)的缺陷。

由于紅外相機(jī)的采集速率快，相鄰兩幀之間位移小，且要求的穩(wěn)像處理速度快，在實(shí)驗(yàn)中我們結(jié)合已有的兩種參考幀選擇方式，提出了關(guān)鍵幀為參考幀的處理方法。每10幀更新一次關(guān)鍵幀，只提取關(guān)鍵幀圖像的角點(diǎn)，實(shí)驗(yàn)證明，這種關(guān)鍵幀為參考幀的方式不會影響運(yùn)動(dòng)估計(jì)的精度和穩(wěn)像后的視覺效果，并且有利于加快穩(wěn)像處理的速度。

2 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文方法的有效性，采用3個(gè)典型的海面紅外圖像序列：海面小目標(biāo)紅外圖像、海面大目標(biāo)的紅外圖像、純海面紅外圖像進(jìn)行實(shí)驗(yàn)，圖像分辨率都為640×512。本實(shí)驗(yàn)的計(jì)算機(jī)采用Intel奔騰處理器，CPU主頻4.00GHz，操作系統(tǒng)是64位的Windows系統(tǒng)。開發(fā)平臺是Microsoft Visual Studio 2013，算法使用C＋＋實(shí)現(xiàn)，調(diào)用Opencv2.4.9完成紅外圖像的處理如讀入、拷貝、創(chuàng)建矩陣以及調(diào)用相關(guān)圖像處理算法。

2.1 特征點(diǎn)提取及匹配實(shí)驗(yàn)

圖4(a)是海面大目標(biāo)紅外圖像，圖4(b)是傳統(tǒng)的Harris角點(diǎn)檢測算法的提取結(jié)果，在檢測過程中，計(jì)算出的角點(diǎn)響應(yīng)函數(shù)的值如圖4(c)中圓形空心標(biāo)記點(diǎn)所示，實(shí)心三角形標(biāo)記點(diǎn)為3×3的鄰域內(nèi)進(jìn)行非最大值抑制處理后得到的局部最大點(diǎn)，也就是角點(diǎn)。在檢測角點(diǎn)時(shí)，閾值通常設(shè)置為角點(diǎn)響應(yīng)函數(shù)最大值max的倍，一般取0.005～0.015，當(dāng)取0.005時(shí)，圖4(a)中檢測出的角點(diǎn)個(gè)數(shù)為14個(gè)，降低閾值的取值，取為0.0001，是一般情況下值的1/50倍，檢測出的角點(diǎn)個(gè)數(shù)為20個(gè)。從圖4(b)中可以看出，傳統(tǒng)的Harris角點(diǎn)提取算法提取到的角點(diǎn)位置集中，分布不均勻；圖4(c)中可以看出，傳統(tǒng)的Harris角點(diǎn)提取算法無法對紅外圖像提取出足夠數(shù)量的角點(diǎn)。

圖5(a)為加入距離約束前提取到的200個(gè)改進(jìn)的Harris角點(diǎn)，可以看到，角點(diǎn)都聚集在一起，圖5(c)是海面目標(biāo)的局部放大圖，圖5(b)為加入距離約束后提取到的41個(gè)改進(jìn)的Harris角點(diǎn)，可以看到角點(diǎn)分布相對均勻，角點(diǎn)之間彼此獨(dú)立，圖5(d)是海面目標(biāo)的局部放大圖。

圖5 角點(diǎn)提取結(jié)果對比

圖6所示的是基于圖5(b)提取到的角點(diǎn)進(jìn)行光流跟蹤匹配的結(jié)果，在匹配連線中，連線基本平行不相交。這說明使用角點(diǎn)特征檢測并結(jié)合光流跟蹤匹配能夠很好地獲得幀間的對應(yīng)關(guān)系，能夠?yàn)楹竺媲笕g對應(yīng)的幾何關(guān)系提供可靠的數(shù)據(jù)支撐。

圖6 使用KLT光流跟蹤匹配結(jié)果

2.2 穩(wěn)像效果

本文采用峰值信噪比（peak signal-to-noise ratio, PSNR）來測試算法的有效性，其定義為[14]：

式中：MSE(1,0)為均方誤差（mean-square error, MSE），定義為：

式中：為圖像的高度；為圖像的寬度；0為參考幀；1為穩(wěn)像后與0對應(yīng)的幀。

由式(3)可知，當(dāng)參考幀與補(bǔ)償幀的結(jié)果越相近，穩(wěn)像效果越好，均方誤差MSE(1,0)的值越小，在理想情況即得到了完全補(bǔ)償時(shí)MSE(1,0)的值為0。由式(4)可知，PSNR與MSE成反比，即PSNR值越大穩(wěn)像效果越好。

取視頻的前200幀圖像計(jì)算穩(wěn)像前后的PSNR，對比圖如圖7(a)所示。穩(wěn)像前的視頻圖像序列平均PSNR值為36.3346，穩(wěn)像后視頻的平均PSNR為39.6939，提高3.3593?？梢钥闯霾捎帽疚乃惴ㄟM(jìn)行電子穩(wěn)像，穩(wěn)像后的圖像序列的PSNR高于原始圖像序列，說明本文提出的算法對于紅外圖像的抖動(dòng)視頻序列具有較好的穩(wěn)像效果。為了更直觀地展示穩(wěn)像效果，圖7(b)、(c)給出了海面大目標(biāo)圖像序列連續(xù)3幀圖像穩(wěn)像前后的對比。圖中紅色橫線為添加的對比輔助線，用來對比船頭（標(biāo)記點(diǎn)）在穩(wěn)像序列中的位置，以此來衡量本文穩(wěn)像算法的效果。從圖中可以看出，穩(wěn)像處理很好地去掉了抖動(dòng)干擾，保留了相機(jī)的主動(dòng)運(yùn)動(dòng)。

2.3 運(yùn)動(dòng)估計(jì)準(zhǔn)確性實(shí)驗(yàn)

為了測試本文算法運(yùn)動(dòng)估計(jì)的準(zhǔn)確性，將圖5(a)進(jìn)行固定像素大小偏移，偏移量為(－1,1)，即向左平移一個(gè)像素，向下平移一個(gè)像素，然后進(jìn)行特征點(diǎn)檢測與光流金字塔跟蹤。圖8給出了全部41個(gè)特征點(diǎn)跟蹤結(jié)果的標(biāo)準(zhǔn)誤差，其中最大的5個(gè)標(biāo)準(zhǔn)誤差用實(shí)心三角形標(biāo)記。標(biāo)準(zhǔn)誤差是偏移量(－1,1)與跟蹤前后坐標(biāo)變化量由式(5)計(jì)算獲得的：

式中：xi是跟蹤前后橫坐標(biāo)的變化量；yi是跟蹤前后縱坐標(biāo)的變化量。

圖8 跟蹤精度

表2中列出了標(biāo)準(zhǔn)誤差最大的5個(gè)特征點(diǎn)的跟蹤結(jié)果。標(biāo)準(zhǔn)誤差的平均值＝0.069，表明本文采用的方法的運(yùn)動(dòng)估計(jì)精度可以達(dá)到亞像素級別。

2.4 穩(wěn)像速度

對海面大目標(biāo)圖像序列、海面小目標(biāo)圖像序列、純海面圖像序列以及飛機(jī)起飛時(shí)的地面圖像序列進(jìn)行穩(wěn)像速度實(shí)驗(yàn)，結(jié)果如表3所示，4組實(shí)驗(yàn)數(shù)據(jù)的單幀處理時(shí)間都小于20ms，證明本文的算法能夠滿足紅外圖像50fps采集速率下的實(shí)時(shí)處理。

表2 跟蹤結(jié)果

表3 穩(wěn)像時(shí)間

3 結(jié)論

本文以含有抖動(dòng)的機(jī)載紅外圖像序列為研究對象，進(jìn)行了基于改進(jìn)Harris角點(diǎn)的電子穩(wěn)像算法研究。改進(jìn)了傳統(tǒng)Harris角點(diǎn)的提取方法，取兩特征值中的最小值為值，保證了角點(diǎn)檢測的數(shù)量，加入距離約束條件，避免了小范圍內(nèi)出現(xiàn)大量的角點(diǎn)，保證了角點(diǎn)分布的均勻性，本文算法能夠自適應(yīng)地檢測出數(shù)目足夠且分布均勻的角點(diǎn)，并且將角點(diǎn)的定位準(zhǔn)確度提高到亞像素級別，保證了運(yùn)動(dòng)估計(jì)的準(zhǔn)確性。

實(shí)驗(yàn)結(jié)果表明，本文所采用的方法能夠?qū)l為50fps的紅外圖像序列進(jìn)行實(shí)時(shí)處理，并且運(yùn)動(dòng)估計(jì)精度可以達(dá)到亞像素級別。獲得的去除抖動(dòng)后的穩(wěn)定視頻，減輕了人眼觀看時(shí)的不適的感覺，為后續(xù)紅外圖像目標(biāo)的識別、定位與跟蹤的順利進(jìn)行提供保障。

[1] 熊晶瑩, 戴明, 趙春蕾. 紅外激光車載云臺去抖動(dòng)設(shè)計(jì)[J]. 紅外與激光工程, 2018, 47(1): 295-301.

XIONG Jingying, DAI Ming, ZHAO Chunlei. Dejitter design for infrared laser vehicle cloud platforms[J]., 2018, 47(1): 295-301.

[2] Ton-Thi K, Nguyen T, Hong M. Video stabilization algorithm using a moving alpha-trimmed mean filter window[C]//2014: 1-2.

[3] Yousaf A, Khurshid K, Khan M J, et al. Real time video stabilization methods in IR domain for UAVs—a review[C]//, 2017: 1-9.

[4] Puglisi G, Battiato S. A robust image alignment algorithm for video stabilization purposes[C]//, 2011, 21(10): 1390-1400.

[5] Umrikar D P, Tade S L. Implementation of video stabilization algorithm using block based method[C]//, 2017: 1-4.

[6] LIU Lu, DU Weitao. The vehicle-borne electronic image stabilization system based on Gray Projection Algorithm[C]//, 2011: 4687-4690.

[7] SHI X, KANGK, CAO Y. An iterative method for optical flow estimation with motion blur[C]//, 2016: 1-4.

[8] WANGJ M, CHOU H P, CHENS W, et al. Video stabilization for a hand-held camera based on 3D motion model[C]//, 2009: 3477-3480.

[9] AGUILAR W G, ANGULO C. Robust video stabilization based on motion intention for low-cost micro aerial vehicles[C]// 11,, 2014: 1-6.

[10] Sultan B, Ahmed J , Jalil A , et al. Translation and rotation invariant video stabilization for real time applications[C]//, 2017: 479-484.

[11] 唐永鶴, 陶華敏, 盧煥章, 等. 一種基于Harris算子的快速圖像匹配算法[J]. 武漢大學(xué)學(xué)學(xué)報(bào): 信息科學(xué)版, 2012, 37(4): 406-409, 414.

TANG Yonghe, TAO Huamin, LU Huanzhang,. A fast image matching algorithm based on Harris operator[J].: Information Science Edition, 2012, 37(4): 406-409, 414.

[12] 張立亭, 黃曉浪, 鹿琳琳, 等. 基于灰度差分與模板的Harris角點(diǎn)檢測快速算法[J]. 儀器儀表學(xué)報(bào), 2018, 39(2): 218-224.

ZHANG Liting, HUANG Xiaolang, LU Linlin,. Fast Harris corner detection based on gray difference and template[J]., 2018, 39(2): 218-224.

[13] SHI Jianbo, Carlo Tomasi. Good features to track[C]//, 1994: 593-600.

[14] 尹麗華, 李范鳴, 劉士建. 基于區(qū)域分割與融合的全景穩(wěn)像算法[J]. 紅外與激光工程, 2018, 47(9): 391-400.

YIN Lihua, LI Fanming, LIU Shijian. Panoramic image stabilization algorithm based on region segmentation and fusion[J]., 2018, 47(9): 391-400.

Electronic Image Stabilization of Airborne Infrared Images Based on Improved Harris Corner Detection

WANG Shiman，XU Wenhai，DONG Lili，XU Zhou

(,,116026,)

Bumps and sloshing generated during aircraft flights disrupt the capture of a sequence of infrared images. This affects the subsequent observation of the images, as well as the identification, location, and tracking of the target. In this paper, a method for real-time electronic image stabilization of airborne infrared images is proposed based on an improved Harris corner method. First, an improved Harris corner response function was combined with a distance constraint to perform corner detection. This method ensures that a sufficient number of corner points with uniform distribution can be detected, even for infrared images with poor image quality. The proposed key-frame reference method was then combined with the multi-scale pyramid optical flow algorithm; furthermore, the detected corner points were applied to the aforementioned combination, thereby achieving tracking matching and motion estimation. Consequently, electronic image stabilization of the airborne infrared images was realized. Using this method, multiple sets of jittery infrared image sequences were processed; the image size was 640′512. Experimental results show that the proposed algorithm exhibits a better corner detection effect than the traditional Harris corner detection algorithm. It can remove jitter from the airborne infrared image sequence and ensure real-time processing at an acquisition rate of 50fps.

electronic image stabilization, airborne infrared image, Harris corner detection, distance constraint

TP751

A

1001-8891(2020)06-0573-07

2019-11-15；

2020-06-09.

王施鰻（1995-），女，遼寧人，碩士研究生，主要研究方向?yàn)閳D像處理、電子穩(wěn)像。E-mail：wangshiman1995@163.com。

國家自然科學(xué)基金（61701069）；中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金（3132019340，3132019200）