基于目標(biāo)與背景相異位移配準(zhǔn)的非均勻校正算法

楊 碩，趙保軍，毛二可，唐林波

基于目標(biāo)與背景相異位移配準(zhǔn)的非均勻校正算法

楊 碩，趙保軍，毛二可，唐林波

（北京理工大學(xué)，北京100081）

本文針對場景圖像中目標(biāo)和背景存在著不同運動的情況，提出了一種基于圖像分離和配準(zhǔn)技術(shù)的校正算法，新算法通過傅里葉變換相位相關(guān)方法，估計出目標(biāo)與背景的兩種運動位移，然后通過計算匹配像素點的平均絕對誤差將目標(biāo)和背景進(jìn)行標(biāo)識區(qū)分，建立關(guān)于目標(biāo)和背景位移量的誤差平方和方程組，求解得到亞像素位移量，改進(jìn)了原有的代數(shù)校正方法，分別根據(jù)目標(biāo)和背景的位移順序校正，并通過剔除無匹配點的雙線性插值方法對新算法進(jìn)行完善。計算機模擬圖像序列與實際紅外圖像序列的實驗結(jié)果表明，該算法比目前常用的代數(shù)校正算法具有更好的適應(yīng)性，具有較高的實用價值。

相異位移；傅里葉變換；平均絕對誤差；雙線性插值；代數(shù)校正

1 引 言

紅外焦平面探測器陣列（Infrared Focal Plane Array，IRFPA）是熱成像系統(tǒng)的重要組成部分，但由于受到材料、工藝水平等因素的限制，IRFPA各探測元的響應(yīng)不一致，在圖像上表現(xiàn)為固定圖案噪聲（Fixed Pattern Noise，F(xiàn)PN），呈現(xiàn)非均勻性，影響熱成像系統(tǒng)的成像質(zhì)量［1］。

IRFPA的非均勻校正（Non-Uniformity Correction，NUC）技術(shù)目前可分為基于參考源的定標(biāo)校正［2］和基于場景的自適應(yīng)校正（Scene-Based Non-U-niformity Correction，SBNUC）兩類，后者不需要使用參考源，能夠自適應(yīng)地更新非均勻性校正參數(shù)，已獲得成功應(yīng)用［3］。

在SBNUC算法中，Scribner等人提出了基于神經(jīng)網(wǎng)絡(luò)（Neural Network Non-Uniformity Correction，NN-NUC）的非均勻校正算法［4］，Hardie等人提出了基于配準(zhǔn)類（Algebraic Scene-Base Non-Uniformity Correction，ASB-NUC）的非均勻校正算法［5］，已成為相關(guān)算法的典范。Ratliff等人提出的代數(shù)校正算法是一類有效的方法，但是受到兩幀圖像必須是整像素位移的約束。2003年Ratliff［6］和2005年Jing Sui［7］在亞像素位移下，提出周邊一點校正并向內(nèi)傳遞校正參數(shù)的代數(shù)算法，但需要插入可伸縮的機械邊框；2006年金偉其［8］引入分組的思想，無需額外的機械結(jié)構(gòu)。但算法僅適用于幀間只有水平或垂直位移的情況。2011年劉崇亮［9］提出基于虛擬邊框視場光闌的校正算法，突破了對位移的嚴(yán)格限制，取得了良好的效果。

上述校正算法都是在圖像中僅存在全局運動的條件下，通過相位相關(guān)［10］或者Keren［11］算法獲得位移估計。但在目標(biāo)跟蹤和制導(dǎo)領(lǐng)域，圖像中同時存在著不同運動的目標(biāo)和背景，在這種情況下，原有的運動估計方法配準(zhǔn)精度下降，會導(dǎo)致校正性能不足。本文利用傅里葉變換相位相關(guān)方法估計出目標(biāo)與背景的兩種運動位移，并在相鄰兩幀相同場景亮度恒定不變假設(shè)的基礎(chǔ)上［12］結(jié)合神經(jīng)網(wǎng)絡(luò)優(yōu)化代數(shù)算法，利用代數(shù)校正算法去除圖像的非均勻性噪聲。

2 非均勻性模型

熱成像系統(tǒng)在通常目標(biāo)場景下，IRFPA的響應(yīng)近似為線性，即在n時刻對于第（x，y）個紅外焦平面陣列探測單元，觀測輸出值fn（x，y）用線性模型來表示，則：

其中，n為幀數(shù)；b（x，y）是第（x，y）個探測元的偏置；gn（x，y）為n時刻第（x，y）個焦平面探測元所接收到輻照度。式（1）的非均勻校正模型為：

其中，o（x，y）＝－b（x，y）為像元（x，y）的偏置校正系數(shù)。

3 本文算法原理

3.1 基于目標(biāo)和背景相異位移的運動粗估計

當(dāng)圖像中存在運動目標(biāo)和整體背景時，如果假設(shè)幀間場景亮度恒定，則關(guān)于目標(biāo)和背景的幀間關(guān)系可構(gòu)造為：

其中，g1（n）（x，y）為目標(biāo)；g2（n）（x，y）為背景。目標(biāo)的位移量為（α1（n），β1（n）），背景的位移量為（α2（n），β2（n）），則幀間的互功率譜可表示為：

其中，G1（n）和ejφ1分別表示目標(biāo)的幅度譜和相位譜；G2（n）和ejφ2分別表示背景的的幅度譜和相位譜。對幀間歸一化互功率譜的兩端進(jìn)行傅里葉逆變換，得到相位相關(guān)函數(shù)表達(dá)式如下：

相位相關(guān)函數(shù)中，第一項和第二項分別在坐標(biāo)（α1（n），β1（n））和（α2（n），β2（n））位置上出現(xiàn)了沖激函數(shù)，在函數(shù)結(jié)果平面上呈現(xiàn)為兩個峰值，分別為運動物體的位移和背景的整體位移。

3.2 基于目標(biāo)和背景相異亞像素位移的運動估計

3.2.1 原有的背景整體位移的亞像素估計

亞像素位移可采用文獻(xiàn)［11］提出用Lucas-Kanade算法實現(xiàn)，基于圖像的泰勒展開與近似，通過誤差平方和最小化求得閉式解。為了減小運算量，可采用先對圖像進(jìn)行整像素位移粗估計，把幀間位移約束到1個像素之內(nèi)，再用Lucas-Kanade算法實現(xiàn)微位移的估計。

3.2.2 目標(biāo)與背景的分離

目標(biāo)與背景的相對運動示意圖如圖1所示，背景幀間的位移是（1，1），目標(biāo)幀間位移為（1，－1）。其中數(shù)字100表示第n幀運動目標(biāo)的灰度，其他數(shù)字為背景的灰度。從示意圖可以看出第n幀內(nèi)的數(shù)字1，2，3，6，9，10，11，100都可以在第n＋1幀找到匹配點。而數(shù)字5在下一幀無匹配點。

圖1 目標(biāo)和背景分離運動示意圖

為了保證微位移估計的精度，對各像素點按照目標(biāo)和背景的位移方向做平均絕對誤差（Mean Absolute Difference，MAD）運算以確定其隸屬于目標(biāo)點、背景點還是無匹配點，即：

其中，Ωx，y為以（x，y）為中心的鄰域窗口，大小為M×N，屬于目標(biāo)或背景的判決條件為：

無匹配點為第n幀內(nèi)距離目標(biāo)點位移為（α1（n）－α2（n），β1（n）－β2（n））的像素點，不參與亞像素位移的計算，保證估計精度。

3.2.3 本文目標(biāo)和背景相異位移的亞像素估計

得到目標(biāo)點與背景點的位移估計后，將gn（x，y）進(jìn)行位移得到一幀中間圖像g′n（x，y），應(yīng)用Lucas-Kanade算法進(jìn)行一階泰勒級數(shù)展開，并求得誤差平方和為：

要求得誤差E（Δα1（n），Δβ1（n），Δα2（n），Δβ2（n））的最小值，分別對Δα1（n）、Δβ1（n）、Δα2（n）和Δβ2（n）求偏導(dǎo)并令其為0，聯(lián)立求解可以獲得Δα1（n）、Δβ1（n）、Δα2（n）和Δβ2（n）的估計值。

3.3 基于目標(biāo)和背景相異位移的非均勻校正

3.3.1 二維亞像素級運動插值

根據(jù)Lucas-Kanade算法得到亞像素估計后，第（n＋1）幀像素點gn＋1（x，y）除了邊框點和新增的場景信息點，都可以用圖2（a）中第n幀內(nèi)四個像素點的雙線性插值來表示，背景用（x－Δα2（n）－1，y－Δβ2（n）－1）、（x－Δα2（n）－1，y－Δβ2（n））、（x－Δα2（n），y－Δβ2（n）－1）、（x－Δα2（n），y－Δβ2（n））四個像素點來插值，這四個像素點插值的權(quán)重分別為γ（1，2（n））、γ（2，2（n））、γ（3，2（n））、γ（4，2（n）），由圖2可知：

圖2 亞像素雙線性插值示意圖

且γ（1，2（n））＋γ（2，2（n））＋γ（3，2（n））＋γ（4，2（n））＝1。

由此可得：

第（n＋1）幀內(nèi)（x，y）目標(biāo)和背景像素的響應(yīng)可表示為：

3.3.2 校正系數(shù)的遞歸傳遞

引入偏置校正系數(shù)o（x，y）代替b（x，y）并消去輻射項g可得到：

3.3.3 周邊神經(jīng)網(wǎng)絡(luò)一點校正

為了計算o（x，y），需要已知o（x－αn－1，y－βn－1）、o（x－αn－1，y－βn）、o（x－αn，y－βn－1）、o（x－αn，y－βn－1）這四個偏置系數(shù)，所以第（n＋1）幀只能以左上角未校正像素點（αn＋1，βn＋1）為起點開始校正，αn＋1上方和βn＋1左邊的區(qū)域為需要已知校正系數(shù)的周邊區(qū)域。本文采用文獻(xiàn)［9］的方法對圖像四周一定寬度的范圍進(jìn)行神經(jīng)網(wǎng)絡(luò)偏置校正，定義誤差函數(shù)en（x，y）為神經(jīng)元的實際輸出＾gn（x，y）與期望值tn（x，y）差，即：

將神經(jīng)元的中值濾波輸出作為期望值，為了使誤差函數(shù)e2n（x，y）最小，根據(jù)最陡下降原則，神經(jīng)網(wǎng)絡(luò)校正的迭代方程為：

3.3.4 本文代數(shù)校正算法

本文提出的算法基于運動目標(biāo)和背景在相異位移條件下，計算包含無匹配點的雙線性插值時，無匹配點的o（p）未知，無法參與相關(guān)其他點的校正運算，所以對無匹配點要進(jìn)行剔除處理。假定無匹配點屬于公式12中p＝2的像素點，公式12改寫為如下格式（其他情況以此類推）：

以上節(jié)獲得的四周一點校正值為初始條件，按照αn＋Δαn和βn＋Δβn方向向內(nèi)部傳遞校正系數(shù)，從未校正的像素點（αn＋1，βn＋1）開始，向（αn＋1，βn＋1）所在的一行和一列順序進(jìn)行校正。以此類推，直到所有的像素點都經(jīng)過校正處理。

4 實驗結(jié)果與分析

為了測試算法的有效性，設(shè)計了模擬紅外圖像和實際紅外圖像的神經(jīng)網(wǎng)絡(luò)校正處理實驗，計算機配置為：Intel酷睿i7 2670qm，基準(zhǔn)頻率為2.2G，四核睿頻為2.8G，內(nèi)存為4G，處理軟件平臺為Matlab R2012（a）。

4.1 目標(biāo)和背景位移估計的仿真實驗

圖3（a）和圖3（b）為選取的兩幅240×320，14bit的無噪紅外圖像，幀間背景整體向右移動了2個像素，向下移動了1個像素，模擬產(chǎn)生5×5大小的運動目標(biāo)疊加到這兩幅圖像中的不同位置，第二幅相對于第一幅，目標(biāo)向左移動了8個像素，向下移動了30個像素。先求得自功率譜的相位相關(guān)函數(shù)，可得沒有相關(guān)位移時的坐標(biāo)為（121，161），如圖3（c）所示，再求得兩幅圖像的互功率譜的相位相關(guān)函數(shù)分別估計目標(biāo)和背景的位移，圖3（d）中最高的兩個峰值坐標(biāo)代表了目標(biāo)和背景的位移量。圖3（e）中峰值最高的坐標(biāo)（120，159），（91，169）為分別表示了背景和目標(biāo)的位移（1，2），（30，－8），與原圖像中事先設(shè)定的位移相符。

4.2 模擬非均勻性校正仿真實驗

為了驗證文中算法對于目標(biāo)和背景相異位移圖像的校正性能，模擬產(chǎn)生均值為0，方差為32的非均勻性噪聲同時加入到圖像3（a）和圖3（b）中，生成的模擬噪聲圖像如圖4（a）和圖4（b）所示。從圖4（c）中可以看出由于非均勻噪聲的影響，目標(biāo)和背景的兩個峰值高度有所下降，但在結(jié)果平面上仍然呈現(xiàn)出最大的兩個峰值，如果圖像中非均勻噪聲比較嚴(yán)重，一般可采取低頻中心化的方法去除這部分峰值來增加目標(biāo)和背景的權(quán)值。

圖3 目標(biāo)和背景位移估計的仿真實驗

模擬圖像作整像素位移時，目標(biāo)在兩幀圖像所占的區(qū)域和其各自沿著背景位移方向的后續(xù)像素點都不作校正處理，等待后幾幀進(jìn)行校正系數(shù)補償，用代數(shù)算法校正后的圖像如圖4（d）所示，可以看到圖像中除了不可校正區(qū)域，其他部分的非均勻噪聲已基本消除，還原了圖像的本來面貌。圖4（e）為目標(biāo)在不同區(qū)域的圖像匹配校正結(jié)果，與圖4（d）相比原有的目標(biāo)區(qū)域和其各自沿著背景位移方向的后續(xù)像素點可以得到校正，將兩次的偏置校正系數(shù)結(jié)合，如圖4（f）所示，可以得到整幅圖像的校正效果。

圖1 圖4 目標(biāo)和背景位移估計的仿真實驗

4.3 真實目標(biāo)的非均勻性校正實驗

為了進(jìn)一步驗證算法的實用性，本文選取從480×640 LW MCT IRFPA所采集到真實紅外目標(biāo)序列圖像，與文獻(xiàn)［9］提出的算法進(jìn)行比較。圖5（a）和（c）為兩幀噪聲圖像，可以看出，圖中的飛機在圖像序列中保持高度相似，相應(yīng)的結(jié)果在圖5（b）中仍然顯示為僅次于背景峰值高度的一個峰值，整像素位移可以正確估計。將圖像進(jìn)行微位移后進(jìn)行雙線性插值操作，并與下一幀圖像進(jìn)行配準(zhǔn)代數(shù)校正，經(jīng)過多幀補償校正后的結(jié)果如圖5（e）所示，圖像中大部分噪聲已經(jīng)去除，群山、電塔和樓宇已清晰可見。圖5（d）為原有算法的校正結(jié)果，可見飛機覆蓋的區(qū)域及其各自沿著背景位移方向的后續(xù)像素點都出現(xiàn)了嚴(yán)重的校正錯誤。實驗證明了本文算法可以更好地從目標(biāo)和背景相異位移的非均勻圖像中恢復(fù)原始圖像。

圖5 真實目標(biāo)的非均勻性校正實驗

5 總 結(jié)

本文針對場景圖像中同時存在著相異運動的目標(biāo)和背景，提出了一種基于目標(biāo)與背景相異位移配準(zhǔn)的校正算法，新算法通過分析傅里葉變換相位相關(guān)方法，估計出目標(biāo)與背景的兩種運動位移，然后通過計算對應(yīng)匹配像素點窗口內(nèi)的平均絕對誤差將目標(biāo)點、背景點和無匹配點進(jìn)行標(biāo)識區(qū)分，建立關(guān)于目標(biāo)和背景四種位移量的誤差平方和方程組，聯(lián)合求解得到亞像素位移量，同時根據(jù)運動目標(biāo)和背景的位移方向，通過剔除無匹配點的雙線性插值方法實現(xiàn)校正運算。在不同的噪聲和目標(biāo)情況下，算法分別在計算機模擬實驗和實際實驗系統(tǒng)中得到驗證，表明算法的有效性。

［1］ Fan Yongjie，Jin Weiqi.Latest progress of IR image system processing electronic［J］.Optical Technique，2012，38（3）：362－366.（in Chinese）范永杰，金偉其.熱成像系統(tǒng)圖像處理電路的新進(jìn)展［J］.光學(xué)技術(shù)，2012，38（3）：362－366.

［2］ Yu Fandi，Sun Zhiliang.Implementation of scene-based non-uniformity correction algorithm in scanning infrared camera［J］.Laser＆Infrared，2012，42（9）：989－993.（in Chinese）于繁迪，孫志亮.基于掃描型紅外熱像儀非均勻性場景校正算法的實現(xiàn)［J］.激光與紅外，2012，42（9）：989－993.

［3］ Wang Xuewei，Li Ke.Study of non-uniformity in infrared focal plane arrays［J］.Laser＆Infrared，2012，42（10）：1131－1134.（in Chinese）王學(xué)偉，李珂.紅外焦平面陣列的非均勻性研究［J］.激光與紅外，2012，42（10）：1131－1134.

［4］ D Scribner，K Sarkady，M Kruer，et al.Adaptive nonuniformity correction for IR focal plane arrays using neural networks［C］.Infrared Sensors：Detectors，Electronics，and Signal Processing，San Diego，CA，USA，July，24，1991，1541，100.

［5］ B Ratliff，M Hayat，et al.Algebraic scene-based nonuniformity correction in focal plane arrays［C］.Proceedings of the SPIE，2001，4372：114－124.

［6］ B Ratliff，M Hayat，et al.Radiometrically accurate scenebased nonuniformity correction for array sensors［C］. Journal of the Optical Society of America A，2003，10（20）：1890－1899.

［7］ Sui Jing，Jin Weiqi.A scene-based non-uniformity correction technique for IRFPA using perimeter diaphragm strips［J］.ICCCAS，2005，720（2）：716－720.

［8］ JinWeiqi，Sui Jing.Progress of researches in scene-based nonuniformity correction for IRFPA［J］.Transactions of Beijing Institute of Technology，2006，（36）：70－75.（in Chinese）金偉其，隋婧.基于場景的紅外焦平面陣列非均勻性校正算法研究［J］.北京理工大學(xué)學(xué)報，2006，（36）：70－75.

［9］ Liu Chongliang，Jin Weiqi.Infrared non-uniformity correction algorithm based on virtual perimeter diaphragm strips［J］.Acta Electronica Sinica，2011，（5）：1159－1164.（in Chinese）劉崇亮，金偉其.基于虛擬邊框視場光闌的IRFPA自適應(yīng)非均勻性校正算法［J］.電子學(xué)報，2011，（5）：1159－1164.

［10］Lu Hao，Liu Tuanjie.Method of subpixel image registration［J］.Foreign Electronic Measurement Technology，2012，31（4）：45－49.（in Chinese）盧浩，劉團(tuán)結(jié).亞像素級的圖像配準(zhǔn)方法［J］.國外電子測量技術(shù)，2012，31（4）：45－49.

［11］Deng Jianqing，Li Jinghong.Improved motion estimation algorithm based on Fourier-Mellin transform and keren algorithm［J］.Chinese Journal of Liquid Crystals and Displays，2011，26（3）：364－369.（in Chinese）鄧建青，劉晶紅.基于Fourier-Mellin變換和Keren算法的改進(jìn)運動估計算法［J］.液晶與顯示，2011，26（3）：364－369.

［12］Ren Jianle，Chen Qian.Stripe nonuniformity correction based on registration for infrared-focal plane arrays［J］. Journal of Infrared and Millimeter，2011，30（6）：499－503.（in Chinese）任建樂，陳錢.基于配準(zhǔn)的紅外焦平面陣列條紋非均勻性校正［J］.紅外與毫米波學(xué)報，2011，30（6）：499－503.

Non-uniform ity correction algorithm based on registration of differentmotions of target and background

A new Non-Uniformity Correction algorithm based on registration of differentmotions of target and background is proposed，for the situation of different displacements of target and background in infrared image.The new method estimates two of themotions of targetand background by shift theory of Fourier Transform algorithm and identifies target and background by Mean Absolute Difference algorithm.Motions of sub-pixel by establishing equations of sum square error of displacements of target and background are obtained.The ordinarymethod of Algebraic Non-Uniformity Correction algorithm is improved by correction according displacements of target and background，and the new algorithm is completed through Bilinear Interpolationmethod with excluding nomatching pixels.Computer simulations and actual experiments’result demonstrate，comparing with the ordinary Algebraic Non-Uniformity Correction algorithm，the proposed algorithm has the superiority，adaptability and a high practical value.

different motions；fourier transform；mean absolute difference；bilinear interpolation；algebraic non-uniformity correction

TN911.73

A

10.3969／j.issn.1001-5078.2013.11.19

1001-5078（2013）11-1286-05

楊 碩（1983－），男，博士生，研究方向為紅外圖像預(yù)處理。E-mail：yangdingshe＠gmail.com

2013-04-23；

2013-05-16