基于標定信息的高低分辨率圖像配準方法

程相正,趙 威,曾朝陽,邵 銘,張 雷,胡琥香

(1.中國洛陽電子裝備試驗中心,河南 洛陽 471003；2.光電對抗測試評估技術(shù)重點實驗室,河南 洛陽 471003；3.裝備學院光電裝備系,北京 101416)

·圖像與信號處理·

基于標定信息的高低分辨率圖像配準方法

程相正1,2,趙 威1,2,曾朝陽3,邵 銘1,2,張 雷1,2,胡琥香1,2

(1.中國洛陽電子裝備試驗中心,河南 洛陽 471003；2.光電對抗測試評估技術(shù)重點實驗室,河南 洛陽 471003；3.裝備學院光電裝備系,北京 101416)

針對激光三維成像系統(tǒng)分辨率較低,特征點不易提取,同時與可見光成像系統(tǒng)圖像配準實時性不高的問題,提出了一種基于標定信息的低分辨率距離圖像與高分辨率強度圖像配準方法。首先,通過對激光三維成像系統(tǒng)與可見光成像系統(tǒng)進行標定,得到了二者的內(nèi)參數(shù)、外參數(shù)以及畸變系數(shù)；其次,利用二者的標定信息,通過構(gòu)造像素匹配模型,確定了低分辨率距離圖像像素點所對應(yīng)的高分辨率強度圖像像素點。最后,通過遍歷低分辨率距離圖像每一個像素點,實現(xiàn)低分辨率距離圖像與高分辨率強度圖像的像素配準。實驗結(jié)果表明：該方法在保持準配精度基本不變的情況下,配準時間從2.111 s減為0.856 s,降低了算法的時間消耗,具有一定的可行性。

圖像配準；高低分辨率；距離圖像；標定；實時性

1 引 言

利用無掃描激光三維成像系統(tǒng)[1]與可見光成像系統(tǒng)進行三維重建、視覺導航、目標位姿測量是當前計算機視覺領(lǐng)域的研究熱點。然而受焦平面制造工藝限制,二者成像分辨率差異較大[2-3],需要研究低分辨率距離圖像與高分辨率強度圖像像素配準方法,才能實現(xiàn)圖像融合進而提高三維重建、視覺導航、目標位姿測量精度。

圖像配準是指依據(jù)相似性度量準則,使從不同傳感器、不同視角、不同光照等條件下獲取的同一場景的兩幅或者多幅圖像,變換到同一坐標系下,在像素層上得到最佳匹配的過程[4,5]。基于圖像灰度信息的配準方法[6]不需要進行特征提取,易于實現(xiàn),但對于畸變較大的圖像尤其是異源圖像配準效果不理想,這一類方法不適用于低分辨率距離圖像與高分辨率強度圖像像素配準?；趫D像特征信息的配準方法具有魯棒性強、穩(wěn)定性高等優(yōu)點,也適用于圖像之間變換關(guān)系比較復雜的配準。該方法依賴特征空間的選擇以及特征點的提取,對于特征點不易提取的低分辨率距離圖像,配準效果則不理想,同時該方法需要進行特征提取、特征匹配,實時性有待進一步提高。針對激光三維成像系統(tǒng)成像分辨率較低,特征點不易提取,同時與可見光成像系統(tǒng)圖像配準實時性不高的問題,提出了一種基于標定信息的低分辨率距離圖像與高分辨率強度圖像配準方法,并通過實驗驗證了算法的可行性。

2 光學成像系統(tǒng)標定

光學成像系統(tǒng)的基本模型為線性成像模型,其成像基礎(chǔ)為小孔成像。設(shè)三維空間點P(xw,yw,zw)T在圖像上的投影為(u,v)T,二者的齊次坐標分別為P(xw,yw,zw,1)T和(u,v,1)T。根據(jù)線性成像模型可得：

(1)

式中,k為非零尺度因子；K為成像傳感器內(nèi)參數(shù)矩陣;(u0,v0)T為主點坐標;fu、fv分別表示圖像平面U軸、V軸方向的尺度因子;s表示U軸與V軸的不垂直因子,一般取值為0(因為一般情況下;θ值為90°,表示圖像平面為矩形)[7-8]；[RT]為光學成像系統(tǒng)外參數(shù)矩陣,與系統(tǒng)本身屬性無關(guān)[9]。

在實際應(yīng)用中,由于光學成像器件設(shè)計、制造以及組裝過程中的不精確性,致使成像過程中存在畸變,單純使用線性模型已不能準確描述光學成像系統(tǒng)成像幾何關(guān)系,需使用下述非線性成像模型進行描述：

(2)

式中,(xu,yu)T為理想圖像物理坐標;(xd,yd)T為實際圖像物理坐標;k1、k2為徑向畸變系數(shù);p1、p2為離心畸變系數(shù)。光學成像系統(tǒng)的標定就是通過求取其內(nèi)參數(shù)、外參數(shù)以及畸變系數(shù),以確定二維圖像像素點與三維空間點的對應(yīng)關(guān)系。

3 基于標定信息的圖像配準原理

不考慮光學成像過程中的畸變因素,根據(jù)激光三維成像系統(tǒng)坐標系坐標與圖像像素坐標系坐標之間的轉(zhuǎn)換關(guān)系可得：

(3)

由式(3)可以解出：

(4)

對于同一空間點P(xw,yw,zw)T,分別根據(jù)激光三維成像系統(tǒng)坐標系坐標、可見光成像系統(tǒng)坐標系坐標與世界坐標系坐標的轉(zhuǎn)換關(guān)系可得：

(5)

由式(5)可以得出：

(6)

令:

(7)

則式(6)可以轉(zhuǎn)化為：

(8)

根據(jù)可見光成像系統(tǒng)坐標系坐標與圖像像素坐標系坐標之間的轉(zhuǎn)換關(guān)系可得：

(9)

將式(8)代入式(9)可得：

(10)

令:

(11)

將式(11)代入式(10)可得：

(12)

將式(4)代入式(12)可得：

(13)

點P在激光三維成像系統(tǒng)坐標系下的坐標為(xc1,yc1,zc1)T,因此點P到激光三維成像系統(tǒng)鏡頭光心的距離為：

(14)

點P到激光三維成像系統(tǒng)鏡頭光心的距離遠大于系統(tǒng)焦距,因此可以假設(shè)激光三維成像系統(tǒng)測得點P到系統(tǒng)的距離di近似等于點P到激光三維成像系統(tǒng)鏡頭光心的距離,即：

(15)

同時由于激光三維成像系統(tǒng)視場比較小,并且假設(shè)目標處于激光三維成像系統(tǒng)視場中心位置附近,因此有：

(16)

此時,式(15)可以轉(zhuǎn)化為：

(17)

故點P在激光三維成像系統(tǒng)坐標系下的z坐標近似等于激光三維成像系統(tǒng)所獲取的點P的距離,即:

zc1≈di

(18)

將式(18)代入式(13)可得：

(19)

由于激光三維成像系統(tǒng)和可見光成像系統(tǒng)在硬件加工、安裝過程中均存在誤差,需要考慮光學系統(tǒng)成像過程中的畸變因素。根據(jù)非線性成像模型,利用實際圖像物理坐標與理想圖像物理坐標的關(guān)系,可得到實際圖像像素坐標與理想圖像像素坐標的關(guān)系為：

(20)

由以上推導過程可知,通過對可見光成像系統(tǒng)和激光三維成像系統(tǒng)的標定分別獲得內(nèi)參數(shù)、畸變系數(shù)以及可見光成像系統(tǒng)坐標系與激光三維成像系統(tǒng)坐標系相對位置關(guān)系,利用式(19)和式(20)所建立的像素匹配模型即可實現(xiàn)低分辨率距離與高分辨率強度圖像的配準。因此,基于標定信息的圖像配準流程如圖1所示。

圖1 基于標定信息的圖像配準流程

首先,分別利用基于雙線性插值算法的標定方法[7]與基于矩形消失點特性的自標定方法[10]對激光三維成像系統(tǒng)、可見光成像系統(tǒng)進行標定,得到二者的內(nèi)參數(shù)、畸變系數(shù)以及成像系統(tǒng)坐標系相對于第一幅模板圖像的外參數(shù)；其次,利用式(19)和式(20)所構(gòu)造的像素匹配模型,確定(ui,vi)所對應(yīng)的高分辨率強度圖像像素(uj,vj)；最后,遍歷低分辨率距離/強度圖像每一個像素點,實現(xiàn)高分辨率強度圖像與距離/強度圖像的像素配準。

4 實驗驗證及結(jié)果分析

4.1 可行性驗證及結(jié)果分析

為了驗證基于標定信息的圖像配準原理的可行性,在激光三維成像系統(tǒng)與可見光成像系統(tǒng)相對位置固定的前提下,利用基于雙線性插值算法的低分辨率傳感器標定方法和基于矩形消失點特性的傳感器自標定方法從不同方位拍攝8幅模板圖像進行標定,得到激光三維成像系統(tǒng)與可見光成像系統(tǒng)非線性成像模型參數(shù),如表1所示。

表1 光學成像系統(tǒng)參數(shù)

由式(7)可以解出可見光成像系統(tǒng)坐標系相對于激光三維成像系統(tǒng)坐標系的相對位置參數(shù)為：

利用激光三維成像系統(tǒng)得到標定模板距離/強度圖像,獲取每一個像素點的距離信息。此時,激光三維成像系統(tǒng)光軸正對模板像素點距離d=3.07m。

然后,分別提取標定模板激光三維成像系統(tǒng)強度圖像和可見光成像系統(tǒng)強度圖像角點像素坐標,根據(jù)像素匹配模型,計算出可見光成像系統(tǒng)所成強度圖像角點像素坐標,并與該角點實際圖像像素坐標進行比較,得到了前4幅模板圖像的角點像素偏差如圖2所示。

圖2 圖像角點像素偏差分布圖

從圖2可以看出,圖像角點偏差比較均勻,u軸方向最大偏差為8.90pixel,v軸方向最大偏差為9.84pixel,u軸方向平均像素偏差為4.20pixel,v軸方向平均像素偏差為4.08pixel,圖像像素偏差較大。分析其原因主要有：

1)光學成像系統(tǒng)標定精度影響?；诰匦蜗c特性的自標定方法精度依賴模板圖像數(shù)目,當模板圖像數(shù)目達到20幅以上,標定誤差顯著下降,標定精度明顯提高,而本實驗中僅利用8幅圖像對可見光成像系統(tǒng)進行標定,標定精度不夠高。利用20幅不同方位角模板圖像對可見光成像系統(tǒng)標定,前4幅圖像角點像素偏差分布如圖3所示。

圖3 利用20幅模板圖像時的角點像素偏差分布圖

對比圖2、3可以看出,圖像角點像素偏差得到了一定程度地減小。圖像u軸方向最大偏差為7.82pixel,v軸方向最大偏差為7.14pixel,u軸方向平均像素偏差為3.46pixel,v軸方向平均像素偏差為3.02pixel。利用20幅模板圖像對可見光成像系統(tǒng)進行標定,標定精度得到了提高,角點像素偏差有一定程度減小。因此,光學成像系統(tǒng)的標定精度能夠影響像素空間配準的準確度。而基于雙線性插值算法的標定方法雖然提高了低分辨率光學成像系統(tǒng)標定精度,但受焦平面制造工藝限制,激光三維成像系統(tǒng)分辨率較低,致使對激光三維成像系統(tǒng)的標定精度仍不夠高,影響距離/強度圖像與高分辨率強度圖像的配準精度。

2)成像距離影響。在本實驗中,由于實驗室空間有限,標定模板與激光三維成像系統(tǒng)距離為d=3.07m,而標定模板大小為40cm×40cm。即使激光三維成像系統(tǒng)視場比較小并且標定模板處于激光三維成像系統(tǒng)視場中心位置附近,但對于標定模板邊緣附近的角點,式(17)仍存在一定的偏差,并且距離/強度圖像邊緣附近角點距離大于光軸正對角點到激光三維成像系統(tǒng)的距離,越靠近邊緣,偏差越大,因此圖像角點像素偏差基本成均勻分布。當標定模板與激光三維成像系統(tǒng)距離增至d=5.11m(實驗室空間允許最大距離)時,利用20幅不同方位角模板圖像進行標定,前4幅圖像角點像素偏差分布如圖4所示。

圖4 距離d=5.11 m時的圖像像素偏差分布圖

對比圖3、4可以看出,當標定模板與激光三維成像系統(tǒng)距離增至d=5.11m時,圖像角點像素偏差進一步減小。圖像u軸方向最大偏差為5.12pixel,v軸方向最大偏差為6.04pixel,u軸方向平均像素偏差為2.54pixel,v軸方向平均像素偏差為2.60pixel。標定模板與激光三維成像系統(tǒng)距離增大,圖像角點像素偏差減小,激光三維成像系統(tǒng)所成圖像與可見光成像系統(tǒng)所成圖像像素空間配準精度得到了提高。理論上講,當目標距離從d=5.11m繼續(xù)增大時,圖像像素空間配準精度會進一步提高。

由以上實驗可知,在光學成像系統(tǒng)標定精度較高的情況下,對3～5m的目標進行探測時,圖像像素最大偏差為6.0～7.8個像素,平均像素偏差為2.6～3.5個像素。同時,該方法在圖像配準時無需進行特征的提取,規(guī)避了激光三維成像系統(tǒng)成像分辨率較低的問題,具有一定的可行性。

4.2 實時性驗證及結(jié)果分析

為了進一步驗證基于光學成像系統(tǒng)標定信息的低分辨率距離圖像與高分辨率強度圖像配準效果,引入了圖像像素RMSE(RootMeanSquareError,RMSE)、配準時間以衡量算法的配準精度和速度。實驗中(實驗平臺硬件環(huán)境為：Intel(R)Core(TM)2DuoCPUE7500,主頻為2.93GHz,內(nèi)存為2G；軟件開發(fā)環(huán)境為：WindowsXP32位操作系統(tǒng),MATLAB(R2010a)),分別提取標定模板激光三維成像系統(tǒng)強度圖像和可見光成像系統(tǒng)強度圖像角點像素坐標,根據(jù)像素空間配準模型,求解出可見光成像系統(tǒng)所成強度圖像角點像素坐標,進一步計算出該坐標與其實際圖像像素坐標的RMSE[11],并與基于改進SURF算子的高低分辨率圖像配準方法結(jié)果進行了對比,其結(jié)果如表2所示。

表2 配準算法對比

從表2可以看出,雖然基于標定信息的圖像配準RMSE略微增加(這是因為低分辨率激光三維成像系統(tǒng)標定精度有待進一步提高),但由于該方法在可見光成像系統(tǒng)、激光三維成像系統(tǒng)二者屬性以及相對位置不變的前提,只要掌握二者的標定信息即可實現(xiàn)激光三維距離圖像與可見光強度圖像像素配準,無需進行圖像特征提取與特征匹配,致使該方法的配準時間從2.111s降為0.856s,提高了算法的實時性。

5 結(jié) 語

針對激光三維成像系統(tǒng)成像分辨率較低,特征點不易提取,同時與可見光成像系統(tǒng)圖像配準實時性不高的問題,提出了一種基于標定信息的低分辨率距離圖像與高分辨率強度圖像像素空間配準方法。該方法在激光三維成像系統(tǒng)與可見光成像系統(tǒng)標定的基礎(chǔ)上,通過構(gòu)造像素匹配模型,實現(xiàn)了低分辨率距離/強度圖像與高分辨率強度圖像像素的空間配準。該方法無需特征點提取,規(guī)避了激光三維成像系統(tǒng)成像分辨率較低的問題,提高了圖像配準的實時性,為激光三維圖像與可見光圖像融合提供了技術(shù)支撐。

[1] ZHANG Xudong，SHEN Yuliang，HU Liangmei,et al.Improved super-resolution reconstruction algorithm for PMD range image[J].Journal of Image and Graphic，2012,17(4)：480-486.(in Chinese) 張旭東,沈玉亮,胡良梅，等.改進的PMD距離圖像超分辨率重建算法[J].中國圖像圖形學報，2012,17(4)：480-486.

[2] ZHAO Hongli,FAN Youchen,SUN Huayang,et al.Review about 3D laser radar system based on Geiger mode APD array[J].Laser & Infrared,2013,43(10):1083-1088.(in Chinese) 趙洪利,范又臣,孫華燕,等.基于蓋革模式APD陣列的非掃描激光三維成像雷達研究綜述[J].激光與紅外,2013,43(10):1083-1088.

[3] D F Figer, J Lee,B J Hanold,et al.A photo counting detector for explanet missions[J].SPIE,2011,815:81510k.

[4] CHEN Hang,DU Xiaoping,XIA Lurui,et al.Registration method for hyperspectral image based on control points[J].Joural of Academy of Equipment,2013,24(3):109-113.(in Chinese) 陳杭,杜小平,夏魯瑞,等.基于控制點的一種高光譜圖像配準方法[J].裝備學院學報,2013,24(3):109-113.

[5] ZENG Zhaoyang,CHENG Xiangzheng,CHEN Hang,et al.Registration method of high-low resolution images based on improved SURF[J].Laser & Infrared,2014,44(2):207-212.(in Chinese) 曾朝陽,程相正,陳杭,等.基于改進SURF算子的高低分辨率圖像配準方法[J].激光與紅外,2014,44(2):207-212.

[6] ZHANG Ran,WANG Lei,XIA Wei,et al.Comparision of similarity measurement and optimazation methods in 2D/3D image registration[J].Laser & Infrared,2014,44(1):98-102.(in Chinese) 張冉,王雷,夏威,等.2D/3D圖像配準中的相似性測度和優(yōu)化算法[J].激光與紅外，2014,44(1):98-102.

[7] CHENG Xiangzheng,ZENG Zhaoyang,CHEN Hang,et al.Calibration method of low-resolution sensor based on bilinear interpolation strategy[J].Laser & Optoelectronics Progress,2013,50(7):071501.(in Chinese) 程相正,曾朝陽,陳杭,等.基于雙線性插值算法的低分辨率傳感器標定方法[J] .激光與光電子學進展,2013,50(7):071501.

[8] WANG Xiangjun,WANG Jing,LIU Feng,et al.Fast calibration for binocular vision measuring system with a large field[J].Optics and Precision Engineering，2013,21(10):2664-2671.(in Chinese) 王向軍,王晶,劉峰,等.野外大視場雙目視覺物體定位監(jiān)測系統(tǒng)的單參數(shù)快速標定[J].光學 精密工程,2013,21(10):2664-2671.

[9] GUO Tao,DA Feipeng,FANG Xu.Camera calibration under small field of view[J].Chinese Journal of Lasers,2012,39(8):164-168.(in Chinese) 郭濤,達飛鵬,方旭.小視場環(huán)境下的攝像機標定[J].中國激光,2012,39(8):164-168.

[10]Zhaoyang Z,Xiangzheng C,Hang C.Research on method of sensor self-calibration based on the characteristic of rectangular vanishing point[C].Proc.SPIE8908,International Symposium on Photoelectronic Detection and Imaging 2013:Imaging Sensors and Applications,89080C.

[11]CHEN Jie,FU Dongmei,LIU Yan.Method of infrared and visible image registration based on similar triangles matching[J].Laser & Infrared,2010,40(2):215-218.(in Chinese) 陳潔,付冬梅,劉燕.基于相似三角形匹配的紅外與可見光圖像配準方法[J].激光與紅外,2010,40(2):215-218.

Registration method between high-low resolution images based on calibration information

CHENG Xiang-zheng1,2,ZHAO Wei1,2,ZENG Zhao-yang3,SHAO Ming1,2
ZHANG Lei1,2,HU Hu-xiang1,2

(1.Luoyang Electronic Equipment Test Center of China,Luoyang 471003,China;2.Key Laboratory of Electro-Optical Countermeasures Test & Evaluation Technology,Luoyang 471003,China;3.Department of Optical and Electrical Equipment,the Academy of Equipment,Beijing 101416，China)

Due to the low-resolution of three-dimension laser image,feature points are difficult to extract and the speed of image pixel registration between three-dimensional image and visible image is slow. In order to solve these problems,a registration method between low resolution distance image and high resolution intensity image is proposed based on the calibration information of optical imaging systems. Firstly,by means of calibrations of the three-dimensional image and visible image,their intrinsic & external parameters and distortion coefficients are obtained. Subsequently,by establishing pixel registration model,the corresponding pixels between low-resolution distance image and high-resolution intensity image are determined on the basis of their calibration informations. Finally,by iterating each pixel of low-resolution image,the pixel registration is achieved. The experiment results show that the proposed method reduces the registration time from 2.111 s to 0.856 s,while remains registration accuracy.

image registration; low & high resolution; distance image; calibration; real-time

1001-5078(2015)02-0214-07

國家高技術(shù)研究發(fā)展計劃資助項目。

程相正(1989-),男，碩士研究生，助理工程師，主要從事光電偵察、圖像融合等方面的研究。 E-mail:846248088@qq.com

2014-06-11;

2014-07-06

TP391.41

A

10.3969/j.issn.1001-5078.2015.02.021