基于雙相機(jī)的激光照射性能監(jiān)測(cè)系統(tǒng)圖像畸變矯正方法

徐向鍇，羅秦，景文博，劉健

（1.長(zhǎng)春理工大學(xué) 光電工程學(xué)院，長(zhǎng)春 130022；2.長(zhǎng)春理工大學(xué) 電子信息工程學(xué)院，長(zhǎng)春 130022）

激光照射性能監(jiān)測(cè)系統(tǒng)是靶場(chǎng)鑒定、定型試驗(yàn)中的重要測(cè)試設(shè)備之一；該系統(tǒng)主要由激光照射器，移動(dòng)靶車和成像系統(tǒng)組成。在拍攝過(guò)程中，相機(jī)跟隨物體進(jìn)行原地轉(zhuǎn)動(dòng)，由于拍攝角度是動(dòng)態(tài)變化的，拍攝出的圖像存在透視畸變；且成像部分采用的紅外光、可見光兩路相機(jī)存在不同視場(chǎng)、不同分辨率、不共軸和紅外光圖像無(wú)明顯參考標(biāo)志的問(wèn)題，導(dǎo)致無(wú)法同時(shí)實(shí)現(xiàn)對(duì)雙路圖像的矯正。

目前，對(duì)圖像透視畸變矯正大多停留在單相機(jī)系統(tǒng)下的矯正，主要方法有角度矯正法，利用Radon變換［1-2］或者Hough變換［3］檢測(cè)出圖像的傾斜角度并進(jìn)行矯正，忽略了透視畸變、默認(rèn)畸變圖像與原圖像滿足仿射變換，當(dāng)相機(jī)與物體距離較近時(shí)，矯正算法將不在有效；Wand［4］、Lucchese［5］等人提出了同時(shí)校正傾斜畸變和徑向畸變的方法，但需要引入5次多項(xiàng)式的徑向畸變模型，大大增加了算法的復(fù)雜度；利用放射非線性變換矩陣進(jìn)行鏡頭畸變矯正［6］，但無(wú)法確定非線性矩陣的初值，所以容易引起較大的誤差；根據(jù)傳統(tǒng)的像差理論，利用圖像采集系統(tǒng)中光學(xué)子系統(tǒng)的結(jié)構(gòu)參數(shù)計(jì)算出畸變曲線，作為空間變換的規(guī)則，對(duì)圖像實(shí)施矯正［7］，此方法需要知道光學(xué)系統(tǒng)的結(jié)構(gòu)參數(shù)這往往有諸多不便，因此這種方法不常用。而本系統(tǒng)采用的是雙路相機(jī)，而紅外光圖像中為了對(duì)光斑進(jìn)行清晰成像，背景會(huì)變得模糊，因此無(wú)法對(duì)紅外光圖像進(jìn)行單獨(dú)的透視畸變矯正。在這些條件下，對(duì)兩路相機(jī)進(jìn)行透視畸變的矯正是很困難的，目前還沒有一種有效的方法能夠同時(shí)矯正雙路圖像，因此需要一種針對(duì)性的方法來(lái)解決該困難。

本文根據(jù)這一問(wèn)題，提出了一種在雙相機(jī)透視系統(tǒng)下的雙路圖像矯正方法。該方法利用空間坐標(biāo)系變換、矩陣運(yùn)算，在不需要畸變圖像旋轉(zhuǎn)角度的情況下能夠?qū)梢姽鈭D像和紅外光圖像同時(shí)矯正。實(shí)驗(yàn)結(jié)果表明，本文算法有矯正效果顯著，速度快、復(fù)雜度低等優(yōu)點(diǎn)。

1 雙相機(jī)成像測(cè)量原理

1.1 雙相機(jī)成像測(cè)量系統(tǒng)概述

圖1是雙相機(jī)成像測(cè)量設(shè)備結(jié)構(gòu)示意圖，測(cè)量系統(tǒng)由激光照射器、靶板、雙路CCD相機(jī)和計(jì)算機(jī)組成。靶板在靶道上水平移動(dòng)，轉(zhuǎn)臺(tái)上的雙路CCD相機(jī)跟隨靶板轉(zhuǎn)動(dòng)，分別用可見光相機(jī)和紅外相機(jī)實(shí)時(shí)采集靶板圖像和紅外光斑圖像并保存。完成保存后，再提取靶板十字中心和光斑中心，根據(jù)圖像上光斑中心與靶板十字中心的相對(duì)位置，計(jì)算出兩者的偏差量，用以指代武器系統(tǒng)的指向精度。

圖1 雙相機(jī)成像測(cè)量設(shè)備結(jié)構(gòu)示意圖

1.2 雙相機(jī)系統(tǒng)透視畸變

如圖2所示，在利用CCD相機(jī)錄取圖像時(shí)，由于相機(jī)無(wú)法正對(duì)靶板，使得相機(jī)光軸與靶板平面的法線方向存在夾角，根據(jù)相機(jī)的透視成像原理，此時(shí)可見光CCD相機(jī)所成的靶板圖像存在透視畸變，這會(huì)對(duì)之后的靶板十字中心的提取造成誤差；同樣的，當(dāng)紅外光相機(jī)對(duì)光斑成像時(shí)也會(huì)存在透視畸變，對(duì)光斑中心的提取造成誤差。并且本系統(tǒng)是雙相機(jī)系統(tǒng)，可見光相機(jī)與紅外相機(jī)不同軸，且分別率與視場(chǎng)角均不相同，因此兩者所成的像存在三維空間上的差異，這更增加了后期處理的難度，為了提高測(cè)量精度，在識(shí)別圖像之前，要對(duì)畸變的靶板圖像和紅外光斑圖像進(jìn)行畸變矯正。本文提出了一種基于雙相機(jī)透視系統(tǒng)的畸變圖像矯正方法。

圖2 畸變成像示意圖

2 雙相機(jī)透視畸變矯正

由于本系統(tǒng)為攝遠(yuǎn)系統(tǒng)，受到大氣湍流的影響較大，為了保證光斑的質(zhì)量，減少光在傳播過(guò)程中受到環(huán)境的影響，采用波長(zhǎng)為1 064 nm的激光照射器發(fā)射光斑。雙相機(jī)系統(tǒng)中，可見光相機(jī)的響應(yīng)波長(zhǎng)范圍是380～780 nm，紅外光相機(jī)的相應(yīng)波長(zhǎng)范圍為（1 064±1）nm。因此在紅外光相機(jī)所成的像中除了光斑外幾乎沒有其他可以參照的標(biāo)志點(diǎn)，而在成像過(guò)程中為了對(duì)光斑進(jìn)行清晰成像，背景會(huì)變得更加模糊，無(wú)法獲得合作目標(biāo)的位置，因此無(wú)法使用現(xiàn)有的技術(shù)對(duì)紅外光畸變圖像進(jìn)行單獨(dú)的透視畸變校正。

針對(duì)這一問(wèn)題，本文提出了一種基于空間變換的矯正方法?；驹硎抢脙蓚€(gè)空間的變換關(guān)系，將紅外圖像的矯正問(wèn)題轉(zhuǎn)化為在可見光空間下的矯正?；痉椒ㄊ鞘紫冗\(yùn)用網(wǎng)格板標(biāo)定法，確定可見光空間坐標(biāo)與紅外光空間坐標(biāo)的坐標(biāo)轉(zhuǎn)換關(guān)系，即矩陣T2；然后運(yùn)用目標(biāo)識(shí)別技術(shù)，計(jì)算出可見光圖像矯正矩陣T1，用于對(duì)可見光圖像的矯正；最后計(jì)算出紅外光圖像矯正矩陣T3。

2.1 坐標(biāo)變換矩陣

將紅外光圖像的矯正問(wèn)題利用坐標(biāo)變換矩陣使其在可見光的三維空間中完成，如圖3所示。

圖3 紅外光斑圖像空間變換示意圖

實(shí)驗(yàn)所需的設(shè)備為：光源、標(biāo)準(zhǔn)網(wǎng)格板、平行光管、雙路相機(jī)、計(jì)算機(jī)、相關(guān)軟件，實(shí)驗(yàn)系統(tǒng)如圖4所示。

圖4 標(biāo)準(zhǔn)網(wǎng)格板標(biāo)定系統(tǒng)

具體做法為利用可見光相機(jī)以及紅外光相機(jī)分別對(duì)標(biāo)準(zhǔn)網(wǎng)格板進(jìn)行靜態(tài)采像，獲取靜態(tài)可見光圖像以及靜態(tài)紅外光圖像，采集到的圖像如圖5所示。

圖5 網(wǎng)格板圖像

在圖5中，可以找到兩條亮度最亮的相互垂直的直線，為標(biāo)準(zhǔn)網(wǎng)格板的中心線，然后以其中視場(chǎng)較小的圖像為基準(zhǔn)，以標(biāo)準(zhǔn)網(wǎng)格板中心線為依據(jù)，讀取網(wǎng)格頂定點(diǎn)坐標(biāo)，獲取靜態(tài)可見光圖像上的多個(gè)可見光特征點(diǎn)；在靜態(tài)紅外光圖像上獲取與可見光特征點(diǎn)同一位置的紅外光特征點(diǎn)；值得注意的是在兩幅圖像中讀取的特征點(diǎn)坐標(biāo)必須要一一對(duì)應(yīng)。

根據(jù)可見光特征點(diǎn)以及紅外光特征點(diǎn)確定坐標(biāo)變換矩陣。

一般的，4對(duì)特征點(diǎn)即可得出坐標(biāo)變換矩陣。特征點(diǎn)對(duì)越多，矩陣越精確。在實(shí)際應(yīng)用中取10～15對(duì)特征點(diǎn)，設(shè)：

通過(guò)公式（2）即可解出T2，計(jì)算公式如下：

其中，（x，y）為原始圖像像素坐標(biāo)；（u=X/W，v=Y/W）為變換后的圖像像素坐標(biāo)。

2.2 雙相機(jī)圖像矯正

對(duì)于可見光靶板圖像的矯正，采取的是合作目標(biāo)檢測(cè)法［8］，對(duì)于合作目標(biāo)的檢測(cè)，如圖6所示。

圖6 合作目標(biāo)檢測(cè)流程圖

由小孔成像原理可知：

其中，w和h為靶板的寬高；u和v為靶板寬高所占像素?cái)?shù)；f為焦距；μ為相機(jī)的像元尺寸；L為相機(jī)到靶板中心的距離。則理想控制點(diǎn)坐標(biāo)的計(jì)算公式為：

設(shè)可見光透視變換矩陣為：

矩陣的前兩行實(shí)現(xiàn)了線性變換和平移，第三行用于實(shí)現(xiàn)透視變換。

則畸變矯正的過(guò)程為：

其中，(x,y)是畸變圖像的像素點(diǎn)坐標(biāo)；(x′,y′)是正視圖像的坐標(biāo)；m11，m12，m13，m21，m22，m23，m31，m32，m33是透視變換參數(shù)。

以上公式設(shè)變換之前的點(diǎn)是z值為1的點(diǎn)，它三維平面上的值是x，y，1；在二維平面上的投影是x，y；通過(guò)矩陣變換成三維中的點(diǎn)X，Y，Z；再通過(guò)除以三維中Z軸的值，轉(zhuǎn)換成二維中的點(diǎn)x'，y'。

將4對(duì)實(shí)際靶板的合作目標(biāo)與對(duì)應(yīng)的畸變圖像上的合作目標(biāo)點(diǎn)作為已知條件，可以解出透視變換參數(shù)［9］，將上式改寫為：

再將理想靶板圖像和畸變靶板圖像上的四個(gè)點(diǎn)對(duì)帶入到以上公式中得：

將上式記做：

得：

從而可求得可見光透視變換參數(shù)，得到可見光透視變換矩陣T1。

設(shè)畸變的靶板圖像為 f(x , y)，矯正后的無(wú)畸變的靶板圖像為g(x , y )，則：

利用公式

確定紅外光透視變換矩陣T3。在根據(jù)公式：

求得矯正后的紅外光斑圖像。

從而實(shí)現(xiàn)對(duì)雙相機(jī)系統(tǒng)的畸變矯正

根據(jù)上述過(guò)程，本文提出的畸變矯正方法如圖7所示。

圖7 畸變矯正示意圖

大致步驟如下所示：

（1）通過(guò)標(biāo)準(zhǔn)網(wǎng)格板標(biāo)定法計(jì)算坐標(biāo)變換矩陣T2。

（2）對(duì)可見光靶板圖像做合作目標(biāo)點(diǎn)匹配算法，得到畸變前后合作目標(biāo)在圖像上的對(duì)應(yīng)坐標(biāo)關(guān)系，計(jì)算可見光透視變換矩陣T1。

（3）利用可見光透視變換矩陣T1和坐標(biāo)變換矩陣T2計(jì)算出紅外光透視變換矩陣T3。

（4）利用可見光透視變換矩陣T1對(duì)可見光靶板圖像矯正；利用紅外光透視變換矩陣T3對(duì)紅外光斑圖像矯正。

3 實(shí)驗(yàn)結(jié)果和討論

雙相機(jī)透視系統(tǒng)由激光照射器，可見光CCD相機(jī)、紅外光CCD相機(jī)、計(jì)算機(jī)等組成。設(shè)備參數(shù)如表1所示。

表1 設(shè)備參數(shù)

用標(biāo)準(zhǔn)網(wǎng)格板選取的可見光圖像特征點(diǎn)如表2所示。

表2 可見光圖像標(biāo)準(zhǔn)網(wǎng)格板特征點(diǎn)

用標(biāo)準(zhǔn)網(wǎng)格板選取的紅外光圖像特征點(diǎn)如表3所示。

表3 紅外光圖像標(biāo)準(zhǔn)網(wǎng)格板特征點(diǎn)

由兩幅標(biāo)準(zhǔn)網(wǎng)格板采集到特征點(diǎn)計(jì)算到的坐標(biāo)變換矩陣為：

通過(guò)參數(shù)計(jì)算得出的理想靶板合作目標(biāo)坐標(biāo)點(diǎn)與識(shí)別得出畸變圖像靶板合作目標(biāo)點(diǎn)如表4所示。

表4 靶板圖像畸變前后的合作目標(biāo)點(diǎn)坐標(biāo)

由這四對(duì)點(diǎn)計(jì)算出的可見光透視變換矩陣為：

通過(guò)公式（19）對(duì)可見光畸變圖像進(jìn)行透視畸變矯正，結(jié)果如圖8所示。

圖8 可見光圖像矯正結(jié)果

比較兩幅圖像可以看出，矯正前圖像中的圖像具有較大的畸變，在校正后的圖像上畸變得到了正確校正，說(shuō)明該方法切實(shí)可行。

通過(guò)公式（16）計(jì)算出紅外光透視變換矩陣T3，通過(guò)上述公式對(duì)紅外光畸變圖像進(jìn)行透視畸變矯正，結(jié)果如圖9所示。

圖9 紅外光圖像矯正結(jié)果

比較兩幅圖像可以看出，校正前圖像中的圖像具有較大的畸變，在校正后的圖像上畸變得到了正確校正，說(shuō)明該方法切實(shí)可行。

4 結(jié)論

本文提出的一種應(yīng)用于雙相機(jī)系統(tǒng)的圖像畸變矯正的方法，通過(guò)透視變換原理，對(duì)畸變的可見光圖像進(jìn)行有效矯正；采用標(biāo)準(zhǔn)網(wǎng)格板標(biāo)定，計(jì)算出空間坐標(biāo)變換矩陣，進(jìn)而實(shí)現(xiàn)對(duì)畸變的紅外光斑圖像的矯正。實(shí)驗(yàn)表明：該方法矯正速度快，效果好，能夠有效解決當(dāng)可見光相機(jī)與紅外光相機(jī)應(yīng)用于同一系統(tǒng)時(shí)，對(duì)紅外光斑的矯正難題，在后續(xù)的測(cè)量中能夠有效的提高測(cè)量精度，減少因透視畸變引入的誤差。