下視系統(tǒng)CCD大視場鏡頭圖像畸變校正方法研究

李禮 謝井華 王紅 黎宇嘉 盆李艷

摘? 要：由于鏡頭在制造及裝配過程中必然會存在誤差，而且在廣角鏡頭的設(shè)計中不可避免的會產(chǎn)生非線性畸變，無法避免最直觀的效果就是拍到的圖像發(fā)生扭曲。為了減小畸變對圖像的影響，故需要重建整個系統(tǒng)拍攝得到的2D圖像信息與其對應(yīng)3D空間物體信息之間準(zhǔn)確的對應(yīng)關(guān)系。文章通過建立正確的數(shù)學(xué)校正模型，采用基于MATLAB內(nèi)部工具箱對相機(jī)進(jìn)行標(biāo)定，得到相機(jī)內(nèi)外參數(shù)投影矩陣關(guān)系，從而對畸變圖像進(jìn)行校正。

關(guān)鍵詞：光電模塊;畸變校正;廣角鏡頭

中圖分類號：TP273+.4? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A文章編號：2096-4706（2021）19-0168-04

Study on Image Distortion Correction Method of CCD Large Field of View Lens in Downview System

LI Li， XIE Jinghua， WANG Hong， LI Yujia， PEN Liyang

（State-owned Changhong Machinery Factory， Guilin? 541002， China）

Abstract： Due to the lens in the manufacturing and assembly process will inevitably have errors， and in the design of wide-angle lens will inevitably produce nonlinear distortion， the most intuitive effect that can not avoided is the captured image is distorted. In order to reduce the influence of distortion on the image， it is necessary to reconstruct the accurate correspondence between the 2D image information captured by the whole system and the corresponding 3D space object information.? In this paper， the correct mathematical correction model is established， and the camera is calibrated based on the internal toolbox of MATLAB， and the projection matrix relationship of the parameters inside and outside the camera is obtained， so as to correct the distorted image.

Keywords： photoelectric module; distortion correction; wide angle lens

0? 引? 言

航空成像產(chǎn)品在航空偵察中扮演著非常重要的角色，其可安裝在各種類型的飛行器上，是獲取地面及空中目標(biāo)信息的重要設(shè)備。電荷耦合器件（charge-coupled device， CCD）是目前市面上使用最多的一種圖像傳感器，它的原理是通過鏡頭把聚焦的景物光信號轉(zhuǎn)換為后端需要處理的電信號，并且結(jié)合后端的圖像處理技術(shù)進(jìn)而顯示出圖像。當(dāng)拍攝大視場的景物圖像信息時，就需要相機(jī)的整體視場足夠的大，以便探測系統(tǒng)完成圖像采集和信息觀察，故需要廣義上的廣角鏡頭進(jìn)行聚光。但是會產(chǎn)生的一個很重要的問題就是廣角鏡頭比小視場的鏡頭產(chǎn)生的非線性畸變更加明顯，最終會導(dǎo)致拍到的圖像發(fā)生扭曲。為了讓相機(jī)拍到的圖像畸變很小，就需要我們找到該相機(jī)幾何模型從而達(dá)到對相機(jī)標(biāo)定。但由于在光學(xué)系統(tǒng)設(shè)計、加工和裝調(diào)等流程中，會因為許多不確定因素導(dǎo)致系統(tǒng)畸變，實際效果就是在拍攝中所得的圖像信息并不能夠準(zhǔn)確的反映實際圖像信息。為了得到實際圖像的三維空間位置與其圖像中對應(yīng)像素點的準(zhǔn)確關(guān)系，就需要在調(diào)試的過程中通過畸變校正的方法來彌補(bǔ)目的。

相機(jī)標(biāo)定是找到圖像像素位置與標(biāo)準(zhǔn)模板位置之間的對應(yīng)關(guān)系，從而獲取攝像機(jī)的內(nèi)參和外參矩陣，內(nèi)參和外參系數(shù)可以對之后相機(jī)拍攝的圖像進(jìn)行后期矯正，從而能夠得到畸變相對很小的圖像。目前主要的標(biāo)定方法是傳統(tǒng)相機(jī)標(biāo)定法和相機(jī)自標(biāo)定法[1，2]。傳統(tǒng)相機(jī)標(biāo)定法是利用已知的標(biāo)定物尺寸，通過建立標(biāo)定物上坐標(biāo)已知的點與其圖像點之間的對應(yīng)關(guān)系，并且借助算法獲得相機(jī)模型的內(nèi)外參數(shù)。傳統(tǒng)相機(jī)標(biāo)定法在圖像標(biāo)定過程中對標(biāo)定物的精度要求非常高，而且始終需要標(biāo)定物。相機(jī)自標(biāo)定法主要是利用場景中的一些平行或者正交的信息進(jìn)行標(biāo)定。其中空間平行線在相機(jī)圖像平面上的交點被稱為消失點，它是射影幾何中一個非常重要的特征，所以很多學(xué)者研究了基于消失點的相機(jī)自標(biāo)定方法。自標(biāo)定方法靈活性強(qiáng)，可對相機(jī)進(jìn)行在線定標(biāo)。但由于它是基于絕對二次曲線或曲面的方法，其算法魯棒性差。

本文主要研究了航空成像系統(tǒng)下視系統(tǒng)廣角相機(jī)的畸變校正技術(shù)，旨在詳細(xì)分析畸變校正算法，并在MATLAB上觀察校正效果并適當(dāng)修改相應(yīng)的值，從而能夠讓標(biāo)定結(jié)果更加的精確和系統(tǒng)更加穩(wěn)定。根據(jù)畸變前、后圖對應(yīng)點的映射關(guān)系，得到偏移量，進(jìn)而形成校正表，從而實現(xiàn)對圖像的校正。

1? 標(biāo)定原理

通俗講相機(jī)標(biāo)定就是通過建立模型，找到拍攝的實際物點與所成像點之間的一一對應(yīng)關(guān)系，使用算法計算出成像系統(tǒng)的光學(xué)和幾何參數(shù)。相機(jī)成像模型實際上就是光學(xué)成像模型的簡化模型。相機(jī)成像模型反映了實際物體到相機(jī)成像平面的投影變化關(guān)系，相機(jī)成像模型是相機(jī)標(biāo)定的關(guān)鍵。

目前常用的有線性模型和非線性模型兩種。實際的成像系統(tǒng)是透鏡成像的非線性模型。小孔成像模型是相機(jī)成像采用最多的模型。在此模型下，物體的空間坐標(biāo)和圖像坐標(biāo)之間是線性的關(guān)系，因而對相機(jī)參數(shù)的求解就歸結(jié)到求解線性方程組上。四個坐標(biāo)系的關(guān)系圖如圖1所示，其中：世界坐標(biāo)系（Xw，Yw，Zw）就是反應(yīng)客觀現(xiàn)實世界中的絕對坐標(biāo)系，Xw軸和Yw軸兩個方向視情況而定，Zw軸在通常情況下是深度軸;相機(jī)坐標(biāo)系（Xc，Yc，Zc）的原點為鏡頭的光心，Xc軸和Yc軸與圖像相應(yīng)軸平行，Zc軸為相機(jī)的光軸，相機(jī)坐標(biāo)系可以在任意環(huán)境中隨意擺放;圖像物理坐標(biāo)系（x，y）就是靶面的坐標(biāo)系統(tǒng)，一般情況下單位為微米或者毫米進(jìn)行計量，圖像物理坐標(biāo)系中的x軸和y軸分別與相機(jī)坐標(biāo)系中的Xc軸和Yc軸方向平行，而且圖像物理坐標(biāo)系中的原點一定會在相機(jī)的光軸上;圖像像素坐標(biāo)系（u，?），像素是圖像的單元，故圖像像素坐標(biāo)系與圖像物理坐標(biāo)系共面，并且u軸和x軸平行，?軸和y軸平行。Q為三維空間點，q為Q在圖像平面投影成的像點[3-5]。

根據(jù)圖1可知，相機(jī)坐標(biāo)系與世界坐標(biāo)系的轉(zhuǎn)換關(guān)系即相機(jī)外部參數(shù)矩陣為：

（1）

其中，R是旋轉(zhuǎn)正交矩陣，t為平移向量。此公式的作用是描述標(biāo)定板圍繞相機(jī)運動的位置或者反之。

在使用相機(jī)拍攝物體時，圖像上每個像素點的亮度值與其強(qiáng)度有關(guān)，圖像上的圖像點位置僅與空間物體的相對方位及相機(jī)內(nèi)部結(jié)構(gòu)有關(guān)，而我們可以使用矩陣來表示相機(jī)內(nèi)部結(jié)構(gòu)參數(shù)，矩陣為：

（2）

其中，cx和cy是相機(jī)光軸與圖像平面的投影中心;cx、cy、γ，fx、fy是相機(jī)的內(nèi)參數(shù)，內(nèi)部參數(shù)與相機(jī)的位置無關(guān)。相機(jī)標(biāo)定也就是求解M矩陣的過程。

2? 試驗及結(jié)果分析

2.1? 角點提取

首先利用通道轉(zhuǎn)換法將采集到的棋盤格彩色圖像轉(zhuǎn)換成灰度圖像;

第二步是計算所轉(zhuǎn)換的黑白圖像在x和y兩個方向的梯度ix，iy，算法如式（3）和式（4）所示：

（3）

（4）

第三步是計算圖像在x和y兩個方向的梯度乘積，算法如式（5）、式（6）和式（7）所示：

i2x=ix * iy? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（5）

i2y=iy * iy? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（6）

i2xy=ix * iy? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（7）

第四步是將第三步所得的x和y方向的梯度乘積利用高斯函數(shù)進(jìn)行高斯加權(quán)，分別生成矩陣δ、ε和?，算法如式（8）、式（9）和式（10）所示：

（8）

（9）

（10）

第五步是計算每個像素的響應(yīng)值S，當(dāng)響應(yīng)值低于所設(shè)定閾值λ時通過算法將其置為零，算法如式（11）所示：

（11）

第六步是再設(shè)定的區(qū)域內(nèi)進(jìn)行非最大值抑制處理，局部最大值點就是所采集的圖像中的角點。

2.2? 角點精度優(yōu)化方法

使用上述算法檢測出來的角點，有可能會在真正的角點附近非常小的鄰域里同時存在幾個“偽角點”。故角點的精度就顯得尤為重要，因為對標(biāo)定的結(jié)果有著非常大的影響。本文章所用的方法就是先找出這些偽角點，然后將X軸坐標(biāo)和Y軸坐標(biāo)分別進(jìn)行相加并且取相應(yīng)的平均值，得到的平均值就是真正的角點。這種方法就削弱了因攝像環(huán)境等因素引起的噪聲影響。

利用平均法優(yōu)化后的數(shù)據(jù)坐標(biāo)和真實的坐標(biāo)的整體誤差得到了有效地降低，提高了角點的精確度，并且角點的檢測精度也得到了非常好的改善，從而提高了所采集圖像的標(biāo)定的精度。

2.3? 試驗結(jié)果

利用上述步驟便可得到圖像中的各個角點，并且通過坐標(biāo)轉(zhuǎn)換關(guān)系得到不同圖像中每幅圖像多個角點之間的投影轉(zhuǎn)換關(guān)系。

在本試驗中，由于相機(jī)的特殊性，不能夠連續(xù)采集，只能夠單獨一幀采集。所用棋盤格圖紙是通過Excel表格制作，通過把棋盤格圖紙固定在一張平整的泡沫板上，手拿著泡沫板變化不同的角度，從而采集到不同位置和不同姿態(tài)的圖像，從中選取20幅圖像質(zhì)量較好的圖像進(jìn)行試驗。部分圖像如圖2所示。

圖3為試驗角點提取，從圖3中可以看出，由于CCD相機(jī)像素不高，圖像質(zhì)量一般，但是該工具箱都能夠準(zhǔn)確的自動提取角點。在導(dǎo)入圖像的過程中，有提示需要輸入棋盤格的尺寸，輸入前期測量好的尺寸即可。在提取角點的過程中會發(fā)現(xiàn)軟件自動提取的角點與實際圖像的角點存在差距，這個可以通過反復(fù)修角點重投影進(jìn)行誤差修正，通過不斷的反復(fù)修改，直到達(dá)到理想的角點提取效果。

圖4為相機(jī)與標(biāo)定板的三維空間模型，從圖中可以非常直觀地看出相機(jī)坐標(biāo)系，圖中不同的顏色的網(wǎng)格代表標(biāo)定板相對于相機(jī)的不同位置和方向角，坐標(biāo)系（Xc，Yc，Zc）的原點為鏡頭的光心，Xc軸和Yc軸與圖像相應(yīng)軸平行，Zc軸為相機(jī)的光軸，相機(jī)坐標(biāo)系可以在任意環(huán)境中隨意擺放。

角點提取成功之后就是相機(jī)標(biāo)定。標(biāo)定所有的參數(shù)，其中內(nèi)參數(shù)包括圖像中心、畸變系數(shù)以及有效焦距。如果在標(biāo)定后誤差值比較大的話看角點提取是否不精確，調(diào)整方法按上文操作。最后通過調(diào)用函數(shù)調(diào)出相機(jī)畸變模型分析畸變的程度。本文利用MATLAB標(biāo)定試驗后得到相機(jī)的內(nèi)參和外參，并利用相機(jī)畸變校正數(shù)學(xué)模型在MATLAB軟件中進(jìn)行后期處理，對像素坐標(biāo)位置進(jìn)行了校正。

廣角鏡頭相機(jī)的圖像畸變校正分為灰度校正和像素點的幾何變化，定量地分析相機(jī)圖像的灰度校正效果。圖5是指投影的點（理論值）與圖像上的測量點的誤差圖，從圖中可以看到校正后的圖像誤差效果還是比較理想的，但是畸變是無法徹底消除的，只能夠調(diào)整在合適的范圍內(nèi)。因為這里面不僅有試驗條件所帶來的誤差，比如墻體不是非常的光滑、所用模板不是非常的平整等。而且在實際操作中不可避免的認(rèn)為誤差，更有甚者安裝誤差、加工誤差等更加是不可避免的，是絕對存在的。因此后期工作只是能夠改善其畸變，但是并不能夠完全抵消，還是會存在一些剩余畸變量。

本文針對所研究目標(biāo)的實際使用情況，航空相機(jī)本身的精度比較高，其畸變量相對較小，與普通相機(jī)不在一個數(shù)量級上。因此可以在校正圖像中將圖像平面的畸變中心作為參考中心點，利用畸變中心最近四點連同所在區(qū)域的中心點為基準(zhǔn)，并且以兩點之間的距離作為參考從而能夠找到像素坐標(biāo)位置，進(jìn)而得出畸變率。

3? 結(jié)? 論

航空成像系統(tǒng)在對地面景物進(jìn)行成像時，為了能夠獲得足夠大的景物范圍。航空成像系統(tǒng)利用廣角鏡頭來得到足夠大的實時圖像視場，以便于實時圖像的大面積采集，從而能夠?qū)崿F(xiàn)高效便捷的探測工作。利用模板法進(jìn)行標(biāo)定，試驗結(jié)果表明，通過采用角點精度控制方法實現(xiàn)了對角點的高精度控制，提高了角點坐標(biāo)精度。利用MATLAB自帶的標(biāo)定工具箱可以得到CCD相機(jī)圖像的內(nèi)外部參數(shù)和畸變系數(shù)，并且里用算法實現(xiàn)了標(biāo)定，由于對角點有了非常有效的控制，使得最終的標(biāo)定結(jié)果更加的準(zhǔn)確，并且可以通過自己編程序?qū)崿F(xiàn)部分不具備的功能。

參考文獻(xiàn)：

[1] 康健.圖像處理的數(shù)碼相機(jī)定位技術(shù)的研究與實現(xiàn) [D].淮南：安徽理工大學(xué)，2009.

[2] 賈丹.攝像機(jī)現(xiàn)場標(biāo)定算法研究 [D].哈爾濱：哈爾濱工程大學(xué)，2007.

[3] 朱錚濤，黎紹發(fā)，陳華平.基于平面網(wǎng)格模型的攝像機(jī)鏡頭畸變校正技術(shù) [J].計算機(jī)工程與應(yīng)用，2004（23）：32-35.

[4] 崔洪州，孔淵，周起勃，等.基于畸變率的圖像幾何校正 [J].應(yīng)用光學(xué)，2006（3）：183-185+215.

[5] 江潔，張廣軍，周富強(qiáng)，等.大視場廣角物鏡畸變的實時數(shù)字校正 [J].儀器儀表學(xué)報，2004（2）：174-177+182.

作者簡介：李禮（1985—），男，漢族，廣西貴港人，工程師，碩士研究生，研究方向：制導(dǎo)武器工程化應(yīng)用。