激光照射性能測量中異源相機的標定方法

景文博， 黃炳坤， 劉健， 于洪洋

(1.長春理工大學 光電工程學院， 吉林 長春 130022； 2.長春理工大學 電子信息工程學院， 吉林 長春 130022)

0 引言

激光照射性能測試系統(tǒng)通常采用單個相機的降級使用進行測量，可見光靶板和近紅外光斑目標成像在同一幅圖像上，可見光和近紅外目標清晰度不能同時得到保證，后期的目標檢測精度低。本文要標定的系統(tǒng)是可見光相機和近紅外相機作為一個測量系統(tǒng)，可見光系統(tǒng)成像具有較強的對比度和形態(tài)信息，可以準確快速的對被測量目標進行監(jiān)視、識別等操作，而近紅外相機對近紅外波段的激光成像技術(shù)具有明顯優(yōu)勢。該系統(tǒng)前端成像部分采用卡塞格林光學系統(tǒng)進行設(shè)計，在保證測量精度的同時可以有效減小測量系統(tǒng)的體積，并且受光學鏡頭制造精度及裝調(diào)精度等的影響，目標經(jīng)鏡頭成像后通常會產(chǎn)生不同程度的非線性畸變，需要對兩個相機進行標定消除畸變；另外，由于可見光相機和近紅外相機的安裝、分辨率不同、視場不同均會產(chǎn)生一定程度的空間透視誤差，需要對兩個相機進行空間配準消除軸線非一致性的影響。

張正友相機標定法[1]廣泛應(yīng)用于單個大視場短焦距相機畸變校正；Merras等[2]利用改進的遺傳算法對未知三維場景進行參數(shù)自標定，該方法適用于相機內(nèi)部參數(shù)變化較大情況；Ramalingam等[3]提出一種針孔、魚眼、折反射及多相機網(wǎng)絡(luò)的統(tǒng)一標定方法，利用空間中的一組圖像像素和相關(guān)的光線建立相機模型，根據(jù)圖像像素與空間三維光線的映射關(guān)系求解參數(shù)，可以將相機的中心、軸向及非中心分開校準。上述方法主要集中在短焦相機標定，考慮因素過多，計算過程復(fù)雜。Reznicek等[4]提出了相機校準的有限元方法；而Manuel[5]提出了基于深度學習單圖像標定方法，從一個單一的圖像來預(yù)測外在(傾斜和滾動)和內(nèi)在(焦距和徑向畸變)參數(shù)；孟曉橋等[6-7]在相機自標定方法中提出更具穩(wěn)定性的基于曲線擬合的圓形標定法。這些方法均沒有涉及在遠距離長焦距成像系統(tǒng)中如何進行相機標定的具體方法。傳統(tǒng)的雙相機軸線一致性是通過機械調(diào)整法完成[8]，一般會受到裝調(diào)精度的影響。通過圖像特征的相機配準方法主要有：楊琪[9]提出基于復(fù)合特征的異源圖像配準方法；吳雪[10]在紅外與可見光圖像融合用到基于改進多尺度分析的方法；甘健飛[11]用基于目標檢測的方法實現(xiàn)紅外可見圖像配準，通過融合梯度方向的信息和互信息，對異源圖像運動目標進行特征檢測，從而實現(xiàn)配準；Kong等[12]利用結(jié)構(gòu)轉(zhuǎn)移融合方法進行紅外和可見光圖像融合，首先構(gòu)建結(jié)構(gòu)轉(zhuǎn)移模型將灰度結(jié)構(gòu)從可見光輸入圖像轉(zhuǎn)移到紅外圖像中，然后執(zhí)行紅外細節(jié)增強策略來補充紅外圖像的缺失細節(jié)。這些方法都是根據(jù)圖像特征在像素坐標平面完成的平面配準，由于該測量中的可見光相機和近紅外相機坐標平面存在一定的空間變換關(guān)系，上述方法無法提供兩個相機坐標平面的空間變換配準。在激光照射性能測量過程中，共用卡塞格林反射式光學系統(tǒng)的可見光相機和近紅外相機(因為兩個相機作為一個整體使用，以下稱這個整體為異源相機)屬于長焦、遠距離成像系統(tǒng)，本文要解決異源相機的畸變校正和軸線一致性配準問題。由于卡塞格林光學系統(tǒng)帶來的像差在成像中不可忽略，根據(jù)對張正友短焦、近距離成像相機標定方法的改進，提出一種長焦、遠距離的相機標定方法，對成像圖像進行畸變校正；同時，通過在室內(nèi)采用網(wǎng)格目標板對可見光和近紅外相機的空間變換進行配準，完成雙相機光軸一致性配準。

1 相機標定和配準方法

激光照射性能測量系統(tǒng)如圖1，由卡塞格林反射結(jié)構(gòu)、光學透鏡、直角分光棱鏡、窄帶濾光片、反射鏡、可見光相機、近紅外相機等組成。

圖1 激光照射性能測量光學系統(tǒng)示意圖Fig.1 Schematic diagram of laser irradiation performance measurement optical system

可見光的靶板目標和近紅外的光斑目標同時經(jīng)過卡塞格林反射結(jié)構(gòu)傳播至測量系統(tǒng)中，經(jīng)過分光棱鏡分為兩路，分別獲得可見光靶板和近紅外光斑圖像。

1.1 相機標定

本文選用擴展的針孔模型作為相機模型，該模型可以得到世界坐標系到圖像坐標系的映射關(guān)系[11]。定義世界坐標系為OwXwYwZw，可見光圖像像素坐標系為Ovuvvv. 在本文中，可見光和近紅外相機的標定方法相同，以下只對可見光相機標定進行討論。

遠距離成像相機標定中可以忽略透視畸變的影響，本文在張正友相機標定方法[1]的基礎(chǔ)上，使相機內(nèi)參數(shù)中扭曲因子為0，則可見光圖像坐標系與世界坐標系的轉(zhuǎn)換關(guān)系[13-14]可表示為

(1)

1.1.1 內(nèi)外參數(shù)求解

一般情況下，假設(shè)物體平面在世界坐標系中的Zw坐標為0. 可見光相機的圖像與三維空間點單應(yīng)性關(guān)系為

(2)

式中：rvok(k=1,2,3)是旋轉(zhuǎn)矩陣Rvo第k列。

當Zw=0，(2)式中的單應(yīng)性矩陣可以表示為

(3)

將單應(yīng)性矩陣Hv表示為3個列向量：

(4)

式中：λv為任意標量。

由(4)式可求得相機外參數(shù)為

(5)

相機三維空間的運動，各個旋轉(zhuǎn)單位向量相互正交，即rvo1和rvo2是單位正交的向量，于是有

(6)

(7)

因為Nv為對稱矩陣，只需提取出其中的6個元素，即令nv=[Nv11,0,Nv22,Nv13,Nv23,Nv33]T，然后可以得到：

(8)

式中：wvij=[hi1hj1hi1hj2+hi2hj1hi3hj2hi3hj1+hi1hj3hi3hj2+hi2hj3hi3hj3]T，將(8)式代入(6)式可得

(9)

在標定過程中，采集m張圖像，迭代可以得到：

Bvnv=0，

(10)

式中：Bv是一個2m×6矩陣。當m=3，通常能得到一個唯一解nv；若m>3，為超定方程，通過最優(yōu)化方法即可求得最優(yōu)解nv.

(11)

根據(jù)求得的相機內(nèi)參數(shù)，結(jié)合(5)式即可確定可見光相機的外參數(shù)。

1.1.2 畸變參數(shù)的求解

相機鏡頭固有的透視失真和復(fù)雜的光學系統(tǒng)裝調(diào)精度不高的問題，導(dǎo)致理想成像點沿著徑向偏移。為了提高標定精度，同時考慮理想成像點沿著徑向和切向的偏移影響，如圖2所示。

圖2 徑向畸變drv和切向畸變dtvFig.2 Radial distortion drv and tangential distortion dtv

(12)

式中：(uv,vv)、(u′v,v′v)分別為可見光圖像的理想成像點坐標和畸變成像點坐標；kv1、kv2、kv3為可見光相機的畸變參數(shù)；pv1、pv2為可見光切向畸變參數(shù)。這里定義畸變向量kv=[kv1,kv2,kv3,pv1,pv2]T，將(12)式畸變點與理想點之間的關(guān)系定義為

(u′v,v′v)=ψv{(uv,vv),kv},

(13)

式中：ψv表示理想點到畸變點之間的映射關(guān)系。

(12)式通過畸變參數(shù)說明畸變點與理想點之間的關(guān)系，結(jié)合(12)式根據(jù)圖像坐標系之間的轉(zhuǎn)換關(guān)系可以得到非齊次線性方程組：

Dvkv=dv，

(14)

式中：Dv為含有圖像采樣點和主點坐標的矩陣；dv為含有圖像采樣點對應(yīng)的理想點坐標的向量。通過正規(guī)方程組解法得到最小二乘解[15]：

(15)

上面求解的相機的內(nèi)參數(shù)和外參數(shù)并不是相機參數(shù)的準確值，獲得的解是有偏差的，求得畸變參數(shù)后，就獲得了擴展的針孔模型的全部初始參數(shù)，下一步使實際圖像檢測的像素點與成像模型預(yù)測的像素點應(yīng)用LM迭代優(yōu)化算法[12]對參數(shù)進行優(yōu)化：

(16)

式中：q為參與計算的點的個數(shù)；mvi為實際圖像檢測到的像素點;vi是空間三維點Pvj經(jīng)過沒有進行優(yōu)化前的參數(shù)投影到圖像上的點。最優(yōu)化的結(jié)果就是可見光相機標定的結(jié)果。近紅外相機的標定與可見光相同。

1.2 相機配準

由于兩個相機在一個測量系統(tǒng)中，所以標定出可見光相機的內(nèi)部參數(shù)，并將近紅外相機配準到可見光相機上，測量系統(tǒng)所需要的參數(shù)就都被得到。下面是可見光圖像平面和近紅外圖像平面的配準過程，網(wǎng)格目標板在兩個相機上的成像示意圖如圖3所示，配準示意圖如圖4所示。

圖3 網(wǎng)格目標板在兩個相機上的成像Fig.3 Imaging of grid target board in two cameras

圖4 像面配準Fig.4 Image registration

本文研究的相機配準本質(zhì)是相機坐標系之間的轉(zhuǎn)換，并且相機配準應(yīng)用的是二維圖像數(shù)據(jù)，將兩個圖像平面中的一個透視投影到另一個平面，用齊次變換矩陣表示空間投影變換：

(17)

(18)

通過兩個相機采集到的圖像坐標像素坐標，同一對點可以產(chǎn)生兩個方程，因此只需要4個不在一條直線上的點就可以求出配準矩陣T.

1.3 網(wǎng)格十字角點檢測

相機標定和相機配準中的數(shù)據(jù)主要由兩個相機對應(yīng)的十字中心點坐標組成。對每個十字中心點感興趣區(qū)域(ROI)進行計算獲得亞像素級位置坐標，ROI如圖5所示。

圖5 網(wǎng)格板示意圖Fig.5 Schematic diagram of grid plate

亞像素十字中心檢測的算法按如下步驟進行：

1)對ROI用最大類間方差法做閾值分割，得到二值化的ROI圖像；

2)用閾值分割前的ROI與二值化的ROI圖像相乘得到灰度ROI圖像；

3)對列(行)方向像素進行投影計算獲得灰度累積和最大的一列ξ(行η)；

4)以坐標(ξ，η)為中心像素產(chǎn)生一個鄰域窗口，本文可見光相機圖像鄰域窗口取15×15，近紅外相機圖像鄰域窗口取9×13，在鄰域窗口內(nèi)按照質(zhì)心算法進行計算，獲得單個ROI的亞像素十字中心坐標。

2 實驗結(jié)果與數(shù)據(jù)分析

在獲取攝遠光學系統(tǒng)校正模型后，搭建實驗系統(tǒng)，搭建標定系統(tǒng)實物圖如圖6所示，包括：光源；在光源的一側(cè)依次設(shè)有平行光管以及攝遠光學系統(tǒng)，攝遠光學系統(tǒng)與計算機相連接；平行光管內(nèi)設(shè)有網(wǎng)格板。獲取圖像之前，首先調(diào)整各個設(shè)備的位置，使得網(wǎng)格板中心點成像于可見光圖像的中心。

圖6 實驗實物圖Fig.6 Experimental system

標定系統(tǒng)參數(shù)的各項參數(shù)：可見光相機型號IMPERX ICL-B1410，分辨率1 392×1 040，焦距545 mm，像元尺寸6.45 μm；近紅外相機型號XSW-640-TE1, 分辨率640×512，焦距566 mm，像元尺寸20 μm；平行光管型號F1600；網(wǎng)格標定板規(guī)格2 mm±0.05 μm；光源為6 V的全光譜燈。

根據(jù)要校正的攝遠光學系統(tǒng)通過使用平行光管使系統(tǒng)等效為距離L處光源的校正系統(tǒng)。

產(chǎn)生平行光時焦距為f′v，平行光管微調(diào)標尺刻度為l. 平行光管透鏡焦距與折射率關(guān)系為

(19)

式中：k為比例常系數(shù)；n為空氣中折射率；n′v為可見光相機透鏡折射率。由此計算產(chǎn)生近紅外平行光時的平行光管透鏡焦距f′ni：

(20)

(21)

調(diào)整網(wǎng)格板的位置，分別采集可見光與近紅外圖像。

2.1 相機標定和配準的實驗結(jié)果

采集圖像如圖7(a)、圖8(a)所示，選擇以圖像中心矩陣區(qū)域的網(wǎng)格角點，即如圖5中虛線框示意的網(wǎng)格點所成的像，提取網(wǎng)格角點坐標。提取坐標如圖7(b)、圖8(b)中標記的網(wǎng)格點坐標，圖7(b)是可見光圖像標記的網(wǎng)格點，圖8(b)是近紅外圖像標記的網(wǎng)格點，其中所標記的網(wǎng)格點坐標是亮色的圓點。

圖7 可見光圖像Fig.7 Visible image

圖8 近紅外圖像Fig.8 Near-infrared image

通過成像模型可以計算出邊長d在理想圖像上對應(yīng)的像素大小，結(jié)合畸變向量k(可見光為kv，近紅外為kni)可以得到理想無畸變圖像坐標Cd，之前所提取的畸變圖像坐標記為C. 由(13)式的畸變校正模型，Cd與C之間的映射關(guān)系為

Cd=ψ-1(C,k).

(22)

由表1、表2的重投影誤差統(tǒng)計數(shù)據(jù)可知，采樣點數(shù)越多,重投影誤差越小。

表1 可見光相機平均重投影誤差與采樣點數(shù)統(tǒng)計表

表2 近紅外相機平均重投影誤差與采樣點數(shù)統(tǒng)計表

由1.1節(jié)的相機標定方法分別得到可見光相機內(nèi)參數(shù)矩陣Mvi、旋轉(zhuǎn)向量Rvo、平移向量tvo、畸變向量kv和近紅外相機內(nèi)參數(shù)矩陣Mnii、旋轉(zhuǎn)向量Rnio、平移向量tnio、畸變向量kni，這里畸變向量保留5維?？梢姽庀鄼C標定和近紅外相機標定的具體結(jié)果如表3和表4所示。可見光相機標定的重投影誤差為0.08像素，近紅外相機標定的重投影誤差為0.19像素。

用得到的可見光和近紅外的標定參數(shù)對圖像進行畸變校正，得到如圖9校正后的圖像。設(shè)光學畸變校正后圖像為I′，原圖像為I，由(22)式的畸變校正模型可得

I′=ψ-1(I,k).

(23)

結(jié)合(1)式可得

Hv=Mvi(Rvotvo).

(24)

圖9 畸變校正圖像Fig.9 Distortion corrected images

應(yīng)用1.2節(jié)提出的配準方法，得到配準矩陣。近紅外相機與可見光相機的配準矩陣為

表3 可見光相機標定參數(shù)

表4 近紅外相機標定參數(shù)

相機配準軸線一致性精度為0.37 μrad.

2.2 外場實驗結(jié)果

將異源相機標定出的參數(shù)應(yīng)用在外場實驗,下面是目標位于1 km處所得到的圖像，如圖10～圖12所示。

圖10 外場實驗可見光圖像Fig.10 Visible image in field test

圖11 外場實驗近紅外圖像Fig.11 Near-infrared images in field test

圖12 外場實驗近紅外圖像配準到可見光圖像Fig.12 Field test near-infrared image registered to visible image

提取圖10與圖12中的坐標點，計算可見光圖像上十字中心點與近紅外圖像合作目標坐標點的距離，如表5所示，分為4種情況進行對比實驗，所得命中率測量精度為1 km處的計算結(jié)果。

表5 命中率測量精度對比

表5中不校正、不配準是直接根據(jù)可見光相機和近紅外相機的視場大小關(guān)系，分別以圖像中心為基準，再根據(jù)比例關(guān)系得出的命中率測量精度；進行4種對比實驗，按照本文提出的方法對圖像進行畸變校正和配準的計算得出的命中率測量精度最高，很好地完成了激光照射性能測量相機的標定。

3 結(jié)論

本文提出了一種對異源相機的標定方法，簡化了可見光相機與近紅外相機需要求解的多個參數(shù)，解決了基于卡塞格林系統(tǒng)的攝遠光學系統(tǒng)存在畸變的問題和聯(lián)合測量精度的問題，實現(xiàn)了異源相機的高精度標定。得到主要結(jié)論如下：

1)遠距離測量中忽略透視誤差的影響，對張正友相機標定方法進行改進，相機內(nèi)參數(shù)中扭曲因子為零，建立了相機參數(shù)求解模型，計算超定方程組的最小二乘解，每個相機分別獲得了4個內(nèi)參數(shù)、6個外參數(shù)及5個畸變參數(shù)。

2)根據(jù)可見光相機和近紅外相機成像面的空間透視關(guān)系，實現(xiàn)了雙相機軸線一致性標定，即得到了近紅外相機和可見光相機的配準矩陣。

3)在外場實驗中，標定出的相機內(nèi)參數(shù)、外參數(shù)、畸變參數(shù)，以及兩個相機空間的配準矩陣，對實驗數(shù)據(jù)進行處理，所得結(jié)果證明了本文所提的相機標定方法和配準方法的有效性、實用性以及可靠性。