超大視場長波紅外立體視覺外部參數(shù)標定及內(nèi)外參數(shù)評價

王子昂， 李 剛， 劉秉琦， 黃富瑜， 陳一超

陸軍工程大學石家莊校區(qū)電子與光學工程系， 河北 石家莊 050003

引 言

在紅外光譜譜段， 短波、 中波、 長波主要的大氣窗口分別為0.7～2.5， 3～5和8～14 μm[1]。 由于不同物質(zhì)對于可見光、 紅外線吸收性能不同， 因此通過紅外相機可以探測可見光無法看到的一些差別。 長波紅外一般用于探測300 k左右的目標， 即常溫下目標。 與可見光相機相比， 雙目超大視場長波紅外相機具有不受光照強度影響， 在復(fù)雜條件下全天候工作， 獲取大空域信息等諸多優(yōu)點[2-3]。 軍事應(yīng)用中， 需要紅外立體視覺系統(tǒng)對目標進行定位以獲取完整的空間信息， 為作戰(zhàn)決策奠定基礎(chǔ)； 民用領(lǐng)域中， 將紅外立體視覺系統(tǒng)裝載到車輛上， 可在車輛行駛過程中規(guī)避障礙物， 提高車輛駕駛安全性。 伴隨智能化的快速發(fā)展， 立體視覺在視覺測量[4]， 二維運動圖像的三維重建[5]， 即時定位與地圖構(gòu)建[6]等方面起著關(guān)鍵作用。 立體視覺旨在從雙目相機拍攝圖像中獲取密集的3D信息， 圖像三維重建精度主要取決于相機系統(tǒng)參數(shù)， 標定的過程就是解算相機系統(tǒng)參數(shù)的過程。 內(nèi)部參數(shù)是相機的固有屬性， 它表示相機系統(tǒng)的物像關(guān)系。 外部參數(shù)標定指求解兩個相機之間的坐標變換矩陣， 該矩陣描述右目相機相對于左目相機的位置關(guān)系。

目前， 外部參數(shù)標定方法主要分為兩類： 需要移動相機的外部參數(shù)標定[7]和固定相機的外部參數(shù)標定[8]。 在前者中， 手眼標定和基于反射鏡的方法最常用； 對于后者， 研究人員移動相機視野中的物體來計算姿勢并重建軌跡。 針對不同立體視覺系統(tǒng)和應(yīng)用， 標定模型的相機參數(shù)和計算方法各不相同。 此外， 自標定方法和其他新興方法由于準確性不高或者實現(xiàn)復(fù)雜， 不能用于超大視場長波紅外立體視覺系統(tǒng)。 由于超大視場長波紅外圖像低分辨率和嚴重失真， 導致標定準確性下降， 常見的外部參數(shù)標定方法[9-11]不再適用。 此外， 針對標定精度的評價方法也有待提高。 對于內(nèi)部參數(shù)標定的評價， 角點平均重投影誤差(mean reprojection error， MRE)運用最普遍； 針對內(nèi)外參數(shù)的整體評價， 大多數(shù)方法從三維重建入手， 對角點進行三維重建， 根據(jù)角點間相對距離評價標定精度[12]； 或者運用MRE評價內(nèi)部參數(shù)后， 直接以高精度坐標測量機測得的外部參數(shù)作為真值評估外部參數(shù)標定[13]。 前者依賴于三維重建方法的準確性， 在評價過程中不可避免摻雜了三維重建方法的本身誤差； 后者需要高精度的三維坐標測量儀器， 對實驗設(shè)備要求很高。

為標定超大視場長波紅外立體視覺外部參數(shù)并易于評價參數(shù)標定準確性， 在Scaramuzza相機模型[14]標定單目相機基礎(chǔ)上， 提出了一種基于最小二乘法的外部參數(shù)標定方法； 根據(jù)單目相機內(nèi)部參數(shù)的角點平均重投影誤差評價方法， 提出一種雙目平均重投影誤差(binocular mean reprojection error， BMRE)的內(nèi)外參數(shù)評價方法。 該方法提高了外部參數(shù)標定精度， 并且簡化了內(nèi)外參數(shù)評價過程。

1 標定方法

1.1 超大視場相機模型

由于超大視場長波紅外相機成像過程不符合傳統(tǒng)小視場成像的線性模型， 而是遵循非相似成像原理， 所以通用的Scaramuzza相機模型在超大視場長波紅外相機標定過程中被使用。 在該相機模型中， 傳感器平面像點p(x,y)與圖像平面像點q(u,v)之間關(guān)系表示為

(1)

其中，c，d和e為常數(shù)， 表示鏡頭光軸和傳感器平面中心非對準的誤差系數(shù)， (u0,v0)為圖像畸變中心坐標。 標定板上角點Pw與p之間關(guān)系表示為

(2)

f(ρ)=k0+k2ρ2+…+knρn

(3)

(4)

其中，λij為正常數(shù)， 表示第i幅圖像中第j個角點成像的比例系數(shù)；k0,k2， …，kn是泰勒多項式系數(shù)， 通常n=4； [r1r2t]i表示第i幅圖像中標定板與相機的相對位置關(guān)系，r1和r2為旋轉(zhuǎn)向量，t為平移向量。

1.2 基于最小二乘法的外部參數(shù)標定

Scaramuzza相機模型描述了單目相機成像中的物像關(guān)系， 然而， 因為該相機模型不能標定雙目相機的外部參數(shù)， 所以無法進行立體視覺標定。 本節(jié)在該相機模型基礎(chǔ)上， 提出一種最小二乘法方法來標定立體視覺中的外部參數(shù)。

角點在世界坐標系中與相機坐標系中的關(guān)系可由式(5)和式(6)表示

(5)

(6)

其中，Plij和Prij分別代表世界坐標系中第i幅圖像的第j個角點在左目相機坐標系和右目相機坐標系中的投影坐標， [r1r1t]li， [r1r1t]ri， [XwXw1]T從單目相機模型的標定結(jié)果中獲得。

根據(jù)三維空間中兩個坐標系轉(zhuǎn)換關(guān)系

Prij=RPlij+t

(7)

其中， 旋轉(zhuǎn)矩陣R和平移向量t共同描述了右目相機相對于左目相機的位置， 將Plij和Prij展開為坐標形式可以得到

(8)

將R和t展開為坐標形式， 并把式(8)轉(zhuǎn)化為線性方程組形式

(9)

將所有Plij和Prij代入式(9)即得到以R和t為未知量的超定線性方程組， 運用最小二乘法求出該超定線性方程的最優(yōu)解

(10)

最終， 外部參數(shù)R和t為

(11)

t=[t1t2t3]T=[txtytz]T

(12)

1.3 基于雙目角點重投影的內(nèi)外參數(shù)評價

雙目內(nèi)外參數(shù)的標定直接影響立體視覺圖像匹配和目標定位， 目前存在兩種常用方法對內(nèi)外參數(shù)準確性進行評估， 一種是采用三維重建后目標點間距與實際間距的差值來評價外部參數(shù)標定準確性； 另一種是以高精度坐標測量機對外部參數(shù)的測量結(jié)果為真值， 根據(jù)外部參數(shù)真值與標定值的差值評價標定準確性， 坐標測量機測量精度要達到微米量級， 這種方法對實驗設(shè)備要求很高。 在評價單目相機內(nèi)部參數(shù)標定準確性時， 通常用到角點平均重投影誤差MRE， MRE表示三維空間中角點經(jīng)過已標定相機模型成像后的投影點與圖像檢測角點的接近程度。 為簡化內(nèi)外參數(shù)評價， 避免引入其他變量， 本節(jié)在內(nèi)部參數(shù)評價方法基礎(chǔ)上提出一種雙目角點重投影誤差的內(nèi)外參數(shù)評價方法。

單目相機內(nèi)部參數(shù)評價的角點重投影過程如圖1。

圖1 單目相機角點重投影過程

在標定出單目相機成像模型后， 根據(jù)第i幅圖像中標定板相對于相機的外部參數(shù)， 將標定板上角點Pw投影到相機坐標系為Pc

Pc=[r1r2t]iPw(13)

Pw和Pc實際是同一個點， 只是在世界坐標系和相機坐標系中該點坐標不同。 展開式(13)， 可以得到

(14)

(15)

根據(jù)Scaramuzza相機模型可以得到

(16)

p′=(u′，v′)

(17)

p′與p的歐式距離即該角點的重投影誤差， 一次標定實驗中所有角點重投影誤差的均值即MRE。 根據(jù)單目相機內(nèi)部參數(shù)角點重投影誤差評價方法， 引入立體視覺標定結(jié)果中的外部參數(shù)， 提出一種雙目角點重投影誤差的內(nèi)外參數(shù)評價方法， 如圖2。

在分別標定出左右目相機成像模型后， 根據(jù)第i幅圖像中標定板相對于左相機的外部參數(shù)， 將標定板上角點Pw投影到左相機坐標系為Pl

Pl=[r1r2t]liPw

(18)

根據(jù)標定結(jié)果中表征左右目相機相對位置關(guān)系的外部參數(shù)， 通過式(19)將Pl投影到右相機坐標系中， 得到Pr

Pr=RPl+t

(19)

圖2 雙目相機角點重投影過程

(20)

(21)

p″=(u″，v″)

(22)

P″與p的歐式距離即該角點的雙目重投影誤差， 單目相機角點重投影誤差取決于單目相機標定的準確性， 而雙目重投影誤差不僅與單目相機標定參數(shù)有關(guān)， 而且受到雙目標定外部參數(shù)的影響， 因此雙目相機角點重投影誤差應(yīng)該大于單目相機角點重投影誤差。

2 實驗部分

超大視場紅外立體視覺實驗系統(tǒng)如圖3， 整個裝置由主動紅外輻射自適應(yīng)標定板、 雙目超大視場長波紅外相機、 計算機組成。 標定板根據(jù)帕爾貼原理制成， 通電后黑色標定塊發(fā)熱， 白色標定塊制冷， 從而在標定塊連接處產(chǎn)生明顯的角點， 這些角點作為標定過程的目標點進行相機標定。 標定板采用模塊式設(shè)計以便根據(jù)實驗需求調(diào)整角點數(shù)量， 本實驗中采用圖中紅色矩形框內(nèi)部標定塊。 通過設(shè)置標定板中的電流大小， 可對標定塊溫度進行控制， 從而實現(xiàn)對相機像面探測器響應(yīng)波段的自適應(yīng)。 圖4顯示了超大視場長波紅外相機(FOV=210°)拍攝的標定板圖像。 立體視覺系統(tǒng)中的超大視場長波紅外相機安裝在平行導軌上， 在導軌上平移鏡頭改變左右目相機相對位置， 調(diào)整鏡頭下方調(diào)節(jié)機構(gòu)改變左右目相機的旋轉(zhuǎn)角度， 從而改變雙目相機之間的外部參數(shù)。 通過相機與計算機的連接， 計算機屏幕能實時顯示并儲存圖像。

圖3 實驗系統(tǒng)

3 結(jié)果與討論

實驗過程中， 通過調(diào)節(jié)相機鏡頭使標定板位于圖像中不同位置并且具備不同姿態(tài)， 從一系列圖像中選取16幅作為標定的輸入圖像。 由于超大視場紅外圖像高噪聲、 低分辨率、 低對比度特性， Bouguet[15]角點定位方法準確性不高，實驗中采用基于多項式曲線擬合方法定位角點。 該方法主要包括圖像邊緣檢測、 角點初步定位、 邊緣曲線多項式擬合、 求解兩擬合曲線交點。 為充分驗證基于最小二乘法的外部參數(shù)標定方法一般性， 實驗過程中使用FOV=180°和FOV=210°的兩組鏡頭分別進行3組標定實驗， 并且與Bouguet外部參數(shù)標定方法進行比較， 實驗結(jié)果如表1。

圖4 超大視場紅外標定板圖像

表1 外部參數(shù)標定結(jié)果

表1中rx，ry和rz根據(jù)羅德里格斯轉(zhuǎn)換從旋轉(zhuǎn)矩陣R得到， 它們分別表示右目相機相對于左目相機在x，y和z三個方向上的旋轉(zhuǎn)角度。 從表1可以看出， 兩種方法標定的外部參數(shù)相近， 直觀上無法比較外部參數(shù)標定準確性。 因此， 運用基于雙目角點重投影方法對外部參數(shù)準確性進行評估， 兩種標定結(jié)果的雙目角點平均重投影誤差如表2, 折線圖如圖5。

從表2可以看出， Bouguet方法BMRE在0.782～0.943之間， 而基于最小二乘法方法BMRE在0.620～0.754 pixels之間， 并且每組實驗中基于最小二乘法方法BMRE都明顯小于Bouguet方法BMRE， 這表明基于最小二乘法方法比Bouguet方法標定結(jié)果更準確。 從圖5可以發(fā)現(xiàn)， 同一折線中后三組實驗BMRE明顯大于前三組實驗， 這表明POV越大的紅外相機， 成像畸變越嚴重， 標定后BMRE越大； 由于表1中ty和tz遠小于tx， 所以tx大致體現(xiàn)左右目相機之間的基線距離。 在標定同一雙目相機時， 伴隨基線距離的增加， BMRE有增大趨勢， 這說明標定參數(shù)準確性伴隨基線距離增加而降低。 為比較BMRE和MRE的差別， 實驗中選取了右目相機MRE和雙目相機基于最小二乘法方法BMRE， 如圖6。

理想情況下， 所有角點成像關(guān)系都應(yīng)該完全符合成像模型， 因此MRE=0， BMRE=0。 但在實際情況中為標定更多角點減小誤差， 避免某個角點占標定模型權(quán)重過大， 角點數(shù)量要遠多于標定過程中方程組未知量數(shù)量， 標定出的相機成像模型是方程組的最優(yōu)解， 所以角點成像關(guān)系并不完全符合成像模型， MRE>0， BMRE>0。 MRE和BMRE越小表明標定結(jié)果越準確。 從圖6可以發(fā)現(xiàn)， 單目相機MRE在0.31～0.36之間， 明顯小于BMRE。 這是因為右目MRE只表征了右目鏡頭標定誤差， 而BMRE不僅包含右目鏡頭MRE， 而且增加了雙目相機之間外部參數(shù)的標定誤差， 所以BMRE>MRE。 這也符合1.3節(jié)中基于雙目角點重投影標定參數(shù)準確性評價對于右目角點重投影過程的分析。

表2 雙目平均重投影誤差

圖5 雙目平均重投影誤差折線圖

圖6 單目平均重投影誤差與雙目平均重投影誤差折線圖

4 結(jié)論

為標定超大視場長波紅外立體視覺外部參數(shù)， 提出一種基于最小二乘法的外部參數(shù)標定方法， 為量化內(nèi)外參數(shù)標定準確性， 提出一種雙目角點重投影誤差的評價方法。 實驗表明： 基于最小二乘法的外部參數(shù)標定方法能準確標定超大視場長波紅外立體視覺外部參數(shù)， 并且雙目角點重投影誤差可以精確評估內(nèi)外參數(shù)標定精度。 與廣泛使用的bouguet方法相比， 外部參數(shù)標定更精確； 相比于三維重建計算角點間距的評價方法， 本文方法不引入角點三維重建的額外誤差； 相比于運用微米級坐標測量儀器的評價方法， 本方法操作簡便， 避免了對實驗設(shè)備的高要求。 本文方法提高了外部參數(shù)標定準確性， 簡化了外部參數(shù)評價過程， 將促進超大視場長波紅外相機在計算機視覺領(lǐng)域的應(yīng)用， 拓展了紅外光譜中長波波段相機的使用。