基于圓形模式平面標靶的高精度相機標定方法

辛 睿,武栓虎,李愛娟

(煙臺大學(xué)計算機與控制工程學(xué)院,山東 煙臺 264005)

相機標定是三維視覺測量應(yīng)用過程中的一個重要環(huán)節(jié),應(yīng)用領(lǐng)域非常廣泛,從自動精密裝配機器人、機器人定位導(dǎo)航到三維目標重建,都需要用到精確的相機標定．最經(jīng)典的相機標定技術(shù)由TSAI[1]在1987年提出,通過使用黑色方塊立體壓印圖形板并采用二步法進行標定可以做到快速估計相機參數(shù),但高精度的三維標靶制作精度成本較高．HIKKLIA[2]基于2塊帶有圓形模式的垂直平面標靶開創(chuàng)了用橢圓中心點作為特征點標定的先河．將2塊垂直的標靶構(gòu)造三維標靶精度要求較高,不利于大范圍的推廣．

平面標靶是普遍采用的標定工具,優(yōu)點是制作簡單,精度高成本低．目前流行的平面標靶有2種:基于圓模式的和棋盤模式的．棋盤標靶標定法是ZHANG[3]于2000年提出的,將棋盤角點作為特征對應(yīng)點,是近年來一直采用的標定方法．但是棋盤標靶在特征點提取時受光照和噪聲影響較大,不利于工業(yè)應(yīng)用．因此作為替代,基于圓模式的平面標靶也得到了普遍采用．這是由于圓的成像為橢圓,將橢圓中心作為圓心的特征對應(yīng)點受環(huán)境影響較小,恢復(fù)精度高,因此得到了廣泛應(yīng)用．但是將橢圓中心作為特征對應(yīng)點,由于透視偏差和鏡頭畸變,并非真實的標靶圓心投影,存在一定的偏差．圓的直徑越大,透視偏差和鏡頭畸變越大,特征點的偏差就越大,從而降低了標定精度．針對這個問題,文獻[4-5]提出了基于圓環(huán)模式的標定方法．其基本思想是外圍采用多個大直徑的圓環(huán),在圓環(huán)中心使用尺寸小的圓點,以利于克服尺寸大特征點提取精度低的缺點．但文獻[4-5]采用圓環(huán)模式投影重建和模式匹配的策略對成像圓環(huán)中小圓點定位的方法,速度較慢．另外圓環(huán)標靶也不利于推廣．

針對平面圓模式標靶的最新研究進展是2014年的文獻[6],此后未見類似的研究報告,文獻[6]全面地分析了2000年發(fā)表的文獻[2]中方法的不足,并基于圓形模式平面標靶提出了一種標定算法．但作者也指出其唯一不足就是采用文獻[7]提供的工具(Calibration Harp):先對鏡頭畸變先行標定,然后將原始圖像映射到非畸變圖像空間,檢測橢圓中心,通過矯正透視偏差提高標定精度．Calibration Harp畸變標定工具比較昂貴,成本較高,同樣不利于推廣應(yīng)用．值得一提的是文獻[8]提出了一種相機標定中圓心投影點精確定位方法,但該方法并未考慮鏡頭畸變產(chǎn)生的影響,因此誤差較大;類似地,文獻[9]基于三維球形標靶,提出了一種球心投影偏差的校正方法,同樣也未涉及鏡頭畸變帶來的偏差．另外,文獻[10]提出了一種基于相位標靶的相機標定方法,但相位標靶并不適合在復(fù)雜光照環(huán)境下的應(yīng)用,比如機器人導(dǎo)航等．除此之外,大多數(shù)研究集中標定算法的研究上,譬如文獻[11-12],但在實際應(yīng)用上,這些方法仍有不足,傳統(tǒng)模型和方法依然占據(jù)主流．

綜上所述,不依賴任何輔助工具,圓模式平面標靶圓心在相機空間的準確定位依然是一未很好解決的問題,本文針對文獻[6]的不足,僅僅基于一塊圓模式平面標靶,提出了一種同時估計和矯正鏡頭畸變和透視偏差從而獲得圓心在圖像空間的精確定位方法．值得一提的是,偏差矯正過程采用迭代策略并和相機參數(shù)估計過程獨立,從而降低了參數(shù)估計過程中誤差累計的影響[6],并可通過初始檢測的橢圓中心和偏差矯正,獲得真實的圓心成像點,從而提高標定精度．模擬數(shù)據(jù)實驗結(jié)果表明,通過3次左右迭代就可收斂,矯正后估計的特征點與真實特征點偏差精度可達10-5像素,從而標定結(jié)果幾乎完全恢復(fù)基準參數(shù),證明了該方法的正確性．真實圖像標定結(jié)果,也達到了理想的結(jié)果．

1 相機模型和基于偏差矯正的標定方法

在這一部分,首先給出相機模型和標定方法,然后給出特征點的透視和偏差矯正估計方法,最后給出完整的基于圓模式標靶的高精度標定步驟．值得說明的是,本文方法也可適用于其他更復(fù)雜的相機模型．

1.1 相機標定模型

標定過程中,平面標靶上的特征點坐標稱為世界坐標,記為[xw,yw,0]T,相機坐標系記為[xc,yc,zc]T,標靶的姿態(tài),包括旋轉(zhuǎn)和平移,記為R,t;圖像空間像素坐標為[u,v]T．相機成像過程可描述為:

其中,s為常數(shù)比例系數(shù),K稱為相機內(nèi)部參數(shù)矩陣,H稱為單應(yīng)矩陣,[u0,v0]T是圖像主點,fx和fy為焦距,R、t為標靶的旋轉(zhuǎn)和平移．r1、r2為R的前兩列．

(2)

其中:hi為單應(yīng)矩陣Η的第i個行向量．

根據(jù)上式,由多幅(≥3)不同姿態(tài)的標靶圖像可以估算相機內(nèi)部參數(shù)矩陣K以及各標靶的姿態(tài)[Ri,ti]的初始估計[3]．

在相機成像的過程中,相機鏡頭會產(chǎn)生畸變．令[u,v]T為像點的非畸變位置,令[u′,v′]T為畸變位置,那么有下列關(guān)系:

(3)

其中:k1、k2、k3為徑向畸變系數(shù),p1、p2為切向畸變系數(shù),r是該點距成像中心的距離．

假設(shè)從N個不同姿態(tài)得到了N幅標靶圖像,每幅圖像上有M個像點．利用前述單應(yīng)矩陣H和各標靶姿態(tài)的初始估計,并設(shè)置初始畸變參數(shù)0,再通過最小化以下函數(shù)求解畸變參數(shù)的初始估計:

(4)

其中:Mj表示第j個像點對應(yīng)的標定板上的三維點,P(K,Ri,ti,Mj)為Mj所對應(yīng)的第i幅圖像的投影,mij=[uij,vij]T為式(3)中矯正得到的非畸變像素位置．最小化問題最終可以通過Levenberg-Marquardt算法[13]優(yōu)化求解．通過上式可估算出初始畸變參數(shù),利用初始畸變參數(shù)和式(3)對成像特征點做矯正,再重新估計相機內(nèi)部參數(shù)矩陣K和各標靶的姿態(tài),然后利用公式(4)對畸變系數(shù)重新估計．上述過程一直進行到預(yù)設(shè)的精度達到為止．

1.2 基于偏差矯正的相機標定策略

由于透視偏差和圖像畸變的存在,當標定平面與圖像平面存在旋轉(zhuǎn)和位移時,標定板上的圓形投影在圖像平面之后會變成近似的橢圓,但成像橢圓的中心并非標靶上對應(yīng)圓心的投影,因此利用成像橢圓中心進行相機標定會降低標定精度．針對這個問題,本文提出了采用迭代的方法對投影橢圓中心進行偏差矯正．

偏差矯正基于如下事實:利用成像橢圓中心進行標定時,由于存在透視和畸變偏差,得到的相機內(nèi)部和外部參數(shù)并不精確,因此利用得到的相機內(nèi)部和外部參數(shù)重建圖像也會產(chǎn)生偏差．如圖1所示,實線橢圓為成像橢圓,虛線橢圓為重建橢圓,兩者并不重合,也會存在位置偏差．也就是說成像橢圓中心和重建橢圓中心并不重合．另外,實線橢圓的中心(圖1十字線)就是重建虛線橢圓的對應(yīng)標靶圓心的投影(標定時使用)．換句話說,虛線橢圓的中心是圖1中實心點,其真實的標靶圓心投影就是圖1中十字線(對應(yīng)實線橢圓的中心)．因此如果移動虛線橢圓和實線橢圓重合,那么圖1中十字線(成像橢圓中心)移動到位置就是成像橢圓對應(yīng)標靶圓心的精確成像點．即在成像橢圓中心坐標上加上使2個橢圓重合的偏差向量,就能得到無偏差的標靶圓心投影估計．

圖1 成像橢圓與重建橢圓對比

從上面分析不難看出,圓心在圖像投影空間的精確定位,可以通過圖像重建來達到,即利用估計的相機內(nèi)部和外部參數(shù)對平面標靶進行投影重建,如果重建圖像和實際獲得的標靶圖像重合,就可獲得圓心投影的精確估計．重建圖像和實際圖像的重合度估計可以采用圖像匹配的方法,但這種策略速度慢,不利于實際應(yīng)用．在這里,本文采用一種簡便實用的方法:對實際圖像獲得的近似橢圓中心和重建圖像近似橢圓的中心進行比較,就可以同時獲得透視和畸變偏差估計,得到精確的圓心投影估計．橢圓的中心估計有2種方法,圓錐曲線投影法[6]和采樣投影擬合法．圓錐曲線投影法的優(yōu)點是無須對標靶上的圓輪廓采樣,可以和相機內(nèi)部和外部參數(shù)結(jié)合一次得到圓心投影,但圓錐曲線投影法僅適合在無畸變空間進行．當鏡頭存在畸變時,將圓錐曲線投影法得到的橢圓中心變換到畸變空間,并不是真正的圓心的成像點,存在一定的畸變偏差,這也正是文獻[6]首先利用Calibration Harp輔助工具進行鏡頭畸變參數(shù)標定,然后在畸變校正圖像上進行透視偏差矯正的原因．因此,本文采用下述采樣法．

估計透視和畸變偏差時,需要對標靶上的圓輪廓進行采樣,并投影到圖像空間擬合橢圓(圖1中虛線橢圓)和原始空間中檢測到的橢圓進行比較．平面標靶上每個圓上采樣點的世界坐標可按照下式計算:

(5)

其中:[xj,yj]T為平面標靶上第j個圓的中心坐標,L為采樣點數(shù),k=0,1,2,…,L-1為每個圓上的采樣點下標,r為標靶上圓的半徑．

設(shè)檢測的橢圓中心坐標為[u,v]T,作為矯正基準保持不變．利用相機參數(shù)投影擬合的橢圓中心記為[u′,v′]T．那么透視和畸變綜合偏差[Δu,Δv]T可由下式得到:

(6)

設(shè)[u′,v′]T為重新估計的標靶圓心成像坐標,其初值[u′,v′]T=[u,v]T．根據(jù)上述計算方法,可由式(7)得到重估的標靶圓心成像坐標:

(7)

利用重新估計的圓心投影[u′,v′]T和1.1節(jié)描述的算法,對相機參數(shù)重新計算,然后再計算重建偏差,重估標靶圓心成像坐標,再對相機參數(shù)重新估計．這個過程一直進行下去,直到偏差不再變化為止．在實際計算過程中,設(shè)置dt=‖[Δu,Δv]T‖,t為迭代次數(shù),d0=0,設(shè)ε=|dt+1-dt|,當ε小于預(yù)置的精度時停止迭代．

綜上所述,總體標定步驟具體如下:

步驟1 準備一塊上有M個圓的平面標靶,以不同姿態(tài)拍攝N幅圖像(N≥3),檢測的橢圓中心用[uij,vij]T表示,其中i=1,2,…,N,j=1,2,…,M．在后面偏差估計過程中始終保持不變;

(8)

并設(shè)ε=|dt+1-dt|,d0=0,其中t為迭代次數(shù);

步驟4 按照公式(5)對標靶圓輪廓進行采樣,按照最新估計的相機參數(shù)將采樣點投影到圖像空間,并擬合橢圓,得到的橢圓中心記為[uij′,vij′]T;

步驟5 按照下式計算檢測的橢圓中心[uij,vij]T與重建擬合的橢圓中心[uij″,vij″]T的偏差向量[Δuij,Δvij]T和平均偏差dt:

(9)

步驟6 如果平均偏差ε小于預(yù)定精度,算法結(jié)束,否則進入第7步;

步驟7 重新估計標靶圓心的成像坐標:

(10)

步驟8 利用第7步得到的重估的圓心成像點,返回第3步繼續(xù)．

通過以上的標定過程可知,本文算法和相機模型參數(shù)估計過程是獨立的,因此通過簡單修改,也適合在相機內(nèi)部參數(shù)已經(jīng)標定好的情況下,得到高精度的姿態(tài)估計參數(shù)．姿態(tài)參數(shù)估計是只需一幅標靶圖像,可以固定相機內(nèi)部參數(shù)并通過矯正畸變和透視偏差得到高精度的特征對應(yīng)點,從而得到高精度的標靶姿態(tài)估計．這在實際工業(yè)領(lǐng)域有廣泛應(yīng)用,比如汽車四輪定位,機器人定位導(dǎo)航等等．具體修改方法如下:步驟1改為拍攝一副圖像即N=1;將步驟3改為估計標靶的姿態(tài)參數(shù),即旋轉(zhuǎn)矩陣R和平移向量t(相機參數(shù)已經(jīng)標定好,保持不變)．

2 實驗與結(jié)果

2.1 模擬標定實驗

本模擬實驗的目的是要驗證,僅僅根據(jù)成像橢圓中心,通過本文提出偏差矯正方法就可獲得精確的標靶圓心對應(yīng)特征點,從而恢復(fù)精確基準相機參數(shù)．在模擬實驗中,相機的基準參數(shù)由實際標定過程獲取的參數(shù)稍加修改得到．實驗所用的橢圓及其中心坐標可利用基準相機參數(shù)和特定尺寸的圓模式標靶生成．

模擬實驗圖像分辨率為680像素×480像素,標靶圓心距為10 mm,圓半徑為3 mm的7×7圓形陣列標靶．相機基準參數(shù)包括相機內(nèi)部參數(shù)和13組不同的姿態(tài)參數(shù),由此獲得13幅不同圖像．

首先,使用式(5)對標靶圓輪廓進行采樣,采樣點數(shù)為50(實驗發(fā)現(xiàn)24以上都可行),并使用基準相機參數(shù)將其投影到圖像空間,并擬合得到橢圓中心,將其作為對應(yīng)特征點使用1.1節(jié)算法進行標定,得到經(jīng)典算法[3]標定結(jié)果．然后將其作為初值使用本文算法進行標定．算法迭代3次,結(jié)果收斂．表1給出了標定結(jié)果對比．從表1結(jié)果可以看出與基準相機參數(shù)比較,經(jīng)典算法[3]得出的最大誤差為0.1像素左右,本文算法的最大誤差為10-5像素左右,基準相機參數(shù)完全得到恢復(fù)．

表1 模擬實驗結(jié)果對比

另外,為了說明本文算法利用橢圓中心和矯正偏差估計得到的對應(yīng)特征點精確性,我們利用相機基準參數(shù)對標靶圓心的進行投影得到真實的對應(yīng)特征點．圖2給出了真實對應(yīng)特征點(標靶圓心成像坐標)和橢圓中心坐標的誤差分布如圖2(a)和本文算法估計得到的恢復(fù)標靶圓心成像坐標誤差分布圖2(b),均方誤差分別為0.106 068像素和1.465 16×10-6像素．從圖2(a)可以看到真實對應(yīng)特征點(標靶圓心成像坐標)并非橢圓中心,誤差分布較大,因此利用橢圓中心進行標定降低了精度．而通過本文算法利用橢圓中心作為初始值得到的對應(yīng)特征點幾乎恢復(fù)了真實的特征點．

由此可見,只要能夠精確檢測到橢圓中心坐標,按照本文算法可以精確估計真實的標靶圓心成像坐標,得到理想的標定結(jié)果．相比較文獻[6]中方法,由于首先要利用Calibration Harp畸變標定工具標定畸變參數(shù),工具本身存在檢測、量化等誤差,對模擬結(jié)果有一定影響,其模擬實驗精度獲得的相機參數(shù)最高精度為0.008像素左右,而我們的模擬誤差最大為10-5像素．

圖2 標靶圓心成像坐標估計誤差分布

值得一提的是,本文算法收斂速度很快,無論是模擬圖像和實際圖像,經(jīng)過3次左右迭代就能達到收斂目標．原因很簡單:橢圓中心作為標靶上圓心的對應(yīng)有偏差,但仍然是較好的近似,由此計算的相機內(nèi)部和外部參數(shù)同樣也是一較好的逼近,這也是圓模式平面標靶多年來廣泛應(yīng)用的原因．實際上,從原理上看,本文的策略是利用初始相機參數(shù)重建的橢圓圖像和原始橢圓對比,迭代1次偏差幾乎可以得到校正,參考圖2(c),但校正后,利用重新計算的相機參數(shù)重建的橢圓和原始圖像中橢圓可能還存在較小的誤差,因此,本文采用多次校正的策略,發(fā)現(xiàn)4次迭代,相對收斂誤差就可達到10-5像素(預(yù)設(shè)閾值)．

2.2 實際圖像標定實驗

在對實際圖像進行標定時,真實的圓心投影點未知,因此無法通過特征點的恢復(fù)來驗證精度,但可通過橢圓重建的重合度來驗證算法的有效性．即可以利用標定得到的相機參數(shù)對標靶進行投影重建得到橢圓圖像,并和原始對應(yīng)橢圓圖像比較其重合度．而橢圓的重合度可通過比較其中心偏差來估計．

實際圖像實驗圖像分辨率設(shè)為1280像素×1024像素．標靶為5×5圓陣列,圓直徑為22 mm,中心距為27 mm,實驗總共獲取12幅不同姿態(tài)的圖像．

首先,對實際圖像提取橢圓中心作為特征點標定相機,然后再使用本文算法進行迭代,算法3次后收斂,如圖3(c)為迭代誤差曲線圖．

圖3給出了橢圓中心重合度誤差分布對比散點圖．傳統(tǒng)標定方法[3]結(jié)果重合度的均方誤差為0.141 984像素,本文算法的均方誤差為0.018 032 5像素．從圖3可以看出,由于透視投影和鏡頭畸變,實際檢測的橢圓中心和真實的標靶圓心的成像點并不重合,因此利用橢圓中心標定得到的相機參數(shù)重建橢圓和實際圖像橢圓中心偏差較大,而采用本文的算法大大消除了透視和鏡頭畸變產(chǎn)生偏差,估計的特征點更接近真實標靶圓心成像點,因此重建誤差也很?。瑫r說明本文算法可以得到的標定結(jié)果精度更高．我們注意到實際圖像和模擬實驗相比精度相差較大,這是由于實際數(shù)字圖像的獲取存在一定的量化誤差和環(huán)境噪聲,橢圓的識別存在誤差,因此無法精確估計橢圓的中心坐標造成的．另外,標定精度也會受圖像分辨率的影響;在同樣的噪聲環(huán)境下,拍攝圖像的分辨率越高,其標定精度也會相應(yīng)提高．

值得說明的是,由于鏡頭畸變和透視偏差,標靶上圓的成像只是近似的橢圓,但并不影響本文算法．只要檢測圖像的特征點和重建圖像的特征點在標定時特征一致,本文算法就可以通過矯正透視投影和鏡頭畸變產(chǎn)生的偏差,提高標定精度．

圖3 傳統(tǒng)標定結(jié)果和本文算法重建誤差分布

3 結(jié)束語

特征點精確估計是相機標定過程中非常重要的部分．圓模式平面標靶是一常用的相機標定工具,相對棋盤標靶,有制造容易、特征點恢復(fù)受光照和噪聲的影響較小的特點．但由于透視和鏡頭畸變,提取的橢圓中心會和實際標靶圓心成像點產(chǎn)生偏差,從而降低了標定精度．本文提出了一種通過透視偏差和畸變偏差矯正精確估計圓心實際成像坐標的方法和相機參數(shù)標定策略,可以和現(xiàn)有的相機標定方法無縫結(jié)合,得到高精度的標定結(jié)果．另外,在相機標定好的情況下,也可以使用本文算法產(chǎn)生高精度的標靶姿態(tài)參數(shù),以應(yīng)用于機器人引導(dǎo)、定位等領(lǐng)域．值得一提的是,本文的研究成果已應(yīng)用到基于3D視覺的汽車四輪定位中,并取得了良好的效果．