相機畸變的混合模型迭代檢校法

汪佳麗，王煒杰，馬振玲

(上海海洋大學(xué)海洋科學(xué)學(xué)院，上海 201306)

相機檢校是攝影測量[1-2]和計算機視覺界長期關(guān)注的問題，至今為止國內(nèi)外提出了很多檢校方法，但仍然很難找到一個既能方便地適用于各種場景，又能得到很高精度的相機檢校方法[3]。傳統(tǒng)的畸變校正方法主要是利用棋盤格網(wǎng)等檢校板，根據(jù)檢校模型計算畸變系數(shù)和影像的內(nèi)外方位元素，從而進行影像校正[4]。對于相機的畸變校正，文獻[5]提出了Australis模型，并認(rèn)為其為最優(yōu)經(jīng)驗?zāi)Ｐ?，但是缺乏對模型適應(yīng)性的定量性分析。文獻[6]表明對于大多數(shù)計算機視覺的應(yīng)用，可以忽略切向畸變，但是對于一些短焦距大視角的鏡頭畸變，其切向畸變和平面內(nèi)畸變都偏大，因此大多數(shù)情況下并不適用。文獻[7]在傳統(tǒng)畸變模型和文獻[8]模型的基礎(chǔ)上提出了新的畸變模型，能夠?qū)?shù)碼相機的整體檢校精度降低到0.5像素以下。但是其建立的模型復(fù)雜程度較高，未知數(shù)個數(shù)較多，不利于實現(xiàn)，穩(wěn)健性較低。文獻[9]在現(xiàn)有相機的檢校模型基礎(chǔ)上提出了迭代的相機檢校思路，發(fā)現(xiàn)模型的迭代檢校法能夠進一步提高檢校精度。綜上所述，目前的非線性畸變檢校模型主要是針對相機中存在的徑向、偏心和平面內(nèi)畸變，由于CCD成像平面存在不規(guī)則和不平性，往往并不能簡單地通過模型檢校系數(shù)進行校正[3]，而且畸變模型的檢校精度還有待提高。

本文首先通過理論證明了考慮徑向、偏心和平面內(nèi)3種畸變的檢校模型優(yōu)于考慮其中一種或兩種畸變的檢校模型；其次針對相機成像平面的不平性等問題，在考慮3種畸變的物理檢校模型的基礎(chǔ)上引入了數(shù)學(xué)檢校模型(切比雪夫多項式[10-11])，并通過試驗驗證了兩個模型交替混合迭代，能更好地提高檢校精度；最后對運動相機GoPro Hero 5 Black的線性模式進行了檢校試驗，結(jié)果顯示本文提出的物理檢校模型和數(shù)學(xué)檢校模型的混合迭代檢校法能夠更好地提高檢校精度。

1 相機檢校模型

1.1 物理檢校模型

一般來說，非線性光學(xué)畸變主要有徑向畸變，偏心畸變及平面內(nèi)畸變[12-13]。經(jīng)典的相機平面校正模型(物理檢校模型)為

(1)

式中，k1、k2、k3為徑向畸變系數(shù)；p1、p2為偏心畸變系數(shù)；b1、b2為像元大小不均勻的情況下x方向的比例因子和非正交性(線性畸變)的畸變系數(shù)；x、y為像點坐標(biāo)；x0、y0為主點坐標(biāo)；r為實際像點的徑向距離。

為了仔細分析各種畸變的影響，本文定義了幾種物理模型。〇號模型：不估算任何畸變系數(shù)；二號模型：只估算偏心畸變系數(shù)p1、p2；三號模型：只估算徑向畸變系數(shù)k1、k2、k3；五號模型：同時估算徑向畸變系數(shù)k1、k2、k3和偏心畸變系數(shù)p1、p2；七號模型：同時估算徑向畸變系數(shù)k1、k2、k3，偏心畸變系數(shù)p1、p2，平面內(nèi)畸變系數(shù)b1、b2。

1.2 數(shù)學(xué)檢校模型

除了應(yīng)用物理模型，本文嘗試采用兩維切比雪夫正交多項式，作為數(shù)學(xué)檢校模型來進行檢校。切比雪夫多項式具有收斂性、正交性和對稱性的特點。正交的特點保證系數(shù)間不相關(guān)，理論上任何模型都可以用一組n階正交多項式來無限逼近[14]。根據(jù)魏爾施特拉斯逼近定理，閉區(qū)間的任何連續(xù)函數(shù)都可以用多項式級數(shù)逼近，本文采用一組第1類切比雪夫多項式來逼近影像畸變模型。切比雪夫多項式由式(2)的遞推關(guān)系確定

T0(x)=cos 0=1，T1(x)=x，Tn+1(x)=2xTn(x)-Tn-1(x)

(2)

式中最高次xn項的系數(shù)為2n-1。式(2)為一維形式的切比雪夫多項式，兩維形式的切比雪夫多項式檢校模型為

(3)

正交多項式的階數(shù)決定需要估算的系數(shù)個數(shù)，如采用3階(M=N=3)，即各用9個系數(shù)(am,n，bm,n)來描述x與y方向的畸變，本文切比雪夫多項式檢校模型簡稱CHEBY模型。

2 相機檢校試驗及結(jié)果分析

2.1 考慮不同畸變系數(shù)的檢校模型比較

針對物理檢校模型是否應(yīng)該考慮徑向、偏心和平面內(nèi)3種畸變還是考慮其中的一種或兩種畸變的理論證明，本文模擬4張理想的棋盤影像，理想影像除去了噪聲、光線等環(huán)境誤差及控制點的量測等誤差。此時理想影像的像方中誤差和控制點空間坐標(biāo)中誤差都為0，通過模擬4組不同的畸變系數(shù)，對理想影像重采樣得到4組具有不同畸變的模擬影像。4組畸變系數(shù)見表1。

針對4組模擬影像，分別使用不同的物理檢校模型進行檢校，檢校精度如圖1所示。

圖1 不同物理檢校模型對模擬影像的檢校結(jié)果比較

從圖1可以看出，對應(yīng)于4組具有不同畸變的模擬影像，考慮徑向、偏心和平面內(nèi)3種畸變的7號模型檢校精度最高。

2.2 模擬影像的混合模型迭代檢校試驗

文獻[15]提出對于相機表面存在的不平性等制造誤差可以通過徑向畸變和有限元內(nèi)插畸變兩部分進行消除。本文在先前提出的迭代檢校法基礎(chǔ)上引入了數(shù)學(xué)檢校模型，在迭代過程中交替使用物理檢校模型和數(shù)學(xué)檢校模型，從而形成混合模型的相機迭代檢校法。

首先利用表1中的第1組畸變系數(shù)獲取的4張畸變模擬影像試驗，針對混合模型迭代檢校是先采用物理檢校模型(七號模型)還是先采用數(shù)學(xué)檢校模型的問題進行了探討。假設(shè)模擬影像的外方位元素未知，分別對該4張模擬影像進行七號模型檢校和CHEBY模型檢校，檢校結(jié)果發(fā)現(xiàn)CHEBY模型檢校得到的外方位元素偏離真值較大，而七號模型檢校的結(jié)果接近真實值，因此在外方位元素未知的情況下，混合模型迭代檢校法先采用七號模型進行檢校。

根據(jù)檢校迭代思路，本文設(shè)計了兩種迭代途徑：迭代途徑1是先采用七號模型迭代檢校，當(dāng)檢校穩(wěn)定后，固定外方位元素再采用CHEBY模型迭代檢校；迭代途徑2是先采用七號模型檢校，固定外方位元素采用CHEBY模型檢校，然后再采用七號模型檢校，固定外方位元素后再次采用CHEBY模型檢校，依次類推交錯迭代檢校，直至穩(wěn)定。迭代途徑一和迭代途徑二得到的結(jié)果分別見表2和表3。

表2 迭代途徑1檢校結(jié)果

表3 迭代途徑2檢校結(jié)果

表中07表示七號模型一次迭代檢校；07-07表示七號模型的二次迭代檢校；07-C表示先采用七號模型檢校，然后固定外方位元素數(shù)進行CHEBY模型檢校；07-C-07表示采用七號模型和CHEBY模型檢校后再采用七號模型檢校；(07-C)X4表示4次七號模型和CHEBY模型檢?；旌辖诲e迭代。其他檢校迭代標(biāo)號表達以此類推。

比較兩種迭代檢校途徑結(jié)果可以發(fā)現(xiàn)，迭代途徑2小于迭代途徑1，即交替采用七號模型與CHEBY模型的混合模型迭代檢校途徑優(yōu)于先采用七號模型迭代檢校再采用CHEBY模型迭代檢校的混合模型迭代檢校途徑。

2.3 GoPro Hero 5 Black運動相機的混合模型迭代檢校試驗

本文利用GoPro Hero 5 Black相機的線性模式進行了混合模型的迭代檢校試驗。該款相機拍攝的影像具有1200萬像素分辨率，傳感器尺寸為1/2.3英寸，焦距約為3.4 mm。選用具有規(guī)則幾何形狀且磚塊紋路清晰的建筑物墻面作為檢校場，在距離墻面約1.1 m處拍攝7張影像，設(shè)置了71個控制點，利用全站儀獲取的控制點量測精度約為2 mm，影像的像素分辨率約為0.46 mm。通過七號模型和CHEBY模型進行混合迭代檢校7次后控制點空間坐標(biāo)中誤差和像方中誤差趨于穩(wěn)定，此時像方中誤差約為1.91像素(相當(dāng)于平面0.88 mm)，物方空間坐標(biāo)中誤差約為2.00 mm，檢校精度見表4。

表4 GoPro Hero 5 Black相機混合模型迭代檢校精度

3 結(jié) 語

本文首先通過模擬影像引入各種畸變，然后對其進行畸變恢復(fù)檢校試驗，試驗證明考慮徑向、偏心和平面內(nèi)3種畸變的物理檢校模型比只考慮一種或兩種畸變的物理檢校模型能更好地對影像進行畸變檢校。針對現(xiàn)有物理檢校模型不能完全消除影像殘余畸變的情況，本文引入了數(shù)學(xué)檢校模型(切比雪夫多項式檢校模型)，并通過模擬的畸變影像驗證了交替采用物理檢校模型和數(shù)學(xué)檢校模型的混合迭代檢校能獲得更優(yōu)的檢校效果。最后對運動相機獲取的真實影像進行進一步試驗，結(jié)果表明基于混合模型的迭代檢校法能進一步提高檢校精度。今后將進行把主距主點作為檢校參數(shù)納入相機檢校模型的研究。