基于后測量策略的攝像機穩(wěn)健標定方法

王 賀，王國中，張兆楊

（上海大學(xué) 通信學(xué)院，上海 200072）

1 攝像機標定簡介

攝像機標定作為計算機視覺領(lǐng)域的一個重要課題，人們已經(jīng)對其進行了較多的研究[1-4]，但是多數(shù)在實驗室進行的研究，對所拍攝的標定圖像的質(zhì)量要求較高。所以，在某些實際場景中，可能拍攝得到的圖像質(zhì)量并不理想，比如使用CMOS相機進行機器視覺測量，或者室內(nèi)暗光場景下進行3D視頻的多相機采集等。圖1a是在理想照明狀況下拍攝到的模板細節(jié)，而圖1b是在非理想狀態(tài)下拍攝到的細節(jié)?？梢杂^察到，非理想狀態(tài)下圖像噪聲較嚴重，必然對標定過程中細節(jié)特征提取造成影響，最終影響標定精度?；?D模板的方法是當(dāng)前實際應(yīng)用最頻繁的方法之一，然而此方法對特征提取的依賴性較強，所以不良的圖像質(zhì)量導(dǎo)致了基于2D模板方法的穩(wěn)健性下降。而且2D模板方法可能因為模板的旋轉(zhuǎn)，使得計算機對圖像理解錯誤，導(dǎo)致計算機提取的角點坐標與實際的角點坐標誤匹配，如圖2所示。

本文提出一種新的標定物設(shè)置方法，并且顏色特征提高特征提取的自動化和準確性，以提高標定結(jié)果的準確度。

2 標定方法類別

現(xiàn)有的多數(shù)關(guān)于攝像機標定的研究是基于標定物參照物的標定，根據(jù)標定物體的維度，它們可以大體被分作3類：

1）基于3D標定參照物的標定方法

相機所拍攝的3D標定物，必須在3D空間中具有精確的尺寸信息和位置信息，此方法的標定效率比較高[3]。3D標定物通常是由2個或者3個相互正交的平面構(gòu)成。某些時候也采用對1個平面進行精確的可知平移后，多次進行拍攝的方法達到構(gòu)建3D標定物的目的。而這種方法，對于設(shè)備的要求極高，需要精確控制尺寸，并且進行精密的事先設(shè)置。

2）基于2D標定參照物的標定方法

此類方法要求對1個2D模板從不同的角度和位置進行多次拍攝[4]，不同于Tsai的方法，2D模板相對于攝像機的移動信息并不是必要的。因此，此種方法相對3D標定參照物法，易于實現(xiàn)。但是在某些場景中，穩(wěn)健性、穩(wěn)定性不夠好。

3）基于1D標定參照物的標定方法

理論上1D標定物是空間中一條線段上的端點，一般來說是由1根棒狀物體，并在直棒上附加球形標記構(gòu)成。在拍攝標定圖像的過程中，1D標定物的一端要求固定不變，改變直棒的姿態(tài)，進行多組拍攝，然后對圖像進行識別，獲得特征信息，進行閉式求解，并用非線性方法優(yōu)化。在某些場景下，此法的精度不及2D標定精度，但是可以滿足一些特殊需求，比如，兩相機的基線長度極大，而且光軸夾角大于90°的情況下。此方法在理論上填補了標定物維度從3D到1D的空白環(huán)節(jié)[5]。

不管是哪一種分類，最終都是為了求解特定相機所確定的由世界坐標到圖像坐標的映射關(guān)系

式中：W為世界坐標，是一個4行1列齊次坐標；m是一個3行1列齊次坐標；P是一個3行4列矩陣。

3 標定物構(gòu)建與后測量策略

因此，為提高識別精準度、降低相對測量誤差，提出一種新的標定參照物構(gòu)建方法，并且在測量中使用后測量策略。構(gòu)建完成后的標定物如圖3所示。所有特征可以由普通彩色打印機打印，特征由1個圓環(huán)和1個2×2的黑白方格陣構(gòu)成，圓環(huán)半徑任意設(shè)定，黑白方格陣的中心處于圓環(huán)的圓心位置。特征被固定在一個盡可能大的平板之上，圖3中的平板大小為1.4 m×1.2 m，首先固定紅、綠、藍三色特征，3個特征盡量彼此保持最大距離，如此3個特征構(gòu)成三角形，然后，可以用普通卷尺測量3個頂點之間的距離，本實驗所用的卷尺最小刻度為0.5 mm。然后，在3個頂點的中點位置，安置3個黑色特征，除了顏色為黑色之外，構(gòu)造方法與彩色特征一致。

圖3 本文提出的標定參照物

在確定標定物的尺度時，采取了后測量策略。由于前文提到的打印機誤差問題，預(yù)設(shè)的尺度值總是與實際尺度值之間有誤差，為改進此問題，標定物尺寸的確定被放在標定物構(gòu)建完成之后進行。前文提及，使用普通標尺即可進行測量，且最小刻度為0.5 mm的標尺可以保證測量每個邊長的誤差小于0.5 mm。因此，比較棋盤模板與本文模板，當(dāng)棋盤模板橫軸總長度為43.75 mm時，相對誤差為0.009，若本文標定物中三角形邊長為43.75 mm時相對誤差為0.011。但是，隨著標定無尺度變大，本文標定物相對誤差小的優(yōu)勢逐漸顯現(xiàn)，如表1所示，相對誤差的下降曲線對比如圖4所示。

表1 棋盤模板與本文標定物相對誤差比較

所以，通過相對誤差對比可以觀察得知，通過后測量策略可以有效降低相對誤差。本質(zhì)上是因為新參照物中特征之間的距離遠大于棋盤模板特征點之間的距離，因此相對誤差被減小。這樣增強了在不同環(huán)境、不同設(shè)備條件下構(gòu)建標定參照物的穩(wěn)健性。

4 RGB空間信息輔助特征檢測

前文提及在棋盤特征點檢測的時候，有可能因為大角度旋轉(zhuǎn)引起特征點對應(yīng)錯誤，為解決此問題，引入了RGB顏色信息來輔助特征點檢測，提高檢測成功概率。從圖5可以觀察得知，在世界坐標系中的3種顏色特征分別對應(yīng)了圖像平面上的3種顏色特征，由此不論標定物如何旋轉(zhuǎn)，只要在RGB空間中能對特征進行分別檢測，就可以保證特征點的一一對應(yīng)，解決了棋盤模板在大旋轉(zhuǎn)情況下可能出現(xiàn)誤差的問題。但是，由于光學(xué)三基色與印刷三基色不同，所以打印出的顏色圓環(huán)并非純正的紅綠藍三色，比如，在紅色圓環(huán)中，會混有藍色和綠色分量。為了紅綠藍三色特征分別被檢測出來，需要在每個區(qū)域根據(jù)采樣的概率密度設(shè)定三分量的不同門限，以達到提高檢測概率，降低虛警概率的目的。

首先，針對不同的照明強度與場景條件，需要對圖像的全局亮度進行估計，經(jīng)過多組實驗，得到全局亮度估計

式中：Af為鏡頭的光圈尺寸；Tex表示曝光時間；Pl表示外部照明強度值；k（n）為圖像傳感器響應(yīng)函數(shù)。得到全局亮度后，圖像被下面的公式重新歸一化

式中：In表示歸一化后的亮度值；Imax表示最大實驗亮度；Er,g,b(x,y)表示每個像素的RGB分量；Qr,g,b表示R，G，B分量的加權(quán)因子，在實驗中得到，當(dāng)Qr=0.49，Qg=0.90，Qb=0.65時，實驗效果較好。

由前文所述對多個像素點進行采樣統(tǒng)計得知，各個分量的亮度值基本服從正態(tài)分布

式中：yj表示采樣點的亮度值；mr,g,b為R，G，B分量的均值。若要提高檢測概率，則需要最大化，公式為

式中：Dr,g,b表示紅綠藍中某一個特定顏色特征的出現(xiàn)概率；H1表示備擇假設(shè)；H0表示零假設(shè)。因此，式（5）被重寫為

式中：Tacc為接受門限；Trej為拒絕門限。經(jīng)過實驗得到，當(dāng)Tacc=80.1，Trej=39.8,Pr達到最大值，當(dāng)使用以上2個門限值對特定顏色特征進行檢測時，虛警概率可以保證小于0.01。對于三基色檢測之后得到的橢圓環(huán)的檢測，參考了方法[6-8]。檢測結(jié)果如圖6所示。有色圓環(huán)帶狀區(qū)域中的白色曲線即檢測到的橢圓曲線，中心的白色“o”標志，為橢圓的中心位置或者稱橢圓兩焦點的中點。可以看出，檢測的效果較好，橢圓中心位置與特征中心的位置吻合較好。但是，仍可以看出，橢圓中心與實際特征中心點有微小差距，下面將以橢圓檢測的結(jié)果為初始值，通過中心的二次檢測，提高中心特征點檢測精度。

橢圓檢測后，得到的橢圓中心與實際特征中心吻合較好，僅有微弱差異，因此可以以檢測到的橢圓中心為基礎(chǔ)，在其周圍進行中心二次檢測，檢測方法采用了改進的Harris角點檢測方法。對于特征中心的定位可以達到亞像素精度，即定位誤差小于0.1像素。

5 標定的求解

由此，特征點在圖像中的坐標可以準確得到。又根據(jù)前文所述的后測量方法，得到各個點之間的距離，根據(jù)簡單的三角關(guān)系可以得到特征點在世界坐標中的位置坐標，而經(jīng)過特征檢測后，得到了特征點的圖像坐標，因此，根據(jù)以上兩組數(shù)據(jù)可以求解世界坐標到圖像平面之間的投影關(guān)系[3]。為了進一步提高精度，可以使用線性求解的結(jié)果作為初始值，進行非線性優(yōu)化，比如使用Levern?berg-Marquardt方法。

6 實驗與分析

為驗證標定的可行性，進行了多組實驗。對單個相機進行標定后發(fā)現(xiàn)，反投影誤差90%，小于0.1像素，如圖7所示。而且與棋盤方法相比，標準差與反投影誤差都有所減小。表2至表5分別為采用棋盤模板法與本方法的實驗結(jié)果，可以發(fā)現(xiàn)，本方法相對前方法反投影誤差減小，而且穩(wěn)定性有所提高。如果采用多組圖像進行標定，隨著圖像組數(shù)增加，標定結(jié)果的穩(wěn)定性也會進一步增強，精度也有所提高。

表2 采用棋盤法進行單相機標定得到的結(jié)果

表3 采用本文方法進行單相機標定得到的結(jié)果

表4 棋盤法統(tǒng)計標準差

表5 本文方法統(tǒng)計標準差

7 結(jié)論

分析當(dāng)前2D參照物標定法的不足之后，筆者提出了一種引入RGB空間信息輔助進行特征檢測的、后測量的標定方法，并且分別闡述了標定物的構(gòu)建方法和后測量策略的原理，并用獨立實驗證明特征檢測的有效性與穩(wěn)健性。最后，用實驗驗證了相機標定效果，實驗證明，誤識別的可能性被大大降低，反投影誤差小于傳統(tǒng)棋盤模板方法，而且多組實驗結(jié)果對比證明本方法的穩(wěn)定性較高。

[1]TSAI R Y.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off the-shelf cameras and lens[J].IEEE Robotics and Automation，1987，3（4）：323-344.

[2]STURM P，MAYBANK S.On plane-based camera calibration：a general algorithm，singularities，applications[C]//Proc.IEEE Conference on Computer Vision and Pattern Recognition.Fort Collins，Colorado：IEEE Press，1999：432-437.

[3]FAUGERAS O，LUONG Q T.The geometry of multiple images：the laws that govern the formation of multiple images of a scene and some of their applications[D].Cambridge，MA：MIT，2001.

[4]ZHANG Z.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330-1334.

[5]FRAN?A J A，MARCELO S R，F(xiàn)RAN?A M B，et al.Revisiting Zhang's 1D calibration algorithm[J].Pattern Recognition，2010，43（3）：1180-1187.

[6]O'MALLEY R，JONES E，GLAVIN M.Rear-lamp vehicle detection and tracking in low exposure color video for night conditions[J].IEEE Transactions on Intelligent Transportation Systems，2010，11（2）：453-462.

[7]KAKUMANU P，MAKROGIANNIS S，BOURBAKIS N.A survey of skin-color modeling and detection methods[J].Pattern Recognition，2007，40：1106-1122.

[8]LEE J K，WOOD B A，NEWMAN T S.Very fast ellipse detection using GPU-based RHT[EB/OL].[2010-05-20].http：//www.icpr2008.org/.