基于概率分布的相機(jī)內(nèi)參優(yōu)化方法

劉文慶 馮鋒

關(guān)鍵詞： 相機(jī)校準(zhǔn); 概率分布; 3D重建; 相機(jī)內(nèi)參; 信息增益; 最優(yōu)路線

中圖分類號： TN911.73?34 ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼： A ? ? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2019）05?0048?05

Camera internal parameter optimization method based on probability distribution

LIU Wenqing， FENG Feng

（Ningxia University， Yinchuan 750021， China）

Abstract： The accuracy of the camera parameter determines the realization result of subsequent vision tasks. An internal parameter determination method based on probability distribution outliers removal and information gain is proposed to improve the calibration accuracy of camera. A camera is used to shoot a set of pictures of a certain size of the checkerboard， then a number of pictures are randomly selected in the picture set， and the Zhang′s calibration method is adopted to carry out the [N]?group calibration experiment for the pictures. The outliers are removed from the calibrated result set according to its probability distribution. The factor values of each internal parameter in residual dataset are divided into three categories. The parameter category with highest information gain under current root node is selected as the optimal node， that is， the optimal route has the maximum information gain. The camera parameters are estimated by using the median value of the result set with higher accuracy in the optimal route. The experimental results show that， in comparison with the original method， the accuracy of the proposed method is improved.

Keywords： camera calibration; probability distribution; 3D reconstruction; camera internal parameter; information gain; optimal route

0 ?引 ?言

在基于圖像的光學(xué)測量系統(tǒng)中，相機(jī)是最重要的功能模塊之一。相機(jī)的數(shù)學(xué)模型是相機(jī)的測量空間和圖像平面之間的投影關(guān)系。相機(jī)校準(zhǔn)用于獲取相機(jī)數(shù)學(xué)模型中的所有參數(shù)，光學(xué)測量系統(tǒng)對于獲得高精度的相機(jī)校準(zhǔn)很重要。任何視覺系統(tǒng)通過從相機(jī)或數(shù)據(jù)存儲設(shè)備獲取圖像或一組圖像來開始其工作。在大多數(shù)工業(yè)案例中，需要從以現(xiàn)實世界坐標(biāo)表示的視覺系統(tǒng)中獲取測量值，這需要將像素度量轉(zhuǎn)換為度量值。為了進(jìn)行這種轉(zhuǎn)換，需要獲得相機(jī)的適當(dāng)剛性變換和內(nèi)在參數(shù)的知識。

無論系統(tǒng)配置如何，相機(jī)校準(zhǔn)的過程對于應(yīng)用視覺系統(tǒng)至關(guān)重要，并且專注于確定一組相機(jī)內(nèi)在參數(shù)。 后者描述像素尺寸、投影中心、主長度和失真特性。流行的校準(zhǔn)方法通常使用不同形式的目標(biāo)，使用2D平面目標(biāo)的最典型的方法是Zhang提出的方法（稱為張氏法），該方法具有靈活的校準(zhǔn)過程和高校準(zhǔn)精度的優(yōu)點，由于其實用性和簡便性而被廣泛使用。張氏方法的校準(zhǔn)誤差主要來自于目標(biāo)的制造誤差和圖像特征點位置誤差兩個部分。相機(jī)的內(nèi)在和外在參數(shù)的集合允許從圖像恢復(fù)度量測量。給定與校準(zhǔn)信息相結(jié)合的深度信息，則可以獲得所謂的3D圖像，即具有度量信息和顏色的圖像。

本文提出一種基于信息增益的參數(shù)估計以及內(nèi)參的最終選擇方法，旨在提高視覺系統(tǒng)校準(zhǔn)過程的精度和魯棒性。

1 ?相關(guān)工作

1.1 ?相機(jī)成像模型

真正的相機(jī)成像模型可以分為兩部分：針孔相機(jī)模型和鏡頭失真模型。 在針孔相機(jī)成像和透視幾何理論的基礎(chǔ)上，理想的相機(jī)模型如圖1所示。

圖1中三維點由[pw=x，y，zT]表示，2D點由[pu=u，vT]表示，這是[pw]的理想成像點。 使用[x]表示增加的向量，加1作為向量的最后一個元素值：[pu=u，vT]和[pw=x，y，zT]。[pw]和[pu]的關(guān)系由下式給出：

[λpu=ARTpw， ? ? λ≠0] ?（1）

式中：[R，T]分別是3×3正交旋轉(zhuǎn)矩陣和3×1的平移向量;[pu]表示計算機(jī)像素中圖像坐標(biāo)系中某一點的均勻坐標(biāo)（以像素為單位）;[pw]表示3D世界坐標(biāo)系中物體的3D坐標(biāo);[λ]是任意的比例因子，使得[λ≠0];[A]是一個內(nèi)部參數(shù)矩陣，定義為：

[A=fu0u00fvv0001]

[fu]和[fv]分別是相機(jī)在[u，v]軸有效焦距長度（以像素為單位），[u0]和[v0]是相機(jī)的主點坐標(biāo)。

鏡頭畸變使用式（2）進(jìn)行更正：

[xd=xu+xu（k1r2+k2r4）+2p1xuyu+p2（r2+2x2u）yd=yu+yu（k1r2+k2r4）+2p2xuyu+p1（r2+2y2u）] （2）

式中：[r2=x2u+y2u]，參數(shù)[k1]，[k2]，[p1]和[p2]是圖像對稱的徑向和切向畸變系數(shù)。通過應(yīng)用基于平面的校準(zhǔn)算法，可以使用棋盤圖案的多個視圖校準(zhǔn)攝像機(jī)的內(nèi)部參數(shù)。 方程（2）的非線性性質(zhì)意味著必須使用迭代算法，通過最小化模型和觀測值之間的誤差來估計參數(shù)。通常使用最小化平方誤差之和的最小二乘擬合來執(zhí)行該過程。目標(biāo)函數(shù)表示為：

[J=i=1N（xmi-xdi）2+（ymi-ydi）2] （3）

式中：（[xdi]，[ydi]）是圖像中點的真正坐標(biāo);（[xmi]，[ymi]）是使用基于小孔成像模型模擬估計的3D坐標(biāo)。

1.2 ?提高相機(jī)標(biāo)定精度

為了確保校準(zhǔn)算法的結(jié)果更準(zhǔn)確，必須滿足一些基本要求，比如平面校準(zhǔn)目標(biāo)的視圖不得在兩個或更多個校準(zhǔn)圖像中平行。為了更好地估計相機(jī)失真，校準(zhǔn)目標(biāo)應(yīng)出現(xiàn)在圖像的四個角落，并盡可能地覆蓋外部取向。

文獻(xiàn)[1]首先確定圖像特征點的初始值和不確定性。然后將圖像干擾因子添加到每個目標(biāo)圖像特征點。此外，根據(jù)目標(biāo)平面和圖像平面之間的單應(yīng)性矩陣，將圖像投影誤差建立為最小目標(biāo)函數(shù)。通過使用Zhang的方法結(jié)合優(yōu)化的特征點坐標(biāo)，可以實現(xiàn)相機(jī)內(nèi)在和外在參數(shù)的校準(zhǔn)。

文獻(xiàn)[2]中介紹了一種用于校準(zhǔn)多個Kinect V2傳感器的工具。從每個攝像機(jī)至少進(jìn)行三次采集，而且可以在相鄰傳感器之間獲得多個3D點匹配，并用它們來估計攝像機(jī)參數(shù)。

文獻(xiàn)[3]中提出一種使用反投影過程（BPP）的通用攝像機(jī)校準(zhǔn)方法。首先使用前向投影模型來獲得具有流行平面棋盤圖案的初始內(nèi)在和外在參數(shù)。然后，將提取的圖像點投影回3D空間并與理想點坐標(biāo)進(jìn)行比較。最后，通過非線性函數(shù)最小化過程來改進(jìn)攝像機(jī)參數(shù)的估計。

文獻(xiàn)[4]通過去除用于校準(zhǔn)的每個圖像中的異常值特征點，改進(jìn)了張氏校準(zhǔn)算法的準(zhǔn)確性和魯棒性。如果一個特征點的投影誤差是不可接受的，那么它被認(rèn)為是一個異常值。這可能是由圖像噪聲，照明不均勻，相機(jī)或物體表面的污染或特征檢測器實現(xiàn)的性能造成的。

文獻(xiàn)[5]中，Zhang的校準(zhǔn)方法補(bǔ)充了附加優(yōu)化程序。提出的方法最小化了校準(zhǔn)平面與光線的交點與3D攝像機(jī)坐標(biāo)系中的已知特征點之間的距離。

Zhang的校準(zhǔn)誤差主要來自于標(biāo)定物目標(biāo)的數(shù)量、目標(biāo)中特征點的數(shù)量以及提取精確度、目標(biāo)的規(guī)格、單位網(wǎng)格的尺寸、鏡頭畸變等。因此很多文獻(xiàn)已經(jīng)從這些方面入手，并討論了標(biāo)定物理設(shè)備對標(biāo)定精度的影響。本文從標(biāo)定結(jié)果集的數(shù)值考慮，通過有效的數(shù)據(jù)分析得到最優(yōu)的相機(jī)參數(shù)解。

2 ?相機(jī)參數(shù)的確定

2.1 ?參數(shù)估計

令[I]用不同的校準(zhǔn)對象視圖來表示一大組圖像，所有這些圖像都被正確地檢測到。如果[I]的大小為[N]，則[I={i1，i2，…，iN}]。

令[S]表示[I]的隨機(jī)抽取子集的冪集，每個大小為[m]。 因此，[S={s1，s2，…，sn}]，使得[sk∈Im]。給定[m≤N]，來自[N]個對象的唯一[m]長度組合的最大數(shù)量計算如下：

[CmN=N！m！（N-m）！] （4）

隨著集合[I]的大小[N]的增加，可能的[m]長度組合的數(shù)量顯著增加。 因此，如果[N]足夠大，則可以從[I]生成所需數(shù)量的唯一子集。

提出的算法步驟如下：

1） 以不同的方向獲取校準(zhǔn)圖案的原始圖像的圖像集[Iori]。

2） 在每個圖像中，[ik∈Iori]檢測校準(zhǔn)對象的特征。特征檢測成功的那些圖像屬于一個新的集合[I?Iori]的長度為[N]。

3） 給定子集大小[m]和唯一子集數(shù)[n]， 檢查[n≤CmN]。如果后一個表達(dá)式成立，則繼續(xù)，否則終止。

4） 從[I]生成尺寸為[m]的[n]個子集：[S={s1，s2，…，sn}]。

5） 對每個圖像集[sk∈S]執(zhí)行相機(jī)校準(zhǔn)。

6） 將校準(zhǔn)結(jié)果存儲在數(shù)據(jù)幀[D]中，形成矩陣[Rn×6]，其中每行對應(yīng)于使用[sk]獲得的相機(jī)內(nèi)參[（fx，fy，u0，v0，k1，k2）]。

7） 異常值的剔除。對于[D]的每一列分別計算其均值[μp]和標(biāo)準(zhǔn)差[σp]，對于每一行的數(shù)據(jù)，如果有一個不滿足[[μp-3σp，μp+3σp]]，則從數(shù)據(jù)幀[D]中刪除這一行。然后重新計算新數(shù)據(jù)幀的均值和標(biāo)準(zhǔn)差，直到所有的數(shù)據(jù)都在范圍之內(nèi)。

8） 對于剔除異常值之后的標(biāo)定結(jié)果集[（fx，fy，u0，v0，k1，k2，errx，erry）]，以[errx]為主序，對整個結(jié)果集進(jìn)行排序，然后根據(jù)排序后的[erry]進(jìn)行標(biāo)記標(biāo)定結(jié)果的好壞。

9） 對相機(jī)內(nèi)參分別以[fx，fy，u0，v0]為主序進(jìn)行排序，然后分別按照[fx，fy，u0，v0]分為三類，即分支節(jié)點。首先根節(jié)點包含全部例子，并且分別計算好與壞的標(biāo)定比例，[fx，fy，u0，v0]中信息增益最大的為根節(jié)點。根節(jié)點的信息熵、信息增益分別定義如下：

[H（D）=-i=1rpilog2pi] （5）

[Gain（D，fx）=H（D）-v=1V fxv DH（fxv）] （6）

10） 以[fx]為例，分為三類分別標(biāo)記為[fx1，fx2，fx3]，然后根據(jù)式（5）分別計算三個分支節(jié)點的信息熵，根據(jù)等式（6）計算[fx]的信息增益。同理求出[fy，u0，v0]的信息增益。選擇增益最大的屬性作為根節(jié)點進(jìn)行劃分，在分支節(jié)點中選擇增益最大的一個節(jié)點繼續(xù)同樣的步驟進(jìn)一步劃分，最后得到一條最優(yōu)路線。

11） 在最優(yōu)路線的結(jié)果集中，按照根節(jié)點為主序進(jìn)行排序，然后在好的標(biāo)定結(jié)果中取中值作為最佳內(nèi)參選擇。

2.2 ?精度評估

相機(jī)校準(zhǔn)精度的典型測量是重投射誤差，其中給定內(nèi)參[（fx，fy，u0，v0，k1，k2）]以及視圖[ik]的已知外參，然后，在真實像素坐標(biāo)[（ui，vi）]和投影像素坐標(biāo)[（uproi，vproi）]之間計算均方根（RMS）投影誤差。像素誤差即在[x]和[y]方向上以像素為單位的重投影誤差的標(biāo)準(zhǔn)差，重投影誤差越小，標(biāo)定精度越高。然而，對于給定的圖像集合[sk]，最小化的RMS誤差將不同。

[E=1ni=1n[（ui-uproi）2+（vi-vproi）2]] ?（7）

3 ?實 ?驗

3.1 ?實驗準(zhǔn)備

校準(zhǔn)實驗使用640×480分辨率的Kinect2攝像機(jī)以及三角架，使用方格尺寸為30.0 mm的9×7規(guī)格的方格圖案棋盤通過使用張氏算法對相機(jī)進(jìn)行校準(zhǔn)。使用圖像采集系統(tǒng)采集圖像時，方格圖約占整個屏幕的[13]，使用的標(biāo)定工具是Matlab的校準(zhǔn)工具箱Toolbox for Matlab。

3.2 ?實 ?驗

1） 使用圖像采集系統(tǒng)采集不同方位的方格棋盤圖像20張，生成子集的大小為18，子集數(shù)量為190。

2） 對190組圖像分別用Matlab標(biāo)定箱進(jìn)行標(biāo)定，標(biāo)定結(jié)果集如圖2a）～圖2e）所示。其中，圖2a）～圖2e）分別為焦距[f]在[x]方向、焦距[f]在[y]方向、主點[u0]、主點[v0]隨著標(biāo)定次數(shù)參數(shù)值的變化情況。

3） 本次實驗異常值的剔除。依據(jù)2.1節(jié)的步驟7）需要剔除23個數(shù)據(jù)。

4） 以[errx]為主序，對整個結(jié)果集進(jìn)行排序，然后根據(jù)排序后的[erry]進(jìn)行標(biāo)記，標(biāo)定結(jié)果的好壞。此次實驗中將[0.108 ?98≤erry≤0.113 ?97]的標(biāo)定結(jié)果標(biāo)記為好。

5） [fx，fy，u0，v0]的信息增益分別為：[Gain（D，fx）=0.112]，[Gain（D，fy）=0.135]，[Gain（D，u0）=0.144]，[Gain（D，v0）=0.133]，因此選擇[u0]為劃分根節(jié)點。

6） 以[u0]為劃分根節(jié)點，[u01，u02，u03]為分支節(jié)點，以[u01]為例，需要計算除了[u0]之外的[fx，fy，v0]的信息增益。如[Gain（u01，fx）=0.196]，[Gain（u01，fy）=0.171]，[Gain（u01，v0）=]0.029。因此，[u01]下的分支節(jié)點為[fx]。

7） 同理，依次求出[fx2]的下一個分支節(jié)點是[fy2]，最后是[v0]。

8） 因為[Gain（fx2，fy）=0.096]，[Gain（fx3，v0）=0.224]，因此選擇[fx3?v0]。

9） 同上，從中選擇的最優(yōu)路線是[u01?fx3?v01?fy2]。

10） 將上述結(jié)果集按照[u0]進(jìn)行排序，然后將標(biāo)定結(jié)果標(biāo)記為好的結(jié)果取均值確定其內(nèi)參。屬于[u01]的結(jié)果集如表1所示。即[fx=511.720 ?64]，[fy=515.499 ?36]，[u0=320.945 ?88， ? v0=249.225 ?52， ? ? k1=0.210 ?28， ? ? k2=][-0.457 ?346]。

3.3 ?結(jié)果分析

使用張氏方法和本文方法校準(zhǔn)的內(nèi)參結(jié)果比較，見表2。從表2的數(shù)據(jù)可看出，使用本文方法可以得到對相機(jī)參數(shù)更精確的估計。由于大多數(shù)攝像機(jī)校準(zhǔn)過程是離線執(zhí)行的，所以認(rèn)為過程耗費時間不是考慮的主要因素，并且校準(zhǔn)的準(zhǔn)確性比它更重要。

在[n=]190的原始內(nèi)參中，除去異常值23個子集，還存在21個子集小于最優(yōu)參數(shù)的重投影誤差，因此約有88%的例子證明提出的方法比原有的張氏方法提高了精確度。

4 ?結(jié) ?語

本文首先使用一個攝像機(jī)對規(guī)格為9×7，網(wǎng)格大小為30 mm×30 mm的物理棋盤圖獲取了20張圖像，然后設(shè)定每個子集的大小是18，則子集數(shù)量為190，使用Matlab的標(biāo)定箱進(jìn)行相機(jī)校準(zhǔn)，獲得內(nèi)參集之后，按照本文方法執(zhí)行內(nèi)參估計。所提出的方法提高了相機(jī)校準(zhǔn)的魯棒性，因為對于內(nèi)參的確定，返回的是自然平均值而不是固定值。結(jié)果表明，該方法在使用不同圖像集的相同相機(jī)校準(zhǔn)，可獲得不同組的相機(jī)內(nèi)在參數(shù)，在88%的情況下可以有更高的精度。

參考文獻(xiàn)

[1] LIU Z， WU Q， CHEN X， et al. High?accuracy calibration of low?cost camera using image disturbance factor [J]. Optics express， 2016， 24（21）： 24321?24336.

[2] C?RDOVA?ESPARZA D M， TERVEN J R， JIM?NEZ?HERN?NDEZ H， et al. A multiple camera calibration and point cloud fusion tool for Kinect V2 [J]. Science of computer programming， 2016， 143（20）： 1?8.

[3] GU F F， ZHAO H， MA Y Y， et al. Camera calibration based on the back projection process [J]. Measurement science & technology， 2015， 26（12）： 125?134.

[4] ZHOU F Q， CUI Y， WANG Y X， et al. Accurate and robust estimation of camera parameters using RANSAC [J]. Optics & lasers in engineering， 2013， 51（3）： 197?212.

[5] ZHOU F Q， CUI Y， PENG B， et al. A novel optimization method of camera parameters used for vision measurement [J]. Optics & laser technology， 2012， 44（6）： 1840?1849.

[6] 孫玉青，冀小平.Matlab標(biāo)定工具箱在攝像機(jī)定標(biāo)中的應(yīng)用[J].科技創(chuàng)新與生產(chǎn)力，2010，45（3）：99?100.

SUN Yuqing， JI Xiaoping. Application of Matlab calibration toolbox in camera calibration [J]. Science and technology innovation and productivity， 2010， 45（3）： 99?100.

[7] 馮煥飛.三維重建中的相機(jī)標(biāo)定方法研究[D].重慶：重慶交通大學(xué)，2013.

FENG Huanfei. Three?dimensional reconstruction of the camera calibration method [D]. Chongqing： Chongqing Jiaotong University， 2013.

[8] 王建華，馮帆，梁偉，等.基于Matlab的攝像機(jī)標(biāo)定系統(tǒng)的設(shè)計與實現(xiàn)[J].計算機(jī)與數(shù)字工程，2012，40（3）：97?99.

WANG Jianhua， FENG Fan， LIANG Wei， et al. Design and implementation of camera calibration system based on Matlab [J]. Computer & digital engineering， 2012， 40（3）： 97?99.

[9] 王立中，薛河儒，王靖韜.一種改進(jìn)的相機(jī)標(biāo)定方法[J].內(nèi)蒙古大學(xué)學(xué)報（自然版），2010，41（2）：223?228.

WANG Lizhong， XUE Heru， WANG Jingtao. An improved camera calibration method [J]. Journal of Inner Mongolia University （natural science）， 2010， 41（2）： 223?228.

[10] 顏遠(yuǎn)輝，夏海英.三維重建中的攝像機(jī)標(biāo)定研究[J].廣西物理，2014，21（1）：21?25.

YAN Yuanhui， XIA Haiying. Study on camera calibration in 3D reconstruction [J]. Guangxi physics， 2014， 21（1）： 21?25.