攝像機標定中總體最小二乘法抗噪性的研究

邰 晶，翟為剛，譚力寧

（1.第二炮兵工程大學 907教研室，陜西 西安 710025；2.第二炮兵工程大學 701教研室，陜西 西安 710025）

攝像機標定中總體最小二乘法抗噪性的研究

邰 晶1，翟為剛1，譚力寧2

（1.第二炮兵工程大學 907教研室，陜西 西安 710025；2.第二炮兵工程大學 701教研室，陜西 西安 710025）

為了降低攝像機標定中圖形加性噪聲給標定精度帶來的不良影響，提出了基于總體最小二乘法的攝像機標定方法。由于總體最小二乘法具有消除或降低噪聲的功能，本文將其用于求解單應性矩陣，既提高了單應性矩陣的精度，又為攝像機內外參數(shù)和畸變系數(shù)的精確測量提供了理論依據(jù)。在此基礎上借助OpenCV函數(shù)庫獲取圖形中角點高精度坐標的功能，在Visual C++環(huán)境下實現(xiàn)了對攝像機的標定。數(shù)值實驗和實際標定實驗均表明，提出的標定方法具有更高的精度和抗噪聲能力。

總體最小二乘法；攝像機標定；噪聲

攝像機標定是計算機視覺系統(tǒng)中不可缺少的前提和基礎，其實質是確定攝像機內外參數(shù)的一個過程[1]?；趶埵蟽刹狡矫婺０鍢硕ǚㄊ悄壳巴ǔ２捎玫膫鹘y(tǒng)攝像機標定方法[2]，該方法過程簡單，而且比主動視覺和攝像機自標定方法的精度高，經(jīng)過多年的研究已經(jīng)發(fā)展的比較成熟。

由于室內條件有限、設備成本較低，數(shù)據(jù)傳輸獲取攝像機參數(shù)的過程中易受電磁信噪的影響，這屬于通信系統(tǒng)的內部噪聲，因此在采集、獲取圖像時，均會不同程度地受到干擾，降低圖像質量。圖像噪聲的存在不僅降低了圖像的視覺效果，而且對圖像獲取、邊緣檢測、特征提取、模式識別等都會帶來影響[3]。來自圖像傳感器的數(shù)字圖像會受到各種噪聲的干擾，其中主要包括加性噪聲、乘性噪聲和混合噪聲，而通信內部的噪聲是獨立于信號之外的噪聲，并以疊加的形式對信號造成干擾，因此加性噪聲被看成是通信系統(tǒng)的背景噪聲。目前較常用的基于傳統(tǒng)最小二乘的兩步法，沒有抑制圖像噪聲的有效性能，因而標定結果易受噪聲影響。

總體最小二乘法具有抑制輸入和輸出噪聲的能力，因此在很多領域都有著廣泛的應用，例如：統(tǒng)計分析、線性和非線性回歸、系統(tǒng)辨別、參數(shù)估計和信號處理等[4]。本文在考慮加性圖像噪聲的情況下，設計了基于總體最小二乘抗噪的標定方法，并借助OpenCV實現(xiàn)了對攝像機的標定。數(shù)值實驗和實際標定實驗均表明，基于總體最小二乘法抗噪的標定方法具有更高的精度。

1 相關知識介紹

1.1 標定原理

攝像機通過透鏡將空間三維場景成像變換到攝像機二維圖像的平面上，即成像變換的描述為攝像機成像的幾何模型[5]。攝像機標定的關鍵是選擇合適的成像模型，然后進一步運用成像模型的參數(shù)確定攝像機內外部參數(shù)。然而實際應用中由于透鏡設計因素的影響，采用的攝像機大多都存在鏡頭畸變，因此，作為定位測量的一部分，必須消除或減小畸變的影響，才能為下一步的精確定位提供理論數(shù)值依據(jù)。對攝像機內外參數(shù)進行的有效標定不僅可以直接提高測量精度，而且可以為后續(xù)獲取空間物體的尺度、度量信息奠定良好的基礎。

在張氏平面標定法中，先采用針孔模型求解攝像機的內外參數(shù)，再引入透鏡的徑向和切向畸變。由于針孔模型很難準確的描述成像幾何過程，只有采用校正后的成像模型進行標定才能得到更精確的攝像機參數(shù)。在該模型中，空間點在世界坐標系中的坐標值變換為圖像平面上像素坐標系中對應點的坐標值的過程可分解為下述的4步變換[6]，如圖1。

圖1 攝像機標定的原理圖Fig.1 Schematic diagram of camera calibration

1.2 單應性矩陣

在計算機視覺中，從一個平面到另一個平面的投影映射定義為平面的單應性。因此平面單應性的一個典型應用就是二維平面上的點映射到攝像機成像儀上的映射。

本文在針孔模型的基礎上，采用張氏平面標定法求解攝像機內外參數(shù)，并充分考慮到徑向畸變和切向畸變帶來的影響，求解攝像機的畸變系數(shù)[5]。而由針孔成像模型可知，單應性矩陣是求解攝像機內外參數(shù)以及畸變系數(shù)的前提，它的精度影響攝像機內外參數(shù)以及畸變系數(shù)的精度，進而影響標定的精度。

如果對三維場景點Q到攝像機二維圖像成像儀上的點q的映射使用齊次坐標，則可以用矩陣相乘的方式表示這種映射。

將單應性簡單表示為：

這里引入一個任意尺度比例的參數(shù)s。

考慮用平面模板進行標定，特征角點都在同一個平面上，所以令模板平面的Z=0，則單應性矩陣H把三維空間場景模板平面上的點與二維成像儀平面上的點聯(lián)系起來，表示關系如下：

事實上，正是利用同一物體的多幅圖像來計算每個視場的單應性矩陣。

1.3 總體最小二乘法

總體最小二乘法的思想很早就被提出來了，它被廣泛的應用在統(tǒng)計分析、線性和非線性回歸、系統(tǒng)辨別和參數(shù)估計以及信號處理中[4]。本文主要針對參數(shù)估計提出了總體最小二乘法優(yōu)化參數(shù)的理念，而參數(shù)估計中很多問題都歸結為求超定方程Ax=y的解。常用的求解方法是最小二乘法，但它只考慮了觀測向量y的誤差，而在實際問題中觀測向量y和數(shù)據(jù)矩陣A一般都有誤差，因此采用總體最小二乘法更為適宜。

總體最小二乘法的數(shù)學模型為：（A+E）x=y+e，式中E、e分別為系數(shù)矩陣和觀測向量的隨機誤差，具有獨立、同分布，服從零均值和方差相同[7]?？傮w最小二乘的準則為：min[e；E]‖[E；e]‖F(xiàn)，式中，‖‖F(xiàn)表示 Frobenius 范數(shù)；[E；e]表示增廣矩陣，總體最小二乘法實質就是求解增廣矩陣[E；e]的最小范數(shù)。

2 基于總體最小二乘法的攝像機標定

在張氏平面標定法中，得到單應性矩陣的方法是采用傳統(tǒng)的最小二乘法求解方程組。但這樣得到的解通常并不是最優(yōu)解，而本文的基于總體最小二乘法的攝像機標定，是在考慮圖像噪聲的基礎上[8]，用總體最小二乘法求解單應性矩陣，進一步求出更精確的攝像機內外參數(shù)以及畸變系數(shù)。

總體最小二乘法攝像機標定的步驟如下方法：

1）三維空間坐標間的變換：世界坐標系中物體點的坐標值 Pw（Xw，Yw，Zw） 和攝像機坐標系中對用點的坐標值 Pc（Xc，Yc，Zc）的轉換如下：

式中：R為一個的旋轉矩陣；t為一個平移向量。

2）透視投影：攝像機坐標系中的坐標值 Pc（Xc，Yc，Zc）在針孔模型中透視投影到圖像平面上的物理坐標（x，y），得到

其中：f為攝像機成像鏡頭的焦距。

3）引入透鏡畸變后的坐標值 Pd（xd，yd）表示為：

式中：r2=x2+y2；k1、k2為徑向畸變系數(shù)；k3、k4為切向畸變系數(shù)。

4）將圖像物理坐標（x，y）轉換為圖像像素坐標（u，v）：

各參數(shù)的意義：假設鏡頭光軸Z與圖像平面的交點為Oi，則原點 Oi在圖像像素坐標系下的坐標為（u0，v0），dx、dy 分別為單位像素在x軸與y軸方向上的物理尺寸。

5）攝像機的針孔成像模型：

7）總體最小二乘法求單應性矩陣：

根據(jù)n幅圖像采集的角點坐標以及對應的世界坐標求單應性矩陣：

由Pdst=Hpsrc得到PsrcTHT=pdstT，一幅圖像有m個角點，n幅圖像的單應性表示為：

當mm≥9時式（7）有解，而總體最小二乘法的數(shù)學模型為：

①基于奇異值分解的總體最小二乘法。將增廣矩陣[A；y]進行SVD得：

②總體最小二乘估計為：

3 基于OpenCV的攝像機標定的實現(xiàn)

OpenCV（Open Source Computer Vision Library）是一個開源的計算機視覺庫，最初由Intel公司發(fā)起并開發(fā)[9]。它包含許多圖像處理和計算機視覺常用的算法，有效提高了開發(fā)效率，已經(jīng)廣泛應用于對實時性要求較高的計算機視覺的系統(tǒng)開發(fā)。

為了實現(xiàn)攝像機的標定，調用 OpenCV函數(shù)庫，它有采集圖像和角點提取的功能，可以從不同的角度抓取幾張平面標定模板的圖片，獲取高精度的圖像坐標[10]。具體標定過程如下：

1）粗精度角點提取

讀取一組標定用的圖像數(shù)據(jù)，使用cvFind Chessboard Corners函數(shù)提取角點進行篩選圖像。讀入一組圖像數(shù)據(jù)，當該幅圖像上設定的角點數(shù)目和提取的相同，表示角點提取成功，該圖像存儲到文本文件中；否則，表示提取角點失敗，返回該幅圖像要放棄，則繼續(xù)標定，直到可用的標定圖的數(shù)目滿足設定的最少標定用的圖的數(shù)目。

2）亞像素級角點細化提取

當提取到了所需要角點的圖像像素坐標值后，為了得到更為精確的角點位置，我們需要對這些角點做進一步的細化，使用函數(shù)cvFindCornerSubPix進一步精確得到角點位置的坐標；使用函數(shù)cvDrawChessboardCorners將檢測到的角點在圖像中顯示出來。

3）計算內外參數(shù)

將角點在世界坐標系中的坐標值以及對應的圖像坐標系中的坐標值代入式（6）中，結合式（7）（8）（9）（10）總體最小二乘法的求解原理，得到單應性矩陣。依據(jù)傳統(tǒng)兩步法的標定方法以及總體最小二乘法得到的單應性矩陣，求解攝像機內外參數(shù)以及畸變系數(shù)。

4）誤差分析

根據(jù)標定得到的攝像機各內外參數(shù)，計算已知的角點三維坐標在圖像上的投影坐標，即使用了重新投影的方法來計算定標誤差，將其與通過角點提取得到的投影坐標進行比較，從而得到一個誤差。

4 實驗結果與分析

4.1 檢驗TLS的抗噪性

利用數(shù)值實驗一次測量的數(shù)據(jù)，分別使用總體最小二乘法和傳統(tǒng)標定的兩步法進行攝像機的標定。單應性矩陣的精度直接影響后邊標定攝像機內外參數(shù)以及畸變系數(shù)的精度。一般，只要一個噪聲過程所具有的頻譜寬度遠遠大于它所作用系統(tǒng)的帶寬，并且在該帶寬中其頻譜密度基本上可以作為常數(shù)來考慮，就可以把它作為白噪聲來處理。本文中使用信噪比（Signal-to-Noise Ratio，SNR）描述噪聲水平，SNR 的單位為dB，定義如下：

PsPn在考慮通信系統(tǒng)圖像噪聲為背景的情況下，加入10dB的白噪聲得到如表1所示數(shù)據(jù)。

為了更直觀的比較，本文采用誤差百分比來描述總體最小二乘法和最小二乘法的性能優(yōu)勢，定義如下：

其中，無噪聲為標準值，LS、TLS為測量值。

上述實驗數(shù)據(jù)和圖表顯示，總體最小二乘法比傳統(tǒng)最小二乘法的圖像抗噪有明顯的優(yōu)勢，這樣得到的單應性矩陣的精度有所改進，更接近實際理論值。依據(jù)攝像機標定的原理，進而精確標定攝像機的內外參數(shù)以及畸變系數(shù)。

表1 單應性矩陣數(shù)值Tab.1 Homography matrix numerical

圖2 誤差百分比Fig.2 Percentage error

4.2 攝像機標定

本文的測量系統(tǒng)是應用在室內環(huán)境中，攝像機位置固定不變，測量前要先進行攝像機標定?；谏鲜鰳硕ㄋ惴ǖ木帉懗绦颍瑢ο到y(tǒng)采用藍色妖姬S8攝像頭，在Visual C++的平臺上，利用OpenCV攝像機標定的原理，進行基于總體最小二乘法的攝像機標定。標定過程中采用如圖3所示的平面棋盤格作為標定的模板，從不同位置和角度拍攝模板圖像，檢測出棋盤格圖像上的所有角點，即可標定出攝像機的內外參數(shù)以及畸變系數(shù)。

圖3 平面棋盤格標定模板Fig.3 Planar checkerboard calibration template

標定過程中成功提取標定角點，如圖4所示。

依據(jù)上述的標定原理，得到的結果如下表所示：

攝像機的內參矩陣如表2所示。

攝像機的外參矩陣如表3所示。

在得到攝像機的內外參數(shù)后，為了比較總體最小二乘法和最小二乘法標定的準確性和精度，本文采用反解棋盤格角點空間坐標的方法，與實際坐標進行對比。列出坐標比較的結果如表4所示。

圖4 角點提取成功Fig.4 Corner extraction success

表2 內參矩陣Tab.2 Intrinsic matrix

表3 外參矩陣Tab.3 Extrinsic parameters

表4 角點實際坐標與反解坐標的比較Tab.4 Comparison of corner actual coordinates and Inverse coordinate

通過上述數(shù)據(jù)的比較，總體最小二乘法抑制噪聲求解的標定參數(shù)精度更高，坐標更接近實際值，進一步說明了總體最小二乘法的抗噪性應用在攝像機標定中的可行性價值。

5 結束語

本文對基于OpenCV[11-12]的攝像機標定進行了研究，針對目前標定方法精度易變，通信內部噪聲對圖像的危害和測量誤差影響的缺點，提出了總體最小二乘法抗噪的方法。總體最小二乘法有抑制噪聲優(yōu)化參數(shù)的性能，相比傳統(tǒng)的最小二乘法更適宜，標定的結果更接近實際數(shù)值，而且具有方法簡單、標定參數(shù)結果精度較高等特性，它可以有效的應用于測量、機器人和其他計算機視覺系統(tǒng)中。

[1]QIU Mao-lin，MA Song-de，LI Yi.Overview of camera calibration for computer vision[J].Acta Automatica Sinica，2006，26（1）:43-55.

[2]Jean-Yves Bouguet.Camera calibration toolbox for Matlab[EB/OL].2004.http：//www.vision.caltech.edu/Bouguetj/calib_doc.

[3]BING Yuan-yuan，WU Wen-bo.Image noise reduction based on wavelet packet and realization with Matlab[J].Journal of Liaoning TechnicalUniversity：NaturalScience Edition，2008，5（27）:224-226.

[4]K H irakawa，T W Parks Image denoising using total least squares[J].IEEE Trans on Image Processing，2006，15 （9）:2730-2742.

[5]WANG Hong-ping，CAO Guo-hua，LI Zhen-hui，et al.Study of Distortion Correction of Image Based on BP Neural Network[J].Journal of Changchun University of Science and Technology：Natural Science Editon，2009，32（4）:653-656.

[6]Zhang Z.A flexible new technique for camera calibration[J].IEEE Transaction on Pattern Analysis and Machine Intelligence，2000，22（11）:1330-1334.

[7]ZHANG Hong-yue，HUANG Jing-dong，F(xiàn)AN Wen-lei.Total lease square method and itsapplication to parameter estimation[J].Acta Automatica Sinica，1995，21（1）40-47.

[8]LI Xuan，SONG Zhan-jie，WANG Yin，et al.Image Denoising based on total least squares[J].Computer Engineering，2010，36（24）:206-207.

[9]LI Jian，CHEN Chang-ming.Improved two-step video camera calibration on the basis of OpenCV[J].Computer Applications and Software，2010，27（3）:104-106.

[10]MAO Jian-fei，ZHOU Xi-yong，ZHU Jing.Improved Twostages Camera Calibration From a Plane[J].Journal of Image and Graphics，2004，9（7）:846-852.

[11]王冬，夏乙，殷木一，等.基于OpenCV的攝像機標定方法實現(xiàn)[J].現(xiàn)代電子技術，2013（8）:97-100.WANG Dong，XIA Yi，YIN Mu-yi，et al.Method of camera calibration based on OpenCV[J].Modern Electronics Technique，2013（8）:97-100.

[12]雷建鋒，汪偉.基于OpenCV的圖像閾值分割研究與實現(xiàn)[J].現(xiàn)代電子技術，2013（24）:73-76.

LEI Jian-feng，WANG Wei.Research and implementation of image segmentation threshold based on OpenCV[J].Modern Electronics Technique，2013（24）:73-76.

The research on camera calibration of total least squares method for noise immunity

TAI Jing1， ZHAI Wei-gang1， TAN Li-ning2
（1.Faculty 907， The Second Artillery Engineering University， Xi’an 710025， China；2.Faculty 701， The Second Artillery Engineering University， Xi’an 710025， China）

In order to undermine the uncertain effect of image additive noise for the precision of the video camera calibration，a camera calibration method based on the total least squares is proposed.It is used to solve homography matrix because the method can remove or reduce the noise.The method can not only improve the accuracy of homography matrix but also provide the theory basis for the accurate measurement of the camera parameters and the distortion coefficient.With the help of high precision corner point coordinate obtained by OpenCV Library，the video camera can be calibrated by Visual C++.Numerical experiments and practical calibration experiments indicates that the calibration methods based on total least squares has more precision.

the total least squares method；camera calibration；noise

TP391

A

1674-6236（2014）15-0039-05

2013-09-24 稿件編號：201309178

邰 晶（1987—），女，河南新鄉(xiāng)人，碩士研究生。研究方向：室內定位。