大場景下多目立體視覺標(biāo)定方法的研究

楚圣輝，張慧萌，陳碩，孟浩，劉國忠

（北京信息科技大學(xué)，北京 100192）

大場景下多目立體視覺標(biāo)定方法的研究

楚圣輝，張慧萌，陳碩，孟浩，劉國忠

（北京信息科技大學(xué)，北京 100192）

相機的標(biāo)定是機器視覺中三維重建的關(guān)鍵步驟，其精度也決定三維重建的準(zhǔn)確性，為了解決三維重建信息不完整和大視場標(biāo)定，提出一種多目相機標(biāo)定的方法。它區(qū)別于傳統(tǒng)雙目相機標(biāo)定，能夠應(yīng)用于較大視場下，并且通過多個視角，提供比較全面的三維信息。采用張正友標(biāo)定算法，利用黑白相間棋盤格作為標(biāo)定靶標(biāo)，首先通過在四個方向的四臺相機對場景中靶標(biāo)進(jìn)行拍攝，求出每個相機的內(nèi)外參數(shù)，然后通過相機之間的矩陣關(guān)系和LM優(yōu)化算法統(tǒng)一相機坐標(biāo)系，完成多目相機系統(tǒng)的標(biāo)定，這種方法能夠適用于大場景中，獲得完整的三維信息。最后通過實驗，給出實驗數(shù)據(jù)驗證此方法的正確性，并提出相機位置與標(biāo)定精度的關(guān)系，此方法可應(yīng)用于電力培訓(xùn)的人體動作捕捉系統(tǒng)等大視場立體視覺的系統(tǒng)標(biāo)定中，為電力培訓(xùn)方法提供新思路。

大場景；多目標(biāo)定；張正友標(biāo)定算法；棋盤格

0 引言

近年來，人體運動捕捉技術(shù)[2]已越來越成熟，被應(yīng)用在影視制作、智能監(jiān)控、游戲制作、運動分析等領(lǐng)域。電力安全生產(chǎn)涉及到職工的生命安全，也影響電力系統(tǒng)安全、穩(wěn)定的運行。由于電力系統(tǒng)的特殊性,對工作人員的要求也越來越高，現(xiàn)場的電力培訓(xùn)雖然效果良好，但由于設(shè)備帶電運行，存在很多危險性和不確定性，在現(xiàn)場進(jìn)行人員培訓(xùn)具有非常大的局性，動作捕捉技術(shù)可以通過識別操作人員的位置和動作，模擬真實的操作環(huán)境，并且記錄操作流暢，可以使操作更加規(guī)范化。

相機的標(biāo)定是動作捕捉系統(tǒng)的關(guān)鍵，在識別人體動作的過程中，為了確定相機拍攝圖像和實際空間之間的關(guān)系，必須要建立相機成像的幾何模型，這個模型的參數(shù)就是相機的內(nèi)外參數(shù)，標(biāo)定的過程就是確定這些參數(shù)的過程[1]。

相機的標(biāo)定可以分為三類：傳統(tǒng)標(biāo)定[3]、自標(biāo)定[4]和主動視覺標(biāo)定法，張正友標(biāo)定法[5]，是介于傳統(tǒng)標(biāo)定方法和自標(biāo)定方法之間，使用黑白相間的棋盤格作為標(biāo)定物。傳統(tǒng)棋盤格標(biāo)定法采用兩臺相機同時對靶標(biāo)進(jìn)行拍攝，視場范圍相對較小，無法對空間中完整的人體活動進(jìn)行捕捉，而且兩臺相機從不同角度拍攝，對部分三維信息造成丟失，重建結(jié)果不夠完整。

本文使用張正友標(biāo)定法進(jìn)行相機的標(biāo)定，首先運用張正友標(biāo)定法對四個相機依次進(jìn)行標(biāo)定，求出每個相機的內(nèi)外參數(shù)，然后通過矩陣旋轉(zhuǎn)關(guān)系和LM優(yōu)化算法，統(tǒng)一四個相機的坐標(biāo)系完成多目相機系統(tǒng)的標(biāo)定，可適用于較大場景中，建立比較完整的三維信息，并應(yīng)用于電力培訓(xùn)的人體動態(tài)捕捉中。

1 相機成像模型

在計算機視覺中，為了獲得空間中點的位置，需要通過空間中物體點與相機平面及圖像上的點對進(jìn)行描述。為了方便描述，需要定義幾種坐標(biāo)系：圖像物理坐標(biāo)系，圖像像素坐標(biāo)系，相機坐標(biāo)系，世界坐標(biāo)系[6]。

如圖1，以圖像左上角為O0原點建立像素為單位的圖像像素坐標(biāo)系u-v，（u,v）代表像素的行和列，x-y表示圖像物理坐標(biāo)系，（u0,v0）代表原點O1，

圖1 圖像物理坐標(biāo)系和像素坐標(biāo)系

dx和dy分別為每個像素在橫軸x和縱軸y上的物理尺寸，u-v坐標(biāo)系中的坐標(biāo)和x-y坐標(biāo)系下的坐標(biāo)關(guān)系如下：

相機成像的幾何關(guān)系如圖2所示，Pw（Xw，Yw，Zw）為空間某一點P的世界坐標(biāo)，PC（Xc,Yc,Zc）為該點在相機坐標(biāo)系中的坐標(biāo)

圖2 相機坐標(biāo)系與世界坐標(biāo)系

相機坐標(biāo)系和世界坐標(biāo)系的關(guān)系可用旋轉(zhuǎn)矩陣R和平移向量t描述

上式（2）中：R為3x3正交單位陣（也稱為旋轉(zhuǎn)矩陣）；t為三維平移向量。

根據(jù)針孔成像模型，利用三角形相似原理，得到相機坐標(biāo)系和圖像坐標(biāo)系的關(guān)系，用齊次坐標(biāo)與矩陣的形式表示為：

式（3）中f為相機焦距。

將式（1）、（2）帶入式（3），就可以得到P的世界坐標(biāo)與像素坐標(biāo)的關(guān)系，如下式

其中ax=f/dx，ay=f/dy，M1是相機的內(nèi)部參數(shù)矩陣，由相機的內(nèi)參數(shù)ax、ay、u0、v0所決定，M2是相機的外部參數(shù)矩陣，由旋轉(zhuǎn)矩陣R和平移向量t所決定。

2 畸變矯正

在實際成像中，考慮到鏡頭工藝等原因，一半都會存在畸變，畸變主要包括徑向畸變和切向畸變[7-8]。

（5）式中：r2=x2+y2,k1,k2,…為相機的徑向畸變參數(shù)。

切向畸變δxt、δyt表示為：

式（6）中，p1、p2為相機切向畸變參數(shù)。

考慮相機畸變后，P點在歸一化相機物理坐標(biāo)(xd, yd)表示為：

由透視變換轉(zhuǎn)化為像素坐標(biāo)系下坐標(biāo)（u，v）：

式（8）中，fu、fv為u、v兩方向歸一化焦距，s為坐標(biāo)軸傾斜因子，u0、v0為主點像素坐標(biāo)。

由式（5）～（8）可以求出相機內(nèi)部參數(shù) fu、fv、s、u0、v0，還有畸變系數(shù)k1,k2、p1、p2。

3 多相機坐標(biāo)系統(tǒng)一

得到相機的內(nèi)外參數(shù)之后，需要把所有的相機關(guān)聯(lián)起來，即確定相機外參數(shù)間的關(guān)系，先要確定一個統(tǒng)一的世界坐標(biāo)系，一般以某一相機的相機坐標(biāo)系為統(tǒng)一坐標(biāo)系，然后求出每一個相機相對這個統(tǒng)一坐標(biāo)系的旋轉(zhuǎn)關(guān)系，然后用旋轉(zhuǎn)關(guān)系求相機的平移[9]，最后用LM算法得到最優(yōu)解。

圖3 相機標(biāo)定示意圖

世界坐標(biāo)系中任意一點坐標(biāo)為W，在第i個和第j個相機坐標(biāo)系中坐標(biāo)分別為xi、xj，從世界坐標(biāo)系到相機坐標(biāo)系的轉(zhuǎn)換為：

（9）式中消去W，得到xi和xj之間的轉(zhuǎn)換關(guān)系：

記[R t]=[R （jRi）-1tj-R（jRi）-1]，則式（10）可簡寫為xj=Rxi+t，所以，兩個相機間的選對旋轉(zhuǎn)為R= R（jRi）-1，平移向量t=tj-Rj(Ri)-1，通過標(biāo)定，求出所有相機外部參數(shù)Ri、ti、Rj、tj，可以得出每個相機在統(tǒng)一坐標(biāo)系下的關(guān)系。

4 標(biāo)定結(jié)果

試驗中使用了四個CCD相機，像素尺寸為5.6μm* 5.6μm，為保證視場范圍，采用了4mm鏡頭，采用黑白相間的棋盤格作為標(biāo)定靶標(biāo)，提取棋盤格上角點信息進(jìn)行相機的標(biāo)定。對空間中靶標(biāo)進(jìn)行了拍攝：

圖4 標(biāo)定棋盤格

試驗中為保證相機標(biāo)定的精度，將棋盤格靶標(biāo)在相機視場內(nèi)擺放若干位置，分別拍攝了100張不同角度和位置的圖像，如圖5所示：

圖5 相機和靶標(biāo)相對位置關(guān)系

四個相機的標(biāo)定結(jié)果為：

1號相機焦距 f1=735.70553，主點坐標(biāo) c1= [332.83706，237.34153]，徑向畸變?yōu)?，k11=-0.09698，k12=0.09186，切向畸變?yōu)?p11=-0.00296，p12= 0.00008。

2號相機焦距 f2=734.34412，主點坐標(biāo) c2= [348.33989，235.97910]，徑向畸變?yōu)?，k21=-0.09378，k22=0.06665，切向畸變?yōu)?p21=-0.00190，p22= 0.00296。

3號相機焦距 f3=736.95946，主點坐標(biāo) c3= [341.89395，252.66362]，徑向畸變?yōu)?，k31=-0.09217，k32=0.01289，切向畸變?yōu)?p31=-0.00061，p32= 0.00334。

4號相機焦距 f4=735.48787，主點坐標(biāo) c4= [334.43309,233.13859]，徑向畸變?yōu)?，k41=-0.10568，k42=0.16539，切向畸變?yōu)?p41=-0.00211，p42= 0.00279。

表1 相機焦距和誤差

5 測量結(jié)果與分析

利用標(biāo)定結(jié)果對實際空間中兩個固定距離的小圓球進(jìn)行了測量，如圖6。

首先根據(jù)圖像中點的位置，得到兩個點的像素坐標(biāo)，然后根據(jù)標(biāo)定的相機內(nèi)外參數(shù)，求得兩點在空間中的世界坐標(biāo)，計算距離[10]，最后與空間中兩點的實際距離作比較，兩小球的距離為500mm（如表2）。

列舉幾個通過相機間內(nèi)外參求得的兩點空間距離（如表3）。

由表2和表3可知，在上述原理的基礎(chǔ)上通過拍攝圖像進(jìn)行了實驗，根據(jù)實驗數(shù)據(jù)，相鄰相機間求得兩點間距離精度較高，魯棒性較好，由于實際場景中相機擺放的位置呈一個長方形，2號和3號相機、1號和4號相機之間的距離明顯長于1號和2號相機、3號和4號相機之間的距離，對應(yīng)的2和3號相機、1和4號相機光軸與靶標(biāo)平面所成的角度相對較大，所以坐標(biāo)系統(tǒng)一后，誤差相對較大。由于實驗設(shè)備有限，采用了四臺相機，后期可以在2號和3號、1號和4號相機之間增加兩臺相機，減少相機間的距離，進(jìn)而減小相機與靶標(biāo)所成角度來增加標(biāo)定精度。

圖6 空間中點位置

表2 兩個球中心圖像坐標(biāo)

表3 兩球中心世界坐標(biāo)

進(jìn)一步實驗，在四個區(qū)域內(nèi)隨意放置兩個小球點，但是固定他們中心之間的距離為300mm，如圖7所示：

圖7 兩個相機中四個區(qū)域

用兩個相機分別對每個區(qū)域拍攝十組照片，1號區(qū)域為兩個相機的圖像中心，2、3和4號區(qū)域為圖像的邊緣，與相機光軸角度較大。

表4 兩球在四個區(qū)域距離及誤差

由表4可知，2、3和4號區(qū)域相對于1號區(qū)域誤差較大，所以每個相機擺放的位置應(yīng)盡量使人位于圖像的中心，減小與相機光軸所成的角度，以提高后期三維重建和人體動態(tài)捕捉的精度。

6 結(jié)語

相機的標(biāo)定是機器視覺和三維重建的基礎(chǔ)，為機器視覺相關(guān)技術(shù)在眾多領(lǐng)域的應(yīng)用提供了前提條件，本文在張正友標(biāo)定法的基礎(chǔ)上，提出了一種多目相機標(biāo)定，運用黑白相間棋盤格對四個相機依次進(jìn)行標(biāo)定，求出每個相機的內(nèi)外參數(shù)，然后通過矩陣變換和LM算法優(yōu)化數(shù)據(jù)，統(tǒng)一四個相機的坐標(biāo)系完成多目相機系統(tǒng)的標(biāo)定。提出了相機位置與標(biāo)定精度的關(guān)系，在大場景下通過增加相機個數(shù)，減小相機光軸與靶標(biāo)平面之間角度來減小誤差，提高標(biāo)定精度，本方法用于電力系統(tǒng)培訓(xùn)中的大視場情況下的人體動作捕捉，滿足人體在場景中位置變化的精度，為電力培訓(xùn)的方法提供了新的思路。

[1]向澤銳，支錦亦，徐伯初，等．運動捕捉技術(shù)及其應(yīng)用研究綜述[J]．計算機應(yīng)用研究，2013，30(8)：2241-2245.

[2]馬頌德，張正友．計算機視覺:計算理論與算法基礎(chǔ)［M］.北京:科學(xué)出版社，1998.

[3]Tsai R．A Versatile Camera Calibration Technique fFor High-accuracy 3D Machine Vision Metrology Using Off-the-shelf Tv Cameras and Lenses[J]．IEEE Journal on Robotics and Automation，1987，3(4)：323-344．

[4]吳福超，胡占義.攝像機自標(biāo)定的線性理論與算法[J].計算機學(xué)報2001，24（11）：1121-1235．

[5]Zhang Z．A Flexible New Technique for Camera Calibration[J]．IEEE Transactions on Pattern Analysis&Machine Intelligence，2000，22(11)：1330-1334．

[6]馬頌德.計算機視覺：計算理論與算法基礎(chǔ)[M].科學(xué)出版社，1998．

[7]Hsieh C H，Chen F C.General Two-stage Kalman Filters[J]．IEEE Transactions on Automatic Control，2000，45(4)：819-824．

[8]Zhang Z．Flexible Camera Calibration by Viewing a Plane from Unknown Orientations[C].iccv．IEEE Computer Society,，1999:666．

[9]Martinec D，Pajdla T．Robust Rotation and Translation Estimation in Multiview Reconstruction[C].IEEE Conference on Computer Vision and Pattern Recognition．IEEE，2007:1-8．

[10]Faugeras O.Three-dimensional Computer Vision:A Geometric Viewpoint[M].Springer-Verlag，1987．

Research of Multi-view Calibration in Wide Field

CHU Sheng-hui，ZHANG Hui-meng，CHENG Shuo，MENG Hao，LIU Guo-zhong

（Beijing Information Science and Technology University,Beijing 100192）

Camera calibration is the key step in the machine vision and three-dimensional reconstruction,Its precision is also determines the accura?cy of the three-dimensional reconstruction,this paper presents a method of multi-camera calibration in order to solve the wide field calibra?tion and incomplete information of three-dimensional reconstruction.It is different from traditional binocular camera calibration,it can be used in the large field of view to provide comprehensive three-dimensional information through the multiple perspectives.This paper adopts Zhang Zhengyou calibration algorithm,in the four directions using four cameras shot on calibration target which is a black and white X-corners in the scene to calculate the internal and external parameters of each camera firstly,Then through the relationship of ma?trix in cameras and the LM optimization algorithm to unify camera coordinate system,complete the multi-camera calibration system,This method can be applied to large scenario,for the complete information of three-dimensional reconstruction.Finally through the experiment, the experimental data is given to demonstrate the correctness of this method and proposed a relationship between the position of the camera and calibration precision.This method is applied to human motion capture system of power training and provides a new way of thinking for power training.

楚圣輝（1989-），男，河北石家莊人，碩士，研究方向為機器視覺、圖像處理

張慧萌（1988-），男，北京人，碩士，研究方向為電力系統(tǒng)仿真培訓(xùn)、數(shù)字圖像處理

陳碩（1993-），女，北京人，碩士，研究方向為視覺測量，數(shù)字圖像處理

孟浩（1978-），女，漢族，內(nèi)蒙赤峰人，博士，講師，研究方向為精密測量理論與技術(shù)、非統(tǒng)計理論

劉國忠（1966-），男，山西平遙人，博士，教授，研究方向為生物醫(yī)學(xué)檢測技術(shù)與儀器、光電測量技術(shù)及儀器

2017-03-14

2017-05-20

1007-1423（2017）15-0033-06

10.3969/j.issn.1007-1423.2017.15.008

Wide Field;Multi-view Calibration;Zhang Zhengyou Calibration Algorithm;X-corners