基于雙目會聚型立體攝像機的目標深度測量

宋曉煒,楊 蕾,吳源昭,楊滿意,劉洲峰

(中原工學院電子信息學院,河南 鄭州 451191)

·光電技術(shù)與系統(tǒng)·

基于雙目會聚型立體攝像機的目標深度測量

宋曉煒,楊 蕾,吳源昭,楊滿意,劉洲峰

(中原工學院電子信息學院,河南 鄭州 451191)

目標物體的三維測量是雙目立體視覺的一項重要任務(wù)。基于視差的平行攝像機模型是最常見的用于三維重建的雙目攝像機模型。一般雙目立體攝像機不是嚴格平行的,所以采用上述方式進行三維重建時需要進行極線校正。提出了一種新的用于三維測量的雙目攝像機模型,該模型針對一般常見的非平行的會聚立體攝像機模型。采用該模型進行目標物體的三維測距時,根據(jù)攝像機標定得到的相對外參,即可快速得到目標物體的深度信息。同時,本文從分辨率的角度對提出的深度測量方法進行了精度分析。實驗結(jié)果驗證了提出方法的有效性和可靠性。

雙目會聚；立體攝像機；三維重建；相對外參；目標深度測量

1 引 言

當前基于單目視覺進行目標深度測量面臨多幀圖像的角點檢測、特征提取、模型訓練等問題[1-2],其處理速度受到較大影響,而利用雙目立體圖像來實現(xiàn)場景深度信息計算的相關(guān)技術(shù)日趨成熟[3]。雙目立體視覺是基于視差原理,由兩幅圖像獲取目標物體三維幾何信息的方法。在一般的雙目立體視覺系統(tǒng)中,由雙攝像機從不同角度同時獲取目標景物的兩幅圖像,并基于如圖1所示的雙目平行攝像機視差原理測量出目標物體的三維距離信息[4],得到目標的世界坐標。

圖1中的三維模型是基于兩個光軸平行的攝像機,而用于雙目視覺及立體視頻拍攝的多數(shù)立體攝像機都是兩個光軸會聚型的攝像機[5-6]。即使有些場合用到光軸平行的雙目立體攝像機,也無法在現(xiàn)實中保證左右攝像機的光軸嚴格平行。因此,基于以上原因,若采用圖1的模型進行三維目標測距就必須先對雙目攝像機進行極線校正[7],將雙目攝像機獲取的左右圖像由會聚型和非嚴格平行型校正為嚴格平行型。傳統(tǒng)三維重建模型的使用離不開極線校正,其有以下兩點不足:首先,攝像機的標定和左右圖像的立體匹配是三維重建中的兩個必要步驟,而極線校正是在上述兩步之間進行的,這樣就增加了三維重建的運算步驟,增大了運算量。其次,極線校正是對立體圖像對進行幾何變換,其在一定程度上改變了立體攝像機獲取的原始圖像信息。

圖1 平行攝像機的三維模型

基于上述原因,提出了一種新的用于三維目標深度測量的雙目攝像機模型,該模型針對一般非平行的會聚立體攝像機模型。采用該模型進行目標的三維測距時,根據(jù)攝像機標定得到的相對外參,即可快速得到目標物體的世界坐標,不用進行極線校正。

2 相對外參和會聚點

如圖2所示,對于一個雙目立體攝像機系統(tǒng),可以用相對外參表示右攝像機坐標系(CCS)相對于左CCS的空間位姿,相對外參由旋轉(zhuǎn)和平移兩個變換構(gòu)成。通常,平移由一個三參量的平移向量T表示,旋轉(zhuǎn)由一個三維旋轉(zhuǎn)矩陣R表示或者由一個三參量的旋轉(zhuǎn)向量V表示。通過引用Rodrigues旋轉(zhuǎn)公式[8]可實現(xiàn)R和V之間的自由轉(zhuǎn)換。本文規(guī)定平移向量和旋轉(zhuǎn)向量為:

(1)

我們已在前期工作[9]中提出了一種雙目立體攝像機的會聚點定位方法。其中,會聚點的空間位置信息可由左右攝像機之間的相對外參進一步計算得到。也就是說,由基線長度B和光軸夾角ε可以計算出會聚點到基線之間的距離,其中基線長度B和夾角ε可由公式(2)得到:

圖2 相對外參及雙目立體攝像機的會聚點

(2)

3 基于變換相對外參的深度測量模型

3.1 目標夾角

本文提出的是一種新的不用進行極線校正的目標點三維測量方法。由前述可知:會聚點到基線的距離可以由基線的長度B和光軸夾角ε計算得到。同樣,目標物體的深度信息也可以用基線長度和變換后的角度計算得到,這里將變換后的夾角稱之為目標夾角(圖3中角c)。圖3中,會聚立體攝像機光軸將光軸平面上的空間分為4個區(qū)域,下面將以一個位于區(qū)域1的目標物體為例,說明如何得到目標夾角。

圖3 目標夾角的變換模型

如圖3所示,目標物體上的同一特征點在左、右攝像機內(nèi)的映射點分別稱為左對應(yīng)點(LCP)和右對應(yīng)點(RCP)。左、右攝像機光軸與圖像平面的交點分別稱為左主點(LPP)和右主點(RPP)。在左右圖像中,對應(yīng)點與主點在u方向上的像素差值為a′ 和b′,并規(guī)定:當對應(yīng)點位于主點左邊時,差值小于0；當對應(yīng)點位于主點右邊時,差值大于0。而當目標點位于區(qū)域1時,a′ 和b′都小于0。因為每條光軸都垂直于各自的圖像平面,并將從光心到目標點的直線稱為目標點的對應(yīng)軸,所以光軸與目標點的對應(yīng)軸之間的夾角a、b可由下式得到:

(3)

式中,fl和fr為以像素為單位的左右攝像機焦距[4]。如圖3所示,可以得到位于區(qū)域1中目標點的目標夾角c:

(4)

類似地,對于圖3中的另外三個區(qū)域:區(qū)域2(a<0,b>0 & >0)、區(qū)域3(a>0,b>0 &ε>0)以及區(qū)域4(a>0,b<0 &ε>0),同樣也可以推導出目標點的目標夾角為:c=ε-b+a。

3.2 基于變換外參的目標點測量模型

下面介紹所提出的基于變換外參的目標點三維測量方法。圖4示出了會聚型雙目立體攝像機在光軸平面上的一般模型。左右CCS的Z軸方向與各自光軸方向重合,并設(shè)世界坐標系與左CCS重合。類似公式(1),左右CCS之間的相對外參為:

(5)

式中,平移向量的具體含義為:右CCS原點在左CCS內(nèi)的坐標；式(5)中的旋轉(zhuǎn)向量的具體含義為:該旋轉(zhuǎn)由3個旋轉(zhuǎn)角度來定義,其中α、β、γ分別為x、y、z軸各自軸向角的旋轉(zhuǎn)角度并符合右手定則[10-11],當右CCS中的每一條坐標軸按照各自軸向角的方向旋轉(zhuǎn)之后將與左CCS姿態(tài)相同。因此,光軸夾角ε與β相同[9,12]。

如圖4所示,待測目標點P位于區(qū)域1,該點的世界坐標為(x,y,z),則:

圖4 基于變換外參的深度計算模型

(6)

圖4三角形PAR中,角a在區(qū)域1內(nèi)為負值,有:

(7)

聯(lián)立式(4)、(6)和(7),可得到區(qū)域1內(nèi)的目標點的深度計算公式為:

(8)

同理可證明式(8)對于位于區(qū)域2至區(qū)域4中的目標點的深度計算同樣有效。

由式(6)和(8)可得到世界坐標中的X和Z的值,目標點的世界坐標中Y坐標值的計算方法如圖5所示。在左圖像坐標系中,LCP與LPP在v方向上的像素差值為v′,當對應(yīng)點位于主點下方時,v′大于0。

(9)

圖5 目標點的Y坐標值計算模型

綜上可得,基于會聚型立體攝像機的目標點坐標測量計算公式為:

(10)

4 實 驗

本文中的實驗主要分為兩個部分:首先在3ds Max三維虛擬場景和真實拍攝場景驗證所提出的目標點深度測量方法的正確性和有效性。最后分析攝像機分辨率對目標點深度值測量精度(本文簡稱為深度分辨率)的影響。所有實驗中的標定過程均采用了由Jean-Yves Bouguet提供的雙目立體攝像機標定工具箱[13]。

4.1 基于3ds Max的驗證實驗

攝像機的標定對于雙目立體視覺系統(tǒng)有著重要的意義,其主要為了獲取實際中攝像機本身參數(shù)及姿態(tài)等信息。目前攝像機標定的方法多種多樣,并且標定的精度已達到了較高的水平,這為我們利用現(xiàn)有的標定技術(shù)獲得立體攝像機相對外參的精確近似值提供了途徑[14]。這里,首先利用3ds Max建模軟件建立了虛擬的雙目立體攝像機系統(tǒng),然后在該仿真平臺下驗證方法的正確性。先采用虛擬的仿真平臺是因為這樣可以避免一些實際因素的誤差影響,在理想模型下以較高精度驗證所提出的方法。

虛擬的雙目立體攝像機實驗平臺如圖6所示,在攝像機前方設(shè)置4個不同深度的平面,該實驗中的長度和角度單位分別為毫米(mm)和弧度(rad)。如圖4所示,首先將虛擬的立體攝像機系統(tǒng)中的世界坐標系設(shè)為與左CCS重合。在世界坐標系中,右CCS的原點坐標為(20,0,0),會聚點的坐標為(0,0,200)。則可以得到左右攝像機坐標系之間的相對外參為:平移向量T為(20,0,0),旋轉(zhuǎn)向量V為(0,0.09967,0)。

圖6 基于3ds Max的虛擬實驗環(huán)境

然后,對3ds Max中的虛擬攝像機進行標定,得到左右攝像機的焦距fl和fr都為995個像素寬度。左右攝像機拍攝到的圖像如圖7所示。左右圖像的分辨率為1024×768,各自的主點坐標均為(511.5,383.5)。實驗結(jié)果如表1所示,可以看出:與虛擬目標點的坐標真值相比,本文提出的深度測量方法是正確的。

圖7 虛擬立體攝像機拍攝的左右圖像

表1 基于3ds Max的驗證實驗結(jié)果

4.2 真實目標深度測量實驗

本文將所提出的目標深度測量方法進一步用于實際的雙目立體攝像機,并與深度攝像機Kinect進行了對比。實驗平臺如圖8所示。

圖8 雙目立體攝像機實驗平臺

雙目立體攝像機由安裝在雙視點云臺上的兩臺flea2工業(yè)攝像機[15]構(gòu)成。將Kinect放置在左攝像機上方,使Kinect深度鏡頭與左攝像機鏡頭光心縱切面近似位于同一平面。由式(6)和式(9)可知,目標點的測量關(guān)鍵在于目標點的深度值Z的確定,所以我們的實驗以目標點深度值的測量作為重點,說明本文提出方法的有效性。

首先將五個玩偶放置在立體攝像機前方,作為待測目標,采集到的圖像如圖9所示。

圖9 采集到的左右圖像

然后,通過攝像機的標定獲取雙目攝像機的內(nèi)參和相對外參,得到的相關(guān)參數(shù)如表2所示。

表2 雙目立體攝像機標定參數(shù)

我們分別對五個玩偶目標進行深度距離測量,采用了SNDWAY激光測距儀來獲取每個目標的深度真值,并將本文方法的實驗結(jié)果與Kinect方法的深度測量值進行了對比,總體實驗結(jié)果如表3所示。

表3 不同深度測量方法的對比

兩種方法的深度測量值的對比和測量誤差的對比如圖10所示。

圖10 兩種方法的對比曲線

從該實驗的對比結(jié)果可以看出:1)本文提出的深度測量方法是有效的；2)在目標深度距離為1 m到2 m時,所提出的方法比Kinect具有更高的精度；3)當目標深度超過4 m時,Kinect無法測出目標的深度信息；雖然有一定的誤差,但本文提出的方法仍可測出目標深度值,誤差主要是由有限的圖像分辨率等因素造成的。

4.3 圖像分辨率對深度測量精度的影響

二維平面圖像的最小單位是像素,對于同一拍攝場景,攝像機獲得圖像的分辨率越高,則對場景的表達也就越細膩,但同時所包含的像素個數(shù)也就越多。雙目視覺對目標的深度測量同樣是基于圖像像素的,可以預見:對于同一場景,雙目攝像機的分辨率越高,則對場景內(nèi)目標點的深度識別能力也就越強。不僅如此,對于場景內(nèi)不同深度的目標點,雙目立體視覺對各個目標點的深度分辨能力也不同,即存在同樣一個圖像分辨率中的一個像素,其對深度值分辨能力是變化的,本文將這種分辨能力稱為像素的深度分辨率。下面基于4.2節(jié)實驗中的數(shù)據(jù)來討論深度分辨率的變化規(guī)律。

4.2節(jié)實驗中玩偶1的目標點在左右圖像中的對應(yīng)點為(311,627)和(204,610),這里設(shè)置左對應(yīng)點不變,右對應(yīng)點變?yōu)?205,610)即右對應(yīng)點向右偏移一個像素單位,然后重新計算新對應(yīng)點的深度值,并求出新深度值與原深度值之間的差值。差值即為雙目攝像機對玩偶1的目標點所處空間位置的深度分辨率。

對4.2節(jié)實驗中五個目標點進行類似實驗可得出五個不同的深度分辨率。計算結(jié)果如表4所示,深度分辨率變化曲線如圖11所示。

圖11 深度分辨率變化曲線

從表4和圖11可知:隨著深度的增加,雙目攝像機的一個像素的深度分辨率增大,其分辨精度下降,目標越遠則誤差也越大。因此,對于這種因有限的圖像分辨率引起的誤差,可采用更大的圖像分辨率或采用像素插值等亞像素技術(shù)來改善重建精度。

5 結(jié) 論

基于雙目攝像機模型提出了一種新的用于三維重建的目標深度測量方法,該方法適用于常見非平行的會聚立體攝像機模型。采用該模型進行目標物體的三維測量時,根據(jù)攝像機標定得到的相對外參,即可快速得到目標物體的世界坐標及深度值。實驗結(jié)果證明了所提出方法的有效性和可靠性,并且從攝像機圖像分辨率的角度討論了其對深度測量精度的影響。在真實場景下采用本文方法進行目標點三維測量時,可以考慮盡量增大圖像分辨率,提高目標點測量精度以及三維重建的準確性。

表4 深度分辨率對比

[1] ZHANG Yuedong,LI Li,LIU Xiaobo,et al.Obstacle detection for unmanned aerial vehicle based on monocular vision[J].Laser & Infrared,2009,39(6):673-676.(in Chinese) 張躍東,李麗,劉曉波,等.基于單目視覺的無人機障礙探測算法研究[J].激光與紅外,2009,39(6):673-676.

[2] XI Lin,SUN Shaoyuan,LI Linna,et al.Depth estimation from monocular infrared images based on SVM model[J].Laser & Infrared,2012,42(11):1311-1315.(in Chinese) 席林,孫韶媛,李琳娜,等.基于SVM模型的單目紅外圖像深度估計[J].激光與紅外,2012,42(11):1311-1315.

[3] SHAN Jie,TANG Yao,JIANG Hui.Real-time matching algorithm in binocular stereo camera and its implementation with FPGA[J].Laser & Infrared,2013,43(12):1406-1410.(in Chinese) 單潔,唐垚,姜暉.雙目立體相機中實時匹配算法的FPGA實現(xiàn)[J].激光與紅外,2013,43(12):1406-1410.

[4] Steger C,Ulrich M,Wiedemann C.Machine vision algorithms and applications[M].Weinheim:Wiley-VCH,2008.

[5] Song X,Yang L Liu Z.An Improved two-view convergent-style-based disparity estimation algorithm[C].International Conference on Audio,Language and Image Processing,2012:698-704.

[6] Eslami M,Rzasa J,Davis C C.A stereo PTZ tracking and surveillance system with two dynamic cameras operating in a master-slave relationship[C].Proc.SPIE,2012,8517:851704.

[7] Bradski G,Kaehler A.Learning OpenCV:computer vision with the OpenCV library[M].Sebastopol:O’Reilly Media,2008.

[8] Lorenzo Solrgi.Two-view geometry estimation using the rodrigues rotation formula[C].18th IEEE International Conference on Image Processing (ICIP),2011:1009-1012.

[9] Song X,Yang L,Wu Y.Convergent point positioning methods for dual-view stereo camera[C].Proc.SPIE,2013,8878:88780K.

[10]Lee J.Representing rotations and orientations in geometric computing[J].IEEE Computer Graphics and Applications,2008,28(2):75-83.

[11]Taubin G.3D rotations[J].IEEE Computer Graphics and Applications,2011,31(6):84-89.

[12]Song X,Wu Y,Yang L.Object position measuring based on adjustable dual-view camera[C].The 2nd International Workshop on Emerging Multimedia Systems and Applications,(In conjunction with ICME 2013),2013.

[13]Bouguet J Y.Camera calibration toolbox for matlab[DB/OL].(2013-12-2)[2013-12-28].http://www.vision.caltech.edu/bouguetj/calib_doc/index.html.

[14]Zhang Z.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[15]Point Grey Research,Inc[EB/OL].[2013-12-28].http://www.ptgrey.com/products/flea2/flea2_firewire_camera.asp.

Object depth measurement based on convergent binocular stereo camera

SONG Xiao-wei,YANG Lei,WU Yuan-zhao,YANG Man-yi,LIU Zhou-feng

(School of Electronic and Information Engineering,Zhongyuan University of Technology,Zhengzhou 451191,China)

The object 3D measurement is an important task of the binocular stereo vision.The parallel binocular stereo camera model based on disparity is the most general 3D reconstruction model.Actually,the regular binocular stereo camera is not strictly parallel.Therefore,it is required to carry on a correction based on the epipolar geometry.A new model of the binocular stereo camera for 3D measurement was presented,and the model is suitable for the non-parallel convergent stereo camera.The depth information of the object can be rapidly obtained by the proposed method based on the relative extrinsic parameters from the stereo camera calibration.Furthermore,the accuracy analysis of the proposed depth measurement method from the resolution was discussed.The validity and the reliability are verified by the experimental results.

binocular convergence;stereo camera;three-dimensional reconstruction model;relative extrinsic parameters;object depth measurement

國家自然科學基金(No.60902063,No.61379113,No.61440031);河南省基礎(chǔ)與前沿技術(shù)研究計劃項目(No.092300410175);河南省國際科技合作項目(No.144300510062);河南省科技創(chuàng)新人才計劃杰出青年項目(No.124100510015)資助。

宋曉煒(1978-)，男，副教授，博士，主要研究方向為立體圖像，視頻處理。E-mail:sxw-tju@163.com

2015-01-18;

2015-02-09

1001-5078(2015)07-0844-06

TN911.74

A

10.3969/j.issn.1001-5078.2015.07.024