單攝像頭下三維場(chǎng)景中的目標(biāo)尺寸測(cè)量①

黃百川,蔡栩沂,丁楚江,徐 涵

(武漢大學(xué) 信號(hào)處理研究室,武漢 430000)

1 概述

實(shí)現(xiàn)三維場(chǎng)景中目標(biāo)的尺寸測(cè)量的前提是獲得目標(biāo)到達(dá)攝像頭的距離,即測(cè)距,而測(cè)距分為主動(dòng)式測(cè)距和被動(dòng)式測(cè)距.主動(dòng)測(cè)距技術(shù)主要包括超聲波測(cè)距、雷達(dá)測(cè)距、激光測(cè)距等,此測(cè)距技術(shù)大都需要發(fā)射輔助設(shè)備.近年來(lái),激光雷達(dá)傳感器因其全方位視角和高分辨率的優(yōu)點(diǎn)而興起,越來(lái)越多的被應(yīng)用于自動(dòng)駕駛領(lǐng)域,但其技術(shù)壟斷,價(jià)格昂貴.

被動(dòng)式測(cè)距中利用視覺(jué)信號(hào)測(cè)距,相對(duì)于激光、雷達(dá)和超聲波等傳感器,具有探測(cè)范圍寬、目標(biāo)信息完整、價(jià)格相對(duì)便宜,而且更符合人的認(rèn)知習(xí)慣等優(yōu)勢(shì)[1].這其中主要包含雙目測(cè)距[2]和單目測(cè)距.雙目測(cè)距是基于雙目視差的原理,可實(shí)現(xiàn)高精度遠(yuǎn)距離測(cè)距,特別適用于設(shè)備測(cè)距、航空目標(biāo)測(cè)距[3].雙目測(cè)距需要用到常見(jiàn)的Tsai的兩步法和Zhang的平面法[4]來(lái)進(jìn)行標(biāo)定求得攝像機(jī)內(nèi)外部參數(shù)進(jìn)行精確的立體匹配[5],且對(duì)于一些特殊約束條件有很高的要求[6],故其成本高,計(jì)算量大,技術(shù)難度高.單目視覺(jué)測(cè)量是其他視覺(jué)測(cè)量方法的基礎(chǔ)[7],具有可用性更強(qiáng),操作簡(jiǎn)單和成本低等優(yōu)點(diǎn).在單目視覺(jué)方法中,一般采用標(biāo)定信息獲取世界坐標(biāo)系與圖像坐標(biāo)系間的一一映射關(guān)系[4].相比于雙目測(cè)距,單目測(cè)距盡管需要先驗(yàn)的場(chǎng)景信息和幾何約束條件,但仍具有硬件配置和算法更簡(jiǎn)單的優(yōu)勢(shì).

目前國(guó)內(nèi)外關(guān)于單目測(cè)距算法的研究大多數(shù)應(yīng)用于車(chē)輛和船舶的檢測(cè)和測(cè)距,單目測(cè)距技術(shù)有被用來(lái)測(cè)量智能飛機(jī)運(yùn)動(dòng)姿態(tài),測(cè)量物體高度,測(cè)量精密元器件[2],而應(yīng)用于智能監(jiān)控領(lǐng)域的很少.單目測(cè)距有基于圖像面積變化量的方法和利用針孔模型下的投射幾何關(guān)系計(jì)算的基于交比不變性方法[8,9];還有用深度傳感器來(lái)獲取場(chǎng)景的深度信息完成場(chǎng)景的三維重建的方法,Meng Ding等人利用深度傳感器完成了人體姿態(tài)的跟蹤[10];另一種常見(jiàn)的方法是將深度感知與模式識(shí)別相結(jié)合,并且有實(shí)驗(yàn)使用自帶圖像處理算法的微飛行器驗(yàn)證了該算法[11].而近來(lái)利用插值思想的三維距離函數(shù)測(cè)距方法經(jīng)實(shí)驗(yàn)證明簡(jiǎn)單有效,但是其受制于限定的平面和特定的靜態(tài)固定場(chǎng)景,無(wú)法適用于變化多樣的應(yīng)用場(chǎng)景,且存在誤差相對(duì)較大的數(shù)據(jù)結(jié)果[12].

1.2 應(yīng)用場(chǎng)景

圖1表示的是單攝像頭監(jiān)控下的大范圍三維場(chǎng)景畫(huà)面.為了獲得在此大范圍場(chǎng)景下特定目標(biāo)的大小尺寸,我們采取了簡(jiǎn)單快速,方便有效的單目測(cè)量技術(shù).利用三維距離函數(shù)模型來(lái)進(jìn)行平面圖像對(duì)圖片中場(chǎng)景進(jìn)行三維空間的重建.

圖1 單攝像頭下的監(jiān)控場(chǎng)景

2 三維場(chǎng)景建模方法

2.1 三維距離函數(shù)

圖2表示了攝像頭成像的幾何關(guān)系.凸透鏡I為攝像頭的簡(jiǎn)化模型,其中O是攝像頭的光心,OO′為攝像頭的光軸,點(diǎn)A,B是區(qū)域的兩個(gè)頂點(diǎn),C是AB線上任意一點(diǎn),A′,B′,C′分別是A,B,C三點(diǎn)的像,O′是光軸OO′與像平面的交點(diǎn),O′是光心O的像.三維距離函數(shù)是利用攝像頭成像的幾何原理并采用梅涅勞斯定理,通過(guò)已知AO和BO的距離來(lái)求取CO的距離[12].

圖2 攝像頭成像幾何關(guān)系圖[12]

2.2 提高三維距離測(cè)量精度的方法

圖3表示了攝像頭成像的立體幾何關(guān)系.成像平面簡(jiǎn)化為面A′B′C′D′,其中O為攝像頭的光心,OO′為與像平面A′B′C′D′垂直的攝像頭光軸,面ABCD是監(jiān)控區(qū)域.其中,AB是區(qū)域的一條邊界線.在圖2中我們可以看出,在一個(gè)實(shí)際的投射面OAB(面OA′B′)上,三維距離函數(shù)的計(jì)算需要用到OO′[11],圖2中的OO′的物理意義應(yīng)為圖3中攝像機(jī)光軸OO′在投射面上的投影.圖3中,OO″的值隨著監(jiān)控區(qū)域投射面的位置變化而變化,本文選擇OO″作為軸線進(jìn)行計(jì)算,從而提高了三維距離函數(shù)測(cè)量的精度.

圖3 攝像頭成像立體幾何關(guān)系圖

2.3 場(chǎng)景標(biāo)記

針對(duì)一般監(jiān)控(單攝像頭俯拍角度)拍攝的畫(huà)面,我們需要對(duì)監(jiān)控視圖進(jìn)行三維立體建模.首先我們標(biāo)記出視圖中地面區(qū)域,圖4中用多邊形ABCDEFGHI表示.

圖4 監(jiān)控視野水平面圖

接下來(lái)對(duì)與地面垂直的建筑物進(jìn)行標(biāo)定,這里我們選取了AINM面作為實(shí)驗(yàn)面,選取場(chǎng)景中的行人為實(shí)驗(yàn)?zāi)繕?biāo),選取行人身高高度為尺寸測(cè)量參數(shù).至此,監(jiān)控視圖下的三維空間標(biāo)記已經(jīng)完成.

2.4 三維立體空間的距離

我們事先已知邊界角點(diǎn)到攝像頭的距離,并通過(guò)相鄰邊界角點(diǎn)來(lái)計(jì)算此邊界上任意一點(diǎn)到攝像頭的距離,進(jìn)而利用邊界點(diǎn)求取邊界圍成的區(qū)域內(nèi)任一點(diǎn)到攝像頭的距離.故運(yùn)用改進(jìn)的三維距離函數(shù)我們可以依次計(jì)算出ABCDEFGHI邊界上的任一點(diǎn)的距離,從而計(jì)算出ABCDEFGHI平面內(nèi)任一點(diǎn)的距離[11].

3 擴(kuò)大測(cè)量范圍的方法

3.1 垂直面測(cè)量函數(shù)

通過(guò)三維場(chǎng)景建模我們求得圖4中ABCDEFGHI平面內(nèi)任一點(diǎn)到攝像頭的距離,接下來(lái)求解圖5中垂直面AINM面內(nèi)任一點(diǎn)到攝像頭的距離.在圖6中,我們構(gòu)造垂直面成像幾何關(guān)系圖,其中O為攝像頭的光心,OO′為光軸在投射面上的投影,I′N(xiāo)′為垂直面,OA′為攝像頭到垂直面的距離,OD為攝像頭到水平面的距離為d.

圖5 監(jiān)控視野垂直面圖

圖6 垂直面成像幾何關(guān)系圖

求解垂直面內(nèi)任一點(diǎn)到攝像頭距離M′O過(guò)程如下:

其中M′I為垂直面內(nèi)任一點(diǎn)到地面的垂直距離.至此三維空間視野內(nèi)任一平面內(nèi)點(diǎn)到攝像頭的距離即已知.

垂直面上任意兩點(diǎn)的距離:

至此,我們可以求得垂直面上任意兩點(diǎn)之間的距離,實(shí)現(xiàn)了垂直面上的尺寸測(cè)量.針對(duì)傳統(tǒng)三維距離函數(shù)模型中測(cè)量目標(biāo)部分跳出監(jiān)控區(qū)域地面的情況,本文在此基礎(chǔ)上進(jìn)一步提出了水平垂直聯(lián)合檢測(cè)函數(shù).

3.2 水平垂直聯(lián)合測(cè)量函數(shù)

圖7中,AQ為地面,MA為與垂直面,O為攝像頭的光心,mn為待測(cè)目標(biāo).當(dāng)?shù)孛嫔系哪繕?biāo)部分超出了圖4中預(yù)設(shè)的ABCDEFGHI面時(shí),我們將目標(biāo)mn分為mp和np分別測(cè)量.mp部分利用傳統(tǒng)三維距離函數(shù)模型即可求[11].

圖7 水平垂直聯(lián)合檢測(cè)

np部分的求解:由垂直面測(cè)量部分已知|AN|,|mO|,|AO|,|NO|.

至此,我們實(shí)現(xiàn)了地面、垂直面的單獨(dú)尺寸測(cè)量和水平垂直聯(lián)合測(cè)量.

4 實(shí)驗(yàn)內(nèi)容與分析

4.1 優(yōu)化后三維距離函數(shù)實(shí)驗(yàn)

本實(shí)驗(yàn)選取了在攝像頭監(jiān)測(cè)區(qū)域的水平地面上均勻分布的8個(gè)點(diǎn),光軸OO′距離分別取3.8 mm、4.0 mm、4.2 mm和4.4 mm,通過(guò)優(yōu)化后的三維環(huán)境距離函數(shù)獲得八組距離值.表1表示了測(cè)量距離與實(shí)際距離的對(duì)比.

表1 目標(biāo)距離測(cè)量表(單位:mm)

4.2 水平面行人高度測(cè)量實(shí)驗(yàn)

本實(shí)驗(yàn)同樣選取了在攝像頭監(jiān)測(cè)區(qū)域的地面上均勻分布的8個(gè)點(diǎn),即為表1中測(cè)距時(shí)的8個(gè)點(diǎn).光軸OO′距離也分別取3.8 mm、4.0 mm、4.2 mm和4.4 mm.表2表示了同一個(gè)人被測(cè)量的高度與實(shí)際高度的對(duì)比.

表2 目標(biāo)身高測(cè)量表(單位:mm)

4.3 垂直面測(cè)量實(shí)驗(yàn)

本實(shí)驗(yàn)分別選取了在攝像頭監(jiān)測(cè)區(qū)域圖4中AINM面上的目標(biāo)門(mén)(位置1),黃牌(位置2),白牌(位置3),光軸OO′距離分別取3.8 mm、4.0 mm、4.2 mm和4.4 mm.通過(guò)垂直面測(cè)量函數(shù)分別獲取目標(biāo)的尺寸.表3表示了垂直面上測(cè)量尺寸與實(shí)際尺寸的對(duì)比.

表3 垂直面尺寸測(cè)量表(單位:mm)

4.4 水平垂直面聯(lián)合檢測(cè)實(shí)驗(yàn)

本實(shí)驗(yàn)選取了在攝像頭監(jiān)測(cè)區(qū)域內(nèi),目標(biāo)同時(shí)出現(xiàn)在面AINM和面ABCI的情況,光軸OO′距離分別取3.8 mm、4.0 mm、4.2 mm和4.4 mm.因?yàn)橥ㄟ^(guò)4.1,4.2,4.3的實(shí)驗(yàn)基礎(chǔ),這里我們只選取了兩個(gè)位置.通過(guò)水平垂直聯(lián)合測(cè)量函數(shù)分別獲取目標(biāo)的高度.表4表示了聯(lián)合檢測(cè)時(shí)測(cè)量高度與實(shí)際高度的對(duì)比.

表4 聯(lián)合高度測(cè)量表(單位:mm)

4.5 實(shí)驗(yàn)數(shù)據(jù)分析

通過(guò)實(shí)驗(yàn)數(shù)據(jù),我們做出圖8至圖11,當(dāng)光軸OO′距離分別取3.8 mm、4.0 mm、4.2 mm和4.4 mm時(shí),測(cè)量數(shù)據(jù)與實(shí)際數(shù)據(jù)都存在一定誤差,本文采用(|測(cè)量值-真實(shí)值|)/真實(shí)值×100%計(jì)算相對(duì)誤差,平均相對(duì)誤差均采用算數(shù)平均計(jì)算.在目標(biāo)距離測(cè)量中,平均相對(duì)誤差分別為1.0%,0.9%,0.9%,4.0%,整體誤差明顯有下降趨勢(shì),故優(yōu)化后的三維距離函數(shù)有效;在水平面高度測(cè)量中,平均相對(duì)誤差分別為6.3%,2.5%,2.0%,4,9%,光軸距離為4.2 mm時(shí)相對(duì)誤差較小;在垂直面尺寸檢測(cè)中,平均相對(duì)誤差分別為7.7% 5.0%,1.2%,2.3%,光軸距離為4.2 mm時(shí)較符合實(shí)際情況,因此,本文提出的垂直面測(cè)量函數(shù)有效;在聯(lián)合檢測(cè)中,平均相對(duì)誤差分別為7.4%,3.7%,0.4%,3.6%.

綜上,我們可以發(fā)現(xiàn),當(dāng)光軸OO′距離取4.2 mm時(shí),四項(xiàng)實(shí)驗(yàn)的平均相對(duì)誤差都較小.此時(shí)距離平均誤差為0.9%,相比于雙目攝像的測(cè)距系統(tǒng)不到3%[13]的平均誤差、基于小孔模型的單目測(cè)距中的未校正誤差2%-4%[6]和傳統(tǒng)三維距離函數(shù)模型下2.3%[12]的平均誤差都有了一定程度上的降低.而此時(shí)身高部分的三組實(shí)驗(yàn)平均誤差分別為2.0%、1.2%、0.4%,與傳統(tǒng)三維距離函數(shù)模型下1.74%的平均誤差基本持平并有下降趨勢(shì).

圖8 目標(biāo)距離測(cè)量折線圖

圖9 水平面目標(biāo)高度折線圖

圖10 垂直面尺寸測(cè)量折線圖

圖11 聯(lián)合檢測(cè)高度折線圖

5 實(shí)驗(yàn)結(jié)論

本文提出一種三維場(chǎng)景建模的方法,修改了三維距離函數(shù)中光軸參數(shù)OO′的選擇過(guò)程,而且針對(duì)原有三維距離函數(shù)存在的空間局限性問(wèn)題提出了擴(kuò)大測(cè)量范圍的方法.經(jīng)實(shí)驗(yàn)數(shù)據(jù)分析證明,此方法簡(jiǎn)單有效地實(shí)現(xiàn)了固定單攝像頭下三維場(chǎng)景的目標(biāo)尺寸測(cè)量,擴(kuò)大了測(cè)量范圍、提高了測(cè)量精度.

1周欣,黃席樾,黎昱.基于單目視覺(jué)的高速公路車(chē)道保持與距離測(cè)量.中國(guó)圖像圖形學(xué)報(bào),2003,8(5):590-595.

2姜雨彤,楊進(jìn)華,劉釗,等.雙目CCD測(cè)距系統(tǒng)的高精度標(biāo)定.計(jì)算機(jī)工程,2013,39(7):228-232.

3李春艷,王立,盧欣,等.一種雙目立體視覺(jué)相機(jī)標(biāo)定方法.空間控制技術(shù)與應(yīng)用,2010,36(3):51-54.

4Zhang ZY.A flexible new technique for camera calibration.IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.[doi:10.1109/34.888718]

5Wahab MNA,Sivadev N,Sundaraj K.Development of monocular vision system for depth estimation in mobile robot-robot soccer.2011 IEEE Conference on Sustainable Utilization and Development in Engineering and Technology(STUDENT).Semenyih,Malaysia.2011.36-41.

6王士明.基于計(jì)算機(jī)視覺(jué)的車(chē)輛單目測(cè)距系統(tǒng)研究[碩士學(xué)位論文].天津:天津大學(xué),2012.

7李強(qiáng).單目視覺(jué)實(shí)時(shí)測(cè)距算法研究[碩士學(xué)位論文].哈爾濱:哈爾濱工業(yè)大學(xué),2014.

8Wang SM,Fan YL.A vision location algorithm for CCD camera based on geometric knowledge.2nd International Conference on Environmental Science and Information Application Technology.Wuhan,China.2010.430-433.

9朱夢(mèng)哲,馮瑞.基于三維模型的粒子濾波行人跟蹤算法.計(jì)算機(jī)系統(tǒng)應(yīng)用,2016,25(11):112-117.[doi:10.15888/j.cnki.csa.005420]

10Ding M,Fan GL.Generalized sum of Gaussians for real-time human pose tracking from a single depth sensor.2015 IEEE Winter Conference on Applications of Computer Vision(WACV).Waikoloa,HI,USA.2015.47-54.

11Celik K,Chung SJ,Clausman M,et al.Monocular vision SLAM for indoor aerial vehicles.The 2009 IEEE/RSJ International Conference on Intelligent Robots and Systems.St.Louis,MO,USA.2009.1566-1573.

12錢(qián)娜.基于三維距離函數(shù)的視頻多目標(biāo)檢測(cè)與跟蹤研究[碩士學(xué)位論文].濟(jì)南:濟(jì)南大學(xué),2009.

13李千,尹業(yè)安.基于雙目攝像的測(cè)距系統(tǒng)及立體匹配算法研究.通信電源技術(shù),2016,33(2):66-67.