單幅圖像距離信息分析模型

徐宗煌, 林志強(qiáng), 許美燕, 黃方方

(福州理工學(xué)院 a. 應(yīng)用科學(xué)與工程學(xué)院, b. 計(jì)算與信息科學(xué)學(xué)院, 福建 福州 350506)

從圖像或視頻中提取物體的大小、距離、速度等信息是視覺情報(bào)分析工作的重要內(nèi)容之一.在當(dāng)前很熱門的移動(dòng)機(jī)器人[1]、無人駕駛[2]、計(jì)算機(jī)視覺[3]、無人機(jī)偵察[4-6]等領(lǐng)域,更是存在著大量的應(yīng)用需求.

現(xiàn)階段,國(guó)內(nèi)外對(duì)單幅圖像距離信息的分析研究已經(jīng)日益成熟.袁海根[7]利用智能視覺圖像技術(shù),通過對(duì)運(yùn)動(dòng)目標(biāo)與道路參考平面所在垂直、傾斜直線的交點(diǎn),確定運(yùn)動(dòng)目標(biāo)的空間位置.李泳波[8]基于機(jī)器視覺的RANSAC算法,通過提取每一幀城市復(fù)雜道路的視頻單幀圖像中的消失點(diǎn)平行線,提出了一種具有快速性、準(zhǔn)確性、實(shí)時(shí)性以及良好魯棒性的圖像道路消失點(diǎn)檢測(cè)算法.何立新[9]通過分析國(guó)內(nèi)外有關(guān)視差測(cè)距的研究現(xiàn)狀,提出了利用所采集的運(yùn)動(dòng)目標(biāo)的多幀圖像,通過運(yùn)動(dòng)估計(jì)法得到目標(biāo)的運(yùn)動(dòng)視差信息.黃軍等[10]通過介紹國(guó)內(nèi)外有關(guān)單幅圖像單目深度估計(jì)的模型方法,對(duì)單幅圖像的深度估計(jì)的經(jīng)典問題與進(jìn)展進(jìn)行了一系列的回顧和綜述,同時(shí)總結(jié)了各個(gè)模型的穩(wěn)定性和魯棒性.傅思勇等[11]提出了一種綜合相機(jī)透鏡多畸變因素的相機(jī)標(biāo)定方法,通過建立相機(jī)透鏡多畸變模型,再以透鏡的單應(yīng)性為約束,利用相機(jī)透鏡的投影原理獲取相機(jī)內(nèi)外參數(shù).李嬋[12]通過簡(jiǎn)化不同場(chǎng)景下的相機(jī)模型,接著檢測(cè)運(yùn)動(dòng)目標(biāo)標(biāo)志物,并采用霍夫變換法獲取運(yùn)動(dòng)目標(biāo)所在道路方向上的消失點(diǎn),最后基于VVH等相機(jī)自動(dòng)標(biāo)定算法與消失點(diǎn)相互匹配的模型得到相機(jī)的內(nèi)外參數(shù).此外,Zhe等[13]利用攝像機(jī)投影原理建立運(yùn)動(dòng)目標(biāo)的面積距離幾何模型,提出了一種基于3D檢測(cè)的單目視覺端到運(yùn)動(dòng)目標(biāo)距離的估計(jì)方法,該模型具有較高的準(zhǔn)確性和魯棒性.

本文基于RANSAC算法的雙消失點(diǎn)法和相機(jī)投影模型,建立了單幅圖像距離信息分析模型,得到了運(yùn)動(dòng)目標(biāo)之間以及拍照者距地物目標(biāo)的距離.該方法可簡(jiǎn)單而有效地提取視覺情報(bào)中地物目標(biāo)的幾何尺寸.

1 研究思路

圖1 單幅圖像距離信息分析模型處理Fig.1 The processing of the distance information analysis model of a single image

在問題求解過程中,考慮到實(shí)際情況與簡(jiǎn)化計(jì)算的需要,提出以下相關(guān)的假設(shè):①模型中所涉及的攝像機(jī)均不存在徑向畸變和切向畸變;②相機(jī)光圈中心成像位于圖片中心;③求解馬路面上物體間距時(shí),忽略人行道相對(duì)于路面的高度.

針對(duì)單幅圖像的距離信息分析:①選擇雙消失點(diǎn)法計(jì)算相機(jī)內(nèi)參數(shù)矩陣與外參數(shù)矩陣;②根據(jù)相機(jī)投影模型,在投影變換中存在3個(gè)坐標(biāo)系,分別為像素坐標(biāo)系、相機(jī)坐標(biāo)系和世界坐標(biāo)系;③在給定圖片時(shí),可以建立合適的坐標(biāo)系,可知此時(shí)圖片中某點(diǎn)在像素坐標(biāo)系中的二維坐標(biāo);④依據(jù)上述已知條件,計(jì)算該點(diǎn)在世界坐標(biāo)系中的三維坐標(biāo).圖1所示為單幅圖像距離信息分析思路.

2 單幅圖像距離信息分析模型

2.1 相機(jī)投影模型

根據(jù)相機(jī)投影模型[7],相機(jī)將三維世界中的坐標(biāo)點(diǎn)映射到二維圖像平面的過程可以用幾何模型進(jìn)行描述.該幾何模型有很多種,其中最簡(jiǎn)單的稱為小孔模型[8],如圖2所示.小孔模型是很常用而且有效的模型,它描述了一束光線通過小孔之后,在小孔背面投影成像的關(guān)系.

圖2 小孔成像模型Fig.2 Small hole imaging model

小孔成像模型利用一個(gè)小孔和一個(gè)成像平面描述相機(jī),小孔位于成像平面和實(shí)際的三維場(chǎng)景之間,任何來自實(shí)際場(chǎng)景中的光線只有通過小孔成像平面才能在成像平面中成像.因此,在成像平面和通過小孔看到的實(shí)際的三維場(chǎng)景中存在著一定的對(duì)應(yīng)關(guān)系,即圖像中的二維像素點(diǎn)與實(shí)際場(chǎng)景中的三維點(diǎn)存在某種變換關(guān)系.利用這種變換關(guān)系,就可通過圖像中已知的二維信息恢復(fù)場(chǎng)景中某點(diǎn)的三維信息.

圖3 成像相似三角形Fig.3 Imaging similar triangles

假設(shè)三維空間中有一點(diǎn)P,其在像素坐標(biāo)系下的坐標(biāo)是P′=[u,v],在圖像坐標(biāo)系中的坐標(biāo)是Pp=[Xp,Yp,Zp]T,在相機(jī)坐標(biāo)系中的坐標(biāo)是Pc=[Xc,Yc,Zc]T,其中Zp=f,為相機(jī)焦距,在世界坐標(biāo)系中的坐標(biāo)是Pw=[Xw,Yw,Zw]T,如圖3所示.

由圖3中三角形的相似關(guān)系,可以得到

(1)

在二維圖像坐標(biāo)系中,像素坐標(biāo)系(二維)原點(diǎn)位于圖像左上角,因此,像素坐標(biāo)系與成像平面存在縮放變換和平移變換.假設(shè)成像平面在x軸上縮放了α倍,在y軸上縮放了β倍,原點(diǎn)平移量為[cx,cy]T,那么,P點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)與像素坐標(biāo)[u,v]T的關(guān)系為

(2)

將式(1)代入式(2),并令αf=fx,βf=fy得

(3)

式中,f的單位為m,α,β的單位為像素/m,所以fx,fy的單位為像素.將式(3)化為齊次坐標(biāo)的形式得到

(4)

式中,3×3維矩陣K即為相機(jī)的內(nèi)參數(shù)矩陣,P點(diǎn)坐標(biāo)為相機(jī)坐標(biāo)系下的坐標(biāo)值.在一般情況下,相機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系的關(guān)系可以通過旋轉(zhuǎn)矩陣R和平移矩陣T來描述,即

Pc=RPw+T.

(5)

將式(5)代入式(4)可得

(6)

式(6)描述了某點(diǎn)在像素坐標(biāo)系下的坐標(biāo)P′=[u,v]與世界坐標(biāo)系下的坐標(biāo)Pw=[Xw,Yw,Zw]T的轉(zhuǎn)換關(guān)系式.

2.2 基于雙消失點(diǎn)的相機(jī)標(biāo)定算法

本文采用基于雙消失點(diǎn)相機(jī)的標(biāo)定方法[14-16],該方法只要求圖像中存在2組以上相互正交的平行線,大大簡(jiǎn)化了實(shí)際操作步驟.由于相機(jī)成像滿足透視原理,因此空間上2條平行線在成像平面上的投影會(huì)在圖像上有一個(gè)交點(diǎn),稱為消失點(diǎn).且消失點(diǎn)的圖像坐標(biāo)只與對(duì)應(yīng)空間直線的方向矢量有關(guān),而且三維空間中互相平行的一組直線有且只有一個(gè)消失點(diǎn)FD.消失點(diǎn)具有以下4個(gè)屬性:

圖4 消失點(diǎn)法示意圖Fig.4 Schematic diagram of vanishing point method

1) 相機(jī)光心與消失點(diǎn)的連線與形成該消失點(diǎn)的空間平行線平行;

2) 相機(jī)坐標(biāo)系下,與空間3條兩兩正交直線形成的消失點(diǎn)相關(guān)的單位向量也兩兩正交;

3) 空間3條兩兩正交的直線形成的消失點(diǎn)組成的三角形,其垂心即為相機(jī)光軸與成像平面的交點(diǎn)(投影中心);

4) 消失點(diǎn)的坐標(biāo)變換與平移向量無關(guān),僅與旋轉(zhuǎn)矩陣有關(guān).

在基于雙消失點(diǎn)理論計(jì)算相機(jī)參數(shù)時(shí),要求拍攝的場(chǎng)景圖片中可以找到2組相互正交的平行線,且與成像平面不平行.設(shè)從中提取出2組直線構(gòu)成空間矩陣ABCD,它在圖像中的投影為abcd,則圖像中包含2個(gè)消失點(diǎn),Fn是直線ad和bc構(gòu)成的消失點(diǎn),Fm是直線ab和cd構(gòu)成的消失點(diǎn),其示意圖如圖4所示.

為了避免2條平行線構(gòu)成消失點(diǎn)帶來的誤差,本文通過檢測(cè)多條平行線,利用RANSAC算法[17]對(duì)多條平行線構(gòu)成的消失點(diǎn)坐標(biāo)進(jìn)行求解,得到最佳的消失點(diǎn)像素坐標(biāo)p,其步驟如下.

輸入:圖像中若干條直線.

輸出:消失點(diǎn)像素坐標(biāo)p.

Step 1 從直線中隨機(jī)選擇k條直線,

Step 2 計(jì)算k條直線交于一點(diǎn)p′的最小二乘解,

Step 3 計(jì)算p′到所有直線的距離之和d,記錄當(dāng)d最小時(shí)的像素坐標(biāo)p,

Step 4 重復(fù)Step 1,2,3,直至超過最大迭代次數(shù)或d小于設(shè)定閾值.

2.3 求解相機(jī)內(nèi)參及外參數(shù)矩陣

(7)

假設(shè)圖像的cx,cy為圖像長(zhǎng)寬w,h的一半,且x和y方向上的焦距相等,即fx=fy=f,則可確定此時(shí)的相機(jī)內(nèi)參矩陣K為

(8)

(9)

(10)

此時(shí),已求得相機(jī)內(nèi)參K,外參矩陣中的旋轉(zhuǎn)矩陣R,接下來求解平移矩陣T.根據(jù)相機(jī)投影模型,有

(11)

記

(12)

則可將式(11)改寫為

(13)

展開得到如下方程組:

(14)

消去尺度參數(shù)s,并將式(14)改寫為如下形式

(15)

求解式(15)的最小二乘解,即可求得平移矩陣T.

2.4 求解圖像中點(diǎn)在三維空間中的坐標(biāo)

由以上分析可知,相機(jī)坐標(biāo)系原點(diǎn)在世界坐標(biāo)系中位置為

(16)

考慮到某個(gè)空間點(diǎn)P,它的齊次坐標(biāo)為P=(wPX,wPY,wPZ,1)T,在圖像中投影到特征點(diǎn)x1=(u1,v1,1)T.此時(shí)定義增廣矩陣[RT]為一個(gè)3×4的矩陣,其中包含坐標(biāo)變換中的平移、旋轉(zhuǎn)信息.因此,由上述推導(dǎo)可以得到

(17)

式(17)中含有3個(gè)待求解的未知數(shù)wPX,wPY,wPZ,2個(gè)約束條件.為求解該方程需添加一個(gè)約束條件.本文中選取約束條件為空間中某點(diǎn)P在世界坐標(biāo)系中的wPZ值,假設(shè)該條件已知,因此有

(18)

求解該式即可得到wPX和wPY的值.即可求得點(diǎn)P在世界坐標(biāo)系的坐標(biāo).

3 模型求解

3.1例1

要求測(cè)算出圖5(見封3)中紅色車輛車頭A和白色車輛車頭B之間的距離,以及拍照者距馬路左側(cè)邊界的距離.首先建立世界坐標(biāo)系Ow,圖中紅色表示坐標(biāo)軸,黃色表示待求2點(diǎn)之間的距離.藍(lán)線表示三維世界中的平行線,根據(jù)透視原理可知,這些平行線會(huì)交于一點(diǎn),即消失點(diǎn).接著使用Base點(diǎn)來計(jì)算含有準(zhǔn)確尺度信息的外參數(shù).故應(yīng)選擇在世界坐標(biāo)系下已知坐標(biāo)的點(diǎn)作為Base點(diǎn).

1) 求解A、B兩點(diǎn)之間的距離.

設(shè)A、B兩點(diǎn)在世界坐標(biāo)系下的坐標(biāo)分別為

因此,計(jì)算可得A、B點(diǎn)之間的距離為

2) 求解拍照者距離左側(cè)馬路的距離.

馬路左側(cè)為遠(yuǎn)離拍攝者一側(cè)的馬路,即圖5中E點(diǎn)所在的一側(cè).E點(diǎn)為在圖像中馬路左側(cè)邊沿任意選擇的一點(diǎn),設(shè)其在世界坐標(biāo)系下的坐標(biāo)為

因此,估算得到拍照者距離馬路左側(cè)的距離約為

3.2例2

1) 求解A、C兩點(diǎn)之間的距離.

設(shè)A、C兩點(diǎn)在世界坐標(biāo)系下的坐標(biāo)分別為

因此,計(jì)算可得A、C之間的距離為

2) 求解拍照者與B的距離.

根據(jù)上一問求解所得B點(diǎn)坐標(biāo),可得

因此,估算得到拍照者與B的距離約為

4 結(jié) 語(yǔ)

本文提出了一種單幅圖像距離信息分析模型,以實(shí)現(xiàn)視覺情報(bào)中地物目標(biāo)的幾何尺寸有效地提取.該方法通過建立合理的世界坐標(biāo)系,基于RANSAC算法的雙消失點(diǎn)法計(jì)算相機(jī)內(nèi)參數(shù)矩陣與外參數(shù)矩陣;再根據(jù)相機(jī)投影模型,求解圖像中點(diǎn)在三維空間中的坐標(biāo);最后得到運(yùn)動(dòng)目標(biāo)之間以及拍照者距地物目標(biāo)的距離.結(jié)果表明:所建立的單幅圖像距離信息分析模型可以有效地提取視覺情報(bào)中地物目標(biāo)的幾何尺寸,且該方法實(shí)現(xiàn)過程簡(jiǎn)單,具有很好的可行性.