基于雙目視覺(jué)的貨車尺寸測(cè)量

王 潛，張艷彬

(南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003)

0 引 言

近年來(lái)，隨著國(guó)內(nèi)汽車保有量的不斷增加，人們享受機(jī)動(dòng)車帶來(lái)便利的同時(shí)，車輛改裝成為道路交通事故和道路早期損壞的主要原因之一[1-2]。汽車的綜合性能檢測(cè)成為了維持良好的車輛生產(chǎn)和道路交通秩序、確保道路設(shè)施的完好和公路交通安全的有效手段，汽車車身尺寸檢測(cè)是汽車通過(guò)性及運(yùn)行安全性等綜合性能檢測(cè)的重要內(nèi)容[3]。傳統(tǒng)的人工測(cè)量誤差大、效率低；當(dāng)前普遍采用紅外光幕組合激光雷達(dá)測(cè)量法、雷達(dá)激光組合機(jī)器視覺(jué)測(cè)量法和激光光幕與CCD相結(jié)合的測(cè)量方法[4]。紅外光幕組合激光雷達(dá)測(cè)量法，測(cè)量寬時(shí)需要在地面安裝紅外光幕接收器，采樣頻率受現(xiàn)有產(chǎn)品的限制，無(wú)法達(dá)到較高的測(cè)量精度，而且成本高。激光雷達(dá)組合計(jì)算機(jī)視覺(jué)測(cè)量法，其成本有所降低，但采樣頻率一樣難以提升且用場(chǎng)地較大，不利于維護(hù)。

基于計(jì)算機(jī)視覺(jué)的物體測(cè)量技術(shù)近年來(lái)發(fā)展迅猛，而雙目視覺(jué)作為計(jì)算機(jī)視覺(jué)的分支之一，由于其模擬人類視覺(jué)原理，使用計(jì)算機(jī)被動(dòng)感知距離，廣泛應(yīng)用于機(jī)器人導(dǎo)航、精密工業(yè)測(cè)量、物體識(shí)別、虛擬現(xiàn)實(shí)、場(chǎng)景重建、勘測(cè)等領(lǐng)域[5-7]。文中提出了一種基于雙目視覺(jué)的測(cè)量方法[8-10]，通過(guò)雙目攝像機(jī)采集車輛圖片，利用圖像差值法獲取車輛前景目標(biāo)；通過(guò)進(jìn)行HSV直方圖圖像分割提取車身[11]，設(shè)計(jì)了基于車身輪廓Hu矩的車型支持向量機(jī)分類器[12-13],對(duì)分類為貨車的對(duì)象，根據(jù)邊緣特征，結(jié)合特征匹配技術(shù)實(shí)現(xiàn)立體匹配[14],完成車輛長(zhǎng)度的測(cè)量；通過(guò)霍夫變換檢測(cè)矩形車廂[15-16]，計(jì)算出車廂的尺寸信息，繼而判斷是否進(jìn)行改裝。

1 車輛尺寸測(cè)量流程

文中測(cè)量方法的流程如圖1所示。首先，通過(guò)雙目攝像機(jī)采集車輛圖像，選取左相機(jī)圖像進(jìn)行主要處理，將車輛圖像與背景圖像做圖像差值，提取圖像中的車輛前景。為了消除陰影的影響，對(duì)車輛目標(biāo)計(jì)算HSV空間各顏色分量的直方圖，取各顏色分量最大值進(jìn)行圖像分割，提取車身做下一步處理。針對(duì)不同車型，設(shè)計(jì)了一個(gè)SVM分類器，通過(guò)提取車輛車身的Hu矩對(duì)車輛進(jìn)行分類。對(duì)分類為貨車的對(duì)象做霍夫變換，并結(jié)合幾何信息檢測(cè)矩形提取車廂。最后根據(jù)邊緣特征，確定車輛的測(cè)量點(diǎn)，進(jìn)行特征匹配和雙目測(cè)量。

圖1 車輛尺寸測(cè)量流程

2 車輛尺寸測(cè)量原理

2.1 雙目測(cè)量原理

雙目視覺(jué)作為計(jì)算機(jī)視覺(jué)的重要分支，由不同位置的2臺(tái)攝像機(jī)拍攝同一幅場(chǎng)景，通過(guò)計(jì)算空間點(diǎn)在兩幅圖像中的視差，來(lái)獲取該點(diǎn)的三維坐標(biāo)。雙目成像原理如圖2所示。

圖2 雙目視覺(jué)成像原理模型

其中，B是兩臺(tái)攝像機(jī)投影中心的距離；f是攝像機(jī)的焦距。

因此，左相機(jī)像面上的任意一點(diǎn)只要能在右相機(jī)像面上找到對(duì)應(yīng)的匹配點(diǎn)，就可以確定該點(diǎn)的三維坐標(biāo)。

在雙目測(cè)量之前，需要對(duì)攝像機(jī)進(jìn)行標(biāo)定獲取內(nèi)外參數(shù)。文中選取經(jīng)典的張友正棋盤(pán)標(biāo)定法。通過(guò)標(biāo)定獲取攝像機(jī)焦距f、基線距離B以及兩攝像機(jī)之間平移T和旋轉(zhuǎn)角度等。

2.2 車輛測(cè)量點(diǎn)定位

對(duì)車輛尺寸自動(dòng)化測(cè)量來(lái)說(shuō)，準(zhǔn)確快速定位測(cè)量點(diǎn)是一個(gè)必要條件。文中主要測(cè)量載貨汽車類車輛的長(zhǎng)度和車廂尺寸。

對(duì)提取的車身圖片，進(jìn)行形態(tài)學(xué)處理、面積大小判斷，去除車身外的噪聲區(qū)域，再提取圖像中的車身外輪廓，利用輪廓線中的左、右兩側(cè)的極點(diǎn)作為車輛長(zhǎng)度的測(cè)量點(diǎn)。

對(duì)分類為貨車的車輛，利用霍夫變換檢測(cè)圖中的直線，結(jié)合車廂的幾何信息，提取出車廂矩形，確定車廂的測(cè)量點(diǎn)。首先通過(guò)霍夫變換檢測(cè)出圖像中的所有直線，根據(jù)車廂的幾何特性，對(duì)圖像選取相互平行的直線對(duì)，而一般車廂的上下、左右邊接近水平和垂直，結(jié)合以上兩點(diǎn)篩除大部分的干擾直線。選取車廂邊緣直線策略以車廂上下兩條直線為例，這兩條一般選取靠近車身上下兩側(cè)的直線，但是會(huì)受到其他部分水平直線的干擾，這時(shí)可通過(guò)每條直線周圍非零像素點(diǎn)的個(gè)數(shù)來(lái)輔助判斷，車廂的上下側(cè)直線鄰域一般包含的非零像素點(diǎn)較多，選取鄰域非零點(diǎn)最多的直線對(duì)作為車廂上下邊直線。最后計(jì)算車廂四條直線邊的交點(diǎn)，以這四個(gè)交點(diǎn)作為車廂尺寸的測(cè)量點(diǎn)。

圖3為車廂直線選取策略示意圖。

圖3 車廂直線選取策略示意圖

圖3中有三條直線，選取策略是統(tǒng)計(jì)直線鄰域中

非零像素點(diǎn)個(gè)數(shù)，選取統(tǒng)計(jì)數(shù)量最多的直線作為車廂下邊界。車身部分像素點(diǎn)不為零，其他部分皆為零，明顯直線1滿足要求。

2.3 車輛測(cè)量點(diǎn)匹配

文中應(yīng)用了歸一化互相關(guān)(normalized cross correlation，NCC)特征匹配算法，其具有抗噪能力強(qiáng)、匹配準(zhǔn)確等特點(diǎn)。通過(guò)計(jì)算模板塊與搜索圖像的互相關(guān)系數(shù)確定匹配的程度，選取互相關(guān)系數(shù)最大的點(diǎn)作為模板塊在搜索圖像的位置。歸一化互相關(guān)度量匹配的定義式為：

(1)

其中，R是互相關(guān)系數(shù)；T是尺寸為N×N的模板；搜索圖像S的尺寸為M×M。

文中選取以測(cè)量點(diǎn)為中心，N=5的鄰域作為模板，同時(shí)通過(guò)極線約束來(lái)減小計(jì)算量。在實(shí)際測(cè)量中，視差只會(huì)在一定范圍變化，故可以限制模板在x軸的搜索范圍，進(jìn)一步提升計(jì)算效率。根據(jù)實(shí)際情況設(shè)置搜索范圍為：xR∈(xL-200,xL+200)，其中xL為左圖像測(cè)量點(diǎn)。

2.4 車輛前景目標(biāo)的提取

在測(cè)量車輛尺寸時(shí)，背景圖像保持靜止不變，車輛部分可以看成是變化的部分。根據(jù)這一特點(diǎn)，采用灰度圖像背景差值法實(shí)現(xiàn)車輛目標(biāo)提取。設(shè)f1(x,y)，f2(x,y)分別為插值法中的車輛圖像和背景圖像，大小均為M×N，其中x∈[0,M)，y∈[0,N)，獲得色差圖D(x,y)：

D(x,y)=abs(f1(x,y)-f2(x,y))

(2)

δ2=PA(ωA-ω0)2+PB(ωB-ω0)2

(3)

為獲取最優(yōu)閾值，類間最大方差法認(rèn)為使得δ2值最大的t*即為所求的最佳閾值。

為了提取車身信息，選取基于HSV彩色直方圖車身分割方法，將獲取車輛前景的RGB圖像轉(zhuǎn)到HSV顏色空間，在HSV空間提取車身。利用HSV彩色直方圖計(jì)算圖像中不同顏色分量出現(xiàn)的頻率，選取出現(xiàn)頻率最高的hb,sb,vb作為目標(biāo)顏色。將目標(biāo)區(qū)域每個(gè)像素點(diǎn)與目標(biāo)顏色進(jìn)行相似度比較，選取HSV空間相似度公式計(jì)算相似度，公式如下：

D(f)=[(sfvfcoshf-sbvbcoshb)2+

(sfvfsinhf-sbvbsinhb)2+

(vf-vb)2]1/2

(4)

其中，D(f)為目標(biāo)區(qū)域像素點(diǎn)與目標(biāo)顏色相似度值；hf,sf,vf分別為該像素點(diǎn)的HSV分量。根據(jù)場(chǎng)景選取適當(dāng)閾值，當(dāng)相似度D(f)小于閾值時(shí)，判定為車身點(diǎn)，否則為背景點(diǎn)。

2.5 車輛車型分類

文中主要檢測(cè)載貨汽車，并提取其車廂尺寸，所以需要對(duì)車輛車型進(jìn)行區(qū)分。這里設(shè)計(jì)了基于Hu矩特征的SVM車型分類器，對(duì)輸入車身輪廓進(jìn)行分類，將車輛分為貨車類和非貨車類(客車、轎車等)。

Hu矩具有旋轉(zhuǎn)、縮放和平移不變性，對(duì)于物體的形狀描述較好。由Hu矩組成的特征量對(duì)圖像進(jìn)行識(shí)別，其優(yōu)點(diǎn)是計(jì)算速度快，但對(duì)紋理特征太復(fù)雜的圖像識(shí)別率較低。文中對(duì)分割出的車身分類，只計(jì)算其形狀特征而不考慮紋理，因此Hu矩特別適合要求。

支持向量機(jī)(support vector machine,SVM)是一種二類分類模型，其基本模型定義為特征空間上的間隔最大的線性分類器，其學(xué)習(xí)策略是使間隔最大化，最終可轉(zhuǎn)化為一個(gè)凸二次規(guī)劃問(wèn)題的求解。

設(shè)支持向量為xi,i={0,1,…,6}，對(duì)應(yīng)的輸出為yi={0,1}，支持向量機(jī)對(duì)線性可分問(wèn)題的目標(biāo)函數(shù)為：

(5)

yi(wxi+b)≥1-ξi,i=1,2,…,N

(6)

其中，b是分類閾值。

為了求解原始問(wèn)題最優(yōu)解w*和b*，首先求解式7的對(duì)偶問(wèn)題，獲取最優(yōu)解a*，拉格朗日對(duì)偶形式為：

(7)

對(duì)偶問(wèn)題的a*解中，滿足a*>0的實(shí)例點(diǎn)xi稱為支持向量。

求解上述問(wèn)題得到線性支持向量機(jī)，分類決策函數(shù)為：

f(x)=sign(w*·x+b*)

(8)

在線性支持向量機(jī)學(xué)習(xí)的對(duì)偶問(wèn)題中，用核函數(shù)K(x,z)替代內(nèi)積，即可求解到非線性支持向量機(jī)：

(9)

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)平臺(tái)

實(shí)驗(yàn)采用Intel? CoreTM2 CPU i5-3210M@ 2.50 GHz雙核，顯卡為NVIDIA GeForce 620M(1 GB)。操作系統(tǒng)為64位Windows 7旗艦版，開(kāi)發(fā)環(huán)境為Visual Studio 2013,Opencv環(huán)境為opencv-3.2，雙目攝像機(jī)為ANC 1080P攝像頭。

3.2 實(shí)驗(yàn)結(jié)果及分析

選取光線合適的場(chǎng)景進(jìn)行試驗(yàn)，通過(guò)圖像差值法提取車輛前景，以檢測(cè)到的車輛區(qū)域作為掩模，計(jì)算其HSV彩色直方圖，提取各個(gè)分量最大值，應(yīng)用相似度公式，提取車身，效果圖如圖4所示。

圖4 車輛前景提取及車身分割

對(duì)色差圖進(jìn)行二值化后，圖像中除前景目標(biāo)區(qū)域外，還存在一些噪聲區(qū)域，這里通過(guò)輪廓面積和形態(tài)學(xué)操作去除。

文中收集了207個(gè)車輛樣本，其中貨車類有60個(gè)樣本。經(jīng)過(guò)處理后按照7∶3的比例分成訓(xùn)練集和測(cè)試集。SVM分類器的核函數(shù)為徑向基函數(shù)，其對(duì)非線性劃分問(wèn)題效果優(yōu)于其他幾類核函數(shù)，采用交叉驗(yàn)證(cross validation)的方法選取核函數(shù)參數(shù)δ為0.25。60個(gè)測(cè)試樣本分類的準(zhǔn)確率在96.67%，分類錯(cuò)誤的原因是手工制作的樣本有誤差，使得車型相差較小的兩類容易產(chǎn)生誤判。

測(cè)試集的實(shí)際分類結(jié)果如表1所示。

表1 車輛類型分類結(jié)果

最后根據(jù)邊緣特征和車輛的幾何特征，確定測(cè)量點(diǎn)及3次測(cè)量均值結(jié)果,如圖5和表2所示。

圖5 車輛測(cè)量點(diǎn)示意圖

車型雙目測(cè)量車身長(zhǎng)度/mm車廂長(zhǎng)度/mm車廂寬度/mm總耗時(shí)/ms躍進(jìn)上俊x5003次測(cè)量均值6 0564 0632 048手工測(cè)量5 9954 1701 989最大誤差2.72%2.56%2.88%1 284躍進(jìn)x500廂式輕卡3次測(cè)量均值5 8494 2272 102手工測(cè)量5 9954 1802 050最大誤差2.42%2.34%2.57%1 337

4 結(jié)束語(yǔ)

論述了基于雙目視覺(jué)的車輛尺寸測(cè)量的系統(tǒng)組成、測(cè)量原理及雙目測(cè)量的關(guān)鍵技術(shù)。通過(guò)對(duì)兩種類型貨車進(jìn)行重復(fù)測(cè)量實(shí)驗(yàn)，結(jié)果顯示，該系統(tǒng)對(duì)車輛尺寸的測(cè)量誤差與傳統(tǒng)方法相差不大，但整體耗時(shí)低于1.5 s,并能實(shí)現(xiàn)自動(dòng)、非接觸測(cè)量，滿足了測(cè)量準(zhǔn)確性和快速性的要求，為車輛綜合性能檢測(cè)和智能交通系統(tǒng)提供了一種有效的補(bǔ)充。

參考文獻(xiàn):

[1] 杜秀麗.重特大道路交通事故致因研究[D].上海:華東師范大學(xué),2016.

[2] 劉 琦.道路交通安全管理研究[D].青島：中國(guó)海洋大學(xué)，2012.

[3] WHEELER T A, KOCHENDERFER M J. Factor graph scene distributions for automotive safety analysis[C]//International conference on intelligent transportation systems.Rio de Janeiro,Brazil:IEEE,2016:1035-1040.

[4] 梁春疆，段發(fā)階，楊 毅，等.車輛外廓尺寸計(jì)算機(jī)視覺(jué)動(dòng)態(tài)測(cè)量[J].光電工程,2016,43(1):42-48.

[5] 李懷澤,沈會(huì)良,程 岳.基于旋轉(zhuǎn)多視角深度配準(zhǔn)的三維重建方法[J].計(jì)算機(jī)應(yīng)用，2012，32(12):3365-3368.

[6] 孔穎喬,趙健康,夏 軒.基于立體視覺(jué)的高精度標(biāo)定與測(cè)量方法[J].計(jì)算機(jī)應(yīng)用,2017,37(6):1798-1802.

[7] 郭政業(yè),胡雯薔,朱李瑾.基于眼球重建異面直線模型的雙目視線跟蹤算法[J].計(jì)算機(jī)應(yīng)用研究,2016,33(4):1249-1252.

[8] 姜慶昌.汽車輪廓尺寸測(cè)量機(jī)的研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2006.

[9] 蘇 建,翟乃斌,劉玉梅,等.汽車整車尺寸機(jī)器視覺(jué)測(cè)量系統(tǒng)的研究[J].公路交通科技，2007,24(4)：145-149.

[10] LI Shuaijun,JIANG Xinyu,QIAN Huihuan.Vehicle 3-dimension measurement by monocular camera based on license plate[C]//International conference on robotics and biomimetics.Qingdao,China:IEEE,2016:800-806.

[11] SURAL S,QIAN Gang,PRAMANIK S.Segmentation and histogram generation using the HSV color space for image retrieval[C]//International conference on image processing.Rochester,NY,USA:IEEE,2002:589-592.

[12] BENNETT K P.Combining support vector and mathematical programming methods for classification[M].Cambridge，MA：MIT Press，1999:307-326.

[13] 范伊紅,彭海云,張 元.基于SVM的車型識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].微計(jì)算機(jī)信息,2007,23(3-1):296-297.

[14] WEI S,LAI Shanghong.Fast template matching based on normalized cross correlation with adaptive multilevel winner update[J].IEEE Transactions on Image Processing,2008,17(11):2227-2235.

[15] DAI Huadong,WANG Yang.A new method for detecting rectangles and triangles[C]//2015 IEEE advanced information technology,electronic and automation control conference.Chongqing,China:IEEE,2015:321-327.

[16] LIU Dong,WANG Yongtao,TANG Zhi,et al.A robust circle detection algorithm based on top-down least-square fitting analysis[J].Computers & Electrical Engineering,2014,40(4):1415-1428.