基于航模輔助觀測(cè)的車輛軌跡提取方法

王 昊，鄭云壯，段淞耀，董長印，劉善文

基于航模輔助觀測(cè)的車輛軌跡提取方法

王 昊1，2，鄭云壯1，段淞耀1，董長印1，劉善文1

（1.東南大學(xué)城市智能交通江蘇省重點(diǎn)實(shí)驗(yàn)室，210096南京；2.現(xiàn)代城市交通技術(shù)江蘇高校協(xié)同創(chuàng)新中心，210096南京）

為了克服交通流定點(diǎn)視頻觀測(cè)方法在觀測(cè)范圍上的局限性，提出了一種基于飛行航模輔助視頻觀測(cè)的地面道路車輛軌跡提取方法.首先應(yīng)用飛行航模在空中拍攝獲得道路交通流視頻，并將視頻分解為連續(xù)逐幀圖片；其次應(yīng)用針孔成像模型和空間坐標(biāo)轉(zhuǎn)換算法，對(duì)逐幀航拍圖片內(nèi)的車輛坐標(biāo)進(jìn)行提取和轉(zhuǎn)換，以獲得車輛的運(yùn)行時(shí)空軌跡數(shù)據(jù)；最后進(jìn)行了該方法的3類誤差分析.結(jié)果表明，該方法在標(biāo)準(zhǔn)棋盤格試驗(yàn)下提取坐標(biāo)的相對(duì)誤差小于5%，實(shí)際道路交通目標(biāo)坐標(biāo)提取的精度達(dá)到90%以上.航模輔助視頻觀測(cè)法可實(shí)現(xiàn)對(duì)交通目標(biāo)的大范圍低成本觀測(cè)，能夠滿足交通工程的觀測(cè)需求.

交通觀測(cè)；車輛軌跡；模型飛機(jī)；圖像處理；誤差分析

近年來，視頻拍攝逐漸成為交通流信息采集的一種有效方法，而對(duì)于交通數(shù)據(jù)高質(zhì)量的追求，使得傳統(tǒng)的固定攝像頭拍攝已不能滿足研究需求，部分學(xué)者開始將目光轉(zhuǎn)向航空拍攝.一些研究者嘗試將攝像頭裝在直升機(jī)或熱氣球上［1］，盡管獲取的視頻質(zhì)量較高，但高昂的觀測(cè)成本限制了該方法的應(yīng)用與推廣.此外，目前的視頻軌跡自動(dòng)提取技術(shù)僅適用于對(duì)固定攝像頭拍攝的視頻進(jìn)行分析，難以獲取更長的車輛軌跡.Hoogendoorn提出了一種人工提取視頻軌跡的方法，然而其需要大量的圖片特征控制點(diǎn)和道路表面控制點(diǎn)來求解車輛坐標(biāo)［2］，使得獲取目標(biāo)車輛軌跡的工作繁瑣而低效.Knoop提出了一種利用圖像拼接技術(shù)整體獲取車輛軌跡的方法［3］，遺憾的是該方法不能追蹤換道車輛的軌跡.與此同時(shí)，國內(nèi)學(xué)者也在該領(lǐng)域的研究取得的一些有價(jià)值的成果［4-6］，但依然缺少系統(tǒng)的、便捷的車輛軌跡觀測(cè)技術(shù).本文在集成無線電遙控固定翼模型飛機(jī)和圖像處理技術(shù)的基礎(chǔ)上，提出了一個(gè)新的車輛軌跡觀測(cè)與提取方法.

1 航模輔助觀測(cè)方法

該模型飛機(jī)配備飛行控制系統(tǒng)、高清攝像頭、無線視頻傳輸系統(tǒng)，如圖1所示.模型飛機(jī)通過無線傳輸系統(tǒng)與地面站之間進(jìn)行通信傳輸，飛行指令可以從地面站傳送到飛機(jī)，同時(shí)飛機(jī)的飛行狀況也可實(shí)時(shí)傳輸給地面站［7-8］.

航模起飛之后在GPS的引導(dǎo)及飛控模塊的控制下，自主飛行至目標(biāo)交通觀測(cè)區(qū)域.地面站系統(tǒng)通過無線圖傳模塊及航模云臺(tái)上的攝像機(jī)實(shí)時(shí)監(jiān)控航模的飛行狀態(tài).飛抵目標(biāo)區(qū)域后，航模搭載的攝像機(jī)實(shí)時(shí)拍攝目標(biāo)區(qū)域交通狀況.拍攝的視頻通過無線圖傳模塊實(shí)時(shí)傳給地面站并將高清視頻存儲(chǔ)于機(jī)載存儲(chǔ)設(shè)備，如圖2所示.觀測(cè)任務(wù)完成后航模將在飛行控制系統(tǒng)的指引下自動(dòng)返航.通過對(duì)航拍所獲的視頻或圖片信息的提取，工作人員可對(duì)其進(jìn)行后期分析處理，獲取車輛軌跡數(shù)據(jù).

圖1 模型飛機(jī)和無線視頻傳輸系統(tǒng)

圖2 模型飛機(jī)實(shí)時(shí)拍攝的地面交通圖像

2 輛軌跡提取方法

2.1 基本模型

本文在開發(fā)相應(yīng)的坐標(biāo)軌跡提取軟件過程中，為實(shí)現(xiàn)像素坐標(biāo)系向?qū)嶋H道路坐標(biāo)系的投影轉(zhuǎn)換，并最終實(shí)現(xiàn)交通目標(biāo)的坐標(biāo)提取功能，采用了針孔相機(jī)模型、鏡頭畸變模型以及坐標(biāo)空間變換3組模型.其中針孔相機(jī)模型實(shí)現(xiàn)了像素坐標(biāo)系向相機(jī)坐標(biāo)系（過渡坐標(biāo)系）的投影過程，鏡頭畸變模型校正了投影過程中產(chǎn)生的畸變，提高了整個(gè)坐標(biāo)轉(zhuǎn)換過程的計(jì)算精度，坐標(biāo)空間變換模型實(shí)現(xiàn)了相機(jī)坐標(biāo)系向?qū)嶋H坐標(biāo)系的投影過程.分別對(duì)上述3組模型進(jìn)行介紹.

2.1.1 針孔攝像機(jī)模型

如圖3所示，物體上任一點(diǎn)Q（X，Y，Z）沿光線穿過針孔投射到相片平面上q′（-x，-y，-F），針孔到相片平面的距離為焦距F，由相似三角形的性質(zhì)，可以得到點(diǎn)Q與其像點(diǎn)q′的坐標(biāo)關(guān)系為

圖3 針孔模型圖

以針孔為中心作相片平面的中心對(duì)稱平面，則得到像點(diǎn)q′成中心對(duì)稱的新像點(diǎn)q（x，y，F(xiàn)），并得到與式（1）等價(jià)的式（2）．

設(shè)像點(diǎn)q在相機(jī)坐標(biāo)系下的像素坐標(biāo)為（xs，ys），則根據(jù)式（2）可得點(diǎn)Q在相機(jī)坐標(biāo)系上的象素坐標(biāo)與其空間坐標(biāo)之間的關(guān)系為

設(shè)光軸與相片平面的交點(diǎn)為主點(diǎn)，考慮到攝像機(jī)的安裝精度，主點(diǎn)可能不在相片的中心，因而引入cx，cy對(duì)主點(diǎn)偏移進(jìn)行修正；此外，考慮到單個(gè)像素點(diǎn)在一般成像芯片上是矩形而非正方形，引入fx和fy分別計(jì)算兩個(gè)正交分量方向上的象素坐標(biāo)．

2.1.2 鏡頭畸變模型

在實(shí)際生產(chǎn)過程中，由于制造精度等原因，攝像機(jī)鏡頭無法保證完全精確.因此，必須對(duì)鏡頭進(jìn)行畸變校正.本文在文獻(xiàn)［9-10］的基礎(chǔ)上對(duì)模型進(jìn)行了改進(jìn)，具體改進(jìn)如下.

徑向變形修正.實(shí)際攝像機(jī)的透鏡總是在成像芯片的邊緣產(chǎn)生顯著的畸變.這個(gè)現(xiàn)象來源于筒形和魚眼影響.對(duì)某些透鏡，光線在遠(yuǎn)離透鏡中心的地方比靠近中心的地方更加彎曲.對(duì)常用的普通透鏡來說，這種現(xiàn)象更為嚴(yán)重.成像芯片中心的畸變?yōu)?，隨著向邊緣移動(dòng)，畸變也隨著變大，實(shí)際情況中用r=0處的泰勒級(jí)數(shù)展開的前幾項(xiàng)來定量描述，通常使用前兩項(xiàng)，畸變系數(shù)設(shè)為k1和k2，對(duì)畸變很大的攝像機(jī)，可以使用第3項(xiàng)，設(shè)其系數(shù)為k3，這樣就可以按下式校正徑向畸變．

其中:r為光線遠(yuǎn)離透鏡中心的距離；（x，y）是畸變點(diǎn)在成像芯片上的原始位置，（xcorrected，ycorrected）是校正后的新位置．

切向畸變修正．切向畸變是由于透鏡制造上的缺陷使得透鏡本身與相片平面不平行而產(chǎn)生的．切向畸變可以用p1和p1兩個(gè)參數(shù)來校正，如下所示．

2.1.3 空間坐標(biāo)變換和校準(zhǔn)

首先，應(yīng)用空間變換模型確定成像芯片上的像素坐標(biāo)和實(shí)際坐標(biāo)之間的變換關(guān)系；然后，采用張正友算法實(shí)現(xiàn)模型參數(shù)校準(zhǔn)［11］，模型為

若O′坐標(biāo)系是O坐標(biāo)系以右手螺旋的方式繞X軸旋轉(zhuǎn)α而得到的新的坐標(biāo)系，則點(diǎn)A在兩坐標(biāo)系上的坐標(biāo)的關(guān)系為等式（6）．若O′坐標(biāo)系是O坐標(biāo)系以右手螺旋的方式繞Y軸旋轉(zhuǎn)β而得到的新的坐標(biāo)系，則點(diǎn)A在兩坐標(biāo)系上的坐標(biāo)的關(guān)系為

若O′坐標(biāo)系是O坐標(biāo)系以右手螺旋的方式繞Z軸旋轉(zhuǎn)而得到的新的坐標(biāo)系，則點(diǎn)A在兩坐標(biāo)系上的坐標(biāo)的關(guān)系為

若O′坐標(biāo)系是O坐標(biāo)系平移向量T（tx，ty，tz）（T是在原始O坐標(biāo)系上的向量）得到的新的坐標(biāo)系，則點(diǎn)A在兩坐標(biāo)系上的坐標(biāo)的關(guān)系為

設(shè)實(shí)際坐標(biāo)系Or，攝像機(jī)坐標(biāo)系Oc，成像芯片像素坐標(biāo)系Os，點(diǎn)P在Or上的坐標(biāo)為Pr（xr，yr，zr），在Oc上的坐標(biāo)為Pc（xc，yc，zc），其像點(diǎn)P′在Os上的坐標(biāo)為Pd（xd，yd）．P′經(jīng)校正后在Os上的坐標(biāo)為Ps（xs，ys），設(shè)向量OcOr在Oc坐標(biāo)系上為Τ，且Or依次經(jīng)過繞X、Y、Z軸旋轉(zhuǎn)后，得到的O3r的坐標(biāo)軸與Oc對(duì)應(yīng)的坐標(biāo)軸的方向一致，有

令

則

對(duì)于本文涉及的道路車輛軌跡觀測(cè)問題，局部道路路段可視為理想的地勢(shì)平坦區(qū)域，忽略高程影響，取zr=0，則

由式（3）可得

由式（4）、（5）可得

則

這樣便建立了道路上的目標(biāo)觀測(cè)點(diǎn)在道路坐標(biāo)系上的坐標(biāo)與其像點(diǎn)在成像芯片像素坐標(biāo)系上的像素坐標(biāo)之間的關(guān)系.應(yīng)用張正友算法，通過對(duì)已知坐標(biāo)的參考點(diǎn)進(jìn)行攝像觀測(cè)，即可標(biāo)定出上述模型中的參數(shù).

2.2 數(shù)據(jù)處理

選擇一定時(shí)間段內(nèi)航拍視頻文件，逐幀提取航拍視頻圖片，并從航拍圖片中手動(dòng)提取目標(biāo)點(diǎn).首先通過放大導(dǎo)入的圖像使得獲取的坐標(biāo)更加精確；其次在圖像上設(shè)置標(biāo)準(zhǔn)的道路坐標(biāo)；最后通過點(diǎn)擊目標(biāo)點(diǎn)以獲取坐標(biāo)，如圖4所示.

圖4 軟件操作過程

根據(jù)獲取的目標(biāo)車輛的坐標(biāo)，即可繪制車輛的實(shí)際運(yùn)行軌跡，如圖5所示.圖中x坐標(biāo)軸為沿車輛前進(jìn)方向建立的，與道路標(biāo)線平行；y坐標(biāo)軸是垂直于道路方向建立的，原點(diǎn)位于道路中線處，因此該運(yùn)動(dòng)軌跡線描述了車輛在道路范圍內(nèi)的實(shí)際行駛情況.

圖5 車輛軌跡

3 誤差分析

3.1 誤差來源

由于本文采集軌跡的方法是基于連續(xù)點(diǎn)坐標(biāo)提取實(shí)現(xiàn)的，因此對(duì)于軌跡觀測(cè)的誤差本文主要從軌跡內(nèi)部點(diǎn)坐標(biāo)的觀測(cè)誤差進(jìn)行評(píng)價(jià).本文提出的軌跡提取方法的誤差包括3個(gè)方面，分別來源于道路建系誤差、算法誤差以及操作帶來的誤差.

道路建系誤差源自兩個(gè)因素.首先，本文采用的航模輔助拍攝方法無法直接獲得地面高程，因而該觀測(cè)方法適宜選擇地勢(shì)平坦的地區(qū)，并假設(shè)航拍范圍為等高區(qū)域，這一假設(shè)將會(huì)對(duì)軌跡坐標(biāo)提取帶來一定的誤差.其次，在建立道路直角坐標(biāo)系的過程中，本文以路面標(biāo)志標(biāo)線的特征點(diǎn)為坐標(biāo)系的基本坐標(biāo)參照點(diǎn)，并分別以順延于行車道分隔標(biāo)線方向與垂直行車道分隔線方向建立X軸和Y軸，然而，由于道路實(shí)際施工過程中，標(biāo)志標(biāo)線并非嚴(yán)格按照規(guī)范標(biāo)準(zhǔn)施工，這也會(huì)導(dǎo)致最終的結(jié)果產(chǎn)生誤差.

算法誤差是由于本文在相機(jī)參數(shù)標(biāo)定過程中采用了張正友算法獲得相機(jī)的內(nèi)參和畸變系數(shù)［12］.這個(gè)算法本身存在一定誤差，對(duì)結(jié)果也會(huì)有一定影響.

操作誤差是由于在點(diǎn)取道路圖片上的標(biāo)志標(biāo)線與車輛目標(biāo)時(shí)，操作人員往往無法精確點(diǎn)取目標(biāo)，因而會(huì)產(chǎn)生操作誤差.

3.2 實(shí)驗(yàn)數(shù)據(jù)分析

為檢驗(yàn)本文軌跡提取方法的誤差，分別采用標(biāo)準(zhǔn)棋盤格與實(shí)際道路進(jìn)行誤差分析.其中，標(biāo)準(zhǔn)棋盤格實(shí)驗(yàn)中無建系誤差，僅存在算法誤差與操作誤差，而實(shí)際道路的誤差分析包括上述3類誤差.

3.2.1 標(biāo)準(zhǔn)棋盤格誤差分析

標(biāo)準(zhǔn)棋盤格是一個(gè)由大小相同的黑白方塊構(gòu)成的平面棋盤，每個(gè)方格的邊長為2.5 cm.以棋盤格上A點(diǎn)為原點(diǎn)，分別以棋盤格邊線建立X軸和Y軸，即可確定棋盤格上每個(gè)點(diǎn)在該坐標(biāo)系中的理論坐標(biāo)．接下來，隨機(jī)取4個(gè)點(diǎn)的理論坐標(biāo)對(duì)模型進(jìn)行參數(shù)標(biāo)定，如圖6棋盤格照片中點(diǎn)A（0，0）、B（3，0）、C（0，3）、D（6，8）．完成參數(shù)標(biāo)定后，在計(jì)算機(jī)中通過鼠標(biāo)點(diǎn)擊棋盤格照片上任一點(diǎn)（如E點(diǎn)），并通過坐標(biāo)轉(zhuǎn)換模型獲得計(jì)算坐標(biāo).

圖6 棋盤格照片

本文進(jìn)行了42組棋盤格試驗(yàn)，在42組試驗(yàn)數(shù)據(jù)中，數(shù)據(jù)分析見圖7，X坐標(biāo)最大相對(duì)誤差為4.25%，Y坐標(biāo)最大相對(duì)誤差為3.96%，X和Y的相對(duì)誤差值的標(biāo)準(zhǔn)差分別為0.01與0.02，離散程度較小，相對(duì)誤差較為穩(wěn)定．3.2.2 實(shí)際道路坐標(biāo)分析

圖7 棋盤格試驗(yàn)誤差圖

本文對(duì)東南大學(xué)九龍湖校區(qū)內(nèi)由西門至東門的200 m路段進(jìn)行實(shí)際道路坐標(biāo)誤差分析，該路段為雙向4車道道路，地勢(shì)平坦，交通條件良好，標(biāo)志標(biāo)線清晰.航模飛行高度為100 m，速度為60 km／h，風(fēng)力4級(jí)，風(fēng)向?yàn)闁|北方向.如圖8所示，選取道路起始端兩條行車道分隔線4個(gè)外側(cè)端點(diǎn)A（0，0）、B（3.86，0）、C（0，6.58）、D（3.72，6.57）建立坐標(biāo)系，單位為m.以該坐標(biāo)系下的計(jì)算坐標(biāo)值與道路實(shí)際坐標(biāo)值進(jìn)行比較，如以E（13.56，0）與E′（13.20，-0.04）比較.其中，道路實(shí)際坐標(biāo)為實(shí)地測(cè)量所得.測(cè)量工具為30 m卷尺，精度為0.01 m.

圖8 實(shí)際道路觀測(cè)實(shí)驗(yàn)路段示意

本文一共進(jìn)行了72組試驗(yàn)，結(jié)果如圖9所示.在72組試驗(yàn)數(shù)據(jù)中，X坐標(biāo)最大相對(duì)誤差為5.83%，Y坐標(biāo)最大相對(duì)誤差為9.88%.考慮了系統(tǒng)誤差與操作誤差下的72組試驗(yàn)結(jié)果表明，軟件的準(zhǔn)確率都在90%以上，可以滿足交通工程的實(shí)際應(yīng)用.

圖9 道路標(biāo)線觀測(cè)誤差

4 結(jié) 論

1）在對(duì)無線電遙控固定翼模型飛機(jī)和圖像處理軟件集成的基礎(chǔ)上，構(gòu)建了一個(gè)新的車輛軌跡觀測(cè)系統(tǒng).該系統(tǒng)采用小型飛機(jī)航模取代傳統(tǒng)的直升機(jī)、熱氣球等航拍載體，因而可將系統(tǒng)成本控制在人民幣萬元以內(nèi).同時(shí)，小型飛機(jī)航模采用鋰電池提供動(dòng)力，環(huán)保經(jīng)濟(jì).與現(xiàn)有航空交通觀測(cè)法相比，該觀測(cè)系統(tǒng)操作簡便，成本低廉，可以大范圍長距離觀測(cè)目標(biāo)車輛并提取軌跡信息.

2）實(shí)際道路誤差分析表明，實(shí)驗(yàn)路段最大相對(duì)偏差小于10%，系統(tǒng)可靠，能夠滿足交通工程領(lǐng)域研究需求，具有廣闊的應(yīng)用前景.

［1］張淑芹.航空攝影測(cè)量在公路交通調(diào)查中的應(yīng)用［J］.中南公路工程，1999，24（2）:62-64.

［2］HOOGENDOORNSP，VANZUYLENHJ，SCHREUDERM，etal.Microscopictrafficdata collectionbyremotesensing［J］.Transportation Research Record，2003，1855:121-128.

［3］KNOOP V L，HOOGENDOORN S P，VAN ZUYLEN H J.Processing traffic data collected by remote sensing［J］.Transportation Research Record，2009，2129:55-61.

［4］郭旦懷，崔偉宏.面向?qū)崟r(shí)交通信息提取的車輛軌跡數(shù)據(jù)挖掘［J］.武漢理工大學(xué)學(xué)報(bào):交通科學(xué)與工程版，2010，34（1）:6-9.

［5］李明之，馬志強(qiáng)，單勇，等.基于軌跡分析的交通目標(biāo)異常行為識(shí)別［J］.電視技術(shù)，2012，36（1）:106-112.

［6］黃衛(wèi)，陳里德.智能運(yùn)輸系統(tǒng)（ITS）概述［M］.北京:人民交通出版社，2001.

［7］DUCARD G J J.Practical methods for small unmanned aerial vehicles［M］.Berlin:Springer-Verlag，2010.

［8］李仁達(dá).模型飛機(jī)的構(gòu)造原理與制作工藝［M］.北京:航空工業(yè)出版社，2008.

［9］劉佳音，王忠立，賈云得.一種雙目立體視覺系統(tǒng)的誤差分析方法［J］.光學(xué)技術(shù)，2003，29（3）:354-357.

［10］BRADSKI G，KAEHLER A.Learning OpenCV［M］. Sebastopol:O’Reilly Media，2008.

［11］ZHANG Z Y.A flexible new technique for camera calibration［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）:1330-1334.

（編輯 魏希柱）

Vehicle trajectory extraction based on traffic videotaping from model aircraft

WANG Hao1，2，ZHENG Yunzhuang1，DUAN Songyao1，DONG Changyin1，LIU Shanwen1
（1.Jiangsu Key Laboratory of Urban ITS，Southeast University，210096 Nanjing，China；2.Jiangsu Province Collaborative Innovation Center of Modern Urban Traffic Technologies，210096 Nanjing，China）

To overcome the scope limitation of video observation from fixed platforms，a new method of detecting vehicular trajectory from the traffic flow video provided by model aircraft is proposed.First，model aircraft shoots the traffic flow in the air to get the video which is consequently extracted into continuous frames. Second，by using the pinhole camera model and the algorithm of space coordinate transformation，the coordinates of vehicles from the continuous frames are obtained to form the spatial temporal trajectory of vehicles.Finally，three kinds of bias of the proposed method are analyzed.The results show that the relative bias in the standard checkerboard testing is less than 5%，and the accuracy of the data collected by the system under the real road is greater than 90%.The proposed approach provides a large scope and low-cost way for traffic observation，which can meet the demand of survey in transportation engineering.

traffic observation；vehicular trajectory；model aircraft；image processing；bias analysis

U491.1

A

0367-6234（2014）06-0105-06

2013-07-16.

國家自然科學(xué)基金資助項(xiàng)目（51008074）.

王 昊（1980—），男，副教授，博士生導(dǎo)師.

王 昊，haowang＠seu.edu.cn.