城市道路及高速公路場景標(biāo)定問題研究

田培辰

(長安大學(xué)信息工程學(xué)院，陜西西安 710000)

1.相機(jī)標(biāo)定的相關(guān)理論條件

在對城市道路場景以及高速公路場景下的行人及車輛運(yùn)動(dòng)軌跡和相關(guān)信息進(jìn)行相機(jī)標(biāo)定的過程，指的就是求該場景下監(jiān)控相機(jī)的內(nèi)部參數(shù)和外部參數(shù)的過程。相機(jī)的內(nèi)部參數(shù)主要是指相機(jī)焦點(diǎn)的畸變位置記憶相機(jī)的主點(diǎn)位置，外部參數(shù)指的是相機(jī)在世界坐標(biāo)系中所構(gòu)建的矩陣以及平移產(chǎn)生的向量及之間的關(guān)系。城市道路場景以及高速公路場景下的監(jiān)控相機(jī)的內(nèi)外參數(shù)能夠構(gòu)成道路上的物體運(yùn)動(dòng)平面圖像，并能由此結(jié)合相關(guān)算法形成立體空間，這二者之間的集合映射關(guān)系就是由監(jiān)控相機(jī)的內(nèi)部參數(shù)、外部參數(shù)構(gòu)成的。

1.1 投影幾何

在相機(jī)標(biāo)定和分析各種坐標(biāo)系和成像模型的過程中會運(yùn)用到幾何知識，這個(gè)幾何信息并不局限于二維空間，因此需要事先知道何為投影幾何。投影幾何主要指的就是圖像投影研究領(lǐng)域中的一個(gè)旁支部分，投影幾何的有效運(yùn)用能夠?yàn)槌鞘械缆泛透咚俟穲鼍跋碌慕煌ㄐ畔⑹占脱芯?，并為監(jiān)控相機(jī)的成像模型和相機(jī)的自標(biāo)定提供理論基礎(chǔ)。

1.2 消失點(diǎn)相機(jī)標(biāo)定

1.2.1 消失點(diǎn)涵義

根據(jù)相機(jī)的線性成像模型，消失點(diǎn)是立體空間中的平行線通過透視及線與線之間的變換，最后相交并映射在平面上的點(diǎn)。消失點(diǎn)的形成主要是產(chǎn)生于空間內(nèi)，平行線在平面圖像中通過不斷延伸而最終呈現(xiàn)出的一種愈發(fā)不平行且逐漸相交的趨勢。根據(jù)投影幾何的相關(guān)知識可知，在同一立體空間內(nèi)，相互平行的兩條或多條平行線，通過不斷延伸能夠在無窮遠(yuǎn)的地方形成一個(gè)點(diǎn)，這個(gè)點(diǎn)就是消失點(diǎn)，也就是通過相機(jī)的光心和平行直線的光線與像面形成的交點(diǎn)，可以觀察到兩條或多條直徑相同的平行線能夠在平面圖像上呈現(xiàn)相交的趨勢，而非完全平行。在實(shí)際的交通場景中，由于運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)軌跡往往是呈現(xiàn)平行線和垂直線，因此，我們可以直接利用平面圖像中的平行線信息獲取消失點(diǎn)的位置，并對監(jiān)控相機(jī)設(shè)置自標(biāo)定功能。然后，根據(jù)消失點(diǎn)的性質(zhì)，來建立相機(jī)標(biāo)定過程中的內(nèi)外參數(shù)與消失點(diǎn)之間的聯(lián)系。

1.2.2 關(guān)于消失點(diǎn)的標(biāo)定算法

本文通過觀察實(shí)際交通場景中的交通視頻，發(fā)現(xiàn)在實(shí)際交通場景中，車輛和行人本身的運(yùn)動(dòng)軌跡就是大量的平行線信息，因此很容易得到其延伸到最終的消失點(diǎn)。在此基礎(chǔ)上，可以利用所觀測到的道路上的運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)軌跡來提取消失點(diǎn)的相關(guān)信息，從而有效地設(shè)計(jì)相機(jī)自標(biāo)定。劍橋大學(xué)的Roberto Cipolla團(tuán)隊(duì)首次提出了基于消失點(diǎn)的標(biāo)定算法，這一團(tuán)隊(duì)還針對建筑物立體重建設(shè)計(jì)出相關(guān)應(yīng)用程序，并從不同角度拍攝校準(zhǔn)后的圖像，以消失點(diǎn)為出發(fā)點(diǎn)進(jìn)行相機(jī)自標(biāo)定就是其方法之一。這一方法在實(shí)際的應(yīng)用過程中能夠有效地獲取準(zhǔn)確的正交方向消失點(diǎn)的信息，接著計(jì)算出相機(jī)的內(nèi)外參數(shù)進(jìn)行相機(jī)標(biāo)定。這一方法經(jīng)實(shí)踐檢驗(yàn)可知，計(jì)算過程也比較簡單易理解。

2.運(yùn)動(dòng)目標(biāo)的提取及估計(jì)消失點(diǎn)

2.1 提取運(yùn)動(dòng)目標(biāo)

考慮到不同的交通場景有不同的特點(diǎn)，相機(jī)標(biāo)定和計(jì)算要采用不同的方法。城市道路場景中的機(jī)動(dòng)車輛及行人行走的信息較為明確，且城市道路一般都是呈直線狀態(tài)的；而高速公路場景中基本沒有行人移動(dòng)的信息，且高速公路有很多都是蜿蜒的。因此，在城市道路場景下和在高速公路場景下，應(yīng)分別使用城市道路中運(yùn)動(dòng)著的車輛和行人相關(guān)軌跡信息以及與高速公路上運(yùn)動(dòng)著的車輛本身相關(guān)的線性信息，并根據(jù)這兩種不同的交通場景的運(yùn)動(dòng)目標(biāo)以及交通場景的運(yùn)行特點(diǎn)采取不同的計(jì)算方法來完成相機(jī)自標(biāo)定。

2.1.1 城市道路下的提取

城市交通場景中的運(yùn)動(dòng)目標(biāo)包括運(yùn)動(dòng)的車輛以及行人。這些運(yùn)動(dòng)目標(biāo)都在同一個(gè)平面上運(yùn)動(dòng)，運(yùn)行的機(jī)動(dòng)車輛往往也是沿著規(guī)定車道行駛，且車道為一個(gè)或多個(gè)直線或接近直線的路段。運(yùn)行著的機(jī)動(dòng)車輛的圖像投影也是沿著車道方向不斷延伸，這些線段所對應(yīng)的往往是對稱軸方向或垂直方向，且運(yùn)動(dòng)著的行人的身體基本上都是垂直于地面的。通過觀察這些城市道路場景中的屬性能夠發(fā)現(xiàn)，城市道路場景下，我們可以利用車輛運(yùn)動(dòng)、行人運(yùn)動(dòng)等相關(guān)屬性來估計(jì)三個(gè)正交方向上的線方程組，并通過估計(jì)行人的運(yùn)動(dòng)主軸方向和運(yùn)動(dòng)著的機(jī)動(dòng)車輛的延伸方向來提取線方程。

2.1.2 高速公路下的提取

相對于城市道路場景下的監(jiān)控相機(jī)，在獲取車輛自身直線信息時(shí)，在高速公路場景下獲取的信息往往不夠清晰，并且高速公路道路并非完全筆直。因此，在這種場景下，利用HOG 梯度方向的統(tǒng)計(jì)直方圖直接提取高速公路上行駛的車輛的直線是不可能的。本文采用沿道路方向的直線方程和沿水平方向的直線方程進(jìn)行提取。

2.2 估計(jì)消失點(diǎn)

2.2.1 霍夫變換

針對傳統(tǒng)霍夫變換檢測消失點(diǎn)效率較低的問題，本文提出利用級聯(lián)霍夫變換方法提取消失點(diǎn)，將兩種場景中提取到的直線段變換到平行坐標(biāo)系中，經(jīng)過不斷累積獲得消失點(diǎn)，在該空間下能夠更直觀和準(zhǔn)確地檢測出消失點(diǎn)的位置，也包括趨于無窮遠(yuǎn)的消失點(diǎn)。

傳統(tǒng)的霍夫變換方法是一種窮舉算法，效率相對較低且不穩(wěn)定。當(dāng)同時(shí)存在多條直線時(shí)就相對而言不容易找到每條平行線的消失點(diǎn)。因此，采用級聯(lián)霍夫變換的方法來表示和檢測計(jì)算數(shù)值更為有效。級聯(lián)霍夫變換法不僅能有效地變換無限的原始圖像空間，還能使其在菱形空間內(nèi)進(jìn)行計(jì)算。

根據(jù)霍夫變換的這一性質(zhì)，將每一點(diǎn)變換為立體空間下的直線。當(dāng)所有的點(diǎn)都被變換成直線后，就會在空間內(nèi)通過延伸而最終相交并重疊，可以形成一個(gè)局部極大值點(diǎn)，這個(gè)極大值點(diǎn)就是對應(yīng)圖像中的直線，也就是我們即將要提取的直線。采用傳統(tǒng)的霍夫變換方法來檢測消失點(diǎn)時(shí)會存在一定的局限性，因此，通過利用級聯(lián)的霍夫變換算法，引入平行坐標(biāo)系，將無限延伸的圖像空間轉(zhuǎn)換到菱形空間內(nèi)，以實(shí)現(xiàn)線到線的變換

2.2.2 級聯(lián)霍夫變換

通過用平行坐標(biāo)系的方式建立三維坐標(biāo)來解決消失點(diǎn)的問題，能夠?qū)⑷S及以上數(shù)據(jù)的分量用平行坐標(biāo)軸表示。在三維坐標(biāo)系中，不同等距的平行軸能夠代表不同的維度，坐標(biāo)值的點(diǎn)也能夠代表其投影在坐標(biāo)系上的反映。根據(jù)上述變換過程，可以將采集到的城市道路和高速公路場景的線性信息以線性變換的方式變換到菱形空間來估計(jì)消失點(diǎn)，并使用傳統(tǒng)的霍夫變換算法對菱形空間中的線方程進(jìn)行動(dòng)態(tài)累積投票。最后得出菱形空間內(nèi)的最大值也就是消失點(diǎn)最終的位置。與其他估計(jì)方法相比，該方法無需重復(fù)計(jì)算即可動(dòng)態(tài)估計(jì)出消失點(diǎn)的具體位置，檢測的實(shí)時(shí)性很高。

3.交通場景中利用消失點(diǎn)進(jìn)行自標(biāo)定測量

在具體的交通場景中，可以使用單目、固定式或非旋轉(zhuǎn)式相機(jī)進(jìn)行消失點(diǎn)的自標(biāo)定測量，可以在交通場景中以俯視拍攝的方式進(jìn)行拍攝。并在城市道路和高速公路中分別基于三個(gè)不同維度的消失點(diǎn)來進(jìn)行計(jì)算。

3.1 城市道路自標(biāo)定

首先，要進(jìn)行目標(biāo)檢測。城市道路交通場景視頻輸出后，利用改進(jìn)的高斯混合模型算法提取城市道路交通場景中的運(yùn)動(dòng)目標(biāo)并對其進(jìn)行區(qū)域標(biāo)記。接著根據(jù)分類規(guī)則對城市道路交通場景中的非機(jī)動(dòng)車進(jìn)行具體分類，從而獲得機(jī)動(dòng)車和行人的運(yùn)動(dòng)信息以完成檢測；利用HOG 直方圖算法提取城市道路交通場景中的運(yùn)動(dòng)車輛，以有效統(tǒng)計(jì)機(jī)動(dòng)車輛的像素及信息，得到車輛的行駛方向和與之垂直的線方程組。行駛方向和垂直方向的線方程組分別設(shè)為集合X 和集合Y，行人運(yùn)動(dòng)的軌跡為集合Z；根據(jù)級聯(lián)霍夫變換，將三組集合方程在菱形空間中求出三個(gè)消失點(diǎn)的位置。利用這三個(gè)消失點(diǎn)得到內(nèi)參數(shù)矩形陣列中的未知變量和主點(diǎn)，結(jié)合已知的相機(jī)高度得到平行向量的解。

3.2 高速公路自標(biāo)定

在高速公路場景中，利用集合X、Y、Z 進(jìn)行相機(jī)自標(biāo)定實(shí)驗(yàn)。首先是檢測目標(biāo)。通常高速公路中運(yùn)行的往往是機(jī)動(dòng)車輛，所以一般不用檢測行人運(yùn)動(dòng)。接著利用KLT 算法追蹤車輛的焦點(diǎn)，這樣就可以從高速公路上行駛的車輛軌跡直線上獲得準(zhǔn)確的數(shù)據(jù)。篩選后再根據(jù)LSD 檢測法，得到水平方向行駛的機(jī)動(dòng)車直線方程，篩選設(shè)置為集合A，而垂直方向線方程，篩選設(shè)置為集合B；接著將集合A、B 分別投票，進(jìn)而得到這兩個(gè)方向上的消失點(diǎn)。最后，假設(shè)圖像中間的是主點(diǎn)，再據(jù)此進(jìn)一步計(jì)算焦距，得到第三個(gè)消失點(diǎn)。利用獲得的三個(gè)消失點(diǎn)，獲得內(nèi)部參數(shù)矩形陣列中的未知變量和主點(diǎn)。最后結(jié)合已知的相機(jī)高度，得到平移向量T 的解。

4.結(jié)語

特定場景下的交通交通健康視頻能夠采集到許多有用的信息，合理利用該信息能夠?yàn)榻煌ㄒ?guī)劃提供重要數(shù)據(jù)以參考。相機(jī)標(biāo)定是交通系統(tǒng)智能化的關(guān)鍵部分，但傳統(tǒng)相機(jī)存在標(biāo)定復(fù)雜、不可控因素多等問題。因此，基于不同維度的消失點(diǎn)的相機(jī)標(biāo)定方法被廣泛應(yīng)用。城市道路和高速公路場景中有行駛著的機(jī)動(dòng)車輛和行人等大量的運(yùn)動(dòng)信息，利用相機(jī)自標(biāo)定的方式針對不同的運(yùn)動(dòng)目標(biāo)提取消失點(diǎn)，能夠獲得較為精確的相機(jī)內(nèi)外參數(shù)。此外，通過對具體場景不同高度的拍攝和監(jiān)控，也可驗(yàn)證相機(jī)高度對內(nèi)外參數(shù)的影響較小。