基于單目視頻的交叉路口場景理解建模方法研究

劉玲

（湖南財(cái)政經(jīng)濟(jì)學(xué)院 信息管理系，湖南 長沙 410205）

基于單目視頻的交叉路口場景理解建模方法研究

劉玲

（湖南財(cái)政經(jīng)濟(jì)學(xué)院 信息管理系，湖南 長沙 410205）

盡管目前的高速公路導(dǎo)航和有標(biāo)識(shí)的簡單路口的無人駕駛已經(jīng)做得很好，但僅通過少量先驗(yàn)知識(shí)和單目視頻圖像來理解城市中心地帶復(fù)雜的交叉路口，仍是頗具挑戰(zhàn)性的難題.本文主要介紹了一種先進(jìn)的基于車載單目視頻的交叉路口場景理解模型，該模型主要包括道路的幾何模型和推理的概率模型，其概率模型是利用單目圖像序列中的車輛軌跡特征、消隱點(diǎn)特征和語義場景標(biāo)簽特征來聯(lián)合估計(jì)交叉路口的道路布局和車輛位置.最后針對(duì)該模型從幾何模型的受限處和概率模型依據(jù)的特征線索兩方面提出了改進(jìn)思路.

交叉路口；場景理解；單目視頻；車輛軌跡片段；消隱點(diǎn)；語義場景標(biāo)簽

可視化三維場景理解是自動(dòng)駕駛、機(jī)器人導(dǎo)航等計(jì)算機(jī)視覺應(yīng)用的重要組成部分，可視化三維道路場景理解中常用的基于GPS和航拍地圖的車輛定位[1]和道路識(shí)別技術(shù)[2]已得到廣泛和深入的研究，成功應(yīng)用到了高速公路導(dǎo)航和有標(biāo)識(shí)的簡單路口的無人駕駛領(lǐng)域，但僅通過少量先驗(yàn)知識(shí)和單目視頻圖像來理解城市中心地帶復(fù)雜的交叉路口，在技術(shù)上無疑是頗具挑戰(zhàn)性的難題，同時(shí)在應(yīng)用上也有很強(qiáng)的研究價(jià)值.因?yàn)槿祟惐旧硗耆梢圆唤柚饬Γ℅PS、紅外線、雷達(dá)、激光、地圖等），僅憑視覺分析做出對(duì)交通場景的理解，可能在某些特殊情況下（例如惡劣的天氣、嚴(yán)重的遮擋）理解不正確，但都是能給出一個(gè)理解結(jié)果，并且現(xiàn)實(shí)生活中我們常常會(huì)遇到GPS信息缺失或是錯(cuò)誤，地圖過時(shí)等狀況，這時(shí)只能依靠視覺判斷，所以僅基于單目視頻的交叉路口場景理解是極具攻克價(jià)值的技術(shù)難題.

目前國內(nèi)外交通道路場景理解的研究大都是簡單地平面估計(jì)（例如機(jī)場、高速公路）或是目標(biāo)和場景的分開建模（例如固定點(diǎn)的監(jiān)控），并且關(guān)于道路的理解大都是基于道路邊界線和車道線的檢測，簡稱線檢測法.現(xiàn)在直面復(fù)雜的城市交通路口場景，首先要明確不能用線檢測法估計(jì)道路布局，因?yàn)檐嚨谰€經(jīng)常會(huì)因?yàn)閾p壞或是遮擋而檢測不到，邊界線也會(huì)因?yàn)檐囕v、行人和公共設(shè)施帶來的遮擋，以及各種陰影和行人帶來的雜亂信息而難于檢測.其次要明確城市交通路口場景理解的范圍，應(yīng)該包括理解道路布局、車輛位置和行駛方向、交通信號(hào)燈、交通標(biāo)志、過馬路的行人等要素.到目前為止還沒有人在一個(gè)模型里把所有要素都考慮在內(nèi)，相對(duì)來說Andreas Geiger的團(tuán)隊(duì)在這方面做得比較深入和全面.

本文介紹Andreas Geiger等人提出的一種交通道路場景理解方法，即對(duì)場景和目標(biāo)進(jìn)行聯(lián)合建模，同時(shí)理解道路布局和車輛狀態(tài)（位置、朝向）[3][4].為了模擬人類純粹的視覺理解能力，沒有使用GPS、激光、雷達(dá)或是地圖等額外信息，僅獲取并分析行駛車輛頂上的單目攝像機(jī)錄下的視頻圖像，得到從車輛軌跡片段獲取的動(dòng)態(tài)信息和從語義標(biāo)簽、滅點(diǎn)獲取的靜態(tài)信息，通過概率模型推理估計(jì)出如圖1所示的場景.可見該模型既可以估計(jì)場景中道路的拓?fù)浣Y(jié)構(gòu)和幾何結(jié)構(gòu)，也可以估計(jì)場景中車輛的位置（同一顏色的車輛代表在時(shí)間上連續(xù)行駛的同一輛車）和運(yùn)動(dòng)軌跡（紅色的線）.并且該模型考慮了車輛行駛和停泊兩種情況，使得估計(jì)結(jié)果更為準(zhǔn)確實(shí)用.

圖1 估計(jì)的交通場景三維效果圖

下面依次介紹該模型的幾何模型、概率模型和推理方法，最后針對(duì)該模型從幾何模型的受限處和概率模型依據(jù)的特征線索兩方面提出了改進(jìn)思路.

1 幾何模型

Andreas Geiger提出的幾何模型如圖2（b）所示，首先設(shè)定了7種道路的拓?fù)浣Y(jié)構(gòu)，然后用以下5個(gè)參數(shù)來描述交叉路口的道路布局：

（1）拓?fù)渥兞縦={1，…，7}，分別表示直路、單向轉(zhuǎn)彎路口、三叉路口和十字路口；

（2）路口中心位置c=（x，z）T∈?2；

（3）道路寬度w∈?+；

即道路布局變量R={k,c,w,r,α}，注意，當(dāng)k=1時(shí)就不存在α.

圖2 道路拓?fù)浣Y(jié)構(gòu)和幾何模型

該幾何模型是一個(gè)受限的簡單模型，主要有四個(gè)限制：

（1）設(shè)定所有道路的寬度相同，即w是常量.這是因?yàn)锳ndreas Geiger認(rèn)為單目圖像的深度測量具有很大的干擾，對(duì)觀測到的車道很難準(zhǔn)確估計(jì)道路寬度，并且由于相機(jī)的低視點(diǎn)，對(duì)面車道常常不能被觀測到.

（2）每條分叉路只有方向相反的兩個(gè)車道.如果有多個(gè)車道，就將道路寬度值調(diào)大，同向的多個(gè)車道理解為一個(gè)車道.

（3）路口上改變方向的兩條分叉路被強(qiáng)制為共線，即路口上相對(duì)（偏差不大，無左拐右拐交通指示燈）的兩條車道視為共線.

（4）如圖3所示，用二次B樣條曲線模擬車道的中心行駛線，每條道路兩旁是停車區(qū)，無論是樣條曲線上的樣條點(diǎn)距離，還是停車區(qū)的車位點(diǎn)距離，等間隔都設(shè)置為1米.

圖3 用B樣條曲線表示的車道和停車區(qū)

2 概率模型

對(duì)交叉路口場景的理解就是通過推理得到路口道路的近似布局、道路上行駛車輛的近似定位、道路兩旁停車區(qū)的近似定位、交通信號(hào)燈的含義，等等.推理需要證據(jù)，證據(jù)來源于對(duì)數(shù)字圖像特征的提取和分析，例如，交通信號(hào)燈的理解可以是先對(duì)圖像進(jìn)行顯著性分析找到信號(hào)燈的位置，進(jìn)而判斷顏色特征來理解信號(hào)燈的指示含義.Andreas Geiger等人提取了車輛軌跡、消隱點(diǎn)和語義場景標(biāo)簽三類特征作為推理證據(jù)，用ε={T,V,s}表示，其中：T={t1,…,tN}表示車輛軌跡片段集合，用來推理車道、停車區(qū)和車輛的位置；V={vf,vc}表示道路縱向和橫向兩個(gè)消隱點(diǎn)，用來推理道路的方向；S表示道路、天空、背景三類語義場景標(biāo)簽，用來推理道路和城市其他場景的區(qū)域劃分.

假設(shè)所有觀測的特征數(shù)據(jù)是彼此獨(dú)立的，則ε和R的聯(lián)合概率分布用如下分解式表示：

其中C是已知的相機(jī)參數(shù)（內(nèi)部參數(shù)和外部參數(shù)），N是軌跡片段的數(shù)量，{ln}是一組隱藏變量，代表與每一個(gè)車輛軌跡片段相關(guān)的車道或是車位.

2.1 場景先驗(yàn)

場景先驗(yàn)概率p(R)=p(k)p(c,w)p(r)p(α)，其中：對(duì)k取分類分布，7類拓?fù)涓怕手蜑?；對(duì)r取正態(tài)分布；使用非參數(shù)檢驗(yàn)的核密度估計(jì)KDE來計(jì)算p(α)；使用聯(lián)合估計(jì)來獲得c和w的相關(guān)性，因?yàn)閣>0，所以對(duì)w取對(duì)數(shù)正態(tài)分布.定義如下：

2.2 車輛軌跡片段

T是一組車輛軌跡片段t的集合，t是轉(zhuǎn)換到俯瞰視角下的一個(gè)目標(biāo)（車輛）在時(shí)間上連續(xù)的一組目標(biāo)檢測，用t={d1,…,dM}表示.每一個(gè)目標(biāo)檢測dm= (fm,bm,om)，其中fm∈￥是目標(biāo)所在圖像的幀序號(hào)，bm∈?4是目標(biāo)包圍盒（長寬值和一個(gè)地面接觸點(diǎn)位置），om∈?8是歸一化為8個(gè)直條的方向直方圖.提取該車輛軌跡特征采用的方法是先使用有監(jiān)督訓(xùn)練方法“基于部分的對(duì)象檢測器”[3]來計(jì)算bm和om，再使用softmax函數(shù)計(jì)算輸出分?jǐn)?shù)，最后使用匈牙利算法連接相關(guān)軌跡.

如圖2所示，樣條曲線表示可行駛的路線，該曲線在交叉路口分向不同方向；路邊的點(diǎn)表示停車位.因此，對(duì)于K叉路口，l∈{1,…,K(K-1)+2K}，其中隱含變量l是與一個(gè)軌跡片段（a tracklet）對(duì)應(yīng)的車道或停車位置的標(biāo)識(shí)，K(K-1)是車道數(shù)量，2K是停車區(qū)數(shù)量.軌跡片段t和車道標(biāo)識(shí)l的聯(lián)合概率是p(t,l|R,C)=p(t|l,R,C)p(l)，假設(shè)l服從區(qū)間(1,K(K-1) +2K)上的均勻分布，并且用pl表示l標(biāo)識(shí)車道的后驗(yàn)概率，pp表示l標(biāo)識(shí)車位的后驗(yàn)概率.

為了估計(jì)對(duì)應(yīng)車道的t的后驗(yàn)概率pl(t|l,R,C)，需將t的所有目標(biāo)檢測{d1,…dM}關(guān)聯(lián)到樣條曲線上的點(diǎn)位置.為此，在模型中為每個(gè)目標(biāo)檢測d增加了一個(gè)隱含變量s，即可用隱含馬爾科夫模型（HMM）構(gòu)建此后驗(yàn)概率，定義t關(guān)于{s1,…,sM}的邊緣概率如下：

其中轉(zhuǎn)移概率p(sm|sm-1)在sm≥sm-1時(shí)為常數(shù)（即服從均勻分布），其他情況下為0，即只考慮車輛軌跡片段前行的情況；沒有先驗(yàn)的位置信息，所以設(shè)pl(s1)為常數(shù)；發(fā)射概率（或稱生成概率）pl(dm|sm,l,R,C)因式分解到目標(biāo)位置和目標(biāo)方向上；目標(biāo)方向pl(fm, om|sm,l,R,C)服從多項(xiàng)式分布（每個(gè)目標(biāo)方向根據(jù)目標(biāo)檢測器的不確定性為方向直方圖中其對(duì)應(yīng)的方向直條和相鄰直條投票）；pl(fm,om|sm,l,R,C)服從帶統(tǒng)一離群概率cl的高斯分布，即pl(fm,om|sm,l,R,C)∝cl+N(πm|μm,∑m)，其中πm=πm(fm,bm,C)∈R2表示映射到鳥眼視角的目標(biāo)檢測，μm=μm(sm,l,R)∈R2是車道l對(duì)應(yīng)的樣條曲線上的點(diǎn)sm的坐標(biāo)，∑m=∑m(fm,bm,C)∈R2×2是鳥眼坐標(biāo)系下目標(biāo)位置的協(xié)方差.

2.3 消隱點(diǎn)

檢測每段視頻最后一幀圖像的兩類消隱點(diǎn)：車輛所在車道的前方消隱點(diǎn)vf和在與所在車道交叉的車道上橫向延伸的消隱點(diǎn)vc.用方向描述消隱點(diǎn)，其意義和取值與道路布局變量R中的旋轉(zhuǎn)角參數(shù)r相同，其意義和取值與道路布局變量R中的分叉偏差角參數(shù)α相同.令v∈{vf,vc}，假設(shè)v與道路布局變量R是彼此獨(dú)立的，定義p(v|R,C)∝ζv+(1-ζv)exp(-λv?v(v,R,C))，其中ζv是離群概率，根據(jù)經(jīng)驗(yàn)設(shè)為固定常量；exp (-λv?v(v,R,C)是用第一類0階貝塞爾函數(shù)歸一化的馮.米塞斯分布（循環(huán)正態(tài)分布）；λv是控制該項(xiàng)重要性的權(quán)重參數(shù)，其值是在通過學(xué)習(xí)階段得到的；方向的錯(cuò)誤分布?v(v,R,C)=1-cos(2v-2φv(R))，φv(R)是最近街道的朝向.

2.4 場景語義標(biāo)簽

將每段視頻最后一幀圖像逐像素塊分割成三個(gè)語義類：道路、天空和背景.像素塊的尺度大小有三種：16×16，32×32和64×64，使用多尺度特征將建筑物與道路區(qū)分開來，使用結(jié)合Walsh-Hadamard濾波器的boosting算法為每個(gè)像素塊歸于三類語義的可能性打分.給定表示類i在圖像位置(u,v)處的分?jǐn)?shù)，定義一幅圖像的語義分類的概率為其中λs是控制場景語義標(biāo)簽這一特征線索在交通場景理解的整個(gè)概率模型中的重要性的權(quán)重參數(shù)，是將幾何模型投影到圖像上的類i的像素集.

3 推理

處理圖像得到三類圖像特征后，利用上述概率模型推理出道路布局R和道路上的車輛位置B= {(l,s)}，即，同前所述l表示車道，s={s1,…,sM}表示車道樣條曲線上的點(diǎn)集，對(duì)應(yīng)離散的車輛檢測位置.推理過程分為兩步，下面為了簡化公式都省掉了C.

因?yàn)橛^測序列t可看作是隱含馬爾科夫模型的輸出序列，隱含序列s可看作是隱含馬爾科夫模型的狀態(tài)序列，所以可用維特比算法輕松求出最可能產(chǎn)生t的s.

4 分析可改進(jìn)之處

除了Geiger本人認(rèn)為的要加入對(duì)交通標(biāo)志、交通信號(hào)燈和行人的理解外，就現(xiàn)有的道路布局和車輛位置理解，筆者認(rèn)為還可從幾何模型的受限處和概率模型依據(jù)的特征線索兩大方面著手進(jìn)行模型的改進(jìn).

（1）幾何模型的改進(jìn)

鑒于技術(shù)難度、運(yùn)行效率等因素，Geiger最初設(shè)計(jì)了幾何模型的道路等寬、分叉共線等限制，后來對(duì)德國Karlsruher市內(nèi)隨機(jī)選擇的113個(gè)不同交叉路口的實(shí)驗(yàn)結(jié)果顯示估計(jì)路況與真實(shí)路況的平均重疊率高達(dá)86.9%，因而認(rèn)為該受限幾何模型具有較強(qiáng)的表達(dá)能力和通用性.但仔細(xì)觀察Geiger實(shí)驗(yàn)所示的113個(gè)真實(shí)路況，會(huì)發(fā)現(xiàn)模型對(duì)于不規(guī)整的十字路口和三叉路口的估計(jì)偏差還是很大的，主要原因就是道路等寬和分叉共線這兩個(gè)限制.既然目前由于技術(shù)難度，難以估計(jì)真實(shí)的路寬，考慮運(yùn)行效率，道路布局R只有5個(gè)參數(shù)，那么就可以進(jìn)行定性估計(jì)，因?yàn)榇笮『头较蜻€是能區(qū)分出來，根據(jù)經(jīng)驗(yàn)給定一個(gè)差值，這樣難度并沒有增加，但重疊率必然會(huì)提高.

（2）概率模型的改進(jìn)

目前的概率模型只用到了三種圖像特征，并且道路消隱點(diǎn)檢測和圖像語義分割在車流量大的時(shí)刻和周圍建筑物多、綠化帶多的地點(diǎn)是很難起到作用的，所以車輛軌跡檢測是最重要的特征線索，根據(jù)車輛的行駛路線估計(jì)道路布局是合情合理的.那么從車輛運(yùn)動(dòng)入手，還可以加入光流（Optical Flow）特征，甚至是場景流（Scene Flow）特征.另外，由于遮擋、雜亂信息等原因?qū)е虏环奖阒苯訖z測道路，那么可以考慮反其道行之，檢測道路兩旁的建筑物和綠化帶等基礎(chǔ)設(shè)施的位置，這樣圖像下面的部分就可以理解為是道路（上面是天空），于是就可以利用柵格（Occupancy Grid）特征.具體的概率模型還有待于進(jìn)一步研究.

5 結(jié)語

隨著計(jì)算機(jī)視覺的發(fā)展，無人駕駛技術(shù)將走入尋常百姓的私家車內(nèi)，Andreas Geiger等人是這方面領(lǐng)域研究的先驅(qū).我們認(rèn)為，在當(dāng)今航拍地圖定期更新且獲取方便的情況下，建構(gòu)基于航拍地圖（例如Google Earth）的全局道路模型加上基于車載視頻的局部道路模型是今后道路建模的發(fā)展方向，所以Andreas Geiger等人的研究成果非常值得我們學(xué)習(xí)和借鑒.

〔1〕M.A.Brubaker,A.Geiger,and R.Urtasun. Lost!leveraging the crowd for probabilistic visual self-localization.In Proc.IEEE Conf.on Computer Vision and Pattern Recognition (CVPR),2013.

〔2〕Jan D.Wegner,Javier A.Montoya-Zegarra, Konrad Schindler.Ahigher-order CRF model for road network extraction.In Proc.IEEE Conf.on Computer Vision and Pattern Recognition(CVPR),2013.

〔3〕A.Geiger,C.Wojek,and R.Urtasun.Joint 3d estimation of objects and scene layout.In Advances in Neural Information Processing Systems(N IPS),2011.

〔4〕A.Geiger,M.Lauer,and R.Urtasun.A generative model for 3d urban scene understanding from movable platforms.In Proc. IEEE Conf.on Computer Vision and Pattern Recognition(CVPR),2011.

〔5〕P.Felzenszwalb,R.Girshick,D.McAllester, and D.Ramanan.Object detection w ith discrim inatively trained part based models.IEEE Trans.on Pattern Analysis and Machine Intelligence(PAM I),32:1627–1645,2010.

TP391

A

1673-260X（2014）10-0055-04