基于吉林一號視頻衛(wèi)星影像的實時車輛跟蹤方法研究

朱澤堯 胡慶武 王 玥 艾明耀

(武漢大學(xué)遙感信息工程學(xué)院 武漢 430000)

0 引 言

智能交通系統(tǒng)(ITS)是一個可以準(zhǔn)時、準(zhǔn)確、高效運行的交通運輸管理體系[1-2]，其中交通流實時監(jiān)控是ITS的關(guān)鍵.利用固定在道路上的地磁線圈、攝像機(jī)等傳感器計算通過傳感器監(jiān)視范圍的車輛信息可進(jìn)行道路斷面車輛檢測[3-4].但傳感器使用和維護(hù)成本高昂，受制于傳感器的斷面單點檢測[5]的空間覆蓋有限，很難滿足城市級別的交通流監(jiān)控.近年來，越來越多的商業(yè)對地觀測視頻衛(wèi)星在軌運行，包括美國SkySat-1,2、中國吉林1號視頻衛(wèi)星等.與傳統(tǒng)地球觀測衛(wèi)星和地面車輛監(jiān)控視頻相比，視頻衛(wèi)星能夠?qū)χ付▍^(qū)域的大范圍“凝視”觀測，可實現(xiàn)對觀測場景的大范圍動態(tài)監(jiān)測，從而可以以高空間、高時間分辨率實時檢測交通狀況[6]，在廣域監(jiān)測領(lǐng)域具有巨大的潛力和優(yōu)勢，已經(jīng)成為一種新型智能交通管理手段.

基于交通監(jiān)控視頻檢測車輛運動法包括背景差分法、幀間差法和光流法.王永超[7]利用自適應(yīng)閾值方法，結(jié)合顏色和邊緣信息針對場景光照變化和靜止物體改變運動狀態(tài)等情形，對背景差分法進(jìn)行改進(jìn).何烈云[8]在幀差法進(jìn)行車輛檢測的基礎(chǔ)上，運用視頻處理技術(shù).天基虛擬參照物，提高車速測算精度.曾黃麟[9]將幀差法和光流法融合，用幀差法檢測運動區(qū)域，再利用差分影像的光流場進(jìn)行運動車輛跟蹤.劉國英[10]提出了一種二次幀差背景建模方法，利用連續(xù)幀差檢測靜態(tài)像素點，利用這些像素點構(gòu)建背景，最后基于動態(tài)特征對車輛進(jìn)行追蹤.韓建峰[11]將灌流法與分水嶺算法相結(jié)合，對前景產(chǎn)生的車輛粘連情況采用改進(jìn)分水嶺算法完成分割.Davis[12]根據(jù)獲取大量車輛和周圍環(huán)境的顏色、坡度和結(jié)構(gòu)特性建立一個特征集，通過部分最小二乘分析對高維特征空間進(jìn)行降維，并根據(jù)多級多分辨率策略加速建立特征集.Baligar[13]完全基于車輛的顏色特征進(jìn)行檢測.Beyerer[14]借助Faster R-CNN深度學(xué)習(xí)框架挖掘車輛的非語義特征.以上車輛運動檢測方法通常使用基于特征方法對視頻上中等尺寸車輛進(jìn)行識別，但受到空間分辨率限制，衛(wèi)星視頻影像上的車輛一般只占幾個到幾十個像元，并且車輛和背景道路之間的對比度較低，使得基于地面高清視頻車輛檢測算法無法適用于視頻衛(wèi)星影像車輛檢測.

視覺背景提取算法(visual background extraction，ViBe)是由Droogenbroeck[15]提出的一種像素級視頻背景建?；蚯熬皺z測算法，具有較好的魯棒性和較高的檢測效率.它在不同環(huán)境下表現(xiàn)出良好的適應(yīng)性和實時性.本文提出了一種基于吉林一號視頻衛(wèi)星影像和ViBe算法的實時車輛跟蹤方法，通過對吉林一號視頻星的原始視頻數(shù)據(jù)進(jìn)行預(yù)處理，得到適用于車輛檢測的影像幀序列，使用ViBe算法進(jìn)行運動車輛檢測，在道路約束下提取車輛位置、輪廓等信息.在此基礎(chǔ)上利用車輛的形狀和運動混合特征進(jìn)行車輛跟蹤，獲取車輛的運動軌跡并計算車速交通參數(shù)，實現(xiàn)對城市廣域范圍交通流同步凝視監(jiān)測.

1 方 法

文中提出的視頻衛(wèi)星車輛跟蹤方法針對視頻衛(wèi)星的凝視特征，通過ViBe從視頻衛(wèi)星影像幀中可靠提取車輛，以連續(xù)視頻幀影像進(jìn)行車輛跟蹤和車輛速度計算，進(jìn)而實現(xiàn)對車輛跟蹤監(jiān)控，其算法流程見圖1.

圖1 方法流程

文中提出的視頻衛(wèi)星車輛跟蹤算法主要包括四個步驟：①衛(wèi)星視頻數(shù)據(jù)的預(yù)處理；②基于ViBe算法的衛(wèi)星視頻車輛檢測；③視頻影像上檢測車輛跟蹤；④車輛速度計算.通過預(yù)處理，分離道路信息，利用ViBe算法對運動車輛進(jìn)行檢測.在得到檢測結(jié)果后，提出了一種序貫車輛跟蹤算法，實現(xiàn)對車速計算，通過實際視頻衛(wèi)星數(shù)據(jù)驗證了本文方法的可行性和有效性.

1.1 視頻衛(wèi)星數(shù)據(jù)預(yù)處理

針對視頻衛(wèi)星數(shù)據(jù)特質(zhì)，對原始視頻衛(wèi)星數(shù)據(jù)預(yù)處理步驟如下.

步驟1視頻衛(wèi)星抽幀 抽幀需要綜合考慮視頻衛(wèi)星影像分辨率和車輛平均速度，吉林一號視頻衛(wèi)星影像分辨率為0.8 m，對車輛在衛(wèi)星圖像上估算運動速度為3～12像素/s，本文以0.5 s時間間隔提取幀影像.

步驟2車輛檢測ROI區(qū)域設(shè)定 為了降低錯檢率并提高處理效率，以道路矢量圖層設(shè)定一定緩沖區(qū)建立視頻衛(wèi)星車輛檢測ROI區(qū)域，見圖2.

圖2 車輛檢測ROI區(qū)域

步驟3隨機(jī)噪聲濾波 衛(wèi)星視頻采集和傳輸過程中，不可避免產(chǎn)生噪聲.受限于成像分辨率，車輛在影像上表現(xiàn)為10像素左右，與噪聲大小相近.不加處理時，隨機(jī)噪聲容易造成虛假運動信息.本文采用高斯濾波去除隨機(jī)噪聲，卷積模板為3×3.

1.2 改進(jìn)的ViBe運動車輛檢測

從視頻衛(wèi)星影像上運動車輛檢測的ViBe算法步驟如下.

步驟1背景模型的建立 ViBe算法一個重要特點是采用單證影像進(jìn)行模型初始化，對每一個像素x建立一個樣本集M′(x)={V1,…,Vn}作為背景模型，背景模型的初始化過程就是對像素的樣本集進(jìn)行填充，為

M′(x)={V′(y|y∈N(x))}

(1)

式(1)為時刻t像素x的背景模型；N(x)為x的鄰域.

步驟2前后景劃分 記SR(x)為像素x在色彩空間中以V(x)為圓心的一個半徑為R的圓；計算像素x背景模型中樣本像素和V(x)的歐氏距離，統(tǒng)計背景樣本落在圓內(nèi)的個數(shù)#(SR(V(x)∩{V1,…,VN}))，當(dāng)個數(shù)大于閾值#min時，認(rèn)為當(dāng)前像素屬于背景，否則歸為前景，為

If #(SR(V(x)∩{V1,…,VN}))≥#min

x=background

elsex=foreground

(2)

步驟3前后景劃分形態(tài)學(xué)車輛檢測 運動檢測實質(zhì)是確定影像上的運動區(qū)域，得到前景和后景的二分圖像，通過形態(tài)學(xué)算子進(jìn)行后處理，分離各個運動車輛并得到相應(yīng)位置和形狀信息.本文用最小外接矩形對分離后的運動車輛進(jìn)行框定，以最小外接矩形的中心坐標(biāo)作為車輛的位置坐標(biāo)，最小外接矩形的長寬比和周長作為車輛的形狀信息.車輛Vi的特征為(xVi,yvi,rationVi,areavi)，分別指車輛Vi最小外接矩形中心坐標(biāo)、長寬比和車輛所占面積.

步驟4二次幀間差快速消除鬼影 背景模型初始化時，背景包含運動目標(biāo)，可能會導(dǎo)致前景圖中出現(xiàn)鬼影.ViBe背景更新策略去除鬼影較慢，幀間差法可以快速確定運動區(qū)域.基于此特征，文中對相鄰幀做幀差法得到前景圖，與ViBe算法得到前景圖進(jìn)行與運算，快速消除鬼影區(qū)域.m1為當(dāng)前待處理影像，m0,m2為m1的前一幀和后一幀影像.對m0,m1和m1,m2執(zhí)行幀間差得到前景圖n0,n1,n2為通過ViBe算法得到的前景圖.將幀差法和ViBe算法得到的檢測結(jié)果進(jìn)行與操作，已實現(xiàn)快速去除鬼影區(qū)域.考慮到存在車輛重疊情況且在短時間車輛被視作勻速直線運動，m0,m1和m1,m2的時間間隔不同.

n3=(n0∪n1)∩n2

(3)

1.3 衛(wèi)星視頻車輛跟蹤

車輛檢測結(jié)果中存在錯誤檢測，通過車輛跟蹤獲取車輛運動軌跡，進(jìn)而利用車輛運動信息進(jìn)行二次濾波，提高檢測的正確率.車輛跟蹤的實質(zhì)是對于每一幀檢測得到的車輛和下一幀的檢測結(jié)果進(jìn)行匹配，根據(jù)匹配結(jié)果得到該車輛的運動軌跡.本文提出一種形狀和運動混合特征的車輛跟蹤方法(見圖3)，其基于如下設(shè)定：對于真實的運動車輛，它的運動軌跡應(yīng)該是連續(xù)的，并且在一個短時間域內(nèi)可以視作是一條直線.

圖3 單個車輛跟蹤算法

文中提出一種形狀和運動混合特征的車輛跟蹤方法主要包括基于車輛形狀的初匹配和基于車輛運動特征的軌跡跟蹤兩個部分.在對同一目標(biāo)車輛跟蹤完成后，重復(fù)進(jìn)行下一目標(biāo)的跟蹤，循環(huán)完成所有車輛的跟蹤.

1)基于車輛形狀的初匹配 每一真實車輛在影像序列上對應(yīng)一條運動軌跡，不同幀間的位移對應(yīng)軌跡上的一段，因此將每一幀影像上的車輛分為兩種狀態(tài)，為

n=1,2，…,N

(4)

對于state=-1的車輛(及未確定所在軌跡車輛)，通過形狀特征在下一幀影像上尋找匹配的車輛，根據(jù)對應(yīng)車輛在兩幀影像上位置，建立初始運動軌跡.按照式(5)進(jìn)行車輛匹配.

match(V1,V2)=

(5)

式中：area(V1)為車輛V1所占面積；ratio(V1)為車輛V1最小外接矩形框的長寬比；相鄰兩幀之間，面積和長寬比分別小于閾值T1,T2的車輛將被視作同一車輛.

(6)

車輛跟蹤環(huán)節(jié)在相鄰幀影像間進(jìn)行搜索匹配車輛時，存在建筑物陰影、高架橋、隧道遮擋和車輛漏檢情況，會導(dǎo)致車輛跟丟.因此，本文建立了一個車輛預(yù)測函數(shù)，當(dāng)前車輛在下一幀影像中沒有找到符合條件的匹配目標(biāo)，則當(dāng)前車輛在后nFrame幀影像上位置的預(yù)測值為

(7)

式中：(xi,yi)為車輛在第幀上的位置坐標(biāo)；(xPrei+nFrame,yPrei+nFrame)為車輛預(yù)測得到的在i+nFrame幀上的位置坐標(biāo)；dis和ori為車輛最新一段軌跡距離和方向.當(dāng)出現(xiàn)車輛跟丟的情況時，根據(jù)預(yù)測函數(shù)計算車輛在后nFrame幀影像上位置，將和預(yù)測位置最近的相似目標(biāo)判斷為同一車輛，并更新車輛對應(yīng)的運動軌跡.

1.4 運動車輛車速計算

得到的車輛運動軌跡后，可以確定車輛在每一幀上的位置.利用車輛對應(yīng)像素在不同間的移動距離、衛(wèi)星視頻空間分辨率和幀序列的時間間隔，為

resolution*3.6 km/h

(8)

式中：n1(x,y),n2(x,y)為車輛Vi在n1,n2幀影像上的位置；dt為相鄰幀時間間隔；resolution為影像的空間分辨率.

2 實驗及結(jié)果分析

2.1 實驗數(shù)據(jù)及評價指標(biāo)

實驗采用2017年4月拍攝的中國天津地區(qū)的吉林一號視頻影像數(shù)據(jù).吉林一號衛(wèi)星組包括一顆光學(xué)遙感衛(wèi)星、兩顆視頻衛(wèi)星和一顆技術(shù)驗證衛(wèi)星，衛(wèi)星軌道均為高約650 km的太陽同步軌道，其中視頻星獲取的影像空間分辨率達(dá)1.12 m[16]，成像方式為凝視成像，具體參數(shù)見表1.

表1 “吉林一號”視頻星數(shù)據(jù)

為了定量評價車輛檢測方法優(yōu)劣，使用以下兩個指標(biāo)評價檢測質(zhì)量：Completeness,Correctness.計算方法為

Completeness=TP/(TP+FP)

Correctness=TP/(TP+FN)

(8)

式中：TP為被正確檢測到的車輛；FN為未被檢測到的車輛；FP為誤判為車輛的其他區(qū)域.

2.2 實驗結(jié)果分析

1)運動車輛檢測 選取衛(wèi)星視頻影像上天津火車站高架附近的道路進(jìn)行運動車輛跟蹤實驗，將本文ViBe算法與經(jīng)典的背景差分法和三幀差法進(jìn)行對比，其中背景差分法選取前10幀影像，采用幀平均法建立背景，三幀差法采用二維交叉熵閾值對運動檢測結(jié)果進(jìn)行分割.在得到運動前景圖后，考慮到車輛在影像上面積，對單連通區(qū)域大于25像素的前景塊進(jìn)行剔除.背景差分法存在一定數(shù)量的殘余車輛，在車輛密集區(qū)域，背景道路被車身遮擋，無法區(qū)分前景和背景導(dǎo)致誤判，而ViBe算法檢測誤判優(yōu)于傳統(tǒng)的背景差分法.特別是在車流密集的地方，ViBe算法在識別運動車輛時表現(xiàn)出更穩(wěn)健的檢測性能.

進(jìn)一步根據(jù)以下準(zhǔn)則定量計算檢測結(jié)果：對于用最小外接矩形框定的區(qū)域，有多個像元與實際運動車輛重疊，那么就被判斷為正確檢測(TP)，否則歸為錯誤檢測(FP)；FN指的是沒有被識別的車輛.表2～3為不同區(qū)域算法的結(jié)果對比.

表2 第300幀影像上車輛密集區(qū)域檢測結(jié)果對比

表3 第300幀影像上車輛稀疏區(qū)域檢測結(jié)果對比

由表2～3可知，ViBe算法車輛檢測無論是在車輛密集區(qū)域還是稀疏區(qū)域均優(yōu)于傳統(tǒng)的背景差分算法，在車輛密集區(qū)域，傳統(tǒng)背景差分法檢測正確率低于50%，而Vibe算法處于80%左右；對于車輛稀疏區(qū)域，Vibe算法正確率和完好率均在90%以上.

2)運動車輛跟蹤及車速計算結(jié)果 圖4～5為本文方法車輛跟蹤結(jié)果，不同顏色線表示不同車輛運動軌跡.可以看到車輛軌跡限制在車道范圍內(nèi)，軌跡方向基本和道路一致，車輛轉(zhuǎn)彎等非直線運動情況也能夠很好的檢測.在非車輛密集區(qū)域，運動軌跡和道路邊界形狀符合的很好，位置相近的運動車輛的軌跡相似.但由于同一車輛得到的運動軌跡的準(zhǔn)確性取決于基于形狀的估計初始化，在車輛密集區(qū)域，基于形狀特征進(jìn)行匹配的精度不高，會出現(xiàn)錯誤的車輛軌跡.

圖4 部分區(qū)域車輛跟蹤結(jié)果

圖5 遮擋區(qū)域利用預(yù)測函數(shù)處理前后單車輛跟蹤結(jié)果

在一段時間內(nèi)道路上的車輛行駛平均速度可以直觀反映交通路況，以此制定合理的交通規(guī)劃.表4萬根據(jù)車輛跟蹤軌跡計算得到的部分車輛速度數(shù)據(jù).

表4 部分車輛在衛(wèi)星視頻拍攝時間段的平均速度

由表4可知，采用視頻衛(wèi)星跟蹤車輛計算的平均速度在40～70 km/h，與高架區(qū)域車速限制在80 km/h下相符，因此，利用視頻衛(wèi)星數(shù)據(jù)可計算車輛運動速度.進(jìn)一步統(tǒng)計648個檢測車輛在20 s范圍內(nèi)的平均速度分布，見表5.

表5 跟蹤車輛平均速度分布

由表5可知，平均車速集中在30～60 km/h，少數(shù)車輛超過限速，說明得到的車輛平均時速是符合實際情況，也進(jìn)一步論證了利用衛(wèi)星影像進(jìn)行車輛跟蹤從而進(jìn)行大范圍城市交通狀況監(jiān)測是可行的.

3 結(jié) 束 語

遙感衛(wèi)星獲取影像視頻憑借全天候、大范圍的特點，使得在城市廣域范圍內(nèi)進(jìn)行車輛檢測和交通狀況監(jiān)測成為可能.本文以吉林一號視頻衛(wèi)星為例，提出了基于視頻衛(wèi)星數(shù)據(jù)進(jìn)行車輛檢測和動態(tài)跟蹤方法，可瞬時計算城市廣域范圍內(nèi)車輛數(shù)量、運動軌跡、車輛運動速度等信息，為城市智能交通系統(tǒng)建設(shè)提供了一種高時間、高空間分辨率、大范圍的在線交通監(jiān)測手段，具有廣泛的應(yīng)用潛力.隨著衛(wèi)星視頻的分辨率將進(jìn)一步的提高，運動車輛在影像上的表現(xiàn)更精確，視頻衛(wèi)星在智慧交通領(lǐng)域具有廣泛的應(yīng)用前景.