基于視頻的夜間車(chē)輛檢測(cè)與跟蹤

郭言信，朱明旱，張明月，張栩華，周楠皓

(湖南文理學(xué)院 計(jì)算機(jī)與電氣工程學(xué)院，湖南 常德 415000)

0 引 言

隨著時(shí)代的發(fā)展，數(shù)字圖像處理技術(shù)逐漸被應(yīng)用到車(chē)輛的檢測(cè)和跟蹤算法中，在道路交通管理中發(fā)揮了越來(lái)越重要的作用，目前已經(jīng)有很多國(guó)內(nèi)外的學(xué)者在這方面做了大量并且深入的研究[1-2]，各種各樣基于視頻的車(chē)輛檢測(cè)技術(shù)的算法開(kāi)始出現(xiàn)。然而，很多算法都是在正常的日間光照下進(jìn)行的[3]，也有一些算法是在惡劣的特殊天氣情況下展開(kāi)的，針對(duì)夜間條件的研究卻比較少，而且效果也不是很理想。

大部分原因是在圖像處理的過(guò)程中經(jīng)常會(huì)容易受到周?chē)沫h(huán)境和條件的影響，夜間的燈光來(lái)源十分復(fù)雜，除了車(chē)輛的燈光，道路上的反射光也十分多。此外，道路沿線(xiàn)的其他事物、路燈等環(huán)境因素的干擾極大地阻礙了夜間車(chē)輛的檢測(cè)和識(shí)別，白天的許多視頻檢測(cè)算法無(wú)法在夜間實(shí)現(xiàn)。在基于視頻的車(chē)輛檢測(cè)中，因?yàn)槭芄庹盏挠绊懀找箞?chǎng)景不同的情況下檢測(cè)算法也是不同的。

但無(wú)論是對(duì)于白天還是夜間情況下的車(chē)輛檢測(cè)，算法一般主要分成兩部分：車(chē)輛的檢測(cè)和車(chē)輛的跟蹤[4-5]。車(chē)輛檢測(cè)是為了檢測(cè)視頻圖像中是否存在車(chē)輛，對(duì)于檢測(cè)到的車(chē)輛保存其位置和形態(tài)學(xué)信息。由于車(chē)輛信息在不斷的變化，檢測(cè)過(guò)程通常遍歷了整個(gè)幀圖像，導(dǎo)致完成這一部分的事件復(fù)雜度較高。車(chē)輛的跟蹤是在第一次檢測(cè)到車(chē)輛后，建立車(chē)輛的初始化信息，并且對(duì)接下來(lái)的每一幀跟蹤車(chē)輛的信息。因?yàn)楦櫮軌蛲ㄟ^(guò)車(chē)輛的最大行駛速度來(lái)預(yù)測(cè)車(chē)輛的移動(dòng)范圍，讓搜索范圍和事件復(fù)雜度都變小。所以通過(guò)加入跟蹤算法可以提高車(chē)輛檢測(cè)的實(shí)時(shí)性[6]。

劉莉提出一種在夜間光照不充足的情況下通過(guò)連通區(qū)域檢測(cè)車(chē)輛的方法[7]，閾值化，通過(guò)腐蝕去除一些孤立的點(diǎn)，后通過(guò)車(chē)燈的形狀大小等特征找出車(chē)燈并對(duì)其配對(duì)，最后通過(guò)比較相鄰兩幀之間的連通區(qū)域變化進(jìn)行追蹤，從而計(jì)算出車(chē)流量。但是這種方法計(jì)算信息量較大，關(guān)于夜間交通堵塞，路燈反射光影響等問(wèn)題沒(méi)有完全得以解決。

為了更好地解決上面的問(wèn)題，文中提出一種建立矩形框來(lái)標(biāo)記車(chē)輛的夜間車(chē)流量檢測(cè)和跟蹤的方法。首先，對(duì)圖像進(jìn)行閾值化，提取可能為車(chē)燈的亮點(diǎn)，建立連通區(qū)域，再利用兩車(chē)燈連線(xiàn)的斜率接近于0，兩車(chē)燈之間的水平位置，兩車(chē)燈的面積應(yīng)該是相近或幾乎相等及兩者之間的距離應(yīng)該小于設(shè)定的閾值進(jìn)行判斷，對(duì)車(chē)燈進(jìn)行匹配。之后再適當(dāng)放大匹配車(chē)燈的連線(xiàn)的長(zhǎng)度，得到車(chē)頭寬度。進(jìn)而根據(jù)車(chē)頭長(zhǎng)寬比關(guān)系，確定其長(zhǎng)度，從而得到車(chē)頭區(qū)域，通過(guò)矩形框保存好車(chē)輛信息之后，通過(guò)基于鄰域的方法進(jìn)行車(chē)流量的統(tǒng)計(jì)跟蹤。

1 算法描述

車(chē)燈作為在夜晚最明顯的特征并不受周?chē)h(huán)境的影響[8]。城市交通中存在著各種類(lèi)型的車(chē)輛，不同類(lèi)型的車(chē)輛的車(chē)燈數(shù)目也不相同，有時(shí)還會(huì)有一些車(chē)燈壞掉的故障車(chē)輛，所以要想通過(guò)車(chē)燈去得到準(zhǔn)確的車(chē)輛數(shù)目必須進(jìn)行車(chē)輛的配對(duì)和跟蹤。前者是為了判斷屬于同一輛車(chē)的車(chē)燈，配對(duì)后就可以通過(guò)車(chē)燈來(lái)代表車(chē)輛數(shù)目，后者是為了解決車(chē)輛計(jì)數(shù)和獲取運(yùn)動(dòng)軌跡的問(wèn)題。

目前夜間車(chē)輛檢測(cè)和跟蹤算法主要分為3類(lèi)：基于車(chē)前燈檢測(cè)算法[9-10]、基于車(chē)尾燈檢測(cè)算法[11]和基于機(jī)器學(xué)習(xí)檢測(cè)算法[12]。通過(guò)系統(tǒng)實(shí)時(shí)性和準(zhǔn)確性的多重考慮，文中算法是在車(chē)燈檢測(cè)的基礎(chǔ)上通過(guò)建立矩形框來(lái)標(biāo)志車(chē)輛的夜間車(chē)輛檢測(cè)法，通過(guò)規(guī)則集來(lái)定義多種情況下矩形框保存車(chē)輛信息[13]。

目前車(chē)燈檢測(cè)的方法主要是依靠一些外界的因素來(lái)對(duì)車(chē)燈進(jìn)行檢測(cè)[14-15]，這種方法比較依賴(lài)周?chē)沫h(huán)境，很容易造成車(chē)輛檢測(cè)的穩(wěn)定性較低，從多方面考慮文中算法能夠較有效地檢測(cè)到車(chē)輛。

獲取夜間交通監(jiān)控的畫(huà)面之后，對(duì)圖像進(jìn)行預(yù)處理，首先是進(jìn)行灰度變換，再通過(guò)閾值化提取車(chē)燈，再依據(jù)車(chē)燈的形態(tài)學(xué)特征和車(chē)燈之間設(shè)定的距離的閾值將表現(xiàn)為同一輛車(chē)的車(chē)燈連通區(qū)域配對(duì)，保存最開(kāi)始的車(chē)輛信息，然后建立了矩形框和車(chē)燈的在不同幀下的匹配原則，并給出車(chē)燈對(duì)的基于鄰域的跟蹤算法的流程[16]，完成車(chē)輛的檢測(cè)和跟蹤。

1.1 車(chē)前燈對(duì)的檢測(cè)

1.1.1 視頻圖像預(yù)處理

首先預(yù)處理待檢測(cè)視頻圖像，主要是灰度處理和閾值化處理[17]。通過(guò)設(shè)置閾值來(lái)分割前景目標(biāo)和背景，因?yàn)樵谝归g環(huán)境下車(chē)燈中間位置的亮度很高，在圖像的中亮度接近255，還有一些光線(xiàn)反射的亮度也很高，從而產(chǎn)生干擾，而圖像中剩下的部分亮度都很低，所以可以通過(guò)設(shè)置一個(gè)閾值T，當(dāng)圖像中某個(gè)點(diǎn)的亮度大于T時(shí)，就令這個(gè)點(diǎn)的亮度為255，否則令這個(gè)亮度點(diǎn)為0。

閾值化后的圖像包括車(chē)燈，夜間反射光和一些微小噪聲，先通過(guò)形態(tài)學(xué)分析去除一些不規(guī)則的噪聲，然后通過(guò)腐蝕和設(shè)置車(chē)燈連通區(qū)域的最小值來(lái)去除一些小噪聲的干擾(如圖1(b))。此預(yù)處理效果良好，便于后續(xù)研究的進(jìn)行。

圖1 視頻圖像預(yù)處理

閾值化公式如下：

1.1.2 車(chē)前燈的檢測(cè)和匹配

一般車(chē)輛只有兩個(gè)車(chē)燈，但是一些特殊車(chē)輛有不符合一般情況的車(chē)燈數(shù)量，對(duì)車(chē)輛提取造成了很大的影響。為了提取所有的車(chē)輛，將車(chē)輛的車(chē)燈配對(duì)是必要的步驟，同時(shí)也必須把判斷為同一車(chē)輛的車(chē)燈分為一組。一般來(lái)說(shuō)，車(chē)輛的頭燈以同樣的速度向相同的方向移動(dòng)，并且車(chē)燈的面積、縱橫比等參數(shù)相差不大。因此要將車(chē)輛進(jìn)行匹配可以通過(guò)各個(gè)車(chē)燈之間的空間信息來(lái)進(jìn)行[18-19]。

車(chē)燈檢測(cè)和匹配的目的是為了將需要的車(chē)燈從圖像中提取出來(lái)，并判斷哪些車(chē)燈屬于同一輛車(chē)，在經(jīng)過(guò)前文的預(yù)處理之后圖像中只有車(chē)燈，除了主燈以外的裝飾燈和一些車(chē)的反射光，而普通車(chē)輛的車(chē)燈在形態(tài)學(xué)上是有規(guī)則的，都接近圓形或者橢圓形，它們的長(zhǎng)寬比和面積都在一定的閾值之內(nèi)。通過(guò)這些研究，可以剔除一部分干擾，再根據(jù)兩車(chē)燈的水平位置，車(chē)燈的面積應(yīng)該是相近或幾乎相等及兩者之間的距離應(yīng)該小于設(shè)定的閾值進(jìn)行判斷，就可以將屬于同一輛車(chē)的車(chē)燈匹配起來(lái)，由于一輛車(chē)可能開(kāi)了多個(gè)車(chē)燈，所以為了避免錯(cuò)檢，也會(huì)將這些燈進(jìn)行配對(duì)并建立車(chē)輛信息，并且通過(guò)后文建立的規(guī)則來(lái)判斷多個(gè)車(chē)燈如何計(jì)算車(chē)輛。文中提出的閾值大小都是根據(jù)具體情況來(lái)確定的。

要確定此連通區(qū)域?yàn)檐?chē)燈并對(duì)其進(jìn)行配對(duì)，必須同時(shí)滿(mǎn)足下列條件。匹配完成后，需要進(jìn)一步判斷剩下的沒(méi)有匹配成功的單個(gè)連通區(qū)域是因?yàn)檐?chē)輛本身只打開(kāi)了一個(gè)車(chē)燈還是由于周?chē)沫h(huán)境干擾所導(dǎo)致的。

想要提取出實(shí)際的車(chē)燈區(qū)域，可以通過(guò)下面幾個(gè)條件來(lái)判斷。

(1)兩個(gè)車(chē)燈的水平位置在圖像中相差不大，即連線(xiàn)的斜率接近0，設(shè)車(chē)燈中心為(x1,y1)、(x2,y2)，則中心連線(xiàn)的斜率為：

(2)同一輛車(chē)的兩個(gè)車(chē)燈形狀類(lèi)似，而且兩車(chē)燈的面積之比在閾值之內(nèi)。

(3)兩個(gè)車(chē)燈之間的中心距離的閾值用車(chē)道線(xiàn)的寬度來(lái)定義，即車(chē)燈的中心距離d小于閾值M，則：

車(chē)燈匹配成功之后，適當(dāng)放大車(chē)燈對(duì)連線(xiàn)的長(zhǎng)度，得到車(chē)頭寬度。進(jìn)而根據(jù)車(chē)頭長(zhǎng)寬比關(guān)系，確定其長(zhǎng)度，從而得到車(chē)頭區(qū)域。后續(xù)建立車(chē)輛信息的規(guī)則集就是在矩形框的基礎(chǔ)上進(jìn)行的(見(jiàn)圖2)。

1.1.3 保存車(chē)輛信息

通過(guò)規(guī)則集來(lái)判斷單個(gè)或多個(gè)車(chē)燈的情況如何確定車(chē)輛的位置以及如何保存當(dāng)前的車(chē)輛信息。車(chē)輛信息存儲(chǔ)的是矩形框中的車(chē)燈對(duì)或單個(gè)車(chē)燈的位置信息以及對(duì)應(yīng)的連通區(qū)域的形狀和面積信息。規(guī)則集如下：

(1)矩形框沒(méi)有重疊，可以直接保存這個(gè)矩形框的車(chē)輛信息；

(2)矩形框有重疊，并且重疊區(qū)域與矩形框的比值大于閾值Z，則判斷為是車(chē)燈對(duì)和車(chē)燈對(duì)路面的反射光或者是車(chē)輛的大前燈對(duì)和小前燈對(duì)，然后保存面積最大的矩形框的車(chē)輛信息；

圖2 車(chē)輛配對(duì)

(3)矩形框存在重疊，且重疊面積與矩形框之比小于閾值Z，就認(rèn)為是車(chē)輛發(fā)生遮擋，保存兩個(gè)矩形框的車(chē)輛信息；

(4)矩形框周?chē)新鋯蔚倪B區(qū)域，則認(rèn)為它是路面的反射光或者是其他誤差因素，直接保存這個(gè)矩形框中連通區(qū)域的車(chē)輛信息；

(5)對(duì)于分組只包含了單個(gè)連通區(qū)域的矩形框，為了避免漏掉只開(kāi)了單個(gè)車(chē)燈的車(chē)輛信息，則保存全部矩形框中的連通區(qū)域的信息。

1.2 車(chē)輛跟蹤

在車(chē)輛檢測(cè)中匹配與比較的是每一幀圖像中的車(chē)燈，但在視頻中如果只對(duì)于單幀圖像進(jìn)行處理無(wú)法計(jì)算出車(chē)輛，所以必須進(jìn)行車(chē)輛的幀間匹配，在每一幀中檢測(cè)到目標(biāo)車(chē)輛的位置信息。因?yàn)橐曨l中相鄰兩幀之間的時(shí)間十分短，不管車(chē)輛有任何突發(fā)的位置移動(dòng)，車(chē)輛的位置變化都會(huì)在一定的范圍內(nèi)，并且車(chē)燈面積同樣也變化不大。因此，可以根據(jù)車(chē)輛在行駛過(guò)程中的最高速度預(yù)測(cè)出車(chē)輛在下一幀的位置范圍，并把車(chē)輛能夠移動(dòng)的最大距離設(shè)置為閾值K。根據(jù)車(chē)燈當(dāng)前幀的信息，搜索并匹配下一幀中車(chē)燈的位置并判斷兩幀中是否檢測(cè)到的是同一輛車(chē)[20]。

關(guān)于車(chē)燈在幀間的匹配原則如下：

(1)首先計(jì)算兩車(chē)燈的中心坐標(biāo)，確定為矩形框中兩車(chē)燈連線(xiàn)的中心位置，若是車(chē)燈為單個(gè)存在的矩形框中的車(chē)燈中心坐標(biāo)就為這個(gè)車(chē)燈的中心。設(shè)車(chē)燈對(duì)的兩車(chē)燈坐標(biāo)分別為(x1,y1)、(x2,y2)，則中心坐標(biāo)(x,y)為:

(2)計(jì)算矩形框內(nèi)的車(chē)燈的平均面積，若是車(chē)燈為單個(gè)存在的矩形框中的車(chē)燈平均面積就為這個(gè)車(chē)燈的平均面積。并且在前后幀之間矩形框內(nèi)的車(chē)燈面積相差在閾值內(nèi)。

(3)匹配時(shí)確定矩形框內(nèi)的車(chē)燈數(shù)目沒(méi)有變化。

依據(jù)上述所列出的車(chē)燈匹配原則，以下是文中車(chē)燈對(duì)跟蹤算法的具體實(shí)現(xiàn)方法：

(1)將矩形框中的車(chē)燈對(duì)的當(dāng)前中心坐標(biāo)和平均面積計(jì)算和保留下來(lái)，用向量Pi=(x,y)表示中心坐標(biāo)，area為平均面積，i為幀數(shù)，保存在初始目標(biāo)池中。

(2)預(yù)測(cè)pi在下一幀中車(chē)輛的位置，先建立一個(gè)以pi為原點(diǎn)坐標(biāo)，半徑為K的圓形窗口，在此范圍內(nèi)提取匹配目標(biāo)。若沒(méi)有找到匹配車(chē)輛，則轉(zhuǎn)到(4)。反之，則進(jìn)入下一步。

(3)為了判斷搜索提取到的是不是同一輛車(chē)，用幀間車(chē)燈的相似度來(lái)進(jìn)行比較。將下一幀中的各個(gè)車(chē)燈對(duì)與當(dāng)前幀的車(chē)燈對(duì)進(jìn)行對(duì)比，如果提取的目標(biāo)車(chē)燈對(duì)與當(dāng)前幀車(chē)燈對(duì)的面積之比滿(mǎn)足下式，即：

則跟蹤成功，車(chē)輛計(jì)數(shù)加1，更新車(chē)輛中心坐標(biāo)和平均面積等信息；如果車(chē)燈對(duì)Pi+1在目標(biāo)池中找不到匹配的車(chē)燈對(duì)，則認(rèn)為Pi+1是新進(jìn)入的車(chē)燈對(duì)，將信息保存在目標(biāo)池中，并進(jìn)行下一幀的搜索。其中，areai+1，areai分別表示下一幀與當(dāng)前幀的面積，閾值A(chǔ)min和Amax分別設(shè)置為0.8和1.2。

(4)如果目標(biāo)池中的pi在搜索窗口中沒(méi)有搜索到匹配的車(chē)燈，則首先判斷為失幀，重新跳轉(zhuǎn)到(2)，假如像這樣循環(huán)15次都沒(méi)有搜索到匹配車(chē)燈，則判斷pi消失，從目標(biāo)池中將pi刪除。

(5)保存跟蹤到的車(chē)燈對(duì)中心的位置信息，可以追蹤到其運(yùn)動(dòng)軌跡。

通過(guò)算法對(duì)目標(biāo)的檢測(cè)和連續(xù)跟蹤，可以得到當(dāng)前目標(biāo)運(yùn)動(dòng)的速度和位置，預(yù)測(cè)下一幀中目標(biāo)可能出現(xiàn)的位置，與此同時(shí)進(jìn)行兩幀之間車(chē)燈的車(chē)輛信息匹配，通過(guò)預(yù)測(cè)的跟蹤方法不僅縮小了搜索范圍，也加快了速度，并且由于預(yù)測(cè)減少了不可能存在車(chē)輛的位置，可以提高跟蹤精度，使跟蹤更加準(zhǔn)確。

車(chē)輛進(jìn)入視頻后有三種狀態(tài)：出現(xiàn)、消失、更新，對(duì)待不同的狀態(tài)有不同的對(duì)檢測(cè)目標(biāo)的處理方式。

出現(xiàn)：當(dāng)前檢測(cè)到目標(biāo)對(duì)象，將目標(biāo)與目標(biāo)池中的目標(biāo)匹配，如果目標(biāo)池中未找到與此目標(biāo)匹配的對(duì)象，則將此目標(biāo)作為新目標(biāo)添加到目標(biāo)池中。

消失：目標(biāo)池中的車(chē)輛沒(méi)有在連續(xù)的15幀中檢測(cè)和搜索到匹配的車(chē)燈，則認(rèn)為目標(biāo)消失并從將它目標(biāo)池中刪除。

更新：在當(dāng)前幀中檢測(cè)到目標(biāo)池中的車(chē)輛，則將當(dāng)前幀此車(chē)輛中心坐標(biāo)和平均面積等信息替代初始目標(biāo)池中車(chē)輛的信息。

2 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)采用文中方法對(duì)不同場(chǎng)景中的視頻進(jìn)行了車(chē)輛檢測(cè)與跟蹤，其中的實(shí)際車(chē)輛數(shù)量是人工統(tǒng)計(jì)的。文中算法的檢測(cè)和追蹤效率如表1所示。視頻數(shù)據(jù)主要包括視頻的時(shí)長(zhǎng)、道路環(huán)境以及人工計(jì)數(shù)的實(shí)際車(chē)輛數(shù)量。

表1 夜間車(chē)輛跟蹤結(jié)果統(tǒng)計(jì)

實(shí)驗(yàn)結(jié)果表明，使用文中方法進(jìn)行車(chē)輛檢測(cè)的檢測(cè)率都在95%以上，錯(cuò)檢率較低，并且在一般的情況下具有一定的穩(wěn)定性，能滿(mǎn)足夜間車(chē)輛檢測(cè)的基本要求。

3 結(jié)束語(yǔ)

針對(duì)夜間環(huán)境下光照不充足以及光線(xiàn)反射干擾導(dǎo)致運(yùn)動(dòng)目標(biāo)提取困難等問(wèn)題，提出了一種通過(guò)在車(chē)燈配對(duì)階段建立矩形框來(lái)建立車(chē)輛信息的夜間車(chē)流量檢測(cè)方法，實(shí)驗(yàn)結(jié)果證明該方法能有效地解決一車(chē)多燈的問(wèn)題，在夜間環(huán)境下能達(dá)到一定的準(zhǔn)確率。

為了提高夜間車(chē)輛檢測(cè)的穩(wěn)定性和實(shí)時(shí)性，在完成了車(chē)輛檢測(cè)后采用了基于鄰域跟蹤的方法。使用此方法可以降低需要檢測(cè)的區(qū)域，使運(yùn)算速度大大提高。想要提取較為穩(wěn)定的跟蹤對(duì)象可以通過(guò)預(yù)測(cè)車(chē)輛在下一幀位置的方法來(lái)實(shí)現(xiàn)，以便于提高跟蹤方法的穩(wěn)定性，減少丟失跟蹤目標(biāo)的情況，此方法也可以增強(qiáng)車(chē)輛檢測(cè)的準(zhǔn)確性和抗干擾性。通過(guò)實(shí)驗(yàn)結(jié)果驗(yàn)證了加入跟蹤的方法能確保車(chē)輛檢測(cè)的實(shí)時(shí)性、穩(wěn)定性以及準(zhǔn)確性。檢測(cè)率在95%以上。然而在一些交通堵塞與天氣惡劣的環(huán)境下并不是通過(guò)簡(jiǎn)單的配對(duì)與跟蹤就能計(jì)算的，如何在此類(lèi)環(huán)境下進(jìn)行車(chē)輛檢測(cè)并提高準(zhǔn)確率將是未來(lái)的研究工作。