基于機(jī)器視覺的公路交通流量檢測研究

黃文靜 陳小兵 祝輝 徐海潮

（1.連云港市鐵路建設(shè)辦公室 江蘇省連云港市 222006 2.華設(shè)設(shè)計(jì)集團(tuán)股份有限公司 江蘇省南京市 210014）

交通是發(fā)展國民經(jīng)濟(jì)和提高人民生活質(zhì)量的關(guān)鍵，也是評(píng)價(jià)一個(gè)城市發(fā)展程度的重要標(biāo)志。改革開放以來，隨著我國經(jīng)濟(jì)水平的快速發(fā)展，人民生活水平不斷提升，小汽車已走進(jìn)千家萬戶。然而，小汽車保有量的快速增長以及交通管理手段的不先進(jìn)導(dǎo)致了國內(nèi)眾多大城市飽受交通擁堵困擾，而對(duì)交通流量進(jìn)行實(shí)時(shí)檢測并建立交通誘導(dǎo)系統(tǒng)，防止或緩解交通堵塞狀況，實(shí)現(xiàn)交通流在路網(wǎng)不同路段上合理分配，故對(duì)交通流的檢測尤為重要。

視頻監(jiān)控系統(tǒng)可直觀、有效、實(shí)時(shí)監(jiān)管公路，是公路管理的重要組成部分，被譽(yù)為公路監(jiān)管的“眼睛”。當(dāng)前，我國已開展了智能交通、智慧城市、天網(wǎng)工程、雪亮工程等諸多工程，已布設(shè)了超過2000 萬個(gè)監(jiān)控視頻設(shè)備，但目前大部分視頻資源仍然用于安防、監(jiān)控等方面，未進(jìn)行深入挖掘和分析利用，視頻資源的有效利用率普遍較低。鑒于此，本研究在不增加布設(shè)傳感器設(shè)備或視頻監(jiān)控設(shè)備條件下，以連云港城市公路試點(diǎn)為契機(jī)，開展利用基于現(xiàn)有交通視頻資源進(jìn)行實(shí)時(shí)、快速、精確的公路交通流量研究分析，提高城市交通管理水平，改善交通擁堵情況。

1 系統(tǒng)流程

本研究所需交通視頻資源直接從連云港市公路網(wǎng)管理與應(yīng)急指揮中心的硬盤錄像機(jī)開放接口中獲取，然后通過圖像預(yù)處理、獲取ROI（Region Of Interest,ROI) 區(qū)域、車輛數(shù)量檢測、路段長度確定等流程，獲取路段交通流量。主要流程如圖1所示。

1.1 圖像預(yù)處理

由于從連云港市公路網(wǎng)管理與應(yīng)急指揮中心獲取的視頻資源均為RGB 高清彩色圖像，圖像中每個(gè)像素點(diǎn)均含RGB 值。如直接對(duì)高清彩色圖像進(jìn)行處理，處理數(shù)據(jù)信息量較大，增加了處理難度，并降低了處理效率。故需對(duì)原始視頻資源通過灰度化、濾波、直方圖均衡化等處理，減小數(shù)據(jù)信息量，增強(qiáng)處理效果，提高時(shí)效性。

1.2 獲取ROI

ROI 通常稱為感興趣區(qū)域，也被稱為檢測區(qū)域。由于本研究是在圖像預(yù)處理后的圖片中獲取交通流量信息，因此只對(duì)公路車道內(nèi)的機(jī)動(dòng)車感興趣。故可利用ROI 處理，將公路外不感興趣的圖片進(jìn)行處理，以便為后續(xù)加快處理速度和提高處理結(jié)果精度奠定基礎(chǔ)。

1.3 車輛數(shù)量檢測

根據(jù)ROI 確定的公路邊線及劃定矩形區(qū)域，依據(jù)SVM 訓(xùn)練庫，計(jì)算出矩形區(qū)域內(nèi)機(jī)動(dòng)車輛數(shù)量，從而為后續(xù)計(jì)算交通流量提供車輛數(shù)量數(shù)據(jù)。

1.4 路段長度確定

通過對(duì)矩形區(qū)域內(nèi)像素或參照物統(tǒng)計(jì)，確定矩形區(qū)域在機(jī)動(dòng)車車輛行駛方向的路段長度。同時(shí)通過攝像機(jī)像素和物理空間標(biāo)定技術(shù)或線性關(guān)系，求得真實(shí)物理空間的路段長度。

1.5 計(jì)算交通流量

根據(jù)上述流程獲取的車輛數(shù)量和路段長度，并從視頻中獲取矩形區(qū)域內(nèi)所有車輛的平均速度，依據(jù)交通流量模型，計(jì)算出路段內(nèi)的交通流量。

圖1：系統(tǒng)識(shí)別流程

圖2：加權(quán)平均灰度處理后的圖

圖3：直方圖均衡化處理后的圖

表1：幾種常見灰度算法

2 交通流量檢測

2.1 圖像預(yù)處理

2.1.1 灰度化

由于科技突飛猛進(jìn)，模擬視頻設(shè)備和黑白視頻設(shè)備早已被社會(huì)淘汰。近年來布設(shè)在交通方面的視頻監(jiān)控設(shè)備都為數(shù)字高清視頻監(jiān)控設(shè)備，其采集到的視頻圖像是連續(xù)的RGB 彩色圖像序列[1]，但實(shí)際上YUV 顏色空間的灰色圖像就能滿足本研究。除像素顏色外，彩色圖像和灰度圖像所包含的內(nèi)容完全相同，但灰度圖像過濾了圖像顏色信息，進(jìn)而加快了處理速度。一般來說，研究機(jī)器視覺或圖像處理，灰度化處理是不可或缺的基礎(chǔ)步驟。

圖像灰度處理主要有：分量法、最大值法、平均值法和加權(quán)平均法[2]。如表1所示。

根據(jù)國內(nèi)大量學(xué)術(shù)研究發(fā)現(xiàn)，上述四種灰度算法中，加權(quán)平均法處理效果最佳，且最符合人眼對(duì)色彩的敏感度，故本研究選取加權(quán)平均法對(duì)圖像進(jìn)行灰度化處理。如圖2所示。

2.1.2 濾波

圖像濾波技術(shù)通常分為空域?yàn)V波和頻域?yàn)V波兩種?？沼?yàn)V波是直接對(duì)圖像數(shù)據(jù)信息做空間變換進(jìn)行濾波的技術(shù)；頻域?yàn)V波是先利用傅里葉變換，在頻域進(jìn)行圖像處理，然后再反變換回空間域還原圖像的濾波技術(shù)。頻域?yàn)V波處理效果較好，但程序復(fù)雜，數(shù)據(jù)量大，處理速度較慢；空域?yàn)V波不需要進(jìn)行空域和頻域轉(zhuǎn)換，數(shù)據(jù)量相對(duì)較少，處理速度更快，處理效果相對(duì)有所下降。由于本研究對(duì)處理速度要求較高，而對(duì)去除噪聲要求相對(duì)次之，故選用空域?yàn)V波[3]。常用的三種空域?yàn)V波方法：中值濾波、高斯濾波、均值濾波。國內(nèi)很多學(xué)者在原始圖像中加入椒鹽噪聲，并用三種空域?yàn)V波方法進(jìn)行處理，并對(duì)處理效果對(duì)比，中值濾波對(duì)于噪聲抑制效果較為顯著。華東交通大學(xué)的楊希在其《基于機(jī)器視覺的汽車安全輔助駕駛系統(tǒng)研究》論文中，利用峰值信噪比（Peak Signal-to-noise Ratio,PSNR）對(duì)三種空域?yàn)V波算法處理后的圖像進(jìn)行定量評(píng)價(jià)，計(jì)算得出中值濾波的PSNR 最大，進(jìn)而得出中值濾波效果最佳的結(jié)論。本研究在他人研究成果的基礎(chǔ)上，直接利用中值濾波算法，對(duì)圖像進(jìn)行處理。

2.1.3 直方圖均衡化

如果一幅圖像像素占有全部可能的灰度級(jí)且均勻分布，則圖像有較高的對(duì)比度和多變的灰度色調(diào)。直方圖均衡化正是利用這種思想，利用直方圖均衡化算法對(duì)圖像進(jìn)行均衡化修正，可使圖像的灰度間距增大或灰度均勻分布、增大反差，使圖像的細(xì)節(jié)變得清晰[4]。直方圖是圖像的重要統(tǒng)計(jì)特征，它表示數(shù)字圖像中每一灰度級(jí)與該灰度級(jí)出現(xiàn)頻數(shù)的關(guān)系，即

其中，N 為一幅圖像的總像素?cái)?shù)；nk為第K 級(jí)灰度的像素?cái)?shù)；rk為第k 個(gè)灰度級(jí)；L 為灰度級(jí)數(shù)；P(rk)為該灰度級(jí)出現(xiàn)的相對(duì)頻數(shù)。通過直方圖的統(tǒng)計(jì)特性，可以得到圖像的總體明亮程度、對(duì)比度、對(duì)象物的可分性等與圖像質(zhì)量有關(guān)的灰度分布概貌。視頻資源在采集的過程中難免會(huì)受天氣條件影響，光線較暗，通過直方圖均衡化處理，使圖像亮度增強(qiáng)，突出公路的車輛、公路邊線、路面等信息，方便圖像中機(jī)動(dòng)車輛目標(biāo)特征提取。如圖3所示。

圖4：獲取ROI 處理后的圖

圖5：真實(shí)數(shù)據(jù)與測試數(shù)據(jù)對(duì)比圖

2.2 獲取ROI

ROI 也稱為感興趣區(qū)域，是對(duì)待處理的圖像提取特定區(qū)域的簡稱。通常情況下，交通視頻資源中包含公路、車輛、公路兩旁樹木、天空、建筑物等信息，而本研究只需要公路和車輛信息，且這些信息都包含在公路邊線內(nèi)。因此只需要提取公路邊線即可完成獲取ROI。

一般情況下，公路兩條邊線是筆直且相互平行的，但由于視頻監(jiān)控設(shè)備獨(dú)特的成像原理，造成視頻資源中公路兩條邊線呈梯形狀態(tài)。鑒于此，可將兩條邊線表達(dá)如下：

對(duì)于任一像素點(diǎn)（x,y），如果其坐標(biāo)落在y1在y2之間，則該像素點(diǎn)在ROI 內(nèi)；否則，該像素點(diǎn)不在ROI 內(nèi)。依據(jù)上述算分提取的ROI 如圖4所示。

2.3 車輛數(shù)量檢測

在ROI 內(nèi)，利用卡爾曼濾波器對(duì)圖像實(shí)現(xiàn)目標(biāo)跟蹤之后，可得到目標(biāo)圖像的各種特征，包括但不限于目標(biāo)圖像的形狀、紋理、顏色、運(yùn)動(dòng)等特征。不同的運(yùn)動(dòng)物體具有不同的運(yùn)動(dòng)特征，由于使用單一運(yùn)動(dòng)目標(biāo)特征對(duì)多個(gè)運(yùn)動(dòng)目標(biāo)識(shí)別存在一定難度和局限性，故對(duì)多目標(biāo)識(shí)別時(shí)，一般使用多個(gè)（兩個(gè)及以上）的目標(biāo)特征進(jìn)行組合識(shí)別。本研究主要識(shí)別運(yùn)動(dòng)機(jī)動(dòng)車輛，其典型特征主要包括面積、高度、縱橫比、速度等，以典型特征識(shí)別機(jī)動(dòng)車輛目標(biāo)[5]。

在提取機(jī)動(dòng)車圖像的典型特征后，并以此作為識(shí)別機(jī)動(dòng)車的依據(jù)，然后使用建模的方法構(gòu)建分類器，利用監(jiān)督學(xué)習(xí)算法，對(duì)已有的機(jī)動(dòng)車輛樣本數(shù)據(jù)進(jìn)行訓(xùn)練，將訓(xùn)練好的結(jié)果寫入SVM（Support Vector Machine,SVM）訓(xùn)練數(shù)據(jù)庫，并利用SVM 訓(xùn)練數(shù)據(jù)庫對(duì)真實(shí)視頻資源中的圖像進(jìn)行識(shí)別，并計(jì)算出機(jī)動(dòng)車輛平均速度和統(tǒng)計(jì)區(qū)域內(nèi)機(jī)動(dòng)車輛數(shù)量。

2.4 路段長度確定

真實(shí)世界任何一個(gè)點(diǎn)均有一個(gè)與之對(duì)應(yīng)的三維坐標(biāo)，而真實(shí)世界的點(diǎn)在視頻圖像中映射為二維像素平面坐標(biāo)，故需建立三維坐標(biāo)與二維像素平面坐標(biāo)轉(zhuǎn)換關(guān)系，以便獲取真實(shí)世界中的點(diǎn)坐標(biāo)，并計(jì)算出真實(shí)世界中兩點(diǎn)距離，進(jìn)而計(jì)算出路段長度。三維坐標(biāo)與二維像素坐標(biāo)轉(zhuǎn)換過程中涉及到的坐標(biāo)系有：世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像坐標(biāo)系和像素坐標(biāo)系[6]。

根據(jù)王樂芳的《基于單目視覺的多特征前方車輛檢測及測距方法研究》，真實(shí)世界三維坐標(biāo)和視頻圖像的二維像素平面坐標(biāo)模型關(guān)系如下：

在（4）和（5）式中，（XW,YW,ZW）為世界坐標(biāo)系的點(diǎn)；（XC,YC,ZC）為相機(jī)坐標(biāo)系的點(diǎn)；（u,v）為像素坐標(biāo)系的點(diǎn)；R 是外部參數(shù)，受外部條件約束，為正交3×3 旋轉(zhuǎn)矩陣；t1，t2，t3也是外部參數(shù)，它們?yōu)椋╔W,YW,ZW）在（XC,YC,ZC）三個(gè)坐標(biāo)軸方向的平行向量值，受外部條件約束；f 為攝像機(jī)焦距；dx 和dy 分別表示為平面坐標(biāo)系中單位像素在X 軸和Y 軸上的長度；u0和v0為攝像機(jī)的內(nèi)部參數(shù)，其值固定，不隨攝像機(jī)位置和拍攝視角的變化而改變。

根據(jù)（4）和（5）模型，并作出逆變換，可得出世界坐標(biāo)系的點(diǎn)坐標(biāo)：

由推導(dǎo)出的（6）模型公式，再結(jié)合二維像素平面坐標(biāo)系坐標(biāo)點(diǎn)，可獲取矩形區(qū)域沿車道方向邊線起始點(diǎn)的世界坐標(biāo)（X1,Y1,Z1）和末尾點(diǎn)的世界坐標(biāo)（X2,Y2,Z2），再根據(jù)兩點(diǎn)間距離公式：

在（7）式中，D 即為所求的路段長度。

2.5 計(jì)算交通流量

眾所周知，交通工程研究中主要研究三參數(shù)：交通流量、速度和交通密度[7]。這三參數(shù)相輔相成，相互制約，相互影響。假設(shè)當(dāng)前交通流量為Q，速度為V，交通密度為K，根據(jù)交通工程知識(shí)，三參數(shù)典型關(guān)系為：

又由交通工程的平均速度和交通密度公式：

根據(jù)（8）（9）（10）三式，聯(lián)合變換，可得到交通流量公式：

在（11）式中，N 為矩形區(qū)域內(nèi)機(jī)動(dòng)車數(shù)量，D 為矩形區(qū)域的路段長度，vi為每輛機(jī)動(dòng)車的平均速度。

3 檢測結(jié)果

依據(jù)上式（11）模型，本文選取了某工作日連云港S236 灌云交調(diào)站路段早高峰時(shí)段（7 點(diǎn)-9 點(diǎn)）的交通監(jiān)控視頻作為測試數(shù)據(jù)進(jìn)行車流量統(tǒng)計(jì)測試，以每15 分鐘為間隔，真實(shí)數(shù)據(jù)為根據(jù)視頻人工計(jì)數(shù)所得。從真實(shí)數(shù)據(jù)與測試數(shù)據(jù)對(duì)比可知，通過機(jī)器視覺方法檢測車流量具有較高的準(zhǔn)確率，準(zhǔn)確度可達(dá)94.2%，通過機(jī)器視覺方法檢測的車流量數(shù)據(jù)與真實(shí)流量數(shù)據(jù)對(duì)比如圖5所示。

4 結(jié)論

通過本研究技術(shù)，利用現(xiàn)有的交通視頻資源，可獲得準(zhǔn)確率較高的交通流量數(shù)據(jù)，但適用范圍仍有一定限制。后續(xù)需研究陰雨天、雨雪天、霧天、夜晚等特殊環(huán)境下的較為準(zhǔn)確、可靠、穩(wěn)定的交通流量算法，為交通擁堵、交通預(yù)測、交通預(yù)警、態(tài)勢研判等方面研究提供所需的交通參數(shù)。