基于視頻分析的行人闖紅燈違法行為檢測(cè)系統(tǒng)

唐曉東

(杭州市公安局交通警察支隊(duì)科研所，浙江杭州 310014)

0 引言

近年來(lái)，隨著機(jī)動(dòng)車數(shù)量的日益增多，道路交通安全受到越來(lái)越多的關(guān)注。以酒駕整治工作為例，自專項(xiàng)行動(dòng)開展以來(lái)，相關(guān)違法行為已大幅下降。此后，人們又將目光轉(zhuǎn)向斑馬線上的未禮讓行為［1］。杭州、無(wú)錫和深圳等地率先開始制定相關(guān)政策和措施，促進(jìn)機(jī)動(dòng)車能在斑馬線上禮讓行人。在2013年，關(guān)注點(diǎn)開始從駕駛?cè)宿D(zhuǎn)移到行人，作為交通系統(tǒng)中的組成部分的行人，其交通違法行為同樣受到關(guān)注，“中國(guó)式過(guò)馬路”顯示了行人闖紅燈違法行為的普遍性。據(jù)某地統(tǒng)計(jì)，過(guò)馬路時(shí)有八成行人不看紅綠燈，這也成為我國(guó)城市交通安全管理中的重點(diǎn)和難點(diǎn)。

作為交通參與者中的弱者，行人往往受到更多政策和法律上的照顧。事實(shí)上，行人闖紅燈是各項(xiàng)交通安全違法行為中違反人數(shù)最多的違法行為之一，其危害巨大。行人在闖紅燈時(shí)若發(fā)生交通事故，很容易受到傷害，非死即傷。據(jù)公安部交通管理局統(tǒng)計(jì)，2011年，全國(guó)因不遵守交通信號(hào)違法行為導(dǎo)致交通事故4 768起，共造成6 143人受傷、1 175人死亡。2012年1～10月，全國(guó)因闖紅燈肇事導(dǎo)致交通事故4 227起，共造成798人死亡。除了影響人身安全，行人闖紅燈違法行為造成的交通事故往往影響交通秩序，也容易造成交通擁堵。為了遏制行人闖紅燈的違法行為，公安交通管理部門開出了各種“處方”，但收效甚微。由于城市中交叉口數(shù)量眾多，在每個(gè)路口布置警力現(xiàn)場(chǎng)執(zhí)法也不可能。

近年來(lái)，隨著技術(shù)的發(fā)展，越來(lái)越多的非現(xiàn)場(chǎng)執(zhí)法系統(tǒng)被應(yīng)用到交通行業(yè)，用于自動(dòng)檢測(cè)各種違法行為，并進(jìn)行自動(dòng)取證。現(xiàn)有的檢測(cè)方法主要有以下幾種。

(1)電磁感應(yīng):現(xiàn)在普遍使用的一種檢測(cè)方式。利用線圈電感量的變化來(lái)檢測(cè)是否有車輛通過(guò)。這種方式可靠，受環(huán)境影響小，常用于檢測(cè)闖紅燈等違章行為。缺點(diǎn)是要破壞路面，易被重型車輛損壞，不易移植，線圈容易在夏季斷路。

(2)激光/雷達(dá)測(cè)速:主要用于監(jiān)測(cè)車輛的行駛速度。激光測(cè)速精度高，同時(shí)還可測(cè)量運(yùn)動(dòng)物體離觀測(cè)點(diǎn)的距離。但缺點(diǎn)是測(cè)速點(diǎn)必須是靜止的，流動(dòng)性差，價(jià)格昂貴。雷達(dá)測(cè)速方式價(jià)格便宜，便于車載拍攝。但是測(cè)速距離近、精度低。這兩種方式常用于檢測(cè)車輛超速違章行為。

(3)視頻檢測(cè)技術(shù):視頻檢測(cè)技術(shù)具有信息量大、兼容性強(qiáng)、安裝方便以及便于實(shí)現(xiàn)“一機(jī)多能”等優(yōu)點(diǎn)。這種方式主要用于城市快速路和城市道路兩個(gè)方面。目前，國(guó)內(nèi)外基于視頻檢測(cè)機(jī)動(dòng)車違章行為的方法主要有基于視頻的事件檢測(cè)和基于視頻的違法行為檢測(cè)。

綜上所述，現(xiàn)有的非現(xiàn)場(chǎng)違法行為檢測(cè)系統(tǒng)或設(shè)備多以機(jī)動(dòng)車為目標(biāo)，并不適用于行人闖紅燈違法行為。為此，本文提出一種基于視頻分析的非現(xiàn)場(chǎng)執(zhí)法系統(tǒng)，通過(guò)檢測(cè)行人行為和紅綠燈的狀態(tài)，全天候監(jiān)控闖紅燈違法行為。目前，該系統(tǒng)已在杭州實(shí)地實(shí)施。試驗(yàn)證明，該系統(tǒng)能有效地檢測(cè)相關(guān)行人交通安全違法行為，并通過(guò)內(nèi)部網(wǎng)絡(luò)將數(shù)據(jù)傳輸至公安交通指揮中心。

1 系統(tǒng)設(shè)計(jì)

1.1 系統(tǒng)模塊

整個(gè)行人闖紅燈非現(xiàn)場(chǎng)執(zhí)法系統(tǒng)分為三大模塊:視頻輸入模塊、違法檢測(cè)模塊和數(shù)據(jù)傳輸模塊，如圖1所示。

(1)視頻輸入模塊:主要包括兩個(gè)數(shù)字相機(jī)及閃光燈組，一個(gè)用于行人檢測(cè)，一個(gè)用于紅綠燈檢測(cè)以及違法數(shù)據(jù)的保存。閃光燈主要用于夜間的照明增強(qiáng)。

(2)違法檢測(cè)模塊:主要包括數(shù)據(jù)連接在內(nèi)的四大子模塊。連接模塊用于從視頻輸入中獲取數(shù)據(jù)?？紤]到通用性，連接模塊能自動(dòng)連接主要廠商(比如?？?、大華、銳勢(shì)等)的各種數(shù)字相機(jī)。配置模塊用于配置相機(jī)信息、FTP主機(jī)信息、數(shù)據(jù)保存參數(shù)等等。檢測(cè)模塊主要是用于行人和紅綠燈檢測(cè)的核心算法。數(shù)據(jù)保存模塊則保存用于執(zhí)法證據(jù)的違法圖像與視頻。

(3)數(shù)據(jù)傳輸模塊:該模塊利用FTP或者3G無(wú)線方式將違法數(shù)據(jù)傳輸?shù)浇痪付ǖ姆?wù)器。

圖1 系統(tǒng)模塊圖

1.2 系統(tǒng)架構(gòu)

行人闖紅燈系統(tǒng)的架構(gòu)如圖2所示，兩臺(tái)高清相機(jī)負(fù)責(zé)視頻輸入和數(shù)據(jù)保存。如果高清相機(jī)采用500萬(wàn)像素，則檢測(cè)模塊主機(jī)需要intel i7系列4核CPU，可同時(shí)處理兩個(gè)方向的行人闖紅燈行為，處理速率為6幀/秒左右;如果使用200萬(wàn)像素高清相機(jī)，該系統(tǒng)可同時(shí)處理4個(gè)方向的行人闖紅燈行為，處理速率為8幀/秒左右。兩臺(tái)相機(jī)通過(guò)網(wǎng)線直接連接到一臺(tái)交換機(jī)，與違法檢測(cè)主機(jī)構(gòu)成一個(gè)局域網(wǎng)，使主機(jī)能實(shí)時(shí)獲得相機(jī)的視頻數(shù)據(jù)。檢測(cè)模塊通過(guò)行人相機(jī)輸入的行人視頻數(shù)據(jù)，實(shí)時(shí)分析行人的行為，通過(guò)紅綠燈相機(jī)輸入的紅綠燈視頻數(shù)據(jù)，檢測(cè)紅綠燈狀態(tài)。結(jié)合兩者的信息，自動(dòng)判斷當(dāng)前是否有行人闖紅燈違法行為。一旦發(fā)現(xiàn)有行人闖紅燈違法行為，利用紅綠燈相機(jī)進(jìn)行違法取證，實(shí)時(shí)保存相關(guān)的圖像與視頻，作為執(zhí)法依據(jù)。最后，通過(guò)網(wǎng)絡(luò)將違法數(shù)據(jù)上傳至交警指揮中心服務(wù)器。

為了保證違法數(shù)據(jù)的有效性，必須能在取證圖像中看清違法行人的面部和紅綠燈狀態(tài)。因此在行人發(fā)生違法闖紅燈行為時(shí)，只保存紅綠燈相機(jī)中的數(shù)據(jù)，且該相機(jī)主軸必須平行于人行橫道，如圖2所示。而為了檢測(cè)行人的移動(dòng)，行人相機(jī)的主軸必須垂直于人行橫道。由于同時(shí)需要行人的視頻數(shù)據(jù)和紅綠燈的視頻數(shù)據(jù)，因此在系統(tǒng)初始化時(shí)，需要針對(duì)兩個(gè)相機(jī)進(jìn)行時(shí)間軸同步。

1.3 違法檢測(cè)算法

違法行為的檢測(cè)是整個(gè)系統(tǒng)的核心部分，包括基于視頻的紅綠燈狀態(tài)檢測(cè)和行人檢測(cè)。高清相機(jī)數(shù)據(jù)量大、幀速慢，因此高幀速下的基于目標(biāo)連續(xù)性跟蹤的算法，比如基于灰度跟蹤［2－3］、Mean-Shift跟蹤［4］、基于 KLT 跟蹤等［5］都無(wú)法獲得理想的效果。而且視頻中只能看到行人的側(cè)面，也無(wú)法使用比較成熟的人臉跟蹤算法。基于行人的移動(dòng)特征，本文采用了幀差與目標(biāo)檢測(cè)并用的方法:如果每隔N幀的幀差中，目標(biāo)的移動(dòng)非常小，則放棄目標(biāo)檢測(cè);如果幀差比較大，則進(jìn)行移動(dòng)目標(biāo)的檢測(cè)。檢測(cè)所用的分類器基于Harr特征，是針對(duì)人體行走時(shí)的“倒Y”型特點(diǎn)的量化表述。在大部分情況下，上述算法能有效檢測(cè)行人的移動(dòng)。為了保證跟蹤的魯棒性，需要考慮以下兩種特殊情況。

(1)目標(biāo)的遮擋:行人在行進(jìn)過(guò)程中，會(huì)產(chǎn)生遮擋或者目標(biāo)丟失的問(wèn)題。為此，在進(jìn)行目標(biāo)跟蹤的過(guò)程中，需要進(jìn)行跟蹤預(yù)測(cè)和匹配確認(rèn)。采用Kalman濾波［6］來(lái)進(jìn)行目標(biāo)移動(dòng)方向的預(yù)測(cè)，并在跟蹤目標(biāo)時(shí)，計(jì)算前后目標(biāo)區(qū)域的SIFT特征［7］匹配，確保匹配的準(zhǔn)確性。

(2)夜間目標(biāo)的檢測(cè):在亮度不足的情況下，需要利用伽馬校正對(duì)每幀圖像進(jìn)行非線性拉伸。在具體的應(yīng)用案例中，如果能利用現(xiàn)場(chǎng)的LED燈補(bǔ)足照明，則能獲得更佳效果。

基于視頻的紅綠燈狀態(tài)檢測(cè)則相對(duì)簡(jiǎn)單。首先將每幀圖像轉(zhuǎn)換到HSV顏色空間，如果是白天，一般根據(jù)紅綠燈區(qū)域的色度H值即可判斷當(dāng)前狀態(tài)，并記錄紅綠燈變換的時(shí)間間隔;如果是晚上，路燈和車燈等額外光源可能會(huì)使紅綠燈區(qū)域產(chǎn)生過(guò)飽和，因此除需要綜合考慮色度值H，飽和度值S，還需要參考紅綠燈的變換頻率。目前，整個(gè)系統(tǒng)的紅綠燈檢測(cè)準(zhǔn)確率可達(dá)95%以上。

1.4 違法數(shù)據(jù)采集

一旦檢測(cè)到行人闖紅燈違法行為，系統(tǒng)自動(dòng)從紅綠燈相機(jī)(見圖2)輸入的視頻中保存相應(yīng)的圖像和視頻。為了保證執(zhí)法的可行性和有效性，每次抓拍至少需要3張圖像，如圖3所示，分別對(duì)應(yīng)紅燈狀態(tài)下行人在等待區(qū)(圖3a)、行人進(jìn)入人行橫道(圖3b)和行人在人行橫道有了一定的位移(圖3c)。抓拍的圖像中能清晰地顯示紅綠燈的狀態(tài)，并能看清行人的臉部。同時(shí)，系統(tǒng)對(duì)行人闖紅燈的過(guò)程進(jìn)行錄像，錄像的內(nèi)容充分反應(yīng)行人闖紅燈的全過(guò)程。作為取證數(shù)據(jù)，抓拍圖像還需要符合國(guó)標(biāo)《道路交通安全違法行為圖像取證技術(shù)規(guī)范》(GA/T 832—2009)。

圖3 抓拍圖像示意圖

2 案例應(yīng)用

目前，整套系統(tǒng)已經(jīng)完成研發(fā)并在浙江省杭州市某些路口進(jìn)行測(cè)試。圖4展示了部分抓拍的行人闖紅燈違法行為。試驗(yàn)表明，采用純視頻檢測(cè)方式，可以實(shí)現(xiàn)24小時(shí)全天候的非現(xiàn)場(chǎng)執(zhí)法取證。目前，抓拍準(zhǔn)確率可以達(dá)到80%左右，并支持晴天、雨天、白天、夜晚、行人打傘、戴雨披或者騎車，一個(gè)人或者幾個(gè)人同行的情況下的違法行為檢測(cè)。抓拍的圖像中紅綠燈和行人的臉均清晰可見(鑒于個(gè)人隱私，圖4中的人臉均被涂黑)，可用于交通安全執(zhí)法依據(jù)。

圖4 違法抓拍案例

3 結(jié)語(yǔ)

行人闖紅燈導(dǎo)致的交通事故往往造成人員傷亡，影響交通秩序。雖然為了整治行人闖紅燈的交通安全違法行為，公安交通管理部門加大了執(zhí)法力度，但是現(xiàn)場(chǎng)執(zhí)法的警力非常有限，而傳統(tǒng)的非現(xiàn)場(chǎng)執(zhí)法系統(tǒng)無(wú)法檢測(cè)此類違法行為。本文提出的基于視頻檢測(cè)的非現(xiàn)場(chǎng)執(zhí)法系統(tǒng)，利用兩部高清相機(jī)實(shí)時(shí)檢測(cè)行人與紅綠燈狀態(tài)，通過(guò)自動(dòng)判斷在紅燈狀態(tài)下是否有行人走動(dòng)，自動(dòng)抓拍行人闖紅燈違法行為。通過(guò)路口實(shí)地測(cè)試，表明該系統(tǒng)能有效工作，具有實(shí)際的應(yīng)用價(jià)值。

由于一般城市中紅綠燈設(shè)備非常多，因此要大量部署整套系統(tǒng)的成本過(guò)高。因此，如果僅僅只需要在紅綠燈路口布置攝像機(jī)，將數(shù)據(jù)傳回交警指揮中心，并統(tǒng)一利用指揮中心的云平臺(tái)進(jìn)行存儲(chǔ)和檢測(cè)，將大大節(jié)省路口的施工和設(shè)備費(fèi)用。基于云平臺(tái)和大數(shù)據(jù)系統(tǒng)，對(duì)終端采集的各種視頻進(jìn)行存儲(chǔ)、違法行為檢測(cè)、違法行為取證將是未來(lái)的研究方向。

［1］ 周為剛，馮陽(yáng)，徐舒暢.基于視頻分析的機(jī)動(dòng)車斑馬線前未禮讓違法行為檢測(cè)系統(tǒng)［J］.中國(guó)人民公安大學(xué)學(xué)報(bào)，2012(2):57－60.

［2］ BASCLE B，DERICHE R.Region tracking through image sequences［C］∥Computer Vision，1995.Proceedings，F(xiàn)ifth International Conference on.IEEE，1995:302－307.

［3］ BIRCHFIELD S T，RANGARAJAN S.Spatiograms versus histograms for region-based tracking［C］∥Computer Vision and Pattern Recognition，2005.CVPR 2005.IEEE Computer Society Conference on.IEEE，2005，2:1158－1163.

［4］ COMANICIU D，RAMESH V，MEER P.Real-time tracking of non-rigid objects using mean shift［C］∥Computer Vision and Pattern Recognition，2000.Proceedings.IEEE Conference on.IEEE，2000，2:142 －149.

［5］ SHI J，TOMASI C.Good features to track［C］∥Computer Vision and Pattern Recognition，1994.Proceedings CVPR'94，1994 IEEE Computer Society Conference on.IEEE，1994:593－600.

［6］ WELCH G，BISHOP G.An introduction to the Kalman filter［J］.1995.

［7］ LOWE D G.Object recognition from local scale-invariant features［C］∥Computer vision，1999.The proceedings of the seventh IEEE international conference on.IEEE，1999，2:1150－1157.