高清視頻檢測和識別技術(shù)研究及其在城市交通中的應用

黃濺華，劉海峰

（中興智能交通（無錫）有限公司，北京 100089）

0 引言

近十幾年來，智能交通（Intelligent Transportation System，簡稱ITS）在我國得到了大力發(fā)展，各種技術(shù)在城市公安交通中的應用也日益普及，其中車輛的檢測、車輛行為分析、車牌識別（License Plate Recognition，簡稱LPR）和交通事件檢測就是其中之一。利用計算機視覺分析等先進的信息技術(shù)實現(xiàn)高效、安全的智能交通已成為交通、治安治理的主要發(fā)展方向。在《公安交通指揮系統(tǒng)建設技術(shù)規(guī)范》（GA/T 455—2010）中提出的交通事件檢測系統(tǒng)、交通違法行為監(jiān)測記錄系統(tǒng)（包括闖紅燈自動記錄系統(tǒng)、超速監(jiān)測記錄系統(tǒng)、其它違法行為監(jiān)測記錄系統(tǒng)）、公路車輛智能監(jiān)測記錄系統(tǒng)、機動車查緝布控系統(tǒng)等，都依賴于視頻檢測和識別技術(shù)。另外在旅行時間系統(tǒng)、區(qū)間測速系統(tǒng)、套牌車檢測系統(tǒng)、車輛區(qū)域關(guān)聯(lián)性查詢分析系統(tǒng)、公路收費、停車治理、交通誘導、交通執(zhí)法、交通參數(shù)采集等領(lǐng)域也有廣泛的應用。這些是智能交通建設重要的基礎技術(shù)之一。

對基于高清攝像機的視頻檢測和識別，可以為智能交通的交通數(shù)據(jù)采集、違章檢測和記錄、車牌識別等應用提供技術(shù)基礎。如果能夠解決車輛檢測、車牌識別等技術(shù)，闖紅燈自動記錄系統(tǒng)、超速監(jiān)測記錄系統(tǒng)、公路車輛智能監(jiān)測記錄系統(tǒng)、交通流信息采集系統(tǒng)等的實現(xiàn)，就具備了很好的基礎。

1 視頻識別技術(shù)的現(xiàn)狀

從本世紀初開始的基于標清攝像機的車牌識別技術(shù)，一直是視頻檢測和識別中的關(guān)鍵。從技術(shù)路線的角度看，車牌識別系統(tǒng)按觸發(fā)方式不同可分為視頻觸發(fā)和外觸發(fā)；按成像條件可分為可見光成像和紅外成像；按運行平臺不同可分為硬件式和軟件式。不論是何種技術(shù)路線，其中的關(guān)鍵技術(shù)是一樣的，車牌識別系統(tǒng)都是由觸發(fā)、圖像采集、圖像識別模塊、輔助光源和通信模塊組成的。視頻觸發(fā)的完整的車牌識別處理流程如圖1-1所示。

圖1-1 車牌識別處理流程

車牌識別系統(tǒng)運行時，光學系統(tǒng)要經(jīng)過事先調(diào)整，使到達指定位置的車牌成像最清晰且成像大小、方位符合要求。攝像機獲取圖像，經(jīng)過數(shù)字化，系統(tǒng)對圖像進行分析，一旦檢測出車牌，就給出觸發(fā)信號，對車牌進行定位、截取車牌照片、進行字符分割和利用OCR（Optical Character Recognition，光學字符識別）進行字符識別。輔助光源提供輔助照明，保證系統(tǒng)在不同的光照條件下都能拍攝到高質(zhì)量的圖像。

在眾多車牌識別軟件的應用中，不同的廠家采用不同的技術(shù)路線，主要包括以下方面：

a）有完全基于車牌識別進行檢測和觸發(fā)的 這種模式對逐幀或抽幀進行分析，一旦發(fā)現(xiàn)車牌即進行觸發(fā)和識別，由此進行觸發(fā)，這種模式效率比較高，所抓拍的照片有效性高，但對于沒有車牌的車輛會無法抓拍；

b）有基于虛擬線圈的方式進行檢測和觸發(fā)的然后對抓拍的圖片進行車牌識別（也即先檢測再識別），這種方式容易受到背景光變化的影響，缺點是誤觸發(fā)多、受環(huán)境影響大；

c）也有通過在視頻中劃觸發(fā)線的方式 如果有物體經(jīng)過該觸發(fā)線，就進行觸發(fā)抓拍，這種方式和基于虛擬線圈的方式類似；

這幾種方式在不同場景下都可應用，根據(jù)識別的難易來確定，例如對于還無法識別車牌時或者要求無車牌都要進行抓拍，采用后面的兩種方式就更加適宜。

圖1-2是標清電子警察所抓拍的圖片。

圖1-2 標清電子警察抓拍的違章過程照片

車牌識別系統(tǒng)經(jīng)過多年的發(fā)展，已成為一項較為成熟的技術(shù)，系統(tǒng)發(fā)展呈現(xiàn)出以下幾個明顯的熱點和趨勢：

a）高清晰 采用高清攝像機成像技術(shù)（通常為140萬、200萬、300萬和500萬像素，更高分辨率的高清楚攝像機也已出現(xiàn)），并結(jié)合補光技術(shù)，對車輛抓拍的圖像質(zhì)量大大提高，不僅可以清楚抓拍車牌，還可以提供高質(zhì)量的前排司乘人員的面貌圖像，并且可以記錄車輛全貌及車載情況等信息；

b）高智能 通過智能分析和目標跟蹤技術(shù)，抓拍對象已不僅局限于機動車，且擴展至非機動車，通過計算機視覺技術(shù)，不僅可識別車牌號，同時可識別車身顏色、車輛類型（貨車、大巴、中巴、小型貨車等）等，使檢索查詢更方便，更迅捷；

c）視頻檢測觸發(fā) 基本原理是采用計算機視覺技術(shù)和目標跟蹤技術(shù)來分析視頻流，檢測出其中的運動目標而實現(xiàn)抓拍，視頻檢測觸發(fā)方式主要優(yōu)點是不需外部觸發(fā)源，系統(tǒng)安裝維護簡單。

最近幾年來，業(yè)內(nèi)開始研究高清的車牌識別。目前基于高清的車牌識別的許多系統(tǒng)也逐漸開始商用，但還在不斷完善之中。圖1-3是高清電子警察抓拍的違章過程照片。

圖1-3 高清電子警察抓拍的違章過程照片

2 高清視頻檢測和識別技術(shù)

從標清的攝像機所抓拍的圖片可以看出，由于像素低，在既要兼顧看清車牌還要覆蓋整個路口的幾大要素的要求下，只能由多個攝像機組合來分別完成，同時，以往的闖紅燈系統(tǒng)往往只針對虛擬線圈所標識的區(qū)域進行分析計算，因此無法處理車輛被遮擋和車速較快的情況，并且對光照和天氣變化非常的敏感，對環(huán)境的適應能力比較差。

而隨著高清攝像機的商用和性能不斷提高，已經(jīng)完全可以對由一個攝像機采集的視頻進行分析來完成檢測車牌和抓拍全景。由此，需要采用與傳統(tǒng)的標清攝像機不同的檢測和識別技術(shù)。在各個廠家的應用中，也略有差異。不少廠家采用標清一樣的檢測方式，包括基于車牌識別進行檢測、基于虛擬線圈的方式，甚至還有基于外觸發(fā)的方式，包括線圈、地磁檢測和雷達等。而最經(jīng)濟實惠又可以充分利用視頻的方式是車牌識別和車輛檢測相結(jié)合的純視頻觸發(fā)方式。

基于高清視頻技術(shù)的車牌識別系統(tǒng)采用數(shù)字高清成像技術(shù)，能達到1600×1200分辨率甚至更高的像素，有效像素在200萬以上，是標清系統(tǒng)的5～10倍以上，可用一臺高清攝像機覆蓋更大的目標識別場景，并能夠?qū)植磕繕诉M行清晰放大和辨識，很好地解決交通業(yè)務部門對嫌疑目標面部特征、前排司乘人員面部特征、可疑車輛車型外貌的細節(jié)識別問題。基于高清視頻技術(shù)的車牌識別系統(tǒng)從根本上擺脫了標清成像的技術(shù)限制，采用了具有豐富擴展功能的視頻檢測觸發(fā)和高清成像技術(shù)，可完成從采集圖像到完成車牌識別的全部功能。

基于高清視頻技術(shù)的車牌識別系統(tǒng)，采用視頻全區(qū)域多規(guī)則動態(tài)檢測跟蹤技術(shù)，是目前基于計算機視覺的最先進的技術(shù)，對全部區(qū)域不同方向、不同速度移動的所有車輛或物體，進行不同視角、不同種類的復雜檢測，采用改進的粒子濾波方法進行跟蹤，而后對軌跡或物體進行復雜交通規(guī)則判斷的綜合技術(shù)。這里采用了差幀檢測比較和車牌檢測識別相結(jié)合的技術(shù)，具備跟蹤車輛行駛軌跡的功能，能夠很好地判斷車輛直行、左轉(zhuǎn)、右轉(zhuǎn)等行駛方向。這種算法在實時視頻中進行處理，而不是靠外觸發(fā)抓拍圖片再進行識別。

高清視頻檢測和識別流程圖如圖2-1所示。

在這里，采用綜合性混合優(yōu)化的計算機人工智能算法，利用大量學習樣本，加入了在線學習模塊，采用最新的反饋型學習模型來自適應環(huán)境的變化，提高了系統(tǒng)對環(huán)境的適應能力，同時對圖像信息密集采樣，對每一幀的全景信息進行實時分析計算，用一種完全基于學習的多種特征融合的車輛定位新算法對圖像進行車輛定位，判別出真正的車輛，進行車輛鎖定并對鎖定的車輛進行實時跟蹤。然后得到車輛的精確位置以及車輛運動的矢量軌跡曲線圖，提高了對環(huán)境變化的適應能力，綜合分析各種噪聲的整體特征和局部特征，并采用國際上先進的計算機啟發(fā)式混合智能優(yōu)化算法，實現(xiàn)對各種噪聲的過濾和衰弱，該算法對噪聲的濾除作用明顯，對攝像機的系統(tǒng)噪聲、車輛以及樹木等的陰影、行人、非機動車輛、夜晚車輛大燈、大雨、雪、地面有水時的反光等等各種環(huán)境噪聲都有很好的濾除和衰減作用，大大提高了系統(tǒng)的捕獲正確有效率。特別是對夜晚環(huán)境的噪聲有較好的濾除作用，提高攝像機夜晚的畫面質(zhì)量。

圖2-1 高清視頻檢測和識別流程圖

3 高清視頻檢測和識別技術(shù)的應用

這里對具備卡口系統(tǒng)功能的闖紅燈自動記錄系統(tǒng)（電子警察系統(tǒng)）的應用進行分析。

3.1 系統(tǒng)描述

基于高清攝像機的電子警察系統(tǒng)集成了最新圖像抓拍與識別技術(shù)，可對路口機動車輛闖紅燈行為進行準確檢測，并輸出違章車輛違章過程的全景和車牌特寫圖片以及車輛違章的有關(guān)信息，同時系統(tǒng)可以記錄在綠燈期間所有通過的車輛車牌號碼。通過對視頻的動態(tài)分析，本系統(tǒng)通過采用國際領(lǐng)先的視頻分析算法，實現(xiàn)了準確的視頻觸發(fā)，對車輛和車牌的檢測不需要添加任何外部觸發(fā)裝置，且將光照影響，非機動車、樹蔭等各種干擾因素的影響最大程度地降低。

3.2 系統(tǒng)結(jié)構(gòu)

電子警察系統(tǒng)由路口前端設備、網(wǎng)絡傳輸系統(tǒng)和中心管理系統(tǒng)構(gòu)成。系統(tǒng)結(jié)構(gòu)如圖3-1所示。

圖3-1 電子警察系統(tǒng)結(jié)構(gòu)圖

路口前端設備部分主要由視頻檢測捕獲設備（高清攝像機、智能頻閃燈）、紅綠燈檢測器等組成，完成紅綠燈狀態(tài)檢測、機動車闖紅燈、壓黃線、壓實線、逆行、不按規(guī)定車道行駛等違章行為檢測抓拍、違章圖片抓拍數(shù)據(jù)存儲和傳輸、補光燈控制等功能，相關(guān)信息網(wǎng)絡上傳等任務。

電子警察系統(tǒng)采用工業(yè)級高清攝像機，通過對高清視頻流的分析，對車輛違章行為進行檢測觸發(fā)，對違法闖紅燈車輛抓拍3張圖片（一張違法車輛在停止線前，一張違法車輛在停止線上，一張違法車輛在停止線后，同時對一張照片中剪切出包含車牌的特寫照片，這四張照片可以根據(jù)客戶需要進行組合調(diào)整），該組圖片信息可清晰地反映車輛違法地點、違法車道、行駛方向、闖紅燈違法時間、紅燈開始結(jié)束時間、違法類型、車牌號碼、車輛類型、圖片序號、紅燈信號（含箭頭燈）以及車輛壓在或越過停車線等情況。同時將圖片等數(shù)據(jù)實時上傳給中心數(shù)據(jù)庫服務器，供用戶查詢與處理。系統(tǒng)可以根據(jù)客戶需要進行相應修改，以滿足各種不同的需求。

每天由高清攝像機抓拍的違法車輛圖片及路口實時圖像定時或?qū)崟r上傳到控制中心服務器中?？刂浦行牡墓ぷ魅藛T通過管理計算機的錄入數(shù)據(jù)庫服務器并在違法圖片、圖像上疊加違法車輛信息，然后保存在服務器的電子警察網(wǎng)站上。交警支隊通過標準網(wǎng)絡瀏覽器程序登錄電子警察網(wǎng)頁，并根據(jù)所分配的權(quán)限，對所管轄路口的違法車輛進行處理，處理的時間、處理人、處理結(jié)果等相關(guān)內(nèi)容同時保存在電子警察網(wǎng)站上，可供事后查詢。

圖3-2 白天效果圖

圖3-3 夜間效果圖

圖3-4 逆光時未處理效果

圖3-5 逆光時處理后效果

圖3-6 機動車在非機動車道內(nèi)行駛

3.3 系統(tǒng)抓拍的圖片

高清攝像機闖紅燈電子警察系統(tǒng)，采用國際領(lǐng)先的計算機智能跟蹤算法技術(shù)，對高清視頻流中每一輛車都能進行實時跟蹤并記錄其運動軌跡，系統(tǒng)可根據(jù)車輛運動軌跡智能判斷車輛行駛方向，自動實現(xiàn)機動車闖紅燈違法監(jiān)測抓拍功能——拍攝車輛的尾部來實現(xiàn)車輛的動態(tài)跟蹤。

圖3-2～圖3-10，是高清攝像機闖紅燈電子警察系統(tǒng)抓拍的結(jié)果照片。

圖3-7 直行車道左轉(zhuǎn)

圖3-8 直行車道右轉(zhuǎn)

圖3-9 機動車逆向行駛

圖3-10 車輛壓實線行駛

路口的左轉(zhuǎn)、直行、右轉(zhuǎn)和非機動車道都使用高清攝像監(jiān)控設備，以保證經(jīng)過路口的所有機動車輛、非機動車輛和行人都有記錄，對機動車重點監(jiān)控，以便為以后可能發(fā)生的事件還原作基礎。

4 結(jié)語

基于高清攝像機的車輛檢測和識別技術(shù)與標清攝像機的車牌識別相比具有眾多優(yōu)勢，在智能交通的城市公安交通中應用廣泛，可以實現(xiàn)對車輛檢測、車輛行為分析和跟蹤、車牌識別。在本文中，對基于高清攝像機的車輛檢測、車牌識別進行了分析和研究。采用綜合性混合優(yōu)化的計算機人工智能算法，利用在線學習模塊，采用最新的反饋型學習模型來自適應環(huán)境的變化，通過對每一幀的全景信息進行實時分析計算，提出了一種完全基于學習的多種特征融合的車輛定位新算法對圖像進行車輛定位，實現(xiàn)對車輛進行實時跟蹤。最后對于高清視頻檢測和識別技術(shù)在城市公安交通中包括具備卡口監(jiān)控功能的電子警察系統(tǒng)的應用進行了分析。

[1]宋昆.車牌識別系統(tǒng)的關(guān)鍵技術(shù)[J].計算機世界報， 2005， （8）： B6-B8.

[2]張宏林.VC++數(shù)字圖像模式識別及工程實踐[M].北京：人民郵電出版社，2003.

[3]黃濺華.車牌識別技術(shù)在高速公路收費系統(tǒng)中的應用[EB/OL].http://www.doc88.com/p-515799956731.html，2012-12-10.

[4]GA/T 455—2010，公安交通指揮系統(tǒng)建設技術(shù)規(guī)范[S].