基于AI+深度學(xué)習(xí)算法的車輛辨識(shí)系統(tǒng)

田鵬飛

(山西信息產(chǎn)業(yè)技術(shù)研究院有限公司,山西 太原 030012)

1 背景

近年來,由于全國城鄉(xiāng)道路建設(shè)步伐加快,全國城市化水平和鄉(xiāng)村建設(shè)也在不斷提高。我國機(jī)動(dòng)車保有量逐年增加,截至2022年,全國機(jī)動(dòng)車保有量達(dá)到4.17億輛。機(jī)動(dòng)車輛的迅速增加帶來了諸多交通問題,路網(wǎng)不暢、設(shè)施不足、交通擁堵等問題越來越突出;行車難、停車難、交通秩序混亂等問題日益突顯,對(duì)城市交通管理造成的沖擊和壓力越來越大。城市道路交通擁擠堵塞問題已成為制約經(jīng)濟(jì)發(fā)展、降低人民生活質(zhì)量、削弱經(jīng)濟(jì)活力的瓶頸之一。比如,節(jié)日前后的交通擁堵,交通管理現(xiàn)狀和需求的矛盾進(jìn)一步加劇,與交通相關(guān)的刑事和治安案件數(shù)量也逐年上升,特別是像肇事或作案后駕車逃逸、盜搶機(jī)動(dòng)車輛、車輛違章行駛等。另外依據(jù)黨中央、國務(wù)院對(duì)收費(fèi)公路制度的改革要求和決策部署,提高綜合交通運(yùn)輸網(wǎng)絡(luò)效率,取消全國高速公路省界收費(fèi)站,實(shí)現(xiàn)不停車快捷收費(fèi),這就使得快速準(zhǔn)確獲取車輛信息變得迫在眉睫。

2 車輛信息識(shí)別技術(shù)的國內(nèi)外現(xiàn)狀

機(jī)動(dòng)車車牌自動(dòng)識(shí)別技術(shù)研究國外起步較早,從20世紀(jì)80年代,國外的研究人員就開始了對(duì)機(jī)動(dòng)車車牌識(shí)別系統(tǒng)的研究。傳統(tǒng)的機(jī)動(dòng)車車牌自動(dòng)識(shí)別技術(shù)是利用計(jì)算機(jī)視頻圖像識(shí)別技術(shù)在車輛牌照識(shí)別的一種應(yīng)用。車牌識(shí)別在高速公路車輛管理中得到廣泛應(yīng)用,電子收費(fèi)(ETC)系統(tǒng)中,也是結(jié)合機(jī)動(dòng)車車牌自動(dòng)識(shí)別技術(shù)識(shí)別車輛身份的主要手段。車牌識(shí)別技術(shù)能夠?qū)⑦\(yùn)動(dòng)中的汽車牌照從復(fù)雜背景中提取并識(shí)別出來,通過車牌提取、圖像預(yù)處理、特征提取、車牌字符識(shí)別等技術(shù),識(shí)別車輛牌號(hào)、顏色等信息,最新的技術(shù)水平為字母和數(shù)字的識(shí)別率可達(dá)到99.7%,漢字的識(shí)別率可達(dá)到99%。

由于我國機(jī)動(dòng)車車牌識(shí)別的特殊性,即我國的車牌格式和國外有較大的差異,我國標(biāo)準(zhǔn)汽車牌照是由漢字、英文字母和阿拉伯?dāng)?shù)字組成,漢字識(shí)別與字母和數(shù)字的識(shí)別有很大的區(qū)別,漢字的識(shí)別增加了識(shí)別的難度;采用任何一種單一識(shí)別技術(shù)均難以奏效,我們只能進(jìn)行參考,不能進(jìn)行直接應(yīng)用。雖然我國車牌的識(shí)別需要識(shí)別漢字,但是對(duì)于英文字母和數(shù)字的識(shí)別,我們可以借鑒國外的研究技術(shù),日本、加拿大、德國等發(fā)達(dá)國家都有適用于本國的車牌識(shí)別系統(tǒng)。

國內(nèi)在20世紀(jì)90年代也開始了自己的車牌識(shí)別系統(tǒng)的研究。目前比較成熟的產(chǎn)品有中科院自動(dòng)化研究所漢王公司的漢王眼,香港亞洲視覺科技有限公司的慧光車牌號(hào)碼識(shí)別系統(tǒng)等。另外西安交通大學(xué)的圖像處理和識(shí)別實(shí)驗(yàn)室、上海交通大學(xué)的計(jì)算機(jī)科學(xué)和工程系、清華大學(xué)人工智能國家重點(diǎn)實(shí)驗(yàn)室、浙江大學(xué)自動(dòng)化系等都做過類似的研究,雖然這些車牌識(shí)別系統(tǒng)的識(shí)別率大多都比較高,如95%,甚至97%、98%,但是這些車牌識(shí)別系統(tǒng)的識(shí)別檢測結(jié)果大多數(shù)是在簡單受限制的場景下取得的,在實(shí)際的交通場合以及更加復(fù)雜的背景環(huán)境的情況下,這些車牌識(shí)別系統(tǒng)的識(shí)別率一般都很低。

3 辨識(shí)系統(tǒng)基本原理

基于AI+深度學(xué)習(xí)算法的車輛融合信息辨識(shí)系統(tǒng)硬件架構(gòu)是基于“高性能AI硬件結(jié)構(gòu)+深度學(xué)習(xí)算法”的架構(gòu),可提高整體硬件性能與圖像處理的速度。攝像機(jī)采集到的信息通過深度學(xué)習(xí)的智能算法處理,替換掉了原模式識(shí)別算法,去除了原算法層面的人工目標(biāo)挑選過程,由前端攝像機(jī)來承擔(dān)進(jìn)行目標(biāo)自主挑選,摒除人工挑選對(duì)識(shí)別模式的限制。利用計(jì)算機(jī)精細(xì)化的運(yùn)算、幾何圖形、幾何比例特殊的處理方式,通過大量過車目標(biāo)的自主學(xué)習(xí)從而提高車輛特征、號(hào)牌的識(shí)別準(zhǔn)確率,達(dá)到精細(xì)化識(shí)別的目的,從而提高了系統(tǒng)魯棒性、環(huán)境適應(yīng)性。將信息融合理論應(yīng)用于車輛融合信息辨識(shí)系統(tǒng)中,實(shí)現(xiàn)車輛多類型參數(shù)的動(dòng)態(tài)采集,包含車輛速度檢測、車輛圖像記錄、超速抓拍、車輛牌照自動(dòng)識(shí)別、車身顏色識(shí)別、車型判別等,避免了傳統(tǒng)采集系統(tǒng)的單一性,可以為車輛道路管理及上層交通管理系統(tǒng)提供豐富的數(shù)據(jù)基礎(chǔ)。

我們研發(fā)的基于AI+深度學(xué)習(xí)算法的車輛融合信息辨識(shí)系統(tǒng)在攝像機(jī)高清成像方面,采用“高性能 AI 硬件平臺(tái)+深度學(xué)習(xí)算法”的架構(gòu),精細(xì)化控制確保高清圖像的成像質(zhì)量,使得攝像機(jī)在不同環(huán)境、不同光照條件下均可達(dá)到滿足業(yè)務(wù)應(yīng)用的成像效果。

視頻檢測方面,利用深度學(xué)習(xí)算法實(shí)時(shí)監(jiān)測視頻圖像中的目標(biāo),在車頭到達(dá)停止線以前完成車輛檢測工作,同時(shí)鎖定畫面中經(jīng)過每條車道的車輛,提高車輛檢測工作的時(shí)效性。

車牌識(shí)別方面相對(duì)于單幀畫面車牌識(shí)別技術(shù)和多幀識(shí)別技術(shù),本系統(tǒng)采用“深度學(xué)習(xí)”技術(shù),通過算法反復(fù)訓(xùn)練和自學(xué)習(xí),一方面可提升車牌識(shí)別準(zhǔn)確率,另一方面有助于對(duì)車輛進(jìn)行持續(xù)跟蹤。

車輛跟蹤方面,在檢測到車輛目標(biāo)以后,利用深度學(xué)習(xí)車輛跟蹤算法鎖定目標(biāo),并對(duì)其進(jìn)行持續(xù)跟蹤,最終獲得車輛在路口的行駛軌跡,為闖紅燈、壓線、不按導(dǎo)向車道行駛等交通違法行為的取證提供技術(shù)基礎(chǔ)。

交通違法辨識(shí)方面,利用深度學(xué)習(xí)算法,將車輛跟蹤刻畫的行駛軌跡與車道屬性、信號(hào)燈狀態(tài)(紅、黃、綠)相結(jié)合,實(shí)現(xiàn)分車道、多相位的交通違法辨識(shí);利用深度學(xué)習(xí)算法,在車輛檢測、車輛跟蹤的基礎(chǔ)上,結(jié)合車道屬性統(tǒng)計(jì)出分車道、分?jǐn)嗝?、分時(shí)段的車流數(shù)據(jù),計(jì)算出占有率、飽和度等。

卡口監(jiān)測方面,卡口監(jiān)測指利用深度學(xué)習(xí)算法提取通行車輛的號(hào)牌特征,利用車牌顏色識(shí)別與車輛輪廓分析提取車型特征,用以與黑名單庫進(jìn)行比對(duì)、報(bào)警。

車輛融合信息辨識(shí)系統(tǒng)由卡口前端子系統(tǒng)、網(wǎng)絡(luò)傳輸子系統(tǒng)和后端管理子系統(tǒng)組成。實(shí)現(xiàn)對(duì)通行車輛信息的采集、傳輸、處理、分析與集中管理。

前端子系統(tǒng),負(fù)責(zé)完成車輛綜合信息的采集,包括車輛特征照片、車牌號(hào)碼與車牌顏色等。并完成圖片信息識(shí)別、數(shù)據(jù)緩存以及壓縮上傳等功能,主要由卡口抓拍單元、補(bǔ)光燈、終端服務(wù)器、外場工業(yè)交換機(jī)、光纖收發(fā)器、開關(guān)電源、防雷器等設(shè)備組成。

傳輸與后端管理子系統(tǒng),傳輸部分:負(fù)責(zé)系統(tǒng)組網(wǎng),完成數(shù)據(jù)、圖片的傳輸與交換;后端管理部分:負(fù)責(zé)實(shí)現(xiàn)對(duì)轄區(qū)內(nèi)相關(guān)數(shù)據(jù)的匯聚、處理、存儲(chǔ)、應(yīng)用、管理與共享,由中心管理平臺(tái)和存儲(chǔ)系統(tǒng)組成。中心管理平臺(tái)由搭載平臺(tái)軟件模塊的服務(wù)器組成,包括:管理服務(wù)器、應(yīng)用服務(wù)器、Web服務(wù)器、圖片服務(wù)器和數(shù)據(jù)庫服務(wù)器等。

在功能模塊上,主要分為目標(biāo)檢測、圖像采集處理單元、前端數(shù)據(jù)處理及上傳單元、網(wǎng)絡(luò)傳輸單元、視頻監(jiān)控單元。

目標(biāo)檢測、圖像采集處理單元,由卡口抓拍單元加補(bǔ)光燈組成?？谧ヅ膯卧梢曨l檢測功能,采用視頻檢測算法完成機(jī)動(dòng)車、非機(jī)動(dòng)車和行人的目標(biāo)檢測及抓拍,同時(shí)輸出高清照片和車牌識(shí)別數(shù)據(jù),具備強(qiáng)光(逆、順)抑制功能,減弱白天日光對(duì)卡口抓拍單元和夜間機(jī)動(dòng)車大燈對(duì)卡口抓拍單元拍照的影響,從所拍照片上能清晰呈現(xiàn)機(jī)動(dòng)車正面全貌和車牌特征。

前端數(shù)據(jù)處理及上傳單元,前端數(shù)據(jù)可以在終端服務(wù)器內(nèi)就地備份存儲(chǔ),并上傳中心管理平臺(tái)。當(dāng)網(wǎng)絡(luò)傳輸通道故障情況下,終端服務(wù)器可以暫存車輛通行數(shù)據(jù),當(dāng)通信恢復(fù)以后,臨時(shí)存儲(chǔ)的數(shù)據(jù)能自動(dòng)續(xù)傳,補(bǔ)錄到中心管理平臺(tái)集中存儲(chǔ)。

網(wǎng)絡(luò)傳輸單元,主要由路口工業(yè)交換機(jī)、網(wǎng)線等資源組成,實(shí)現(xiàn)卡口前端子系統(tǒng)與中心平臺(tái)之間的互聯(lián)互通。

視頻監(jiān)控單元,由高清全景攝像機(jī)加上補(bǔ)光設(shè)備組成。以實(shí)現(xiàn)24小時(shí)全天候不間斷的高質(zhì)量圖像視頻信息采集。

4 辨識(shí)系統(tǒng)優(yōu)越性

本系統(tǒng)測量準(zhǔn)確率高,使用靈活方便,易于集成,可以有效提升異常車輛查處與攔截的準(zhǔn)確度,能夠有效針對(duì)假套牌進(jìn)行分析比對(duì),對(duì)前端路面進(jìn)行抓拍分析,結(jié)合數(shù)據(jù)中心的處理算法,具備研判交通態(tài)勢的能力以及流量統(tǒng)計(jì)的功能,還能對(duì)車牌進(jìn)行精確化的識(shí)別,輔助提高城市交通的規(guī)劃能力,能充分避免交通擁堵等問題,同時(shí)彌補(bǔ)多年來靠單幀圖像和多幀圖像識(shí)別技術(shù)的不足,大幅度地提高車輛車牌辨識(shí)的準(zhǔn)確度。在系統(tǒng)設(shè)計(jì)過程中,充分借鑒、利用國內(nèi)外的先進(jìn)技術(shù)和成功經(jīng)驗(yàn),在系統(tǒng)結(jié)構(gòu)和設(shè)備選型上精益求精,將高清成像技術(shù)、智能視頻檢測分析技術(shù)、攝像機(jī)內(nèi)嵌車牌識(shí)別等代表行業(yè)發(fā)展趨勢的先進(jìn)、成熟技術(shù)有機(jī)結(jié)合在一起,設(shè)計(jì)出一套性能優(yōu)異的道路車輛智能監(jiān)測記錄系統(tǒng)。避免投入即陷入技術(shù)落后,且規(guī)避因業(yè)務(wù)、運(yùn)行環(huán)境的變化而造成系統(tǒng)大范圍調(diào)整的可能。

目前,國內(nèi)外常見的車牌識(shí)別系統(tǒng)實(shí)現(xiàn)的方式主要分為兩種:一種是靜態(tài)圖像圖片的識(shí)別,另一種是動(dòng)態(tài)視頻流的實(shí)時(shí)識(shí)別。靜態(tài)圖像識(shí)別技術(shù)的識(shí)別有效率較大程度上受限于圖像的抓拍質(zhì)量,多為單幀圖像識(shí)別,而動(dòng)態(tài)視頻流的識(shí)別技術(shù)適應(yīng)性較強(qiáng),識(shí)別速度快,它實(shí)現(xiàn)了對(duì)視頻每一幀圖像進(jìn)行識(shí)別,增加識(shí)別比對(duì)次數(shù),擇優(yōu)選取車牌號(hào),關(guān)鍵在于較少地受到單幀圖像質(zhì)量的影響。

5 辨識(shí)系統(tǒng)應(yīng)用場景

本系統(tǒng)具有良好的應(yīng)用前景,能夠廣泛地應(yīng)用于交通事件實(shí)現(xiàn)自動(dòng)報(bào)警,重點(diǎn)位置流量檢測,易堵點(diǎn)檢測等場景中。

通過本系統(tǒng)可實(shí)現(xiàn)不停車快捷收費(fèi),減少路面車輛擁堵現(xiàn)象,提高車輛信息檢測效率和精度。公路中日益嚴(yán)重的交通擁堵現(xiàn)象嚴(yán)重影響了城市形象及經(jīng)濟(jì)社會(huì)的可持續(xù)發(fā)展,本系統(tǒng)能夠?qū)飞闲旭偟臋C(jī)動(dòng)車輛進(jìn)行高質(zhì)量的自動(dòng)抓拍、自動(dòng)識(shí)別、自動(dòng)比對(duì)、軌跡查詢回放、車牌識(shí)別、車輛顏色和車型記錄、車速檢測以及對(duì)重點(diǎn)部位的全天候24h全面監(jiān)控覆蓋檢測,全面記錄道路上所有通行車輛,從而能夠避免路面擁堵現(xiàn)象;實(shí)現(xiàn)了不停車快捷檢測收費(fèi),減少了擁堵過程中廢氣的排放強(qiáng)度和時(shí)間,提高了高速公路收費(fèi)卡口的通行效率,有效地解決了交通擁堵和檢測效率的矛盾。此外,還消除了人工檢測的缺陷,提高了檢測效率和通行速度。對(duì)基本公共設(shè)施、改善大氣環(huán)境污染有著積極的作用。

本系統(tǒng)能夠全面檢測道路上所有通行車輛,實(shí)現(xiàn)異常車輛的查處和攔截,優(yōu)化交通組織結(jié)構(gòu),輔助提高城市交通規(guī)劃能力,使得道路運(yùn)輸系統(tǒng)有序進(jìn)行;大幅度地提升交通管理部門的辦案時(shí)效,以最少的人力投入,降低案件比;幫助公安部門提升假套牌的分析能力,提升交通態(tài)勢研判能力;助力規(guī)范交通秩序,提高公民素質(zhì),提升緝查布控業(yè)務(wù)的緝查布控能力。

另外本系統(tǒng)對(duì)于公路的設(shè)計(jì)、建造、運(yùn)營、管理、養(yǎng)護(hù)以及生態(tài)環(huán)保等方面也具有重要的意義。