基于AI和云計(jì)算架構(gòu)的智慧交通非現(xiàn)場(chǎng)執(zhí)法綜合檢測(cè)系統(tǒng)設(shè)計(jì)

□ 文 /李強(qiáng) 何均宏

研究目標(biāo)

目前各地所建立的智能交通視頻系統(tǒng)中，可通過(guò)云平臺(tái)、深度學(xué)習(xí)算法，在違法檢測(cè)的處理能力和檢索能力上進(jìn)行突破。

研究要求

基于云計(jì)算的技術(shù)架構(gòu)，在數(shù)據(jù)的處理能力、數(shù)據(jù)的接入、處理滿足可擴(kuò)展與標(biāo)準(zhǔn)化的設(shè)計(jì)要求。

系統(tǒng)設(shè)計(jì)思路

系統(tǒng)采用分層設(shè)計(jì)，基于組件技術(shù)，實(shí)現(xiàn)分層解構(gòu)，架構(gòu)圖如圖1：

系統(tǒng)約束

· 采用云計(jì)算架構(gòu)進(jìn)行前端海量數(shù)據(jù)的分析；

· 模塊化視頻分析設(shè)計(jì)，滿足云計(jì)算架構(gòu)的軟件體系部署；

· 標(biāo)準(zhǔn)化的接口定義，滿足技術(shù)發(fā)展和后續(xù)持續(xù)開的技術(shù)要求；

模塊設(shè)計(jì)

引入智能云計(jì)算技術(shù)，提供視頻智能分析模塊面向?qū)崙?zhàn)需求。該系統(tǒng)主要模塊有：

▲圖1 系統(tǒng)架構(gòu)圖

· 模塊化視頻分析設(shè)計(jì)，滿足云計(jì)算架構(gòu)的軟件體系部署，其中算法模塊管理，以算法池的方式體現(xiàn)；

· 圖形識(shí)別、特征提取等深度學(xué)習(xí)算法研究與實(shí)現(xiàn)；

· 車輛檢測(cè)、違法檢測(cè)、車輛特征識(shí)別等智能交通行業(yè)應(yīng)用。

系統(tǒng)數(shù)據(jù)接入及分析框架

基于華為FusionSphere云計(jì)算、FusionInsight AI平臺(tái)和算法倉(cāng)架構(gòu)，部署Vion-Tech繁星行業(yè)算法及應(yīng)用軟件，處理集群數(shù)據(jù)流走向是基于storm流式數(shù)據(jù)處理架構(gòu)設(shè)計(jì)，要對(duì)數(shù)據(jù)的接入、處理流程進(jìn)行負(fù)載均衡。同時(shí)，由主節(jié)點(diǎn)自動(dòng)控制組織各個(gè)服務(wù)節(jié)點(diǎn)的拓?fù)?，?shí)現(xiàn)服務(wù)節(jié)點(diǎn)的自動(dòng)化部署。

原型搭建

首先，搭建了一套以GPU為核心的云平臺(tái)，擁有極強(qiáng)的視頻處理能力。

其次，從數(shù)據(jù)的接入格式、數(shù)據(jù)結(jié)構(gòu)、輸出數(shù)據(jù)結(jié)構(gòu)都要進(jìn)行預(yù)先定義，規(guī)范統(tǒng)一的輸入、輸出接口，以及其他數(shù)據(jù)形式等等，在軟件結(jié)構(gòu)上要規(guī)范交互接口標(biāo)準(zhǔn)。

再次，算法模塊內(nèi)部采用深度學(xué)習(xí)算法，在提高檢測(cè)率、準(zhǔn)確率的同時(shí)，用最少的硬件來(lái)對(duì)海量數(shù)據(jù)進(jìn)行高效、快速、準(zhǔn)確的檢測(cè)分析，讓舊系統(tǒng)并行增加功能，達(dá)到緩解社會(huì)交通問(wèn)題的目的。

基于深度學(xué)習(xí)的交通違法檢測(cè)算法設(shè)計(jì)

算法設(shè)計(jì)目標(biāo)：實(shí)現(xiàn)四大類48種交通違法行為、事件檢測(cè)

近年來(lái)，深度學(xué)習(xí)技術(shù)在包括目標(biāo)檢測(cè)在內(nèi)的各計(jì)算機(jī)視覺(jué)任務(wù)上都取得了突破性進(jìn)展，具備較高目標(biāo)捕獲率和正確識(shí)別率。基于目標(biāo)軌跡跟蹤、目標(biāo)自適應(yīng)、幾何建模等最新人工智能技術(shù)，可同步實(shí)現(xiàn)四大類、48種常見交通違法行為、交通事件的檢測(cè)抓拍功能。算法總體流程如圖2：

基于深度學(xué)習(xí)的STD三層車輛檢測(cè)方案設(shè)計(jì)

本系統(tǒng)通過(guò)三層識(shí)別的方法有效去除復(fù)雜場(chǎng)景下非目標(biāo)物體的干擾，大大提高檢測(cè)準(zhǔn)確率和檢測(cè)效率，具體的檢測(cè)方法分為三層,如圖3：

▲圖2 視頻違法分析流程圖

第一層，對(duì)目標(biāo)物體進(jìn)行運(yùn)動(dòng)分析+背景建模。通過(guò)對(duì)目標(biāo)物體建立若干個(gè)不同角度的模型，對(duì)場(chǎng)景內(nèi)的目標(biāo)進(jìn)行粗略的檢測(cè)。

第二層，對(duì)目標(biāo)物體進(jìn)行形狀+紋理建模。通過(guò)對(duì)目標(biāo)物體的形狀以及紋理（顏色等）進(jìn)行建模，去掉大部分形狀。

第三層，采用端到端的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。

本系統(tǒng)三層處理結(jié)構(gòu)，使得無(wú)論在何種光照下，圖像空間的相對(duì)色差的紋理都可以保持穩(wěn)定。

DTrack級(jí)聯(lián)混合跟蹤算法設(shè)計(jì)

目標(biāo)跟蹤模塊是在車輛定位的基礎(chǔ)上對(duì)時(shí)間軸上的圖像信息進(jìn)行密集采樣，對(duì)已定位的車輛進(jìn)行目標(biāo)鎖定，并對(duì)鎖定的車輛進(jìn)行實(shí)時(shí)跟蹤，來(lái)計(jì)算出車輛的精確位置和車輛的運(yùn)動(dòng)矢量軌跡曲線圖。

實(shí)時(shí)多變的外界條件，如天氣、光照、運(yùn)動(dòng)物體的影子及混亂干擾的影響給運(yùn)動(dòng)檢測(cè)帶來(lái)了困難。我們?cè)O(shè)計(jì)了DTrack級(jí)聯(lián)混合跟蹤算法。

該算法包括多個(gè)級(jí)聯(lián)層級(jí)結(jié)構(gòu)，開始級(jí)別算法簡(jiǎn)單、速度快、處理的跟蹤問(wèn)題也較為簡(jiǎn)單，越往后算法越復(fù)雜、速度越慢、處理精度也越高。通過(guò)目標(biāo)原型驗(yàn)證優(yōu)化，大大降低錯(cuò)誤跟蹤，提高跟蹤精度，速度也非常快。

基于CNN和度量監(jiān)督的CMV車牌識(shí)別設(shè)計(jì)

車牌識(shí)別是基于圖像分割和圖像識(shí)別理論，主要包括如下過(guò)程：

圖像采集：通過(guò)高清攝像抓拍主機(jī)對(duì)卡口過(guò)車或車輛違章行為進(jìn)行實(shí)時(shí)、不間斷記錄、采集。

預(yù)處理：圖片質(zhì)量是影響車輛識(shí)別率的關(guān)鍵因素，因此，需要對(duì)高清攝像抓拍主機(jī)采集到的原始圖像進(jìn)行噪聲過(guò)濾、自動(dòng)白平衡、對(duì)比度調(diào)整等。

車牌定位：車牌定位的準(zhǔn)確與否直接決定后面的字符分割和識(shí)別效果。

字符分割：在圖像中定位出車牌區(qū)域后，進(jìn)一步精確定位字符區(qū)域。

▲圖4 車牌識(shí)別網(wǎng)絡(luò)設(shè)計(jì)

字符識(shí)別：對(duì)分割后的字符進(jìn)行模式識(shí)別，就可以識(shí)別出輸入的字符圖像。

本系統(tǒng)采用基于GPU的云平臺(tái)，本系統(tǒng)設(shè)計(jì)了一種端到端的的深度學(xué)習(xí)網(wǎng)絡(luò)，只需收集足夠多的樣本，進(jìn)行訓(xùn)練就能不斷提升識(shí)別率，網(wǎng)絡(luò)設(shè)計(jì)如圖4：

通過(guò)自主學(xué)習(xí)等方式，自動(dòng)提升算法性能，可以在大角度復(fù)雜光照下，也達(dá)到正常角度、正常光照下的效果，大大減少了人為工作。

違法檢測(cè)、人車檢測(cè)、事件檢測(cè)功能說(shuō)明

序號(hào) 功能車輛違法監(jiān)測(cè)功能1 闖紅燈違法抓拍2 不按所需行進(jìn)方向駛?cè)雽?dǎo)向車道3 大貨車禁行4 不禮讓行人5-11 此處略

車輛及駕駛?cè)诵畔z測(cè)1 車輛圖像記錄2 駕駛?cè)嗣娌刻卣饔涗? 摩托車圖像記錄4 危險(xiǎn)品車輛抓拍5 渣土車輛抓拍6 新能源車輛監(jiān)測(cè)7-19 此處略交通事件監(jiān)測(cè)(18種，此處略)

測(cè)試結(jié)果

測(cè)試方法

前端通過(guò)100臺(tái)原有電警抓拍單元進(jìn)行車輛違法抓拍；同時(shí)把這100臺(tái)電警抓拍單元的視頻接入到后端測(cè)試設(shè)備，在相同視頻源基礎(chǔ)上，進(jìn)行后端的車輛違法抓拍。

測(cè)試結(jié)果

違法抓拍功能種類對(duì)比表

指標(biāo) 前端設(shè)備抓拍功能列表后端設(shè)備抓拍功能列表常規(guī)功能 闖紅燈、跨線變道、壓線、不按導(dǎo)向方向行駛、逆行、不按規(guī)定車道行駛闖紅燈、跨線變道、壓線、不按導(dǎo)向方向行駛、逆行、不按規(guī)定車道行駛擴(kuò)展功能 無(wú) 非法掉頭、越線停車、大貨車禁行、路口滯留、大彎小轉(zhuǎn)、不禮讓行人、左轉(zhuǎn)不讓直行、右轉(zhuǎn)不讓非機(jī)動(dòng)車、非法停車、拋灑物、擁堵檢測(cè)、行人檢測(cè)

常規(guī)功能抓拍測(cè)試結(jié)果

指標(biāo) 前端設(shè)備抓拍 后端設(shè)備抓拍闖紅燈、跨線變道、壓線、不按導(dǎo)向方向行駛、逆行、不按規(guī)定車道行駛捕獲數(shù)量匯總 950 1045有效數(shù)量匯總 923 956

擴(kuò)展功能抓拍測(cè)試結(jié)果

＊ 注：擴(kuò)展抓拍功能，前端測(cè)試設(shè)備有些功能尚不支持

指標(biāo) 前端設(shè)備抓拍 后端設(shè)備抓拍功非法掉頭、越線停車、大貨車禁行、路口滯留、大彎小轉(zhuǎn)、不禮讓行人、左轉(zhuǎn)不讓直行、右轉(zhuǎn)不讓非機(jī)動(dòng)車、非法停車、拋灑物、擁堵檢測(cè)、行人檢測(cè)捕獲數(shù)量匯總 428 1590有效數(shù)量匯總 355 1490

應(yīng)用結(jié)論及展望

本平臺(tái)采用云計(jì)算、深度學(xué)習(xí)技術(shù)架構(gòu)，統(tǒng)一和規(guī)范了流程與接口，在綜合違法監(jiān)測(cè)能力、數(shù)據(jù)的挖掘能力、處理能力和檢索能力上進(jìn)行了突破。對(duì)道路監(jiān)控產(chǎn)生的視頻數(shù)據(jù)進(jìn)行了充分的二次利用，確保系統(tǒng)的可復(fù)用性，減少高成本智能前端的重復(fù)建設(shè)，可以創(chuàng)造巨大的社會(huì)效益。