多元融合神經(jīng)網(wǎng)絡(luò)模型的車載移動式交通執(zhí)法取證系統(tǒng)研究

文圖｜劉海平 張雷元 唐勇 劉凡 劉瑛

車載移動式交通執(zhí)法取證系統(tǒng)是公安交通管理部門的重要執(zhí)法手段，對于規(guī)范路面秩序和保障交通安全具有重要作用。本研究充分應(yīng)用人工智能、圖像識別等技術(shù)，突破多種違法行為動態(tài)檢測算法，研發(fā)智能化車載移動執(zhí)法取證系統(tǒng)，實(shí)現(xiàn)對路面違法行為的自動抓拍，提高違法證據(jù)采集的有效率和規(guī)范性，進(jìn)一步擴(kuò)大路網(wǎng)監(jiān)測范圍，有效遏制道路監(jiān)測“盲區(qū)”內(nèi)車輛違法行為，保障道路通行安全有序。

一、技術(shù)現(xiàn)狀與需求分析

傳統(tǒng)車載執(zhí)法取證系統(tǒng)采用數(shù)字視頻技術(shù)，在警車或其他執(zhí)法車輛上安裝車載終端和攝像機(jī)， 對執(zhí)法過程中發(fā)現(xiàn)的違法行為進(jìn)行人工采集，然后通過無線網(wǎng)絡(luò)將信息上傳至指揮中心，由后臺軟件對違法進(jìn)行校核、入庫和處罰。由于傳統(tǒng)系統(tǒng)需要人工取證，其工作量和難度很大，不利于推廣應(yīng)用，于是一些廠家和研究人員開始研發(fā)智能化移動執(zhí)法取證系統(tǒng)。但目前研究提出的移動執(zhí)法取證系統(tǒng)，在視頻取證的自動性、實(shí)時(shí)性、準(zhǔn)確性等方面，與實(shí)際需求相比，仍然存在較大差距。

綜合公安交管部門應(yīng)用需求和研究現(xiàn)狀，一套智能化移動執(zhí)法取證系統(tǒng)應(yīng)滿足以下要求：一是違法證據(jù)全自動采集。能實(shí)現(xiàn)對違法占道、逆行、非法變道超車、加塞插隊(duì)、壓實(shí)線等常見違法行為抓拍，能滿足高速公路、普通公路和城市道路等多場景應(yīng)用；采集違法記錄準(zhǔn)確率超過60%，采集的違法視頻、圖片分辨率不低于1920×1080；證據(jù)鏈要完整可靠，二是違法信息保存與上傳。具備違法信息保存在本地的功能，保存時(shí)長至少為72小時(shí)。應(yīng)實(shí)時(shí)將數(shù)據(jù)上傳至公安交通集成指揮平臺，接入數(shù)據(jù)因故障傳輸中斷的，故障排除后，系統(tǒng)應(yīng)能自動恢復(fù)上傳；數(shù)據(jù)恢復(fù)上傳時(shí)，應(yīng)優(yōu)先上傳實(shí)時(shí)數(shù)據(jù)；數(shù)據(jù)積壓超過60分鐘時(shí)，對積壓數(shù)據(jù)分批傳輸，每批次傳輸數(shù)據(jù)量不大于集成指揮平臺接入能力。三是違法信息審核校驗(yàn)。根據(jù)公安部《道路交通安全違法行為處理程序規(guī)定》，所有非現(xiàn)場違法信息需要人工審核，審核時(shí)自動關(guān)聯(lián)機(jī)動車登記系統(tǒng)，調(diào)取機(jī)動車基本信息，自動關(guān)聯(lián)被盜搶、套牌和假牌車信息，對比結(jié)果反饋給操作人。

二、系統(tǒng)架構(gòu)和功能設(shè)計(jì)

（一）設(shè)計(jì)思路

根據(jù)用戶需求和系統(tǒng)實(shí)現(xiàn)要求，本研究基于4G/5G無線通信、移動高清視頻、高性能邊緣計(jì)算及人工智能等技術(shù)，對車載移動式交通違法取證系統(tǒng)進(jìn)行改進(jìn)和創(chuàng)新，具體設(shè)計(jì)思路為：一是通過全局曝光、偏光、去霧、感興趣區(qū)域曝光、3D降噪等圖像處理技術(shù)獲取高質(zhì)量圖像及視頻；二是通過車載本地算力及神經(jīng)網(wǎng)絡(luò)算法，對圖像及視頻進(jìn)行智能化分析，提高算法準(zhǔn)確率；三是利用多元融合算法進(jìn)行邏輯綜合，識別違法占道、強(qiáng)超強(qiáng)會、逆行等行為，并抓取違法車輛照片，提供準(zhǔn)確、清晰的違法證據(jù)；四是為執(zhí)法業(yè)務(wù)提供高效的閉環(huán)管理平臺，提高違法處理效率。

（二）系統(tǒng)架構(gòu)

系統(tǒng)由高清視頻采集、圖像/視頻編碼及存儲、圖像/視頻結(jié)構(gòu)化、多元數(shù)據(jù)融合分析、本地作業(yè)模塊、設(shè)備網(wǎng)關(guān)、平臺中間件、運(yùn)維平臺等部分組成，其結(jié)構(gòu)如圖1所示。其中，高清視頻采集、圖像/視頻編碼及存儲、圖像/視頻結(jié)構(gòu)化、多元數(shù)據(jù)融合分析、本地作業(yè)模塊、4G/5G通信為前端車載子系統(tǒng)的內(nèi)容；平臺中間件、運(yùn)維平臺為后端支持模塊。

（三） 網(wǎng)絡(luò)架構(gòu)

為滿足執(zhí)法相關(guān)業(yè)務(wù)需求，系統(tǒng)需要進(jìn)行聯(lián)網(wǎng)運(yùn)行，具體架構(gòu)如圖2所示。車載終端對路面違法行為進(jìn)行自動抓拍，通過4G/5G移動專網(wǎng)，將抓拍的違法信息通過接入/轉(zhuǎn)發(fā)平臺傳輸至公安交通集成指揮平臺，為查處交通違法行為提供證據(jù)。系統(tǒng)按照公安行業(yè)標(biāo)準(zhǔn)《公安交通集成指揮平臺通信協(xié)議 第5部分：交通違法監(jiān)測系統(tǒng)》（GA/T 1049.5-2013）、《公共安全視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)信息傳輸、交換、控制技術(shù)要求》（GB/T 28181-2016）、《公安視頻圖像信息應(yīng)用系統(tǒng)》（GA/T 1400-2017）等標(biāo)準(zhǔn)規(guī)定的通信協(xié)議，實(shí)現(xiàn)車載終端與中心平臺之間的通信。

（四）系統(tǒng)功能

系統(tǒng)具備四大功能。一是違法數(shù)據(jù)采集與接入。實(shí)時(shí)對車輛違法占用專用道、逆向行駛、加塞插隊(duì)、違法變道超車等違法行為自動采集，固化形成非現(xiàn)場違法證據(jù)。設(shè)備抓拍的違法信息通過違法數(shù)據(jù)接口上傳至接入/轉(zhuǎn)發(fā)平臺。二是違法數(shù)據(jù)審核與管理。運(yùn)用算法對車載終端上傳的違法視頻證據(jù)進(jìn)行自動交叉識別，并進(jìn)行特征比對。數(shù)據(jù)通過安全邊界上傳至公安網(wǎng)，并根據(jù)車載終端管理部門分發(fā)至各地集成指揮平臺。集成指揮平臺核對確認(rèn)違法的有效性，并錄入交通管理綜合應(yīng)用平臺，形成機(jī)動車非現(xiàn)場違法證據(jù)。三是違法信息查詢。查詢車載終端采集的全量違法信息，包括違法行為、號牌信息、違法時(shí)間、違法地點(diǎn)、抓拍視頻、違法關(guān)鍵幀截圖等信息。四是設(shè)備運(yùn)維管理。提供車載終端注冊接口，生成設(shè)備唯一性密鑰用于數(shù)據(jù)傳輸。實(shí)現(xiàn)終端入網(wǎng)審批、停用、啟用等功能。提供應(yīng)用程序開發(fā)接口，支持用戶特定的應(yīng)用開發(fā)或定制。

三、關(guān)鍵技術(shù)實(shí)現(xiàn)

（一）車載移動視頻圖像效果增強(qiáng)

車載環(huán)境下，高清視頻圖像采集面臨著車輛持續(xù)運(yùn)動帶來抖動、夜間光線明暗反差大、汽車玻璃反光等許多挑戰(zhàn)，為了解決上述問題，本系統(tǒng)采用多種技術(shù)融合的方法改善圖像效果。一是采用高分辨率相機(jī)（900萬像素）拍攝三個(gè)車道，確保對向來車駕駛?cè)说娜四槷嬅嫦袼財(cái)?shù)不少于100×100。二是采用大靶面超低照度CMOS傳感器、高通光量鏡頭，同時(shí)采用自動曝光+3D降噪技術(shù)減小高速運(yùn)動物體產(chǎn)生的運(yùn)動模糊效應(yīng)。三是有條件的車輛，夜間采用類似近光燈的可見光補(bǔ)光器，在避免干擾交通的同時(shí)，對視場進(jìn)行補(bǔ)光。四是采用EIS電子防抖技術(shù)，消除執(zhí)法車輛行進(jìn)過程的抖動影響。五是采用偏光技術(shù)（含鏡頭的鍍膜工藝）在減少紅光的干擾同時(shí)，降低對向車輛前擋風(fēng)玻璃的反光影響。六是采用電子去霧技術(shù)提高圖像有效信息的對比度，進(jìn)一步削弱中控臺反光及玻璃的臟污效應(yīng)。七是采用自適應(yīng)感興趣區(qū)域曝光技術(shù)匹配Iridix算法技術(shù)，提升攝像機(jī)的動態(tài)范圍，有效保留車輛細(xì)節(jié)信息，抓拍得到清晰的車牌。八是采用強(qiáng)光抑制技術(shù)，有效抑制車輛大燈過曝光，使低照度下道路標(biāo)線、車輛等感興趣目標(biāo)的信息更完整。

（二）面向車載終端的視頻圖像分析算法

根據(jù)車載移動執(zhí)法系統(tǒng)功能實(shí)現(xiàn)要求，視頻圖像分析算法應(yīng)具備車輛檢測、車牌檢測、車牌識別、車輛轉(zhuǎn)向燈判斷、車頭/車尾判斷、遠(yuǎn)光燈判斷、車距車速判斷、車道線檢測、人臉檢測、人臉屬性判斷等多種功能。在傳統(tǒng)目標(biāo)檢測算法中，每一種功能都需要一個(gè)專門的神經(jīng)網(wǎng)絡(luò)模型，當(dāng)功能增加的時(shí)候，模型的數(shù)量也隨之增加，最終導(dǎo)致算力爆炸，無法在移動前端落地。為解決這個(gè)問題，本研究嘗試將功能有相關(guān)性的任務(wù)整合在一起，合并成同一個(gè)模型：首先，使用一個(gè)性能強(qiáng)勁的backbone提取圖片內(nèi)的通用特征；其次，使用不同的head模塊，實(shí)現(xiàn)不同的檢測目的；最后，使用后處理模塊將所有信息合并處理，輸出期望的結(jié)果。

本研究把道路交通違法檢測需要的圖像結(jié)構(gòu)化要素，綜合形成了四個(gè)模型：一是車輛綜合檢測模型。實(shí)現(xiàn)車輛檢測、車牌檢測、車牌識別、車道線檢測、車輛轉(zhuǎn)向燈判斷、車頭/車尾判斷、遠(yuǎn)光燈判斷、車距車速判斷。二是道路綜合檢測模型。實(shí)現(xiàn)車道線分類、斑馬線/停止線檢測、路沿檢測、道路標(biāo)識分類。三是人臉綜合檢測模型。實(shí)現(xiàn)人臉檢測、人臉屬性判斷、人臉跟蹤。四是行人綜合檢測模型。實(shí)現(xiàn)行人檢測、行人跟蹤、非機(jī)動車檢測、非機(jī)動車載人/頭盔檢測。

為減少計(jì)算復(fù)雜度和工作量，適配車載終端硬件算力，綜合模型需要經(jīng)過蒸餾和量化處理。

1.模型蒸餾。模型蒸餾采用的“教師-學(xué)生”模式。先訓(xùn)練超大型模型（一般有上億的參數(shù)），然后用它的中間結(jié)果去“指導(dǎo)”小模型（一般為百萬量級的參數(shù)量）的訓(xùn)練。模型蒸餾一般有兩種標(biāo)簽，一種是人為標(biāo)注的hard target，比如[0,1,0,0]這樣的標(biāo)簽，代表這個(gè)樣本的類別是第二類；另一種是由“老師”模型輸出經(jīng)過softmax得到的soft target即[0.05,0.85,0.02,0.17]這樣的概率結(jié)果，代表這個(gè)樣本有85%的概率屬于第二類，有17%的概率屬于第四類。

模型蒸餾中用的softmax函數(shù)跟常規(guī)網(wǎng)絡(luò)有一些區(qū)別，其形式如下：

其中z是指經(jīng)過網(wǎng)絡(luò)輸出后，某個(gè)類別的得分，T是蒸餾的溫度參數(shù)，T越大，softmax函數(shù)產(chǎn)生的概率分布越平滑。

模型蒸餾常見的目標(biāo)函數(shù)有兩種：一是只使用soft target。在蒸餾時(shí)“老師”使用新的softmax產(chǎn)生soft target；“學(xué)生”使用新的softmax在transfer set上學(xué)習(xí)，和“老師”使用相同的T。二是同時(shí)使用soft target (q)和hard target (y)?！皩W(xué)生”的目標(biāo)函數(shù)是hard target和soft target目標(biāo)函數(shù)的加權(quán)平均，使用hard target時(shí)T=1，使用soft target時(shí)T和“老師”的一樣。根據(jù)研究經(jīng)驗(yàn)，可以給hard target的權(quán)重小一點(diǎn)，同時(shí)使用soft target和hard target的目標(biāo)函數(shù)如下所示：

其中CE(x)為交叉熵?fù)p失函數(shù)，p為模型輸出，y是hard target的標(biāo)簽值，q是soft target的標(biāo)簽值，T是設(shè)置的蒸餾溫度參數(shù)，α是兩個(gè)標(biāo)簽的權(quán)重函數(shù)。

2.模型量化。常見模型參數(shù)均為double（8字節(jié)）或者float（4字節(jié)），如果在接受較小精度損失的前提下，將其轉(zhuǎn)變成int8（1字節(jié)）類型的，則模型大小可以降低75%至85%，同時(shí)減低計(jì)算資源的開銷，這就是模型量化壓縮的技術(shù)。該方法還可以減少模型內(nèi)存和存儲占用空間。

該量化方法是一種類似于離差標(biāo)準(zhǔn)化的歸一化方法，是對原始數(shù)據(jù)進(jìn)行線性變換，使結(jié)果映射到一定的范圍內(nèi)，具體公式如下：

考慮到經(jīng)濟(jì)性和實(shí)際效果，本系統(tǒng)在車載終端部署了邊緣計(jì)算能力，采用具備多核CPU、3D GPU和NPU的高性能處理器，來處理高清視頻及圖像。經(jīng)測試驗(yàn)證，通過模型蒸餾和模型量化，上述綜合模型的總參數(shù)規(guī)模從十億級下降到了千萬級，使得本來需要巨大算力才能完成的任務(wù)，在輕量級算力的車載智能硬件上的運(yùn)行速度可以達(dá)到25幀/秒，完全滿足車載終端視頻圖像識別的實(shí)戰(zhàn)需求。

（三）交通違法行為判別準(zhǔn)則和邏輯綜合

系統(tǒng)通過視頻分析獲得了場景和目標(biāo)車輛信息，但要判斷車輛是否違法，還需根據(jù)行為特征進(jìn)行分析。這就要求人工提取各類違法行為特征，并制定相應(yīng)規(guī)則，由系統(tǒng)根據(jù)規(guī)則進(jìn)行判斷。按照交通管理部門審核違法的經(jīng)驗(yàn)，結(jié)合各類違法行為發(fā)生的要素，得到如表1所示的違法行為特征規(guī)則。

表1 違法行為特征規(guī)則

以檢測壓線行駛為例，結(jié)合表1的違法特征規(guī)則，邏輯判斷過程包括：首先，檢測算法分別收集前方車輛目標(biāo)位置和對向車道分界線（黃實(shí)線）、同向車道分界線（白實(shí)線）等信息。其次，判斷目標(biāo)車輛與車道分界線的相對位置。如果存在輪胎壓線或車身橫跨標(biāo)線情況，則將該車輛檢出作為違法壓實(shí)線車輛。再次，根據(jù)車道分界線顏色特征，進(jìn)一步判定目標(biāo)車輛壓黃實(shí)線違法還是壓白實(shí)線違法。然后，檢測算法檢測道路中央隔離護(hù)欄、路側(cè)防護(hù)欄等目標(biāo)情況，若發(fā)現(xiàn)道路同時(shí)存在中央隔離護(hù)欄和路側(cè)防護(hù)欄，則推斷出該道路為高速公路；其他為普通道路。最后，檢測算法檢測到車輛號牌，同時(shí)疊加道路、違法行為及時(shí)間信息，用高清視頻/圖像進(jìn)行記錄，融合形成執(zhí)法取證數(shù)據(jù)。

四、系統(tǒng)測試與應(yīng)用

為驗(yàn)證移動執(zhí)法取證系統(tǒng)的功能和性能，本研究于2021年在新疆維吾爾自治區(qū)烏魯木齊市和巴音郭楞蒙古自治州進(jìn)行了試點(diǎn)應(yīng)用，將系統(tǒng)的車載終端安裝在20多輛交警執(zhí)勤執(zhí)法車輛上，自動抓拍車輛在行駛過程中發(fā)現(xiàn)的交通違法行為，并將違法證據(jù)上傳至公安交通集成指揮平臺，然后推送到路面民警的移動警務(wù)終端（PDA），由民警實(shí)施攔截現(xiàn)場處罰或事后非現(xiàn)場處罰。在一年多的試用期間，該系統(tǒng)日均采集有效違法記錄400余條，識別準(zhǔn)確率達(dá)到60%以上。目前系統(tǒng)已經(jīng)能夠?qū)`法占道、強(qiáng)超強(qiáng)會、逆向行駛、違法壓實(shí)線、加塞插隊(duì)等20余種動態(tài)交通違法行為進(jìn)行取證，可滿足高速公路、普通公路和城市道路等多場景應(yīng)用，具有較好的推廣應(yīng)用價(jià)值。