道路交通視頻監(jiān)控設(shè)備數(shù)據(jù)結(jié)構(gòu)化效能評(píng)估及組合應(yīng)用

馮 睿, 鄧袁欽

(長(zhǎng)沙市公安局交通警察支隊(duì), 湖南 長(zhǎng)沙 410006)

1 概況

視頻監(jiān)控最初以模擬視頻的形式出現(xiàn)在綜合安防領(lǐng)域，隨著算法的演進(jìn)和技術(shù)的革新，視頻監(jiān)控步入信息化快速發(fā)展階段，多米諾效應(yīng)式地轉(zhuǎn)變?yōu)榫W(wǎng)絡(luò)高清視頻形式[1]。2012年公安部頒布《安全防范視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)信息傳輸、交換、控制技術(shù)要求》(GB/T 28181-2011)，推動(dòng)了視頻監(jiān)控系統(tǒng)向數(shù)字化、高清化方向的迅猛發(fā)展。道路交通視頻監(jiān)控系統(tǒng)作為視頻監(jiān)控系統(tǒng)的一個(gè)應(yīng)用分支，既是公安交管部門智能交通建設(shè)中的基礎(chǔ)業(yè)務(wù)系統(tǒng)之一，也是道路交通管理視頻管控工作中獲取重要信息來源不可或缺的一項(xiàng)技術(shù)。一直以來，“前端攝像機(jī)采集、后臺(tái)存儲(chǔ)交換、中心指揮應(yīng)用”三步曲是各大制造廠商和應(yīng)用單位的“制式”模式，這導(dǎo)致了工作人員在較長(zhǎng)的一段時(shí)間里，只會(huì)單純地通過鍵盤控制巡查道路交通擁堵狀況，抓拍違法車輛；或通過定點(diǎn)定時(shí)方式調(diào)閱歷史錄像查找嫌疑車輛。應(yīng)用上僅僅基于過車數(shù)據(jù)、時(shí)空分布軌跡、違法統(tǒng)計(jì)等做簡(jiǎn)單的情報(bào)信息分析，這些技術(shù)智能化程度較低，并不能充分挖掘視頻圖像數(shù)據(jù)潛在的價(jià)值。

視頻結(jié)構(gòu)化技術(shù)于2010年開始推廣應(yīng)用，該技術(shù)采用時(shí)空分割、特征提取及對(duì)象識(shí)別等手段，將視頻信息轉(zhuǎn)換為計(jì)算機(jī)可直接處理的文本信息[2]。視頻結(jié)構(gòu)化技術(shù)技術(shù)主要圍繞“結(jié)構(gòu)化數(shù)據(jù)”和“非結(jié)構(gòu)化數(shù)據(jù)”進(jìn)行視頻數(shù)據(jù)處理。結(jié)構(gòu)化數(shù)據(jù)是指關(guān)系數(shù)據(jù)，即存儲(chǔ)在數(shù)據(jù)庫里，可以用邏輯關(guān)系結(jié)構(gòu)來表達(dá)實(shí)現(xiàn)的數(shù)據(jù)；非結(jié)構(gòu)化數(shù)據(jù)是指不方便用數(shù)據(jù)庫邏輯關(guān)系表來表現(xiàn)的數(shù)據(jù)，包括各種格式的辦公文檔、文本、圖片、圖像及音頻信息等。可以簡(jiǎn)單的理解視頻結(jié)構(gòu)化技術(shù)就是將圖形圖像轉(zhuǎn)變?yōu)橛?jì)算機(jī)可直接分析的信息，這些數(shù)據(jù)信息具有5V的特點(diǎn)：Volume(海量)、Variety(多樣)、Velocity(高速)、Veracity(可信)和Value(有價(jià)值)。在公安實(shí)戰(zhàn)領(lǐng)域中，這些結(jié)構(gòu)化信息又可進(jìn)一步轉(zhuǎn)化為情報(bào)信息，從而實(shí)現(xiàn)基于視頻結(jié)構(gòu)化的視頻數(shù)據(jù)向信息、情報(bào)的轉(zhuǎn)化過程[3]。

近年來，部分安防廠商利用海量視頻資源，依托智能分析平臺(tái)完成了非結(jié)構(gòu)化視頻數(shù)據(jù)向結(jié)構(gòu)化描述信息的轉(zhuǎn)換，產(chǎn)出了“以圖搜圖”、“事件檢測(cè)”、“視頻摘要”、“人臉識(shí)別”等一系列視頻結(jié)構(gòu)化分析成果?；谒惴ǚ治?，將視頻監(jiān)控圖像進(jìn)行視頻結(jié)構(gòu)化處理，形成有價(jià)值數(shù)據(jù)積累，在減少數(shù)據(jù)存儲(chǔ)空間、縮減人力成本的同時(shí)，推動(dòng)了視頻監(jiān)控的實(shí)戰(zhàn)應(yīng)用效能。

視頻結(jié)構(gòu)化技術(shù)發(fā)展至今，在道路交通視頻應(yīng)用領(lǐng)域，主流的需求有2個(gè)： ① 依托所得數(shù)據(jù)，如人員信息(性別、面部信息、年齡范圍、身高、穿著等)、車輛信息(車牌、車型、顏色、車飾等)和行為信息(越界、徘徊、聚集等)，根據(jù)時(shí)間、空間等多個(gè)維度進(jìn)行數(shù)據(jù)篩選、特征提取與對(duì)象識(shí)別，并結(jié)合地圖跟蹤軌跡，開展緝查布控工作。隨著前端設(shè)備智能化程度越來越高，這些原本要經(jīng)過后臺(tái)服務(wù)器處理才能得到的信息，目前在前端就能直接完成。② 將智能分析后的數(shù)據(jù)信息通過圖表等形式展現(xiàn)，如違法類型分布、違法數(shù)量分布，以及在不同時(shí)段內(nèi)統(tǒng)計(jì)匯總交通擁堵狀況等[4]。

視頻結(jié)構(gòu)化技術(shù)處理后得到的情報(bào)信息在道路交通領(lǐng)域如何同其他信息系統(tǒng)進(jìn)行標(biāo)準(zhǔn)數(shù)據(jù)交換、互聯(lián)互通及語義互操作，一直受到道路交通管理者的關(guān)注。本文在道路交通視頻數(shù)據(jù)信息的基礎(chǔ)上，研究視頻結(jié)構(gòu)化技術(shù)的數(shù)據(jù)分析效果，并基于處理后得到的情報(bào)信息拓展其實(shí)際應(yīng)用領(lǐng)域。

2 道路交通視頻結(jié)構(gòu)化技術(shù)分析與應(yīng)用

2016年初，長(zhǎng)沙市公安局交警支隊(duì)啟動(dòng)了智能交通管理系統(tǒng)(第3期)項(xiàng)目建設(shè)，搭建了“融合原有視頻監(jiān)控、增加電警視頻流、多方位對(duì)接社會(huì)面交通視頻資源”的視頻聯(lián)網(wǎng)共享平臺(tái)，集成模擬及高清球機(jī)視頻、電子警察相機(jī)視頻流等各類視頻資源4600多路，不但實(shí)現(xiàn)了在視頻聯(lián)網(wǎng)共享平臺(tái)進(jìn)行統(tǒng)一查閱和調(diào)用，還收集到了海量的視頻資源。但如何使用這些海量的視頻資源，是智能交通視頻監(jiān)控建設(shè)者和指揮調(diào)度人員面臨的一道難題。

2017年伊始，嘗試對(duì)智能平臺(tái)收集到的海量視頻數(shù)據(jù)進(jìn)行拓展分析。一是將現(xiàn)有資源按照設(shè)備類型及像素等級(jí)進(jìn)行分類，篩選出具備開展深入分析條件的設(shè)備；二是利用目前行業(yè)內(nèi)主流視頻結(jié)構(gòu)化智能算法，對(duì)不同設(shè)備產(chǎn)生的視頻圖像進(jìn)行實(shí)時(shí)或歷史分析；最后分析結(jié)果，比對(duì)效果，并拓展應(yīng)用。

2.1 設(shè)備類型及像素等級(jí)分類

按照設(shè)備類型分，目前支隊(duì)共有道路電視監(jiān)控球機(jī)、電子警察槍型相機(jī)、魚眼相機(jī)3類。因建設(shè)年份不同，設(shè)備性能也略有差異。按照像素等級(jí)分，球機(jī)主要由模擬、720P、1080P 3類設(shè)備組成；電子警察槍型相機(jī)主要由500萬、600萬、700萬像素3類設(shè)備組成。

當(dāng)前，模擬球機(jī)屬于淘汰產(chǎn)品，因此不納入實(shí)驗(yàn)分析的范疇。而200萬像素1080P的電視監(jiān)控球機(jī)和700萬像素1080 P電子警察槍型相機(jī)，是目前國(guó)內(nèi)交管行業(yè)應(yīng)用最多、最廣泛的設(shè)備類型，具備一定代表性。因此，本文以這3種設(shè)備為研究對(duì)象，開展實(shí)驗(yàn)分析。

2.2 視頻結(jié)構(gòu)化實(shí)驗(yàn)結(jié)果與分析

選取了“楓林廣場(chǎng)”200萬像素1080P球機(jī)1套；“楓林路與麓山路交叉口” 700萬像素1080P電警相機(jī)1套，“楓林路交警科技大樓頂” 200萬像素1080P魚眼相機(jī)1套，以“在同一時(shí)間段內(nèi)，對(duì)同類型不同參數(shù)的設(shè)備進(jìn)行視頻結(jié)構(gòu)化，比對(duì)數(shù)據(jù)項(xiàng)的產(chǎn)量及準(zhǔn)確率情況”的方式開展實(shí)驗(yàn)分析。分析工作分為3個(gè)步驟: ① 對(duì)不同性能參數(shù)的設(shè)備進(jìn)行視頻結(jié)構(gòu)化后，對(duì)比其數(shù)據(jù)質(zhì)量(捕獲率)，圖像數(shù)據(jù)質(zhì)量是直接關(guān)系到結(jié)構(gòu)化數(shù)據(jù)是否可用的關(guān)鍵標(biāo)準(zhǔn)之一;② 比較不同性能設(shè)備獲取的數(shù)據(jù)效果，即對(duì)比不同設(shè)備結(jié)構(gòu)化產(chǎn)出數(shù)據(jù)的種類和準(zhǔn)確性；③ 綜合不同設(shè)備的視頻結(jié)構(gòu)化優(yōu)勢(shì)缺陷，探索數(shù)據(jù)結(jié)合應(yīng)用的可行性。表1為不同設(shè)備實(shí)際捕獲數(shù)據(jù)的數(shù)量及有效數(shù)據(jù)的數(shù)量。在數(shù)據(jù)質(zhì)量對(duì)比時(shí)，直接以準(zhǔn)確的車身顏色識(shí)別情況作為數(shù)據(jù)有效與否的判斷標(biāo)準(zhǔn)。結(jié)果顯示：700萬像素1080P電警相機(jī)的性能最好，因?yàn)槠錅?zhǔn)確率最高；在200萬像素設(shè)備中，電視監(jiān)控球機(jī)在捕獲的數(shù)據(jù)質(zhì)量方面要遠(yuǎn)超過魚眼相機(jī)；魚眼相機(jī)捕獲數(shù)據(jù)的性能最差。所以，像素越高、分辨率越大的設(shè)備，捕捉到數(shù)據(jù)的質(zhì)量越高。

表1 不同相機(jī)的捕獲率設(shè)備類型捕獲數(shù)據(jù)/次有效數(shù)據(jù)/次有效率/%電視監(jiān)控球機(jī)19810151.01電子警察槍型相機(jī)17312270.52魚眼相機(jī)000

表2為不同性能設(shè)備獲取的數(shù)據(jù)效果。可以看出，在數(shù)據(jù)種類方面，電子警察槍機(jī)視頻圖像結(jié)構(gòu)化后產(chǎn)出數(shù)據(jù)種類最多，電視監(jiān)控球機(jī)次之，魚眼相機(jī)無結(jié)果。電子警察槍機(jī)分辨率較高，角度合適，捕獲率及圖像質(zhì)量高。而普通電視監(jiān)控球機(jī)，分辨率不高，視場(chǎng)角較大，同時(shí)因工作需要隨時(shí)處于受控轉(zhuǎn)動(dòng)的狀態(tài)，導(dǎo)致一方面不會(huì)長(zhǎng)時(shí)間盯住某一個(gè)位置，另一方面目標(biāo)的像素較低，識(shí)別難度大。魚眼相機(jī)會(huì)因?yàn)槲锢砦恢藐P(guān)系，距離太遠(yuǎn)、視角太廣，而無法獲取目標(biāo)，并不適合做結(jié)構(gòu)化分析。

表2 車輛結(jié)構(gòu)化數(shù)據(jù)捕獲量設(shè)備類型過車數(shù)量/輛車牌號(hào)車身顏色車輛類型車輛品牌識(shí)別量/個(gè)識(shí)別率/%識(shí)別量/輛識(shí)別率/%識(shí)別量/輛識(shí)別率/%識(shí)別量/輛識(shí)別率/%電視監(jiān)控球機(jī)19800.0016281.8116080.8017085.85電子警察槍機(jī)1737845.0817299.4217098.2616997.68魚眼相機(jī)000000000設(shè)備類型過車數(shù)量/輛車輛子品牌車輛方向車牌類型車牌顏色識(shí)別量/輛識(shí)別率/%識(shí)別量/輛識(shí)別率/%識(shí)別量/輛識(shí)別率/%識(shí)別量/輛識(shí)別率/%電視監(jiān)控球機(jī)19816683.831981000000電子警察槍機(jī)17316293.641731004727.164727.16魚眼相機(jī)000000000

表3為不同設(shè)備結(jié)構(gòu)化產(chǎn)出數(shù)據(jù)的準(zhǔn)確性。結(jié)果顯示：電視監(jiān)控球機(jī)和電子警察槍機(jī)在數(shù)據(jù)產(chǎn)出正確率方面要遠(yuǎn)超魚眼相機(jī)；與電視監(jiān)控球機(jī)相比。電子警察槍機(jī)檢測(cè)內(nèi)容更多，大部分?jǐn)?shù)據(jù)內(nèi)容的正確率高于電視監(jiān)控球機(jī)，尤其是車牌信息。但有個(gè)別數(shù)據(jù)準(zhǔn)確性低于電視機(jī)監(jiān)控球機(jī)，如在“車輛方向”項(xiàng)目準(zhǔn)確率上，電視監(jiān)控球機(jī)幾乎高于電子警察相機(jī)百分十以上。電視監(jiān)控球機(jī)“270°旋轉(zhuǎn)、鏡頭變焦靈活”的劣勢(shì)卻也是它的優(yōu)勢(shì)，可以在人工或者自動(dòng)設(shè)置干預(yù)下跟緊目標(biāo)，識(shí)別出更準(zhǔn)確的數(shù)據(jù)。

表3 不同相機(jī)產(chǎn)出的結(jié)構(gòu)化數(shù)據(jù)準(zhǔn)確率設(shè)備類型過車數(shù)量/輛車牌號(hào)車身顏色車輛類型車輛品牌準(zhǔn)確量/個(gè)準(zhǔn)確率/%準(zhǔn)確量/輛準(zhǔn)確率/%準(zhǔn)確量/輛準(zhǔn)確率/%準(zhǔn)確量/輛準(zhǔn)確率/%電視監(jiān)控球機(jī)1980010162.3513181.8811265.88電子警察槍機(jī)1733544.8712270.9312573.5311065.09魚眼相機(jī)000000000設(shè)備類型過車數(shù)量/輛車輛子品牌車輛方向車牌類型車牌顏色準(zhǔn)確量/輛準(zhǔn)確率/%準(zhǔn)確量/輛準(zhǔn)確率/%準(zhǔn)確量/輛準(zhǔn)確率/%準(zhǔn)確量/輛準(zhǔn)確率/%電視監(jiān)控球機(jī)19874.2215176.260000電子警察槍機(jī)1733018.5211667.054595.744493.62魚眼相機(jī)000000000

綜上所述，不論是球機(jī)、槍機(jī)還是魚眼，都有各自的優(yōu)缺點(diǎn)。電子警察槍機(jī)可檢測(cè)分析的內(nèi)容更多，借助當(dāng)下流行的深度學(xué)習(xí)技術(shù)，甚至可以達(dá)到檢測(cè)出車窗標(biāo)識(shí)物(年檢標(biāo)、遮陽板、紙巾盒、掛墜、擺件)的程度，因拍攝角度固定不動(dòng)的物理特性，決定了其只能“卡點(diǎn)”而無法“機(jī)動(dòng)”。與電子警察相機(jī)不同，電視監(jiān)控球機(jī)則具備靈活的檢測(cè)范圍，利用本身旋轉(zhuǎn)可控的特點(diǎn)，借助人工或自動(dòng)設(shè)置可干預(yù)分析出更精準(zhǔn)的車輛結(jié)構(gòu)化數(shù)據(jù)，能夠在一定范圍內(nèi)獨(dú)立完成對(duì)目標(biāo)物體的檢測(cè)與跟蹤。魚眼相機(jī)則更為特殊，雖然無法分析出任何數(shù)據(jù)，但其特有的廣角視頻畫面能夠獲取更大、更廣的監(jiān)控范圍。

當(dāng)前不同設(shè)備間的視頻結(jié)構(gòu)化技術(shù)應(yīng)用瓶頸是如何對(duì)視頻有效信息的高效提取，以及如何同其他信息系統(tǒng)進(jìn)行標(biāo)準(zhǔn)數(shù)據(jù)交換、互聯(lián)互通及語義互操作，解決設(shè)備多而散、數(shù)據(jù)不直觀、數(shù)據(jù)應(yīng)用不清晰等一系列問題。

3 視頻結(jié)構(gòu)化技術(shù)應(yīng)用的拓展分析

通過分析，揭示了不同設(shè)備在視頻結(jié)構(gòu)化后的缺陷與優(yōu)勢(shì)，在道路交通管理上，如何通過結(jié)構(gòu)化數(shù)據(jù)的互相結(jié)合，篩選淘洗有效的關(guān)系數(shù)據(jù)模型，發(fā)揮出可視化指揮調(diào)度的最大效力，是城市交管部門面臨的新挑戰(zhàn)。目前，已經(jīng)有一些安防商家推出了這一概念的雛形產(chǎn)品，例如：槍球聯(lián)動(dòng)、AR鷹眼、全局相機(jī)等，但受限于技術(shù)本身的發(fā)展，還沒有實(shí)現(xiàn)全面的、成熟的功能應(yīng)用。

在道路交通視頻結(jié)構(gòu)化技術(shù)及情報(bào)數(shù)據(jù)的應(yīng)用方面，可以從以下4個(gè)方面進(jìn)一步挖掘深度、開拓應(yīng)用領(lǐng)域。

3.1 多種設(shè)備的數(shù)據(jù)融合

充分利用現(xiàn)有電子警察、監(jiān)控球機(jī)、卡口、魚眼等視頻監(jiān)控設(shè)備，采用視頻結(jié)構(gòu)化技術(shù)分析視頻圖像，獲取有價(jià)值的車牌號(hào)碼、行駛方向等結(jié)構(gòu)化數(shù)據(jù)。按照“點(diǎn) — 線 — 面”的模式，探索數(shù)據(jù)交互和服務(wù)交互的問題。通過將同區(qū)域內(nèi)的不同結(jié)構(gòu)化數(shù)據(jù)進(jìn)行融合，力爭(zhēng)使原本孤立的視頻點(diǎn)，轉(zhuǎn)變?yōu)榫C合性的數(shù)據(jù)島。

3.2 視頻大數(shù)據(jù)轉(zhuǎn)化為大情報(bào)

視頻結(jié)構(gòu)化的本質(zhì)就是將雜散的視頻數(shù)據(jù)變?yōu)橛羞壿嫿y(tǒng)一的數(shù)據(jù)模型[5]。在道路交通管理應(yīng)用上，視頻結(jié)構(gòu)化的核心，是數(shù)據(jù)模型向情報(bào)化的轉(zhuǎn)變，這個(gè)轉(zhuǎn)變分為兩個(gè)階段：首先要研究更強(qiáng)大、更全面的視頻結(jié)構(gòu)化建模算法，將所得數(shù)據(jù)進(jìn)行全面智能分析和清洗，篩選具備潛在價(jià)值的數(shù)據(jù)，建立相關(guān)數(shù)據(jù)模型；然后將數(shù)據(jù)模型與業(yè)務(wù)需求相結(jié)合，支撐交通流量監(jiān)測(cè)、交通路況研判、警衛(wèi)線路可行性分析等工作，逐步解決視頻監(jiān)控?cái)?shù)據(jù)向視頻情報(bào)的轉(zhuǎn)化。

3.3 人車關(guān)聯(lián)與建檔

當(dāng)前視頻結(jié)構(gòu)化技術(shù)已經(jīng)能夠采集、分析并建立較為全面的人臉與人體數(shù)據(jù)模型、車輛數(shù)據(jù)模型[6]。在此基礎(chǔ)上，已經(jīng)建立并記錄一人一檔、一車一檔的視頻結(jié)構(gòu)化處理平臺(tái)。因此，如何將人車進(jìn)行關(guān)聯(lián)，分析出結(jié)構(gòu)化模型并建檔應(yīng)用，將是道路交通研究的新方向、新趨勢(shì)。

3.4 視頻結(jié)構(gòu)化持續(xù)優(yōu)化，抗環(huán)境干擾

視頻結(jié)構(gòu)化算法對(duì)環(huán)境比較敏感，受環(huán)境干擾大，光線、雜物、惡劣天氣、晃動(dòng)都會(huì)影響實(shí)際效果。隨著計(jì)算機(jī)視覺前沿技術(shù)的日益成熟，深度學(xué)習(xí)、高性能計(jì)算、海量數(shù)據(jù)訓(xùn)練、多維信息結(jié)合、大數(shù)據(jù)挖掘分析、目標(biāo)跟蹤等技術(shù)都將快速推動(dòng)視頻結(jié)構(gòu)化分析技術(shù)、算法效果的逐步提升，以達(dá)到根據(jù)不同的復(fù)雜環(huán)境對(duì)視頻數(shù)據(jù)精準(zhǔn)高效地自動(dòng)學(xué)習(xí)和過濾的目的。

4 結(jié)語

隨著技術(shù)的進(jìn)步，視頻監(jiān)控在現(xiàn)代社會(huì)中的重要性不言而喻。進(jìn)一步提取視頻中的有價(jià)值信息，充分利用非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)的互補(bǔ)特性，能夠產(chǎn)出更多智慧化更高、實(shí)戰(zhàn)性更強(qiáng)、展示性更好的產(chǎn)品。目前，視頻結(jié)構(gòu)化技術(shù)已經(jīng)成為相關(guān)領(lǐng)域的基礎(chǔ)技術(shù)，特別是興起的智能網(wǎng)聯(lián)、自動(dòng)駕駛技術(shù)已經(jīng)開展了大面積技術(shù)驗(yàn)證。但總體來說，在交管部門的應(yīng)用還不夠深入。下一步應(yīng)該結(jié)合交管實(shí)際需要，以“組合+創(chuàng)新”的方式，解決視頻單一、數(shù)據(jù)孤島、應(yīng)用分離的具體問題，推動(dòng)道路視頻監(jiān)控應(yīng)用和交管科技手段的快速發(fā)展，為提高城市道路交通治理能力提供更多技術(shù)支撐。