高速公路視頻事件檢測(cè)分析系統(tǒng)的研發(fā)及應(yīng)用

李玉環(huán)，胡翠云，鐘建斌

（廣東飛達(dá)交通工程有限公司，廣東 廣州 510663）

0 引 言

2019年9月，為推進(jìn)交通強(qiáng)國(guó)建設(shè)目標(biāo)，中共中央、國(guó)務(wù)院印發(fā)實(shí)施《交通強(qiáng)國(guó)建設(shè)綱要》指出推動(dòng)人工智能技術(shù)與交通行業(yè)深度融合、完善交通安全生產(chǎn)體系、強(qiáng)化交通應(yīng)急救援能力。而傳統(tǒng)的高速公路視頻監(jiān)控發(fā)現(xiàn)事件的方式主要靠監(jiān)控員人工巡檢方式進(jìn)行，存在監(jiān)控設(shè)備繁多導(dǎo)致漏檢、錯(cuò)檢、事件發(fā)現(xiàn)不及時(shí)、人工巡檢效率低下等問題。所以急需要一套能夠自動(dòng)、高效、及時(shí)發(fā)現(xiàn)事件的智能化AI視頻事件檢測(cè)系統(tǒng)，本研究就是基于國(guó)家政策背景及行業(yè)痛點(diǎn)立項(xiàng)研發(fā)的。

1 設(shè)計(jì)思路

研發(fā)整體解決方案以實(shí)時(shí)檢測(cè)、分析識(shí)別、實(shí)時(shí)告警、緊急處置的閉環(huán)流程作為設(shè)計(jì)思路：通過高速公路的監(jiān)控?cái)z像機(jī)實(shí)時(shí)采集路面、隧道、橋梁、服務(wù)區(qū)、收費(fèi)站等場(chǎng)景的視頻信號(hào)，通過人工智能技術(shù)對(duì)海量視頻信號(hào)進(jìn)行分析識(shí)別，經(jīng)過大量的深度學(xué)習(xí)和模型訓(xùn)練識(shí)別出事件的類別，根據(jù)事件類別采取不同的處置方案[1]。整個(gè)閉環(huán)流程做到實(shí)時(shí)檢測(cè)、自動(dòng)識(shí)別、智能化處置，如圖1所示。

圖1 閉環(huán)流程圖

2 技術(shù)架構(gòu)

2.1 邏輯架構(gòu)

邏輯架構(gòu)包含基礎(chǔ)設(shè)施層、采集層、數(shù)據(jù)層、支撐層、應(yīng)用層五層。如圖2所示。

圖2 系統(tǒng)邏輯架構(gòu)圖

具體內(nèi)容有：

（1）基礎(chǔ)設(shè)施層。提供視頻事件分析系統(tǒng)正常運(yùn)行的基礎(chǔ)網(wǎng)絡(luò)、存儲(chǔ)、服務(wù)器、操作系統(tǒng)、數(shù)據(jù)庫等系統(tǒng)軟硬件基礎(chǔ)設(shè)施環(huán)境。

（2）采集層。提供視頻流接入，通過人工智能分析技術(shù)，產(chǎn)生路段交通參數(shù)、事件監(jiān)測(cè)等高速路段實(shí)時(shí)運(yùn)行數(shù)據(jù)。

（3）數(shù)據(jù)層。平臺(tái)數(shù)據(jù)資源層，以數(shù)據(jù)庫、數(shù)據(jù)集成、數(shù)據(jù)分析、內(nèi)存數(shù)據(jù)庫技術(shù)為基礎(chǔ)，包含數(shù)據(jù)資源（結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)）和數(shù)據(jù)緩存，為支撐層提供數(shù)據(jù)交換、傳輸、共享、計(jì)算、加工存儲(chǔ)體系[2]。

（4）支撐層。支撐層是以GIS 服務(wù)、視頻服務(wù)、實(shí)時(shí)計(jì)算、批量計(jì)算和采集數(shù)據(jù)通信接口構(gòu)成的基礎(chǔ)支撐平臺(tái)，提供支撐視頻智能分析系統(tǒng)運(yùn)行的相關(guān)技術(shù)組件、應(yīng)用組件以及服務(wù)注冊(cè)、業(yè)務(wù)流程、規(guī)則管理、跨系統(tǒng)的信息交換流程編排、數(shù)據(jù)交換、數(shù)據(jù)分析、信息檢索等基礎(chǔ)平臺(tái)功能。

（5）應(yīng)用層。應(yīng)用層為視頻分析系統(tǒng)具體業(yè)務(wù)功能的邏輯實(shí)現(xiàn)層，主要提供車輛跟蹤，軌跡分析比對(duì)，區(qū)間測(cè)速等視頻分析數(shù)據(jù)的上層應(yīng)用及結(jié)合GIS 服務(wù)的數(shù)據(jù)展示。

2.2 物理架構(gòu)

視頻分析系統(tǒng)由前端外場(chǎng)攝像頭和后臺(tái)內(nèi)場(chǎng)人工智能視頻交通信息分析服務(wù)器、人工智能視頻入侵檢測(cè)分析服務(wù)器、人工智能視頻分析軟件、應(yīng)用服務(wù)器、文件服務(wù)器組成。其中內(nèi)場(chǎng)相關(guān)服務(wù)器部署在路段監(jiān)控中心網(wǎng)絡(luò)區(qū)域，通過各路段高速專網(wǎng)與前端視頻攝像設(shè)備相連。如圖3所示。

圖3 系統(tǒng)物理架構(gòu)圖

2.3 視頻智能分析

人工智能視頻交通信息分析服務(wù)器和人工智能視頻入侵檢測(cè)分析服務(wù)器基于計(jì)算機(jī)視覺、深度學(xué)習(xí)等人工智能技術(shù)[3]，以及先進(jìn)的目標(biāo)識(shí)別與事件判斷技術(shù)，實(shí)現(xiàn)人和車的多種事件檢測(cè)。

服務(wù)器支持1080P（最高4K）視頻輸入，支持RTSP、GB/T 28181—2016 等多種接入方式。分析結(jié)果可疊加到原視頻中，形成新的AR 疊加視頻，并以RTMP 等格式輸出。

服務(wù)器支持歷史數(shù)據(jù)查詢和數(shù)據(jù)導(dǎo)出，且支持通過REST 接口與其他系統(tǒng)進(jìn)行交互。

2.4 交通數(shù)據(jù)實(shí)時(shí)計(jì)算

根據(jù)項(xiàng)目建設(shè)規(guī)劃，本次項(xiàng)目中基于視頻智能分析數(shù)據(jù)涉及實(shí)時(shí)計(jì)算主要有車輛區(qū)間測(cè)速、黑名單車輛鎖定、重點(diǎn)車輛跟蹤等業(yè)務(wù)功能。為避免平臺(tái)IO 吞吐的大量消耗形成性能瓶頸，在總體架構(gòu)上在應(yīng)用服務(wù)器部署基于key-value的Redis 內(nèi)存數(shù)據(jù)庫，將具體計(jì)算業(yè)務(wù)相關(guān)的數(shù)據(jù)以對(duì)象的方式存入Redis 高速緩存，將計(jì)算中IO 讀寫要求最高的數(shù)據(jù)查詢、排序、檢索在內(nèi)存中實(shí)現(xiàn)，滿足平臺(tái)實(shí)時(shí)計(jì)算的性能要求。

2.5 實(shí)時(shí)計(jì)算原則及約束條件

針對(duì)具體需求和建設(shè)規(guī)劃，此次項(xiàng)目中實(shí)時(shí)計(jì)算應(yīng)遵循以下約束原則：

（1）實(shí)時(shí)計(jì)算應(yīng)只涉及近線實(shí)時(shí)數(shù)據(jù)、不涉及歷史數(shù)據(jù)的計(jì)算。

（2）實(shí)時(shí)計(jì)算應(yīng)只涉及分組匯總統(tǒng)計(jì)等簡(jiǎn)單查詢統(tǒng)計(jì)算法，對(duì)于涉及數(shù)據(jù)挖掘領(lǐng)域相關(guān)聚類、分類、關(guān)聯(lián)、回歸統(tǒng)計(jì)、神經(jīng)樹等復(fù)雜迭代的算法放在數(shù)據(jù)中心實(shí)現(xiàn)。

（3）實(shí)時(shí)計(jì)算的準(zhǔn)確性、實(shí)時(shí)性必須依賴于外場(chǎng)設(shè)備及網(wǎng)絡(luò)正常穩(wěn)定的運(yùn)行，視頻分析采集數(shù)據(jù)的實(shí)時(shí)上傳（對(duì)于延時(shí)上傳的數(shù)據(jù)采用事后批量計(jì)算處理）。

（4）對(duì)于區(qū)間測(cè)速等時(shí)間序列相關(guān)算法的成功實(shí)現(xiàn)依賴于高速聯(lián)網(wǎng)收費(fèi)系統(tǒng)對(duì)各ETC 前端設(shè)備時(shí)鐘同步策略的有效實(shí)施。

2.6 實(shí)時(shí)計(jì)算架構(gòu)

本次項(xiàng)目中實(shí)時(shí)計(jì)算以內(nèi)存數(shù)據(jù)庫為核心，以任務(wù)隊(duì)列的方式驅(qū)動(dòng)分布式計(jì)算服務(wù)組件執(zhí)行相關(guān)計(jì)算業(yè)務(wù)，具體計(jì)算架構(gòu)如圖4所示。

圖4 實(shí)時(shí)計(jì)算技術(shù)架構(gòu)

實(shí)時(shí)計(jì)算架構(gòu)由數(shù)據(jù)采集（接口服務(wù)器）、數(shù)據(jù)緩存（Redis 緩存服務(wù)器）和可分布式部署的計(jì)算服務(wù)組件組成，在整個(gè)實(shí)時(shí)計(jì)算架構(gòu)中為接口服務(wù)器集群部署統(tǒng)一的Redis緩存服務(wù)器，在Redis 緩存服務(wù)器中以內(nèi)存對(duì)象的方式存儲(chǔ)1 小時(shí)業(yè)務(wù)數(shù)據(jù)、黑名單數(shù)據(jù)、規(guī)則庫數(shù)據(jù)。計(jì)算服務(wù)組件提供具體的計(jì)算邏輯，可以根據(jù)各計(jì)算主題的業(yè)務(wù)需求進(jìn)行分布式部署，部分主題的計(jì)算組件如黑名單鎖定可以嵌入方式部署在接口服務(wù)器中。計(jì)算服務(wù)組件將計(jì)算的結(jié)果寫入系統(tǒng)業(yè)務(wù)數(shù)據(jù)庫中。

3 技術(shù)路線

本項(xiàng)目研究的系統(tǒng)框架包含第三方數(shù)據(jù)接口，將數(shù)據(jù)接入，通過交通信息智能分析服務(wù)器進(jìn)行數(shù)據(jù)分析識(shí)別，利用目標(biāo)識(shí)別及事件檢測(cè)技術(shù)，識(shí)別出詳細(xì)的事件種類。如圖5所示。

圖5 系統(tǒng)框架

本研究運(yùn)行的邏輯框架包含場(chǎng)外的攝像機(jī)、感知層、存儲(chǔ)層、支撐層、服務(wù)層、展現(xiàn)層以及轉(zhuǎn)出設(shè)備。如圖6所示。

圖6 系統(tǒng)運(yùn)行邏輯

前端監(jiān)控?cái)z像機(jī)的視頻數(shù)據(jù)，通過感知層進(jìn)入系統(tǒng)，視頻數(shù)據(jù)經(jīng)過視頻交通信息分析服務(wù)器分析后，實(shí)時(shí)輸出結(jié)構(gòu)化數(shù)據(jù)和AR 疊加視頻。

存儲(chǔ)層以數(shù)據(jù)庫、文件系統(tǒng)技術(shù)為基礎(chǔ)，包含數(shù)據(jù)資源（結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)）和數(shù)據(jù)緩存，為支撐層提供數(shù)據(jù)交換、傳輸、共享、計(jì)算、加工存儲(chǔ)體系。支撐層是以權(quán)限認(rèn)證、用戶管理、緩存服務(wù)等多種服務(wù)構(gòu)成的基礎(chǔ)支撐平臺(tái)，提供支撐平臺(tái)運(yùn)行的相關(guān)技術(shù)組件、應(yīng)用組件、數(shù)據(jù)交換、數(shù)據(jù)分析、信息檢索等基礎(chǔ)平臺(tái)功能。應(yīng)用層為臺(tái)具體功能的邏輯實(shí)現(xiàn)層，按項(xiàng)目建設(shè)規(guī)劃主要實(shí)現(xiàn)。工作人員主要通過工作站來對(duì)系統(tǒng)進(jìn)行交互測(cè)與識(shí)別模型，針對(duì)大型停車場(chǎng)實(shí)施實(shí)時(shí)精準(zhǔn)管控。

深度挖掘和分析示范應(yīng)用場(chǎng)景的需求與痛點(diǎn)，以視頻智能分析重構(gòu)了客戶的業(yè)務(wù)系統(tǒng)，提供獨(dú)特的服務(wù)與支持，使得新系統(tǒng)兼具了科學(xué)性和便利性，還有效節(jié)省了客戶的人力投入。

兼容市場(chǎng)所有主流廠家攝像機(jī)，可無縫對(duì)接現(xiàn)有已安裝高清網(wǎng)絡(luò)視頻攝像機(jī)，無需重新硬件安裝施工，節(jié)約產(chǎn)品升級(jí)成本，支持8/16/24/32/64 路視頻，支持分布式部署多客戶端訪問，支持功能模塊化，可按需求定制化擴(kuò)展功能，支持第三方數(shù)據(jù)集成接口。

4 關(guān)鍵技術(shù)

4.1 多服務(wù)器多GPU 訓(xùn)練集群技術(shù)

基于先進(jìn)的虛擬化技術(shù)和集群技術(shù)，靈活調(diào)度GPU 計(jì)算資源，實(shí)現(xiàn)大規(guī)模的模型與業(yè)務(wù)場(chǎng)景數(shù)據(jù)訓(xùn)練?；诙喾N技術(shù)手段聯(lián)合對(duì)模型計(jì)算復(fù)雜度、計(jì)算效率進(jìn)行深度定制優(yōu)化，在保證算法效果的同時(shí)，將算法速度提升數(shù)倍，保證算法落地業(yè)務(wù)場(chǎng)景的實(shí)時(shí)性和經(jīng)濟(jì)性。如圖7所示。

圖7 多服務(wù)器多GPU 訓(xùn)練集群

4.2 大規(guī)模視頻 GPU 推理并行優(yōu)化技術(shù)

為解決算法針對(duì)視頻圖像進(jìn)行分析處理之前及處理之后，各終端之間輸入輸出視頻流的編解碼需求，以及圖像數(shù)據(jù)在服務(wù)器各設(shè)備之間的搬運(yùn)等需求[4]。本項(xiàng)目針對(duì)單臺(tái)服務(wù)器和大規(guī)模推理服務(wù)器研究大規(guī)模視頻GPU 推理并行優(yōu)化技術(shù)，搭建用于視頻分析的人工神經(jīng)網(wǎng)絡(luò)推理系統(tǒng)。

具體內(nèi)容有：

（1）針對(duì)單臺(tái)服務(wù)器。本系統(tǒng)將研究人工神經(jīng)網(wǎng)絡(luò)推理系統(tǒng)，深度學(xué)習(xí)算法模塊、目標(biāo)跟蹤模塊、遺留物檢測(cè)模塊、網(wǎng)絡(luò)視頻流實(shí)時(shí)渲染模塊、視頻流接入和推流等功能，下游模塊基于推理系統(tǒng)，可直接使用已有的AI 算法模塊和功能，實(shí)現(xiàn)解決從網(wǎng)絡(luò)視頻流的接入、解碼、圖像數(shù)據(jù)在內(nèi)存與設(shè)備運(yùn)存之間的搬運(yùn)，異構(gòu)設(shè)備上人工智能推理性能的提供等技術(shù)難題。同時(shí)本系統(tǒng)還將實(shí)現(xiàn)除去各步驟之間的無用開銷，智能采用最優(yōu)方式，極大提高單機(jī)推理性能。如圖8所示。

圖8 單臺(tái)服務(wù)器

（2）針對(duì)大規(guī)模集群推理服務(wù)器。由于單臺(tái)服務(wù)器的處理能力是有上限的，為了使項(xiàng)目的計(jì)算能力具有靈活的擴(kuò)展性，本系統(tǒng)還將解決多臺(tái)服務(wù)器的協(xié)作問題，使得服務(wù)器之間形成集群，研究多臺(tái)推理服務(wù)器的集群搭建。要提高運(yùn)算性能只需要增加服務(wù)器，這個(gè)動(dòng)作對(duì)下游的開發(fā)者來說是完全透明的，無需額外工作量。如圖9所示

圖9 大規(guī)模集群推理服務(wù)器

4.3 基于圖像的目標(biāo)檢測(cè)算法的技術(shù)

通過使用深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，搭建高性能的目標(biāo)檢測(cè)算法，針對(duì)交通道路監(jiān)控場(chǎng)景的覆蓋范圍廣、目標(biāo)類型多、目標(biāo)尺度變化大等特點(diǎn)，需要算法能夠在小尺度目標(biāo)檢測(cè)、目標(biāo)遮擋問題、目標(biāo)檢測(cè)高定位精度、自適應(yīng)各種不同的應(yīng)用環(huán)境等方面取得突破[5]。

4.4 基于圖像序列的多目標(biāo)跟蹤技術(shù)的技術(shù)

在目標(biāo)檢測(cè)算法提供的單幀目標(biāo)位置和類別信息的基礎(chǔ)上，設(shè)計(jì)多目標(biāo)跟蹤算法，利用目標(biāo)的時(shí)序運(yùn)動(dòng)信息、外觀特征等信息，設(shè)計(jì)算法對(duì)目標(biāo)進(jìn)行時(shí)間序列層面的分析[6]。算法需要良好地解決目標(biāo)交叉遮擋、移動(dòng)速度快等問題，生成穩(wěn)定且準(zhǔn)確的目標(biāo)軌跡。

5 主要性能指標(biāo)

本研究成果的主要指標(biāo)包含事件名稱、檢測(cè)高度、檢測(cè)范圍、準(zhǔn)確率等。如表1所示。

表1 主要指標(biāo)表

6 應(yīng)用案例

本系統(tǒng)于2019年10年份開發(fā)完成，現(xiàn)已應(yīng)用于新陽高速、廣韶高速、羅陽高速、廣樂高速、揭惠高速、紫惠高速、河惠莞高速、路達(dá)高速等十多條路段，每個(gè)月每條路段檢測(cè)出的各類事件多達(dá)數(shù)百條，大大提高了路段的運(yùn)營(yíng)管理效率。

7 結(jié) 論

本項(xiàng)目是在大量收集和分析用戶需求的基礎(chǔ)上，在國(guó)家政策和行業(yè)痛點(diǎn)的背景下立項(xiàng)開發(fā)，通過人工智能深度學(xué)習(xí)技術(shù)的研究，應(yīng)用了多服務(wù)器多GPU 訓(xùn)練集群、大規(guī)模視頻GPU 推理并行優(yōu)化技術(shù)、基于圖像的目標(biāo)檢測(cè)算法的技術(shù)、基于圖像序列的多目標(biāo)跟蹤等技術(shù)。研發(fā)出一套適合高速公路運(yùn)營(yíng)管理的視頻事件檢測(cè)系統(tǒng)，通過大量案例應(yīng)用驗(yàn)證了研究方案的可行性及先進(jìn)性，并且通過了公安部及交通部權(quán)威機(jī)構(gòu)的安全及質(zhì)量認(rèn)證，還通過了權(quán)威機(jī)構(gòu)鑒定的“國(guó)際先進(jìn)”成果。成果大大提高了高速公路的運(yùn)營(yíng)管理效率，為高速公路行業(yè)的事件檢測(cè)提供了參考。本研究未與雷達(dá)監(jiān)控進(jìn)行結(jié)合研究，接下來的研究任務(wù)是與雷達(dá)融合，解決因天氣、光線、遮擋等影響檢測(cè)有效性問題。