高鐵車站視頻融合智能監(jiān)控系統(tǒng)技術(shù)研究

劉 信

(中鐵上海設(shè)計(jì)院集團(tuán)有限公司， 200070， 上海市∥高級(jí)工程師)

隨著我國(guó)經(jīng)濟(jì)的快速發(fā)展，軌道交通建設(shè)項(xiàng)目與日俱增，針對(duì)高鐵站的監(jiān)視與控制管理的研究已成為軌道交通安全的重要課題[1]。目前，高鐵車站的安全運(yùn)營(yíng)問(wèn)題愈發(fā)突出[2]，如鐵軌異物、旅客逆行等事件，若能及時(shí)采取措施，則可有效預(yù)防事故的發(fā)生。在日常工作中，由于高鐵站內(nèi)監(jiān)控繁多，監(jiān)控人員需長(zhǎng)時(shí)間監(jiān)視各路畫面的視頻[3]，極易產(chǎn)生視覺(jué)疲勞，無(wú)法實(shí)現(xiàn)大面積區(qū)域的連續(xù)觀測(cè)，監(jiān)控效率低下；在警報(bào)發(fā)生時(shí)，監(jiān)控人員無(wú)法實(shí)時(shí)關(guān)聯(lián)警報(bào)和相關(guān)監(jiān)控視頻進(jìn)行事態(tài)評(píng)估[4]。因此，在信息技術(shù)[5]快速發(fā)展的今天，“智能化、高效率、人機(jī)友好性”是對(duì)高鐵車站安防監(jiān)控的新要求[6]，也是實(shí)現(xiàn)減少人力資源消耗的新途徑。

1 高鐵車站傳統(tǒng)視頻監(jiān)控系統(tǒng)的弊端

高鐵車站傳統(tǒng)視頻監(jiān)控系統(tǒng)受各種主、客觀因素的制約，不能完全滿足重要場(chǎng)合安全管理的實(shí)戰(zhàn)需要[7]。傳統(tǒng)視頻監(jiān)控系統(tǒng)的弊端主要有：

1) 盲點(diǎn)不易察覺(jué)。在傳統(tǒng)視頻監(jiān)控系統(tǒng)模式下，雖攝像設(shè)備數(shù)量較多，但資源配置不合理，極易出現(xiàn)監(jiān)控盲區(qū)。

2) 海量數(shù)據(jù)零散且難以對(duì)應(yīng)。傳統(tǒng)視頻監(jiān)控系統(tǒng)顯示的視頻畫面過(guò)多，長(zhǎng)此以往，監(jiān)控人員會(huì)感到身心俱疲，既看不過(guò)來(lái)，也不愛(ài)看，從而加劇其抵觸心理，使該監(jiān)控視頻淪為事后追責(zé)的工具。

3) 無(wú)法全局實(shí)時(shí)監(jiān)控。監(jiān)控中心受顯示屏幕數(shù)量的制約，需要輪流切換多個(gè)分鏡頭畫面。傳統(tǒng)監(jiān)控系統(tǒng)僅刻板地顯示監(jiān)控畫面，缺乏位置感和方向感，整體布局難以體現(xiàn)。攝像機(jī)輪詢模式與實(shí)際應(yīng)用場(chǎng)景的空間位置相對(duì)獨(dú)立，出現(xiàn)突發(fā)狀況時(shí)，無(wú)法使各類攝像機(jī)聯(lián)動(dòng)，需人工干預(yù)，這極大地制約了應(yīng)急處置效率。

4) 用戶體驗(yàn)較差。傳統(tǒng)視頻監(jiān)控系統(tǒng)忽視監(jiān)控人員的用戶體驗(yàn)，導(dǎo)致工作效率低，追責(zé)時(shí)易出現(xiàn)責(zé)任推諉等問(wèn)題。

2 視頻融合智能監(jiān)控系統(tǒng)的價(jià)值和特色

1) 視頻三維場(chǎng)景融合。傳統(tǒng)視頻的二維畫面展示無(wú)法給予足夠的空間感，使得用戶時(shí)刻處于時(shí)空斷裂之中。視頻融合智能監(jiān)控系統(tǒng)將某一場(chǎng)景的幀序列視頻通過(guò)建模、特征拼接等方式與三維場(chǎng)景有效融合，生成一體化的VR(虛擬現(xiàn)實(shí))世界，大幅度地增加了視頻畫面的互動(dòng)性和虛擬模型的信息承載量。

2) 三維實(shí)景監(jiān)控。將監(jiān)控視頻通過(guò)視頻融合的方式與三維場(chǎng)景進(jìn)行組合，可有效提升用戶對(duì)于監(jiān)控視頻關(guān)聯(lián)性的理解，對(duì)監(jiān)控場(chǎng)景整體事態(tài)的監(jiān)管和決策具有重大意義。

3) 統(tǒng)一歷史時(shí)間線。視頻融合智能監(jiān)控系統(tǒng)支持NVR(網(wǎng)絡(luò)視頻錄像機(jī))的歷史視頻流訪問(wèn)，為所有監(jiān)控視頻流建立統(tǒng)一時(shí)間線，讓用戶可方便地切換到某歷史時(shí)刻，所有的視頻流可同步到該時(shí)刻同時(shí)播放，并可隨時(shí)進(jìn)行暫停和繼續(xù)，簡(jiǎn)化了現(xiàn)有歷史視頻檢索方法。

4) 多源信息融合。用戶可根據(jù)需要自行設(shè)置POI(信息點(diǎn))說(shuō)明，以圖標(biāo)或圖片的方式植入到虛擬場(chǎng)景中，配置網(wǎng)頁(yè)鏈接，設(shè)置熱區(qū)、熱鏈。這樣用戶不僅能從三維世界直接獲取數(shù)據(jù)，還可集成添加各類傳感器(如溫度、濕度、煙霧傳感器)，并標(biāo)識(shí)出傳感器所在位置，在虛擬現(xiàn)實(shí)世界中實(shí)時(shí)顯示動(dòng)態(tài)傳感信息。

3 高鐵車站視頻融合智能監(jiān)控系統(tǒng)技術(shù)

3.1 視頻融合智能監(jiān)控系統(tǒng)的構(gòu)成

高鐵車站視頻融合智能監(jiān)控系統(tǒng)(見(jiàn)圖1)主要由用戶層、表現(xiàn)層、應(yīng)用層、服務(wù)層、數(shù)據(jù)層及基礎(chǔ)設(shè)施層等6部分組成。

1) 用戶層：是指使用該視頻融合智能監(jiān)控系統(tǒng)的各類用戶，主要包括指揮中心監(jiān)控值班人員、指揮人員、管理人員和上級(jí)管理部門的相關(guān)人員，可通過(guò)網(wǎng)絡(luò)在中間層進(jìn)行通信，從而完成所需工作。

2) 表現(xiàn)層：可為視頻融合智能監(jiān)控系統(tǒng)提供圖形工作站供監(jiān)控人員日常執(zhí)勤使用，同時(shí)將視頻推送至移動(dòng)端以供領(lǐng)導(dǎo)調(diào)閱，也可將系統(tǒng)投影到監(jiān)控大屏；監(jiān)管人員對(duì)系統(tǒng)的操作和觀看等人機(jī)交互行為都在圖形工作站完成。該工作站放置在指揮中心，可投放于大屏幕顯示，也可用電腦顯示器觀看，還可根據(jù)不同業(yè)務(wù)需求構(gòu)建三維模型。

3) 應(yīng)用層：是終端用戶與虛擬現(xiàn)實(shí)視頻融合監(jiān)控平臺(tái)進(jìn)行互動(dòng)的唯一接口。該層具有為用戶提供業(yè)務(wù)運(yùn)行的基礎(chǔ)環(huán)境、視頻處理的基礎(chǔ)應(yīng)用，以及基于視頻圖像的智能應(yīng)用等一系列功能，并提供二次開(kāi)發(fā)接口，滿足其他系統(tǒng)數(shù)據(jù)共享需求。其主要包括視頻融合監(jiān)控、智能視頻分析和多源信息融合等應(yīng)用軟件模塊。

4) 服務(wù)層：提供各類基礎(chǔ)服務(wù)，包括視頻分析、圖像分析、數(shù)據(jù)分析、視頻流媒體和警報(bào)等服務(wù)。視頻分析基礎(chǔ)服務(wù)是通過(guò)較高精度的行人識(shí)別算法，對(duì)接入系統(tǒng)的多路視頻進(jìn)行定時(shí)抓怕、圖形分析等操作?；跈C(jī)器學(xué)習(xí)，提取輸入圖像前景以獲取邊緣特征、前景特征、HOG(方向梯度直方圖)特征等；對(duì)獲取到的特征做透視變換，增大距離較遠(yuǎn)的圖像像素特征的權(quán)值，實(shí)現(xiàn)不同的報(bào)警分析。

5) 數(shù)據(jù)層：能提供系統(tǒng)所需的各類數(shù)據(jù)，其包括空間數(shù)據(jù)、三維模型數(shù)據(jù)、系統(tǒng)配置數(shù)據(jù)、視頻圖片數(shù)據(jù)和系統(tǒng)管理數(shù)據(jù)等。

6) 基礎(chǔ)設(shè)施層：可最大化地利用監(jiān)管人員重點(diǎn)防控區(qū)域已有的設(shè)備資源。其主要包括網(wǎng)絡(luò)基礎(chǔ)設(shè)施、監(jiān)控指揮中心大屏、NVR(網(wǎng)絡(luò)硬盤錄像機(jī))/DVR(硬盤錄像機(jī))、存儲(chǔ)和服務(wù)器等。視頻支持?？低?、大華等主流品牌的NVR平臺(tái)接入。對(duì)目前尚未支持的設(shè)備，只要提供平臺(tái)或設(shè)備的SDK(軟件開(kāi)發(fā)工具包)通信協(xié)議即可進(jìn)行二次開(kāi)發(fā)接入。

注：Web為全球廣域網(wǎng)，也稱為萬(wàn)維網(wǎng)。圖1 高鐵車站視頻融合智能監(jiān)控系統(tǒng)整體架構(gòu)圖

3.2 高鐵車站視頻融合智能監(jiān)控系統(tǒng)的建設(shè)內(nèi)容

高鐵車站視頻融合智能監(jiān)控系統(tǒng)建設(shè)了虛擬顯示視頻融合監(jiān)控平臺(tái)，可將多個(gè)分鏡頭的畫面進(jìn)行融合[8]。利用智慧自動(dòng)巡邏機(jī)制，實(shí)現(xiàn)基于時(shí)空位置的智能精準(zhǔn)定位和時(shí)空動(dòng)態(tài)分析，從而提升視頻分析及人工智能的應(yīng)用價(jià)值。

1個(gè)平臺(tái)系指虛擬現(xiàn)實(shí)視頻融合監(jiān)控平臺(tái)。利用三維全景視頻融合技術(shù)，在前端視頻監(jiān)控點(diǎn)布設(shè)的基礎(chǔ)上，直觀地將高鐵車站安全行政執(zhí)法相關(guān)部門以及周邊場(chǎng)景中處在不同位置、不同視角的分鏡頭監(jiān)控圖像實(shí)時(shí)、智能地融合到已構(gòu)建好的三維模型中。

1種機(jī)制系指基于重點(diǎn)區(qū)域的智慧自動(dòng)巡邏機(jī)制。作為視頻管理的核心區(qū)域，對(duì)人流量大、站內(nèi)環(huán)境復(fù)雜的重點(diǎn)區(qū)域，制定合理的虛擬現(xiàn)實(shí)視頻融合空中自動(dòng)巡邏路線。在高鐵車站安全行政執(zhí)法相關(guān)部門的三維全景視頻系統(tǒng)中，按照制定的空中自動(dòng)巡邏路徑，為監(jiān)控指揮人員帶來(lái)直觀的視頻監(jiān)控畫面，從而形成一套體系完整的設(shè)備自動(dòng)巡檢機(jī)制。

7項(xiàng)功能系指高鐵車站視頻融合智能監(jiān)控系統(tǒng)滿足用戶需求的7項(xiàng)主要功能(見(jiàn)圖2)。即虛擬現(xiàn)實(shí)視頻融合顯示、智慧自動(dòng)巡邏、三維全景歷史視頻統(tǒng)一回放、三維中球機(jī)關(guān)聯(lián)顯示、三維測(cè)量與規(guī)劃預(yù)演、警報(bào)聯(lián)動(dòng)掛屏顯示和三維全景視頻智能分析。

圖2 高鐵車站視頻融合智能監(jiān)控系統(tǒng)的7項(xiàng)主要功能圖

3.3 高鐵車站視頻融合智能監(jiān)控系統(tǒng)中算法的實(shí)現(xiàn)

目前，很多高鐵車站的現(xiàn)實(shí)場(chǎng)景中都安裝有監(jiān)控安防系統(tǒng)，但大多數(shù)場(chǎng)所的監(jiān)控系統(tǒng)只具有原始的功能。車站視頻融合智能監(jiān)控系統(tǒng)由大量的監(jiān)控?cái)z像頭接入，并需要人工進(jìn)行觀察和檢測(cè)異常，這導(dǎo)致了人力資源浪費(fèi)，以及不能及時(shí)發(fā)現(xiàn)與處理異常情況。

隨著計(jì)算機(jī)深度學(xué)習(xí)技術(shù)的不斷發(fā)展，深度神經(jīng)網(wǎng)絡(luò)已滲透到各個(gè)領(lǐng)域，特別是在多媒體數(shù)據(jù)的分類與目標(biāo)識(shí)別上取得了巨大的成就。卷積神經(jīng)網(wǎng)絡(luò)[9]模型對(duì)數(shù)據(jù)的紋理特征有著較好的提取能力，且無(wú)需太多的人工干預(yù)，故其取代了絕大多數(shù)的傳統(tǒng)識(shí)別算法。

針對(duì)現(xiàn)有的問(wèn)題，本文提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的智能監(jiān)控系統(tǒng)，旨在進(jìn)一步提高目標(biāo)識(shí)別的速度、數(shù)據(jù)處理的智能化與高效化，以及減少一定的人力資源消耗。高鐵車站視頻融合智能監(jiān)控系統(tǒng)的工作流程如圖3所示。該系統(tǒng)能夠?qū)σ曨l流進(jìn)行實(shí)時(shí)分析處理，且保留異常報(bào)警分析結(jié)果，并將異常報(bào)警日志存入相應(yīng)的數(shù)據(jù)庫(kù)中。

圖3 高鐵車站視頻融合智能監(jiān)控系統(tǒng)的工作流程圖

圖3中，如何利用深度神經(jīng)網(wǎng)絡(luò)模型對(duì)數(shù)據(jù)進(jìn)行精確的特征提取與分析，是該研究?jī)?nèi)容的重點(diǎn)與難點(diǎn)。本文主要使用了卷積神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)視頻數(shù)據(jù)中目標(biāo)物體的監(jiān)督，且對(duì)異常情況進(jìn)行預(yù)測(cè)與分析。因此，可將該問(wèn)題歸納為特征提取和特征分類2類，即如何提高特征的表達(dá)能力和分類器的準(zhǔn)確度和速度。因此，對(duì)視頻融合智能監(jiān)控系統(tǒng)的現(xiàn)實(shí)需求和神經(jīng)網(wǎng)絡(luò)進(jìn)行了綜合研究?；谏疃壬窠?jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法如圖4所示。

圖4是針對(duì)解析過(guò)的監(jiān)控視頻流進(jìn)行處理，并將處理好的數(shù)據(jù)輸入到卷積神經(jīng)網(wǎng)絡(luò)當(dāng)中。該卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)端到端的網(wǎng)絡(luò)，其完成了輸入的圖像數(shù)據(jù)到目標(biāo)物體位置的輸出，即該模型將目標(biāo)物體預(yù)測(cè)和分類預(yù)測(cè)歸納到單個(gè)深度神經(jīng)網(wǎng)絡(luò)模型中，在保證目標(biāo)檢測(cè)和識(shí)別高準(zhǔn)確率的情況下，能極大地契合現(xiàn)實(shí)應(yīng)用場(chǎng)景。

圖4 基于層深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法圖Fig.4 Graph of target detection algorithm based on deep neural network

該卷積神經(jīng)網(wǎng)絡(luò)主要由卷積層、采樣層和全連接層組成。卷積層是網(wǎng)絡(luò)的核心，其主要作用是產(chǎn)生網(wǎng)絡(luò)中大部分的計(jì)算量；采樣層主要作用是逐步降低數(shù)據(jù)量的空間尺寸，對(duì)數(shù)據(jù)量進(jìn)行簡(jiǎn)化，降低計(jì)算資源消耗；全連接層在網(wǎng)絡(luò)中充當(dāng)分類的作用，將分布式特征映射到樣本標(biāo)簽空間，可對(duì)模型的復(fù)雜度有著一定程度的保留。在該網(wǎng)絡(luò)中，主要用到的激活函數(shù)是雙曲正切函數(shù)，其優(yōu)點(diǎn)是收斂速度較快，減少模型的迭代次數(shù)。

綜上所述，視頻融合智能監(jiān)控系統(tǒng)的詳細(xì)處理過(guò)程描述如下：

1) 從攝像頭或者所保存的視頻文件中獲取每秒的視頻流并進(jìn)行解碼；

2) 將解析后的數(shù)據(jù)進(jìn)行量綱一化和白化操作，即減去每幀圖像的像素平均值；

3) 將上述結(jié)果輸入卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)采樣計(jì)算后輸出特征向量，該特征向量就是這一秒視頻提取出的用于對(duì)目標(biāo)物體分類的特征；

4) 將該特征向量輸入到全連接層中，輸出預(yù)測(cè)結(jié)果；

5) 將真實(shí)的樣本標(biāo)簽與預(yù)測(cè)結(jié)果進(jìn)行比較，計(jì)算誤差。

基于深度學(xué)習(xí)的視頻融合智能監(jiān)控算法相較于傳統(tǒng)的算法而言，大大提升了數(shù)據(jù)的處理能力和識(shí)別準(zhǔn)確率，減少人力資源消耗，更加適用于大型場(chǎng)景和多目標(biāo)的應(yīng)用環(huán)境。

3.4 基于協(xié)作機(jī)器人的視頻融合智能監(jiān)控系統(tǒng)

協(xié)作機(jī)器人是學(xué)術(shù)界和工業(yè)界的熱門研究?jī)?nèi)容之一，并為不同的應(yīng)用領(lǐng)域提供關(guān)鍵技術(shù)，其中最突出的是視頻融合智能監(jiān)控。針對(duì)大多數(shù)監(jiān)控系統(tǒng)而言，多個(gè)視頻流的監(jiān)控對(duì)操作員而言是一項(xiàng)繁重的任務(wù)。因此，基于協(xié)作機(jī)器人的視頻融合智能監(jiān)控系統(tǒng)，可以監(jiān)控和分析多個(gè)視頻流。

基于協(xié)作機(jī)器人的視頻融合智能監(jiān)控系統(tǒng)主要通過(guò)使用智能攝像設(shè)備和視覺(jué)處理技術(shù)來(lái)提供有關(guān)特定環(huán)境或場(chǎng)景中不同活動(dòng)的有用信息。該系統(tǒng)提供的信息可有助于行為分析、事件和活動(dòng)分析和目標(biāo)跟蹤，詳細(xì)描述如圖5所示。

注：算法處理單元嵌入了智能機(jī)器人攝像頭，以便執(zhí)行對(duì)象檢測(cè)和跟蹤，可在監(jiān)控應(yīng)用中協(xié)助操作員。

4 結(jié)語(yǔ)

高鐵車站視頻融合智能監(jiān)控系統(tǒng)定位為全融合高新視頻解決方案，其通過(guò)將真實(shí)世界中的大量視頻實(shí)時(shí)融合到虛擬現(xiàn)實(shí)中，構(gòu)建實(shí)時(shí)反映真實(shí)世界動(dòng)態(tài)變化的虛擬現(xiàn)實(shí)世界，帶給用戶更高清、更沉浸、更自由的視頻新體驗(yàn)。該系統(tǒng)支持可視化指揮調(diào)度和管理，實(shí)現(xiàn)事前主動(dòng)預(yù)防、事中快速掌控、事后高效復(fù)盤；實(shí)現(xiàn)快速瀏覽真實(shí)世界的演化狀態(tài)和歷史變化，統(tǒng)一按時(shí)間調(diào)度視頻歷史數(shù)據(jù)，形成真正意義上高鐵車站的最佳運(yùn)營(yíng)、運(yùn)維，從而構(gòu)建三維全景視頻融合監(jiān)控體系。