視頻智能分析技術(shù)在路網(wǎng)客流領(lǐng)域中的應(yīng)用研究

摘要：隨著北京市軌道交通建設(shè)的不斷推進、運營的里程和線路不斷增多，覆蓋的范圍不斷增大、客流的數(shù)量不斷增加，對運營安全、運營組織、運營監(jiān)管、運營異常事件處置等能力提出了新的要求，對數(shù)慧化、智能化運營的管控需求日趨明顯?；诖?，本文對視頻智能分析技術(shù)在路網(wǎng)客流領(lǐng)域中的應(yīng)用進行研究，以期為相關(guān)工作者提供有益借鑒。

關(guān)鍵詞：智能分析；監(jiān)測；客流；預(yù)警

一、技術(shù)研究背景

傳統(tǒng)的視頻監(jiān)控平臺一般通過人員監(jiān)管和錄像來實現(xiàn)安全防護管理，實際上并不能主動有效地做到保障安全。目前的路網(wǎng)現(xiàn)狀為：監(jiān)控點位過多，人員監(jiān)控基本無法顧及全部的監(jiān)控場景；監(jiān)控人員的注意力無法24小時都準確高效地監(jiān)控所有場景；通過“被動錄像”只能在“事件/事故”發(fā)生后通過調(diào)用錄像進行相應(yīng)地回放取證，一方面損失已經(jīng)發(fā)生，無法有效挽回，另一方面，采取人工回放錄像取證的方式效率低下。現(xiàn)有的視頻監(jiān)控系統(tǒng)功能簡單，且以手動調(diào)用圖像的方式為主，調(diào)用方式不夠靈活、響應(yīng)速度慢、智能化程度不高、不具備視頻圖像處理和分析能力、無法滿足對圖像的快速檢索或組團調(diào)用等實際需求。隨著路網(wǎng)內(nèi)線路和攝像機數(shù)量的增加，手動操作的方式效率日益低下，從而影響運營異常事件下的快速圖像調(diào)用及事件處理，軌道交通指揮中心視頻監(jiān)控系統(tǒng)的智能化程度有限。利用視頻智能分析技術(shù)，能夠?qū)鼍爸械谋尘昂湍繕朔蛛x開來，進而分析并跟蹤在攝像機場景內(nèi)出現(xiàn)的目標。全路網(wǎng)各級調(diào)度員可以依據(jù)視頻分析功能，通過在不同場景的攝像機中預(yù)設(shè)不同的預(yù)警機制，一旦目標出現(xiàn)了違反場景中預(yù)定義規(guī)則的行為，系統(tǒng)會自動觸發(fā)預(yù)警，以供監(jiān)控人員決策部署和調(diào)度，使監(jiān)控人員的工作強度和工作壓力大大降低，提升視頻監(jiān)控系統(tǒng)平臺的自動化處理水平，從而實現(xiàn)“事中即時預(yù)警”和“事后快速取證”的目標。

二、關(guān)鍵技術(shù)研究

在視頻監(jiān)控平臺的基礎(chǔ)上采用智能分析等技術(shù)手段和措施，在不斷提升技術(shù)等級、提高識別度、降低誤報、縮短響應(yīng)時長等前提下，使平臺能夠提供更加主動和可靠的安全防范能力。實時視頻分析采用服務(wù)器和客戶端方式實現(xiàn)，視頻分析支持對1080P視頻流的視頻智能分析，在6Mbps/s碼流，30FPS，1080P視頻流情況下進行分析，不得以減幀、降低分辨率的方式進行分析；同時支持向下兼容，可對D1標清視頻流的視頻進行智能分析。視頻分析的操作靈活方便，預(yù)警圖像能打斷正常的循環(huán)監(jiān)視，經(jīng)過確認后，能恢復(fù)正常的定點監(jiān)視或循環(huán)監(jiān)視。

視頻智能分析技術(shù)的應(yīng)用場景如下：

（一）人群聚集風(fēng)險預(yù)警

用于站廳、站臺、公共區(qū)或其他重要監(jiān)控區(qū)域，可用于對多目標的現(xiàn)場密度進行監(jiān)控，提供擁擠程度的具象化數(shù)據(jù)（劃定區(qū)域內(nèi)的人數(shù)）。視頻監(jiān)控平臺收集劃定區(qū)域內(nèi)的人數(shù)，實時上傳到應(yīng)用平臺，由應(yīng)用平臺進行以下業(yè)務(wù)處理：當在所設(shè)定的時間范圍內(nèi)，尤其重點關(guān)注持續(xù)高密度人群、排隊長龍等。當區(qū)域密度持續(xù)超過閾值，或單位面積內(nèi)乘客分布的密集度在單位時間內(nèi)突然陡增時產(chǎn)生預(yù)警，輔助區(qū)域內(nèi)的實時監(jiān)控和安全管理，及時人為干預(yù)、疏導(dǎo)、限流或采取其他有效措施，避免出現(xiàn)人員聚集或發(fā)生踩踏事故。智能分析系統(tǒng)支持基于區(qū)域內(nèi)人數(shù)統(tǒng)計的客流密度檢測（劃定區(qū)域的實時人數(shù)），支持客流突變預(yù)警（由應(yīng)用平臺判斷預(yù)警），如對客流人數(shù)、行進方向及運動規(guī)律突變的預(yù)警等。視頻監(jiān)控平臺提供人數(shù)數(shù)據(jù)給應(yīng)用平臺，由應(yīng)用平臺支持趨勢習(xí)慣突變預(yù)警，如對不同日期相同時間段的客流突變預(yù)警。智能分析系統(tǒng)能進行自學(xué)習(xí)，可以不斷升級算法性能，并根據(jù)歷史分析結(jié)果持續(xù)優(yōu)化算法，提高識別準確率。

（二）客流統(tǒng)計

通過視頻信息進行自動統(tǒng)計分析，為用戶提供實際準確度不低于95%的乘客進入或離開指定區(qū)域的人數(shù)、流量等信息，并且可顯示當前人數(shù)和變化的趨勢，以及區(qū)域內(nèi)的人員數(shù)量，為相關(guān)用戶指定或調(diào)整管理舉措提供有效支持。具體而言，視頻智能分析技術(shù)支持靈活劃定區(qū)域并對劃定區(qū)域內(nèi)的人數(shù)進行實時統(tǒng)計，支持對區(qū)域內(nèi)任意時間段的人數(shù)進行統(tǒng)計，支持對300人以上場景的人群計數(shù)，支持攝像機安裝角度20度～80度范圍，支持場景自學(xué)習(xí)，可以不斷升級算法性能。

（三）電扶梯異常監(jiān)測

可實時監(jiān)控自動扶梯在運行中的倒轉(zhuǎn)、急停、抖動等異常事件，并在事件發(fā)生3秒內(nèi)觸發(fā)警示信息。

（四）乘客追逐、劇烈運動監(jiān)測

可對乘客在站廳、站臺、公共區(qū)域內(nèi)追逐、打鬧，以及在通道內(nèi)劇烈活動等危險行為進行實時監(jiān)測并預(yù)警。

（五）逆行監(jiān)測

可實時監(jiān)測所設(shè)定各個區(qū)域，識別人員、車輛等在禁行方向的行為或者運動并觸發(fā)預(yù)警。逆行監(jiān)測可應(yīng)用于單/雙向通道等場合，在視頻畫面中可支持最多達24個區(qū)域的監(jiān)測。

（六）入侵監(jiān)測

針對進入所設(shè)定的虛擬禁區(qū)或跨越所設(shè)定的虛擬邊界目標進行監(jiān)測追蹤，按照用戶設(shè)置的規(guī)則實時預(yù)警。人員入侵監(jiān)測可應(yīng)用于線路防護，站內(nèi)重點設(shè)施和區(qū)域。

（七）進入禁區(qū)監(jiān)測

可針對預(yù)定區(qū)域監(jiān)測，可設(shè)定警戒區(qū)域，如設(shè)備用房等；可設(shè)置最多24個防區(qū)，每個防區(qū)可單獨設(shè)置監(jiān)測規(guī)則，并可以多防區(qū)同時進行監(jiān)控。可選擇“進入禁區(qū)、離開禁區(qū)、邊界進入禁區(qū)、邊界離開禁區(qū)、在區(qū)域中出現(xiàn)監(jiān)控、從區(qū)域中消失監(jiān)控”中的其中一種監(jiān)控項目進行實時監(jiān)控。若非法目標非法出入該區(qū)域，可立即監(jiān)控識別并實時預(yù)警。監(jiān)控時間可以由用戶設(shè)定。

（八）越線監(jiān)測

可通過視頻分析技術(shù)來代替常規(guī)監(jiān)測和預(yù)警方式。在場景上設(shè)置一條或多條虛擬線路，設(shè)定越線方向后，任何符合規(guī)則的目標均可被監(jiān)測，并觸發(fā)預(yù)警?？稍O(shè)置最多16條折線，每條折線可分別設(shè)置監(jiān)測方位等規(guī)則，并可以多折線進行監(jiān)測和追蹤。

（九）逗留、滯留監(jiān)測

實時監(jiān)測在設(shè)定區(qū)域內(nèi)徘徊、逗留、滯留的目標是否超過設(shè)定時間，并實時預(yù)警。逗留/滯留監(jiān)測應(yīng)用在線路和站內(nèi)重點區(qū)域。

（十）可疑物品遺留監(jiān)測

自動監(jiān)測被遺留的可疑物品，超過時間后，對符合設(shè)定規(guī)則的目標進行實時預(yù)警。能偵測出物品離開人的情況，如超出時間，系統(tǒng)就會按照設(shè)定的形式觸發(fā)預(yù)警，來提示值班人員，以便及時排除存在的隱患，尤其是預(yù)防火災(zāi)爆炸事故發(fā)生。

三、實施效果分析

基于對路網(wǎng)感知能力的提升，針對軌道交通各類事故及隱患，利用視頻智能分析和大數(shù)據(jù)等先進手段，由以往的被動發(fā)現(xiàn)轉(zhuǎn)變?yōu)橹鲃宇A(yù)警；利用視頻智能分析能力，全面監(jiān)視疏導(dǎo)過程，及時修正引導(dǎo)方案直至徹底消除隱患，形成完整業(yè)務(wù)閉環(huán)。以往的運營監(jiān)視模式以行車和設(shè)備為主，對客流的監(jiān)視并未得到充分重視，同時，傳統(tǒng)監(jiān)測模式在客流監(jiān)視的硬件技術(shù)上存在較大欠缺。通過建立指揮調(diào)度管理系統(tǒng)，結(jié)合歷年的網(wǎng)絡(luò)化運營歷史數(shù)據(jù)、視頻智能分析技術(shù)、客流調(diào)查數(shù)據(jù)，改變以往對路網(wǎng)運營監(jiān)視的管理模式，建立以乘客為主體，對乘客出行全環(huán)節(jié)進行關(guān)注，融合行車狀態(tài)信息主動感知判斷，以及消弭風(fēng)險隱患的新一代軌道交通路網(wǎng)運營監(jiān)視管理模式。

客流監(jiān)視是路網(wǎng)監(jiān)視的核心業(yè)務(wù)。通過大數(shù)據(jù)采集，排查路網(wǎng)內(nèi)可能產(chǎn)生乘客聚集的點位，再通過專業(yè)客流調(diào)查隊現(xiàn)場排查。分析各點位客流密度、速度以及人數(shù)；劃分四個評價等級，即嚴重擁擠、擁擠、通行受限及自由通行，并以ABCD四個等級作為標識。目前，全路網(wǎng)已知的風(fēng)險點位有400多個，根據(jù)風(fēng)險程度不同分為A、B、C三級，用黑紅黃三種顏色表示。其中，A級風(fēng)險點90多個，B級風(fēng)險點170多個，C級風(fēng)險點220多個。將這些風(fēng)險點發(fā)生的時間、地點導(dǎo)入數(shù)據(jù)庫，最終建立客流的風(fēng)險隱患數(shù)據(jù)庫。系統(tǒng)將按照不同等級、不同時間、不同地點的點位信息將其推送到大屏上，并通過視頻監(jiān)視系統(tǒng)的視頻聯(lián)動功能，自動關(guān)聯(lián)該點位的攝像機，自動引導(dǎo)調(diào)度員在不同的時間關(guān)注不同的風(fēng)險點位。

在監(jiān)視時，將乘客出行的全流線劃分為六大風(fēng)險環(huán)節(jié)，分別為站外限流、人物同檢、站內(nèi)樓梯、站內(nèi)通道、站內(nèi)聚集、站臺乘降等。通過視頻智能分析技術(shù)對六大風(fēng)險環(huán)節(jié)進行全貌監(jiān)視，并以風(fēng)險等級進行排序。對高風(fēng)險等級以置頂顯示的方式提醒調(diào)度時刻關(guān)注，同樣，對于高風(fēng)險等級的車站信息以置頂標紅方式顯示。

除了站內(nèi)的客流情況外，系統(tǒng)還關(guān)注列車內(nèi)的乘客擁擠狀態(tài)?；谕暾那宸帜Ｐ?，基于乘客OD、通行時間、列車開行計劃，將乘客合理地匹配到每一輛車上，實時計算車載人數(shù)。同時，調(diào)度人員也可以通過車載視頻，實時掌握車廂內(nèi)的情況。智能分析預(yù)警區(qū)域置頂顯示智能分析預(yù)警的視頻，視頻右側(cè)展示該視頻的詳細信息，包括線路、車站、位置、實時密度、3分鐘均值等。

管理人員或調(diào)度人員可以通過點擊視頻智能分析詳情區(qū)域右上角的按鈕，獲取該視頻的智能分析區(qū)域內(nèi)過去1小時的客流趨勢圖。其中，橫軸代表過去的1小時時間，縱軸代表人數(shù)，橫線代表預(yù)警閾值。當客流人數(shù)超過閾值的次數(shù)達到設(shè)定值則會出現(xiàn)預(yù)警（見圖2）。

視頻智能分析技術(shù)主要實現(xiàn)對當前預(yù)警提供多種并行處理方式的功能。

預(yù)警提醒。當有預(yù)警發(fā)生時，頁面可提示預(yù)警。用戶可以通過點擊提示信息快速查看所有未處理的預(yù)警信息。預(yù)警提醒功能可滿足以下要求：有預(yù)警發(fā)生，頁面顯示提示信息。用戶點擊預(yù)警提示信息，系統(tǒng)顯示所有未處理的實時預(yù)警列表。

預(yù)警處理。快速檢索預(yù)警信息并進行預(yù)警處理，支持進行批量處理。預(yù)警處理時需系統(tǒng)支持提供處理意見，以便后續(xù)跟進預(yù)警情況。

預(yù)存錄像。當系統(tǒng)檢測到視頻中的目標物體觸發(fā)某項規(guī)則時，啟動預(yù)警錄像，同時執(zhí)行存儲計劃錄像，支持用專用播放器回放顯示預(yù)警框的錄像。該功能可以滿足以下要求：當預(yù)警產(chǎn)生時，進行錄像。預(yù)存儲：0～300秒，由用戶設(shè)置，需要將產(chǎn)生預(yù)警之前的若干秒視頻錄下來。錄像延遲：0～300秒，由用戶設(shè)置，事件結(jié)束后仍繼續(xù)錄像若干秒才停止。存儲計劃錄像：需要至少能保存30天錄像，所有智能分析結(jié)果的圖像存儲15天。

預(yù)警和分析結(jié)果上傳，將相應(yīng)數(shù)據(jù)（行為分析預(yù)警、人數(shù)及密度數(shù)據(jù)等）信息上傳至應(yīng)用平臺，供應(yīng)用平臺調(diào)用并處理。

通過視頻智能分析，結(jié)合全景視頻拼接技術(shù)，能夠有效突破攝像機采集圖像視場的物理限制。基于視頻圖像特征提取，并結(jié)合攝像機參數(shù)、點位位置、角度等，包括如何基于CPU和GPU異構(gòu)并行架構(gòu)，實現(xiàn)對大規(guī)模數(shù)據(jù)的并發(fā)處理和對超高分辨率數(shù)據(jù)的實時全景融合處理，其中包含對多路視頻GPU并行渲染和動態(tài)拼縫融合等技術(shù)關(guān)鍵點。針對不同的視頻，通過圖像處理，采取特征點與策略相匹配，找到兩幅圖像的影射關(guān)系，根據(jù)坐標點變化關(guān)系，將兩幅圖像合并到同一個坐標系圖中，然后通過校正變形、融合邊緣處理，得到全景視圖。為了達到監(jiān)控的實時性與精確性要求，全景視圖監(jiān)控可分為初始化和正常監(jiān)控兩大部分。初始化，即通過圖像匹配攝像機之間的空間位置關(guān)系，引入最優(yōu)化思維確定兩幅圖像的拼接位置關(guān)系；正常監(jiān)控，即根據(jù)初始化階段確定的各項參數(shù)，針對每幀視頻進行加速融合，從而實現(xiàn)實時精確的全景視圖監(jiān)控。

四、結(jié)束語

視頻智能分析技術(shù)在路網(wǎng)客流領(lǐng)域中的應(yīng)用研究，構(gòu)建了基于圖像識別、機器學(xué)習(xí)、海量數(shù)據(jù)的信息基礎(chǔ)設(shè)施。通過攝像機智能編組技術(shù)，實現(xiàn)對乘客服務(wù)的全過程、全方位監(jiān)控和追蹤，并分析軌道交通不同出行區(qū)域（站臺、通道或其他重要監(jiān)控區(qū)域），實現(xiàn)對各個風(fēng)險點位的風(fēng)險點密度和換乘通道客流的計數(shù)分析，尤其關(guān)注持續(xù)時間長的高密度人群、排隊長龍等。當區(qū)域密度持續(xù)超過閾值，或單位面積內(nèi)乘客分布的密集在單位時間內(nèi)突然陡增時實時預(yù)警。同時，提供穿越防護欄、跨線入侵、特殊區(qū)域入侵、可疑物品遺留、非常規(guī)物品搬移、特殊物品保全、人員快速移動、徘徊監(jiān)測、逆行監(jiān)測、電扶梯異常監(jiān)測、非法停車以及人群聚集預(yù)警、人員劇烈運動等異常行為進行分析，實現(xiàn)視頻信息自動統(tǒng)計實際準確度95%以上的目標，為全路網(wǎng)各級調(diào)度員進行安全管控和實時監(jiān)測提供輔助，幫助其處理各種異常行為，及時采取干預(yù)、疏導(dǎo)、限流等措施，避免人員聚集或踩踏的發(fā)生。

作者單位：郝建威 中國鐵路通信信號上海工程局集團有限公司

參考文獻

[1]李旭東.智能視頻監(jiān)控系統(tǒng)在城市軌道交通的運用分析[J].信息記錄材料，2021，22（01）：205-207.

[2]譚筠梅，王履程，雷濤，等.城市軌道交通智能視頻分析關(guān)鍵技術(shù)綜述[J].計算機工程與應(yīng)用，2014，50（04）：1-6+17.

[3]李曼.城軌路網(wǎng)客流模態(tài)建模及其演化機理研究[D].北京交通大學(xué)，2017.