視頻結(jié)構(gòu)化平臺(tái)在地鐵線網(wǎng)系統(tǒng)中的應(yīng)用

劉東方 倪建劍 徐國堅(jiān)

摘要 文章結(jié)合杭州地鐵線網(wǎng)視頻結(jié)構(gòu)化平臺(tái)建設(shè)，分析了人臉比對(duì)、ReID（行人重識(shí)別）、聚類、大數(shù)據(jù)，整合監(jiān)控視頻、圖片中的各項(xiàng)關(guān)鍵信息，進(jìn)行數(shù)據(jù)匯集、解析中心、布控比對(duì)、人員聚檔、技戰(zhàn)應(yīng)用等模塊的集成和高度融合，以此構(gòu)成了視頻結(jié)構(gòu)化平臺(tái)。重點(diǎn)闡述了視頻結(jié)構(gòu)化平臺(tái)在地鐵線網(wǎng)系統(tǒng)中發(fā)揮的廣泛作用和重要作用，以及未來展望。

關(guān)鍵詞 杭州地鐵線網(wǎng)；軌跡分析；計(jì)算機(jī)視覺；人臉識(shí)別；ReID；聚類

中圖分類號(hào) U29-39文獻(xiàn)標(biāo)識(shí)碼 A文章編號(hào) 2096-8949（2024）05-0004-03

0 引言

在以往的城市軌道交通系統(tǒng)中，主要利用各站點(diǎn)的監(jiān)控?cái)z像頭，通過抓拍到的圖片進(jìn)行簡單的人臉識(shí)別和比對(duì)，找出重點(diǎn)布控的人員。單純的人臉識(shí)別系統(tǒng)雖然相比傳統(tǒng)依靠人工查看的方式有了一定進(jìn)步，但是面對(duì)海量的數(shù)據(jù)分析和技戰(zhàn)應(yīng)用，僅依靠人臉識(shí)別應(yīng)用是遠(yuǎn)遠(yuǎn)不夠的[1]。杭州地鐵線網(wǎng)系統(tǒng)中的視頻結(jié)構(gòu)化平臺(tái)，按照杭州地鐵軌道線路情況，通過國標(biāo)協(xié)議匯集了各線路系統(tǒng)視頻流和圖片流。通過對(duì)視頻流和圖片流數(shù)據(jù)進(jìn)行解析，結(jié)合ReID（行人重識(shí)別技術(shù)）、人臉識(shí)別、人臉比對(duì)、聚類、技戰(zhàn)法等諸多計(jì)算機(jī)相關(guān)的圖形學(xué)、人工智能、大數(shù)據(jù)處理分析等最新技術(shù)手段進(jìn)行海量數(shù)據(jù)的采集、定位、預(yù)處理、身份確認(rèn)和查找后進(jìn)行訓(xùn)練、碰撞。提供重點(diǎn)人員屬性分析、行動(dòng)軌跡分析和研判，使得地鐵公安用戶可以在地鐵運(yùn)行線路圖上直觀地查看重點(diǎn)人員目標(biāo)在地鐵中的人員聚類檔案、人臉、人體屬性，站點(diǎn)出入活動(dòng)軌跡等。該文對(duì)平臺(tái)架構(gòu)和技術(shù)應(yīng)用做出具體論述[2]。

1 數(shù)據(jù)匯集

匯聚模塊通過多種國標(biāo)和私有協(xié)議的對(duì)接，實(shí)現(xiàn)杭州地鐵線網(wǎng)數(shù)據(jù)的分級(jí)整合、匯聚及共享。將各線路級(jí)數(shù)據(jù)接入線網(wǎng)視頻結(jié)構(gòu)化平臺(tái)。

圖片流接入：在GA/T 1400的標(biāo)準(zhǔn)上提供多源、多級(jí)數(shù)據(jù)的接入、存儲(chǔ)、共享、分析，以及對(duì)外標(biāo)準(zhǔn)化接口服務(wù)的能力，從不同廠家的線路級(jí)結(jié)構(gòu)化平臺(tái)中接入需要的站點(diǎn)抓拍數(shù)據(jù)。匯聚模塊通過MQ消息的方式將圖片流數(shù)據(jù)傳輸至結(jié)構(gòu)化解析模塊。

視頻流接入：實(shí)現(xiàn)《安全防范視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)信息傳輸、交換、控制技術(shù)要求》（GB/T 28181—2011）規(guī)范，滿足公安視頻圖像信息應(yīng)用系統(tǒng)等相關(guān)標(biāo)準(zhǔn)要求，將需要的站點(diǎn)視頻流信息接入至線網(wǎng)視頻結(jié)構(gòu)化平臺(tái)。

通過以上國標(biāo)協(xié)議以及其他私有協(xié)議的對(duì)接，使得線網(wǎng)結(jié)構(gòu)化平臺(tái)擁有了獲取各站點(diǎn)抓拍數(shù)據(jù)的能力。分布式解析服務(wù)將開始對(duì)視頻流和圖片流進(jìn)行解析。對(duì)于解析后的人臉數(shù)據(jù)、人體結(jié)構(gòu)化數(shù)據(jù)和聚類、告警等分析結(jié)果，匯聚模塊具備統(tǒng)一匯聚對(duì)外推送能力，以便上級(jí)級(jí)聯(lián)系統(tǒng)做進(jìn)一步應(yīng)用。

2 分析流程

如圖1所示，為平臺(tái)技術(shù)架構(gòu)圖。

2.1 解析中心

解析中心集群由多個(gè)算法引擎構(gòu)成的解析節(jié)點(diǎn)組成。

圖片流解析：解析服務(wù)器根據(jù)匯聚過來的人臉、人體抓拍圖片進(jìn)行解析，提取人臉、人體相關(guān)屬性和特征。

視頻流解析：相對(duì)于單個(gè)靜止的圖像，視頻流序列能夠提供更多的信息，即從視頻序列中確定是否存在人臉并對(duì)其進(jìn)行準(zhǔn)確定位和保持跟蹤狀態(tài)。追蹤到的同一個(gè)人有大量圖像可供使用，通過視頻序列的時(shí)間連續(xù)性和識(shí)別對(duì)象身份的一致性為人臉識(shí)別提供信息；基于視頻序列的空間軌跡和概率模型進(jìn)行匹配識(shí)別，將識(shí)別出的人臉、人體序列相關(guān)聯(lián)，因而其具有更好的魯棒性。

將人臉id、人體id、人臉屬性、人體屬性、設(shè)備信息、抓拍時(shí)間、經(jīng)緯度等相關(guān)信息批量插入數(shù)據(jù)庫和Elasticsearch中。特征文件的寫入和存儲(chǔ)采用分層存儲(chǔ)，即本地+遠(yuǎn)程集中式的方式，通過一致性hash進(jìn)行路由分片（分片Key），滿足大數(shù)據(jù)量保存和快速檢索的需要。

2.2 調(diào)度模塊

調(diào)度模塊根據(jù)服務(wù)器資源動(dòng)態(tài)調(diào)整各臺(tái)視頻流運(yùn)行開啟次序、運(yùn)行路數(shù)、運(yùn)行顯卡分配，進(jìn)行資源負(fù)載均衡。

服務(wù)器在后臺(tái)接收不同客戶端的cuda調(diào)用，將調(diào)用請(qǐng)求在隊(duì)列中進(jìn)行優(yōu)先級(jí)排隊(duì)，當(dāng)有兩個(gè)及以上視頻流任務(wù)需要運(yùn)行時(shí)，通過任務(wù)優(yōu)先級(jí)標(biāo)識(shí)優(yōu)先開啟優(yōu)先級(jí)較高任務(wù)。相同優(yōu)先級(jí)情況下，對(duì)比任務(wù)預(yù)估消耗資源和剩余顯卡資源，計(jì)算最優(yōu)分配。

當(dāng)有任務(wù)運(yùn)行完成后，通知服務(wù)端，服務(wù)器從任務(wù)隊(duì)列中匹配新的任務(wù)并發(fā)執(zhí)行。當(dāng)剩余資源不足以執(zhí)行啟動(dòng)任務(wù)時(shí)，需在隊(duì)列中等待。

運(yùn)行過程中服務(wù)端會(huì)對(duì)顯卡運(yùn)行狀況（剩余顯存、使用率等）持續(xù)定時(shí)采樣，保證GPU資源利用均衡，減少任務(wù)之間的沖突，提高整體運(yùn)行性能。

2.3 布控比對(duì)

布控比對(duì)服務(wù)可以根據(jù)需要把布控人員的信息（包含姓名、性別、身份證號(hào)、人臉照片等信息）加入布控任務(wù)。然后按照時(shí)間、地點(diǎn)、相似度報(bào)警閾值等信息，關(guān)聯(lián)需要布控的視頻流或圖片流，對(duì)重點(diǎn)人員進(jìn)行布防。系統(tǒng)對(duì)比任務(wù)中的人臉特征數(shù)據(jù)實(shí)時(shí)比對(duì)，如果人臉的相似度達(dá)到設(shè)定的報(bào)警閾值，系統(tǒng)會(huì)通過郵件、短信、系統(tǒng)彈窗方式通知管理人員，采取進(jìn)一步處理措施。根據(jù)現(xiàn)場實(shí)際需要加入布控的人員，可通過系統(tǒng)進(jìn)行現(xiàn)場拍照采樣或者上傳照片等多種方式一鍵加入布控任務(wù)。

人臉識(shí)別布控系統(tǒng)還具備豐富的人臉屬性檢測功能。在大多數(shù)環(huán)境下均能準(zhǔn)確判別性別、年齡，戴眼鏡、口罩等各種人臉屬性，不受面部表情、胡須和發(fā)型變化的影響，以增加布控比對(duì)的準(zhǔn)確度。

2.4 人員聚檔

人臉聚檔服務(wù)根據(jù)人臉圖像數(shù)據(jù)中的相似度指標(biāo)，在視頻提取人臉軌跡級(jí)的特征來表征人物，將大量的人臉圖像分為不同的組別，其關(guān)鍵在于設(shè)計(jì)有效的特征表示方法和相似度度量方法。通過對(duì)監(jiān)控畫面中的人臉進(jìn)行聚類，可以快速識(shí)別出潛在威脅和異常行為，提高安全性能。聚檔服務(wù)通過將解析模塊發(fā)送的人臉特征加載至GPU進(jìn)行人臉聚類，通過關(guān)聯(lián)關(guān)系檢索，可查看對(duì)應(yīng)人體屬性及圖片鏈路。幫助地鐵運(yùn)營進(jìn)行人流量統(tǒng)計(jì)、客戶分析等工作。在滿足法律法規(guī)的前提下，還可以進(jìn)一步應(yīng)用于大規(guī)模數(shù)據(jù)挖掘研究，如人臉數(shù)據(jù)集的建立、人臉特征的提取等。隨著技術(shù)的不斷進(jìn)步，人臉聚類技術(shù)將迎來更多的發(fā)展機(jī)遇和挑戰(zhàn)。

2.5 技戰(zhàn)分析

大數(shù)據(jù)服務(wù)器通過獲取以上解析比對(duì)等結(jié)果，相當(dāng)于全地鐵范圍內(nèi)做檢索等大數(shù)據(jù)分析應(yīng)用。結(jié)合杭州地鐵軌道線路地圖，關(guān)聯(lián)的站點(diǎn)詳細(xì)位置，出入口，站臺(tái)等，通過計(jì)算出的站點(diǎn)位置進(jìn)行軌跡劃線，渲染人員行走動(dòng)態(tài)效果，運(yùn)營人員可以較為直觀地查看軌跡線路，為地鐵軌道交通的治安防控、刑偵破案、反恐防暴等工作提供有力支撐。

3 技術(shù)應(yīng)用

人臉識(shí)別：人臉識(shí)別是身份識(shí)別，而人臉屬性結(jié)構(gòu)化是表征人臉的生物與非生物特性，包括性別、年齡、表情、是否戴口罩等，通過解析人臉圖像特征，獲得可視化的屬性特點(diǎn)，更直觀地驗(yàn)證身份。我們的人臉屬性算法，采用多任務(wù)學(xué)習(xí)框架，每一個(gè)屬性都有獨(dú)立的屬性分支，同時(shí)，搭配注意力機(jī)制與多尺度機(jī)制，能準(zhǔn)確地定位不同屬性的聚焦位置，更有效地提取人臉屬性信息，提高在監(jiān)控場景下人臉屬性識(shí)別的準(zhǔn)確度，對(duì)人臉結(jié)構(gòu)化屬性搜索及定位提供了極大的便利[3]。

ReID：ReID是屬于圖像檢索的一個(gè)子問題，不同于人臉識(shí)別技術(shù)利用人臉圖像特征來完成檢索比對(duì)，它是指在多攝像設(shè)備網(wǎng)絡(luò)下對(duì)行人進(jìn)行檢索，利用步態(tài)動(dòng)作、身體特征等更為全面的信息來識(shí)別人物，可實(shí)現(xiàn)行人的相機(jī)檢索，解決人臉較小或者模糊情況下無法比對(duì)的問題。然而，由于ReID需要從不同攝像機(jī)拍攝的圖像或視頻中找出同一個(gè)人物，而這些攝像機(jī)所覆蓋的范圍彼此并不重疊，導(dǎo)致缺乏連貫的信息，而且不同畫面中人物的姿態(tài)、行為甚至外觀（比如正身、側(cè)身、背身）會(huì)發(fā)生較大變化，不同時(shí)間、不同場景、光照、背景和遮擋物各不相同，攝像機(jī)的分辨率也有高有低，人物在畫面中出現(xiàn)的位置有遠(yuǎn)有近，這些都對(duì)ReID技術(shù)提出了極大的挑戰(zhàn)。針對(duì)行人姿態(tài)變化，環(huán)境光照以及局部遮擋等問題，構(gòu)建了以Resnet為骨干網(wǎng)絡(luò)的多尺度模型，實(shí)現(xiàn)人體部件細(xì)粒度特征融合，結(jié)合數(shù)據(jù)增強(qiáng)方法和特殊訓(xùn)練策略，實(shí)現(xiàn)人員的精確匹配。ReID技術(shù)和人臉的技術(shù)可以做一個(gè)補(bǔ)充，當(dāng)能看到人臉的時(shí)候用人臉的技術(shù)去識(shí)別，當(dāng)看不到人臉的時(shí)候用ReID技術(shù)去識(shí)別，可以延長行人在攝像頭連續(xù)跟蹤的時(shí)空延續(xù)性。因此，無論單獨(dú)使用還是與人臉識(shí)別相結(jié)合，ReID都能發(fā)揮更大的應(yīng)用價(jià)值。

人員聚檔：聚類算法以密度聚類為基礎(chǔ)，搭配上層在線聚類，采用Region-Master模式進(jìn)行區(qū)域與主體的聚類信息交互，并引入了“一類多核”的思想，兼具聚類準(zhǔn)確性和完整性。同時(shí)，對(duì)特征比對(duì)進(jìn)行了矩陣加速優(yōu)化，可支持千萬級(jí)規(guī)模的聚類，大幅拓展了聚類的應(yīng)用性。由此形成人員檔案信息并進(jìn)行實(shí)名認(rèn)證關(guān)聯(lián)，檔案容量支持1 000萬實(shí)時(shí)聚檔性能。通過人員檔案的抓拍關(guān)聯(lián)軌道交通地圖，可以實(shí)時(shí)查詢檔案人員軌跡情況。

4 結(jié)語

上述技術(shù)在結(jié)構(gòu)化平臺(tái)的落地和發(fā)展，有效提升了地鐵公安用戶針對(duì)人員管控和安全防范的力度和效率。伴隨著AI、云計(jì)算和大數(shù)據(jù)等“新基建”技術(shù)的快速發(fā)展，地鐵軌道領(lǐng)域越來越多的技術(shù)落地，人工智能展現(xiàn)出了數(shù)據(jù)賦能的強(qiáng)大驅(qū)動(dòng)力，為未來地鐵新線建設(shè)和既有線改造系統(tǒng)中的視頻分析相關(guān)內(nèi)容的建設(shè)提供了有益參考。

隨著城市公共交通規(guī)模逐漸增大，日益增長的客流給運(yùn)營安全和運(yùn)營效率帶來巨大挑戰(zhàn)。在更側(cè)重于運(yùn)營的當(dāng)下，基于以上技術(shù)衍生出的翻越閘機(jī)、打架斗毆等應(yīng)用場景分析會(huì)更多。當(dāng)識(shí)別出這樣的行為之后可以采取智能措施，比如自動(dòng)報(bào)警等，這有非常大的社會(huì)價(jià)值。很多場景所需的算法模型已經(jīng)相對(duì)成熟，并且在其他行業(yè)已有應(yīng)用案例，對(duì)地鐵的運(yùn)營會(huì)有很大的助力。

參考文獻(xiàn)

[1]李輝， 石旭， 張京晶， 等. 新基建背景下智能視頻分析技術(shù)與智慧地鐵建設(shè)融合應(yīng)用研究[J]. 現(xiàn)代城市軌道交通， 2022（9）： 21-27.

[2]李鵬程. “城市軌道交通智慧警務(wù)”課程建設(shè)構(gòu)想[J]. 鐵道警察學(xué)院學(xué)報(bào)， 2018（2）： 122-124.

[3]章柏幸， 蘇光大. 人臉成像特性研究及人臉歸一化的目標(biāo)[J]. 光電子·激光， 2003（4）： 406-410.