基于AI智能分析的智慧安防綜合管理平臺設(shè)計(jì)

楊 子 毛

(萬達(dá)信息股份有限公司, 上海 200233)

0 引 言

“智慧”實(shí)現(xiàn)的關(guān)鍵是以全新的角度把以往那些被分別考慮、分別建設(shè)的領(lǐng)域(如交通、能源、商業(yè)、通信、機(jī)電設(shè)備等)綜合起來考慮,并發(fā)現(xiàn)這些領(lǐng)域之間的關(guān)系。借助新一代的云計(jì)算、物聯(lián)網(wǎng)、決策分析優(yōu)化等信息技術(shù),通過感知化、互聯(lián)化、智能化的方式,將安防、服務(wù)、節(jié)能、營銷、管理等業(yè)務(wù)連接起來,將傳統(tǒng)弱電設(shè)施智慧化,使之成為可以指揮控制、輔助決策、實(shí)時(shí)反應(yīng)、協(xié)調(diào)運(yùn)作的安防系統(tǒng)。

在現(xiàn)有安防設(shè)施及安防系統(tǒng)的基礎(chǔ)上,建設(shè)信息化智慧安防綜合管理平臺(下文簡稱智慧安防平臺),充分利用現(xiàn)有視頻監(jiān)控?cái)?shù)據(jù)資源,提升整體安防智慧化程度,實(shí)現(xiàn)投資價(jià)值最大化。具體如下:

(1) 滿足智能需求,可快速迭代。針對現(xiàn)有的視頻監(jiān)控,通過視頻流智能分析,解析出用戶關(guān)心的信息,并能隨著技術(shù)和需求的變更不斷迭代。

(2) 沉淀數(shù)據(jù)、不斷迭代、靈活擴(kuò)展新場景。對視頻監(jiān)控進(jìn)行智能分析,形成圖像智能化數(shù)據(jù)資源。依托圖像智能化數(shù)據(jù)資源作為AI智能分析與應(yīng)用[1-2]的大數(shù)據(jù)基礎(chǔ)。

(3) 視頻建設(shè)價(jià)值最大化。充分利用現(xiàn)有視頻采集、傳輸、存儲的建設(shè)資源,在既有監(jiān)控?cái)z像頭的基礎(chǔ)上疊加智能分析和智能應(yīng)用,對視頻監(jiān)控資源進(jìn)行智能化升級。在利舊資源的基礎(chǔ)上實(shí)現(xiàn)投資價(jià)值最大化。

1 方案設(shè)計(jì)

1.1 總體架構(gòu)

總體集成方案架構(gòu)圖如圖1所示。整個(gè)系統(tǒng)即完整的智能化管理平臺,通過該平臺打造了多種智能化應(yīng)用場景。它由以下幾個(gè)部分組成:

(1) 接入層設(shè)施和數(shù)據(jù)。目前在建的有15個(gè)子系統(tǒng),分為兩大類:一類是基礎(chǔ)建設(shè),一類是平臺建設(shè),包括視頻監(jiān)控系統(tǒng)、入侵報(bào)警系統(tǒng)、門禁及一卡通管理系統(tǒng)、電子巡更系統(tǒng)、無線對講系統(tǒng)、客流分析系統(tǒng)、停車管理系統(tǒng)等。這些前端感知設(shè)備和子系統(tǒng)產(chǎn)生的物聯(lián)網(wǎng)數(shù)據(jù)構(gòu)成了整個(gè)智能化管理平臺的數(shù)據(jù)基礎(chǔ)。其中和此次智慧安防系統(tǒng)直接相關(guān)的數(shù)據(jù)包括視頻監(jiān)控、門禁系統(tǒng)、人臉PAD等設(shè)備。

圖1 總體集成方案架構(gòu)圖

(2) 基礎(chǔ)云服務(wù)。前端的感知數(shù)據(jù)和物聯(lián)網(wǎng)數(shù)據(jù)通過運(yùn)營商的有線、無線或物聯(lián)網(wǎng)鏈路上云,為數(shù)據(jù)提供基礎(chǔ)的管理、存儲、計(jì)算、網(wǎng)絡(luò)服務(wù)。

(3) BOS建筑大腦。云上數(shù)據(jù)為上層的智能化應(yīng)用提供了基礎(chǔ)的數(shù)據(jù)支撐,這些原始數(shù)據(jù)需要經(jīng)過相應(yīng)的分析處理后才能對業(yè)務(wù)支撐。基于云上不同的數(shù)據(jù)類型,構(gòu)建各種服務(wù)模塊,對原始數(shù)據(jù)進(jìn)行精細(xì)化加工,構(gòu)建各類服務(wù)模塊,對原始數(shù)據(jù)進(jìn)行梳理,整合、通過智能算法引擎對數(shù)據(jù)進(jìn)行深層次的加工和挖掘,形成成果類數(shù)據(jù)。

(4) Web Portal入口。將各智能應(yīng)用場景進(jìn)行功能集成、網(wǎng)絡(luò)集成、界面集成、業(yè)務(wù)集成等,并通過統(tǒng)一的Web Portal入口進(jìn)行輸出,用戶可以通過該入口進(jìn)行統(tǒng)一的授權(quán)登錄、訪問和應(yīng)用。進(jìn)行“跨界融合”,各類業(yè)務(wù)數(shù)據(jù)和智能應(yīng)用全量匯聚,實(shí)現(xiàn)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和語言,將所有的應(yīng)用集成在一個(gè)運(yùn)營管理平臺上,實(shí)現(xiàn)園區(qū)可視、可管、可控,業(yè)務(wù)全數(shù)字化、系統(tǒng)全聯(lián)接、數(shù)據(jù)全融合,形成物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)和人工智能等新一代信息技術(shù)的智能化管理平臺。

1.2 應(yīng)用架構(gòu)

平臺應(yīng)用架構(gòu)圖如圖2所示。

圖2 平臺應(yīng)用架構(gòu)圖

(1) 接入層。接入各類安防設(shè)施及數(shù)據(jù),包括視頻監(jiān)控、人像抓拍、人臉門禁、無線對講、入侵檢測、電子巡更、一卡通等。

(2) 服務(wù)層。服務(wù)層位于第二層。各類數(shù)據(jù)在此接入?yún)R聚后,實(shí)現(xiàn)分散資源的集中管理以及集中資源的分散服務(wù),實(shí)時(shí)處理前端設(shè)施傳入的視頻信息、報(bào)警信息、其他傳感數(shù)據(jù)信息以及由應(yīng)用層下達(dá)的對各類設(shè)施的控制指令信息,支撐各類資源的規(guī)范接入、標(biāo)準(zhǔn)化處理與高效能信息發(fā)布,從而實(shí)現(xiàn)各類數(shù)據(jù)的基礎(chǔ)信息管理,為應(yīng)用層提供全面的支撐服務(wù)。

服務(wù)層的另一個(gè)功能是在該層搭建了智能算法引擎。引擎由多個(gè)不同的智能化算法模塊組成,每個(gè)算法模塊用于處理不同的安防感知設(shè)施回傳的數(shù)據(jù)。不同的算法針對不同類型的數(shù)據(jù)進(jìn)行解析、結(jié)構(gòu)化信息的提取、行為屬性和特征值的計(jì)算,形成重要的智能分析結(jié)果集數(shù)據(jù)。通過算法之間的組合應(yīng)用,可以將不同的結(jié)果集數(shù)據(jù)進(jìn)行再次加工與分析,深度挖掘數(shù)據(jù)之間的關(guān)聯(lián),提取更富有價(jià)值的數(shù)據(jù)。

(3) 業(yè)務(wù)應(yīng)用層。業(yè)務(wù)應(yīng)用層將服務(wù)層處理的各類數(shù)據(jù)按智慧安防需求進(jìn)行整合。針對各個(gè)不同區(qū)域的安防重點(diǎn)和出入人員的特性設(shè)計(jì)不同的功能場景,形成不同場景下的功能場景。

(4) 業(yè)務(wù)展現(xiàn)層。業(yè)務(wù)展現(xiàn)層是功能場景的具體業(yè)務(wù)展現(xiàn),通過該層提供統(tǒng)一的Web Portal入口。該層支持多級用戶共享資源,加強(qiáng)異構(gòu)數(shù)據(jù)間的融合,為用戶提供了檢索、比對、分析、研判、預(yù)警、處置、管理、統(tǒng)計(jì)及可視化展現(xiàn)等應(yīng)用支撐。通過該層實(shí)現(xiàn)統(tǒng)一接口與上層應(yīng)用,消除傳統(tǒng)意義上的信息孤島,達(dá)成不同系統(tǒng)間的應(yīng)用集成與共享;充分發(fā)揮平臺信息匯集、統(tǒng)籌指揮的作用,多級用戶共享資源、協(xié)同工作,增強(qiáng)各級中心日常管理和突發(fā)事件處置的反應(yīng)能力。

1.3 數(shù)據(jù)架構(gòu)

數(shù)據(jù)從來源到展現(xiàn)自下而上可以分為基礎(chǔ)數(shù)據(jù)層、成果數(shù)據(jù)層、業(yè)務(wù)數(shù)據(jù)層。

基礎(chǔ)數(shù)據(jù)層:數(shù)據(jù)來源于各類感知設(shè)備采集和傳輸?shù)母兄獢?shù)據(jù),其中最主要的是視頻監(jiān)控和人臉采集的數(shù)據(jù)。

成果數(shù)據(jù)層:在基礎(chǔ)數(shù)據(jù)層采集的原始數(shù)據(jù)經(jīng)由設(shè)備傳遞到服務(wù)層,服務(wù)層的五大智能算法模塊對原始數(shù)據(jù)進(jìn)行初步的加工,通過篩選、格式標(biāo)準(zhǔn)化等步驟,將符合進(jìn)一步處理分析要求的數(shù)據(jù)進(jìn)行格式規(guī)整,規(guī)整后各算法模塊對數(shù)據(jù)進(jìn)行分析、挖掘、碰撞、關(guān)聯(lián)、聚類等計(jì)算,產(chǎn)生出結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù),生成的數(shù)據(jù)保存在成果數(shù)據(jù)層。

業(yè)務(wù)數(shù)據(jù)層:業(yè)務(wù)應(yīng)用層共有七大功能場景,基于不同的場景功能,每個(gè)業(yè)務(wù)模塊會從成果數(shù)據(jù)層抽取相關(guān)的數(shù)據(jù),通過業(yè)務(wù)模塊的流程邏輯對成果數(shù)據(jù)進(jìn)行邏輯加工和業(yè)務(wù)展現(xiàn),最終生成業(yè)務(wù)數(shù)據(jù)。

2 AI智能分析

本次建設(shè)的智能分析子平臺要求采用邊云結(jié)合的架構(gòu),充分結(jié)合邊云各自的優(yōu)勢,通過預(yù)分析在邊緣側(cè)的視頻,實(shí)現(xiàn)園區(qū)內(nèi)視頻監(jiān)控場景實(shí)時(shí)感知異常事件,實(shí)現(xiàn)事前布防、預(yù)判,事中現(xiàn)場可視、集中指揮調(diào)度,事后可回溯、取證等業(yè)務(wù)。智能分析子平臺(視頻云)架構(gòu)圖如圖3所示。AI智能分析平臺的應(yīng)用場景需求如表1所示。

圖3 智能分析子平臺(視頻云)架構(gòu)圖

表1 AI智能分析平臺的應(yīng)用場景需求

邊云協(xié)同,智慧分層的理念是:邊側(cè)實(shí)現(xiàn)視頻的淺層智能分析,檢測出價(jià)值圖片(如人臉、入侵等)上云;云端實(shí)現(xiàn)圖片的深度智能分析(如人臉識別、比對等)。

園區(qū)邊緣側(cè)視頻節(jié)點(diǎn)完成攝像頭的接入、管理及本地存儲;云端應(yīng)用可以通過云端視頻接入服務(wù)來調(diào)取指定攝像頭的視頻,觀看實(shí)時(shí)監(jiān)控。

邊緣攝像頭或VCN的視頻流通過RTSP接入EI邊緣視頻分析,進(jìn)行邊緣處理;針對人臉識別,邊緣進(jìn)行人臉圖片抓取,圖片送到云上做比對。

3 應(yīng)用場景

3.1 重點(diǎn)人員目標(biāo)識別與預(yù)警

當(dāng)發(fā)現(xiàn)園區(qū)內(nèi)有可疑目標(biāo)出現(xiàn)時(shí),通過兩種方式對可疑人員的身份進(jìn)行核查。重點(diǎn)人員通過人臉識別與預(yù)警如圖4所示。

圖4 重點(diǎn)人員通過人臉識別與預(yù)警

將人臉采集設(shè)備采集到的人臉數(shù)據(jù)與重點(diǎn)人員庫(含人臉信息)進(jìn)行比對匹配,查看是否是關(guān)注的重點(diǎn)人員。

將采集到的可疑人員人體數(shù)據(jù)(來源包括視頻監(jiān)控與人臉采集設(shè)備)與人臉采集設(shè)備中的人體數(shù)據(jù)進(jìn)行比對匹配,查看人臉采集設(shè)備采集的數(shù)據(jù)中是否有匹配的人體數(shù)據(jù)。如有,根據(jù)人體數(shù)據(jù)當(dāng)時(shí)的場景照提取人臉信息,通過人臉進(jìn)行比對匹配,查看是否是關(guān)注的重點(diǎn)人員。

為了及時(shí)發(fā)現(xiàn)重點(diǎn)人員進(jìn)入園區(qū),還可以將重點(diǎn)人員庫中的人臉數(shù)據(jù)進(jìn)行布控,實(shí)時(shí)處理、分析、比對人臉采集設(shè)備采集的人臉信息,若發(fā)現(xiàn)有匹配的人員,通過屏幕彈窗展示,也可以通過 API 接口推送到其他關(guān)聯(lián)信息系統(tǒng)或移動端應(yīng)用。

3.2 人員目標(biāo)智能搜索

將人臉識別算法、跨鏡頭人體識別算法及人臉-人體聚類算法組合,提供智能搜索功能[3-4]。人員目標(biāo)智能搜索如圖5所示。具體如下:

(1) 提交目標(biāo)人員的人臉信息,查詢該目標(biāo)人員在區(qū)域內(nèi)出現(xiàn)的情況,通過人臉采集設(shè)備判斷目標(biāo)人員的大致位置情況(曾經(jīng)出現(xiàn)的位置、設(shè)定時(shí)間出現(xiàn)的位置、最后出現(xiàn)的位置)。

(2) 提交目標(biāo)人員的人體信息,查詢該目標(biāo)人員在區(qū)域內(nèi)出現(xiàn)的情況,通過視頻監(jiān)控判斷目標(biāo)人員的大致位置情況(曾經(jīng)出現(xiàn)的位置、設(shè)定時(shí)間出現(xiàn)的位置、最后出現(xiàn)的位置)。

(3) 提交目標(biāo)人員的人臉或人體信息,在全域內(nèi)所有的人臉采集設(shè)備及視頻監(jiān)控中查詢目標(biāo)人員出現(xiàn)的位置情況(曾經(jīng)出現(xiàn)的位置、設(shè)定時(shí)間出現(xiàn)的位置、最后出現(xiàn)的位置)。

圖5 人員目標(biāo)智能搜索

3.3 受控區(qū)域越線闖入預(yù)警

整個(gè)區(qū)域中的能源中心、設(shè)備用房、物業(yè)管理辦公室、中控室、核心機(jī)房、財(cái)務(wù)室等都是安防重點(diǎn)。通過這些區(qū)域安裝的人臉識別PAD可以讓授權(quán)的內(nèi)部人員進(jìn)入,但是難保有人企圖翻越或闖入這些區(qū)域從事非法行為。為了及時(shí)發(fā)現(xiàn)有人員企圖非法闖入受控區(qū)域,對部署在這些區(qū)域的視頻監(jiān)控進(jìn)行實(shí)時(shí)處理與分析,通過智能周界分析算法實(shí)時(shí)檢測,判斷是否有非授權(quán)人員闖入,一旦發(fā)現(xiàn)后實(shí)時(shí)預(yù)警,屏幕彈窗展示,也可以通過API接口推送到其他關(guān)聯(lián)信息系統(tǒng)或移動端應(yīng)用。

根據(jù)總體建筑規(guī)劃及管理需要,選擇核心機(jī)房(1個(gè))、匯聚機(jī)房(南北地塊各1個(gè))、暖通機(jī)房(6個(gè))、運(yùn)營商機(jī)房(6～7個(gè))、管理辦公室及財(cái)務(wù)室(2～3個(gè))共20個(gè)重要機(jī)房及部門作為受控區(qū)域,對所在區(qū)域的視頻監(jiān)控實(shí)時(shí)碼流實(shí)時(shí)分析,及時(shí)發(fā)現(xiàn)非授權(quán)闖入或靠近行為并進(jìn)行預(yù)警。

3.4 人員目標(biāo)時(shí)空軌跡溯源

與人員智能搜索的應(yīng)用場景類似,在一些場景下(如發(fā)生治安案件)需要回溯目標(biāo)人員在整個(gè)區(qū)域的時(shí)空軌跡,通過時(shí)空軌跡對目標(biāo)人員的行蹤進(jìn)行研判。時(shí)效依然是非常重要的,傳統(tǒng)的視頻監(jiān)控調(diào)閱方式費(fèi)時(shí)費(fèi)力,通過人臉識別算法、跨鏡頭人體識別算法及人臉-人體聚類算法的組合,提供快捷的人員時(shí)空軌跡溯源[5]。

提交目標(biāo)人員的人臉或人體信息,在全域內(nèi)所有的人臉采集設(shè)備及視頻監(jiān)控中查詢目標(biāo)人員出現(xiàn)的時(shí)間和空間位置,并將兩者之間的對應(yīng)關(guān)系與二維地圖相結(jié)合,在二維地圖中進(jìn)行標(biāo)定,并基于時(shí)間維度繪制目標(biāo)人員的歷史活動軌跡。人員目標(biāo)軌跡回溯如圖6所示。

根據(jù)總體建筑規(guī)劃及管理需要,計(jì)劃在商場各層主要出入口及通道、車庫電梯廳、車庫通往商場的扶梯、塔樓進(jìn)出商場的通道等重要位置,選擇覆蓋相關(guān)區(qū)域的共30路視頻監(jiān)控碼流進(jìn)行實(shí)時(shí)處理分析,回溯目標(biāo)人員出入的時(shí)空軌跡。

圖6 人員目標(biāo)軌跡回溯

3.5 人員一人一檔大數(shù)據(jù)積累

針對地下車庫、商業(yè)區(qū)域等人流量比較大的區(qū)域,以人為核心,圍繞“人-臉-體”之間的關(guān)系進(jìn)行大數(shù)據(jù)關(guān)聯(lián)整合與聚類計(jì)算,通過聚類算法實(shí)現(xiàn)多維數(shù)據(jù)關(guān)聯(lián),勾勒目標(biāo)圖譜。通過人臉-人體時(shí)空歸檔,形成以人為核心的實(shí)名與非實(shí)名檔案,從而實(shí)現(xiàn)更大規(guī)模的數(shù)據(jù)檢索、比對。

完成聚類的人員大數(shù)據(jù)將人員從時(shí)間和空間串聯(lián)起來,基于時(shí)間和空間中的任意一點(diǎn),將目標(biāo)人員的人臉或人體信息作為檢索條件查詢歷史活動軌跡。同時(shí)在大數(shù)據(jù)技術(shù)上結(jié)合安防需求衍生出更多的分析模型,例如同伴分析、滯留分析、出入規(guī)律分析等,為決策及分析提供更有價(jià)值的數(shù)據(jù)支撐。

3.6 園區(qū)熱力圖

商業(yè)核心區(qū)域及地下停車庫的出入口位置往往是人流量比較大的區(qū)域,這些區(qū)域容易發(fā)生擁擠踩踏事故。此外,針對商業(yè)核心區(qū)的人流現(xiàn)狀,不同日期不同時(shí)間段的人流變化往往缺乏有效的手段進(jìn)行統(tǒng)計(jì)、展現(xiàn)和分析,也就無從下手來提高安保人員的部署效果。

利用上述這些區(qū)域的視頻監(jiān)控進(jìn)行實(shí)時(shí)處理與分析,通過人員計(jì)數(shù)與密度分析算法實(shí)時(shí)檢測區(qū)域內(nèi)人員數(shù)量,人員數(shù)量的規(guī)模情況以熱力圖的方式進(jìn)行展現(xiàn)。熱力圖中紅色代表人員密度較大,藍(lán)色代表人員密度較低。根據(jù)安保工作分析的需要,設(shè)定不同的采集周期對人流進(jìn)行檢測計(jì)數(shù),例如以小時(shí)為單位進(jìn)行檢測計(jì)數(shù),以天為單位建檔保存統(tǒng)計(jì)數(shù)據(jù)及熱力圖。人員計(jì)數(shù)和熱力圖顯示如圖7所示。

圖7 人員計(jì)數(shù)和熱力圖顯示

4 調(diào)試結(jié)果

智慧安防綜合管理平臺如圖8所示,該平臺能實(shí)現(xiàn)攝像頭及相關(guān)信息可視化;視頻及相關(guān)事件聯(lián)動;安防事件(不限于門禁、消防、人車布控、黑/白名單等)的報(bào)警消息展示和提示;人員異常行為分析內(nèi)容展示;可根據(jù)異常行為數(shù)據(jù)進(jìn)行預(yù)警;支持室內(nèi)樓層分層監(jiān)控信息查看;客流熱力圖展示;支持視頻巡更;攝像頭事件管理等。

5 結(jié) 語

綜上所述,通過視頻全面云化,可實(shí)現(xiàn)視頻聯(lián)網(wǎng)和資源共享,人臉統(tǒng)一智能分析,實(shí)現(xiàn)視頻的全生命周期管理,讓視頻產(chǎn)生更多的價(jià)值。在原有視頻安防系統(tǒng)加上AI應(yīng)用,實(shí)現(xiàn)數(shù)據(jù)統(tǒng)一格式,以此驅(qū)動大數(shù)據(jù)的應(yīng)用和AI智慧化,實(shí)現(xiàn)數(shù)據(jù)價(jià)值挖掘,將海量信息和行業(yè)智慧,經(jīng)過智能計(jì)算分析反饋于物理世界。

圖8 智慧安防綜合管理平臺