智慧城市視頻云建設(shè)應(yīng)用研究

甘勇

（廣東奧迪安監(jiān)控技術(shù)股份有限公司，廣州510000）

1 視頻云定位

現(xiàn)階段視頻智能應(yīng)用水平低，缺乏功能強大視頻圖像解析和信息綜合應(yīng)用手段。視頻云是實現(xiàn)視頻資源共享和視頻能力開放，視頻圖像資源和其他信息資源服務(wù)平臺進行信息資源共享與應(yīng)用支撐。智慧城市中視頻云建設(shè)規(guī)劃應(yīng)考慮：構(gòu)建視頻云基礎(chǔ)資源層、視頻資源共享體系，建設(shè)分級分類視頻圖像信息數(shù)據(jù)庫；構(gòu)建開放體系，基于統(tǒng)一的視頻云應(yīng)用支撐平臺，把視頻圖像調(diào)閱、視頻圖像解析、多源多維感知數(shù)據(jù)訪問、大數(shù)據(jù)檢索等以云服務(wù)的方式共享開放，并注冊到信息資源服務(wù)平臺服務(wù)目錄里統(tǒng)一呈現(xiàn)；在云計算基礎(chǔ)設(shè)施上，構(gòu)建面向治安、刑偵、指揮等多業(yè)務(wù)場景下“視頻云+應(yīng)用”系統(tǒng)，創(chuàng)新視頻大數(shù)據(jù)防控、檢索、情報、偵查等業(yè)務(wù)應(yīng)用模式。

2 物理架構(gòu)設(shè)計

視頻云物理建設(shè)包含前端感知設(shè)備、傳輸網(wǎng)、節(jié)點視頻云平臺建設(shè)等。前端感知設(shè)備包含：人臉采集設(shè)備、車輛采集設(shè)備、Wi-Fi 采集設(shè)備等，前端感知設(shè)備就近接入傳輸網(wǎng)。傳輸網(wǎng)絡(luò)包含：傳輸鏈路、交換設(shè)備等。節(jié)點視頻云平臺主要對前端數(shù)據(jù)進行匯聚、管理和分發(fā)，包含云基礎(chǔ)環(huán)境建設(shè)、虛擬化服務(wù)器、云存儲設(shè)備、網(wǎng)絡(luò)設(shè)備以及各類業(yè)務(wù)應(yīng)用所需服務(wù)器等。

3 邏輯架構(gòu)設(shè)計

視頻云平臺基于大數(shù)據(jù)架構(gòu)設(shè)計，按相關(guān)標(biāo)準(zhǔn)，以數(shù)據(jù)匯聚、數(shù)據(jù)共享與能力開放為目標(biāo)，支撐視頻業(yè)務(wù)應(yīng)用及基于平臺開放服務(wù)接口共享視頻云服務(wù)，可設(shè)計分為“六層”：

圖1 視頻云邏輯架構(gòu)圖

（1）感知采集層：固定及移動監(jiān)控視頻（如執(zhí)法記錄、車載監(jiān)控、無人機等）、互聯(lián)網(wǎng)+停車場、其他社會面（如企業(yè)、店鋪等）視頻和公安內(nèi)部（如監(jiān)所等）監(jiān)控視頻等感知設(shè)備。

（2）傳輸網(wǎng)絡(luò)層：支撐前端采集設(shè)備接入和數(shù)據(jù)傳輸，包含視頻網(wǎng)、內(nèi)網(wǎng)、互聯(lián)網(wǎng)、移動信息網(wǎng)等。

（3）基礎(chǔ)設(shè)施層：為平臺服務(wù)層、數(shù)據(jù)層提供業(yè)務(wù)系統(tǒng)運行、視頻圖像存儲和解析、數(shù)據(jù)分析等所需基礎(chǔ)IT 資源，包括搭建云計算資源、多類數(shù)據(jù)混合存儲的云存儲資源，并能夠通過云資源管理平臺構(gòu)建一個開放、高效的資源環(huán)境，實現(xiàn)多業(yè)務(wù)承載、服務(wù)自動化部署、資源彈性伸縮等功能。

（4）匯聚層：由統(tǒng)一的視頻圖像信息聯(lián)網(wǎng)匯聚平臺實現(xiàn)視頻圖像、多源信息的匯聚。

（5）服務(wù)層（視頻云平臺層）：

①視頻圖像信息數(shù)據(jù)庫：主要實現(xiàn)資源目錄數(shù)據(jù)同步，用戶訂閱的各地市數(shù)據(jù)匯聚和存儲，并把數(shù)據(jù)通過同步級聯(lián)模式傳送到視頻圖像信息數(shù)據(jù)庫。

②視頻圖像解析平臺：實現(xiàn)對接入的視頻流、人臉抓拍圖片進行視頻結(jié)構(gòu)化處理；并預(yù)留一定的視頻圖像解析能力，滿足用戶突發(fā)事件等應(yīng)急情況的視頻圖像解析處理。視頻圖像解析能力，通過視頻云應(yīng)用支撐平臺開放API 供上層系統(tǒng)及第三方系統(tǒng)調(diào)用。視頻圖像解析后數(shù)據(jù)匯聚到視頻圖像信息數(shù)據(jù)庫，為上層應(yīng)用提供數(shù)據(jù)服務(wù)能力。

③視頻云應(yīng)用支撐平臺：通過統(tǒng)一服務(wù)接口，提供媒體流轉(zhuǎn)發(fā)、視頻轉(zhuǎn)碼及視頻結(jié)構(gòu)化、人臉比對等服務(wù)。

（6）應(yīng)用層：視頻云+應(yīng)用，提供視頻調(diào)閱、數(shù)據(jù)檢索等應(yīng)用。

4 視頻云基礎(chǔ)設(shè)施設(shè)計

4.1 視頻云計算資源池設(shè)計

視頻業(yè)務(wù)需要靈活、異構(gòu)的計算、存儲、網(wǎng)絡(luò)等基礎(chǔ)資源；固化支撐系統(tǒng)逐漸不能滿足業(yè)務(wù)發(fā)展需要，需要基于云計算技術(shù)重新構(gòu)建IT 基礎(chǔ)設(shè)施，以滿足視頻業(yè)務(wù)應(yīng)用部署、視頻圖像解析、視頻聯(lián)網(wǎng)等各種異構(gòu)資源的需求。通過虛擬化技術(shù)，把所有資源整合后在邏輯上以單一整體的形式呈現(xiàn)，資源進行動態(tài)擴展和配置，按需使用資源。視頻云平臺主要為數(shù)據(jù)采集匯聚、視頻圖像解析以及視頻大數(shù)據(jù)和智能化應(yīng)用提供基礎(chǔ)資源支撐，按計算應(yīng)用分類設(shè)計：

（1）通用計算類

主要部署視頻調(diào)閱、數(shù)據(jù)檢索等業(yè)務(wù)應(yīng)用基礎(chǔ)資源，使用普通的CPU、內(nèi)存等通用計算資源，支撐人臉抓拍攝像機、人臉抓拍圖片數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)接入、媒體流轉(zhuǎn)發(fā)、抓拍數(shù)據(jù)檢索和以及解析平臺。根據(jù)相關(guān)測試與項目的實際數(shù)據(jù)驗證，14 物理核支持100 路人臉抓拍接入或1000 條/秒的結(jié)構(gòu)化數(shù)據(jù)接入或200 張/秒的“大圖”片和“小圖”片的接入或支持64 路的媒體流轉(zhuǎn)發(fā)；可以根據(jù)實際前端數(shù)量，計算出配置14 物理核數(shù)據(jù)接入服務(wù)器、數(shù)據(jù)轉(zhuǎn)發(fā)服務(wù)器、系統(tǒng)應(yīng)用服務(wù)器、人臉布控服務(wù)器數(shù)量，然后進行統(tǒng)計分析出需要該服務(wù)器總核數(shù)、內(nèi)存數(shù)，然后加上平臺對計算資源消耗以及考慮硬件故障情況下的資源備份和業(yè)務(wù)突發(fā)高峰的資源預(yù)留，從而計算出CPU 維度與內(nèi)存維度等。

（2）大數(shù)據(jù)計算類

承載海量視圖數(shù)據(jù)關(guān)聯(lián)分析的大數(shù)據(jù)平臺，需要高計算、高I/O，不適合虛擬化部署，設(shè)計保留物理化部署。

①數(shù)據(jù)緩存服務(wù)器：按數(shù)據(jù)的類型（人臉與視頻的大圖、小圖、結(jié)構(gòu)化數(shù)據(jù)、特征值等），根據(jù)視頻路數(shù)、每天文件數(shù)、文件大小可以計算出每天數(shù)據(jù)入庫量，從而得出數(shù)據(jù)平均入庫流量；每節(jié)點吞吐量具體可以根據(jù)實測錄得；數(shù)據(jù)可選擇保存到內(nèi)存、緩存到磁盤，按緩存到內(nèi)存估算，緩存30 秒；根據(jù)單節(jié)點內(nèi)存大小，可以計算出數(shù)據(jù)緩存服務(wù)器集群節(jié)點服務(wù)器的數(shù)量。

②結(jié)構(gòu)化數(shù)據(jù)分析服務(wù)器節(jié)點：用于存儲人臉、車輛、視頻結(jié)構(gòu)化數(shù)據(jù)，考慮并發(fā)讀寫和可靠性要求，數(shù)據(jù)可按每6 塊盤做RAID5，再按2 副本存放，磁盤有效使用空間按80%計算。從硬盤空間來考慮，根據(jù)單服務(wù)器有效利用空間：裸容量/有效利用系數(shù)、前端結(jié)構(gòu)化有效數(shù)據(jù)及索引空間的存儲容量計算出服務(wù)器的數(shù)量。

（3）特征檢索類

特征數(shù)據(jù)是通過算法解析出來的非結(jié)構(gòu)化數(shù)據(jù)，人像軌跡檢索、以圖搜圖等業(yè)務(wù)場景下對特征庫進行海量比對檢索，要求高計算、高I/O 吞吐能力，特征數(shù)據(jù)存儲與檢索一般按內(nèi)存和SSD 盤兩級緩存，需要大內(nèi)存、高性能SSD 盤；特征數(shù)據(jù)服務(wù)器應(yīng)根據(jù)特征值類型、天數(shù)、路數(shù)、每天文件數(shù)、文件大小計算出存儲容量，并適當(dāng)冗余，計算出磁盤數(shù)量，進行服務(wù)器性能配置。

（4）GPU 高性能計算類

人臉解析、視頻結(jié)構(gòu)化，大量消耗計算資源，單一CPU 無法滿足，設(shè)計高性能GPU 計算資源支撐。人臉解析對象為人像臉抓拍攝機抓拍的人臉“小圖”片，人臉“小圖”片檢測用CPU 進行分析，GPU 完成人臉特征提取計算，根據(jù)測試結(jié)果和項目實際驗證，CPU（14 物理核作為1 顆CPU）和GPU 的比例按照1:1 的比例計算，CPU 的單元按14 物理核計算。14 物理核和1 張GPU 卡支持180 張/秒的人臉特征數(shù)據(jù)解析。

視頻結(jié)構(gòu)化對象為實時視頻流或錄像視頻流，視頻流的解碼以及行人和車輛分類分析采用CPU 完成，占用CPU 的性能相對于人臉圖片解析更高，GPU 完成行人或車輛圖片的結(jié)構(gòu)化數(shù)據(jù)的解析和目標(biāo)數(shù)據(jù)的提取，根據(jù)測試結(jié)果和項目實際驗證，CPU（14 物理核作為1 顆CPU）和GPU 的比例按照1:1 的比例計算，CPU的單元按14 物理核計算。根據(jù)人臉解析服務(wù)器與視頻結(jié)構(gòu)化服務(wù)器的數(shù)量、核數(shù)與內(nèi)存進行分析計算出CPU 維度、GPU 維度、內(nèi)存維度，從而選擇等效高密GPU 服務(wù)器。

4.2 視頻云存儲資源池設(shè)計

視頻云存儲資源進行圖片的解析及解析結(jié)果的“大圖”片和“小圖”片存儲。一般情況下，視頻專網(wǎng)“大圖”片存儲周期90 天，“小圖”片存儲周期360 天。結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)存儲空間計算考慮自身存儲空間，還考慮基于數(shù)據(jù)提供的數(shù)據(jù)訪問服務(wù)性能指標(biāo)要求，滿足業(yè)務(wù)需求并發(fā)度和響應(yīng)時間。存儲資源池設(shè)計采用全對稱分布式云存儲方案，云存儲產(chǎn)品采用全對稱邏輯架構(gòu)，每個節(jié)點均可提供服務(wù)；通過負(fù)載均衡設(shè)計，數(shù)據(jù)訪問在集群內(nèi)均勻分布。涉及虛擬機鏡像存儲、“大圖”、“小圖”非結(jié)構(gòu)化數(shù)據(jù)存儲、結(jié)構(gòu)化數(shù)據(jù)存儲；虛擬機鏡像存儲根據(jù)系統(tǒng)盤、數(shù)據(jù)盤及有效容量系數(shù)計算磁盤數(shù)量；非結(jié)構(gòu)化數(shù)據(jù)存儲根據(jù)非結(jié)構(gòu)化數(shù)據(jù)存儲時間、大小計算出總?cè)萘浚嬎愠龇?wù)器數(shù)量；結(jié)構(gòu)化數(shù)據(jù)設(shè)計采用分布式數(shù)據(jù)庫高性能CPU 服務(wù)器本地硬盤存儲。

4.3 視頻云網(wǎng)絡(luò)資源設(shè)計

網(wǎng)絡(luò)設(shè)計應(yīng)可靠、冗余，區(qū)分業(yè)務(wù)、存儲、管理平面，設(shè)備具備板卡冗余、電源冗余、鏈路冗余等設(shè)計，可擴展。網(wǎng)絡(luò)設(shè)計如下：核心層與接入層分層設(shè)計，采用雙鏈路冗余；核心層設(shè)計2 臺核心交換機，采用CSS 虛擬集群技術(shù)；接入交換機之間采用堆疊技術(shù)；管理平面采用冗余架構(gòu)部署2 臺管理交換機，用于網(wǎng)絡(luò)、服務(wù)器、存儲等設(shè)備管理平面的接入，網(wǎng)管對接管理整個云平臺；部署2 臺萬兆級核心防火墻設(shè)備，雙機熱備模式旁掛于核心或者串聯(lián)到平臺出口，提供授權(quán)訪問、入侵檢測、病毒防護、數(shù)據(jù)防泄漏等防護，保障平臺數(shù)據(jù)安全。

圖2 網(wǎng)絡(luò)物理架構(gòu)

4.4 云管理平臺設(shè)計

視頻云平臺運行需要大量異構(gòu)CPU/GPU 計算資源、存儲資源做支撐，以支撐視圖結(jié)構(gòu)化解析、視頻圖像信息數(shù)據(jù)庫建設(shè)以及視頻資源共享與開放，需要云資源統(tǒng)一管理平臺技術(shù)對異構(gòu)資源進行統(tǒng)一管理與調(diào)度。云資源管理平臺設(shè)計采用虛擬化技術(shù)，把所有異構(gòu)CPU/GPU 計算資源、存儲資源整合后在邏輯上以單一整體形式呈現(xiàn)，根據(jù)需要進行動態(tài)擴展和配置，當(dāng)計算業(yè)務(wù)量突變時，云資源管理平臺自動啟用有空余能力的相應(yīng)計算資源參與到計算需求中，實現(xiàn)解析任務(wù)、檢索任務(wù)、大數(shù)據(jù)分析業(yè)務(wù)等按需彈性伸縮使用資源。

5 視頻云平臺軟件設(shè)計

視頻云平臺軟件設(shè)計主要包含視頻圖像解析系統(tǒng)、視頻圖像信息數(shù)據(jù)庫等設(shè)計。

視頻圖像解析系統(tǒng)遵循相關(guān)標(biāo)準(zhǔn)設(shè)計，實現(xiàn)對視頻、圖片進行實時結(jié)構(gòu)化分析與內(nèi)容信息提取，為上層業(yè)務(wù)提供視頻圖像內(nèi)容信息、目標(biāo)特征等相關(guān)信息。視頻圖像解析系統(tǒng)設(shè)計應(yīng)針對多廠商多算法的視頻圖像處理與分析引擎提供集成框架，為多智能解析廠商提供一個開放的集成開發(fā)與運行環(huán)境，為業(yè)務(wù)應(yīng)用提供視頻圖像的結(jié)構(gòu)化解析能力。

視頻圖像信息數(shù)據(jù)庫是平臺核心部分，負(fù)責(zé)提供數(shù)據(jù)的匯聚接入、數(shù)據(jù)處理、數(shù)據(jù)資源存儲、數(shù)據(jù)服務(wù)與數(shù)據(jù)開放能力，主要包括各類數(shù)據(jù)的存儲與管理；各類數(shù)據(jù)庫應(yīng)遵循相關(guān)數(shù)據(jù)資源編目和數(shù)據(jù)元標(biāo)準(zhǔn)要求建庫與設(shè)計，包括基礎(chǔ)資源庫、專題資源庫與元數(shù)據(jù)庫等。

6 視頻云應(yīng)用支撐平臺設(shè)計

視頻云應(yīng)用支撐平臺提供統(tǒng)一的云服務(wù)管理框架，為使用視頻服務(wù)和視頻大數(shù)據(jù)服務(wù)提供統(tǒng)一用戶認(rèn)證和服務(wù)申請的統(tǒng)一入口。視頻云應(yīng)用支撐平臺按照相關(guān)規(guī)范及時發(fā)布和更新服務(wù)目錄；由云服務(wù)API、開放服務(wù)平臺框架和云服務(wù)能力三大部分組成，視頻圖像解析系統(tǒng)、視頻圖像信息數(shù)據(jù)庫以及第三方系統(tǒng)需要開放的服務(wù)通過向視頻云應(yīng)用支撐平臺注冊來供業(yè)務(wù)應(yīng)用使用。

7 視頻云+應(yīng)用系統(tǒng)設(shè)計

視頻云+應(yīng)用系統(tǒng)根據(jù)實際提供典型應(yīng)用場景應(yīng)用功能，服務(wù)實戰(zhàn)；典型業(yè)務(wù)應(yīng)用場景設(shè)計如下。

7.1 資源調(diào)閱類

針對重點場所防控，對重點場所出現(xiàn)的活動對象進行抓拍和特征采集。業(yè)務(wù)流程大致如下：

●人臉攝像機自動采集視頻流、抓拍人臉圖片；

●如該路視頻配置視頻解析算法，則在后臺會自動對該路視頻流進行結(jié)構(gòu)化處理；

●針對人臉圖片，數(shù)據(jù)進入視頻圖像信息數(shù)據(jù)庫后會自動進行人臉建模二次分析；

●所有特征數(shù)據(jù)、模版數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)等會按照數(shù)據(jù)入庫標(biāo)準(zhǔn)進入視頻圖像信息數(shù)據(jù)庫統(tǒng)一管理，而視頻按照標(biāo)準(zhǔn)進入視頻監(jiān)控聯(lián)網(wǎng)平臺或視頻監(jiān)控共享平臺存儲；

●用戶可通過視頻圖像信息數(shù)據(jù)庫或者視頻云+應(yīng)用系統(tǒng)訪問已授權(quán)訪問的任何一個點位的視頻資源，可調(diào)閱實時視頻、實時人臉圖片，可進一步查看其相關(guān)聯(lián)的特征數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)等。

7.2 布控告警類

對于需要主動發(fā)現(xiàn)和預(yù)警的重點人員，需要通過人臉進行布控告警，一旦疑似該人員出現(xiàn)在某布控區(qū)域內(nèi)，系統(tǒng)應(yīng)自動告警并通知做好控制措施。以防控重點小區(qū)慣偷布控為例，業(yè)務(wù)流程大致如下：

●在布控庫中選擇該慣偷人臉照片，設(shè)定好布控區(qū)域和布控告警策略；

●系統(tǒng)按設(shè)定好的策略，對布控區(qū)域每個攝像機采集或分析的人像“大圖”、人臉“小圖”入庫時，會將摳出的人臉“小圖”發(fā)送給視頻解析系統(tǒng)；

●視頻解析系統(tǒng)將人臉“小圖”進行解析處理，并將該人臉模版與該布控對象的人臉模版數(shù)據(jù)進行比對，并給出相似度閾值；

●如相似度閾值大于設(shè)定好的告警閾值，視頻云+應(yīng)用系統(tǒng)將自動按照告警策略產(chǎn)生告警提示并推送信息。

7.3 大數(shù)據(jù)檢索類

治安和情報領(lǐng)域需關(guān)注重點人員行蹤，刑偵領(lǐng)域需關(guān)注嫌疑對象的身份排查。

以重點人員身份排查為例，其業(yè)務(wù)流程如下：

●在視頻云+應(yīng)用系統(tǒng)中調(diào)用人臉云追蹤功能，將該N 張照片作為輸入，選擇一定區(qū)域、時間范圍，系統(tǒng)將從所有的人臉抓拍庫中按照相似度找出照片供用戶確認(rèn)；

●用戶人工確認(rèn)系統(tǒng)提示的相似度較高照片后，系統(tǒng)能自動根據(jù)抓拍圖片的時空關(guān)系在地圖上刻畫該人員活動軌跡。

7.4 行人軌跡分析

針對公安民警重點關(guān)注的人員，為了掌握嫌疑人員的行動軌跡，需要查看大量的視頻錄像，才能畫出嫌疑人員的行動軌跡，此過程消耗大量警力資源。如果所在區(qū)域有安裝人臉抓拍攝像機，使用人臉識別技術(shù)采用行人軌跡分析技戰(zhàn)法，可利用已有的人臉圖片或者系統(tǒng)檢索出的人臉圖片，搜索出一定時間段及監(jiān)控范圍內(nèi)的相似人臉圖片，選擇目標(biāo)人員人臉圖片，結(jié)合地理坐標(biāo)信息在電子地圖上刻畫出人員時空軌跡，分析目標(biāo)人員“從哪里來、到哪里去、沿途經(jīng)過哪里”。

7.5 頻繁出入分析

針對一些嫌疑人可能在案發(fā)地提前踩點多次出現(xiàn)，系統(tǒng)支持對某一區(qū)域抓拍的人臉進行頻次分析，找出在一段時間范圍內(nèi)，在某一區(qū)域內(nèi)多次出現(xiàn)的人臉，以便民警對頻繁出現(xiàn)的人員進行關(guān)注，提供案件線索。

7.6 同行人分析

針對團伙作案及尾隨作案，通過提供嫌疑人或受害者信息，選定攝像頭，獲得滿足同行條件的結(jié)果，從而找到與案（事）件或目標(biāo)人員有關(guān)聯(lián)的同伙、蓄意尾隨人員等，協(xié)助案（事）件進行相關(guān)人員的證據(jù)采集與處理。用于檢索重點人員、關(guān)注人員或嫌疑犯在某個時空范圍內(nèi)的同行者，廣泛應(yīng)用于刑偵、情報、治安、禁毒、反恐等場景；可協(xié)助民警快速找到同案或同伙人員，并掌握其活動規(guī)律。根據(jù)目前主要應(yīng)用場景同行分析模型可以衍生出盜竊同伙分析、上訪人員同伙分析、邪教同伙分析、吸毒人員同伙分析、群體事件同伙分析、肇事人員同伙分析、社會矯正人員同伙分析等技戰(zhàn)法。

8 結(jié)語

視頻云應(yīng)根據(jù)前端接入數(shù)量和類型總體規(guī)劃、分步建設(shè)、逐步擴容，支撐實戰(zhàn)化應(yīng)用。在建設(shè)中，根據(jù)標(biāo)準(zhǔn)規(guī)范體系，采用直接引用和自行制定相結(jié)合辦法設(shè)計滿足標(biāo)準(zhǔn)、規(guī)范和切實可行視頻云建設(shè)方案，用以保障視頻云順利建設(shè)和平臺運行環(huán)境的形成；本文對智慧城市視頻云建設(shè)應(yīng)用具有一定的參考意義。