視頻云賦能工程的實踐與思考

葉永忠 郭敏生 周梓煬

（1.中山市公安局情報信息中心，廣東 中山510006；2.中山市公安局刑事警察支隊，廣東 中山510006）

引言

自公安機關實施“科技強警”戰(zhàn)略和城市報警與監(jiān)控系統(tǒng)建設以來，從最初的前端點位建設到近幾年的聯(lián)網(wǎng)整合、解析應用，視頻監(jiān)控技術已經(jīng)成為公安工作重要的技術支撐點。目前，前端智能采集、應用已推行多年，但針對云端解析應用相對落后，前端采集設備多種多樣，采集數(shù)據(jù)存在錯亂，公安民警的管控仍依靠傳統(tǒng)的人工查看方式為主，從海量非結構化視頻數(shù)據(jù)中逐一排查。同時，隨著經(jīng)濟的高速發(fā)展以及城鎮(zhèn)化進程的加快，各地城市人口的流動愈發(fā)頻繁。因此，亟需引入智能識別技術并配套一系列數(shù)據(jù)整合、生態(tài)構建的措施，以實現(xiàn)視頻大數(shù)據(jù)智能化的分析、研判、應用，突破城市管控難題。

1 挑戰(zhàn)與實踐：視頻云賦能工程基礎構建

1.1 中山公安面臨的挑戰(zhàn)

一是前端采集設備魚龍混雜。經(jīng)過多年的前端分散建設，設備快速迭代，前端視頻監(jiān)控涉及品牌廠家多、型號多，視頻質(zhì)量參差不齊。二是視頻計算設施較為落后。視頻基礎計算設施主要以傳統(tǒng)的CPU計算資源為主，視頻智能化應用所需的GPU等其他異構計算的資源比較欠缺；且計算資源缺少統(tǒng)一的管理和調(diào)度，以“煙囪式”為主，無法滿足隨需隨用隨取的實戰(zhàn)應用需求。三是海量數(shù)據(jù)處理難。伴隨多維數(shù)據(jù)的爆發(fā)式匯聚，視頻、圖片、結構化、半結構化數(shù)據(jù)量呈爆炸式增長，對海量多樣化數(shù)據(jù)的融合存儲，多系統(tǒng)間的數(shù)據(jù)共享，以及數(shù)據(jù)可靠性提出更高的要求。急需構建高性能、高可靠性，富有彈性的管理模式，有效應對大數(shù)據(jù)時代的挑戰(zhàn)。四是多算法融合應用能力不足。采用All-in-one的“煙囪式”封閉架構的視頻監(jiān)控系統(tǒng)，基礎設施資源難共享、難擴容。完整的視頻云構筑在ABC（Artificial Intelligence、Big Data和Cloud Computing）技術體系之上，需要有關生態(tài)系統(tǒng)內(nèi)部眾多廠家協(xié)同合作，發(fā)揮各自的長處。五是多維數(shù)據(jù)研判弱。研判、串并案仍停留于傳統(tǒng)人工模式，效果較差。各應用系統(tǒng)間缺乏有效聯(lián)動，共享很難，流竄作案難以對其進行追蹤，易錯過最佳的破案時間窗，為實戰(zhàn)單位的應用系統(tǒng)提供“按需推送”的數(shù)據(jù)服務能力有待提升，重被動式防控輕主動式預警。六是視頻智能實戰(zhàn)能力待提升。視頻偵查靠人工從海量視頻中逐一排查，缺乏專業(yè)的視頻圖像解析和信息綜合應用的技術手段，缺乏自動預警、預防、預測能力。即使有少部分鎮(zhèn)區(qū)開展了視頻智能應用試點，也過于零散化和碎片化，未形成跨警種、跨部門的長效共享機制，未形成規(guī)模效應和技戰(zhàn)法。

1.2 中山公安的實踐

2018年，中山公安啟動視頻云項目建設。以云計算、大數(shù)據(jù)、人工智能等前沿技術作為牽引，采用軟件與硬件解耦、數(shù)據(jù)與應用解耦、應用與算法解耦，圍繞“一云、一湖、一平臺”理念，以海量感知數(shù)據(jù)的匯聚、數(shù)據(jù)共享與能力開放為目標，統(tǒng)籌人、車、視頻結構化，構建物理分布、邏輯統(tǒng)一基礎平臺，大平臺支撐精兵作戰(zhàn)，大數(shù)據(jù)驅動警務創(chuàng)新，打造目前國內(nèi)公安視頻數(shù)據(jù)智能結構化綜合度最高，合作生態(tài)理念最先進的“中山樣板”視頻云。

1.2.1 增強前端建設統(tǒng)籌能力

中山公安科信部門從自身職能出發(fā)，統(tǒng)籌全市前端采集設備建設項目設計、方案評審、招投標、建設、驗收、運維等關鍵環(huán)節(jié)，形成項目管理流程全介入，取得了一定成效，為建設場景化、智能化的前端打下基礎。

1.2.2 搭建云邊融合的統(tǒng)一視頻云

中山公安視頻云項目在全省一片云的統(tǒng)一規(guī)劃下，通過云平臺集約化建設，實現(xiàn)對底層基礎硬件資源的統(tǒng)一管理；統(tǒng)一納管和彈性調(diào)度，實現(xiàn)從“煙囪式”的獨立硬件資源配置往池化的彈性云資源調(diào)度轉變；基于大數(shù)據(jù)服務構建的視圖庫，實現(xiàn)視頻圖像價值數(shù)據(jù)的匯聚，對外提供價值數(shù)據(jù)服務，實現(xiàn)從應用獨享的數(shù)據(jù)孤島到應用共享的數(shù)據(jù)湖轉變,現(xiàn)已匯聚了海量人、車結構化數(shù)據(jù)。自系統(tǒng)上線以來，已抓獲人員1305人，破獲案件1451宗。

一是市鎮(zhèn)兩級架構、業(yè)務一云支撐。中山公安視頻云縱向分市級視頻云節(jié)點和鎮(zhèn)區(qū)級視頻云節(jié)點，橫向分視頻專網(wǎng)部分和公安網(wǎng)部分。管理面實現(xiàn)“物理分布、邏輯統(tǒng)一”，對基礎資源統(tǒng)一管理、統(tǒng)一運維、統(tǒng)一運營，業(yè)務面上省、市、鎮(zhèn)實現(xiàn)資源層、數(shù)據(jù)層、任務層、算法層四協(xié)同。

二是異構資源彈性調(diào)度。以資源整合為基礎向集約化建設轉變，針對各應用系統(tǒng)所需的計算、存儲、網(wǎng)絡等基礎資源，通過云化技術，以標準開放的云資源管理框架對服務器、存儲、網(wǎng)絡等設備進行池化管理，實現(xiàn)軟件定義基礎設施的能力（即軟件定義計算、存儲、網(wǎng)絡），提供開放、敏捷、高效、軟硬解耦的云化資源環(huán)境。同時通過CPU親和調(diào)度、GPU直通等關鍵技術使得資源云化之后保持資源低損耗。以資源服務化方式支撐各種應用，按需分配資源，共享彈性資源池，確保業(yè)務可持續(xù)發(fā)展。支持根據(jù)不同廠商算法不同異構CPU/GPU的計算需求任意配比，共用CPU/GPU異構計算資源池，資源充分利用、彈性調(diào)度，使資源支撐應用快速創(chuàng)新。

三是海量數(shù)據(jù)融合存儲。采用全對稱分布式融合存儲服務，同時支持視頻、圖片、文本等多種數(shù)據(jù)，通過平滑擴容應對業(yè)務容量的增加，實現(xiàn)近無限線性擴展，支撐千億級多來源的視頻圖片統(tǒng)一存儲。采用小文件聚合技術，把若干小圖片合并大文件再寫，提高性能3倍，提升存儲4倍。采用SSD等高速介質(zhì)作為數(shù)據(jù)緩存，再平緩寫入后端磁盤，應對不同時段數(shù)據(jù)波動，達到削峰填谷效果。采用融合存儲技術，智能識別圖片存儲與視頻流存儲，自動采取高效的存儲策略。

四是數(shù)據(jù)整合，一湖共享。視圖庫大數(shù)據(jù)平臺采用行列混合存儲技術，支撐千億級多維數(shù)據(jù)關聯(lián)查詢、統(tǒng)計分析。充分利用所有節(jié)點的計算能力和I/O能力以達到最大的導入速度，通過并行數(shù)據(jù)導入（加載）的核心技術，支撐中山公安高達每秒數(shù)萬條數(shù)據(jù)導入&數(shù)據(jù)關聯(lián)。實現(xiàn)各系統(tǒng)數(shù)據(jù)的集中匯聚、實時分析處理、融合關聯(lián)處理、深度挖掘。強化數(shù)據(jù)融合，提供數(shù)據(jù)匯聚和數(shù)據(jù)治理的一站式數(shù)據(jù)管理服務，支撐事后的精確打擊，事中的動態(tài)管控,事前的預測預警。

五是海量數(shù)據(jù)精準檢索。使用特征數(shù)據(jù)分布式存儲技術，通過均衡算法解決前端攝像頭產(chǎn)生圖片提取流量密度差異問題以及特征數(shù)據(jù)存儲節(jié)點擴/縮容后特征數(shù)據(jù)的存儲均衡問題，確保單節(jié)點的檢索時長的一致性。熱冷數(shù)據(jù)分級存儲技術，實現(xiàn)熱點價值數(shù)據(jù)的高效訪問。分布式定向檢索技術，通過對于檢索請求進行分布式并行處理后再合并檢索結果，從而實現(xiàn)大規(guī)模數(shù)據(jù)的高效檢索。

六是多算法協(xié)同，打造開放生態(tài)。采用多算法倉提供了一個統(tǒng)一的運行環(huán)境。實現(xiàn)人、車、視頻結構化算法快速上下架，插件式第三方算法快速集成，避免被單算法綁架，降低風險和采購成本。對應用屏蔽算法差異化，應用一次開發(fā)普遍適配；對算法屏蔽底層算力的差異化（如GPU、NPU、FPGA等），降低算法開發(fā)復雜度。實現(xiàn)了架構的三重解耦（算法與應用解耦、算法與數(shù)據(jù)解耦、算法與平臺解耦），解除了算法廠家、應用廠家、平臺廠家之間的相互掣肘，打造一個開放、公平競爭、共贏的生態(tài)系統(tǒng)。

2 思考與發(fā)展：視頻云賦能工程應用發(fā)展

視頻圖像數(shù)據(jù)資源在當前公安的各類業(yè)務數(shù)據(jù)中占據(jù)最大份額，實現(xiàn)視頻圖像的智能化應用是公安大數(shù)據(jù)戰(zhàn)略的核心環(huán)節(jié)。隨著近年來各種新技術的飛速發(fā)展，以視頻圖像為核心的智能化應用已經(jīng)走入公安部門的日常工作中，相關技術也在不斷升級與迭代。視頻圖像智能應用1.0時代的典型特征是“煙囪式”架構，存在數(shù)據(jù)壁壘和信息孤島，業(yè)務系統(tǒng)招標即定型，不能隨業(yè)務變化快速制定，數(shù)據(jù)、算法與廠家深度捆綁。視頻圖像智能應用2.0時代構筑了視頻云的雛形，實現(xiàn)了算法與硬件解耦、數(shù)據(jù)與應用解耦，但是沒有統(tǒng)一的服務平臺提供對外支撐，無法實現(xiàn)按需編排算法和調(diào)度數(shù)據(jù)資源，難以支撐公安部門多維數(shù)據(jù)融合業(yè)務。那么認為，視頻圖像智能應用3.0時代是對視頻云架構進行深度優(yōu)化，依托“大中臺、小前臺”的架構理念，通過視頻云賦能中臺，以API的方式提供對外服務，自由編排基礎算法，實現(xiàn)公安應用按需定制。

2.1 視頻云賦能中臺生態(tài)構建

2.1.1 中臺是什么

中臺是溝通前臺和后臺之間的橋梁。這條橋梁，連接了技術和場景，能夠穿透封閉的部門墻、業(yè)務墻和數(shù)據(jù)墻，為業(yè)務發(fā)展帶來全新面貌。從計算機系統(tǒng)走過了系統(tǒng)化、中心化、平臺化的發(fā)展路徑，在可預見的未來，通用性、組件化、可復用、可共用、靈活擴展等中臺理念的核心元素將成為計算機系統(tǒng)的發(fā)展方向。

2.1.2 建設視頻云賦能中臺

與合作伙伴采用公安提供應用場景與業(yè)務需求、公司提供技術支撐的合作方式，運用中臺技術，在算法池、數(shù)據(jù)池和模型池基礎之上建立一個數(shù)據(jù)服務應用支撐平臺，把視頻應用的基礎數(shù)據(jù)以及各個廠家的基礎算法等，以分層解耦的方式，通過API服務注冊、服務編排、服務發(fā)布，實現(xiàn)數(shù)據(jù)與應用解耦，解決各廠家服務數(shù)據(jù)資源和基礎算法封閉、警種部門無法靈活復用等問題，真正實現(xiàn)基礎數(shù)據(jù)和通用應用全警共享，個性化需求自主完成，進一步提高項目資源的利用率和使用價值，節(jié)省后續(xù)項目的建設成本，實現(xiàn)能力復用和業(yè)務快速上線，支撐各警種、應用層的業(yè)務實戰(zhàn)創(chuàng)新。

同時，視頻云賦能中臺也是業(yè)務應用定制操作平臺，依托視頻云豐富的視頻圖像數(shù)據(jù)資源，通過統(tǒng)一的服務調(diào)用服務，可將解耦出來的數(shù)據(jù)與服務進行二次編排，為各警種按需構建新的技戰(zhàn)法提供服務支撐，形成多元化的服務或專題，構建新的業(yè)務流程，并基于新的業(yè)務流程對數(shù)據(jù)進行實時分析與結果呈現(xiàn)。用戶可以通過拖拽、連線等簡易操作集成各類封裝好的算法組件和數(shù)據(jù)源，用于新服務流程的構建，實現(xiàn)服務自定義、服務自發(fā)布和服務群調(diào)度，大幅降低系統(tǒng)功能開發(fā)的門檻，讓無技術背景的警員也能按需構建所需服務，營造開放共享、聚合生態(tài)的警務新常態(tài)。

2.1.3 搭建模型超市

為各警種提供了選擇技戰(zhàn)法模型的平臺，也為各大廠商和開發(fā)者提供了模型展示的窗口。隨著時間的推移以及視頻云賦能中臺的大規(guī)模應用，超市的模型商品會更加豐富多彩。在多維數(shù)據(jù)的碰撞下，模型的豐富性和實戰(zhàn)性均能得到大幅提升，為公安機關提供全時空分析研判能力、全警種業(yè)務模型共享能力、全周期模型優(yōu)化配置能力和全維度數(shù)據(jù)智能應用能力。

3 小結

未來，通過前端建設更清晰、更智能的視頻圖像采集設備，后端搭建統(tǒng)一云平臺、基于云平臺的視頻圖像信息資源庫、賦能中臺以及各上層應用，建立統(tǒng)一的服務平臺和資源服務體系，推動技術、場景和開發(fā)者三大集群的建設和維護，引入行業(yè)頂尖智力資源，構筑豐富多彩的視頻云賦能工程建設生態(tài)體系，保障新技術、新模型、新服務快速上線。建設公安視頻數(shù)據(jù)智能結構化綜合度更高，合作生態(tài)理念更先進的視頻云。