面向科技創(chuàng)城的大數(shù)據(jù)數(shù)字視網(wǎng)膜技術(shù)應(yīng)用與研究

0 引言

隨著人工智能、邊緣計(jì)算等技術(shù)的發(fā)展，DT時(shí)代數(shù)據(jù)呈現(xiàn)爆炸式增長(zhǎng)。數(shù)字視網(wǎng)膜依托全新升級(jí)的仿生物視網(wǎng)膜的計(jì)算架構(gòu)，主要面向政府、委辦局提供視頻數(shù)據(jù)匯聚、存儲(chǔ)和解析的一體化服務(wù)，結(jié)合視頻和人工智能技術(shù)，可以有效地解決人工智能發(fā)展中面臨的海量規(guī)模化視頻數(shù)據(jù)應(yīng)用下的關(guān)鍵性問題。通過大數(shù)據(jù)分析挖掘數(shù)據(jù)中隱含的內(nèi)在規(guī)律，全面支撐領(lǐng)導(dǎo)統(tǒng)籌全局、科學(xué)決策、創(chuàng)新城市治理模式，努力實(shí)現(xiàn)共創(chuàng)共享的文明創(chuàng)建新格局，為全國(guó)科技創(chuàng)城建設(shè)工作提供技術(shù)支撐。

1 研究背景

1.1 科技創(chuàng)城建設(shè)背景

黨的十八大以來，以習(xí)近平同志為總書記的黨中央高度重視精神文明建設(shè)，作出了一系列重大決策部署。全國(guó)文明城市作為含金量最高、綜合性最強(qiáng)、影響力最大的城市品牌，是深入貫徹習(xí)近平總書記關(guān)于精神文明建設(shè)的重要論述，是落實(shí)黨的十九屆五中全會(huì)對(duì)精神文明建設(shè)的部署要求，是順應(yīng)文明城市創(chuàng)建新形勢(shì)、開啟精神文明建設(shè)新征程的迫切需要，關(guān)系城市長(zhǎng)遠(yuǎn)發(fā)展和群眾切身利益。目前，各地文明城區(qū)創(chuàng)建尚未有專門的信息化系統(tǒng)作為支撐，各類創(chuàng)城措施缺乏科技手段，主要以“上人為主”，難以建立長(zhǎng)效常態(tài)的創(chuàng)建工作機(jī)制。特別是中央文明辦下發(fā)的新版測(cè)評(píng)體系增加了很多測(cè)評(píng)內(nèi)容和重要點(diǎn)位，需要各項(xiàng)創(chuàng)城工作更加精細(xì)化、常態(tài)化。科技創(chuàng)城以“人工智能+大數(shù)據(jù)”的數(shù)據(jù)視網(wǎng)膜為主要科技手段，利用已建的公共視頻為城市“眼睛”，打造“視頻網(wǎng)格員”，自動(dòng)識(shí)別各類不文明現(xiàn)象并結(jié)合網(wǎng)格化管理及時(shí)閉環(huán)處置，創(chuàng)新文明創(chuàng)城模式，建立“全域創(chuàng)建、精準(zhǔn)創(chuàng)建、全民創(chuàng)建、長(zhǎng)效常態(tài)創(chuàng)建”的工作機(jī)制，確保創(chuàng)建工作不留死角，助力文明城區(qū)創(chuàng)建工作[1-2]。

1.2 科技創(chuàng)城建設(shè)存在的問題

視頻數(shù)據(jù)匯聚能力不足，隨著城市的不斷發(fā)展以及視頻資源的分散建設(shè)、設(shè)備選型、網(wǎng)絡(luò)架構(gòu)的差異，導(dǎo)致視頻資源共享難的問題；視頻智能化水平不足，除公安視頻經(jīng)過結(jié)構(gòu)化解析外，大部分未進(jìn)行視頻智能分析，還是以人工監(jiān)視為主，通過人眼發(fā)現(xiàn)各類違規(guī)事件，工作效率極低。視頻智能分析是未來視頻監(jiān)控系統(tǒng)發(fā)展的必然趨勢(shì)，作為從海量數(shù)據(jù)中獲取有用信息最方便快捷的手段，將會(huì)成為視頻監(jiān)控的主力軍，并且隨著高清化與智能化的有機(jī)結(jié)合、隨著攝像機(jī)與智能分析的一體化發(fā)展，其產(chǎn)生的作用及影響會(huì)越來越大，最終實(shí)現(xiàn)由人防向技防的轉(zhuǎn)變；針對(duì)創(chuàng)城不文明現(xiàn)象發(fā)現(xiàn)能力不足，由于全國(guó)文明城區(qū)創(chuàng)建考核內(nèi)容涉及交通路口、主次干道、背街小巷、農(nóng)貿(mào)市場(chǎng)、街道社區(qū)等幾十種類型的點(diǎn)位，包括遛狗不牽繩、共享單車亂停放、機(jī)動(dòng)車不禮讓行人、行人越線等燈、外賣員不戴頭盔等上百種不文明現(xiàn)象。目前視頻解析平臺(tái)已有的算法類型尚不能涵蓋文明城市實(shí)地考察測(cè)評(píng)范圍，仍需要進(jìn)一步進(jìn)行擴(kuò)充，提高創(chuàng)城不文明現(xiàn)象發(fā)現(xiàn)的能力[3]。

2 數(shù)字視網(wǎng)膜

數(shù)字視網(wǎng)膜依托全新升級(jí)的仿生物視網(wǎng)膜的計(jì)算架構(gòu)，主要面向政府、委辦局提供視頻數(shù)據(jù)匯聚、存儲(chǔ)和解析的一體化服務(wù)，同時(shí)，視網(wǎng)膜集成了視頻管理、推理、算法和視圖庫(kù)的一體化平臺(tái)，目標(biāo)是為城市全行業(yè)提供通用的視頻解決方案，助推各地科技創(chuàng)城工作更上一層樓。數(shù)字視網(wǎng)膜全景圖如圖1所示。

圖1 數(shù)字視網(wǎng)膜全景圖

2.1 數(shù)字視網(wǎng)膜概念

數(shù)字視網(wǎng)膜從物理區(qū)域劃分包括邊緣計(jì)算模塊和云端計(jì)算中心，其構(gòu)成圖如圖2所示。其中，云端計(jì)算中心包括AI中臺(tái)和城市視頻管理平臺(tái)。AI中臺(tái)包括算法工廠、AI算法推理平臺(tái)、機(jī)器學(xué)習(xí)建模平臺(tái)和AI服務(wù)平臺(tái)，同時(shí)提供了全目標(biāo)屬性識(shí)別、以圖搜圖、交通違法事件識(shí)別、交通態(tài)勢(shì)感知、城管違規(guī)事件檢測(cè)、社區(qū)管理視頻智能分析、應(yīng)急安監(jiān)視頻智能分析八大類算法產(chǎn)品，在研算法349種，上線算法116種。城市視頻管理平臺(tái)主要提供視頻接入、視頻資源管理、視頻算法任務(wù)管理等服務(wù)，實(shí)現(xiàn)視頻數(shù)據(jù)的全生命周期管理。[4]

圖2 數(shù)字視網(wǎng)膜構(gòu)成圖

邊緣計(jì)算模塊與云端AI中臺(tái)及云端數(shù)據(jù)中臺(tái)進(jìn)行協(xié)同，經(jīng)過數(shù)據(jù)處理和加工計(jì)算為各個(gè)行業(yè)業(yè)務(wù)如城市大腦、公安大腦、交通大腦等提供有價(jià)值的結(jié)構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)，幫助業(yè)務(wù)系統(tǒng)實(shí)現(xiàn)價(jià)值提升。

2.2 數(shù)字視網(wǎng)膜架構(gòu)

數(shù)字視網(wǎng)膜依托全新升級(jí)的仿生物視網(wǎng)膜的計(jì)算架構(gòu)，主要面向政府、委辦局提供視頻數(shù)據(jù)匯聚、存儲(chǔ)和解析的一體化服務(wù)，結(jié)合視頻和人工智能技術(shù)，可以有效地解決人工智能發(fā)展中面臨的海量規(guī)模化視頻數(shù)據(jù)應(yīng)用下的關(guān)鍵性問題。

數(shù)字視網(wǎng)膜系統(tǒng)包含城市視頻管理平臺(tái)、AI算法訓(xùn)練平臺(tái)、AI算法推理平臺(tái)、機(jī)器學(xué)習(xí)建模平臺(tái)、數(shù)據(jù)標(biāo)注平臺(tái)和AI服務(wù)平臺(tái)。

2.2.1 城市視頻管理平臺(tái)

視頻類業(yè)務(wù)運(yùn)維平臺(tái)，為云、邊端提供視頻接入、視頻資源管理、視頻算法任務(wù)管理等服務(wù)，實(shí)現(xiàn)視頻數(shù)據(jù)的全生命周期管理。

2.2.2 AI算法訓(xùn)練平臺(tái)

AI算法訓(xùn)練平臺(tái)對(duì)計(jì)算資源進(jìn)行統(tǒng)一分配調(diào)度，基于Kubernetes架構(gòu)，使用harbor作為算法鏡像倉(cāng)庫(kù)，Redis作為中間件，使用MySQL數(shù)據(jù)庫(kù)，同時(shí)使用Grafana、Prometheus等組件為上層應(yīng)用提供支撐。按功能模塊劃分，服務(wù)層主要提供任務(wù)管理、模型管理、用戶管理、監(jiān)控等服務(wù)，為算法工程師、管理員提供流程化地算法模型開發(fā)訓(xùn)練。

2.2.3 AI算法推理平臺(tái)

算法解析類的運(yùn)維管理平臺(tái)，為項(xiàng)目現(xiàn)場(chǎng)運(yùn)維工程師提供統(tǒng)一算法基礎(chǔ)運(yùn)行環(huán)境，為云、邊提供算法統(tǒng)一在線管理、發(fā)布的基礎(chǔ)環(huán)境，是一個(gè)高效的多算法管理與大規(guī)模任務(wù)資源調(diào)度平臺(tái)。

2.2.4 機(jī)器學(xué)習(xí)建模平臺(tái)

從數(shù)據(jù)服務(wù)、任務(wù)調(diào)度、模塊擴(kuò)展框架、算法策略管理、數(shù)據(jù)緩存管理和算法生態(tài)六個(gè)方面為算法工程師提供工具支持，強(qiáng)化模型算法的可視化，加速數(shù)據(jù)與業(yè)務(wù)融合。

2.2.5 數(shù)據(jù)標(biāo)注平臺(tái)

數(shù)據(jù)標(biāo)注平臺(tái)支持多場(chǎng)景數(shù)據(jù)標(biāo)注，整體架構(gòu)如圖3所示，底層依賴網(wǎng)絡(luò)設(shè)施建設(shè)、安全設(shè)施建設(shè)，需提供服務(wù)器硬件資源及系統(tǒng)組件。數(shù)據(jù)資源層包含MySQL、ElasticSearch、FastDFS，管理多種數(shù)據(jù)。服務(wù)支撐層可提供API接口、系統(tǒng)日志、權(quán)限管理及查詢引擎?；谏鲜鲋?，服務(wù)層可提供數(shù)據(jù)采集、數(shù)據(jù)統(tǒng)計(jì)、web端標(biāo)注工具、客戶端標(biāo)注工具等多種服務(wù)。為標(biāo)注需求者、數(shù)據(jù)標(biāo)注員、數(shù)據(jù)質(zhì)檢員等多種用戶提供簡(jiǎn)單易用的標(biāo)注工具，生成高質(zhì)量的標(biāo)注數(shù)據(jù)。

圖3 數(shù)據(jù)標(biāo)志平臺(tái)整體架構(gòu)圖

2.2.6 AI服務(wù)平臺(tái)

AI服務(wù)平臺(tái)是以視頻圖像綜合資源庫(kù)為核心的視頻服務(wù)平臺(tái)，依托AI算法推理平臺(tái)及城市視頻管理平臺(tái)，旨在為事件類算法提供統(tǒng)一的結(jié)果展示模塊。交通場(chǎng)景庫(kù)的違法行為識(shí)別、城管場(chǎng)景庫(kù)的城管違規(guī)事件識(shí)別、應(yīng)急場(chǎng)景庫(kù)的政府應(yīng)急管理等事件相關(guān)算法，被統(tǒng)稱為事件類算法。平臺(tái)支持多種算法結(jié)果展示形式，支持多種檢索方式，支持用戶對(duì)算法結(jié)果進(jìn)行單個(gè)或批量導(dǎo)出，支持對(duì)視頻AI解析產(chǎn)生的各類智能事件進(jìn)行集中審核。為治理中心、大數(shù)據(jù)局和委辦局提供算法結(jié)果與AI能力展示平臺(tái)[5-7]。

3 數(shù)字視網(wǎng)膜系統(tǒng)價(jià)值

3.1 提升城市視頻解析率

數(shù)字視網(wǎng)膜可以根據(jù)各類AI算法發(fā)現(xiàn)的事件，對(duì)事件的緊急程度進(jìn)行分級(jí)響應(yīng)，對(duì)緊急事件優(yōu)先解析，做到資源利用做大化，形成事件處置閉環(huán)，提升單臺(tái)服務(wù)器解析路數(shù)。通過邊緣計(jì)算節(jié)點(diǎn)實(shí)時(shí)處理邊緣側(cè)的分析處理和應(yīng)用需求，數(shù)字視網(wǎng)膜系統(tǒng)應(yīng)用的邊緣側(cè)陣列板服務(wù)器可以支持384路攝像頭的實(shí)時(shí)解析及價(jià)值信息提取，通過一臺(tái)邊緣計(jì)算設(shè)備便可以有效地激活一片區(qū)域內(nèi)存量監(jiān)控設(shè)備的智能化水平，進(jìn)而提升城市視頻的解析率。

3.2 提升數(shù)據(jù)留存率

通過邊云協(xié)同的處理架構(gòu)，可以實(shí)現(xiàn)對(duì)視頻數(shù)據(jù)的逐級(jí)濃縮和提純，將有價(jià)值的數(shù)據(jù)信息留存下來，極大地節(jié)省了網(wǎng)絡(luò)帶寬和存儲(chǔ)空間，提升了數(shù)據(jù)留存率。同時(shí)通過均衡規(guī)劃邊緣側(cè)與云端的算力資源，極大的緩解了云端的計(jì)算壓力，有效地解決了海量視頻數(shù)據(jù)大規(guī)模匯聚、存儲(chǔ)和計(jì)算的問題，提升視頻數(shù)據(jù)留存率。留存后的事件結(jié)果可以做二次分析，進(jìn)一步挖掘留存數(shù)據(jù)的價(jià)值，將海量、多形態(tài)的視頻數(shù)據(jù)，接入數(shù)字視網(wǎng)膜系統(tǒng)，有效整合散、雜、繁的城市視頻資源，采用邊端即處理的策略進(jìn)行價(jià)值提煉，通過合理的分層分級(jí)架構(gòu)設(shè)計(jì)，針對(duì)不同分級(jí)分類不同價(jià)值的視頻數(shù)據(jù)進(jìn)行不同的提煉處理，如低價(jià)值進(jìn)行超壓、高價(jià)值進(jìn)行無損轉(zhuǎn)碼等，匹配城市視頻價(jià)值投資需要[8-9]。

4 典型應(yīng)用

數(shù)字視網(wǎng)膜主要應(yīng)用于城市大腦、雪亮工程、智慧交通、智能社區(qū)、智能環(huán)保等文明城市創(chuàng)建中的多種行業(yè)?；诤Ａ恳曨l“傳不動(dòng)，存不起，算不完”的行業(yè)痛點(diǎn)，可用來解決海量視頻接入聯(lián)網(wǎng)與價(jià)值釋放、視頻信息數(shù)據(jù)內(nèi)容可獲取性差等問題。數(shù)字視網(wǎng)膜系統(tǒng)通過對(duì)不同類別不同等級(jí)視頻數(shù)據(jù)的濃縮和提純，均衡規(guī)劃邊緣計(jì)算與云端計(jì)算，提供高質(zhì)量的視頻信息數(shù)據(jù)，從源頭解決海量視頻數(shù)據(jù)大規(guī)模匯聚、存儲(chǔ)和計(jì)算的問題。

數(shù)字視網(wǎng)膜可為業(yè)務(wù)系統(tǒng)提供高速、準(zhǔn)確、穩(wěn)定的算法服務(wù)。包含通用類算法、交通類算法、城管類算法、社區(qū)類算法、應(yīng)急類算法、環(huán)保類算法、教育類算法、食藥監(jiān)類算法、司法類算法、公共衛(wèi)生類算法等幾十余種算法場(chǎng)景。數(shù)字視網(wǎng)膜經(jīng)過數(shù)據(jù)處理和加工計(jì)算，通過AI服務(wù)平臺(tái)提供結(jié)果數(shù)據(jù)的可視化查看和中心管理，同時(shí)為各個(gè)行業(yè)業(yè)務(wù)如城市大腦、公安大腦、交通大腦等提供有價(jià)值的結(jié)構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)，幫助業(yè)務(wù)系統(tǒng)實(shí)現(xiàn)價(jià)值提升，助力科技創(chuàng)城建設(shè)。

5 結(jié)束語

近幾年，隨著黨中央對(duì)全國(guó)文明城市建設(shè)工作的高度重視，各地積極部署科技創(chuàng)城建設(shè)工作。在新一輪城市發(fā)展中，全國(guó)文明城區(qū)創(chuàng)建面臨著“硬件”需要繼續(xù)建設(shè)完善，“軟件”亟待改善提高的要求?；跀?shù)字視網(wǎng)膜技術(shù)的科技創(chuàng)城可最大程度地實(shí)現(xiàn)對(duì)城市各部門、各單位實(shí)時(shí)化動(dòng)態(tài)管控，讓“粗放式管理”成為“精細(xì)化管理”，變“臨時(shí)突擊”為“長(zhǎng)效管理”，使各部門、各單位真正地支持、投入和參與到文明城市建設(shè)管理中來，切實(shí)提升城市整體文明實(shí)力。