（2017年度“華蘇杯”獲獎(jiǎng)?wù)撐娜泉?jiǎng)）視頻大數(shù)據(jù)分析技術(shù)行業(yè)應(yīng)用研究

唐志鴻

中國(guó)移動(dòng)通信集團(tuán)江蘇分公司

0 前言

江蘇移動(dòng)“千里眼”視頻監(jiān)控產(chǎn)品目前已成功應(yīng)用到環(huán)保、國(guó)土、住建、商鋪、餐飲、旅游等眾多行業(yè)領(lǐng)域，業(yè)務(wù)呈現(xiàn)出高速增長(zhǎng)趨勢(shì)，其中應(yīng)用于環(huán)保秸稈焚燒監(jiān)控的藍(lán)天衛(wèi)士產(chǎn)品和應(yīng)用于國(guó)土監(jiān)管領(lǐng)域的國(guó)土衛(wèi)士產(chǎn)品也在全省得到大規(guī)模復(fù)制推廣，得到客戶的高度好評(píng)。

江蘇移動(dòng)千里眼視頻監(jiān)控平臺(tái)的定位是用作視頻采集、視頻存儲(chǔ)和視頻瀏覽及監(jiān)控的功能平臺(tái)，不具備實(shí)時(shí)視頻智能分析能力，對(duì)于監(jiān)控視頻中的風(fēng)險(xiǎn)點(diǎn)，無法做到智能識(shí)別和預(yù)警，存在以下不足：

1）完全依賴人工監(jiān)控：注意力難以長(zhǎng)時(shí)間集中，調(diào)研顯示人工盯著電視墻，超過10分鐘后將漏掉90%的信息。

2）實(shí)時(shí)性差、響應(yīng)慢：監(jiān)視器數(shù)量太多，只能采用輪詢的方式進(jìn)行監(jiān)控，無法及時(shí)發(fā)現(xiàn)突發(fā)或預(yù)警事件。

3）效率低、成本高：需要大量人力，效率低，國(guó)土衛(wèi)士、藍(lán)天衛(wèi)士等視頻內(nèi)容改變緩慢，問題更加突出。

4）數(shù)據(jù)分析難度大：平臺(tái)7×24小時(shí)錄像，存儲(chǔ)數(shù)據(jù)海量，事后數(shù)據(jù)查找及分析難度大。

視頻智能檢測(cè)分析是新型數(shù)字化服務(wù)發(fā)展趨勢(shì)，智能視頻監(jiān)控技術(shù)的行業(yè)應(yīng)用在國(guó)內(nèi)處于剛起步的狀態(tài)。傳統(tǒng)的視頻監(jiān)控行業(yè)需要大量的人力資源來人工觀看各路網(wǎng)絡(luò)攝像頭，并判斷是否有違法行為或者災(zāi)難事件的發(fā)生。這種監(jiān)控模式不僅浪費(fèi)了大量的人力財(cái)力，而且容易發(fā)生疏忽遺漏的情況。因此，把計(jì)算機(jī)視覺中的相關(guān)技術(shù)應(yīng)用到視頻監(jiān)控領(lǐng)域，作為一種輔助手段來提高監(jiān)控事件的準(zhǔn)確性，減少人力資源的投入，是一種主流的行業(yè)趨勢(shì)，也是新型數(shù)字化服務(wù)產(chǎn)品發(fā)展方向。

環(huán)保和國(guó)土部門客戶多次提出視頻自動(dòng)檢測(cè)和告警需求，研發(fā)藍(lán)天衛(wèi)士火焰/煙霧檢測(cè)、國(guó)土違法占用檢測(cè)智能分析功能可以大幅降低客戶的人力物力投入，提升客戶業(yè)務(wù)監(jiān)管工作效率。同時(shí)，這種智能檢測(cè)識(shí)別需求屬于公司大力提倡開拓的新型數(shù)字化服務(wù)，一方面可以推動(dòng)公司集團(tuán)市場(chǎng)專線業(yè)務(wù)的深入拓展，另一方面隨著手機(jī)APP移動(dòng)監(jiān)管功能的規(guī)?；瘧?yīng)用，也極大地促進(jìn)了公司流量經(jīng)營(yíng)戰(zhàn)略落實(shí)。運(yùn)營(yíng)中心將著力拓展中小企業(yè)藍(lán)海市場(chǎng)，打破隔離，尋求新的增長(zhǎng)點(diǎn)，新的突破。

1 視頻智能檢測(cè)分析系統(tǒng)架構(gòu)

系統(tǒng)擬基于江蘇移動(dòng)千里眼視頻監(jiān)控平臺(tái)建設(shè)視頻監(jiān)控大數(shù)據(jù)分析系統(tǒng)，該系統(tǒng)作為配套千里眼平臺(tái)的獨(dú)立功能模塊存在，從千里眼平臺(tái)實(shí)時(shí)讀取視頻數(shù)據(jù)流，并按照行業(yè)應(yīng)用需求進(jìn)行實(shí)時(shí)智能分析和檢測(cè)，對(duì)分析檢測(cè)出來的視頻內(nèi)容的異常情況進(jìn)行預(yù)警，相關(guān)預(yù)警信息通過千里眼平臺(tái)接口輸送到平臺(tái)告警模塊，并最終通過千里眼平臺(tái)客戶端向用戶發(fā)出告警信號(hào)，視頻智能檢測(cè)識(shí)別系統(tǒng)架構(gòu)如圖1所示。

圖1 視頻智能檢測(cè)識(shí)別系統(tǒng)架構(gòu)圖

系統(tǒng)通過研發(fā)視頻智能分析算法調(diào)度引擎功能模塊，從千里眼平臺(tái)獲取視頻，調(diào)度各種智能分析算法，并將算法分析結(jié)果輸出到千里眼平臺(tái)，然后利用千里眼現(xiàn)有客戶端軟件向用戶呈現(xiàn)各種檢測(cè)結(jié)果和告警信息。總體上系統(tǒng)包括平臺(tái)對(duì)接、視頻輪詢、算法調(diào)度、告警通知等四個(gè)模塊組成，其中關(guān)鍵點(diǎn)是視頻算法調(diào)度模塊的構(gòu)建，它的功能是控制整個(gè)系統(tǒng)的運(yùn)作，包括視服務(wù)資源管理、視頻流讀取、任務(wù)分發(fā)、結(jié)果反饋等。本系統(tǒng)采用開源LTS（light-task-schedule，分布式作業(yè)調(diào)度框架），自動(dòng)對(duì)所有智能分析算法進(jìn)行任務(wù)分配和管理，保證整個(gè)系統(tǒng)的高效、穩(wěn)定運(yùn)行，同時(shí)具有較高的可擴(kuò)展性。

2 視頻智能檢測(cè)分析算法

2.1 自然場(chǎng)景火焰煙霧智能檢測(cè)

算法包括白天算法和夜間算法兩部分，兩種算法自動(dòng)切換。由于攝像頭在白天和夜間的工作模式不同，所以算法必須根據(jù)這兩種模式進(jìn)行區(qū)別設(shè)計(jì)。算法總體框架如圖2所示。

圖2 算法總體框架圖

算法根據(jù)攝像頭工作模式自動(dòng)判斷白天或夜間，根據(jù)判斷結(jié)果自動(dòng)調(diào)用白天或者夜間算法。其中白天算法核心流程如圖3所示。

白天算法主要采用圖像分塊、多特征建模、前景檢測(cè)、顏色檢測(cè)、紋理檢測(cè)、小波分析、動(dòng)態(tài)分析、時(shí)域運(yùn)動(dòng)分析常用來對(duì)火焰和煙霧進(jìn)行檢測(cè)分析，綜合考慮了視頻抖動(dòng)、光線變化、背景干擾物對(duì)于檢測(cè)的影響，可以排除絕大多數(shù)干擾物所導(dǎo)致的誤檢，在幾乎不影響正檢的情況下保證了較小的誤檢率。同時(shí)在準(zhǔn)確檢測(cè)到視頻中煙霧火焰的基礎(chǔ)上，算法能夠排除靜止背景干擾物（白墻、白云、道路等）的影響，具有一定的抗視頻抖動(dòng)能力。

圖3 白天算法流程圖

在進(jìn)行多特征建模時(shí)，針對(duì)的對(duì)象是包括時(shí)域信息的三維時(shí)空分塊，加入時(shí)域上的信息，可以去除背景干擾，有效的提高檢測(cè)準(zhǔn)確率，減少誤判概率。離散小波變換是算法重要部分，其效果如圖4所示。

圖4 離散小波變換圖

上圖是用離散小波變換對(duì)空間圖像進(jìn)行處理的結(jié)果，左邊是原圖像，右邊四幅子圖像是二維單尺度小波變換的結(jié)果。夜間算法檢測(cè)主要流程如圖5所示。

圖5 夜間算法檢測(cè)流程圖

由于大部分?jǐn)z像頭在夜間處于紅外模式，即圖像只包含亮度信息，不包含色彩信息，所以夜間存在很多的背景干擾物，大多數(shù)時(shí)候連人眼也無法判斷是不是火焰。

夜間的干擾物基本都是路燈、房燈和車燈，夜間算法設(shè)計(jì)的目標(biāo)就是排除這三種干擾物對(duì)于火焰檢測(cè)的影響。路燈和房燈屬于同一種類型，他們的特性是基本每天夜間都會(huì)點(diǎn)亮，因此，算法使用了場(chǎng)景建模的方法，預(yù)先學(xué)習(xí)場(chǎng)景中的路燈和房燈區(qū)域，在檢測(cè)的時(shí)候就可以排除這些干擾物的影響。夜間算法自動(dòng)進(jìn)行場(chǎng)景建模，隨著時(shí)間的推進(jìn)場(chǎng)景模型會(huì)變得更加準(zhǔn)確。對(duì)于車燈，它的特點(diǎn)是運(yùn)動(dòng)模式和火焰不同，所以我們采用了運(yùn)動(dòng)分析的方式來排除車燈對(duì)夜間火焰檢測(cè)的影響。

2.2 國(guó)土違法占用智能檢測(cè)

國(guó)土違法占用檢測(cè)算法對(duì)于一定場(chǎng)景下每天獲得的圖片進(jìn)行分析，與建立的背景模型進(jìn)行比較并檢測(cè)是否有違章建筑。如果在一定時(shí)間內(nèi)持續(xù)檢測(cè)到違章建筑，系統(tǒng)報(bào)警并返回報(bào)警圖片。算法針對(duì)多種自然場(chǎng)景進(jìn)行設(shè)計(jì)，結(jié)合建筑物本身的結(jié)構(gòu)特性，對(duì)于不同場(chǎng)景下出現(xiàn)的違章建筑具有較好的識(shí)別能力，對(duì)雨霧天影響造成圖像模糊具有較好的自適應(yīng)能力。國(guó)土占用檢測(cè)算法流程如圖6所示。

算法針對(duì)多種自然場(chǎng)景特性進(jìn)行設(shè)計(jì)，考慮了攝像頭晃動(dòng)、天氣特點(diǎn)、非建筑物特性對(duì)于檢測(cè)的影響，可以排除絕大部分的干擾，有效地降低了誤檢率。

算法主要流程設(shè)計(jì)如下：

（1）天氣檢測(cè)：引入《Single Image Haze Removal Using Dark Channel Prior》文章中暗通道的概念，通過計(jì)算暗通道成分的多少，來判斷是否為雨霧天氣；

（2）圖像配準(zhǔn)：引入基于全局Sobel索貝爾值的矯正，以降低視頻抖動(dòng)、光照變化造成的影響；

（3）綠色分量檢測(cè)：篩除綠色分量較高的分塊，去掉田野、樹林等非建筑物部分，降低誤檢率；

（4）變化區(qū)域檢測(cè)：違法建筑物的產(chǎn)生會(huì)使得圖片的局部區(qū)域發(fā)生較大的變化，設(shè)計(jì)使用Hash、Hog、灰度值、CNN卷積特征等檢測(cè)算法進(jìn)行分析檢測(cè)；

（5）建筑物檢測(cè)：利用上述CNN卷積網(wǎng)絡(luò)判斷是否有建筑物痕跡；

（6）邏輯判斷：連續(xù)3天檢測(cè)到有違章建筑的痕跡時(shí)發(fā)出報(bào)警。

圖6 國(guó)土占用檢測(cè)算法流程圖

3 總結(jié)

基于視頻智能檢測(cè)分析技術(shù)，我們推出了藍(lán)天衛(wèi)士、國(guó)土衛(wèi)士等視頻智能檢測(cè)產(chǎn)品，可以滿足客戶日常秸稈焚燒、國(guó)土占用等監(jiān)控管理，目前產(chǎn)品已經(jīng)處于規(guī)模推廣階段。截止目前，視頻智能檢測(cè)分析行業(yè)產(chǎn)品已經(jīng)在全省落地應(yīng)用，為提升客戶工作監(jiān)管效率發(fā)揮了極大作用。

視頻智能檢測(cè)分析產(chǎn)品，通過客戶業(yè)務(wù)模式的創(chuàng)新改革，幫助客戶提升了工作效率，節(jié)約了人力投入，滿足了客戶業(yè)務(wù)的強(qiáng)需求，增強(qiáng)了用戶感知，為企業(yè)創(chuàng)造了良好的社會(huì)效益和經(jīng)濟(jì)效益。