視頻智能管理系統(tǒng)在智慧工地中的應(yīng)用

謝輝

（中國(guó)石油西南油氣田公司通信與信息技術(shù)中心，四川成都，610000）

0 引言

在油田數(shù)字化建設(shè)不斷發(fā)展并完善的今天，現(xiàn)場(chǎng)管理情況基本依靠文字報(bào)告，缺乏準(zhǔn)確、及時(shí)的反映與存檔，監(jiān)管成本高，施工現(xiàn)場(chǎng)管理難度大，因此為了保證在施工現(xiàn)場(chǎng)的安全，視頻智能管理系統(tǒng)與安全生產(chǎn)的結(jié)合,不僅能提升企業(yè)對(duì)安全生產(chǎn)的預(yù)測(cè)、預(yù)判和預(yù)控能力,并且為企業(yè)加強(qiáng)和創(chuàng)新安全管理提供了重要保障和有力支撐。

1 實(shí)施背景

在各建設(shè)項(xiàng)目施工現(xiàn)場(chǎng)，隨著工業(yè)視頻監(jiān)控系統(tǒng)全面覆蓋施工現(xiàn)場(chǎng)，便攜式巡檢記錄儀的使用等，前端攝像機(jī)數(shù)量眾多，畫(huà)面多，而系統(tǒng)的智能化程度較低，現(xiàn)有監(jiān)控方式缺陷明顯：

1.1 海量視頻數(shù)據(jù)對(duì)監(jiān)控?cái)?shù)據(jù)分析,查詢困難

高清視頻數(shù)據(jù)是全天24小時(shí)持續(xù)不斷錄制，存儲(chǔ)時(shí)間30天-90天，數(shù)據(jù)量巨大。數(shù)據(jù) “沉睡”在硬盤(pán)中，數(shù)據(jù)判讀和分析依靠人工進(jìn)行，效率低、實(shí)時(shí)性差、人為誤判等缺點(diǎn)，同時(shí)視頻監(jiān)控人員工作強(qiáng)度大。

1.2 人、車、物管理需要

施工現(xiàn)場(chǎng)工作人員穿戴規(guī)范識(shí)別的需求，生產(chǎn)區(qū)人員管控需求，生產(chǎn)區(qū)車輛管控需求，設(shè)備設(shè)施遠(yuǎn)程巡檢需求。

1.3 施工作業(yè)管理需要

管線站場(chǎng)、閥室視頻監(jiān)控系統(tǒng)與各種安防、自控系統(tǒng)聯(lián)動(dòng)的要求的逐步提高，有針對(duì)施工作業(yè)場(chǎng)景的視頻資源篩選的需求，比如火災(zāi)、漏油、工衣工帽等事件，通過(guò)人工監(jiān)督，發(fā)現(xiàn)違章后可以痕跡化管理的需求，保障施工違規(guī)及時(shí)發(fā)現(xiàn)的需求。

因此，建設(shè)覆蓋各建設(shè)項(xiàng)目施工現(xiàn)場(chǎng)的視頻智能管理系統(tǒng)，對(duì)視頻數(shù)據(jù)實(shí)時(shí)智能分析，自動(dòng)判斷、及時(shí)發(fā)現(xiàn)違章操作等敏感事件，達(dá)到對(duì)工地現(xiàn)場(chǎng)異常事件“早發(fā)現(xiàn)、早預(yù)防、快處理”，提高在建工地安全管理水平和效率。

2 視頻智能管理系統(tǒng)技術(shù)

2.1 智能分析技術(shù)簡(jiǎn)介

自20世紀(jì)90年代智能視頻分析技術(shù)誕生以來(lái)，經(jīng)過(guò)數(shù)十年的發(fā)展，這項(xiàng)起源于計(jì)算機(jī)視覺(jué)的技術(shù)伴隨著商業(yè)化的逐步應(yīng)用正日益受到人們的普遍重視。

視頻智能分析技術(shù)定義：源自計(jì)算機(jī)視覺(jué)技術(shù)，利用智能分析算法對(duì)視頻內(nèi)容進(jìn)行運(yùn)算和分析，它的核心技術(shù)是對(duì)視頻內(nèi)容的行為進(jìn)行識(shí)別和分析，以提取視頻場(chǎng)景中發(fā)生的一些特定的事件或監(jiān)控目標(biāo)的特定行為。一旦目標(biāo)在場(chǎng)景中出現(xiàn)了違反預(yù)定義分析規(guī)則的行為，系統(tǒng)會(huì)觸發(fā)預(yù)設(shè)置的聯(lián)動(dòng)規(guī)則，從而達(dá)到主動(dòng)提醒的功能。

分類：從智能分析系統(tǒng)的產(chǎn)品形態(tài)來(lái)說(shuō)，分為兩類：一類是由智能算法+DSP來(lái)實(shí)現(xiàn)，常見(jiàn)于安裝在前端的智能分析攝像機(jī)與智能分析視頻服務(wù)器；另一類是采用后端PC服務(wù)器加智能分析軟件的運(yùn)行模式。

“前端分析”技術(shù)特點(diǎn)：將智能分析算法嵌入到前端攝像機(jī)，對(duì)采集的視頻內(nèi)容立即進(jìn)行分析，提取出畫(huà)面中關(guān)鍵的、感興趣的、有效的信息，形成結(jié)構(gòu)化的數(shù)據(jù)，減少了視頻信息上傳的網(wǎng)絡(luò)帶寬壓力。優(yōu)勢(shì)在于每一路前端攝像機(jī)都可以做智能的實(shí)時(shí)分析，消滅延時(shí)，減輕后端的計(jì)算壓力，可以做到無(wú)遺漏的智能分析。缺點(diǎn)是受到前端芯片體積限制，處理性能不佳，實(shí)際應(yīng)用中效果不理想，只能作為普通輔助手段。

“后端分析”技術(shù)特點(diǎn)：后端服務(wù)器可以應(yīng)用更為復(fù)雜的算法，特別是那些移植到相機(jī)中需要大量?jī)?yōu)化和改進(jìn)的、以及前端無(wú)法實(shí)時(shí)運(yùn)行的復(fù)雜算法，分析效果相對(duì)前端產(chǎn)品要好；同時(shí)，只需要上傳視頻流給智能分析服務(wù)器即可，一臺(tái)智能分析服務(wù)器可以同時(shí)處理幾十路前端視頻流等。缺點(diǎn)是需要視頻信息實(shí)時(shí)上傳，對(duì)網(wǎng)絡(luò)帶寬的需求較大。

針對(duì)在建項(xiàng)目施工現(xiàn)場(chǎng)對(duì)智能識(shí)別的要求高的特點(diǎn)，通信傳輸網(wǎng)絡(luò)帶寬充足，對(duì)比分析，采用以后端PC服務(wù)器加智能分析軟件的核心運(yùn)行模式，具體網(wǎng)絡(luò)架構(gòu)如圖1所示。

圖1 智慧工地視頻智能管理系統(tǒng)整體架構(gòu)

2.2 智能視頻識(shí)別技術(shù)

2.2.1 基于深度學(xué)習(xí)的視頻分析方法

圖像處理和識(shí)別技術(shù)利用濾波和分類技術(shù)，常見(jiàn)的主要針對(duì)特定的對(duì)象或者場(chǎng)景下的傳統(tǒng)算法，如小波濾波、淺層神經(jīng)網(wǎng)絡(luò)、SVM等。隨著人工智能方法的運(yùn)用，深度學(xué)習(xí)法技術(shù)運(yùn)用在圖像處理中，可提高識(shí)別率、泛化能力，基于深度學(xué)習(xí)的影像智能處理技術(shù)。

圖2 深度學(xué)習(xí)視頻處理流程

深度學(xué)習(xí)模型應(yīng)用于圖像（視頻）的自動(dòng)化處理，識(shí)別準(zhǔn)確度高，泛化能力強(qiáng)。其最大特點(diǎn)是，需要大數(shù)據(jù)來(lái)訓(xùn)練。因此，對(duì)處理器的要求，就是需要大量的并行的重復(fù)計(jì)算，具有高算力的GPU一般是服務(wù)器端的選擇。

GPU具有如下特點(diǎn)：

提供了多核并行計(jì)算的基礎(chǔ)結(jié)構(gòu)，可以支撐大量數(shù)據(jù)的并行計(jì)算。并行計(jì)算它是一種一次可執(zhí)行多個(gè)指令的算法，目的是提高計(jì)算速度，及通過(guò)擴(kuò)大問(wèn)題求解規(guī)模，解決大型而復(fù)雜的計(jì)算問(wèn)題。

擁有更高的訪存速度。

更高的浮點(diǎn)運(yùn)算能力。浮點(diǎn)運(yùn)算能力是關(guān)系到處理器的多媒體、3D圖形處理的一個(gè)重要指標(biāo)，因此浮點(diǎn)運(yùn)算的能力是考察處理器計(jì)算能力的重要指標(biāo)。

2.2.2 算法的實(shí)現(xiàn)

根據(jù)各建設(shè)項(xiàng)目施工現(xiàn)場(chǎng)視頻數(shù)據(jù)通過(guò)深度學(xué)習(xí)算法通過(guò)數(shù)據(jù)標(biāo)注、樣本訓(xùn)練、神經(jīng)網(wǎng)絡(luò)模型優(yōu)化等環(huán)節(jié)，建立起性能良好的參數(shù)化模型。

圖3 算法實(shí)現(xiàn)流程圖

圖4 算法模型建立過(guò)程

2.2.3 樣本庫(kù)的建立

對(duì)于各建設(shè)項(xiàng)目施工現(xiàn)場(chǎng)的基本目標(biāo)模型（包括人員、車輛等），基于視頻數(shù)據(jù)和基本目標(biāo)模型，對(duì)不同的場(chǎng)景（如白天和夜晚），建立特定的樣本庫(kù)，包括：入侵檢測(cè)、停留檢測(cè)、徘徊檢測(cè)、自動(dòng)跟蹤，物體識(shí)別、火焰識(shí)別、工衣工帽識(shí)別等。通過(guò)有效的數(shù)據(jù)增強(qiáng)方法，不斷擴(kuò)展數(shù)據(jù)集。

圖5 采集視頻示意圖

2.3 后臺(tái)管理系統(tǒng)

在建設(shè)項(xiàng)目管理中心部署后臺(tái)管理系統(tǒng)，硬件：根據(jù)處理對(duì)象的不同，形成同時(shí)處理30路，100路，200路視頻的設(shè)備，并配置相應(yīng)處理能力的GPU服務(wù)器。

實(shí)現(xiàn)主要性能指標(biāo)：

(1) 視頻識(shí)別速度 ：≥ 20FPS（720P）， ≥ 15FPS（1080P）。

(2)事件智能分析識(shí)別率： ≥85%；能有效識(shí)別明火、人、勞保服帽等。

軟件功能：由實(shí)時(shí)告警、歷史告警、業(yè)務(wù)統(tǒng)計(jì)、視頻預(yù)覽、用戶管理和配置管理組成。

告警模式：智能識(shí)別告警，自動(dòng)巡檢模式告警?？梢詫?duì)火警、人、動(dòng)物、車進(jìn)行智能識(shí)別告警，并進(jìn)行告警過(guò)濾。

告警分類：根據(jù)實(shí)際應(yīng)用，對(duì)告警信息進(jìn)行分類，優(yōu)先級(jí)較高的告警會(huì)立即置頂，并一直保留到處理完畢為止。

告警信息發(fā)布：通過(guò)手機(jī)公眾號(hào)、APP、短信等方式，實(shí)現(xiàn)移動(dòng)終端實(shí)時(shí)監(jiān)控處理，并具有視頻瀏覽功能。

3 視頻智能管理系統(tǒng)在施工現(xiàn)場(chǎng)應(yīng)用

選取某在建井臺(tái)，部署固定攝像機(jī)視頻監(jiān)控系統(tǒng)，系統(tǒng)組網(wǎng)采用租用鏈路，以太網(wǎng)方式組網(wǎng)，在控制室存儲(chǔ)，前端攝像機(jī)接入路數(shù)2路。

系統(tǒng)部署：在控制室部署視頻智能管理系統(tǒng)，利用GPU服務(wù)器強(qiáng)大的圖像處理能力，將非結(jié)構(gòu)化的視頻數(shù)據(jù)，轉(zhuǎn)換成計(jì)算機(jī)易于識(shí)別和處理的結(jié)構(gòu)化信息，將視頻中包含的關(guān)鍵信息提取出來(lái)，轉(zhuǎn)換成文字、數(shù)字描述，建立與視頻幀的關(guān)聯(lián)，實(shí)現(xiàn)計(jì)算機(jī)對(duì)視頻的分析、對(duì)比、搜索功能。

利用智能分析軟件的深度學(xué)習(xí)功能，對(duì)背景、監(jiān)測(cè)區(qū)域自定義形狀，并組合多個(gè)規(guī)則、多種算法同時(shí)處理。建立反饋機(jī)制，由人工對(duì)每次報(bào)警的結(jié)果進(jìn)行判斷，并反饋給軟件，讓分析系統(tǒng)自動(dòng)學(xué)習(xí)并更新，以建立報(bào)警事件數(shù)據(jù)庫(kù)。

應(yīng)用結(jié)果：能夠?qū)崿F(xiàn)對(duì)人、車、工服工帽的識(shí)別。以下為實(shí)驗(yàn)過(guò)程中識(shí)別目標(biāo)時(shí)的視頻圖像。在視頻智能分析設(shè)備運(yùn)行良好，傳輸通道滿足要求的情況下，智能識(shí)別準(zhǔn)確率達(dá)到85%，應(yīng)用效果滿足系統(tǒng)功能。

表1 系統(tǒng)應(yīng)用相關(guān)數(shù)據(jù)統(tǒng)計(jì)表

4 結(jié)論

視頻智能管理系統(tǒng)在智慧工地中的應(yīng)用非常重要。通過(guò)增強(qiáng)管理平臺(tái)的智能化，引入深度學(xué)習(xí)能力，隨著巡線中各種視頻庫(kù)和樣本庫(kù)的積累，基于深度學(xué)習(xí)的人工智能方法對(duì)航拍視頻事件特征的提取更加準(zhǔn)確、分析識(shí)別率更高，以機(jī)器視覺(jué)替代人工查閱，準(zhǔn)確地識(shí)別和告警，將人從繁重的盯防中解脫出來(lái)。

與此同時(shí)，提高報(bào)警準(zhǔn)確率，最大限度地減少誤報(bào)和漏報(bào)現(xiàn)象的發(fā)生，從業(yè)務(wù)邏輯、預(yù)告警分類等方面建立的智慧工地安全預(yù)警體系將更加貼合施工現(xiàn)場(chǎng)的需求，保障建設(shè)過(guò)程的安全。

實(shí)現(xiàn)對(duì)在建施工現(xiàn)場(chǎng)，改善項(xiàng)目現(xiàn)場(chǎng)管理現(xiàn)狀，實(shí)現(xiàn)現(xiàn)場(chǎng)實(shí)時(shí)監(jiān)控，數(shù)據(jù)及時(shí)傳輸，保障現(xiàn)場(chǎng)安全，減少項(xiàng)目管理成本，實(shí)現(xiàn)智慧管理具有重要意義。