基于視頻識別的直接作業(yè)環(huán)節(jié)安全管控

陳明杰

(中石化盈科信息技術(shù)有限責(zé)任公司，北京 100780)

如何消減作業(yè)人員的違章操作行為，保障直接作業(yè)現(xiàn)場安全，一直是石化企業(yè)安全管理的重要目標(biāo)。通過在企業(yè)作業(yè)現(xiàn)場部署移動視頻監(jiān)控設(shè)備，利用4G/5G/WiFi等移動通訊網(wǎng)絡(luò)，回傳作業(yè)視頻至遠(yuǎn)程監(jiān)控平臺展示現(xiàn)場作業(yè)情況，并基于作業(yè)違章圖像分析模型，開展用火作業(yè)、受限空間作業(yè)、高處作業(yè)等場景識別與違章報警，對人員作業(yè)進(jìn)行輔助管控，減少安全隱患[1-3]。

1 直接作業(yè)環(huán)節(jié)安全管控系統(tǒng)功能設(shè)計

直接作業(yè)環(huán)節(jié)安全管控系統(tǒng)，由移動視頻終端、視頻分析服務(wù)器、監(jiān)控管理系統(tǒng)3部分組成。移動視頻終端主要負(fù)責(zé)前端數(shù)據(jù)采集；視頻分析服務(wù)器主要負(fù)責(zé)將前端采集的數(shù)據(jù)自動上傳儲存、分析，并對違章行為進(jìn)行分析判斷、報警提醒；管理系統(tǒng)主要負(fù)責(zé)對整個系統(tǒng)各個設(shè)備和所有數(shù)據(jù)資料的集中管理。直接作業(yè)環(huán)節(jié)安全管控系統(tǒng)具有視頻監(jiān)控與回放、作業(yè)過程監(jiān)控展示、違章報警、綜合管理等4個功能，見圖1。

圖1 系統(tǒng)主要功能菜單

1.1 視頻監(jiān)控與回放

a) 視頻實時預(yù)覽：第一時間了解直接作業(yè)現(xiàn)場情況，通過系統(tǒng)實時查看移動視頻終端的現(xiàn)場畫面，以便管理人員在短時間內(nèi)對突發(fā)性事件做出快速反應(yīng)并提出應(yīng)對措施。發(fā)起視頻時支持當(dāng)前實時視頻保存至存儲服務(wù)器，確保數(shù)據(jù)的安全。

b) 歷史視頻回放：根據(jù)需要隨時播放或下載歷史媒體數(shù)據(jù)。

1.2 作業(yè)過程監(jiān)控展示

a) 作業(yè)申報與審批：基層作業(yè)人員按照施工作業(yè)管控的流程進(jìn)行許可證申請、JSA分析、氣體分析、措施落實、票證簽發(fā)、安全交底、作業(yè)監(jiān)護(hù)、作業(yè)驗收。其中，在票證簽發(fā)時需要選擇監(jiān)控終端，作業(yè)監(jiān)護(hù)人員可通過終端進(jìn)行環(huán)境氣體監(jiān)測、作業(yè)視頻監(jiān)護(hù)。系統(tǒng)根據(jù)用戶的基本信息篩選出需要審批的作業(yè)，并自動判定作業(yè)審批級別。安全管理人員對本單位提交的作業(yè)申請有預(yù)審和修改的權(quán)限，并對提交的作業(yè)申請進(jìn)行審批。

b) 電子地圖展示：在電子地圖上以不同的圖標(biāo)和顏色標(biāo)識對應(yīng)作業(yè)過程的不同類型、狀態(tài)以及風(fēng)險等級，用戶通過電子地圖對作業(yè)情況有直觀清晰的了解。若多個直接作業(yè)處于同一時間范圍內(nèi)時，根據(jù)作業(yè)優(yōu)先級順序?qū)⒈O(jiān)控視頻在大屏上循環(huán)顯示，進(jìn)而實現(xiàn)現(xiàn)場直接作業(yè)過程的智能化監(jiān)控。

1.3 違章報警

針對動火、高處、吊裝、受限空間等不同作業(yè)場景進(jìn)行違章行為視頻智能分析，典型場景如下。

a) 監(jiān)護(hù)人員在崗檢測：采用標(biāo)準(zhǔn)攝像頭實時采集視頻信息，并對視頻數(shù)據(jù)進(jìn)行分析，確定場景內(nèi)的人員信息和作業(yè)情況；同時，對作業(yè)過程監(jiān)護(hù)人員在崗狀態(tài)持續(xù)跟蹤，超過規(guī)定的時間監(jiān)護(hù)人員如果不在現(xiàn)場，則進(jìn)行報警。

b) 作業(yè)現(xiàn)場標(biāo)識牌識別：利用OCR文字識別技術(shù)，對施工場景下的安全指示牌進(jìn)行識別，判斷場景的布置是否符合安全操作的規(guī)范，保證施工場所安全標(biāo)識始終合規(guī)。

c) 明火識別：利用計算視覺技術(shù)，同時結(jié)合傳感器信號，實現(xiàn)對火情的24小時監(jiān)控，做到早發(fā)現(xiàn)早處置。

d) 受限空間作業(yè)識別：針對特定受限作業(yè)場景，通過對人員的著裝識別判斷人員身份，并對進(jìn)出受限空間的人員進(jìn)行判別和跟蹤，統(tǒng)計空間留存人數(shù)。

e) 起重作業(yè)違章識別：對作業(yè)過程中監(jiān)護(hù)人員離場、作業(yè)人員站位進(jìn)行實時監(jiān)控，確保施工現(xiàn)場的人員安全。

f) 高處作業(yè)人員安全著裝識別：對施工人員著裝進(jìn)行識別，判斷安全帽及安全帶是否佩戴。

1.4 綜合管理

a) 移動視頻監(jiān)控設(shè)備管理：實現(xiàn)將作業(yè)票的票號與移動視頻設(shè)備編號、操作人員進(jìn)行綁定，從而達(dá)到票號與視頻文件一一對應(yīng)。

b) 作業(yè)許可歸檔：實現(xiàn)作業(yè)許可拍照及現(xiàn)場視頻等歸檔管理，方便后續(xù)查看。

c) 統(tǒng)計分析：設(shè)定各種維度進(jìn)行統(tǒng)計分析，生成各種統(tǒng)計報表，并按檢索條件或關(guān)鍵詞進(jìn)行快速查詢。

2 典型違章行為圖像識別算法實現(xiàn)

2.1 監(jiān)護(hù)人員脫崗識別

為保障現(xiàn)場施工作業(yè)安全受控，需要監(jiān)護(hù)人員在現(xiàn)場進(jìn)行監(jiān)護(hù)。監(jiān)護(hù)人員與作業(yè)人員在穿戴上有區(qū)別，監(jiān)護(hù)人員穿著反光背心，作業(yè)人員穿工作服，因此通過人員的穿著屬性識別可以區(qū)分作業(yè)人員和監(jiān)護(hù)人員，并依據(jù)該特征開展相應(yīng)的著裝識別模型訓(xùn)練。

監(jiān)護(hù)人員脫崗算法判定規(guī)則為：接入攝像頭的視頻流進(jìn)行解碼后，對視頻流中的人體目標(biāo)進(jìn)行實時檢測、跟蹤和人員穿著屬性識別以判斷人員身份(監(jiān)護(hù)人、作業(yè)人員和其他類人員)，識別到監(jiān)控場景中有作業(yè)人員在小范圍內(nèi)停留超過一段時間(如5 min)后判斷作業(yè)人員在作業(yè)。識別到作業(yè)人員開始作業(yè)之后監(jiān)測監(jiān)護(hù)人員是否在崗，每隔30幀做一次人員檢測和穿著屬性識別，判斷畫面中是否有監(jiān)護(hù)人員，若連續(xù)N次未檢測到監(jiān)護(hù)人員，則監(jiān)護(hù)人員脫崗報警。通過設(shè)置連續(xù)檢測的次數(shù)N可以設(shè)置允許監(jiān)護(hù)人員脫崗的時間。

人員目標(biāo)檢測器采用YOLOv3[4]，多目標(biāo)跟蹤算法采用Deep SORT(Simple Online and Realtime Tracking with a Deep Association Metric)[5]，SORT(Simple Online and Realtime Tracking)[6]跟蹤方法將目標(biāo)檢測算法得到的檢測框與預(yù)測的跟蹤框的的IOU(Intersection over Union)輸入到匈牙利算法中進(jìn)行線性分配后關(guān)聯(lián)幀間ID。Deep SORT在SORT基礎(chǔ)上進(jìn)行改進(jìn)，引入在行人重識別數(shù)據(jù)集上離線訓(xùn)練的深度學(xué)習(xí)模型，在實時目標(biāo)追蹤過程中，提取目標(biāo)的表觀特征進(jìn)行最近鄰匹配，可以改善有遮擋情況下的目標(biāo)追蹤效果和目標(biāo)ID跳變的問題。

具體人員多目標(biāo)檢測跟蹤步驟如下：

a) 狀態(tài)估計：用一個8維空間表示軌跡在某時刻的狀態(tài)，包括目標(biāo)框的中心坐標(biāo)、長寬比、高度以及4個變量對應(yīng)在圖像坐標(biāo)系中的速度信息，使用卡爾曼濾波器進(jìn)行目標(biāo)運動狀態(tài)的預(yù)測。

b) 軌跡處理：通過一定的規(guī)則實現(xiàn)每個目標(biāo)檢測器的創(chuàng)建與移除。

c) 在分配問題上，同時考慮目標(biāo)運動信息和外觀信息的關(guān)聯(lián)，使用融合度量的方式計算檢測目標(biāo)框和跟蹤軌跡之間的匹配程度。

d) 級聯(lián)匹配：由小到大對消失時間相同的軌跡進(jìn)行匹配，保證了對最近出現(xiàn)的目標(biāo)賦予最大的優(yōu)先權(quán)，優(yōu)先考慮更常見的目標(biāo)。

Deep SORT使用深度卷積神經(jīng)網(wǎng)絡(luò)提取目標(biāo)的外觀特征信息，網(wǎng)絡(luò)中運用了很多殘差網(wǎng)絡(luò)結(jié)構(gòu)，最終提取出128維的特征向量，表觀特征采用余弦距離度量方式。

人員穿著屬性識別采用ResNet50(Residual Neural Network-50 layer)[7]，人員穿著屬性分為以下幾類：反光背心(監(jiān)護(hù)人員)、工作服1(作業(yè)人員)、工作服2(作業(yè)人員)、工作服N(作業(yè)人員)、其他類衣服、其他(人員上半身不完整或誤檢的情況)。

2.2 用火作業(yè)不合規(guī)識別

用火作業(yè)檢測屬于多目標(biāo)的檢測任務(wù)，在動火作業(yè)下，需要檢測火焰、防護(hù)面具、滅火器、人員4類目標(biāo)，以判斷作業(yè)是否合規(guī)。

算法流程：對企業(yè)接入的攝像頭視頻流進(jìn)行解碼，每隔30幀抽取一幀圖像進(jìn)行明火檢測和人員檢測，并判斷人員和明火區(qū)域是否滿足距離關(guān)系，連續(xù)3次檢測到明火和人員并滿足距離關(guān)系則判斷在進(jìn)行用火作業(yè)。用火作業(yè)的判斷目的是減少疑似明火顏色和形狀的誤報引起的算法干擾。人員和明火區(qū)域的距離|A-B|關(guān)系判斷如式(1)，A(x1,y1)代表明火目標(biāo)框中心點坐標(biāo)，B(x2,y2)代表人員目標(biāo)框中心點，W代表人員目標(biāo)框的寬度。

(1)

識別到人員進(jìn)行動火作業(yè)之后的一段時間內(nèi)(時間可設(shè)置),監(jiān)測用火作業(yè)是否合規(guī)，具體如下：每隔2 s檢測視頻幀圖像中是否有防護(hù)面具和滅火器，若滅火器和防護(hù)面具均檢測到，則判斷為合規(guī)用火作業(yè)，若連續(xù)3次未檢測到滅火器或連續(xù)3次未檢測到防護(hù)面具，均判斷為不合規(guī)用火作業(yè)。

用火作業(yè)不合規(guī)識別算法中使用了3個目標(biāo)檢測模型，即人員檢測模型、明火檢測模型、滅火器和防護(hù)面具檢測模型。滅火器和防護(hù)面具使用同一個檢測模型，減少計算資源消耗。目標(biāo)檢測框架采用YOLOv3，檢測能力強大且預(yù)測效率高。

YOLOv3屬于單步目標(biāo)檢測方法，首先通過骨干網(wǎng)絡(luò)(Darknet-53)提取特征，再通過檢測網(wǎng)絡(luò)進(jìn)行分類與定位。Darknet-53網(wǎng)絡(luò)結(jié)構(gòu)借用了ResNet的思想，在網(wǎng)絡(luò)中加入了殘差模塊，有利于解決深層次網(wǎng)絡(luò)的梯度問題，每個殘差模塊由2個卷積層和1個快捷鏈路構(gòu)成。為加強算法對小目標(biāo)檢測的精確度，YOLOv3中采用類似FPN(Feature Pyramid Networks)[8]的上采樣和融合做法，分別在13×13(32倍下采樣)、26×26(16倍下采樣)、52×52(8倍下采樣)3層特征圖上進(jìn)行預(yù)測目標(biāo)框，3條預(yù)測支路采用全卷積的結(jié)構(gòu)。

3 應(yīng)用效果

該系統(tǒng)在寧波某石化公司進(jìn)行了試用，集成了近2 100個視頻點對直接作業(yè)現(xiàn)場進(jìn)行實時監(jiān)控管理，通過對監(jiān)控視頻的檢查及回放，排查出各類隱患、違章行為近200項，填補了安全管理的漏洞。通過對系統(tǒng)中現(xiàn)場直接作業(yè)數(shù)據(jù)的統(tǒng)計和分析，不斷優(yōu)化該公司日常安全管控制度，對重點環(huán)節(jié)重點問題制定針對性的管理措施。

同時，基于深度學(xué)習(xí)算法及Caffe深度學(xué)習(xí)框架，圖像識別支持任務(wù)配置、實時報警推送等功能，不同視頻點位支持算法靈活配置。通過對各類違章行為進(jìn)行實時分析處理，人員勞保穿戴、動火作業(yè)等綜合識別準(zhǔn)確率達(dá)到80%以上，并將結(jié)果通過網(wǎng)頁可視化輸出，有效提升了現(xiàn)場智能化風(fēng)險管控水平。

4 結(jié)語

通過現(xiàn)場直接作業(yè)的線上管理，對不同風(fēng)險級別、不同作業(yè)區(qū)域進(jìn)行劃分，嚴(yán)格審核流程，能有效降低高危作業(yè)風(fēng)險，進(jìn)一步保障安全生產(chǎn)。在生產(chǎn)活動中，系統(tǒng)充分體現(xiàn)出了在日常管理、實時監(jiān)控、智能報警、統(tǒng)計分析等方面的便利性和優(yōu)越性，從多個層面、不同角度給用戶展示現(xiàn)場直接作業(yè)情況，極大提升了企業(yè)對現(xiàn)場直接作業(yè)環(huán)節(jié)的安全管控能力。