視頻識別技術在作業(yè)現(xiàn)場違章行為預測方面的應用

劉玉林

（中國石化集團勝利石油管理局有限公司電力分公司，山東東營 257091）

0 前言

長期以來，安全管理工作均以事前風險識別告知、現(xiàn)場監(jiān)督檢查、事后總結(jié)處罰的模式進行。然而，由于行業(yè)特點和其他多種因素，石化領域安全生產(chǎn)事故屢見不鮮，安全生產(chǎn)成為整個石化產(chǎn)業(yè)應當妥善處理的首要問題。視頻監(jiān)視范圍的全面覆蓋為現(xiàn)場違章行為的智能識別和人員行動軌跡預測技術相結(jié)合提供了基礎，從而對可能發(fā)生的違章行為進行預測，并給現(xiàn)場作業(yè)人員發(fā)出預警信號，實現(xiàn)以視頻預判為基礎的阻止違章的功能，從而提升現(xiàn)場作業(yè)的安全性，消除觸電風險。

針對作業(yè)現(xiàn)場安全生產(chǎn)智能管控技術，由于需要變電站視頻監(jiān)控系統(tǒng)里實時的數(shù)據(jù)源進行后續(xù)的圖像識別，因此要求變電站的數(shù)據(jù)接口可提供穩(wěn)定、精確的大流量服務，擁有較快的響應能力。視頻識別技術主要用于與變電站現(xiàn)場視頻圖像識別檢測的交互，與國內(nèi)主流圖像監(jiān)控廠商的視頻分析服務器進行數(shù)據(jù)傳輸，以及處理分析用戶已經(jīng)上傳的視頻圖像并迅速返回檢測與識別結(jié)果，快速做出違章行為預測，以此來減小事故的發(fā)生概率。

1 視頻識別技術的應用

從人員作業(yè)區(qū)域開始，首先進行人臉識別并核查身份，然后利用開發(fā)人員身份鑒別模塊實現(xiàn)工種及許可作業(yè)范圍與人員的關聯(lián)。在整個作業(yè)過程中，配合移動目標的檢測技術可以準確地將未按規(guī)定正確佩戴安全帽和工裝的人員實時上報給監(jiān)控平臺。為了保障變電站內(nèi)設備的安全、提升變電站作業(yè)過程的管理效率，智能管控平臺需要具有對識別出的變電站人員的運動軌跡進行全程的跟蹤和預測功能，因此擬采用卡爾曼濾波策略與行人重識別技術實現(xiàn)此功能。增加施工區(qū)域越界告警模塊可以實時地識別施工人員在施工過程中是否跨越安全區(qū)域，當施工人員翻越警戒線時可實現(xiàn)系統(tǒng)自動報警。

采用變電站內(nèi)的固定攝像頭和移動攝像頭相結(jié)合的方式，實現(xiàn)變電站內(nèi)視頻的全面覆蓋?？梢詫崿F(xiàn)現(xiàn)場人員從入場到作業(yè)以及作業(yè)終結(jié)的全過程監(jiān)控和提醒，從而有效降低作業(yè)風險和事故發(fā)生概率。

2 現(xiàn)場系統(tǒng)應用的主要技術

該研究是利用變電站內(nèi)不同時期投入使用的各種型號的視頻設備所采集的視頻數(shù)據(jù)進行識別分析，并通過測試和修正確保目前運行的大多數(shù)視頻設備能夠滿足智能識別的要求。

2.1 人員身份鑒別技術

研究基于SeetaFace來進行人員身份的鑒別，通過在vggface2數(shù)據(jù)集上預訓InceptionResnetV1模型來提取檢測到每個人臉圖片的特征向量。并利用作業(yè)現(xiàn)場的視頻設備對所有人員進行自動捕捉，來判定現(xiàn)場人員是否具備作業(yè)資質(zhì)，識別流程如圖1所示。

圖1 人員身份鑒別流程

2.2 移動目標檢測技術

YOLO(You Only Look Once)是基于深度卷積神經(jīng)網(wǎng)絡的目標識別和定位算法，整個網(wǎng)絡結(jié)構(gòu)只由卷積層組成，輸入的圖像僅僅經(jīng)過一次網(wǎng)絡就能完成目標的分類與定位，所以檢測速度比較快，能夠滿足變電站的實時性要求。它創(chuàng)造性地將目標候選區(qū)域選擇與識別這兩個階段任務合成一個，僅僅使用一次特征提取，就能準確地檢測出目標并定位其位置。YOLO的網(wǎng)絡設計遵循了GoogleNet的思想，但與之有所區(qū)別，它所采用的是24個級聯(lián)的卷積層和2個全連接層。其中卷積層包括3×3和1×1兩種Kernel，最后的全連接層的輸出為YOLO的輸出，長度為：7×7×30。

YOLOv4是YOLO中一個高效快速的目標檢測框架，主要目的在于設計一個能夠應用于實際工作環(huán)境中的快速目標檢測系統(tǒng)，且能夠被并行優(yōu)化，并沒有很刻意去追求理論上的低計算量(BFLOP)。從數(shù)據(jù)處理、主干網(wǎng)絡、網(wǎng)絡訓練、激活函數(shù)、損失函數(shù)等各個方面引入一些優(yōu)化方法，使得模型在檢測速度和精度上達到了目前為止的最優(yōu)匹配。YOLOv4目標檢測算法在網(wǎng)絡結(jié)構(gòu)上比YOLOv3更復雜，使用了很多訓練技巧來提升神經(jīng)網(wǎng)絡的準確率。YOLOv4通過引入Mosaic數(shù)據(jù)增強方法與GA算法來選擇最優(yōu)超參數(shù)，并對現(xiàn)有方法進行改進使其具有更低的訓練門檻，能夠在GPU資源有限的條件下得到更好的結(jié)果。

目前采集到的變電站監(jiān)控視頻圖像一般都是24位的彩色圖像，由于RGB彩色圖像變換很大，并不能較好地表示圖像的特征信息，而且分別計算R、G、B分量值會增加圖像處理的計算量，不能滿足視頻圖像的實時性要求。所以采用圖像的灰度變換作為圖像預處理中的重要方法之一。

以一幀圖像為例，首先通過圖像預處理對輸入的實時視頻幀信號進行灰度化、圖像去噪以及圖像增強，然后再通過融合多種數(shù)據(jù)增強的目標檢測算法YOLOv4對變電站內(nèi)的安全措施進行檢測，從而得到視頻序列中目標的檢測框，而后篩選出置信度評分大于0.8的檢測框。

采用深度神經(jīng)網(wǎng)絡的算法，來實現(xiàn)對變電站內(nèi)安全措施的識別。采集大量數(shù)據(jù)進行訓練，將訓練好的安全措施識別模型運用到實際環(huán)境中，實現(xiàn)變電站內(nèi)的安全措施識別。將識別出的未按規(guī)定佩戴安全帽和穿工作服的人員信息發(fā)送給平臺，并在前端實時顯示分析界面，同時平臺會對違規(guī)情況進行及時提醒，以此來保護人員和設備的安全，形成更高效、安全的電力保障。識別效果見圖2。

圖2 場景一安全措施識別

2.3 移動目標跟蹤技術

定位跟蹤時，可以通過某種定位技術得到一個位置估計(觀測位置)，也可以根據(jù)經(jīng)驗由上一時刻的位置和速度來預測當前位置。通過卡爾曼濾波進行軌跡預測，并采用關聯(lián)算法與優(yōu)先分配策略，從小到大匹配消失時間相同的軌跡，不僅保障了最近出現(xiàn)目標的優(yōu)先權(quán)，同時也很好地解決了目標由于遮擋造成的無法再識別問題。主要流程如圖3所示。

圖3 卡爾曼濾波流程

2.4 電子圍欄生成及越界檢測技術

調(diào)度自動化系統(tǒng)中停電設備情況與視頻設備關聯(lián)，在攝像機上劃定特定的安全區(qū)域，當有人攀爬或穿越預定的區(qū)域時，能實時進行報警，并且能夠聯(lián)動視頻監(jiān)控精確定位報警區(qū)域，其次通過對接調(diào)配一體化系統(tǒng)數(shù)據(jù)，自動生成安全區(qū)域。越界檢測采用幾何引射線法來判斷位置點是否在警戒區(qū)域內(nèi)部。幾何引射線法是從目標點出發(fā)引一條射線，檢測這條射線和多邊形所有邊的交點數(shù)目。如果有奇數(shù)個交點，則說明在內(nèi)部，如果有偶數(shù)個交點，則說明在外部。

射線法的關鍵在于單向發(fā)射，以水平線為例簡單說明，O點向右發(fā)出射線與多邊形交于B、C、D三點，O點向左發(fā)出射線與多邊形交與A點，兩邊交點數(shù)都是奇數(shù)，而P點位于多邊形以外，所以它無論向哪個方向發(fā)出射線，都會有兩個交點。幾何射線法同樣適用于帶內(nèi)島的形狀，如圖4所示。

圖4 一條射線與內(nèi)島形狀多邊形交點

平臺是以列表的形式發(fā)送工作區(qū)域信息，所以繪制工作區(qū)域的時候，既可以繪制單工作區(qū)域，也可以繪制多工作區(qū)域。單工作區(qū)域是將平臺發(fā)送過來工作區(qū)域的端點連接起來，繪制成一個有進口的半封閉區(qū)域；多工作區(qū)域是將平臺發(fā)送過來工作區(qū)域信息進行遍歷，然后將得到的多個工作區(qū)域的端點分別連接起來，繪制而成的多個有進口的半封閉區(qū)域。當檢測到有施工人員跨越施工區(qū)域時，會在分析視頻中實時的進行文字越線提醒，同時將人員的越線信息、越線圖片實時發(fā)送至平臺，并結(jié)合現(xiàn)場作業(yè)票據(jù)和設備停電范圍自動生成安全作業(yè)區(qū)域，以防止人身觸電事故的發(fā)生。

3 現(xiàn)場測試數(shù)據(jù)及結(jié)論

3.1 測試環(huán)境及測試方式

在變電站內(nèi)選取多站點、不同攝像機分別進行識別分析。分別對作業(yè)過程中運動中的人臉進行識別，并對作業(yè)行為進行測試。

3.1.1 人臉識別測試方式

每個攝像機選取5段幀率為25 fps、時長為3 min左右的視頻(約22 500張圖像)作為識別樣本，視頻中包含3 m以內(nèi)、3～5 m、5 m以內(nèi)的人員活動場景；人臉庫內(nèi)不少于300個樣本，所有的測試人員均在人臉庫中；分別測試距離約在3 m以內(nèi)、3～5 m、5 m以內(nèi)的情況，通過人工識別來掌握各場景下有效圖像張數(shù)，系統(tǒng)記錄算法識別成功且準確張數(shù)。各樣本單獨計算不同場景下的準確率，用成功張數(shù)/有效圖數(shù)即得到識別準確率，再匯總計算整體識別率。

3.1.2 作業(yè)行為的識別測試方式

每個攝像機選取5段幀率為25 fps、時長約為3 min的視頻(約22 500張圖像)；場景內(nèi)需包括單人、多人在15 m內(nèi)的正身和側(cè)身情況；分別對單人正身和側(cè)身身著工裝和脫掉工裝場景、安全帽穿戴、人員作業(yè)區(qū)域劃分等在15 m以內(nèi)的有效圖象進行人工計數(shù)和識別計數(shù)，識別計數(shù)除以人工計數(shù)為識別準確率；并對多人進行測試，分別記錄人工計數(shù)應識別的人次和系統(tǒng)算法識別人次，其中識別計數(shù)除以人工計數(shù)為識別準確率。

3.2 攝像頭現(xiàn)場測試數(shù)據(jù)

如表1～表3所示，通過不同攝像機型號對不同距離的施工人員是否佩戴安全帽、不同距離的正側(cè)臉以及不同距離的越界識別率進行比較可以得出結(jié)論，識別準確率與采集時間、設備像素、距離等因素有關。攝像頭像素的升高、采集時間的延長等可以使識別率提高，識別物與攝像頭的距離增加則會導致識別準確率下降。

表1 安全帽識別現(xiàn)場測試數(shù)據(jù)

表2 人臉識別現(xiàn)場測試數(shù)據(jù)

表3 越界識別現(xiàn)場測試數(shù)據(jù)

4 結(jié)語

在對石化企業(yè)進行安全管理研究的時候需要增強系統(tǒng)化意識，其中大部分安全事故是由于現(xiàn)場操作不規(guī)范引起的，隨著信息技術的發(fā)展，視頻作為常規(guī)數(shù)據(jù)進行存儲分析逐步成為常態(tài)，通過作業(yè)現(xiàn)場違章行為和作業(yè)區(qū)域的實時監(jiān)控，可以大幅度降低安全事故發(fā)生的概率，有利于企業(yè)的安全發(fā)展。在工業(yè)應用場景中將工業(yè)控制數(shù)據(jù)與現(xiàn)場監(jiān)控視頻相結(jié)合進行安全風險分析，對于實現(xiàn)違章行為的預先報警和危險提示有重要意義。