一種基于電力行業(yè)的智能視頻監(jiān)控系統(tǒng)

李鵬鳴，王志斐

（國網(wǎng)漯河供電公司，河南 漯河 462000）

0 引言

目前，國內(nèi)的電力行業(yè)監(jiān)控大都依賴于人工觀看，效率低下且常常會(huì)出現(xiàn)不能及時(shí)地發(fā)現(xiàn)隱患而導(dǎo)致事故的現(xiàn)象出現(xiàn)。因此，如何高效地、及時(shí)地將有用的監(jiān)控信息傳遞給安全檢查人員是目前智能監(jiān)控系統(tǒng)中亟待解決的問題。隨著智能發(fā)電以及人工智能的興起，智能視頻監(jiān)控系統(tǒng)已經(jīng)成為電力行業(yè)主要建設(shè)的方向。智能監(jiān)控系統(tǒng)可以較好地彌補(bǔ)目前電力行業(yè)大量存在的數(shù)字監(jiān)控系統(tǒng)的不足，通過計(jì)算機(jī)AI算法自動(dòng)判別監(jiān)控區(qū)域內(nèi)違章的行為并發(fā)出報(bào)警，并將報(bào)警傳遞給安全員，及時(shí)地采取措施來避免事故的發(fā)生[1-4]。在電力行業(yè)中，由于危險(xiǎn)系數(shù)較高，存在大量限制行人進(jìn)出的區(qū)域，這樣就極大增加了安全巡視人員的工作量，同時(shí)也容易出現(xiàn)監(jiān)管的缺失，而智能監(jiān)控系統(tǒng)能夠自動(dòng)對(duì)出現(xiàn)在視頻中的行人及其他運(yùn)動(dòng)目標(biāo)進(jìn)行檢測跟蹤，同時(shí)對(duì)行人是否按照要求采取安全防護(hù)措施進(jìn)行判別，盡量避免人身傷亡以及設(shè)備損壞的情況出現(xiàn)[5-7]。

智能視頻監(jiān)控系統(tǒng)主要是對(duì)感興趣區(qū)域的圖像進(jìn)行檢測及定位，因此定位與跟蹤技術(shù)是智能監(jiān)控的主要技術(shù)[8]。文獻(xiàn)[9]采用幀間差分法與背景減除法實(shí)現(xiàn)關(guān)鍵區(qū)域行人的提取，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的檢測。文獻(xiàn)[10]采用高斯背景建模的方法對(duì)出現(xiàn)在監(jiān)控區(qū)域內(nèi)的物體進(jìn)行提取，對(duì)提取出來的目標(biāo)進(jìn)一步采用HOG+SVM的方法實(shí)現(xiàn)行人的判別。文獻(xiàn)[11]則采用改進(jìn)Vibe算法實(shí)現(xiàn)了運(yùn)動(dòng)目標(biāo)的提取，采用Adaboost算法進(jìn)行行人檢測，通過卡爾曼和匈牙利算法對(duì)檢測到的目標(biāo)進(jìn)行跟蹤。文獻(xiàn)[12]采用了一種通過融合自注意力機(jī)制來改進(jìn)Faster R-CNN的目標(biāo)檢測算法，實(shí)現(xiàn)了安全帽檢測。文獻(xiàn)[13]采用面部特征與神經(jīng)網(wǎng)絡(luò)相結(jié)合的算法，通過多任務(wù)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)提取臉部特征與VGG深度卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合進(jìn)行安全帽檢測。文獻(xiàn)[14]提出了一種基于SSD改進(jìn)的安全帽檢測新方法，實(shí)現(xiàn)了現(xiàn)場行人安全帽的快速檢測。目前，以YOLO為架構(gòu)的神經(jīng)網(wǎng)絡(luò)模型成為目前施工現(xiàn)場安全帽檢測的主要研究方向。

本文以電力行業(yè)的實(shí)際應(yīng)用為基礎(chǔ)，根據(jù)電力行業(yè)的實(shí)際需求設(shè)計(jì)了一套應(yīng)用于電力行業(yè)的視頻監(jiān)控系統(tǒng)。該系統(tǒng)以計(jì)算機(jī)AI為基礎(chǔ)，實(shí)現(xiàn)了對(duì)危險(xiǎn)區(qū)域的行人監(jiān)測以及人員是否佩戴安全帽的監(jiān)測，保障人員和設(shè)備的安全，并將違章行為傳遞給安全監(jiān)管人員，從而提高監(jiān)視效率，達(dá)到智能監(jiān)控的目的。

1 基于Vibe算法的運(yùn)動(dòng)目標(biāo)監(jiān)測

1.1 運(yùn)動(dòng)檢測

傳統(tǒng)的目標(biāo)監(jiān)測方法有平均背景建模法、高斯背景建模法，以及三幀差分法。平均背景建模法主要是通過對(duì)監(jiān)控?cái)z像頭部署初期，讀取攝像頭場景下一段時(shí)間的數(shù)據(jù)進(jìn)行建模。建模完成后，通過對(duì)比當(dāng)前時(shí)刻的視頻幀與背景幀，找出運(yùn)動(dòng)目標(biāo)。該方法優(yōu)點(diǎn)是監(jiān)測速度快，但是對(duì)電力行業(yè)場景、監(jiān)控區(qū)域的背景會(huì)經(jīng)常變化，因此平均背景建模法不能適用于電力行業(yè)的視頻監(jiān)控中。三幀差分法是基于平均背景建模法的改進(jìn)形式，通過連續(xù)的三幀圖像實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的監(jiān)測，優(yōu)點(diǎn)同樣是監(jiān)測速度快，且不受背景變化的影響，但是檢測精度不高，容易出現(xiàn)漏檢和誤檢的情況。高斯背景建模法是一種基于統(tǒng)計(jì)學(xué)的建模法，使用統(tǒng)計(jì)學(xué)原理對(duì)目標(biāo)圖像的前景以及背景進(jìn)行區(qū)分，能夠?qū)崿F(xiàn)對(duì)一些負(fù)雜場景的背景進(jìn)行建模，但是其算法較為復(fù)雜且極其依賴于第一幀的圖像質(zhì)量。因此，不適用電力行業(yè)這種對(duì)檢測速度要求較高的場景。Vibe建模方法是一種比較新穎的算法，其優(yōu)點(diǎn)為算法簡單，計(jì)算速度快，且易于移植。

Vibe背景建模模型是通過對(duì)監(jiān)控圖像中某個(gè)像素點(diǎn)的像素值（x,y）四周相鄰位置的像素點(diǎn)進(jìn)行計(jì)算，算法將當(dāng)前時(shí)刻及以前該像素點(diǎn)像素值作為標(biāo)準(zhǔn)值，當(dāng)有新的一幀圖像時(shí)，及t=n時(shí)，改像素點(diǎn)的背景模型值為：

其中，NG(x,y)表示像素點(diǎn)相鄰的像素值，f n(xi,yi)表示監(jiān)控視頻幀當(dāng)前時(shí)刻圖像的像素值，NG(x,y)中的像素點(diǎn)(xi,yi)被選中的可能次數(shù)為L=1，2，3，…N。Vibe算法是根據(jù)監(jiān)控視頻第一幀的圖像建立樣本集，當(dāng)后續(xù)視頻幀圖像讀取后，根據(jù)采樣集對(duì)視頻監(jiān)控場景的背景模型進(jìn)行迭代。在t時(shí)刻，監(jiān)控圖像中某一像素點(diǎn)(x,y)的像素值f k(x,y)根據(jù)預(yù)先設(shè)定好的閾值T來判斷該像素點(diǎn)為監(jiān)控圖像中的前景還是背景。

上標(biāo)r為隨機(jī)選擇的像素，T為設(shè)定的閾值，當(dāng)像素值f k(x,y)大于預(yù)設(shè)值T時(shí)，則判斷當(dāng)前監(jiān)控圖像中該點(diǎn)的像素為前景，否則為背景。同時(shí)，Vibe算法也存在更新機(jī)制，圖像中的所有像素點(diǎn)都根據(jù)固定的概率去更新自身的樣本值，在更新本像素點(diǎn)像素值的同時(shí)以同樣的方式去對(duì)相鄰像素點(diǎn)的值以隨機(jī)更新的原則更新。這種更新機(jī)制可以保證Vibe算法在場景中出現(xiàn)新的背景時(shí)快速地更新，提高檢測精度。但是Vibe算法同樣受監(jiān)控?cái)z像頭所采集的第一幀圖像的影響較大，因此本文采用Vibe算法和平均背景建模法相融合的算法，首先采集監(jiān)控?cái)z像中一段時(shí)間的監(jiān)控圖像，通過平均背景建模法作為Vibe算法的初始幀，能夠排除初始幀對(duì)Vibe算法的影響。

1.2 運(yùn)動(dòng)目標(biāo)跟蹤

當(dāng)檢測出來運(yùn)動(dòng)目標(biāo)后，為使檢測視頻幀顯示更加平滑，需要對(duì)檢測出來的運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤。在電力行業(yè)場景中，由于人流量較大對(duì)視頻中運(yùn)動(dòng)目標(biāo)跟蹤的精度要求不高，但是當(dāng)視頻中的運(yùn)動(dòng)目標(biāo)誤入危險(xiǎn)區(qū)域后，需要快速地將檢測結(jié)果返送給安全管理人員。因此，智能監(jiān)控系統(tǒng)需要有較快的響應(yīng)速度。綜合電力行業(yè)的實(shí)際需求，本文所搭建的智能監(jiān)控系統(tǒng)采用以卡爾曼濾波和匈牙利最優(yōu)匹配融合的算法來實(shí)現(xiàn)對(duì)監(jiān)控中檢測的運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤。卡爾曼濾波可以對(duì)監(jiān)控中出現(xiàn)的運(yùn)動(dòng)目標(biāo)的當(dāng)前時(shí)刻的位置來實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)后續(xù)可能出現(xiàn)的位置進(jìn)行預(yù)測，因?yàn)轭A(yù)測位置可能與下一幀運(yùn)動(dòng)目標(biāo)出現(xiàn)的位置出現(xiàn)偏差。因此，采用匈牙利最優(yōu)匹配算法去判斷預(yù)測位置與實(shí)際位置的匹配程度，當(dāng)運(yùn)動(dòng)目標(biāo)的實(shí)際位置與預(yù)測位置匹配時(shí)，再對(duì)卡爾曼濾波器進(jìn)行更新。采用該種跟蹤算法雖然跟蹤準(zhǔn)確性稍低，但是整體計(jì)算量小，跟蹤速度快，且算法相對(duì)簡單，便于后期的維護(hù)，能夠滿足當(dāng)前電力行業(yè)對(duì)危險(xiǎn)區(qū)域運(yùn)動(dòng)目標(biāo)檢測的需求。

2 安全帽檢測

2.1 YOLO網(wǎng)絡(luò)結(jié)構(gòu)

YOLO是一種新型的網(wǎng)絡(luò)架構(gòu)模型，相比較于傳統(tǒng)的網(wǎng)絡(luò)架構(gòu)模型，其檢測速度快，檢測精度高，尤其適用于復(fù)雜的檢測環(huán)境。在電力行業(yè)場景中需要快速地對(duì)違章行為進(jìn)行檢測并上報(bào)到安全管理員及時(shí)地制止違章行為。因此，本文選擇YOLO神經(jīng)網(wǎng)絡(luò)架構(gòu)來實(shí)現(xiàn)電力行業(yè)施工區(qū)域的安全帽檢測。圖2為YOLO模型的架構(gòu)，從網(wǎng)絡(luò)架構(gòu)中可以看出，模型使用了一系列的卷積層、最大池化下載樣層以及全連接層。YOLO網(wǎng)絡(luò)架構(gòu)視頻檢測的核心是將輸入的圖像分為N×N的區(qū)域，對(duì)于每個(gè)區(qū)域給出兩個(gè)先驗(yàn)框，對(duì)于置信度高的格子（即位于物體中心的區(qū)域）通過回歸任務(wù)將兩個(gè)先驗(yàn)框調(diào)整至合適的大小，然后選擇IOU指標(biāo)較大的框作為預(yù)測結(jié)果。對(duì)于安全帽的檢測，首先程序讀取當(dāng)前時(shí)刻的視頻幀，將視頻幀分為7×7的網(wǎng)格，每個(gè)網(wǎng)格都會(huì)生成兩個(gè)預(yù)測框，因此會(huì)產(chǎn)生7×7×2共98個(gè)預(yù)測框，每個(gè)預(yù)測框都會(huì)對(duì)應(yīng)30個(gè)向量，網(wǎng)絡(luò)的輸出就是7×7×2×30維的向量。該結(jié)構(gòu)有利于實(shí)現(xiàn)不同目標(biāo)大小的安全帽佩戴檢測，最后將特征分別輸入預(yù)測網(wǎng)絡(luò)中實(shí)現(xiàn)安全帽預(yù)測及位置預(yù)測。

圖1 行人跟蹤流程圖Fig.1 Pedestrian tracking flowchart

圖2 YOLO網(wǎng)絡(luò)層Fig.2 YOLO Network layer

2.2 損失函數(shù)

YOLO的損失函數(shù)主要有3部分構(gòu)成，第一部分為坐標(biāo)損失，把智能監(jiān)控系統(tǒng)中的視頻幀圖劃分成若干個(gè)單元格，YOLO神經(jīng)網(wǎng)絡(luò)以單元格為單位對(duì)視頻幀中的物體進(jìn)行預(yù)測和分類，YOLO神經(jīng)網(wǎng)絡(luò)把視頻幀中的各個(gè)物體進(jìn)行預(yù)測和分類，同時(shí)YOLO神經(jīng)網(wǎng)絡(luò)會(huì)把每個(gè)預(yù)測物體的邊框x，y，w，h標(biāo)注出來，以便后續(xù)處理。第二步置信度損失，YOLO神經(jīng)網(wǎng)絡(luò)的置信度損失由兩種類型構(gòu)成：一部分是包含物體時(shí)置信度的損失，一個(gè)是不包含物體時(shí)置信度的損失。因?yàn)橐曨l幀中所劃分的單元格必須預(yù)測預(yù)測框和真實(shí)框的大小與坐標(biāo)，所以所有單元格都會(huì)產(chǎn)生一個(gè)預(yù)測置信度分?jǐn)?shù)。置信度損失函數(shù)主要有兩個(gè)評(píng)價(jià)指標(biāo)，第一是預(yù)測框內(nèi)是否存在檢測目標(biāo)，第二為預(yù)測框的準(zhǔn)確度，置信度的公式為：

其中，confidence為置信度，Pobj表示單元格內(nèi)檢測目標(biāo)存在的情況。當(dāng)檢測目標(biāo)存在為1，否則為0。第三部分為類別損失，YOLO神經(jīng)網(wǎng)絡(luò)會(huì)根據(jù)所讀取的視頻幀所預(yù)測的物體的數(shù)目，確定視頻幀中每個(gè)單元格所預(yù)測的類別與真實(shí)類別的偏差構(gòu)成YOLO神經(jīng)網(wǎng)絡(luò)的損失函數(shù)。預(yù)測過程中與真實(shí)值所產(chǎn)生的偏差就組成了YOLO神經(jīng)網(wǎng)絡(luò)的損失函數(shù)，損失函數(shù)由3部分組成：坐標(biāo)預(yù)測損失、置信度預(yù)測損失、分類預(yù)測損失，因此損失函數(shù)的計(jì)算公式為：

2.3 數(shù)據(jù)收集與訓(xùn)練

本文基于YOLO網(wǎng)絡(luò)架構(gòu)模型對(duì)電力行業(yè)施工區(qū)域內(nèi)工人是否佩戴安全帽進(jìn)行檢測。本文隨機(jī)選取在施工區(qū)域內(nèi)佩戴安全帽施工人員的8000張左右的視頻幀用作神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練。在訓(xùn)練過程中設(shè)置合適的損失函數(shù)，以避免在圖形訓(xùn)練的過程中過擬合的情況出現(xiàn)。在進(jìn)行YOLO模型訓(xùn)練的時(shí)候，首先需要對(duì)用于訓(xùn)練的視頻幀進(jìn)行標(biāo)注。本文選取專用的標(biāo)注軟件對(duì)所有視頻集中的安全帽進(jìn)行標(biāo)注，將標(biāo)注好的視頻集以統(tǒng)一的格式輸入到Y(jié)OLO神經(jīng)網(wǎng)絡(luò)模型中。訓(xùn)練好的模型為一個(gè)權(quán)重文件，該權(quán)重文件可部署到后臺(tái)，用于后續(xù)出現(xiàn)在視頻幀中行人是否佩戴安全帽的檢測。在電力行業(yè)的實(shí)際應(yīng)用中，一般采用雙線程的形式來實(shí)現(xiàn)安全帽的監(jiān)測，一個(gè)線程用于從廠級(jí)監(jiān)控?cái)z像頭中讀取視頻幀，另一個(gè)線程用于安全帽的監(jiān)測，采用該種架構(gòu)可以保證采集的精度和速度，進(jìn)而達(dá)到實(shí)時(shí)的監(jiān)測效果。模型訓(xùn)練及檢測流程如圖3。

圖3 佩戴安全帽行為檢測流程Fig.3 Behavior detection process of wearing a helmet

3 智能監(jiān)控系統(tǒng)設(shè)計(jì)

智能視頻監(jiān)控系統(tǒng)由監(jiān)控部分和后臺(tái)處理算法兩部分構(gòu)成，監(jiān)控部分主要是對(duì)監(jiān)控視頻的數(shù)據(jù)進(jìn)行讀取并對(duì)視頻數(shù)據(jù)進(jìn)行存儲(chǔ)，后臺(tái)部分主要為智能監(jiān)控系統(tǒng)所部署的算法，主要分為行人檢測以及安全帽檢測兩部分。系統(tǒng)工程運(yùn)行在Windows系統(tǒng)上，采用雙線程的形式，通過相應(yīng)攝像頭驅(qū)動(dòng)設(shè)備提供的接口讀取并保存視頻幀，同時(shí)采用雙線程并行運(yùn)行的方式，每隔一段時(shí)間獲取一張待檢測的樣本幀，將樣本幀送至后臺(tái)進(jìn)行處理，并將處理結(jié)果存至特定的緩存目標(biāo)目錄，用于記錄日志。其系統(tǒng)結(jié)構(gòu)如圖4。

圖4 智能監(jiān)控系統(tǒng)架構(gòu)Fig.4 Intelligent monitoring system architecture

視頻選取某站配電室中的監(jiān)控視頻，監(jiān)控實(shí)驗(yàn)內(nèi)容為檢測監(jiān)控視頻中出現(xiàn)的運(yùn)動(dòng)目標(biāo)。首先，對(duì)視頻中監(jiān)控中出現(xiàn)的運(yùn)動(dòng)物體進(jìn)行檢測，將運(yùn)動(dòng)區(qū)域標(biāo)記為感興趣區(qū)域，對(duì)感興趣的區(qū)域進(jìn)行檢測判斷是否為行人，如果監(jiān)測目標(biāo)為行人，則對(duì)監(jiān)測到的目標(biāo)進(jìn)行跟蹤，監(jiān)測效果如圖5、圖6。

圖5 單行人檢測跟蹤效果圖Fig.5 Single pedestrian detection and tracking renderings

圖6 多行人檢測跟蹤效果圖Fig.6 Multi-pedestrian detection and tracking renderings

從圖5可以看出，當(dāng)監(jiān)控范圍內(nèi)出現(xiàn)單個(gè)運(yùn)動(dòng)目標(biāo)以后，智能監(jiān)控系統(tǒng)會(huì)自動(dòng)對(duì)監(jiān)控區(qū)域內(nèi)的運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤，跟蹤效果良好。圖6為較遠(yuǎn)距離的視頻監(jiān)控圖像，從圖中可以看出，當(dāng)運(yùn)動(dòng)目標(biāo)較小時(shí)，本文所設(shè)計(jì)的算法依然能夠保持對(duì)出現(xiàn)在監(jiān)控區(qū)域的所有行人進(jìn)行檢測和跟蹤，證明了本文所設(shè)計(jì)算法的有效性。

對(duì)于電力行業(yè)中是否佩戴安全帽的行為的檢測，本文選取某地施工現(xiàn)場一段監(jiān)控視頻來進(jìn)行驗(yàn)證。檢驗(yàn)內(nèi)容為對(duì)出現(xiàn)在施工現(xiàn)場監(jiān)控區(qū)域內(nèi)所有的現(xiàn)場人員是否佩戴安全帽的行為進(jìn)行檢測，檢測效果如圖7。

圖7 行人安全帽檢測效果圖Fig.7 The effect of pedestrian safety helmet detection

從圖7中可以看出，無論出現(xiàn)在監(jiān)控區(qū)域內(nèi)的行人距離監(jiān)控?cái)z像頭的距離如何，本文所采用的模型均保持較好的檢測效果。從表1中可以看出，本模型在復(fù)雜的施工區(qū)域內(nèi)檢測率較高，能夠?qū)Τ霈F(xiàn)的視頻監(jiān)控區(qū)域內(nèi)行人是否佩戴安全帽進(jìn)行檢測，且對(duì)距離攝像頭較近區(qū)域內(nèi)安全帽檢測準(zhǔn)確率較高。當(dāng)監(jiān)測區(qū)域邊緣出現(xiàn)行人時(shí)，由于距離攝像頭太遠(yuǎn)，會(huì)出現(xiàn)一定的漏檢的情況出現(xiàn)。

表1 模型性能效果Table 1 Model performance effects

4 結(jié)束語

電力行業(yè)的智慧化建設(shè)離不開智能監(jiān)控體系的建設(shè)。本文通過搭建智能監(jiān)控體系，通過采用基于Vibe的背景建模法實(shí)現(xiàn)了關(guān)鍵區(qū)域內(nèi)運(yùn)動(dòng)目標(biāo)的檢測，檢測速度快，檢測效果良好。通過采用YOLO為架構(gòu)的神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)了監(jiān)控區(qū)域內(nèi)行人是否佩戴安全帽的檢測，在保證快速性及準(zhǔn)確性的同時(shí)，實(shí)現(xiàn)了電力行業(yè)工作范圍區(qū)運(yùn)動(dòng)目標(biāo)檢測以及行人是否佩戴安全帽檢測。通過部署在電力行業(yè)中的實(shí)時(shí)監(jiān)控?cái)z像驗(yàn)證，證明了檢測方法的有效性，智能監(jiān)控有力地保障了電力行業(yè)中的行人及設(shè)備的安全。未來將在本模型的基礎(chǔ)上，對(duì)兩種算法進(jìn)行進(jìn)一步融合，進(jìn)一步優(yōu)化系統(tǒng)架構(gòu)，進(jìn)一步提高智能監(jiān)控系統(tǒng)在電力行業(yè)施工現(xiàn)場檢測的準(zhǔn)確率。