基于S-RBFNN的變電作業(yè)人員著裝圖像識別算法

李聰, 胡金磊, 周俊煌, 孔婉菲

(1.中國南方電網(wǎng)有限責(zé)任公司安全監(jiān)管部，廣東 廣州 510623；2. 廣東電網(wǎng)有限責(zé)任公司清遠供電局，廣東 清遠 511500；3.廣州市奔流電力科技有限公司，廣東 廣州510635)

近年來，隨著電力建設(shè)的不斷發(fā)展，變電站設(shè)備的修理改造工程量日益增加[1]，施工作業(yè)現(xiàn)場區(qū)域作業(yè)人員多，持續(xù)作業(yè)時間長，容易出現(xiàn)現(xiàn)場作業(yè)人員不按要求佩戴安全帽、穿戴個人防護用品等典型違章現(xiàn)象[2]。安監(jiān)人員現(xiàn)場監(jiān)督單純依靠人力進行著裝監(jiān)管，工作量大，易出現(xiàn)監(jiān)管注意力不集中等人為因素失誤[4]，該類違章行為占比較高，給安全生產(chǎn)造成巨大的人身安全隱患[3]?，F(xiàn)有的著裝安全監(jiān)察無法全面暴露和防止該類典型違章現(xiàn)象，因此研發(fā)智能視頻監(jiān)控系統(tǒng)[5-6]來輔助進行著裝分析和安全監(jiān)察非常必要，該系統(tǒng)可通過圖像識別技術(shù)對現(xiàn)場著裝違章行為進行實時報警，顯著提升安全監(jiān)管效率[7]，減少對安監(jiān)人員高注意力的依賴[8]，同時還能大大降低作業(yè)現(xiàn)場的安全風(fēng)險[9]，提升電網(wǎng)企業(yè)的社會效益。

目前針對圖像識別模型[10-12]的研究已成為計算機視覺領(lǐng)域的一大研究熱點，著裝識別是其中的重要應(yīng)用分支，主要有2類模型：以特征工程為基礎(chǔ)的淺層機器學(xué)習(xí)模型和以特征學(xué)習(xí)為基礎(chǔ)的深度學(xué)習(xí)模型[13]。文獻[14]提出采用基于方向梯度直方圖(histogram of oriented gradient, HOG)特征和線性支持向量機(support vector machine，SVG)分類器對變電站內(nèi)站立式行人目標(biāo)和桿上作業(yè)人員進行目標(biāo)識別，并采用色調(diào)、飽和度、明度(hue， saturation， value，HSV)色彩顏色模型來判斷作業(yè)人員是否按標(biāo)準(zhǔn)著裝；文獻[15]提出將顏色描述特征和形狀描述特征相結(jié)合的著裝識別算法，仿真表明該算法能夠滿足在正常光照條件下進行人物著裝識別的要求。但是，在室外作業(yè)地點強光照、設(shè)備遮擋、陰影等因素的影響下，現(xiàn)有的作業(yè)人員著裝識別算法的泛化能力較差[16]，具有識別精度不夠高[17]、漏警率偏高[18]等缺點，從而導(dǎo)致基于現(xiàn)有識別算法所開發(fā)的智能監(jiān)測系統(tǒng)尚不能廣泛應(yīng)用于實際作業(yè)現(xiàn)場中。

鑒于此，本文提出了基于樣本Q鄰域敏感度的徑向基神經(jīng)網(wǎng)絡(luò)(radial basis function neural network，RBFNN)的變電作業(yè)人員著裝圖像識別算法。該算法一方面通過對作業(yè)人員著裝圖像進行結(jié)構(gòu)劃分以增加RBFNN輸入特征向量的維數(shù)；另一方面通過蒙特卡洛模擬法在樣本Q鄰域內(nèi)進行隨機采樣，以擴充訓(xùn)練樣本的數(shù)量，并降低分類器輸出的波動性。實驗表明，基于該算法所訓(xùn)練出來的著裝分類器能夠滿足戶外復(fù)雜作業(yè)環(huán)境下的識別精度要求，在作業(yè)現(xiàn)場應(yīng)用中具有更強的魯棒適應(yīng)性。

1 作業(yè)人員著裝圖像特征提取

1.1 HOG特征

HOG特征是一種在計算機視覺和圖像處理中用來進行物體檢測的特征描述算子[19]，其核心思想是所檢測局部物體的外形能夠被光強梯度或邊緣方向的分布所描述。HOG特征的計算步驟具體如下。

a)輸入從監(jiān)控視頻圖像幀中檢測到的作業(yè)人員著裝圖像，并對其進行背景消除。

b)梯度計算：對輸入圖像進行濾波，濾波核為[-1 0 -1]和[-1 0 -1]T，分別計算圖像在水平和垂直2個方向上的梯度，進而計算每個像素p的梯度幅值‖I(p)‖和梯度方向Θ(p)，如式(1)和式(2)所示。

‖

(1)

(2)

式中：vh和vv分別表示在濾波后得到的梯度水平分量和垂直分量；Θ(p)為值域0°～180°的無符號實數(shù)。

c)將輸入圖像劃分為大小相同的小塊，并將若干個小塊合成1個中塊。

d)方向通道選取：將Θ(p)的值域，平均分成a個通道。

e)直方圖獲取：統(tǒng)計每個小塊中每個像素的HOG，直方圖的橫坐標(biāo)為選取的a個方向通道，縱坐標(biāo)為屬于某個方向通道的像素梯度幅值的累加和，最終得到1組向量。

f)歸一化處理：以向量對應(yīng)像素所在的中塊為單位，對向量進行歸一化處理。

g)形成HOG特征：將上面處理過的所有向量連接起來，形成1組向量，即為HOG特征。

1.2 顏色直方圖特征

顏色直方圖(histogram of color，HOC)特征是一種全局顏色特征描述算子[20]，它所描述的是不同色彩在整幅圖像中所占的比例，而并不關(guān)心每種色彩所處的空間位置，即不描述圖像中的對象或物體。由于變電作業(yè)人員在著裝顏色方面的嚴(yán)格要求，使得顏色直方圖特征在反映人物圖像是否按規(guī)定顏色的衣服進行著裝方面具有明顯的優(yōu)勢。

本文首先將輸入的人物圖像變換到HSV顏色空間中，然后將圖像中各像素點的色調(diào)和飽和度的值分別均勻劃分為b個通道，兩兩組合共有b2種通道組合，按照生成歸一化HOG的方法，生成歸一化后的HOC特征。

1.3 結(jié)構(gòu)化特征提取

變電站作業(yè)人員的著裝要求嚴(yán)格且統(tǒng)一，經(jīng)調(diào)查發(fā)現(xiàn)，作業(yè)人員必須佩帶藍色安全帽和款式相同的藍色上衣和下衣。考慮到作業(yè)人員的頭盔、上衣和下衣這3部分之間的形狀特征各不相同，且部分與部分之間差異較大，頭盔和衣服之間的顏色差異也較大，因此對這3部分的結(jié)構(gòu)分開進行特征提取，以提高分類器在著裝圖像被部分遮擋情況下的識別魯棒性。

本文首先根據(jù)變電作業(yè)人員工作帽和工作服的結(jié)構(gòu)設(shè)計原理，總結(jié)得到頭盔、上衣和下衣3個單元占作業(yè)人員著裝整體圖像的比例；然后對人員著裝整體圖像按該比例分為頭盔、上衣和下衣3個單元格，分別記為(C1，C2，C3)；最后分別對3個單元格提取各自的HOG和HOC特征為(Shog1，Shog2，Shog3，Shoc1，Shoc2，Shoc3)，并將該特征向量記為S-HOG+HOC特征向量SHOG+HOC。

2 作業(yè)人員著裝圖像特征提取

2.1 徑向基神經(jīng)網(wǎng)絡(luò)模型

RBFNN是一種3層的前向神經(jīng)網(wǎng)絡(luò)模型[21]，第1層為輸入層，其神經(jīng)元數(shù)由樣本特征向量的維數(shù)確定；第2層為隱含層，隱含層單元的神經(jīng)元數(shù)由所描述的問題而定，其變換函數(shù)是對中心點徑向?qū)ΨQ且衰弱的非負非線性函數(shù)，即為徑向基函數(shù)(RBF)；第3層為輸出層，是對輸入數(shù)據(jù)源的響應(yīng)結(jié)果，其神經(jīng)元數(shù)由樣本輸出標(biāo)記的編碼方式?jīng)Q定。RBFNN的結(jié)構(gòu)如圖1所示，其基本思想是：以RBF作為隱含層單元的“基”，構(gòu)成隱層空間的基底，通過對輸入矢量進行映射變換，將低維的模式輸入數(shù)據(jù)轉(zhuǎn)換到高維空間內(nèi)，使得在低維空間內(nèi)線性不可分的問題在高維空間內(nèi)線性可分。

圖1 RBF神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.1 Architecture of RBFNN model

設(shè)RBFNN的訓(xùn)練樣本數(shù)量為N，每個訓(xùn)練樣本的特征向量為n維，故訓(xùn)練樣本可表示為(X,Y)，其中輸入向量X=(X1,X2,…,XN)，期望輸出向量Y=(Y1,Y2,…,YN)，而第i個訓(xùn)練樣本的輸入特征向量和期望輸出向量分別為Xi=(Xi1,Xi2,…,Xin)T，Yi=(Yi1,Yi2,…,Yim)T，1≤i≤N，m為分類類別數(shù)，w為隱含層節(jié)點與輸出層之間的網(wǎng)絡(luò)連接權(quán)重向量。當(dāng)隱含層的RBF為高斯函數(shù)時，則隱含層第j個節(jié)點的輸出

Gj(Xi,Cj,σj)=

(3)

式中：Cj=(cj1,cj2,…,cjn)T為隱含層第j個節(jié)點高斯函數(shù)的中心；σj為隱含層第j個節(jié)點高斯函數(shù)的寬度；h為隱含層的節(jié)點數(shù)。

由圖1可知，輸入層實現(xiàn)從X→G(X,C,σ)的非線性映射，而輸出層實現(xiàn)從G(X,C,σ)到Y(jié)的線性映射，網(wǎng)絡(luò)模型的預(yù)測輸出可表示為

(4)

式中wj為隱含層第j個節(jié)點與輸出層之間的網(wǎng)絡(luò)連接權(quán)重向量(對于單輸出的神經(jīng)網(wǎng)絡(luò)，wj是一個標(biāo)量)。

本文采用高斯牛頓法[22]對網(wǎng)絡(luò)輸出權(quán)值進行訓(xùn)練，目標(biāo)是使訓(xùn)練樣本總誤差E達到最小，即損失函數(shù)最?。?/p>

(5)

2.2 Q鄰域敏感度

敏感度是指當(dāng)訓(xùn)練樣本的輸入存在微小改變時，引起分類器模型輸出的變動程度[23]。從數(shù)學(xué)角度理解，敏感度衡量的是給定訓(xùn)練樣本與其鄰域范圍內(nèi)的其他樣本這兩者對分類器輸出引起的差異。在整個數(shù)據(jù)特征空間T中，圖2給出了鄰域的概念，其中點代表一類數(shù)據(jù)，環(huán)代表另一類數(shù)據(jù)；每個樣本的鄰域用深色正方形標(biāo)注。由于假設(shè)樣本中每個特征的最大移動距離是q，故鄰域也稱為Q鄰域。

圖2 Q鄰域示意圖Fig.2 Schematic diagram of Q-neighborhood

由于在特征空間中訓(xùn)練樣本鄰域內(nèi)的其他樣本無法被窮舉，因此Q鄰域內(nèi)樣本的敏感度無法被直接計算，只能使用數(shù)值計算方法進行模擬，以逼近Q鄰域。本文采用蒙特卡洛模擬法，隨機采樣輸入訓(xùn)練樣本鄰域中的點，并定義第i個訓(xùn)練樣本的Q鄰域敏感度si為該訓(xùn)練樣本的預(yù)測輸出與其鄰域內(nèi)其他樣本預(yù)測輸出之間歐式距離的期望值，計算公式如下：

si=E[‖f(Xi)-f(Xi+Δxi)‖2] .

(6)

其中Δxi為第i個訓(xùn)練樣本在其鄰域范圍內(nèi)的波動，且滿足-q≤‖Δxi‖≤q。

考慮到變電作業(yè)人員一般在戶外工作，戶外每天的光照情況不同，導(dǎo)致作業(yè)人員著裝圖像的顏色會有一定變化，因此本文在原始著裝圖像訓(xùn)練樣本的基礎(chǔ)上，添加一定的紋理和顏色特征的隨機波動。假設(shè)在訓(xùn)練樣本鄰域中的數(shù)據(jù)點與原始訓(xùn)練樣本的差異遵循均值為0、標(biāo)準(zhǔn)差為q的高斯分布[24]，即Δxi～N(0,q2)。根據(jù)高斯分布對訓(xùn)練樣本隨機加入擾動，在原始樣本鄰域中采樣多個點，分別計算分類器輸出的波動，并對所有波動取平均值，得到敏感度

(7)

基于此，本文提出在對RBFNN進行權(quán)值訓(xùn)練的模型學(xué)習(xí)中，同時考慮最小化樣本的Q鄰域敏感度，學(xué)習(xí)訓(xùn)練的目標(biāo)函數(shù)改進為

(8)

式中：γ為平衡樣本Q鄰域敏感度與訓(xùn)練樣本分類誤差的超參數(shù)；‖Yi-f(Xi)‖2為訓(xùn)練樣本分類誤差項。為此，本文將上述在對RBFNN進行訓(xùn)練學(xué)習(xí)時考慮樣本Q鄰域敏感度的模型定義為敏感度RBFNN(S-RBFNN)模型。

2.3 著裝識別算法流程

可以從幾何學(xué)的角度來解釋Q鄰域敏感度算法的有效性和魯棒性，為了便于可視化觀察，以二維數(shù)據(jù)為例來說明和分析本文所提的Q鄰域敏感度對決策平面的影響，如圖3所示。同樣地，圖3中點代表一類數(shù)據(jù)，環(huán)代表另一類數(shù)據(jù)，假設(shè)2類數(shù)據(jù)分布于樣本空間的不同地方，有較大的間隔，則此時分類器可以有許多滿足準(zhǔn)確率為100%的決策平面，如圖3(a)則給出了其中一種情況，即如虛線所示的一個決策平面，該決策平面的確定只考慮了在訓(xùn)練數(shù)據(jù)上分類誤差；而圖3(b)給出了同時考慮Q鄰域敏感度時所得到的決策平面，如實線所示，該決策平面可以盡可能遠離邊緣樣本，保證了模型的魯棒性。由圖3(c)可知，當(dāng)處在決策面附近的樣本稍微移動一定距離(即樣本出現(xiàn)隨機波動)時，則可能會輕易越過虛線決策平面，被誤分類到另一類數(shù)據(jù)中，但波動的樣本仍然不會越過實線決策面，從而提高了模型的泛化能力。綜上可知，當(dāng)測試數(shù)據(jù)的分布與訓(xùn)練數(shù)據(jù)相近時，2種方法得到的決策平面均能將測試數(shù)據(jù)完好準(zhǔn)確地分類，而考慮Q鄰域敏感度的方法則既能保證較好的分類準(zhǔn)確率，也提升了模型的魯棒性。

圖3 Q鄰域敏感度對決策平面的影響Fig.3 Influence of Q-neighborhood sensitivity on decision-making plane

基于S-RBFNN的變電作業(yè)人員著裝圖像識別算法的設(shè)計方法與流程步驟具體如下。

a)獲取變電作業(yè)人員著裝圖像，按第1.3節(jié)所述結(jié)構(gòu)化特征提取方法提取模型的輸入特征向量SHOG+HOC=(Shog1，Shog2，Shog3，Shoc1，Shoc2，Shoc3)；

b)采用K均值聚類方法求取RBFNN的基函數(shù)中心Cj；

d)根據(jù)第2.2節(jié)所述方法計算各個樣本的敏感度si，據(jù)此建立以式(6)為損失函數(shù)的基于S-RBFNN的變電作業(yè)人員著裝識別分類模型；

e)采用高斯牛頓法迭代求解上述分類模型中隱含層到輸出層的權(quán)值，得到在訓(xùn)練樣本上的S-RBFNN分類器，根據(jù)訓(xùn)練好的分類器對變電站作業(yè)人員進行著裝識別，輸出識別結(jié)果，正確著裝輸出10，非正確著裝輸出01。

3 實驗分析

3.1 評價指標(biāo)

為了評估本文所提的基于S-RBFNN模型的著裝識別算法在變電站實際作業(yè)現(xiàn)場下對正類樣本(正確著裝)和負類樣本(非正確著裝)的識別效果，采用精確度(RA)、漏警率(RMA)和虛警率(RFA)3個指標(biāo)來評價所提算法的識別準(zhǔn)確率。3個指標(biāo)的定義如式(9)：

(9)

式中：P和N分別為測試樣本中正類和負類的樣本個數(shù)；TP為預(yù)測結(jié)果和標(biāo)簽都為正類的數(shù)量；TN為預(yù)測結(jié)果和標(biāo)簽都為負類的數(shù)量；FP為預(yù)測為正類但標(biāo)簽為負類的樣本數(shù)量；FN為預(yù)測為負類但標(biāo)簽為正類的樣本數(shù)量。

3.2 實驗數(shù)據(jù)集與超參數(shù)設(shè)置

3.2.1 實驗數(shù)據(jù)集

數(shù)據(jù)來源主要為真實變電站數(shù)據(jù)和模擬采集數(shù)據(jù)，對于這2種數(shù)據(jù)，訓(xùn)練樣本和測試樣本的劃分比例均為1∶1。

真實變電站數(shù)據(jù)又由2部分組成，其中一部分是在南方某220 kV變電站現(xiàn)場采集所得，另一部分是從網(wǎng)絡(luò)抓取經(jīng)人工篩選的變電站場景數(shù)據(jù)。變電站現(xiàn)場采集數(shù)據(jù)基于移動相機采集獲得，總共收集正負類樣本的有效數(shù)據(jù)60個，網(wǎng)絡(luò)收集的有效數(shù)據(jù)共160個，有效數(shù)據(jù)是指包括作業(yè)人員頭部、上半身和下半身的圖像。因此，真實變電站場景樣本數(shù)據(jù)共220個。

模擬采集數(shù)據(jù)是基于南方某220 kV變電站提供的作業(yè)人員服裝，在非真實作業(yè)環(huán)境下拍攝采集所得的數(shù)據(jù)。這部分?jǐn)?shù)據(jù)環(huán)境單一，著裝顏色和外觀的變化較小，因此用于實驗對比。模擬數(shù)據(jù)也是通過移動相機在高度和角度變化的情況下分別采集所得，最終標(biāo)記的正負類樣本的有效數(shù)據(jù)共1 500個。

3.2.2 超參數(shù)設(shè)置

對于S-RBFNN算法，參數(shù)γ與q都是需要經(jīng)實驗預(yù)先確定的超參數(shù)。首先對γ先后取值0.1、0.5、1和5，對q先后取值0.05、0.1、0.3和0.5，以此分別進行實驗測試并記錄效果。測試發(fā)現(xiàn)，在模擬采集數(shù)據(jù)集中，γ取值為0.1且q取值為0.05時實驗效果最好。而在真實變電站數(shù)據(jù)中，γ取值為1且q取值為0.3時實驗效果最好。為了避免訓(xùn)練時間過長，在采用蒙特卡洛方法估計各樣本點的敏感度時，采樣3個點進行計算，即K=3。

3.3 結(jié)果與分析

采用第3.1節(jié)所提的3個指標(biāo)來評價基于S-RBFNN模型和基于傳統(tǒng)RBFNN模型所設(shè)計的2種算法的識別效果，在模擬采集數(shù)據(jù)集上的著裝識別結(jié)果見表1，而在真實變電站數(shù)據(jù)集上的著裝識別結(jié)果見表2。

表1 模擬采集數(shù)據(jù)集上各算法對作業(yè)人員著裝識別的準(zhǔn)確率Tab.1 Accuracy of each algorithm in recognizing dressing of operators on analog acquisition dataset %

表2 在真實變電站數(shù)據(jù)集上各算法對作業(yè)人員著裝識別的準(zhǔn)確率Tab.2 Accuracy of each algorithm in recognizing dressing of operators on real substation dataset %

由表1可知，在模擬采集數(shù)據(jù)集中2個超參數(shù)γ和q分別為0.1和0.05時，基于S-RBFNN模型所設(shè)計的算法較基于RBFNN模型在識別精確度上的差距小于1%，漏警率略高于基于RBFNN模型所設(shè)計的算法；這是由于基于S-RBFNN模型所設(shè)計的算法在考慮樣本Q鄰域敏感度時會有代價，導(dǎo)致在場景單一的數(shù)據(jù)集上損失了分類誤差。但是，當(dāng)γ和q取值均為0時，即將S-RBFNN模型退化為RBFNN模型時，基于S-RBFNN模型所設(shè)計的算法在RA、RMA和RFA上與基于RBFNN模型所設(shè)計的算法均能達到相同的識別效果，識別精確度較高，漏警率相對較小，且虛警率均為0。綜上可知，本文所提的基于S-RBFNN模型所設(shè)計的算法能通過優(yōu)化γ和q的取值來適應(yīng)識別環(huán)境的復(fù)雜性，在環(huán)境單一的情況下取值為0時識別效果更好。

由表2可知，在真實變電站數(shù)據(jù)集上，基于S-RBFNN模型所設(shè)計的算法較基于RBFNN模型在識別精確度上提升3%以上，表明引入樣本Q鄰域敏感度后的模型在真實變電站復(fù)雜環(huán)境下的整體識別效果較好。另外，基于S-RBFNN模型所設(shè)計的算法較基于RBFNN模型在漏警率上降低5%左右，這說明當(dāng)變電作業(yè)人員的著裝因為新舊、光照差異或拍攝角度不同等原因?qū)е缕渫庥^和顏色存在差異時，基于RBFNN模型所設(shè)計的算法會有更大的概率將非正確著裝識別為正確著裝，從而無法更有效地對作業(yè)現(xiàn)場中的非正確著裝行為發(fā)出警告，違規(guī)漏報的情況更普遍，大大增加了作業(yè)現(xiàn)場的安全隱患。典型錯誤識別案例如圖4(a)—(b)所示，當(dāng)測試人員穿藍色牛仔褲被安全圍欄和圍欄桿局部遮擋時，RBFNN模型由于不容許著裝圖像有遮擋噪點，易發(fā)生漏報情況，而S-RBFNN模型則不會；但是2種模型對蹲下人員的著裝識別都很容易發(fā)生違規(guī)漏報，如圖4(c)所示。

此外，在給定γ和q的條件下，基于S-RBFNN模型所設(shè)計的算法較基于RBFNN模型更能有效降低虛警率，這說明該算法將正確著裝識別為非正確著裝的概率更小，即作業(yè)現(xiàn)場的誤報情況更少發(fā)生。典型案例如圖4(d)—(e)所示，當(dāng)測試人員的工作服褪色較明顯或者光線不足使得工作服顏色加深時，由于RBFNN模型不容許藍色工作服的顏色發(fā)生一定變化，容易發(fā)生誤報，而S-RBFNN模型因適應(yīng)顏色在一定范圍內(nèi)變化而不發(fā)生誤報；但是2種模型在半蹲人員的著裝識別中都較容易發(fā)生誤報情況，如圖4(f)所示。

圖4 典型的錯誤識別圖像Fig.4 Typical misidentified images

綜上可知，在不考慮人員蹲姿著裝圖像的前提下，基于S-RBFNN的模型所設(shè)計的圖像識別算法較基于RBFNN的模型在復(fù)雜變電作業(yè)環(huán)境下具有更強的識別魯棒性。

4 結(jié)束語

本文所提的基于S-RBFNN的變電作業(yè)人員著裝圖像識別算法能通過優(yōu)化超參數(shù)γ和q的取值來適應(yīng)識別環(huán)境的復(fù)雜性，其相比于傳統(tǒng)的基于RBFNN識別算法，在變電站復(fù)雜作業(yè)環(huán)境中不考慮人員蹲姿著裝的前提下具有更強的魯棒性，且識別精度更高，漏警率更低，能夠快速準(zhǔn)確地識別安全帽和防護服穿戴等違章行為，有效提升安全監(jiān)察的工作效率。另外，在人員蹲姿著裝圖像識別的情況下，基于S-RBFNN的模型也有待改進，這是進一步提升著裝識別算法魯棒性的研究重點。