機(jī)器視覺技術(shù)在電力安全監(jiān)控中的應(yīng)用綜述

王劉旺

（國網(wǎng)浙江省電力有限公司電力科學(xué)研究院，杭州 310014）

0 引言

電力系統(tǒng)的突發(fā)故障會給社會生產(chǎn)生活帶來嚴(yán)重影響，造成重大經(jīng)濟(jì)損失，甚至可能給人民的生命和財產(chǎn)安全帶來威脅。確保電力系統(tǒng)安全穩(wěn)定運(yùn)行，本質(zhì)上是確保電力系統(tǒng)發(fā)、變、輸、配、用各環(huán)節(jié)電力設(shè)備的安全穩(wěn)定運(yùn)行，遠(yuǎn)程測量系統(tǒng)和遠(yuǎn)程監(jiān)視系統(tǒng)在其中發(fā)揮了重要作用。

隨著網(wǎng)絡(luò)傳輸技術(shù)的發(fā)展，視頻監(jiān)控的覆蓋面和清晰度不斷提高，其在電網(wǎng)安全監(jiān)控中的應(yīng)用越來越廣泛。目前，電網(wǎng)中視頻監(jiān)控范圍主要包括以下幾方面：一是設(shè)備狀態(tài)，包括架空輸電線路和變電站內(nèi)設(shè)備，輸電線路上主要關(guān)注桿塔、絕緣子、金具、導(dǎo)線等部件的外觀缺陷，變電站設(shè)備主要關(guān)注漏油、外觀破損、過熱等異常狀態(tài)以及斷路器、隔離開關(guān)、信號燈、表計等信息狀態(tài)。二是人員狀態(tài)，主要是對作業(yè)現(xiàn)場人員行為的監(jiān)管，包括人員身份信息、著裝情況以及行為狀態(tài)。三是電網(wǎng)重要區(qū)域環(huán)境狀態(tài)，包括輸電線路區(qū)域和變電站區(qū)域，這部分監(jiān)控目的是安防，關(guān)注線路外力破壞、植被安全距離、山火、導(dǎo)線覆冰厚度、鳥巢和變電站內(nèi)明火、煙霧、異物入侵等異常情況。從監(jiān)控設(shè)備上來看，本質(zhì)上都是可見光或紅外攝像頭，但不同應(yīng)用場景在搭載方式上有所差異，架空輸電線路上主要使用巡線機(jī)器人和無人機(jī)，變電站內(nèi)主要依靠固定式攝像頭、軌道式攝像頭和巡檢機(jī)器人，作業(yè)現(xiàn)場則主要依托臨時架設(shè)的布控球和工作負(fù)責(zé)人所佩戴的作業(yè)記錄儀。

對電網(wǎng)重要場景及對象可采用遠(yuǎn)程監(jiān)控替代人工現(xiàn)場巡檢巡查，但監(jiān)控視頻的處理和利用仍依靠人工，存在工作量大、受主觀影響大、人員易疲勞等問題。隨著電力視覺技術(shù)概念［1］的提出，機(jī)器視覺技術(shù)在電力監(jiān)控視頻智能處理中的實(shí)際應(yīng)用成為可能，識別準(zhǔn)確率和魯棒性在不斷提升。

本文簡要介紹了機(jī)器視覺技術(shù)概念及其在電力場景中常用的關(guān)鍵技術(shù)；從輸變電設(shè)備狀態(tài)檢測、電網(wǎng)重要區(qū)域環(huán)境狀態(tài)監(jiān)測、電力作業(yè)現(xiàn)場人員狀態(tài)判別3個方面分別闡述了機(jī)器視覺技術(shù)的應(yīng)用研究進(jìn)展；在此基礎(chǔ)上，對機(jī)器視覺技術(shù)在電力安全監(jiān)控領(lǐng)域落地應(yīng)用所面臨的問題進(jìn)行了分析討論。

1 機(jī)器視覺技術(shù)概述

視覺是人類強(qiáng)大的感知方式，也是人類獲取外界信息的最主要方式。顧名思義，機(jī)器視覺就是指利用機(jī)器模擬人的視覺對事物進(jìn)行度量和描述的技術(shù)，包括借助于硬件實(shí)現(xiàn)的表征度量和基于軟件實(shí)現(xiàn)的信息描述兩方面，但關(guān)鍵是對信息的描述，因此，目前機(jī)器視覺技術(shù)的發(fā)展多集中于算法軟件層面，其主要任務(wù)聚焦在目標(biāo)檢測、目標(biāo)分割和目標(biāo)跟蹤3個方面。

1.1 目標(biāo)檢測

目標(biāo)檢測的任務(wù)是從圖像中檢測某一類或某幾類受關(guān)注的語義對象的實(shí)例目標(biāo)，獲取該實(shí)例的類別信息和在圖像中的位置信息。在深度學(xué)習(xí)出現(xiàn)之前，傳統(tǒng)的目標(biāo)檢測通常包括區(qū)域選取、特征提取和特征分類3個階段，將目標(biāo)檢測問題轉(zhuǎn)化為感興趣區(qū)域的圖像分類問題?；谏疃葘W(xué)習(xí)的目標(biāo)檢測方法提升了傳統(tǒng)算法中的區(qū)域選取效率，替代了手工特征提取步驟，優(yōu)化了特征分類準(zhǔn)確性，成為目前主流方法?；谏疃葘W(xué)習(xí)的目標(biāo)檢測可以分為單階段檢測和兩階段檢測兩類方法。單階段檢測方法是直接回歸得到目標(biāo)位置，代表性算法有YOLO［2］、SSD［3］等。兩階段檢測方法是在生成的候選框上進(jìn)行回歸得到目標(biāo)位置，代表性算法有Fast R-CNN［4］、Faster R-CNN［5］等。

1.2 目標(biāo)分割

目標(biāo)分割需要確定圖像中物體的邊界，具體做法是對圖像中歸屬同一個物體的所有像素添加同一標(biāo)簽，在視覺上呈現(xiàn)分割效果。目標(biāo)分割分為語義分割和實(shí)例分割，前者只要求在類別上進(jìn)行分割，而后者需要精確到個體。傳統(tǒng)的目標(biāo)分割主要分為基于像素相似性和基于像素鄰域關(guān)系兩種，代表算法分別是閾值分割［6］、K-means 分割［7］和區(qū)域生長［8］、分水嶺［9］。相較于傳統(tǒng)方法，基于深度學(xué)習(xí)的目標(biāo)分割方法在準(zhǔn)確率上得到極大提升，主要有Mask R-CNN［10］、DeepLab［11］等。

1.3 目標(biāo)跟蹤

目標(biāo)跟蹤的目的是確定一段視頻序列中某一個或多個目標(biāo)的大小和位置并將目標(biāo)關(guān)聯(lián)起來，形成目標(biāo)在視頻序列中的運(yùn)動軌跡。根據(jù)建模方式不同，目標(biāo)跟蹤算法分為生成模型和判別模型。生成模型提取目標(biāo)特征構(gòu)建表現(xiàn)模型，在圖像中搜索與模型最匹配的區(qū)域作為跟蹤結(jié)果，如Mean-shift［12］、卡爾曼濾波［13］等。判別模型將目標(biāo)跟蹤轉(zhuǎn)化為二分類問題，將目標(biāo)和背景看成兩個類別進(jìn)行特征提取和分類，如相關(guān)濾波［14］、深度學(xué)習(xí)等。生成模型僅對目標(biāo)建模，忽略了背景信息，魯棒性不如判別模型。

2 機(jī)器視覺技術(shù)在電力安全監(jiān)控中的應(yīng)用

深度學(xué)習(xí)的發(fā)展使得機(jī)器視覺技術(shù)的準(zhǔn)確性和魯棒性大幅提升，其在電力安全監(jiān)控中的應(yīng)用研究越來越受關(guān)注，輸變電設(shè)備狀態(tài)監(jiān)控、人員狀態(tài)監(jiān)控和重要區(qū)域環(huán)境狀態(tài)監(jiān)控的智能化水平不斷提升。

2.1 輸變電設(shè)備狀態(tài)監(jiān)控

輸電設(shè)備和變電設(shè)備在所處地理位置、環(huán)境及監(jiān)控方式等方面都存在較大差異，因此監(jiān)控重點(diǎn)有所不同。

2.1.1 輸電線路狀態(tài)檢測

架空輸電線路由桿塔、絕緣子、金具、導(dǎo)線等部件構(gòu)成，具有分布點(diǎn)多面廣、長期暴露于自然環(huán)境中、地理位置偏僻復(fù)雜等特點(diǎn)，因此主要借助無人機(jī)、直升機(jī)、巡線機(jī)器人等設(shè)備搭載攝像頭進(jìn)行移動式監(jiān)控，目前無人機(jī)巡線已經(jīng)成為我國架空輸電線路巡檢的主要手段。

表1給出了輸電線路中常見的部件缺陷，下文分別介紹各部件的缺陷檢測研究進(jìn)展。

表1 輸電線路常見缺陷

1）桿塔是輸電線路中尺度最大的部件，針對桿塔的檢測目的是發(fā)現(xiàn)倒桿、斷桿，排除桿塔傾斜、塔材彎曲、銹蝕等桿塔異常情況，同時定位桿塔上尺度更小的部件，進(jìn)行更小尺度上的缺陷檢測。傳統(tǒng)方法主要通過模板匹配、邊緣檢測等方法對桿塔進(jìn)行檢測。文獻(xiàn)［15］采用LSD 方法檢測并提取圖像中的直線段特征，與預(yù)先建立的桿塔三維模型的投影進(jìn)行匹配，從而實(shí)現(xiàn)桿塔檢測。文獻(xiàn)［16］在線段特征基礎(chǔ)上進(jìn)行桿塔主輪廓提取并計算中軸，根據(jù)中軸和地面法線的夾角來判斷傾斜程度。傳統(tǒng)方法過于依賴人工設(shè)計特征，局限性很大，僅適用于特定條件下。引入機(jī)器學(xué)習(xí)技術(shù)后，涌現(xiàn)出更多桿塔特征提取和模式識別方法，包括HOG 特征法［17］、Harris 角點(diǎn)檢測法［18］、支持向量機(jī)、極限學(xué)習(xí)機(jī)等。近期，基于深度學(xué)習(xí)的目標(biāo)檢測方法被用于桿塔檢測，包括Faster-RCNN［19-20］、YOLOv3［21-22］等常見目標(biāo)檢測模型。在相同的檢測速度下，YOLOv3 的平均準(zhǔn)確率比Faster R-CNN更高，而且更適用于無人機(jī)巡檢的應(yīng)用場景。

2）絕緣子是輸電線路上的電氣絕緣和機(jī)械固定元件，主要材質(zhì)是陶瓷、玻璃或其他復(fù)合材料，易發(fā)生自爆、掉串、破損、臟污等異常。絕緣子尺度適中，較易被檢測出，異常狀態(tài)是在本體檢測基礎(chǔ)上進(jìn)一步判別，存在難點(diǎn)。傳統(tǒng)方法基于絕緣子的外觀和色差，主要有模板匹配法［23-24］、特征識別法［25］、圖像分割法［26］、輪廓提取法［27］等，然而絕緣子所處背景復(fù)雜，存在桿塔和線路等其他目標(biāo)，極大影響了傳統(tǒng)方法的適用性。近年來基于深度學(xué)習(xí)的目標(biāo)檢測模型層出不窮，主要以YOLO［28-30］、Faster-RCNN［31-32］等熱門模型為主，其研究重點(diǎn)均是對原模型進(jìn)行改造以提高檢測準(zhǔn)確率。由于缺乏異常樣本，同時深度方法對樣本量要求較高，樣本不平衡問題也成為研究的關(guān)注點(diǎn)，解決思路分為擴(kuò)充樣本和改進(jìn)算法兩種。擴(kuò)充樣本包括圖像增強(qiáng)方式［33］、3D建模方式［34］和基于生成對抗網(wǎng)絡(luò)的方式［35-36］。改進(jìn)算法一般從遷移學(xué)習(xí)［37］、代價敏感學(xué)習(xí)［38］和集成學(xué)習(xí)等方面考慮。

3）金具作為輸電線路中支撐、連接、固定和防護(hù)其他部件的金屬附件，其種類和尺寸各異，分布廣泛，存在的缺陷也各不相同，屬于小目標(biāo)檢測問題。在本體及缺陷檢測方法上同樣有早期的傳統(tǒng)機(jī)器學(xué)習(xí)方法和近期的深度學(xué)習(xí)方法，前者需要針對每一種金具類型及其缺陷種類進(jìn)行人工特征設(shè)計及提取，工作量大且適用性差；后者雖然在特征提取方面具備很大優(yōu)勢，同時具備多目標(biāo)檢測功能，但需要大量缺陷樣本支撐，其樣本標(biāo)注工作量也較大。文獻(xiàn)［15］采用生成對抗網(wǎng)絡(luò)豐富樣本集，利用Faster-RCNN 檢測缺銷釘、脫銷、缺墊片和銷釘未開口等缺陷。文獻(xiàn)［39］提出了一種基于改進(jìn)Cascade R-CNN 的典型金具檢測方法，涉及線夾、掛環(huán)等10 種金具本體和均壓環(huán)損壞、防震錘交叉2種缺陷檢測。金具及其缺陷檢測所應(yīng)用的模型主要包括Faster R-CNN［40-41］、YOLO［42］和SSD［43-44］。

4）導(dǎo)線承擔(dān)傳輸電能的任務(wù)，然而針對導(dǎo)線的檢測研究并不多，大多采用的是圖像處理方法。文獻(xiàn)［45］采用自適應(yīng)Canny 邊緣檢測實(shí)現(xiàn)導(dǎo)線提取。文獻(xiàn)［46］利用加權(quán)色差法、最大類間方差法以及形態(tài)學(xué)濾波實(shí)現(xiàn)導(dǎo)線分割，并設(shè)計提取紋理特征用于缺陷狀態(tài)識別。文獻(xiàn)［47］基于DeepLab v3+模型初步識別導(dǎo)線。導(dǎo)線斷股在配電網(wǎng)中出現(xiàn)得較多，文獻(xiàn)［48］通過LSD 和形變物體檢測算法進(jìn)行導(dǎo)線斷股檢測。文獻(xiàn)［49］采用FCN 網(wǎng)絡(luò)進(jìn)行導(dǎo)線分割，并設(shè)計圖像特征進(jìn)行斷股檢測。

2.1.2 變電設(shè)備狀態(tài)檢測

變電設(shè)備主要包括變壓器、斷路器、隔離開關(guān)、儀表設(shè)備、電壓互感器、電流互感器、避雷器等，其狀態(tài)估計主要依靠帶電檢測和在線監(jiān)測等手段，而變電設(shè)備的視頻監(jiān)控主要關(guān)注可視化的缺陷和開關(guān)表計等指示狀態(tài)。表2給出了變電設(shè)備監(jiān)控重點(diǎn)。

表2 變電設(shè)備監(jiān)控重點(diǎn)

發(fā)熱是變電設(shè)備最受關(guān)注的嚴(yán)重缺陷，進(jìn)一步可發(fā)展為更嚴(yán)重的設(shè)備故障，因此，對設(shè)備敏感區(qū)域進(jìn)行溫度監(jiān)測顯得格外重要。紅外熱成像一直以來都是設(shè)備測溫應(yīng)用最廣泛且最有效的手段，基于紅外圖像的設(shè)備發(fā)熱故障診斷一直是研究熱點(diǎn)。發(fā)熱診斷的任務(wù)是確定發(fā)熱位置和發(fā)熱嚴(yán)重程度，涉及到定位和分類，和目標(biāo)檢測任務(wù)契合。因此，目前主流的方法都是基于目標(biāo)檢測技術(shù)，采用的模型主要是Faster R-CNN［50-52］和YOLO［53-55］。然而僅是對設(shè)備本體或異常發(fā)熱區(qū)域進(jìn)行目標(biāo)檢測，發(fā)熱性質(zhì)、重要程度及溫度值都需要借助圖像處理技術(shù)進(jìn)一步分析。通過目標(biāo)分割方法也能定位發(fā)熱區(qū)域，常用的模型包括Mask R-CNN［56］、DeepLabv3+［57］等。目標(biāo)分割提取的區(qū)域是像素級別的，比目標(biāo)檢測的邊界框更精細(xì)。

由于變電設(shè)備大多在變電站內(nèi)，自然環(huán)境優(yōu)于輸電線路，因此，變電設(shè)備在外觀破損和元件缺失方面的檢測需求低于輸電線路，而對銹蝕和漏油關(guān)注更多。文獻(xiàn)［58］首先采用SSD 算法檢測變壓器目標(biāo)，然后用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行銹蝕和漏油的判別。文獻(xiàn)［59］使用輕量化的mobilenet-SSD模型進(jìn)行充油設(shè)備的油液滲漏識別，提升了計算效率。文獻(xiàn)［60］提出一種直方圖均衡化的樣本增強(qiáng)方法，在此基礎(chǔ)上采用循環(huán)訓(xùn)練RetinaNet 模型的方法提高陰影與漏油的識別度。

變電站中存在大量的指示類狀態(tài)信息，包括斷路器/隔離開關(guān)的分合狀態(tài)、數(shù)字型和指針型表計的讀數(shù)、信號燈狀態(tài)、壓板位置等幾大類。

組合電器式隔離開關(guān)分合狀態(tài)用“分”“合”兩個漢字牌來表示，是機(jī)器視覺識別的對象，在圖像清晰的前提下通過識別漢字和底色能輕易判別。而隔離開關(guān)的分合狀態(tài)則是由開關(guān)臂的位置及是否連通來判斷，易受拍攝角度和背景影響。主要方法包括模板匹配［61］、機(jī)器學(xué)習(xí)［62-63］方法，兩者都需要針對分合兩種狀態(tài)下的隔離開關(guān)圖像人工構(gòu)造特征，針對性強(qiáng)，通用性不足。文獻(xiàn)［61］采用差分算法和OTSU 二值化算法提取隔離開關(guān)的三相觸頭輪廓，通過當(dāng)前狀態(tài)和標(biāo)準(zhǔn)合閘的輪廓面積比對實(shí)現(xiàn)分合狀態(tài)判別。文獻(xiàn)［63］在區(qū)域分割的基礎(chǔ)上，針對合閘、分閘不到位、分閘到位3種狀態(tài)提取了投影長度之比作為特征。而目標(biāo)檢測和目標(biāo)分割方法僅是對刀閘及區(qū)域的識別［64］，分合狀態(tài)依然是靠圖像處理設(shè)計特征來判斷。

儀表分為數(shù)字型和指針型兩種顯示方式，儀表讀數(shù)并非電力場景獨(dú)有，水表、氣表等計量表均有遠(yuǎn)程智能抄表的需求。數(shù)字表的識別本質(zhì)上是對數(shù)字的識別，但需要考慮字輪式儀表中出現(xiàn)的雙半字符情況，采用深度學(xué)習(xí)方法能達(dá)到99%的準(zhǔn)確率［65］。指針表的讀數(shù)識別方法主要分為基于儀表指針檢測［66-68］和基于圖像特征映射兩類［69］。前者步驟較多，依次為表盤目標(biāo)檢測、表盤校準(zhǔn)、指針提取、讀數(shù)識別，受影響因素較多，各環(huán)節(jié)均易產(chǎn)生誤差。后者直接訓(xùn)練從圖像特征到讀數(shù)的映射模型，通過回歸得到讀數(shù)，簡化了流程，但方法準(zhǔn)確性取決于圖像特征的質(zhì)量。文獻(xiàn)［66-68］屬于儀表指針檢測類方法，區(qū)別在于各環(huán)節(jié)所使用的算法，在表盤指針區(qū)域檢測方面，F(xiàn)aster-RCNN 和YOLO 等深度模型是主流方法，指針提取有OSTU 閾值分割、霍夫變換、U-Net 分割等方法，讀數(shù)計算主要有角度法和距離法兩種。圖像特征映射類方法較少，文獻(xiàn)［69］采用融合了卷積注意力機(jī)制的雙路異構(gòu)卷積神經(jīng)網(wǎng)絡(luò)提取儀表圖像特征，將指針讀數(shù)識別轉(zhuǎn)化為識別指針區(qū)間分布的分類問題。變電站內(nèi)儀表種類繁多、監(jiān)控圖像質(zhì)量低，因此算法的魯棒性和適用性是工程應(yīng)用的關(guān)鍵。

保護(hù)壓板投退狀態(tài)的校核是一項(xiàng)重要巡檢工作，它關(guān)系到保護(hù)系統(tǒng)能否正確動作。目前，基于視頻監(jiān)控的智能校核方法主要包括數(shù)字圖像處理［70-72］、機(jī)器學(xué)習(xí)特征識別［73］、深度學(xué)習(xí)［74-78］3類。前兩類方法的關(guān)鍵是檢測并分割目標(biāo)壓板區(qū)域和構(gòu)造反映壓板不同狀態(tài)的圖像特征。在特征構(gòu)造上均是圍繞“投”“退”兩種狀態(tài)下的壓板形態(tài)進(jìn)行設(shè)計，包括方向、面積、尺寸、形狀等，可解釋性強(qiáng)。文獻(xiàn)［70］融合多閾值和K均值聚類分割壓板區(qū)域，提取方向角和寬長比作為判別特征。文獻(xiàn)［78］采用改進(jìn)后的雙線性卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了壓板狀態(tài)端到端的識別，省去了人工設(shè)計特征的環(huán)節(jié)，但是可解釋性弱。

2.2 人員狀態(tài)監(jiān)控

雖然電力場景中的很多巡視類工作已通過視頻監(jiān)控完成，但大部分電力作業(yè)還是依靠人工，管住人員是管住作業(yè)現(xiàn)場安全的關(guān)鍵。傳統(tǒng)的電力作業(yè)現(xiàn)場安全監(jiān)督主要依靠現(xiàn)場作業(yè)負(fù)責(zé)人和作業(yè)稽查人員，無法實(shí)現(xiàn)全程監(jiān)督，尤其是對瞬時和短時違章行為監(jiān)督力度不夠。

近年來，以智能安全帽、布控球、電子圍欄等為主的數(shù)字化安全管控智能終端逐漸推廣應(yīng)用，使得移動式的作業(yè)現(xiàn)場納入視頻監(jiān)控，對違章行為的智能識別需求不斷增強(qiáng)。

從作業(yè)人員行為狀態(tài)的識別方法角度，可以將人員狀態(tài)分為靜態(tài)和動態(tài)兩種，區(qū)別在于能否采用單幀圖像進(jìn)行判別。表3列出了作業(yè)人員典型違章行為。

表3 作業(yè)人員典型違章行為

2.2.1 人員靜態(tài)判別

人員靜態(tài)狀態(tài)可利用單幀圖像完成判別，主要包括人員的身份狀態(tài)、著裝狀態(tài)以及抽煙、倒地、打手機(jī)、梯上作業(yè)無人扶梯、登高作業(yè)無人監(jiān)護(hù)等狀態(tài)類違章行為。

作業(yè)人員的身份識別是人員資質(zhì)校核、外來人員闖入、違章行為綁定等相關(guān)后續(xù)功能的基礎(chǔ)。由于作業(yè)人員著裝統(tǒng)一，開工前的人臉主動識別和工作中的人臉抓拍識別是目前最主要的手段。

規(guī)范著裝是電力作業(yè)人員的基礎(chǔ)要求，具體著裝包括安全帽、工作服、馬甲、絕緣鞋/靴、絕緣手套、安全帶、護(hù)目鏡等穿戴類用品。安全著裝的視覺特征明顯，其中基于目標(biāo)檢測方法的安全帽佩戴的識別精度已滿足工程應(yīng)用需求［79-81］。而工作服、馬甲、絕緣鞋/靴、絕緣手套、安全帶和護(hù)目鏡的智能識別成果并不多，因外觀不統(tǒng)一、種類繁多而給智能識別模型的構(gòu)建增加了難度。著裝檢測方法通常都是在人體目標(biāo)檢測的基礎(chǔ)上對關(guān)注區(qū)域進(jìn)行特征提取和分類。文獻(xiàn)［82］采用深度學(xué)習(xí)檢測人體關(guān)鍵點(diǎn)，以此進(jìn)行區(qū)域定位，然后利用基于注意力機(jī)制的分類模型識別各區(qū)域的著裝情況。文獻(xiàn)［80，83］均在檢測模型的輕量化上進(jìn)行了改進(jìn)。文獻(xiàn)［84］為了提高安全帽、護(hù)目鏡等極低分辨率目標(biāo)的檢測精度，采用稀疏表示模型提高圖像分辨率，并且對SSD 算法的特征提取層進(jìn)行了改進(jìn)。然而，安全帶、絕緣手套、護(hù)目鏡等特種作業(yè)專用工具需要結(jié)合對應(yīng)作業(yè)場景進(jìn)行判斷。文獻(xiàn)［85］在電焊作業(yè)場景下，利用YOLOv3 算法檢測出特定對象后引入交并比構(gòu)造邏輯判斷函數(shù)判斷是否安全作業(yè)。

抽煙、倒地、打手機(jī)等較常見的異常行為［86］和電力作業(yè)場景關(guān)聯(lián)性不大，屬于狀態(tài)類行為，可以采用圖像識別的方式對圖像幀進(jìn)行判別，且樣本較易獲取，其他場景的算法模型可以輕易遷移到電力作業(yè)場景應(yīng)用。

梯上作業(yè)無人扶梯、登高作業(yè)無人監(jiān)護(hù)等與現(xiàn)場作業(yè)相關(guān)聯(lián)的狀態(tài)類違章行為是電力作業(yè)現(xiàn)場監(jiān)控的重點(diǎn)，同時也是難點(diǎn)。此類狀態(tài)類違章行為可以借鑒文獻(xiàn)［85］的思路，從目標(biāo)檢測結(jié)合邏輯判斷的方式進(jìn)行綜合判別，但如何提高魯棒性是挑戰(zhàn)。

2.2.2 人員動態(tài)判別

人員動態(tài)狀態(tài)無法利用單幀圖像進(jìn)行判別，需要在時序圖像或視頻流基礎(chǔ)上進(jìn)行分析識別，主要包括人員跟蹤以及投擲物體、打架、翻越圍欄等動作類違章行為。

大型復(fù)雜作業(yè)場景中作業(yè)人員較多，作業(yè)范圍廣大，對作業(yè)人員進(jìn)行跟蹤對于差異化作業(yè)任務(wù)下的個體安全十分必要。實(shí)現(xiàn)人員跟蹤需要持續(xù)完成人體檢測、人員身份識別、人員實(shí)時定位等多個任務(wù)。目前，針對電力作業(yè)場景的人員跟蹤研究較少，一方面可以借鑒其他場景的人員跟蹤成果，另一方面可以將任務(wù)分解。文獻(xiàn)［87］針對人員身份識別引入了步態(tài)特征作為人臉特征的補(bǔ)充，彌補(bǔ)了人臉難以獲取的應(yīng)用場景。人員實(shí)時定位單純借助視頻監(jiān)控難以實(shí)現(xiàn)，前提需要建立場景坐標(biāo)模型，通過多攝像頭與坐標(biāo)關(guān)聯(lián)映射的方法實(shí)現(xiàn)粗定位，然后通過單視角下的目標(biāo)跟蹤及坐標(biāo)映射實(shí)現(xiàn)精細(xì)定位。這對于變電站等固定場景具有可行性，但對于臨時作業(yè)場景成本太大，不具備實(shí)施條件，基于非視頻的定位方式更合適，如北斗、UWB（超寬帶）。

投擲物體、打架、翻越圍欄等動作類違章行為的智能識別是難點(diǎn)，尤其是電力作業(yè)場景特有的動作，一是因?yàn)闃颖救狈?，二是因?yàn)殡娏ψ鳂I(yè)中的動作包含復(fù)雜的人物交互信息，動作合規(guī)性有嚴(yán)格的定義?？傮w上，電力作業(yè)場景中的動作類違章識別還停留在對打架、投擲物體等較為普遍的動作識別上，具體應(yīng)用尚處在初級起步階段。文獻(xiàn)［88］采用長效遞歸卷積網(wǎng)絡(luò)同時提取視頻幀中的外觀信息和動態(tài)信息，對攀巖施工、進(jìn)入某區(qū)域、開會討論和檢修記錄4 類行為進(jìn)行了識別。文獻(xiàn)［89］與文獻(xiàn)［88］思路類似，構(gòu)建了一種基于雙流卷積神經(jīng)網(wǎng)絡(luò)的電力生產(chǎn)安全動作識別網(wǎng)絡(luò)架構(gòu)，采用兩個卷積網(wǎng)絡(luò)分別從單幀圖像和多幀密集光流中學(xué)習(xí)人體外觀、姿態(tài)等靜態(tài)信息和動態(tài)運(yùn)動信息，并進(jìn)行融合分類。

2.3 重要區(qū)域環(huán)境狀態(tài)監(jiān)控

對于輸電線路和變電站等電網(wǎng)重要設(shè)施來說，除了來自設(shè)備本身和人員的風(fēng)險因素之外，環(huán)境因素也是需要關(guān)注的風(fēng)險源。

2.3.1 輸電線路周界環(huán)境監(jiān)測

輸電線路覆蓋范圍廣，跨越里程量大，所處的自然環(huán)境和社會環(huán)境十分復(fù)雜。線路周界環(huán)境異動會對電力輸送的安全性產(chǎn)生風(fēng)險，可能導(dǎo)致線路故障甚至區(qū)域停電。其中能靠視頻監(jiān)測的較大風(fēng)險包括山火、導(dǎo)線覆冰、植被生長、異物入侵等。

預(yù)防山火主要有3個方面：一是部署傳感器進(jìn)行監(jiān)測，但成本較高，且可靠性不高；二是根據(jù)衛(wèi)星遙感數(shù)據(jù)建立山火風(fēng)險評估模型，對山火進(jìn)行動態(tài)評估和預(yù)警；三是部署固定攝像頭，對山火隱患進(jìn)行實(shí)時監(jiān)控。文獻(xiàn)［90］借助遙感影像，利用隨機(jī)森林模型選取植被類型、綠度指數(shù)、高程、坡度、坡向和月份共6個預(yù)警指標(biāo)預(yù)測山火發(fā)生概率，但山火發(fā)生的影響因素非常復(fù)雜，文章未考慮全面。文獻(xiàn)［91］根據(jù)固定攝像機(jī)的實(shí)時監(jiān)控畫面，通過圖像幀差值的方法檢測異常點(diǎn)進(jìn)而判斷早期山火煙霧。文獻(xiàn)［92］構(gòu)建Mobilenet-SSD 模型并進(jìn)行邊緣部署識別山火，準(zhǔn)確率達(dá)到81%。

覆冰會增加導(dǎo)線自重、產(chǎn)生弧垂、加劇導(dǎo)線舞動，造成斷線、倒塔等嚴(yán)重故障。視覺方法是覆冰厚度監(jiān)測主流手段之一，又分為傳統(tǒng)圖像處理方法和深度學(xué)習(xí)方法。傳統(tǒng)方法通過邊緣檢測技術(shù)提取覆冰后的導(dǎo)線輪廓，與覆冰前進(jìn)行比較得出覆冰厚度［93-95］，對圖像質(zhì)量要求較高。深度學(xué)習(xí)方法目前應(yīng)用還較少，處于探索研究階段。文獻(xiàn)［96］采用卷積神經(jīng)網(wǎng)絡(luò)建立從覆冰圖像到覆冰厚度等級的映射模型，并引入IBP 自調(diào)整機(jī)制進(jìn)行優(yōu)化提升泛化能力。文獻(xiàn)［97］面向邊緣計算需求采用輕量化卷積神經(jīng)網(wǎng)絡(luò)MobileNetV3 提取覆冰圖像特征，并引入多感受野模塊增強(qiáng)特征表達(dá)能力，通過SSD模型實(shí)現(xiàn)特征到覆冰等級的映射，然而邊緣計算裝置在覆冰氣候下的可靠性有待研究。

植被因生長過快接近高壓線路，容易造成線路短路、斷線等故障繼而引發(fā)跳閘、停電，被稱為樹障。植被覆蓋范圍廣，目前普遍依托衛(wèi)星影像［98-99］和航拍圖像［100-101］進(jìn)行樹障監(jiān)測，通過建立模型實(shí)現(xiàn)樹高的檢測和線樹距離的測量。文獻(xiàn)［102］基于掛線運(yùn)行的雙目攝像頭，建立樹木興趣區(qū)域模型，通過可變窗口塊匹配法擬合樹障隱患邊緣，實(shí)現(xiàn)測距。

部分輸電線路臨近城市、村莊等地區(qū)，存在大量異物入侵的風(fēng)險，主要包括大型機(jī)械施工造成的外力破壞和鳥巢、蜂巢、風(fēng)箏、塑料垃圾等懸掛異物造成的線路故障。針對機(jī)械施工的外破預(yù)警不僅要檢測出施工機(jī)械，還需要判斷是否對線路造成風(fēng)險。文獻(xiàn)［103］采用目標(biāo)分割模型Mask R-CNN 替代常用的目標(biāo)檢測模型進(jìn)行施工機(jī)械輪廓分割，提升外破預(yù)警的準(zhǔn)確性。對于懸掛異物，目前的思路分為圖像分類和目標(biāo)檢測兩種。前者對圖像提取特征后進(jìn)行分類識別，提取特征環(huán)節(jié)多采用深度學(xué)習(xí)方法［104-107］。后者直接對出現(xiàn)的異物進(jìn)行目標(biāo)檢測，采用的模型主要有Faster-RCNN［108-109］、SSD［110-111］、YOLO［112-113］，比圖像分類方法更準(zhǔn)確。隨著深度網(wǎng)絡(luò)模型越來越成熟，提升異物入侵檢測智能化水平的關(guān)鍵在于樣本，文獻(xiàn)［108-109，113］分別采用條件生成對抗網(wǎng)絡(luò)和圖像合成擴(kuò)充樣本。

2.3.2 變電站環(huán)境監(jiān)測

變電站屬于半封閉場所，其自然環(huán)境雖沒有輸電線路惡劣，但站內(nèi)設(shè)備的種類和數(shù)量都較多，環(huán)境較為特殊。站內(nèi)環(huán)境監(jiān)測重點(diǎn)包括溫濕度、電磁場、風(fēng)力、氣體成分、異物入侵、煙霧與明火等。其中，溫濕度、電磁場、風(fēng)力及氣體均有相應(yīng)的傳感器，且無法通過視覺方式感知，因此視覺監(jiān)控主要用于站內(nèi)的異物入侵、煙霧和明火的檢測上。

變電站內(nèi)的異物入侵和輸電線路類似，由于變電站半封閉的環(huán)境特性，其異物入侵也較輸電線路少，目前這方面研究成果也不多，但需求并無區(qū)別，輸電線路上所用方法可以直接遷移過來使用。文獻(xiàn)［114］采用改進(jìn)后的Faster-RCNN 模型對變電站內(nèi)的鳥巢和懸掛物等小目標(biāo)異物進(jìn)行檢測。文獻(xiàn)［115］對YOLOv5模型的錨框尺寸和特征提取改進(jìn)后用于鳥巢和風(fēng)飄物檢測，提升了識別率。

變電站內(nèi)設(shè)備眾多，環(huán)境復(fù)雜，易發(fā)生電氣火災(zāi)。目前，煙霧和明火預(yù)警主要還是依靠溫度、煙霧傳感器，存在滯后性。視覺方法實(shí)時性較高，可作為煙霧和火災(zāi)檢測的補(bǔ)充手段，在變電站內(nèi)的應(yīng)用也早有研究。早期的檢測方法是通過數(shù)字圖像處理技術(shù)對煙霧和明火進(jìn)行特征描述和提取，根據(jù)特征參數(shù)識別煙霧和明火。文獻(xiàn)［116］結(jié)合運(yùn)動特征和顏色特征進(jìn)行變電站內(nèi)的煙霧檢測，但未在變電站內(nèi)進(jìn)行應(yīng)用檢驗(yàn)?；谏疃葘W(xué)習(xí)的方法將煙霧和火災(zāi)檢測作為目標(biāo)檢測任務(wù)，從大量樣本中自動學(xué)習(xí)特征，避免了人工設(shè)計特征的局限性，泛化能力更強(qiáng)。文獻(xiàn)［117］采用Mobile-Netv3-Large 網(wǎng)絡(luò)對YOLOv3 模型進(jìn)行改進(jìn)輕量化改進(jìn)，減小了模型大小，提升了檢測效率，便于在無人機(jī)、機(jī)器人等邊緣側(cè)部署。

3 問題分析及相關(guān)建議

前文從輸變電設(shè)備狀態(tài)監(jiān)控、人員狀態(tài)監(jiān)控、重要區(qū)域環(huán)境狀態(tài)監(jiān)控3種應(yīng)用場景，整體分析了機(jī)器視覺技術(shù)在電力安全監(jiān)控中的應(yīng)用研究進(jìn)展，可以看出，現(xiàn)有研究仍存在諸多問題，應(yīng)用水平還有待提高，電力視覺向電力智能視覺演進(jìn)還需時間。

3.1 缺乏統(tǒng)一標(biāo)準(zhǔn)樣本集

算法模型、數(shù)據(jù)樣本和算力資源是影響機(jī)器視覺技術(shù)應(yīng)用落地的3個重要要素，其中，數(shù)據(jù)樣本問題最為突出。無人機(jī)、機(jī)器人、固定攝像頭等監(jiān)控終端及其應(yīng)用系統(tǒng)每天獲取大量的數(shù)據(jù)，但絕大多數(shù)都是正常數(shù)據(jù)，異常狀態(tài)下的成熟樣本成為稀缺資源。由數(shù)據(jù)驅(qū)動的深度學(xué)習(xí)方法對訓(xùn)練樣本的數(shù)量有較高要求，高質(zhì)量統(tǒng)一標(biāo)準(zhǔn)樣本集的缺乏，一方面限制了基于深度學(xué)習(xí)的機(jī)器視覺應(yīng)用，另一方面也制約了電力安全監(jiān)控領(lǐng)域機(jī)器視覺方法的性能評估與對比，間接阻礙了技術(shù)的革新發(fā)展。

通過圖像增強(qiáng)和圖像融合等方法可以實(shí)現(xiàn)樣本的擴(kuò)充，但并未從根本上解決樣本缺乏問題。目前，電網(wǎng)公司正在進(jìn)行樣本庫建設(shè)，試圖從管理層面推動樣本匯集，然而在技術(shù)層面上并未建成一條從數(shù)據(jù)產(chǎn)生、采集、預(yù)處理、標(biāo)注到成熟樣本及樣本利用的完整鏈路。需要依托視頻監(jiān)控系統(tǒng)本身，將識別到的異常情況作為樣本來源，并研發(fā)智能標(biāo)注工具輔助人工標(biāo)注，提升標(biāo)注效率，從而擴(kuò)充樣本，促進(jìn)模型更新，形成良性循環(huán)。

3.2 安全監(jiān)控系統(tǒng)之間存在孤立

現(xiàn)有的安全監(jiān)控系統(tǒng)由于解決的問題存在差異，在電網(wǎng)公司中所屬業(yè)務(wù)部門不同，因此基礎(chǔ)架構(gòu)、系統(tǒng)功能和數(shù)據(jù)接口都不統(tǒng)一。同時，由于安全監(jiān)控需求的碎片化，很多系統(tǒng)自成一體，相互孤立，存在業(yè)務(wù)和數(shù)據(jù)壁壘，甚至所用的監(jiān)控設(shè)備都存在重復(fù)建設(shè)問題。

一方面，需要對輸電線路、變電站等重要區(qū)域的監(jiān)控點(diǎn)進(jìn)行規(guī)劃研究，綜合考慮風(fēng)險因素、建設(shè)成本、基礎(chǔ)條件、環(huán)境因素，對安全監(jiān)控的設(shè)備選型、布點(diǎn)位置進(jìn)行統(tǒng)一規(guī)劃，形成可推廣的標(biāo)準(zhǔn)化建設(shè)模板。

另一方面，需要打通所有安全監(jiān)控系統(tǒng)，建立一套視覺終端運(yùn)行管理系統(tǒng)，不僅實(shí)現(xiàn)重點(diǎn)區(qū)域的全景感知，同時對所有視覺終端的運(yùn)行狀態(tài)進(jìn)行實(shí)時監(jiān)測，對視覺終端所運(yùn)行的算法模型進(jìn)行動態(tài)管理。

3.3 算法的泛化和遷移能力弱

基于深度學(xué)習(xí)的機(jī)器視覺技術(shù)在泛化能力和遷移能力上較傳統(tǒng)方法有了大幅提升，然而場景或需求的變化在一定程度上同樣能影響深度方法的實(shí)際表現(xiàn)，甚至可能導(dǎo)致方法失效。這是由于深度方法對于樣本集的強(qiáng)依賴性使得其在碎片化和專業(yè)化應(yīng)用場景中的泛化能力和遷移能力取決于樣本集的數(shù)量和質(zhì)量。場景或需求的變化最終都會反映到樣本集的變化上，樣本集的變化則直接導(dǎo)致算法需要重新訓(xùn)練甚至重新設(shè)計。

為了提升機(jī)器視覺算法在實(shí)際應(yīng)用中的泛化能力和適配能力，除了提升樣本集數(shù)量和質(zhì)量之外，還需要對算法模型進(jìn)行兩方面優(yōu)化。一方面，在訓(xùn)練方式上進(jìn)行優(yōu)化，采用支持樣本類別和數(shù)量增加的增量學(xué)習(xí)方式，減少模型迭代更新的成本，提高易用性。另一方面，根據(jù)業(yè)務(wù)場景特點(diǎn)，明確深度方法在場景中的用途，同時借鑒傳統(tǒng)的特征構(gòu)造思路，選取物理含義明確的特征，增強(qiáng)算法的整體可解釋性，提升算法的泛化能力。

4 結(jié)語

隨著近年人工智能技術(shù)的突破發(fā)展，機(jī)器視覺技術(shù)也由傳統(tǒng)數(shù)字圖像處理方式轉(zhuǎn)入深度學(xué)習(xí)方式，這對電力安全監(jiān)控領(lǐng)域帶來了顛覆性的影響。智能化視覺系統(tǒng)將成為未來電力系統(tǒng)的眼睛，在保障電網(wǎng)輸變電設(shè)備、作業(yè)人員及重點(diǎn)區(qū)域環(huán)境安全方面發(fā)揮越來越重要的作用。本文綜述了機(jī)器視覺技術(shù)的概念及其在電力安全監(jiān)控領(lǐng)域的典型應(yīng)用場景與研究進(jìn)展，對目前存在的問題進(jìn)行分析并提出了相關(guān)建議。