基于圖像識(shí)別技術(shù)的輸電線路智能監(jiān)控系統(tǒng)應(yīng)用①

徐振磊,曾懿輝,郭 圣,邵校嘉,麥俊佳,胡壯麗

(廣東電網(wǎng)有限責(zé)任公司 佛山供電局,佛山 528000)

隨著社會(huì)經(jīng)濟(jì)的快速發(fā)展,各行各業(yè)對(duì)電力供應(yīng)的質(zhì)量和可靠性提出了更高的要求.由于輸電線路綿延幾十甚至上百公里,所處的環(huán)境具有不確定性,受所處地理環(huán)境和外部因素影響很大,輸電線路運(yùn)行是否安全已成為電網(wǎng)可靠性的重要指標(biāo).室外環(huán)境中的桿塔及導(dǎo)線極易受外力破壞影響,造成線路跳閘、人身傷亡等事故.特別是近年來,各地建筑物的建設(shè)和改造頻繁,由此產(chǎn)生的線路事故逐年增加,傳統(tǒng)的巡視方法無法滿足現(xiàn)有的安全需求.

傳統(tǒng)的輸電線路巡視主要依靠運(yùn)維人員周期性巡視,雖能發(fā)現(xiàn)設(shè)備隱患,在巡視周期真空期也不能及時(shí)掌握線路走廊的現(xiàn)場(chǎng)變化,極易在下一個(gè)巡視未到之前由于缺乏監(jiān)管發(fā)生線路事故.因此,可以對(duì)輸電線路進(jìn)行實(shí)時(shí)監(jiān)控的智能監(jiān)控系統(tǒng)應(yīng)用而生.經(jīng)研究,現(xiàn)有的監(jiān)控系統(tǒng)設(shè)備存在在線率低,持續(xù)監(jiān)控性能差,大量監(jiān)控圖像需耗費(fèi)人工進(jìn)行判別的缺點(diǎn)[1–3].這些問題造成監(jiān)控系統(tǒng)運(yùn)行成本高、消耗后臺(tái)人力資源,制約了輸電線路在線監(jiān)控系統(tǒng)的應(yīng)用和大規(guī)模發(fā)展[4].

本文通過卷積神經(jīng)網(wǎng)絡(luò)算法進(jìn)行模型訓(xùn)練,基于大量現(xiàn)場(chǎng)運(yùn)維數(shù)據(jù),得到一種可靠的輸電線路外部隱患識(shí)別模型.將該模型應(yīng)用在輸電線路在線監(jiān)控系統(tǒng)中,實(shí)現(xiàn)了智能化識(shí)別隱患的功能.該系統(tǒng)可以對(duì)于輸電線路中存在可能危害線路運(yùn)行的吊車、挖掘機(jī)等多種類別的大型施工機(jī)械進(jìn)行識(shí)別,發(fā)現(xiàn)隱患后自主上報(bào).經(jīng)實(shí)際工作驗(yàn)證,該系統(tǒng)高效可靠,提高了輸電線路安全經(jīng)濟(jì)運(yùn)行的管理水平,并為輸電線路的智能化運(yùn)維模式提供必要的參考.

1 輸電線路智能監(jiān)控系統(tǒng)結(jié)構(gòu)

1.1 系統(tǒng)功能介紹

輸電線路智能監(jiān)控設(shè)備一般安裝在輸電線路桿塔塔身上,在一定高度上對(duì)輸電線路周圍環(huán)境進(jìn)行監(jiān)控,通過通信鏈路將采集的視頻及圖像信息上傳至系統(tǒng)服務(wù)器.系統(tǒng)服務(wù)器通過調(diào)用圖像識(shí)別程序,對(duì)回傳的數(shù)據(jù)進(jìn)行實(shí)時(shí)判定分析.當(dāng)識(shí)別發(fā)現(xiàn)輸電線路走廊內(nèi)存在會(huì)對(duì)輸電線路產(chǎn)生危害的大型施工機(jī)械時(shí),就會(huì)觸發(fā)報(bào)警程序,系統(tǒng)將會(huì)對(duì)該隱患進(jìn)行標(biāo)注,并將相關(guān)信息自動(dòng)報(bào)送給相應(yīng)的運(yùn)維工作人員.若輸電線路走廊內(nèi)不存在隱患,圖像識(shí)別程序?qū)⑴卸ň€路環(huán)境正常,不會(huì)觸發(fā)報(bào)警程序.系統(tǒng)會(huì)將監(jiān)控設(shè)備采集的視頻流及圖像數(shù)據(jù)進(jìn)行存檔,并以一定的時(shí)間間隔截取圖片,推送至企業(yè)微信公眾號(hào),工作人員可以通過系統(tǒng)后臺(tái)直接訪問,或者通過微信客戶端進(jìn)行查看,以便根據(jù)實(shí)際需要實(shí)時(shí)動(dòng)態(tài)掌握施工現(xiàn)場(chǎng)信息.系統(tǒng)邏輯流程圖如圖1所示.

1.2 智能監(jiān)控系統(tǒng)組成

智能監(jiān)控系統(tǒng)分3個(gè)部分組成:塔上監(jiān)控設(shè)備、通信系統(tǒng)、后臺(tái)存儲(chǔ)與數(shù)據(jù)處理平臺(tái).

塔上監(jiān)控設(shè)備實(shí)現(xiàn)對(duì)輸電線路桿塔現(xiàn)場(chǎng)圖像以及相關(guān)環(huán)境參數(shù)的采集.包括監(jiān)控?cái)z像頭、供電模塊、控制芯片(視頻采集卡以及其他傳感器控制芯片)、通信天線,如圖2所示.

圖1 智能監(jiān)控系統(tǒng)邏輯流程圖

圖2 塔上監(jiān)控設(shè)備結(jié)構(gòu)示意圖

通信系統(tǒng)實(shí)現(xiàn)前端監(jiān)控設(shè)備與后臺(tái)系統(tǒng)服務(wù)器的雙向通信,包括視頻(圖像)回傳及控制指令傳輸?shù)裙δ?通信系統(tǒng)由工業(yè)路由器和4G無線網(wǎng)卡配置組成,在本系統(tǒng)中采用4G無線傳輸,監(jiān)控?cái)z像機(jī)將視頻編碼處理后的圖像進(jìn)行壓縮、封裝后再通過4G無線傳輸模塊傳送至后臺(tái)終端服務(wù)器.這種方式保證了數(shù)據(jù)傳輸質(zhì)量和速度.

后臺(tái)存儲(chǔ)與數(shù)據(jù)處理平臺(tái)實(shí)現(xiàn)對(duì)現(xiàn)場(chǎng)采集數(shù)據(jù)的實(shí)時(shí)分析,并依照設(shè)置好的規(guī)則對(duì)數(shù)據(jù)進(jìn)行存檔或推送功能.作為整個(gè)智能監(jiān)控系統(tǒng)的核心部分,數(shù)據(jù)處理單元調(diào)用圖像識(shí)別模型對(duì)收集的數(shù)據(jù)進(jìn)行實(shí)時(shí)分析,對(duì)分析的數(shù)據(jù)進(jìn)行統(tǒng)一歸檔存儲(chǔ).同時(shí),將發(fā)現(xiàn)的問題分層、分組推送至相關(guān)的運(yùn)維人員,時(shí)效性、針對(duì)性更強(qiáng).

1.3 系統(tǒng)功能的實(shí)現(xiàn)

智能監(jiān)控系統(tǒng)的前端監(jiān)控設(shè)備安裝在線路周邊有大型機(jī)械施工的桿塔上,對(duì)整個(gè)施工現(xiàn)場(chǎng)的情況進(jìn)行視頻采集存儲(chǔ)、圖像等數(shù)據(jù)傳輸.監(jiān)控系統(tǒng)后臺(tái)服務(wù)器對(duì)接收到的圖像信息進(jìn)行實(shí)時(shí)識(shí)別和分析處理,通過對(duì)圖像特征值的提取、分析,實(shí)現(xiàn)對(duì)大型機(jī)械的判別和預(yù)警.一旦系統(tǒng)識(shí)別出大型機(jī)械闖入線路保護(hù)區(qū),就會(huì)觸發(fā)預(yù)警程序,自動(dòng)將相關(guān)信息報(bào)送運(yùn)維人員.若未發(fā)現(xiàn)大型機(jī)械入侵時(shí),后臺(tái)程序?qū)凑疹A(yù)先設(shè)定的間隔對(duì)監(jiān)控視頻進(jìn)行抽幀,并將每幀圖像上傳至服務(wù)器,服務(wù)器依據(jù)設(shè)定好的存儲(chǔ)邏輯將圖片歸類并自動(dòng)存檔,同時(shí)提供一個(gè)外部訪問端口,以便運(yùn)維人員可以根據(jù)需要對(duì)數(shù)據(jù)進(jìn)行查看,全方面掌握施工現(xiàn)場(chǎng)信息.監(jiān)控系統(tǒng)結(jié)構(gòu)如圖3所示.

圖3 智能監(jiān)控系統(tǒng)結(jié)構(gòu)圖

(1)安裝在輸電線路桿塔上的前端監(jiān)控設(shè)備采集圖像信息;

(2)圖像數(shù)據(jù)通過4G信號(hào)上傳到后臺(tái)服務(wù)器;

(3)后臺(tái)服務(wù)器調(diào)用圖像識(shí)別模型,并返回相關(guān)參數(shù),服務(wù)端做分析記錄;

(4)在識(shí)別發(fā)現(xiàn)輸電線路存在安全隱患時(shí),自動(dòng)向相關(guān)運(yùn)維人員上報(bào).

2 智能監(jiān)控系統(tǒng)關(guān)鍵技術(shù)

2.1 圖像識(shí)別核心算法分析

利用計(jì)算機(jī)對(duì)圖像信息進(jìn)行分析、處理以及理解的技術(shù)稱為圖像識(shí)別技術(shù),是當(dāng)今計(jì)算機(jī)視覺領(lǐng)域一個(gè)重要的研究方向,對(duì)以圖像為主要研究對(duì)象的智能化數(shù)據(jù)分析有著十分重要的作用和影響[5,6].

圖像的特征提取和分類一直作為圖像識(shí)別領(lǐng)域的基礎(chǔ)而重要的研究方向.在處理二維的圖像數(shù)據(jù)上,卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)提供了一種端到端的學(xué)習(xí)模型,能夠自動(dòng)地學(xué)習(xí)低層和高層特征并在各類的數(shù)據(jù)集上得到了很好的結(jié)果[7,8].模型參數(shù)通過梯度下降方法進(jìn)行訓(xùn)練,通過對(duì)圖像特征的提取和分類,完成對(duì)圖像的識(shí)別.作為深度神經(jīng)網(wǎng)絡(luò)中應(yīng)用最多的網(wǎng)絡(luò)模型,卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn)在于通過共享權(quán)值的卷積核得到每一層的特征值,由于這種特殊結(jié)構(gòu),他更適合于解決圖像特征的學(xué)習(xí)和表達(dá)[9].

卷積神經(jīng)網(wǎng)絡(luò)是一種多層的人工神經(jīng)網(wǎng)絡(luò),用以處理輸入的二維數(shù)據(jù).一般由輸入層、激勵(lì)函數(shù)、連接層、卷積層、聚合層等層結(jié)構(gòu)組成.如圖4所示,一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)分為多層.每層中又有多個(gè)獨(dú)立的神經(jīng)元構(gòu)成,同一層的神經(jīng)元之間沒有連接,相鄰的兩層中的神經(jīng)元互相連接[10].其中,C1,C2表示兩個(gè)卷積層,S1,S2表示兩個(gè)子采樣層.

圖4 CNN網(wǎng)絡(luò)結(jié)構(gòu)模型示意圖

在卷積神經(jīng)網(wǎng)絡(luò)模型中,輸入的原始圖像稱為X.用Ci表示卷積神經(jīng)網(wǎng)絡(luò)第i層的特征圖(C0=X).假設(shè)Ci是卷積層,Ci的產(chǎn)生過程可以描述為:

其中,運(yùn)算符號(hào)“? ”代表第i?1層圖像或者特征圖與卷積核進(jìn)行卷積操作,Wi表示第i層卷積核的權(quán)值向量;卷積的輸出與第i層的偏移向量bi相加,之后通過非線性的激勵(lì)函數(shù)f(x)得 到第i層 的特征圖Ci.

在卷積層之后一般進(jìn)行子采樣操作,該過程依據(jù)一定的采樣規(guī)則對(duì)特征圖進(jìn)行采樣.假設(shè)Si是子采樣層:

子采樣層的主要功能有兩點(diǎn):1)對(duì)特征圖進(jìn)行降維;2)在一定程度上保證特征的尺度不變特性.

在卷積層和子采樣層的交替?zhèn)鬟f后,卷積神經(jīng)網(wǎng)絡(luò)的連接層對(duì)提取的特征進(jìn)行分類,得到基于輸入的概率分布Y(li表 示第i個(gè)標(biāo)簽類別).如式(3)所示,卷積神經(jīng)網(wǎng)絡(luò)的實(shí)質(zhì)是對(duì)原始圖像(C0)進(jìn)行多個(gè)層次的數(shù)據(jù)變換和降維,從而得到一個(gè)新的特征表達(dá)(Y)的過程.

在模型訓(xùn)練中,需要得到參數(shù)W和b關(guān)于損失函數(shù)的梯度.前一層的殘差與后一層的殘差通過鏈?zhǔn)椒▌t求得,也就是利用已有的梯度計(jì)算下一層的梯度,這個(gè)過程正是誤差反向傳播的核心.計(jì)算得到的梯度如式(4),式(5)所示:

其中,學(xué)習(xí)速率參數(shù) η用于控制殘差反向傳播的強(qiáng)度.

這樣,對(duì)于一個(gè)原始的圖像,就可以通過卷積神經(jīng)網(wǎng)絡(luò)提取出相應(yīng)的特征值并進(jìn)行分類識(shí)別,從而完成對(duì)圖像信息的讀取.這個(gè)過程,正是圖像識(shí)別工作的核心步驟.

2.2 輸電線路外部隱患的物體檢測(cè)技術(shù)

為滿足輸電線路智能監(jiān)控的需求,單純的提取圖像特征,然后基于卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行圖像識(shí)別并不能滿足實(shí)際需求.相比圖像分類,物體檢測(cè)是圖像識(shí)別領(lǐng)域中一個(gè)更復(fù)雜的問題,因?yàn)橐粡垐D片中可以包含多種物體的信息,將各個(gè)物體準(zhǔn)確提取并分類就需要首先識(shí)別物體所在位置[11–13].結(jié)合輸電線路中的應(yīng)用場(chǎng)景,物體檢測(cè)要分析出監(jiān)控畫面中存在的物體種類以及具體的坐標(biāo)位置.基于CNN技術(shù)的物體檢測(cè)模型一般將問題分解為如何提取候選區(qū)域和對(duì)候選區(qū)域進(jìn)行分類的兩個(gè)子問題.

提取候選區(qū)域是物體檢測(cè)模型訓(xùn)練的必備步驟,相較于GPU上更快的運(yùn)算速度,由于該算法是在CPU上實(shí)現(xiàn)的,所以計(jì)算候選區(qū)域成為了整個(gè)模型運(yùn)算時(shí)間的瓶頸.在各種候選區(qū)域的計(jì)算方法中,應(yīng)用滑動(dòng)窗口技術(shù)的Faster R-CNN網(wǎng)絡(luò)是較為優(yōu)秀的模型.

Faster R-CNN網(wǎng)絡(luò)在傳統(tǒng)模型的基礎(chǔ)上,在最后一層輸出特征值上設(shè)置一個(gè)滑動(dòng)窗,將滑動(dòng)窗和候選區(qū)域網(wǎng)絡(luò)全連接.模型以滑動(dòng)窗中心為中點(diǎn),給定若干個(gè)不同尺度和長(zhǎng)寬比的錨點(diǎn),根據(jù)每個(gè)錨點(diǎn)生成相應(yīng)的候選區(qū)域,隨著滑動(dòng)窗口滑過圖像中的每個(gè)位置,完成對(duì)整個(gè)圖像的掃描[14–16].如圖5所示,候選區(qū)域是全卷積網(wǎng)絡(luò),滑動(dòng)窗口的輸入特征映射到一個(gè)低緯度向量,并將該向量輸入到兩個(gè)并列的全連接層,其中分類層包含該向量是物體還是背景的概率分布信息,回歸層包含候選區(qū)域坐標(biāo)信息.

圖5 滑動(dòng)窗口提取候選區(qū)域

通過上述方法可以完成候選區(qū)域的提取,然后將每個(gè)待分類的候選區(qū)域輸入到卷積神經(jīng)網(wǎng)絡(luò)中提取特征,接著將這些特征通過CNN算法中進(jìn)行分類[17,18].整個(gè)過程如圖6所示,通過提取候選區(qū)域以及對(duì)候選區(qū)域進(jìn)行分類兩步操作,從而實(shí)現(xiàn)對(duì)圖像中的物體檢測(cè).

圖6 輸電線路外部隱患物體檢測(cè)流程

3 輸電線路智能監(jiān)控應(yīng)用實(shí)例

基于圖像識(shí)別技術(shù)的輸電線路智能監(jiān)控系統(tǒng)是一套可以智能識(shí)別輸電線路外部隱患的監(jiān)控系統(tǒng),實(shí)現(xiàn)對(duì)輸電線路周圍環(huán)境的實(shí)時(shí)監(jiān)控,發(fā)現(xiàn)隱患時(shí)自動(dòng)識(shí)別上報(bào).該系統(tǒng)的應(yīng)用可以改變?nèi)藛T前往現(xiàn)場(chǎng)進(jìn)行巡視的傳統(tǒng)運(yùn)維模式,用機(jī)器代替人,有效提高輸電線路運(yùn)維效率.下面就佛山地區(qū)應(yīng)用該系統(tǒng)的效果進(jìn)行說明.

3.1 圖像識(shí)別模型的訓(xùn)練

基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法,在系統(tǒng)應(yīng)用前需要訓(xùn)練好相應(yīng)的圖像識(shí)別模型.經(jīng)統(tǒng)計(jì)佛山地區(qū)近十年的輸電線路外力破壞事件,事故原因基本為吊車、挖掘機(jī)、樁機(jī)和大型運(yùn)輸車輛的碰撞引發(fā).故在此次的訓(xùn)練中,提取了以往監(jiān)控照片中存在外部隱患的典型照片約3000張,包含桿塔、吊車、挖掘機(jī)、樁機(jī)和大型運(yùn)輸車輛五個(gè)類別.經(jīng)過圖像分類、圖像標(biāo)注,制作出標(biāo)準(zhǔn)格式的數(shù)據(jù)集,輸入識(shí)別模型進(jìn)行訓(xùn)練.訓(xùn)練結(jié)束后檢驗(yàn)結(jié)果,測(cè)試該模型識(shí)別能力mAP是否達(dá)標(biāo).若不達(dá)標(biāo),調(diào)整數(shù)據(jù)集再次訓(xùn)練模型.經(jīng)過多次迭代,最終生成合格模型.表1是本次實(shí)例中進(jìn)行訓(xùn)練的圖像識(shí)別模型各項(xiàng)指標(biāo).其中,精確率為正確預(yù)測(cè)的物體數(shù)與預(yù)測(cè)物體總數(shù)之比,表示模型對(duì)圖像中單個(gè)物體的判別準(zhǔn)確度;召回率為正確預(yù)測(cè)的物體數(shù)與真實(shí)物體數(shù)之比,表示模型對(duì)圖像中物體數(shù)量的敏感度.mAP結(jié)合準(zhǔn)確率和召回率,是表示圖像識(shí)別模型的總體指標(biāo).

表1 圖像識(shí)別模型的各項(xiàng)指標(biāo)

3.2 塔上設(shè)備的布點(diǎn)安裝方式

該智能監(jiān)控系統(tǒng)主要針對(duì)大型機(jī)械入侵預(yù)警,因此布點(diǎn)主要是選擇有外力破壞隱患、重要交叉跨越、保供電的重要線路區(qū)段的桿塔上[19,20].針對(duì)不同的桿塔類型(角鋼塔、鋼管塔、鋼管角鋼組合塔)設(shè)計(jì)配套支架和夾具.安裝工作3人一組,地面1人,塔上2人即可完成全部設(shè)備安裝.塔下組裝設(shè)備,塔上微調(diào)固定,地面調(diào)通測(cè)試,接入后臺(tái)智能監(jiān)控系統(tǒng).整個(gè)設(shè)備安全接入可在1 h內(nèi)完成.

3.3 應(yīng)用效果

以佛山電網(wǎng)為例,已安裝部署塔上監(jiān)控設(shè)備300余套,對(duì)存在較大外力破壞隱患的區(qū)域進(jìn)行監(jiān)控.這些設(shè)備會(huì)對(duì)現(xiàn)場(chǎng)環(huán)境進(jìn)行實(shí)時(shí)監(jiān)控,通過通信鏈路將采集的視頻及圖像信息上傳至系統(tǒng)服務(wù)器.系統(tǒng)服務(wù)器通過調(diào)用圖像識(shí)別程序,對(duì)回傳的數(shù)據(jù)進(jìn)行實(shí)時(shí)判定分析,識(shí)別準(zhǔn)確度達(dá)到90%以上.當(dāng)識(shí)別發(fā)現(xiàn)輸電線路走廊內(nèi)存在會(huì)對(duì)輸電線路產(chǎn)生危害的大型施工機(jī)械時(shí),就會(huì)觸發(fā)報(bào)警程序,系統(tǒng)將會(huì)對(duì)該隱患進(jìn)行標(biāo)注,并將相關(guān)信息自動(dòng)報(bào)送給相應(yīng)的運(yùn)維工作人員.通過安裝攝像頭遮雨板和使用專用夾具固定等措施,該智能監(jiān)控系統(tǒng)持續(xù)穩(wěn)定運(yùn)行,經(jīng)受住了暴雨、臺(tái)風(fēng)等惡劣天氣的考驗(yàn).識(shí)別效果如圖7.

圖7 識(shí)別效果圖

相較于傳統(tǒng)的人員前往現(xiàn)場(chǎng)進(jìn)行巡視的方式,輸電線路智能監(jiān)控系統(tǒng)實(shí)現(xiàn)了智能巡檢的目標(biāo),在不借助人員的情況下,自動(dòng)監(jiān)控現(xiàn)場(chǎng),自主推送隱患,解放了大量人力.由于系統(tǒng)可對(duì)現(xiàn)場(chǎng)持續(xù)監(jiān)控,后臺(tái)通過調(diào)用圖像識(shí)別程序?qū)ΜF(xiàn)場(chǎng)狀態(tài)進(jìn)行實(shí)時(shí)分析,將傳統(tǒng)的一日一巡或三日一巡的人工方式提升至實(shí)時(shí)監(jiān)控,在減少人員工作量的同時(shí),顯著提高了對(duì)現(xiàn)場(chǎng)的監(jiān)管水平.

4 結(jié)語

物體檢測(cè)是輸電線路智能監(jiān)控系統(tǒng)的關(guān)鍵技術(shù).首先對(duì)輸入圖像進(jìn)行分割,完成候選區(qū)域的提取,然后將每個(gè)待分類的候選區(qū)域輸入到卷積神經(jīng)網(wǎng)絡(luò)中提取特征,接著依據(jù)特征進(jìn)行分類,最終得到物體種類以及具體的坐標(biāo)位置.應(yīng)用該技術(shù)的圖像識(shí)別模型可以智能識(shí)別出輸電線路現(xiàn)場(chǎng)環(huán)境中的安全隱患.

輸電線路智能監(jiān)控系統(tǒng)建立起前端采集圖像,數(shù)據(jù)無線傳輸,后臺(tái)識(shí)別分析,隱患定向推送的智能監(jiān)控新模式.可以對(duì)輸電線路現(xiàn)場(chǎng)進(jìn)行24小時(shí)持續(xù)監(jiān)控,通過后臺(tái)調(diào)用圖像識(shí)別程序?qū)ΜF(xiàn)場(chǎng)情況進(jìn)行實(shí)時(shí)分析,自動(dòng)推送隱患預(yù)警.大幅度提高了監(jiān)管預(yù)防大型機(jī)械外力破壞的效率和質(zhì)量,提高了輸電線路運(yùn)行安全.