基于卷積神經(jīng)網(wǎng)絡(luò)與ECOC-SVM的輸電線路異物檢測

余沿臻，邱志斌，周銀彪，朱 軒，王 青

（1.南昌大學(xué)能源與電氣工程系，江西南昌 330031；2.國網(wǎng)江西省電力有限公司，江西南昌 330000）

0 引言

輸電線路分布跨度大，輸電通道氣象和地理環(huán)境非常復(fù)雜，部分線路鄰近城市、建筑施工等地區(qū)，鳥巢、風(fēng)箏等異物懸掛于線路上會縮短放電距離而引發(fā)輸電故障[1-2]。由于地理環(huán)境、氣象、維護(hù)難度大等原因，人工巡檢已經(jīng)很難滿足輸電線路運(yùn)行狀態(tài)安全監(jiān)測的需求，所以國內(nèi)輸電線路巡檢方法大量采用無人機(jī)[3]、機(jī)器人[4-5]等設(shè)備代替人工采集線路巡檢圖像，再結(jié)合圖像處理、計(jì)算機(jī)分析算法[6]等技術(shù)，實(shí)現(xiàn)圖像的分類識別[7]、缺陷檢測[8]、目標(biāo)測距等[9]，為線路運(yùn)行狀態(tài)監(jiān)測提供智能檢測技術(shù)。

在輸電線路異物檢測領(lǐng)域中，圖像識別的應(yīng)用可概括為傳統(tǒng)特征提取與深度學(xué)習(xí)兩種。傳統(tǒng)特征提取方法如提取局部輪廓形狀特征[10]、ORB 特征[11-12]和采用Hough 變換[13]等一般需要經(jīng)過圖像收集、預(yù)處理、特征提取、特征匹配來實(shí)現(xiàn)目標(biāo)識別，過程繁雜且通用性較差[14]。隨著深度學(xué)習(xí)在輸電線路異物檢測中的應(yīng)用不斷增多，能實(shí)現(xiàn)避免人工操作且同時(shí)擁有較高的檢測精度。近年來的主流檢測方法如Faster R-CNN[15]、TensorFlow[16]、Mask R-CNN[17]等算法利用卷積神經(jīng)網(wǎng)絡(luò)生成用于分類和回歸的候選框或通過選擇性搜索進(jìn)行異物檢測；YOLOv3[18-19]、YOLOv4[20]和SSD[21]等在異物圖像上進(jìn)行密集抽樣并且通過卷積神經(jīng)網(wǎng)絡(luò)提取不同尺度特征用于分類和回歸以實(shí)現(xiàn)異物檢測?；谏疃葘W(xué)習(xí)的檢測方法能夠得到較高的識別精度，但需要大量的訓(xùn)練數(shù)據(jù)，且對設(shè)備計(jì)算性能要求較高，存在訓(xùn)練時(shí)間長、檢測速度慢等問題。

針對以上研究現(xiàn)狀，本文提出一種基于卷積神經(jīng)網(wǎng)絡(luò)與糾錯(cuò)輸出編碼-支持向量機(jī)（Error Correcting Output Codes-Support Vector Machine，ECOC-SVM）的輸電線路異物檢測方法。構(gòu)建了鳥巢、風(fēng)箏、塑料、氣球4 類異物圖像數(shù)據(jù)集，并利用Otsu 自適應(yīng)閾值分割算法提取感興趣目標(biāo)區(qū)域，再通過DenseNet201 提取目標(biāo)區(qū)域的深度特征，最后通過ECOC-SVM 對特征數(shù)據(jù)進(jìn)行訓(xùn)練與測試，并分析不同網(wǎng)絡(luò)及特征深度對結(jié)果的影響。測試結(jié)果表明，本文所提方法能夠準(zhǔn)確地識別出輸電線路上纏繞的異物，可輔助巡檢人員開展線路除障工作。

1 異物圖像目標(biāo)區(qū)域提取

由于無人機(jī)航拍或者視頻錄像獲取的異物圖像中背景復(fù)雜多樣，在一定程度上影響了圖像特征的提取。為了提高特征提取的有效性與代表性，本文通過采用Otsu 自適應(yīng)閾值分割算法[22]、形態(tài)學(xué)處理等方法實(shí)現(xiàn)感興趣目標(biāo)區(qū)域的提取，從而去除異物圖像中大部分復(fù)雜背景，保留異物目標(biāo)所在區(qū)域，以提高算法識別的精度。其具體實(shí)現(xiàn)步驟如下：

1）將輸入異物彩色圖像灰度化，將其灰度等級別分為N個(gè)，即（0，1，…，N-1），Gi表示灰度等級為i的像素點(diǎn)個(gè)數(shù)，則圖像中所有灰度等級之和Gsum=G0+G1+…+GN-1。

2）設(shè)置初始閾值T，將[0，T]灰度等級區(qū)間內(nèi)像素判定為目標(biāo)，將[T+1，N-1]灰度等級區(qū)間內(nèi)像素判定為背景。

3）按照式（1）計(jì)算目標(biāo)與背景的類間方差g，并通過改變T的取值使得類間方差最大化，即為Otsu自適應(yīng)閾值分割的最佳閾值T。即：

式中：μ0與μ1分別為目標(biāo)類與背景類的平均灰度；w0與w1分別為目標(biāo)類與背景類像素占整張圖像的比例，其值可按照式（2）計(jì)算獲得。即：

4）利用形態(tài)學(xué)開操作對分割二值圖像進(jìn)行處理，方法是先腐蝕圖像消除噪點(diǎn)，再進(jìn)行膨脹操作獲取連通區(qū)域，并將不同區(qū)域進(jìn)行著色。

5）基于最大連通區(qū)域，求取其質(zhì)心與外接矩形，從而標(biāo)記出感興趣區(qū)域，最后進(jìn)行裁剪提取。

以1 張輸電線路鳥巢異物圖像為例，展示出基于Otsu 自適應(yīng)閾值分割算法的目標(biāo)區(qū)域提取流程及其效果，如圖1 所示。

圖1 目標(biāo)區(qū)域提取流程Fig.1 Extraction process of target region

2 輸電線路異物檢測算法

為了避免人工提取特征與復(fù)雜處理的流程，采用卷積神經(jīng)網(wǎng)絡(luò)提取異物圖像的深度特征能夠更加便捷且有效，實(shí)現(xiàn)更高的檢測精度。因此本文采用基于DenseNet201 卷積神經(jīng)網(wǎng)絡(luò)與ECOC-SVM分類器進(jìn)行輸電線路異物的檢測與識別，總體實(shí)現(xiàn)流程如圖2 所示，下面對其算法結(jié)構(gòu)進(jìn)行詳細(xì)介紹。

圖2 輸電線路異物檢測流程Fig.2 Process of foreign body detection for transmission line

2.1 DenseNet特征提取網(wǎng)絡(luò)

DenseNet（Densely Convolutional Networks）[23]于2017 年黃高等人提出的經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)。為解決網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜易引發(fā)的過擬合與梯度消失的問題，DenseNet 提出稠密連接的方式進(jìn)行結(jié)構(gòu)的設(shè)計(jì)，其核心就是通過深淺層的特征融合使得網(wǎng)絡(luò)獲得較強(qiáng)的抗過擬合能力，并應(yīng)用跨連接的方法緩解網(wǎng)絡(luò)層數(shù)加深而導(dǎo)致的梯度消失問題。

DenseNet 網(wǎng)絡(luò)結(jié)構(gòu)主要由多個(gè)密集塊（Dense Block）和過渡層（Transition Layer）組成。Dense Block 模塊結(jié)構(gòu)如圖3 所示，每一層的輸出特征都融合前向所有層的非線性化輸出，例如在第l 層輸出的特征由前向所有層輸出特征連接后，再利用式（3）非線性函數(shù)進(jìn)行處理后即為第l 層輸出的特征。f（x）包括批量歸一化BN 層、ReLU 激活函數(shù)以及卷積Conv。

圖3 Dense Block模塊結(jié)構(gòu)Fig.3 Structure of Dense Block module

式中：xl為第l層的輸出特征；Hl（…）為在l層前的非線性變化函數(shù)，其中包括卷積Conv、批量歸一化BN 層以及ReLU 激活函數(shù)；[x0，x1，x2，…，xl-1]為第l層前所有層的輸出特征。

在每個(gè)Dense Block 的銜接處采用Transition Layer 進(jìn)行下采樣，其中包括BN 層、ReLU 激活函數(shù)、1×1 卷積層與2×2 池化層，從而避免特征融合過程中造成的特征通道維度過大問題，間接提高特征傳輸?shù)男省?/p>

目前DenseNet 網(wǎng)絡(luò)發(fā)展出眾多版本，其中包括DenseNet121，DenseNet169 以及DenseNet201 3 種。本文采用結(jié)構(gòu)最深的DenseNet201 作為特征提取網(wǎng)絡(luò)，以實(shí)現(xiàn)更加精確的異物檢測。其結(jié)構(gòu)如表1 所示，包含了4 個(gè)密集塊與3 個(gè)過渡層；首先對輸入圖像（224×224）進(jìn)行7×7 卷積與3×3 的最大值池化，初步降低圖像的維度，然后通過多個(gè)密集塊與過渡層提取圖像的深度特征；最后提取出全局平均池化（Global Average Pool）層特征輸入至ECOCSVM 模型，進(jìn)行訓(xùn)練與測試。表中fully-connected為全連接，softmax 為分類器名稱。

表1 DenseNet201網(wǎng)絡(luò)結(jié)構(gòu)Table 1 DenseNet201 network structure

2.2 ECOC-SVM異物分類器

ECOC-SVM 模型[24]就是通過糾錯(cuò)輸出編碼（Error Correcting Output Codes，ECOC）方式與支持向量機(jī)（Support Vector Machine，SVM）[25]的融合，實(shí)現(xiàn)在小樣本異物圖像數(shù)據(jù)下的多分類識別并糾正模型在傳輸過程中的錯(cuò)誤。其分類思想是利用二進(jìn)制編碼方式將n分類轉(zhuǎn)變?yōu)閚（n-1）/2 個(gè)二分類問題進(jìn)行求解。其模型主要包括編碼、訓(xùn)練、解碼3個(gè)步驟，如圖4 所示。

圖4 ECOC-SVM模型結(jié)構(gòu)Fig.4 Structure of ECOC-SVM model

ECOC 常用的編碼形式有一對多（One Versus All，OVA）、一對一（One Versus One，OVO）等編碼矩陣構(gòu)造方法，針對本文鳥巢、風(fēng)箏、氣球、塑料4 類輸電線路異物，采用OVO 編碼方案結(jié)合SVM 分類器來建立多分類ECOC-SVM 模型，其編碼矩陣如表2 所示；表中Ci表示第i個(gè)SVM 分類器，+1 與-1 分別代表正樣本與負(fù)樣本，而0 則表示分類器忽略該類別，每一行編碼值則代表每一類。

表2 ECOC異物編碼矩陣Table 2 ECOC foreign body coding matrix

在模型預(yù)測時(shí)，分類器C1—C6對輸入的測試樣本進(jìn)行決策，并通過Hamming（漢明）距離解碼式（4）對決策編碼進(jìn)行解碼，取其中最小距離值作為最終的判定結(jié)果，從而預(yù)測出圖像中的異物類別。即：

式中：dij為解碼后的距離；rkj，rjk分別為第i行與第j行的第k列二進(jìn)制編碼值；m為總列數(shù)（即總的分類器數(shù)）。

若min（dij）越大，則表示編碼矩陣的糾錯(cuò)能力越強(qiáng)；且模型至少能夠?qū)min（dij）-1]/2 列編碼值進(jìn)行糾錯(cuò)。

3 算例結(jié)果及分析

3.1 數(shù)據(jù)準(zhǔn)備

本文通過電力巡檢圖像與網(wǎng)絡(luò)公開圖像構(gòu)建出鳥巢、風(fēng)箏、氣球、塑料4 種輸電線路異物圖像數(shù)據(jù)集。為驗(yàn)證目標(biāo)區(qū)域提取并克服樣本數(shù)過小的問題，本文準(zhǔn)備了A，B，C 3 類樣本，其中樣本A 為原始異物圖像，樣本B 為樣本A 提取出的異物目標(biāo)區(qū)域圖像，而樣本C 則是在樣本B 的基礎(chǔ)上增加了人工合成異物圖像，通過Photoshop 將異物目標(biāo)與輸電線路融合，并在每一類異物中加入了原始圖像數(shù)的近50%，具體見表3 所示。

表3 異物圖像樣本分布Table 3 Sample distribution of foreign body image

在算例實(shí)現(xiàn)中，將準(zhǔn)備的3 類異物圖像樣本按照8:2 的比例將樣本隨機(jī)劃分為訓(xùn)練樣本和測試樣本兩個(gè)部分，再將劃分后的樣本轉(zhuǎn)化為224×224×3的RGB 圖像輸入至DenseNet201 中進(jìn)行特征提取，并提取出最深層的特征作為ECOC-SVM 的訓(xùn)練與測試數(shù)據(jù)，并對比分析了3 種樣本情況下的檢測效果、不同網(wǎng)絡(luò)層提取特征的影響以及不同網(wǎng)絡(luò)模型作為特征提取器的影響。訓(xùn)練后的ECOC-SVM 網(wǎng)絡(luò)對測試樣本進(jìn)行預(yù)測，并將對應(yīng)異物種類的標(biāo)注在異物圖像上方。

3.2 樣本類型分析

為驗(yàn)證經(jīng)過目標(biāo)區(qū)域提取預(yù)處理的圖像及加入人工合成異物圖像樣本對于分類器識別準(zhǔn)確度的效果，利用DenseNet201 與ECOC-SVM 對3 類樣本進(jìn)行訓(xùn)練與測試，計(jì)算測試樣本識別準(zhǔn)確率。在測試中發(fā)現(xiàn)，隨機(jī)樣本分配偶爾出現(xiàn)測試樣本識別準(zhǔn)確率忽高忽低的異常值情況，為避免該問題，本文對每類樣本進(jìn)行5 次反復(fù)測試，并以5 次測試準(zhǔn)確率的平均值為評價(jià)標(biāo)準(zhǔn)。其中，準(zhǔn)確率的計(jì)算公式如式（5）所示，從而較為全面地進(jìn)行對比與分析，不同樣本類型下的識別結(jié)果如表4 所示。

表4 不同樣本類型、不同組別的識別準(zhǔn)確率Table 4 Recognition accuracy of different sample types and proups %

式中：TP+TN為模型預(yù)測正確的正樣本與負(fù)樣本的個(gè)數(shù)；TP+FP+FN+TN為總樣本數(shù)。

通過表4 結(jié)果的對比分析可知，樣本B 的每組測試準(zhǔn)確率較樣本A 都有提升，且樣本B 的平均準(zhǔn)確率相對于樣本A 提高了3.16%，驗(yàn)證出經(jīng)過目標(biāo)區(qū)域提取后的異物圖像能夠較大程度地降低背景因素的影響，有效提高ECOC-SVM 對異物種類的識別準(zhǔn)確度；同時(shí)加入50%人工合成異物圖像的樣本C 較樣本B 的平均準(zhǔn)確率提高了4.11%，驗(yàn)證出加入人工合成異物圖像能進(jìn)一步提高ECOC-SVM 的擬合效果，并且提高分類器的魯棒性。

3.3 特征提取層

為分析網(wǎng)絡(luò)模型中特征提取的位置對測試識別準(zhǔn)確率的影響，本文根據(jù)DenseNet201 的網(wǎng)絡(luò)結(jié)構(gòu)，選取的每一個(gè)密集塊與過渡層提取之后的特征，共4 組特征數(shù)據(jù)；同時(shí)根據(jù)網(wǎng)絡(luò)深度由淺到深選取6 組特征數(shù)據(jù)，總計(jì)10 組特征數(shù)據(jù).本文仿真不同的樣本類型下的ECOC-SVM 模型測試效果，如圖5 所示。

圖5 不同特征提取層的識別效果Fig.5 Recognition results of different feature extraction layers

根據(jù)圖4 結(jié)果可知，隨著網(wǎng)絡(luò)層數(shù)的加深，對于異物圖像識別的準(zhǔn)確率大體上呈現(xiàn)上升的趨勢，且樣本C 較其他樣本類型提高更快.同時(shí)可以發(fā)現(xiàn)，在3 種樣本類型下，以較淺層所提取的特征數(shù)據(jù)作為訓(xùn)練樣本時(shí)，ECOC-SVM 模型的識別準(zhǔn)確率都相對較低，而以較深層的特征數(shù)據(jù)作為訓(xùn)練樣本時(shí)，模型的識別準(zhǔn)確率相對較高。其原因可能是深層的特征經(jīng)過更多的卷積、池化、激活函數(shù)等操作，可以實(shí)現(xiàn)更為復(fù)雜的非線性擬合，學(xué)習(xí)效果更好。

3.4 特征提取網(wǎng)絡(luò)

為了驗(yàn)證本文采用的DenseNet201 網(wǎng)絡(luò)模型相對于其他模型的學(xué)習(xí)性能，同時(shí)選取ResNet-50、GoogleNet、AlexNet 3 種卷積神經(jīng)網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)進(jìn)行測試，皆采用樣本C 作為數(shù)據(jù)輸入，按照8:2 的比例劃分訓(xùn)練集與測試集，同樣取每一種網(wǎng)絡(luò)重復(fù)5 次測試準(zhǔn)確率的平均值為評價(jià)標(biāo)準(zhǔn)，表5為不同網(wǎng)絡(luò)作為特征提取器的識別準(zhǔn)確率。

表5 各類網(wǎng)絡(luò)結(jié)構(gòu)、不同組別識別準(zhǔn)確度對比Table 5 Comparison of recognition accuracy between different network structures and proups %

根據(jù)表5 結(jié)果可知，本文采用的DenseNet201在特征提取能力中表現(xiàn)更優(yōu)，其原因在于DenseNet具有更強(qiáng)的梯度流動、參數(shù)量少、減輕梯度消失、特征融合等特點(diǎn)，使得其在提取異物圖像特征中優(yōu)于ResNet、AlexNet、GoogleNet 卷積神經(jīng)網(wǎng)絡(luò)，從而基于DenseNet201 與ECOC-SVM 的模型識別準(zhǔn)確率高于其他網(wǎng)絡(luò)。針對電力巡檢獲取的異物圖像，本文以4 種未參與訓(xùn)練與測試的異物圖像為例，其具體識別結(jié)果如圖6 所示。

圖6 輸電線路異物圖像識別結(jié)果Fig.6 Recognition results of foreign body images for transmission lines

4 結(jié)論

本文根據(jù)電網(wǎng)巡檢與公開數(shù)據(jù)構(gòu)建輸電線路異物圖像數(shù)據(jù)集，開展基于卷積神經(jīng)網(wǎng)絡(luò)與ECOCSVM 的輸電線路異物檢測算例，采用自適應(yīng)閾值Otsu 算法提取目標(biāo)區(qū)域，分析樣本、網(wǎng)絡(luò)層數(shù)和特征提取網(wǎng)絡(luò)產(chǎn)生的影響，得出結(jié)論如下：

1）提出基于自適應(yīng)閾值Otsu 算法的目標(biāo)區(qū)域提取的圖像預(yù)處理方法，能夠有效去除異物圖像中的復(fù)雜背景，在實(shí)驗(yàn)中相對于未經(jīng)過處理的圖像識別準(zhǔn)確度有所提高。

2）采用具有較高泛化能力的卷積神經(jīng)網(wǎng)絡(luò)DenseNet201 作為特征提取器，ECOC-SVM 作為分類器，可以實(shí)現(xiàn)在小樣本情況下提取更加有效的特征，實(shí)現(xiàn)異物圖像的準(zhǔn)確識別，輔助輸電線路巡檢人員開展輸電線路除障工作。

本文方法具有較強(qiáng)的泛化能力和魯棒性，對4種類典型輸電線路異物具有較高的識別準(zhǔn)確度。在實(shí)際工程應(yīng)用中，可根據(jù)需求收集更加豐富的輸電線路懸掛異物圖像，并將本文方法應(yīng)用于其中以實(shí)現(xiàn)更多類型異物的識別，從而提高輸電線路運(yùn)維的效率。