基于深度學(xué)習(xí)的電力巡檢圖像實(shí)時(shí)處理與識(shí)別算法研究

石志彬，羅望春，莫兵兵，張福

（中國(guó)南方電網(wǎng)超高壓輸電公司檢修試驗(yàn)中心，廣東 廣州 510663）

對(duì)輸電線路的狀態(tài)進(jìn)行監(jiān)控，是電力行業(yè)的常態(tài)化工作，應(yīng)用無(wú)人機(jī)或直升機(jī)對(duì)輸電線路進(jìn)行航拍巡檢是目前的主要工作方式，拍攝得到的大量圖片需要人工判斷是否發(fā)生缺陷故障，而通過(guò)肉眼去判斷則需要消耗大量的人工成本，且工作效率與精準(zhǔn)度均不理想[1-3]。隨著深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)技術(shù)的不斷發(fā)展，應(yīng)用人工智能技術(shù)對(duì)航拍巡檢圖像進(jìn)行目標(biāo)檢測(cè)和缺陷識(shí)別成為了電力巡檢領(lǐng)域的發(fā)展趨勢(shì)[4-5]。其研究熱點(diǎn)主要集中于兩點(diǎn)：一是對(duì)航拍巡檢圖像進(jìn)行目標(biāo)檢測(cè)，識(shí)別出目標(biāo)的位置與類型；二是識(shí)別航拍巡檢圖像是否存在故障或缺陷[6]。自動(dòng)化人工智能識(shí)別方法的提出，有效提高了輸電線路故障巡檢的效率，降低了人工成本，具有廣闊的應(yīng)用前景[7]。自2013 年至今，基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法在輸電線路目標(biāo)缺陷識(shí)別方面展現(xiàn)出了良好的應(yīng)用潛力，國(guó)內(nèi)學(xué)者王永利通過(guò)改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別異常圖片特征，可以準(zhǔn)確、有效地判定出故障的位置[8]。同時(shí)，一些國(guó)外學(xué)者應(yīng)用SSD 網(wǎng)絡(luò)對(duì)輸電線路絕緣子進(jìn)行缺陷識(shí)別，提出了經(jīng)典目標(biāo)檢測(cè)模型，從而提升了訓(xùn)練圖片的效率[9]?，F(xiàn)有研究成果大多針對(duì)數(shù)據(jù)模型展開(kāi)，側(cè)重于模型的訓(xùn)練技巧，而在深度學(xué)習(xí)技術(shù)的改進(jìn)以及數(shù)據(jù)集特征庫(kù)的建立等方面的研究仍不夠深入[10-12]。

針對(duì)上述問(wèn)題，該文提出使用基于深度學(xué)習(xí)的改進(jìn)Faster-RCNN 模型和HSI 顏色特征相結(jié)合的目標(biāo)檢測(cè)方法，實(shí)現(xiàn)了對(duì)電網(wǎng)巡檢線路的圖像數(shù)據(jù)集進(jìn)行各類常規(guī)缺陷目標(biāo)的智能識(shí)別。

1 圖像識(shí)別處理技術(shù)

1.1 圖像歸一化

由于輸電線路目標(biāo)檢測(cè)模型的訓(xùn)練需要相同格式的數(shù)據(jù)集，為了便于數(shù)據(jù)處理，首先需要對(duì)圖像進(jìn)行歸一化預(yù)處理。該方法的原則是盡可能少地改變樣本圖像的特征，根據(jù)歸一化處理和損失函數(shù)處理，減少在轉(zhuǎn)換與處理時(shí)產(chǎn)生較大誤差，從而盡可能完整地保留圖像特征[13]。圖像歸一化的目的是在不改變像素值的情況下，統(tǒng)一圖像的格式和大小。

對(duì)無(wú)人機(jī)拍攝的圖像進(jìn)行縮放歸一化處理的手段通常是線性插值技術(shù)，其采用的是一種將目標(biāo)圖像的坐標(biāo)值（像素值）映射到原圖坐標(biāo)的方式來(lái)實(shí)現(xiàn)，也即后向映射[14-15]。

雙線性插值又稱為一階插值，但其本身并不是線性的，只是將常規(guī)的線性插值拓展到了二維數(shù)據(jù)的一種應(yīng)用，該插值方法會(huì)將其中的4 個(gè)坐標(biāo)像素值進(jìn)行加權(quán)求和[16]，然后再利用原圖中真實(shí)存在的像素值最終決定縮小后圖像的像素值。

1.2 基于HIS顏色模型的特征提取

HSI 顏色模型用H、S、I三個(gè)參數(shù)來(lái)描述顏色特性。其中，H定義為顏色的波長(zhǎng)，稱為色調(diào)，是對(duì)純色定義的屬性，可以反映HSI 色彩空間中顏色的類別；S表示顏色的深淺程度以及鮮艷程度，稱為飽和度，反映了純色被白光稀釋的度量；I表示亮度，是一種主觀描述，在數(shù)值上無(wú)法測(cè)量，但其反映了無(wú)色的強(qiáng)度，是一種感覺(jué)參數(shù)。相較于顏色濃度的變化，人類的視覺(jué)系統(tǒng)對(duì)于亮度變化的反映程度更強(qiáng)。為了便于色彩的處理及識(shí)別，人們通常習(xí)慣于用色調(diào)、飽和度、亮度來(lái)描述物體的顏色。

由于HSI 顏色模型的三個(gè)分量可以分開(kāi)處理且相互獨(dú)立，所以這就使得HSI 模型成為了開(kāi)發(fā)基于彩色描述的圖像處理方法的理想工具，可以應(yīng)用圖像處理與計(jì)算機(jī)視覺(jué)技術(shù)相關(guān)的大量算法，從而大幅簡(jiǎn)化圖像分析及處理時(shí)的工作量。

由于強(qiáng)度分量不會(huì)對(duì)圖像色調(diào)產(chǎn)生明顯的影響，因此可以不用加以限制。但是，實(shí)際提取出的電網(wǎng)故障區(qū)域的HSI 分量范圍仍需要根據(jù)轉(zhuǎn)換結(jié)果進(jìn)行調(diào)整。

電網(wǎng)巡檢中常見(jiàn)的銹蝕類故障，通常由圖像的顏色特征進(jìn)行識(shí)別。這就需要首先將圖像由RGB 顏色空間轉(zhuǎn)換為HSI顏色空間，并提取各個(gè)像素點(diǎn)的H、S、I分量值，其中，S和I分量歸一化為[0,1]值。然后通過(guò)判斷轉(zhuǎn)換后圖像每個(gè)像素點(diǎn)的HSI 分量銹蝕顏色特征，將銹蝕像素點(diǎn)與非銹蝕像素點(diǎn)分割開(kāi)來(lái)，并將非銹蝕像素點(diǎn)變?yōu)榘咨?，使得?jīng)過(guò)處理過(guò)后的圖像只存在銹蝕區(qū)域，從而達(dá)到目標(biāo)區(qū)域與背景分離的目的。顏色空間轉(zhuǎn)換的流程，如圖1 所示。

圖1 顏色空間轉(zhuǎn)換流程

2 基于深度學(xué)習(xí)的缺陷識(shí)別

2.1 Faster-RCNN算法改進(jìn)

Faster-RCNN 算法是在傳統(tǒng)FR-CNN 算法的基礎(chǔ)上，為了適應(yīng)小目標(biāo)場(chǎng)景，在特征層賦予高層語(yǔ)義而實(shí)現(xiàn)的。該文為了實(shí)現(xiàn)高精度的輸電線路的故障缺陷檢測(cè)，在Faster-RCNN 模型網(wǎng)絡(luò)中嵌入了密集的連接結(jié)構(gòu)，以RoI Aligin 代替RoI Pooling 的方式建立了改進(jìn)的Faster-RCNN 輸電線路缺陷檢測(cè)算法，從而提高識(shí)別精度、增加應(yīng)用場(chǎng)景范圍。

構(gòu)建改進(jìn)Faster-RCNN 模型的關(guān)鍵在于有效連接壓縮激勵(lì)密集與數(shù)據(jù)特征結(jié)構(gòu)，然后在此基礎(chǔ)上建立Dense Net 網(wǎng)絡(luò)。根據(jù)檢測(cè)目標(biāo)特征的空間信息，形成連接兩個(gè)激勵(lì)層之間的依賴關(guān)系。為防止特征層參數(shù)過(guò)多，需要將通道縮減因子進(jìn)行壓縮，從C 層壓縮至C/r 層，直至恢復(fù)到原有特征參數(shù)的數(shù)據(jù)量水平。

在池化層的調(diào)整過(guò)程中，首先需要關(guān)聯(lián)預(yù)測(cè)層；然后將RoI Align 層與預(yù)測(cè)層連接；最終建立改進(jìn)的Faster-RCNN 算法模型。

2.2 缺陷目標(biāo)識(shí)別

采用改進(jìn)Faster-RCNN 算法對(duì)輸電線路缺陷進(jìn)行識(shí)別，對(duì)于存在故障的圖片首先利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，并對(duì)圖像中的銹蝕部分進(jìn)行識(shí)別，提取圖片中例如銷釘缺失或存在鳥(niǎo)巢等常見(jiàn)故障的特征塊，建立策略網(wǎng)絡(luò)（Region Proposal Network，RPN）。然后利用Softmax 激活函數(shù)計(jì)算映射圖中的每個(gè)特征點(diǎn)屬于具體哪一種故障的概率，再將初始圖片拆分成不同的等待區(qū)域，選擇一部分區(qū)域進(jìn)入池化層，剩余部分上傳到網(wǎng)絡(luò)RPN 層。最終，達(dá)到識(shí)別圖片中存在故障缺陷的目的。

1）CNN 特征提取

卷積神經(jīng)網(wǎng)絡(luò)是目標(biāo)檢測(cè)的核心技術(shù)，F(xiàn)aster-RCNN 采用一組基礎(chǔ)的卷積神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行特征的提取，因此該CNN 需要進(jìn)行數(shù)據(jù)初始化。Res-101網(wǎng)絡(luò)是目前識(shí)別精度較高的網(wǎng)絡(luò)，其特征提取采用了殘差結(jié)構(gòu)，因此選用其作為輸電線路缺陷識(shí)別模型訓(xùn)練的初始化網(wǎng)絡(luò)。

輸入線路特征圖像作為原始的輸入量，卷積神經(jīng)網(wǎng)絡(luò)對(duì)輸入信息進(jìn)行運(yùn)算，若第一層為卷積層，則該卷積層的輸出向量為：

若第n層為池化層，則該池化層的輸出可表示為：

2）基于RPN 的候選域生成

RPN 有兩個(gè)功能：一是在分類層用于生成區(qū)域建議目標(biāo)，判斷候選區(qū)域的類別；二是利用邊界框的回歸預(yù)測(cè)故障缺陷特征的中心目標(biāo)和區(qū)域范圍，并修正檢測(cè)框的位置，從而獲得精確的區(qū)域劃分方案。

在RPN 模型中，圖片特征可被看作有256 通道的圖像。通過(guò)利用卷積核滑窗遍歷整個(gè)特征圖，對(duì)于圖像中的每個(gè)像素點(diǎn)，采用9 種可能的候選窗口以及3 種不同的面積和比例進(jìn)行處理。分類層輸出每一個(gè)位置中屬于前景與背景的概率，回歸層輸出4個(gè)平移縮放參數(shù)。在回歸層中，該文使用交互比Z作為衡量候選區(qū)域框定的準(zhǔn)確度：

式中，X、Y表示特征層中不同候選區(qū)域的面積。

3）池化層特征維度的歸一化

由于在進(jìn)行卷積操作時(shí)，輸入目標(biāo)圖片被縮放至統(tǒng)一維度時(shí)，難免會(huì)損失部分有效信息，這雖然不會(huì)在卷積操作和池化操作中產(chǎn)生明顯的影響，但對(duì)全連接層的連接會(huì)造成改變，并會(huì)因此影響最終的識(shí)別效果。該文采用空間金字塔池化算法SPP，在使故障缺陷特征部分有效保留的情況下，完成輸入的向量維數(shù)歸一化。對(duì)每一張輸入的圖像進(jìn)行三次卷積操作，即采用4×4、2×2、1×1 三種變換因子對(duì)特征圖進(jìn)行池化，取各自區(qū)域元素的最大值對(duì)該目標(biāo)區(qū)域進(jìn)行特征表征，并將任意維度的候選域轉(zhuǎn)換為16+4+1=21 個(gè)特征向量，從而解決特征圖大小不一的狀況。

2.3 常規(guī)故障缺陷檢測(cè)

在獲取到輸電線路巡檢圖像后，進(jìn)行故障缺陷定位。為了節(jié)省特征提取所需要的時(shí)間，該文參考YOLOv1 結(jié)構(gòu)，采用SSD 算法進(jìn)行常規(guī)故障檢測(cè)。

該算法的關(guān)鍵步驟包括：

1）電網(wǎng)巡檢圖像深度特征的提??；

2）不同尺度的特征層融合；

3）采用SSD 損失函數(shù)進(jìn)行多目標(biāo)處理。

為了克服單步驟模型的缺陷，采用MFIDN 模型進(jìn)行骨干網(wǎng)絡(luò)設(shè)計(jì)，使用非線性激活函數(shù)來(lái)提高模型的泛化能力。由于巡檢得到圖像的大部分區(qū)域并不含有故障和缺陷，因此為了提高檢測(cè)精度，選用平滑L1 損失函數(shù)進(jìn)行回歸分析。當(dāng)出現(xiàn)故障缺陷時(shí)，設(shè)計(jì)兩組特征提取巡檢圖像的結(jié)構(gòu)，從而提高受檢測(cè)圖片的檢測(cè)范圍，并對(duì)圖像進(jìn)行卷積操作。具體處理方法是：當(dāng)航拍圖片的特征圖維度為28×128時(shí)，首先對(duì)求和計(jì)算之后的特征圖進(jìn)行篩選，然后再進(jìn)行去噪處理。

3 實(shí)驗(yàn)結(jié)果及分析

以南方電網(wǎng)某公司的航拍巡檢圖像數(shù)據(jù)集為例，進(jìn)行實(shí)驗(yàn)測(cè)試。在圖片數(shù)據(jù)集中，應(yīng)盡可能多地涵蓋各種具體情況，例如常見(jiàn)的銷釘缺失故障包括水平、豎直等正常情形，還包括各種不規(guī)則排列的銷釘。此外，由于拍攝圖片的環(huán)境不同，圖片的效果受到天氣、地點(diǎn)、光線等因素影響。因此在建立圖片樣本集時(shí)，充分考慮不同環(huán)境因素的影響，選取具有代表性的不同類別圖片進(jìn)行實(shí)驗(yàn)分析。覆蓋不同角度、光線的銷釘缺失類型，以提高線路缺陷檢測(cè)的精度。

采用深度學(xué)習(xí)算法進(jìn)行目標(biāo)檢測(cè)，首先需要對(duì)樣本數(shù)據(jù)集進(jìn)行標(biāo)注，標(biāo)記故障的位置信息，此次實(shí)驗(yàn)共標(biāo)記7 985 張無(wú)人機(jī)航拍巡檢圖片。隨機(jī)選取其中的6 000 張作為訓(xùn)練集，2 000 張作為測(cè)試集，將所有信息匯總至CSV 文件。完成數(shù)據(jù)標(biāo)記之后，對(duì)圖片進(jìn)行預(yù)處理，基于HIS 顏色模型對(duì)所有圖片進(jìn)行特征提取，增強(qiáng)圖片質(zhì)量。

基于改進(jìn)Faster-RCNN 算法對(duì)缺陷目標(biāo)進(jìn)行識(shí)別，并對(duì)巡檢圖像數(shù)據(jù)集進(jìn)行訓(xùn)練和實(shí)驗(yàn)。使用Pytorch 深度學(xué)習(xí)框架初始化模型權(quán)重，連接分類器和融合結(jié)構(gòu)并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析。與傳統(tǒng)的MFIDN 目標(biāo)識(shí)別算法相同，該文雖然也采用了HOG、SURF 特征，但憑借所提出的改進(jìn)Faster-RCNN 算法，使得所提方案具備了更為理想檢測(cè)能力。應(yīng)用該文方法對(duì)巡檢圖像中的常見(jiàn)故障缺陷檢測(cè)結(jié)果，如圖2 所示。

圖2 航拍巡檢圖像實(shí)時(shí)檢測(cè)結(jié)果

為了驗(yàn)證該文所提方法的有效性，分別使用不同的損失函數(shù)對(duì)改進(jìn)的Faster-RCNN 算法進(jìn)行訓(xùn)練。表1 列出了不同組別下的AP 值。從表中可以看出，在L1 損失函數(shù)和Logistic 條件下的AP 值最高，且模型性能最優(yōu)。

表1 MFIDN損失函數(shù)驗(yàn)證

當(dāng)定位損失采用平滑L1 損失函數(shù)、類別損失使用Logistic 交叉熵?fù)p失函數(shù)時(shí)，對(duì)輸電巡檢圖片進(jìn)行目標(biāo)檢測(cè)，判斷所提算法的有效性。表2 為幾種基于深度學(xué)習(xí)的目標(biāo)缺陷檢測(cè)對(duì)比結(jié)果。從表中可以看出，隨著網(wǎng)絡(luò)模型的優(yōu)化與改進(jìn)，圖片的識(shí)別精度不斷提高。與其他類似的方法相比，該文提出的改進(jìn)深度學(xué)習(xí)算法在測(cè)試數(shù)據(jù)集上實(shí)現(xiàn)了較為理想的目標(biāo)檢測(cè)效果，實(shí)時(shí)處理時(shí)間最短，且故障缺陷的識(shí)別精確率可達(dá)92.54%。

表2 故障缺陷識(shí)別精度對(duì)比

4 結(jié)束語(yǔ)

針對(duì)深度學(xué)習(xí)算法實(shí)時(shí)性差、精度低等問(wèn)題，該文提出采用基于深度學(xué)習(xí)的改進(jìn)Faster-RCNN 模型和HSI 顏色特征相結(jié)合的目標(biāo)檢測(cè)方法，對(duì)電力巡檢圖像進(jìn)行實(shí)時(shí)處理與識(shí)別，并通過(guò)實(shí)際實(shí)驗(yàn)分析驗(yàn)證了文中所述方法的有效性。但該文所述算法采用了多個(gè)網(wǎng)絡(luò)提取特征，通過(guò)特征融合解決識(shí)別精度問(wèn)題，并增加模型的冗余度。在下一步工作中，應(yīng)研究更簡(jiǎn)化的網(wǎng)絡(luò)特征提取模型，實(shí)現(xiàn)端對(duì)端的訓(xùn)練。