復(fù)合絕緣子夜間巡視圖像智能處理技術(shù)研究

王仁書 吳文斌 董懿飛 梁曼舒 劉志鵬

(1.國(guó)網(wǎng)福建省電力有限公司電力科學(xué)研究院，福建 福州 350007；2.福州大學(xué)電氣工程與自動(dòng)化學(xué)院,福建 福州 350108；3.國(guó)網(wǎng)福建省電力有限公司莆田供電公司,福建 莆田 351100)

0 引言

據(jù)統(tǒng)計(jì)，自1980年以來(lái)，已有600多萬(wàn)支復(fù)合絕緣子在現(xiàn)場(chǎng)使用。長(zhǎng)期使用的復(fù)合絕緣子，受到潮濕環(huán)境、工業(yè)污染、近海鹽霧等因素影響，會(huì)出現(xiàn)不同程度的酥朽老化、污閃、異常發(fā)熱等問(wèn)題，給線路的安全運(yùn)行造成隱患。因此，需要在巡視過(guò)程中及時(shí)發(fā)現(xiàn)這些問(wèn)題。

目前，開(kāi)始廣泛使用無(wú)人機(jī)作為巡視拍攝工具，其中以大疆御2行業(yè)進(jìn)階版和M300為代表，具備了同時(shí)拍攝可見(jiàn)光和紅外圖像的功能，極大提升了線路巡視效率，但仍存在以下問(wèn)題：①目前巡視工作主要是在白天開(kāi)展，由于日照升溫、陽(yáng)光干擾等因素，影響巡視紅外圖像的拍攝效果，甚至無(wú)法進(jìn)行異常發(fā)熱判斷；②復(fù)合絕緣子上污閃放電現(xiàn)象較微弱時(shí)，在日間陽(yáng)光干擾下難以發(fā)現(xiàn)；③目前的紅外圖像分析主要依賴人工方式進(jìn)行溫度查看和狀態(tài)診斷，效率低且易出錯(cuò)[1-3]。因此，為了實(shí)現(xiàn)準(zhǔn)確、高效的線路巡視，一方面需要減少巡視過(guò)程中的干擾，如采用夜巡方式提高故障發(fā)現(xiàn)的概率；另一方面需要借助先進(jìn)智能算法，提升結(jié)果分析的可靠性。

夜間巡視有利于發(fā)現(xiàn)異常放電點(diǎn)和紅外圖像拍攝，但也存在兩個(gè)問(wèn)題：一是現(xiàn)場(chǎng)作業(yè)光線不足，作業(yè)人員難以發(fā)現(xiàn)巡視目標(biāo)；二是現(xiàn)場(chǎng)進(jìn)行紅外圖像分析存在一定困難。針對(duì)上述問(wèn)題，本文開(kāi)展夜巡圖像(包括可見(jiàn)光和紅外圖像)的處理技術(shù)研究。首先，進(jìn)行可見(jiàn)光圖像的處理，自適應(yīng)增強(qiáng)圖像照度和放電點(diǎn)標(biāo)識(shí)，輔助作業(yè)人員發(fā)現(xiàn)缺陷目標(biāo)；其次，基于深度學(xué)習(xí)算法對(duì)紅外圖像進(jìn)行智能識(shí)別，從紅外圖像中識(shí)別復(fù)合絕緣子，同時(shí)提取絕緣子溫度，并且進(jìn)行絕緣子缺陷的智能判斷。通過(guò)采用智能分析技術(shù)，實(shí)現(xiàn)夜巡圖像快速處理，實(shí)現(xiàn)復(fù)合絕緣子的狀態(tài)快速診斷。

1 整體流程介紹

為了配合提升夜間巡視現(xiàn)場(chǎng)作業(yè)效率，在現(xiàn)有的無(wú)人機(jī)巡視作業(yè)流程基礎(chǔ)上，進(jìn)一步融合了可見(jiàn)光和紅外圖像智能處理算法，具體流程如圖1所示。

圖1 夜間巡視流程中的圖像處理

在夜間無(wú)人機(jī)巡視作業(yè)過(guò)程中，作業(yè)人員先進(jìn)行可見(jiàn)光圖像的拍攝，通過(guò)可見(jiàn)光圖像增強(qiáng)和放電點(diǎn)的自動(dòng)標(biāo)識(shí)，輔助作業(yè)人員在夜間照度不足的情況下快速發(fā)現(xiàn)故障目標(biāo)；在確定故障目標(biāo)后，進(jìn)行紅外圖像拍攝，拍攝的紅外圖像使用深度學(xué)習(xí)智能算法先進(jìn)行智能分割，提取目標(biāo)絕緣子在紅外圖像中的位置，然后再提取溫度值，為故障狀態(tài)智能判斷提供基礎(chǔ)。

2 可見(jiàn)光圖像處理方法

2.1 可見(jiàn)光圖像處理流程

可見(jiàn)光圖像處理流程如圖2所示，首先進(jìn)行圖像照度檢測(cè)，對(duì)輸入的可見(jiàn)光圖像判斷照度數(shù)值是否滿足設(shè)定值，如果不滿足設(shè)定值要求，則需要進(jìn)行照度增強(qiáng)處理。其中，照度設(shè)定值是使用檢測(cè)方法對(duì)日常巡視圖像進(jìn)行照度檢測(cè)后得出的合理照度值范圍。若圖像照度已滿足要求，則進(jìn)一步進(jìn)行放電點(diǎn)的標(biāo)識(shí)，當(dāng)完成放電標(biāo)識(shí)后，即結(jié)束可見(jiàn)光圖像處理流程。

圖2 可見(jiàn)光圖像處理流程

2.2 照度增強(qiáng)理論

圖像增強(qiáng)是采用量化處理技術(shù)改善圖像的視覺(jué)效果，并選擇性地突出圖像中所關(guān)注的特征[4]。其中，針對(duì)圖像亮度不足的情況，Land于1963年提出Retinex圖像增強(qiáng)方法[5]。如圖3所示，該方法認(rèn)為人眼觀測(cè)到的圖像亮度是由光源照射分量和物體反射系數(shù)決定的，通過(guò)濾除照射分量，保留物體反射屬性，實(shí)現(xiàn)低照度圖像的增強(qiáng)。與一些線性圖像增強(qiáng)只能處理某一類特征不同，Retinex方法可以綜合平衡動(dòng)態(tài)范圍壓縮、邊緣增強(qiáng)和顏色恒常等因素，從而實(shí)現(xiàn)對(duì)不同圖像的自適應(yīng)增強(qiáng)[6]。

圖3 Retinex理論中的圖像分解

可用以下公式表示：

S(x,y)=R(x,y)·L(x,y)

(1)

其中，S(x,y)為最后拍攝觀測(cè)到的圖像，R(x,y)為反射圖像，L(x,y)為亮度圖像?；赗etinex方法的圖像增強(qiáng)方法中，圖像由入射圖像和反射圖像構(gòu)成。圖像的處理公式如下：

(2)

上式中，r(x,y)為處理后圖像的對(duì)數(shù)值，F(xiàn)(x,y)是中心環(huán)繞函數(shù)，c為高斯環(huán)繞尺度，λ是調(diào)節(jié)尺度。因此，得到圖像表達(dá)式如下：

r(x,y)=logS(x,y)-log[F(x,y)?S(x,y)]

(3)

從上式可以看出，Retinex算法通過(guò)中心環(huán)繞函數(shù)實(shí)現(xiàn)圖像的處理。

2.3 放電點(diǎn)的自動(dòng)標(biāo)識(shí)

在圖像增強(qiáng)處理后，放電點(diǎn)在圖像以淡藍(lán)色區(qū)域呈現(xiàn)，為了進(jìn)一步標(biāo)識(shí)出放電點(diǎn)區(qū)域，采用區(qū)域生長(zhǎng)算法進(jìn)行放電區(qū)域標(biāo)識(shí)。

①在已有的歷史圖像中，提取包含放電點(diǎn)的圖像區(qū)域，并分析圖像區(qū)域中心點(diǎn)的圖像像素特征值，并設(shè)定為種子像素的選擇標(biāo)準(zhǔn)。

②對(duì)待處理的圖像進(jìn)行掃描，進(jìn)行種子像素的特征匹配，確定圖中的第i個(gè)種子像素(xi，yi)，并設(shè)置堆棧Ti。

③以(xi，yi)為中心，以r為半徑進(jìn)行區(qū)域擴(kuò)展，搜索區(qū)域內(nèi)與種子像素匹配的點(diǎn)，如果匹配，則將該點(diǎn)寫入堆棧Ti；如果未發(fā)現(xiàn)匹配的像素點(diǎn)，則結(jié)束生長(zhǎng)。

④在第3步中完成堆棧寫入后，繼續(xù)增加生長(zhǎng)半徑為r+step，其中step為生長(zhǎng)次數(shù)，并重復(fù)第3步計(jì)算。

3 紅外圖像智能處理方法

3.1 紅外圖像處理流程

目前，學(xué)者針對(duì)紅外圖像處理技術(shù)開(kāi)展了諸多研究，特別是深度學(xué)習(xí)算法逐漸成為處理紅外圖像的有效方法，但在紅外圖像目標(biāo)提取以及溫度解析方面，不同研究之間還存在差異，需要根據(jù)具體場(chǎng)景進(jìn)行優(yōu)化設(shè)計(jì)[7-9]。本文根據(jù)無(wú)人機(jī)拍攝紅外圖像特點(diǎn)和現(xiàn)場(chǎng)作業(yè)流程，制定紅外圖像處理過(guò)程如圖4所示。原始的紅外圖像中包括溫度數(shù)值信息，通過(guò)圖像預(yù)處理得到了RGB圖像和溫度數(shù)值矩陣。然后，為了提升目標(biāo)分割提取的準(zhǔn)確度，在利用U-net模型進(jìn)行絕緣子分割時(shí)，將紅外圖像和溫度數(shù)值都進(jìn)行特征挖掘和融合。在分割圖像后，再進(jìn)一步定位絕緣子中心線，并映射到溫度矩陣中，從而得到絕緣子的中心線溫度。最后，再利用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)絕緣子的狀態(tài)進(jìn)行智能診斷。

圖4 基于特征融合的紅外圖像處理流程

3.2 基于U-net的分割模型

3.2.1 U-net模型簡(jiǎn)介

U-net算法最早由 Olaf Ronneberger等人于2015年首次提出，并成功應(yīng)用于醫(yī)學(xué)影像的分割[10]。U-net由下采樣路徑、上采樣路徑和跨層融合三部分組成，構(gòu)成了一個(gè)“U”型結(jié)構(gòu)，如圖5所示。U-net網(wǎng)絡(luò)采用了編碼器—解碼器的結(jié)構(gòu)。其中，編碼器是對(duì)圖像進(jìn)行特征提取，通過(guò)多層卷積運(yùn)算和下采樣，得到尺寸較小的特征圖；解碼器則是通過(guò)上采樣對(duì)特征圖進(jìn)行尺寸恢復(fù)，同時(shí)在尺寸恢復(fù)過(guò)程中，通過(guò)跨層連接，將下采樣過(guò)程的中間輸出特征與上采樣的特征進(jìn)行融合，直至恢復(fù)到原始圖像的大小。

圖5 原始U-net模型框架

3.2.2 復(fù)合絕緣子目標(biāo)處理

首先進(jìn)行紅外圖像溫度數(shù)值提取。對(duì)無(wú)人機(jī)拍攝的紅外圖像，利用Thermal SDK溫度數(shù)值轉(zhuǎn)化程序進(jìn)行轉(zhuǎn)化，如圖6所示。通過(guò)溫度數(shù)值轉(zhuǎn)換，實(shí)現(xiàn)了紅外圖像中每一個(gè)像素點(diǎn)溫度數(shù)值的解析。

(a)紅外原圖 (b)數(shù)值矩陣(Excel色階)

在紅外圖像溫度數(shù)據(jù)提取的基礎(chǔ)上，進(jìn)一步開(kāi)展絕緣子的分割提取和定位，如圖7所示。

圖7 紅外圖像分割及中心線定位

對(duì)于紅外圖像和溫度數(shù)值矩陣，通過(guò)利用U-net進(jìn)行特征提取和特征融合，可以得到紅外圖像中的復(fù)合絕緣子圖像。在紅外圖像分割的基礎(chǔ)上，需要進(jìn)一步對(duì)絕緣子在圖中的位置進(jìn)行定位。定位算法以單個(gè)絕緣子為對(duì)象進(jìn)行中心線定位。分割后，可以得到絕緣子上的點(diǎn)集合為I={(ix1,iy1),(ix2,iy2),...,(ixn,iyn)}，中間存在一條中心線，有m個(gè)點(diǎn)C={(cx1,cy1),(cx2,cy2),...,(cxm,cym)}，滿足以下條件：

①C?I；

②根據(jù)絕緣子的坐標(biāo)范圍，判定絕緣子是水平還是垂直方向，得到分割絕緣子的長(zhǎng)度值為l；

③垂直于復(fù)合絕緣子長(zhǎng)邊方向，將絕緣子劃為k個(gè)切片，第i個(gè)切片中，Si={(si,x1,si,y1),(si,x2,si,y2),...,(si,xp,si,yp)}，在每個(gè)切片中，選取一個(gè)中心點(diǎn)si，c=(si,xj,si,yj)，該點(diǎn)到切片內(nèi)其他點(diǎn)的距離之和最小，即min sum(d((si,xj,si,yj),(si,xq,si,yq)))，其中q=1,2,...,p，且q≠j。

④在確定k個(gè)切片中心后，根據(jù)長(zhǎng)度l進(jìn)行插值計(jì)算，得到與絕緣子長(zhǎng)度一致的中心線。

3.3 復(fù)合絕緣子缺陷診斷

在紅外圖像絕緣子中心線定位的基礎(chǔ)上，通過(guò)中心線的坐標(biāo)可以映射得到對(duì)應(yīng)的溫度曲線(沿絕緣子長(zhǎng)度方向的一組序列數(shù)據(jù))，因此，對(duì)絕緣子的狀態(tài)分析就是對(duì)序列數(shù)據(jù)進(jìn)行分類。

根據(jù)歷史數(shù)據(jù)統(tǒng)計(jì)，復(fù)合絕緣子的缺陷類型可分為芯棒酥朽、污閃導(dǎo)致傘裙發(fā)熱、高壓端發(fā)熱問(wèn)題。其特征總結(jié)為：

①芯棒酥朽。絕緣子有多處發(fā)熱點(diǎn)，且一處發(fā)熱點(diǎn)跨越多個(gè)傘裙；隨著酥朽程度的增加，溫升可達(dá)到40℃以上。

②污閃導(dǎo)致傘裙發(fā)熱。由于污染物、鹽霧等附著在絕緣子表面，導(dǎo)致電氣距離下降而引發(fā)閃絡(luò)，通常會(huì)有多處發(fā)生閃絡(luò)且是在兩個(gè)傘裙之間，溫升范圍在3～12℃。

③高壓端發(fā)熱。由于護(hù)套受潮、老化等因素，導(dǎo)致絕緣子靠近高壓部位發(fā)生溫升，發(fā)熱部位跨越多個(gè)傘裙，主要的溫升范圍在2～20℃之間。

根據(jù)上述不同缺陷特征，利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行復(fù)合絕緣子溫度序列數(shù)據(jù)的分類,如圖8所示。

圖8 絕緣子溫度序列分類處理

首先對(duì)數(shù)據(jù)進(jìn)行歸一化預(yù)處理?？紤]在還需要進(jìn)行序列填充(在序列的一端填充0)，為避免填充數(shù)值影響結(jié)果，因此將不同絕緣子的溫度數(shù)值統(tǒng)一轉(zhuǎn)化在[10,20]之間。

tg,i=10+(ti-tmin)/(tmax-tmin)×10

(4)

然后，對(duì)不同長(zhǎng)度的序列數(shù)據(jù)進(jìn)行填充。考慮絕緣子的最大長(zhǎng)度約占圖像的75%～80%，因此，填充后的數(shù)據(jù)長(zhǎng)度設(shè)置為500。

最后，對(duì)填充序列進(jìn)行一維卷積計(jì)算，輸出序列分類結(jié)果。

4 圖像處理測(cè)試結(jié)果

4.1 可見(jiàn)光圖像處理

夜巡圖像放電點(diǎn)查找中受到的干擾主要來(lái)自周圍光源，以福建地區(qū)某110kV線路夜巡圖像為例，選取2種不同背景下的巡視圖像，如圖9所示。圖9(a)為桿塔周圍有光源的情況，圖9(b)為桿塔周圍中無(wú)燈光的情況。

(a)背景有光源的圖像 (b)無(wú)明顯光源的圖像

對(duì)圖像照度進(jìn)行檢測(cè)，得到以上圖像的照度情況。其中，圖9(a)照度數(shù)值為37.91，圖9(b)照度為17.33(參考基準(zhǔn)為日常巡視正常圖片的照度數(shù)值約為120)。針對(duì)上述兩圖分別進(jìn)行圖像照度增強(qiáng)，結(jié)果如圖10和圖11所示?？梢钥闯?，絕緣子上放電部位都被標(biāo)識(shí)出，尤其是故障絕緣子上放電點(diǎn)的發(fā)現(xiàn)率超過(guò)80%，并且與紅外圖片中的發(fā)熱區(qū)域?qū)?yīng)。

(a)原始圖像 (b)增強(qiáng)圖像

(a)原始圖像 (b)增強(qiáng)圖像

4.2 紅外圖像處理

4.2.1 基本配置

本文所采用的紅外圖像數(shù)據(jù)集來(lái)源于某220kV以上輸電線路的復(fù)合絕緣子無(wú)人機(jī)紅外巡檢圖像庫(kù)。通過(guò)運(yùn)用Labelme軟件標(biāo)注復(fù)合絕緣子區(qū)域，生成JSON文件并獲得二值標(biāo)簽圖，作為網(wǎng)絡(luò)模型訓(xùn)練的標(biāo)簽。在訓(xùn)練服務(wù)器上進(jìn)行模型訓(xùn)練后，在應(yīng)用電腦上部署智能識(shí)別軟件。部署電腦的軟硬件配置情況如表1所示。

表1 配置參數(shù)

4.2.2 絕緣子溫度提取

直接利用歷史數(shù)據(jù)進(jìn)行紅外圖像處理模型測(cè)試，在絕緣子目標(biāo)提取的基礎(chǔ)上，可以進(jìn)一步進(jìn)行絕緣子溫度的提取分析，如圖12所示。

圖12 紅外圖像中絕緣子分割及溫度曲線分析

通過(guò)分析融合圖片和溫度數(shù)據(jù)矩陣的特征，有效防止特征的梯度消散，保證目標(biāo)區(qū)域的正確選取，同時(shí)降低了背景及周圍物體的干擾。在分割出的圖片中，目標(biāo)絕緣子邊緣清晰，可以準(zhǔn)確定位中心線位置，并實(shí)現(xiàn)絕緣子溫度值的提取。在得到絕緣子溫度分布曲線后，可以直接診斷絕緣子狀態(tài)。根據(jù)歷史數(shù)據(jù)特征，可以判定圖12中的復(fù)合絕緣子分別為污閃、正常狀態(tài)。

4.3 現(xiàn)場(chǎng)應(yīng)用測(cè)試

在實(shí)現(xiàn)可見(jiàn)光和紅外圖像處理功能的基礎(chǔ)上，為了實(shí)現(xiàn)夜間巡視圖像的現(xiàn)場(chǎng)快速處理，通過(guò)軟件開(kāi)發(fā)將可見(jiàn)光圖像照度增強(qiáng)、紅外圖像絕緣子識(shí)別定位、絕緣子狀態(tài)判斷等功能進(jìn)行集成。2021年11月，作業(yè)人員使用M300無(wú)人機(jī)對(duì)莆田地區(qū)某220kV輸電線路桿塔復(fù)合絕緣子進(jìn)行夜間巡視，同時(shí)拍攝可見(jiàn)光圖像和紅外圖像，并利用開(kāi)發(fā)的軟件在現(xiàn)場(chǎng)進(jìn)行圖像處理，如圖13所示。其中，可見(jiàn)光增強(qiáng)后的圖像能夠有效輔助作業(yè)人員在黑暗條件下進(jìn)行桿塔目標(biāo)的辨識(shí)；紅外圖像復(fù)合絕緣子自動(dòng)診斷，幫助作業(yè)人員快速完成對(duì)絕緣子狀態(tài)的判斷。

圖13 夜巡功能集成及現(xiàn)場(chǎng)測(cè)試應(yīng)用

5 結(jié)束語(yǔ)

本文提出了夜間巡視可見(jiàn)光和紅外圖像的處理技術(shù)，針對(duì)輸電線路絕緣子目標(biāo)，完成以下工作：

①對(duì)于夜間低照度可見(jiàn)光圖片，利用圖像照度增強(qiáng)算法實(shí)現(xiàn)圖像照度增強(qiáng)，并在圖中標(biāo)識(shí)出放電點(diǎn)，輔助夜間作業(yè)。

②以U-net模型為基礎(chǔ)，充分挖掘紅外圖像信息，將圖像特征和溫度數(shù)據(jù)特征進(jìn)行融合，提升了紅外圖像中的絕緣子目標(biāo)提取的準(zhǔn)確度。

③在圖像分割的基礎(chǔ)上，實(shí)現(xiàn)了復(fù)合絕緣子溫度提取，輔助作業(yè)人員進(jìn)行絕緣子狀態(tài)的判斷，同時(shí)開(kāi)展基于溫度數(shù)值的絕緣子狀態(tài)智能分析。

此外，首次在現(xiàn)場(chǎng)實(shí)現(xiàn)了夜間巡視圖像的就地分析處理，有效提升了夜間巡視的作業(yè)效率和設(shè)備狀態(tài)判斷的準(zhǔn)確度，后續(xù)還將繼續(xù)完善相關(guān)功能與作業(yè)流程的結(jié)合。