李昊,周帥
(云南電網(wǎng)有限責(zé)任公司電力科學(xué)研究院,云南 昆明 650217)
變電設(shè)備缺陷檢測在保證電網(wǎng)安全穩(wěn)定運(yùn)行等方面有著非常重要的價值,近年來,隨著各類成像設(shè)備在變電站的安裝和使用,通過圖像來發(fā)現(xiàn)設(shè)備缺陷已經(jīng)成為變電站檢修人員的日常工作之一,但是由于變電站每天存儲的圖片或視頻較多,人工審核的壓力較大,且容易出現(xiàn)由于人眼疲勞而導(dǎo)致未能發(fā)現(xiàn)部分設(shè)備缺陷的問題。一般而言,變電站成像設(shè)備都暴露在自然環(huán)境中,由于條件限制,也很少有人去維護(hù),這就導(dǎo)致在拍攝到的圖片中經(jīng)常會有水汽、霧氣、灰塵等,其中,霧氣對圖片質(zhì)量的影響尤為嚴(yán)重,這些都對變電設(shè)備缺陷檢測有嚴(yán)重影響。因此,本文提出將去霧算法和深度學(xué)習(xí)算法相結(jié)合的方式來進(jìn)行缺陷監(jiān)測,使用暗通道去霧算法改善圖片質(zhì)量,然后使用YOLOV4對設(shè)備缺陷進(jìn)行檢測。
1.1.1 暗通道先驗(yàn)理論
基于暗通道先驗(yàn)的去霧算法實(shí)際上是一種統(tǒng)計(jì)意義上的算法,何愷明博士總結(jié)了大量的室外無霧圖像,發(fā)現(xiàn)了在無霧圖像中局部區(qū)域存在一些像素,這些像素中至少有一個顏色通道的像素非常低(低亮度值區(qū)域不包括天空區(qū)域),基于這一統(tǒng)計(jì)結(jié)論,定義了暗通道,公式如下所示。
其中,Jc代表圖像J的某一個顏色通道,而Ω(x)是以x為中心的一塊方形區(qū)域,Jdark為對應(yīng)的暗通道圖。對于圖像J而言,獲取其暗通道圖的流程是:先求出圖像中每個像素的三個顏色通道在鄰域窗口Ω(x)內(nèi)的最小值,組成一幅與原圖相同大小的灰度圖,再通過最小值濾波濾掉圖像中可能存在的白色場景目標(biāo)。暗通道圖的獲取示意圖如圖1所示。
圖1 暗通道圖的獲取示意圖
2)有霧條件下圖像退化模型
在計(jì)算機(jī)視覺和計(jì)算機(jī)圖形領(lǐng)域,一個常用來描述有霧圖像的成像模型是:
其中,I(x)表示有霧圖像,J(x)是要恢復(fù)的無霧的圖像,A是全局大氣光照,t(x)為透射率。要想計(jì)算出無霧圖像J(x),需要先求出全局大氣光照A和透射率t(x)。
3)暗通道去霧算法
暗通道去霧算法以暗通道先驗(yàn)理論為基礎(chǔ),借助暗通道圖估計(jì)出原始圖像中的全局大氣光照A和始粗糙透射率圖,然后使用軟摳圖(Soft Matting)算法對初始粗糙透射率進(jìn)行細(xì)化處理,最后根據(jù)大氣散射模型,實(shí)現(xiàn)對霧天圖像的清晰化去霧處理。
在何愷文博士的論文中給出了一種簡單有效的全局大氣光照計(jì)算方法:
1)降序排列暗通道圖中的各像素點(diǎn)灰度值,選擇前0.1%的灰度值像素點(diǎn);
2)在上一步選擇的像素點(diǎn)中,選取對應(yīng)霧天圖像中最大灰度值作為全局大氣光照的估計(jì)值。
1)初始透射率的計(jì)算
首先,假設(shè)已知全局大氣光照A的值,并且假設(shè)初始透射率在一個局部窗口區(qū)域內(nèi)為一恒定常數(shù)對式(2)進(jìn)行變形并在局部窗口區(qū)域內(nèi)進(jìn)行最小值濾波可得到下面的式子:
對式(3)在三個顏色通道上進(jìn)行最小值濾波可得到:
根據(jù)前述的暗通道先驗(yàn)理論,無霧圖像J的暗通道圖Jdark的像素點(diǎn)灰度值趨近于0,而且Ac為正值,所以有:
結(jié)合式(4)和式(5)可以得到初始透射率的預(yù)估值:
為防止霧氣的徹底去除,引入一個可以調(diào)節(jié)大小的參數(shù)因子w(o<w<1)防止霧氣被徹底除盡而導(dǎo)致人類視覺不能感受到圖像的景深。對式(6)的修正如下:
2)細(xì)化透射率的計(jì)算
式(7)得到的透射率只是一個粗略的估計(jì)值,若用該值來恢復(fù)圖像會導(dǎo)致去霧后的圖像中有嚴(yán)重的光暈現(xiàn)象,因此采用Matting Laplacian 算法對公式(7)中得到的初始透射率進(jìn)行改進(jìn)修正。用表示細(xì)化透射率t(x)的向量形式,表示初始透射率的向量形式,可得到如下?lián)p失函數(shù):
其中,T表示轉(zhuǎn)置矩陣,L表示m×n圖像的拉普拉斯矩陣,λ為正則化參數(shù)。元素為(i,j)時矩陣L的定義如下:
式中,Ii和Ij是圖像I在像素點(diǎn)i和j處的灰 度 值,δij為Kronecker De系 數(shù),Uk和Σk是以k為中心的窗口wk中像素的均值和協(xié)方差,|wk|是wk窗口中像素點(diǎn)的數(shù)量,ε(10-4-10-3)是一個正則化參數(shù),U3是一個(3×3)的單位矩陣。最小化損失函數(shù)可得到:
式中,U是與L大小相同的單位矩陣,λ是一個值較小的參數(shù)(一般設(shè)置為10-4),通過上式即可求出細(xì)化透射率。
選取3幅圖像進(jìn)行實(shí)驗(yàn),結(jié)果如圖2所示。從結(jié)果中可以看出,盡管經(jīng)過暗通道去霧后物體周圍會出現(xiàn)光暈現(xiàn)象,但是圖像的整體質(zhì)量提升了,更有利于物體缺陷的檢測,而且對于任一幅圖像,本文設(shè)置只有當(dāng)暗通道圖像的平均灰度值大于0.6的時候才進(jìn)行去霧操作,即只有圖像中出現(xiàn)濃霧的時候才進(jìn)行暗通道去霧,進(jìn)一步限制了光暈的影響。
圖2 暗通道去霧算法實(shí)驗(yàn)結(jié)果
YOLOV4目前是大家公認(rèn)的最新的YOLO系列算法,它是在YOLOV3的基礎(chǔ)上吸收了大量優(yōu)化技巧后形成的,其主要改進(jìn)有:將YOLOV3中卷積塊的激活函數(shù)和殘差模塊分別替換為Mish激活函數(shù)和CSPnet結(jié)構(gòu),形成了主干特征提取網(wǎng)絡(luò)CSPDarknet53;在CSPDarknet53的基礎(chǔ)上增加了加深卷積網(wǎng)絡(luò)的特征金字塔結(jié)構(gòu)( SPP), 針對不同級別的檢測器,選用PANet作為對不同骨干層進(jìn)行參數(shù)聚合的方法,此外優(yōu)化方法還包括Mosaic數(shù)據(jù)增強(qiáng)、余弦退火衰減學(xué)習(xí)率、自對抗訓(xùn)練等。YOLOV4的網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示。
圖3 YOLOV4網(wǎng)絡(luò)結(jié)構(gòu)圖
收集整理3000張變電設(shè)備的缺陷照片作為訓(xùn)練集,200張圖片作為測試集,訓(xùn)練集中隨機(jī)選取總數(shù)的10%作為驗(yàn)證集。將變電設(shè)備缺陷分為熔斷、滲漏和部件損壞3類,相關(guān)圖片示例如圖4所示。
圖4 常用的COCO數(shù)據(jù)集
本文訓(xùn)練時的硬件環(huán)境:GPU是NVIDIA Tesla V100,CPU是Intel i7,操 作 系 統(tǒng) 是Ubuntu 16.04.7 LTS,訓(xùn)練參數(shù)設(shè)置如下:訓(xùn)練批尺寸為8,學(xué)習(xí)率為1×10-3,epoch設(shè)置為100,使用早停法防止過擬合,當(dāng)驗(yàn)證集損失函數(shù)的值連續(xù)10個epoch沒有下降則停止訓(xùn)練。
訓(xùn)練結(jié)束后在測試集上檢驗(yàn)?zāi)P偷臋z測效果,相關(guān)指標(biāo)和檢測結(jié)果如圖5和圖6所示。
圖5 YOLOV4檢測變電設(shè)備缺陷的性能指標(biāo)
圖6 變電設(shè)備缺陷檢測結(jié)果
由于在部件損壞這一類缺陷中包含了缺損和破裂兩個小類,滲漏缺陷發(fā)生的部位一般會出現(xiàn)銹蝕的情況,導(dǎo)致滲漏部位的顏色各異,這些都導(dǎo)致部件損壞和滲漏兩類缺陷的檢測指標(biāo)偏低,后續(xù)將從細(xì)化缺陷分類、擴(kuò)充訓(xùn)練集等方面進(jìn)一步改進(jìn)。
本文使用深度學(xué)習(xí)方法實(shí)現(xiàn)了熔斷、部件損壞和滲漏3類變電設(shè)備缺陷的檢測,并且針對變電站攝像頭處于自然環(huán)境下,容易受到霧氣、水汽、灰塵的影響而導(dǎo)致成像質(zhì)量不佳的問題,使用了暗通道去霧算法對有霧圖像進(jìn)行處理,改善了待檢測圖像的質(zhì)量,從而提高檢測準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明,對三類缺陷的檢測基本滿足實(shí)際使用的要求。