基于無(wú)人機(jī)航拍圖像的輸電線異物檢測(cè)算法研究

于國(guó)軍，鄒梓龍，付 小，彭佳琪，施陳敬

(1. 東華理工大學(xué)測(cè)繪工程學(xué)院, 330013, 南昌;2.東華理工大學(xué)地球科學(xué)學(xué)院, 330013, 南昌; 3.廣東國(guó)地資源與環(huán)境研究院, 510000, 廣州)

0 引言

電力是我國(guó)安全生產(chǎn)與國(guó)民生活的重要基礎(chǔ)，對(duì)輸電線路的定期巡檢是保障電力安全的重要措施之一。目前我國(guó)對(duì)輸電線路巡檢還是以傳統(tǒng)人工巡檢為主，然而我國(guó)輸電線路覆蓋廣闊、地理?xiàng)l件復(fù)雜多變、部分地區(qū)氣候環(huán)境惡劣的特點(diǎn)，給輸電線路巡檢工作帶來(lái)了重大挑戰(zhàn)[1-2]。近年來(lái)，通過(guò)無(wú)人機(jī)結(jié)合圖像處理技術(shù)自動(dòng)識(shí)別電力線上的可見異物成為熱點(diǎn)，應(yīng)用圖像處理和模式識(shí)別等多種理論，可以提取異物區(qū)域懸掛的信息，從而有效提高輸電線路巡檢的自動(dòng)化，彌補(bǔ)傳統(tǒng)人工巡檢的缺點(diǎn)，減輕巡檢人員勞動(dòng)強(qiáng)度[3]。

在日常輸電線路巡檢中輸電線受到異物(如風(fēng)箏、塑料袋、氣球等)影響是電力安全的主要威脅，當(dāng)異物懸掛在輸電線路上，會(huì)縮短放電距離引發(fā)電路短路，造成電力能源輸送中斷，導(dǎo)致大面積停電。因此，如何完整、有效、快速地從航拍圖像中識(shí)別異物成為重要的研究課題。在使用傳統(tǒng)圖像處理方法對(duì)電力線異物提取中，文獻(xiàn)[4]提出了一種基于形態(tài)學(xué)改進(jìn)的Otsu自適應(yīng)闌值分割算法，采用改進(jìn)的Otsu去除背景噪聲，使用梯度法獲取電力線邊緣位置，再利用Hough變換分析線路數(shù)量達(dá)到識(shí)別異物目的。文獻(xiàn)[5]提出一種基于線結(jié)構(gòu)感知的輸電線異物檢測(cè)方法，在水平與垂直方向梯度算子獲取復(fù)雜背景下線對(duì)象，對(duì)獲取的線對(duì)象分段分析灰度、線寬來(lái)識(shí)別輸電線上異物。傳統(tǒng)圖像處理方法的規(guī)則定義和參數(shù)配置均需人為參與，以致算法的自適應(yīng)能力降低。近年來(lái)，隨著深度神經(jīng)網(wǎng)絡(luò)的發(fā)展，各種神經(jīng)網(wǎng)絡(luò)模型也被應(yīng)用在異物識(shí)別之中。文獻(xiàn)[6]提出了一種簡(jiǎn)單有效的尺度直方圖匹配方法，設(shè)計(jì)了基于有向包圍盒回歸策略的網(wǎng)絡(luò)，準(zhǔn)確預(yù)測(cè)復(fù)雜背景下外來(lái)物體的空間位置和方位角以達(dá)到檢測(cè)電力線異物的目的。文獻(xiàn)[7]提出一種改進(jìn)膠囊網(wǎng)絡(luò)模型對(duì)輸電線路異物識(shí)別的方法，通過(guò)對(duì)電力線異物深度特征提取并改進(jìn)主膠囊層和動(dòng)態(tài)路由結(jié)構(gòu)達(dá)到電力線異物的識(shí)別。由于電力行業(yè)的特殊性，電力線異物為小概率事件并且一旦出現(xiàn)，巡檢人員會(huì)在第一時(shí)間內(nèi)清除，以至于異物數(shù)據(jù)獲取困難，并且國(guó)內(nèi)外均無(wú)無(wú)人機(jī)航拍電力線異物的開源數(shù)據(jù)庫(kù)，對(duì)于神經(jīng)網(wǎng)絡(luò)訓(xùn)練有很大的限制。

針對(duì)上述圖像中電力線異物提取問(wèn)題，本文提出一種關(guān)于電力線中線的異物檢測(cè)方法。彌補(bǔ)數(shù)據(jù)獲取困難與復(fù)雜背景的影響。首先，采用先驗(yàn)知識(shí)與最小二乘算法對(duì)電力線圖像中電力線興趣區(qū)獲取與中心線準(zhǔn)確提?。黄浯?，沿電力線中線方向上觀察像元的灰度變化通過(guò)閾值獲取顏色顯著的異物點(diǎn)，通過(guò)二值圖像判斷像元偏離電力線中心線距離進(jìn)而辨別是否有顏色相近的異物；最后，采用RCF邊緣檢測(cè)和種子區(qū)域生長(zhǎng)法提取異物范圍。

1 感興趣區(qū)的獲取

在航拍圖像中準(zhǔn)確識(shí)別異物故障的前提是對(duì)電力線的識(shí)別和準(zhǔn)確定位，例如斷股檢測(cè)、弧垂計(jì)算、覆冰厚度測(cè)量、危險(xiǎn)交跨物距離測(cè)量等[8-9]。

本文采用Hough變換對(duì)圖像中輸電線進(jìn)行提取[10]，該算法是將電力線近似看為直線。然而無(wú)人機(jī)近距離實(shí)際拍攝的圖像中電力線受下垂弧度影響在圖像中是一條曲線，因此無(wú)人機(jī)近距離拍攝的情況下使用Hough變換方法擬合的電力線與實(shí)際曲線不吻合。本文在使用Hough變換獲取電力線定位時(shí)，采用向其周圍擴(kuò)大20個(gè)像素點(diǎn)的方法來(lái)判定興趣區(qū)，為輸電線中心線的準(zhǔn)確擬合奠定基礎(chǔ)，如圖1所示。

圖1 獲取興趣區(qū)域結(jié)果圖

2 擬合電力線中心線

圖像分割是圖像處理中最困難的任務(wù)之一，本文采用Sauvola自適應(yīng)局部分割算法將圖像分割為目標(biāo)和背景兩類，利用局部閾值分割的方法將目標(biāo)和背景有效地區(qū)分[11-12]。首先通過(guò)興趣區(qū)的獲取減少了航拍圖像背景復(fù)雜的影響，然后用5×5模板對(duì)興趣區(qū)進(jìn)行中值濾波處理，使Sauvola自適應(yīng)局部分割算法能夠消除剩余噪聲的影響，保證最小二乘擬合曲線的準(zhǔn)確度[13]。

(1)

式中：mean為動(dòng)態(tài)窗口中像素灰度平均值，k為調(diào)整系數(shù)，R為灰度等級(jí)范圍值。

在Sauvola算法處理的基礎(chǔ)上用最小二乘算法根據(jù)目標(biāo)中像素位置進(jìn)行擬合，數(shù)學(xué)模型建立三次曲線，模型為y=a0+a1x+a2x2+a3x3，創(chuàng)建數(shù)組x、y，記錄二值圖中前景每個(gè)像素坐標(biāo)，放入x和y數(shù)組。依據(jù)最小二乘法偏差平方和最小原則，計(jì)算各點(diǎn)到擬合曲線的距離之和，即偏差平方和為：

(2)

為求得符合條件的a值，對(duì)等式右邊進(jìn)行求導(dǎo)計(jì)算，得到的等式表示成矩陣的形式，后化簡(jiǎn)為范德蒙德矩陣為：

(3)

由式(3)轉(zhuǎn)化矩陣計(jì)算得到了矩陣系數(shù)a0、a1、a2和a3同時(shí)得到擬合曲線，如圖2所示。

圖2 擬合輸電線路圖

3 輸電線異物判斷

3.1 灰度顯著性異物點(diǎn)判定

根據(jù)上述算法擬合出電力線在圖像中是一組貫穿圖像曲線，在實(shí)際生活中一條電力線為一種顏色，幾乎不會(huì)出現(xiàn)一條電力線上有幾種不同顏色，因此可以通過(guò)獲取中線穿過(guò)像素之間的灰度顯著性差異來(lái)判斷與電力線上是否有灰度差異較大的異物。首先對(duì)圖像進(jìn)行灰度化處理，然后采用5×5模板進(jìn)行中值濾波處理，消除數(shù)據(jù)采集時(shí)引入的噪聲點(diǎn)，最后獲取電力線中線穿過(guò)的像素灰度值。由圖3(a)可知，擬合的第2條輸電線中心線上部分像素灰度值偏離正常輸電線灰度值，即證明輸電線上懸掛有灰度顯著的異物時(shí)，在沿著輸電線中心線的方向上像素的灰度會(huì)發(fā)生劇烈變化。通過(guò)圖3(b)可知，在中心線穿過(guò)像素點(diǎn)的灰度直方統(tǒng)計(jì)圖中出現(xiàn)了多個(gè)峰值，因此設(shè)定中線穿過(guò)的像素直方統(tǒng)計(jì)圖中最大峰值所代表的灰度值為T，設(shè)定該興趣區(qū)電力線灰度值范圍為[T-30，T+30]，延電力線中線方向上連續(xù)3及以上的像素超出該范圍即判定為異物上像素點(diǎn)，最終獲取異物像素點(diǎn)坐標(biāo)，判斷結(jié)果如圖3(c)所示。

(a)各中心線經(jīng)過(guò)像素點(diǎn)灰度值

(b)各興趣區(qū)輸電線中心線穿過(guò)像素值圖與灰度直方統(tǒng)計(jì)圖

(c)獲取顯著異物點(diǎn)

中值濾波公式如下：

g(x,y)=Med{f(x-k,y-i),(k,i∈W)}

(4)

式中：g(x,y)為中值濾波處理后的圖像，Med為動(dòng)態(tài)窗口中像素中值，f(x,y)為原始圖像，W為選定的二維模板。

灰度值公式:

gray=0.299R+0.587G+0.114B

(5)

式中：gray為灰度值，R為紅色像素值，G為綠色像素值，B為藍(lán)色像素值。

3.2 灰度相似性異物點(diǎn)判定

通過(guò)灰度顯著性判斷能夠排除與電力線顏色相差較遠(yuǎn)的異物，但有些異物與電力線顏色相接近，因此異物處灰度值沒有較大的突變。灰度顯著性異物提取方法只能對(duì)灰度值相差30以上的異物進(jìn)行了檢測(cè)。本文利用歐式距離法判斷灰度相似性異物，首先進(jìn)行二值化，將電力線[T-30，T+30]范圍內(nèi)的像素值設(shè)定為1，其他像素值為0。然后進(jìn)行連通域搜索，對(duì)圖像像素從左到右、從上到下進(jìn)行遍歷。直到遍歷完整個(gè)圖像，并去除電力線中線不經(jīng)過(guò)的連通域，達(dá)到濾除興趣區(qū)內(nèi)與電力線相似噪聲目的。最后，用歐式距離遍歷連通域像素點(diǎn)與擬合電力線中心線的距離，求出每個(gè)點(diǎn)到電力線中心線的最短歐式距離，設(shè)定所有最短距離平均值2.5倍以上為異常點(diǎn)，記錄所判定的異常點(diǎn)的坐標(biāo)，判定結(jié)果如圖4所示。

歐式距離公式：

(6)

式中：f(d)為最短距離，aj為所有像素點(diǎn)坐標(biāo)，bi為電力線中心線穿過(guò)的電力線。

4 基于RCF網(wǎng)絡(luò)模型結(jié)合區(qū)域生長(zhǎng)算法獲取異物輪廓

通過(guò)上述方法判斷了輸電線上是否有顯著性異物，為了對(duì)目標(biāo)物體進(jìn)行精準(zhǔn)定位，需要得到目標(biāo)物體的輪廓信息。本文利用更豐富的卷積特征(RCF)的精確邊緣檢測(cè)器提取圖像內(nèi)整體邊緣[14]，

(a)異物相似圖像興趣區(qū)

(b)獲取相似異物點(diǎn)

該方法能夠大幅度減少數(shù)據(jù)量, 在保留重要結(jié)構(gòu)屬性的同時(shí), 剔除弱相關(guān)信息。

將BSDS500數(shù)據(jù)集[15]作為訓(xùn)練數(shù)據(jù)，它是一種應(yīng)用廣泛的邊緣檢測(cè)數(shù)據(jù)集，由200幅訓(xùn)練圖像、100幅驗(yàn)證圖像和200幅測(cè)試圖像組成。RCF網(wǎng)絡(luò)結(jié)構(gòu)是通過(guò)修改 VGG16 網(wǎng)絡(luò)結(jié)構(gòu)得到的，RCF網(wǎng)絡(luò)舍去所有的全連接層和第5個(gè)池化層之后，在每一階段卷積后都設(shè)立一個(gè)Elewise相加圖層，將該階段所有圖層相加融合，之后，RCF網(wǎng)絡(luò)將每個(gè)階段的累加圖層融合，進(jìn)行損失函數(shù)計(jì)算，這一改進(jìn)使得RCF網(wǎng)絡(luò)具有了混合輸出，可以充分利用語(yǔ)義信息和良好的細(xì)節(jié)要素來(lái)進(jìn)行邊緣檢測(cè)。圖5顯示了電力線異物圖像在RCF模型中從上到下每個(gè)階段的輸出[16]。

RCF網(wǎng)絡(luò)模型在設(shè)計(jì)損失函數(shù)時(shí)，將數(shù)據(jù)集中的每張圖像，根據(jù)人工標(biāo)記結(jié)果，產(chǎn)生一張邊緣概率圖，范圍從0到1。0表示在這個(gè)像素上沒有人標(biāo)記為邊緣點(diǎn)，1表示在這個(gè)像素上所有人都標(biāo)記為邊緣點(diǎn)，將像素點(diǎn)分為正樣品點(diǎn)和負(fù)樣品點(diǎn)。

損失函數(shù)為：

(7)

圖5 RCF網(wǎng)絡(luò)模型圖

使用訓(xùn)練好的RCF的網(wǎng)絡(luò)模型對(duì)原圖進(jìn)行邊緣檢測(cè)，獲取整張像中整體邊緣，以灰度顯著性或灰度相似性獲取的異物點(diǎn)作為種子區(qū)域生長(zhǎng)點(diǎn)的種子來(lái)進(jìn)行生長(zhǎng)。按照規(guī)定的生長(zhǎng)準(zhǔn)則逐步將種子點(diǎn)與一定領(lǐng)域內(nèi)符合生長(zhǎng)條件的像素合并成一個(gè)子區(qū)域，這個(gè)子區(qū)域繼續(xù)以該生長(zhǎng)條件在一定領(lǐng)域內(nèi)生長(zhǎng)，直到滿足生長(zhǎng)條件為止，即獲取了興趣區(qū)內(nèi)種子點(diǎn)在一定領(lǐng)域下迭代出的完整且獨(dú)立的一個(gè)連通域[15,17]。

對(duì)于灰度圖而言，生長(zhǎng)準(zhǔn)則一般設(shè)定為某個(gè)固定灰度閾值T，若種子像素與其鄰域像素之間的灰度差小于T，則將其鄰域像素納入目標(biāo)區(qū)域。即：

A[n]={(i,j)abs(g(x,y)-g(i,j))

|i-x|≤1，|j-y|≤1

(8)

其中：A[n]為目標(biāo)區(qū)域，g(x,y)為種子像素，g(i,j)為g(x,y)領(lǐng)域像素。

具體步驟：1)使用BSDS500數(shù)據(jù)根據(jù)RCF網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練；2)使用訓(xùn)練好的模型對(duì)圖像進(jìn)行邊緣檢測(cè)；3)對(duì)于顯著性異物，使用灰度顯著性異物點(diǎn)的作為種子點(diǎn)；4)對(duì)于顯著性異物，使用灰度相似性異物點(diǎn)的中心點(diǎn)作為種子生長(zhǎng)點(diǎn)；5)種子生長(zhǎng)點(diǎn)利用公式(8)進(jìn)行區(qū)域生長(zhǎng)，灰度差T設(shè)定為30并對(duì)生長(zhǎng)出的區(qū)域進(jìn)行范圍框標(biāo)記，結(jié)果如圖6所示。

(a) 灰度顯著圖種子區(qū)域檢測(cè)

(b) 灰度相似圖種子區(qū)域檢測(cè)

5 實(shí)驗(yàn)驗(yàn)證與批處理驗(yàn)證

利用本文算法對(duì)灰度顯著性異物與灰度相似性異物兩類圖像進(jìn)行處理。在電力線中線的基礎(chǔ)上利用灰度值的顯著性與相似性達(dá)到了電力線異物的完整提取，具體流程如圖7。

圖7 算法流程圖

為驗(yàn)證本文異物識(shí)別算法的泛化能力， 選取50張樣本，其中常見的異物樣本鳥窩、風(fēng)箏、氣球、塑料袋各10張，不含異物的樣本10張，將所有樣本進(jìn)行處理后識(shí)別并統(tǒng)計(jì)誤識(shí)率，誤識(shí)率表達(dá)式為

(9)

式中：Mr為誤判率；Nerror為被錯(cuò)誤分類的樣本數(shù)；Nsum為樣本總數(shù)量。

表1 誤檢識(shí)別率

通過(guò)批量實(shí)驗(yàn)發(fā)現(xiàn)，本文算法對(duì)鳥窩、塑料袋與電力線有較大的物理接觸的情況下檢測(cè)效果較好，但對(duì)于有些氣球、風(fēng)箏與電力線之間只靠一根細(xì)線懸掛，從圖像中看幾乎無(wú)物理接觸的情況下不能將異物檢測(cè)出來(lái)。原因是由于在該類情況下，順著電力線中線的方向上檢測(cè)不到灰度突變像素點(diǎn)，或存在1～2個(gè)突變像素點(diǎn)在濾波過(guò)程中被濾除。

6 結(jié)論

本文提出了一種基于電力線中線的異物提取的新方法，實(shí)現(xiàn)了對(duì)不同顏色的電力線異物進(jìn)行提取，該方法在事先檢測(cè)到的輸電線路興趣區(qū)域內(nèi)根據(jù)灰度圖像的顯著性與相似性，利用顏色和位置的特性獲取電力線上異物點(diǎn)位置。相比于傳統(tǒng)的異物檢測(cè)方法，該方法對(duì)于電力線顏色相近的異物也能夠提取出來(lái)，具有很好的實(shí)時(shí)性，并且提取出的異物具有較好的完整性。通過(guò)無(wú)人機(jī)采集的輸電線路圖像驗(yàn)證了該方法能有效提高對(duì)電力線異物提取可靠性，但驗(yàn)證數(shù)據(jù)較少。下一步擬打算收集大量電力線異物圖像進(jìn)行驗(yàn)證并且摸索針對(duì)細(xì)線懸掛異物的方法，提高異物識(shí)別準(zhǔn)確率。