基于簡單線性迭代聚類優(yōu)化的無人機圖像去霧算法及其在風(fēng)電場中的應(yīng)用

劉廈，孫哲，仇梓峰*，胡炎

基于簡單線性迭代聚類優(yōu)化的無人機圖像去霧算法及其在風(fēng)電場中的應(yīng)用

劉廈1,3，孫哲2，仇梓峰1,3*，胡炎3

（1．中國電子科技集團(tuán)公司第五十四研究所，河北省 石家莊市 050081；2．海裝駐邯鄲地區(qū)軍事代表室，河北省 石家莊市 050081；3．中國電子科技集團(tuán)公司航天信息應(yīng)用技術(shù)重點實驗室，河北省 石家莊市 050081）

針對電力巡檢過程中無人機(unmanned aerial vehicle，UAV)載荷因受霧氣顆粒影響而導(dǎo)致UAV圖像不清晰的問題，提出一種基于簡單線性迭代聚類(simple linear iterative clustering，SLIC)優(yōu)化的UAV圖像去霧算法。通過霧天成像物理模型、暗通道先驗定律、同質(zhì)濾波與SLIC算法，改善電力巡檢圖像中白色區(qū)域及不均勻光照的影響，提升UAV圖像去霧處理的效率，并對大氣光強度參數(shù)進(jìn)行自適應(yīng)計算，以防止去霧過程中復(fù)原失真。實驗結(jié)果表明提出的算法可有效恢復(fù)電力巡檢圖像的原始細(xì)節(jié)，并通過主觀視覺評估及融合多種客觀評價指標(biāo)的對比，說明該算法相對于傳統(tǒng)算法的優(yōu)越性。

風(fēng)電場；電力巡檢；圖像去霧；同質(zhì)濾波；簡單線性迭代聚類(SLIC)

0 引言

電力線路是輸送電能的重要組成部分，對電力線路進(jìn)行定期的巡檢十分必要[1-2]。目前，已出現(xiàn)將無人機(unmanned aerial vehicle，UAV)遙感技術(shù)應(yīng)用于電力巡檢的案例[3-6]，可以大幅提高巡檢效率和安全性。在無人機對電力線路進(jìn)行高空巡檢時，必須保證其攜帶載荷能夠在電力線路所經(jīng)過地帶的復(fù)雜環(huán)境中采集到清晰的圖像數(shù)據(jù)，以免影響后續(xù)目標(biāo)的檢測和識別。但在霧霾天氣中存在較多的霧氣顆粒，UAV的成像系統(tǒng)會受到顆粒的反射、散射、吸收自然光的影響，從而造成UAV圖像質(zhì)量的下降，嚴(yán)重影響了后續(xù)巡檢任務(wù)的完成[7]。因此，在電力巡檢領(lǐng)域中，對UAV圖像進(jìn)行去霧算法的研究具有重要意義。

對圖像進(jìn)行去霧處理是計算機視覺中的一個重要任務(wù)，目前去霧方法主要分為基于圖像表面增強和內(nèi)在物理大氣模型2種方法[8]。前者對圖像中的顯著區(qū)域進(jìn)行突出，并通過增強多種色彩信息來實現(xiàn)圖像去霧，主要方法有直方圖均衡化增強算法[9]、小波變換去霧算法[10]、視網(wǎng)膜大腦皮質(zhì)論去霧算法[11]等，此類算法未考慮有霧圖像的內(nèi)在成因，雖然具有較快的處理速度，但會丟失圖像的細(xì)節(jié)信息[12]。后者對圖像的內(nèi)在物理大氣模型進(jìn)行研究，主要分為基于多幅圖像的去霧算法及基于單幅圖像的去霧算法，此類算法對霧霾天氣下的成像原理進(jìn)行剖析，去霧效果良好，得到了廣泛的應(yīng)用和研究。

基于多幅圖像的去霧算法主要取決于附加信息的深度或?qū)ν粓鼍暗亩啻斡^察。FANG等[13]根據(jù)散射光的不同偏振特性，使用2個或多個具有不同偏振度的相同場景圖像來恢復(fù)場景深度圖像。KOPF等[14]采用圖像的景深信息進(jìn)行除霧。NARASIMHAN等[15]提出了一種基于物理大氣散射的模型來恢復(fù)圖像內(nèi)在結(jié)構(gòu)?；诙喾鶊D像的去霧算法依賴于圖像之間的附加信息，未對圖像霧氣的成因進(jìn)行深入分析，存在一定的局限性。

基于單幅圖像的去霧算法結(jié)合先驗統(tǒng)計知識，并將霧度和其他雜質(zhì)作為圖像退化的主要原因，利用大氣環(huán)境下成像的概念，根據(jù)大氣散射生成退化模型。FATTAL[16]通過考慮表面投影和光透射的不相關(guān)性來估計場景透射率。MENG等[17]通過使用上下文正則化加權(quán)L1范數(shù)限制邊界的傳遞函數(shù)來建立模型。HE等[18]提出了一種暗通道先驗(dark channel prior)方法，認(rèn)為大多數(shù)沒有霧塊的自然圖像通常在色彩通道的一個小像素內(nèi)包含一些亮度值，稱為先驗暗通道?；趩畏鶊D像的去霧算法深入分析了圖像中霧氣存在的原因，涌現(xiàn)出多種有效可行的去霧理論方法，其中暗通道先驗方法具有較強的實用性。

暗通道先驗方法將現(xiàn)有知識與軟消光算法相結(jié)合，可以簡單而有效地恢復(fù)大部分霧度圖像，但當(dāng)場景中有白色物體存在或接近大氣光學(xué)特性時，去霧效果將有所降低?；贖E的去霧算法，研究人員提出了顏色轉(zhuǎn)移算法、雙邊濾波算法、貝葉斯優(yōu)化方法等多種改進(jìn)方法[19-21]，但是在電力巡檢時場景多變，輸電線路、風(fēng)力發(fā)電機圖像中常出現(xiàn)大片白色區(qū)域，現(xiàn)有基于先驗暗通道的衍生算法均表現(xiàn)不佳，有必要對其進(jìn)行改進(jìn)優(yōu)化。

針對電力巡檢中的復(fù)雜圖像，并考慮去霧過程中白色區(qū)域的影響，本文提出一種利用同質(zhì)濾波算子來改善UAV圖像，并采用簡單線性迭代聚類(simple linear iterative clustering，SLIC)優(yōu)化導(dǎo)向濾波計算方法的去霧算法。

1 圖像去霧處理模型

1.1 霧天成像物理模型

在天氣中存在霧霾因素時，物體表面上的光在傳播到UAV載荷的過程中會被漂浮在空氣中的霧霾顆粒散射，并伴隨傳輸過程而不斷衰減?；诖艘?guī)則，在霧天成像中描述圖像退化過程的大氣散射物理模型表示為

式中：()為UAV載荷拍攝到的原始有霧圖像；eg為衰減退化模型，代表光傳播在透射懸浮顆粒中的衰減退化過程，可表示為

其中()為待復(fù)原的清晰圖像，()為大氣透射參數(shù)率；L為大氣光模型，代表整體大氣全光路的散射作用，可表示為

1.2 暗通道先驗?zāi)Ｐ?/h3>

暗通道先驗?zāi)Ｐ蚚22]是一種基于大量室外無霧圖像統(tǒng)計數(shù)據(jù)的定律：在絕大多數(shù)圖像的局部區(qū)域中，總有一些像素存在至少一個低值的色彩通道，可表示為

式中：c()為原始圖像中的色彩通道；()為以為中心的像素區(qū)域；dark()為暗通道像素值，存在于?{,,}中的最小值。

暗通道先驗方法通過以下2個假設(shè)條件進(jìn)行去霧：1）假設(shè)圖像傳輸和暗通道信息的圖像在局部小尺度上是一致的；2）假設(shè)大氣光為恒定值。根據(jù)式(1)將兩側(cè)算子最小化，可得

將式(5)除以大氣光強度參數(shù)值，并計算其暗通道，可得

由暗通道先驗定律可知，無霧條件下的暗通道值()接近于0，大氣光強度參數(shù)值通常是一個相對較大的值，則由式(6)可得出大氣透射參數(shù)率：

式中c為去霧控制閾值，本文設(shè)置為0.11，可有效防止()趨于0時導(dǎo)致的霧圖噪聲化。

1.3 SLIC超像素分割

SLIC算法[23]根據(jù)像素顏色與距離相似度進(jìn)行分割，具有效率高且生成的超像素塊大小均致、輪廓規(guī)則等優(yōu)點，廣泛應(yīng)用于無人機、遙感檢測等圖像分割中。原始的SLIC超像素分割算法步驟為：1）根據(jù)圖像大小劃分網(wǎng)格并初始化聚類中心；2）在相鄰區(qū)間中移動聚類中心到最小梯度位置；3）在每個聚類中心附近空間相鄰區(qū)域內(nèi)，由距離測量公式設(shè)置最佳匹配像素；4）計算新聚類中心誤差，滿足閾值后強制連通性。其中所涉及的距離測量如下：

2 基于SLIC優(yōu)化的去霧算法

2.1 改進(jìn)的同質(zhì)濾波算法

為了消除白色區(qū)域的影響并增強圖像細(xì)節(jié)，將基于頻域的同質(zhì)濾波算法[24]用于初期圖像處理，可保證高亮顯示的圖像質(zhì)量，同時增強圖像細(xì)節(jié)。

圖像的同質(zhì)濾波建立在基于入射光和反射光的圖像模型上。將圖像函數(shù)(,)表示為照明函數(shù)(,)和反射函數(shù)(,)的乘積，圖像模型及其取值范圍如下：

通過對式(12)取對數(shù)、傅里葉變換頻域、選取濾波函數(shù)來控制右側(cè)分量，可得濾波結(jié)果：

式中：(,)、(,)、(,)分別為(,)、(,)、(,)的頻域函數(shù)；(,)為濾波函數(shù)，常用高斯型、巴特沃斯型濾波函數(shù)，但其參數(shù)較多且計算復(fù)雜。

本文提出一種改進(jìn)的同質(zhì)濾波函數(shù)：

式中：(,)為頻率點(,)到濾波器中心點的距離；和的取值范圍分別為0.7￡￡1.4和0.01￡￡0.5。改進(jìn)的同質(zhì)濾波算法取=1.06，=0.35，由此得到的濾波效果如圖1所示。

圖1 同質(zhì)濾波效果對比

由圖1可知，使用同質(zhì)濾波算法對原圖的光照補償均有一定的增強效果，但是圖1(b)增加了很多噪聲；而在圖1(c)中，其白色區(qū)域亮度得到較大改善且提升了整體亮度及清晰度，證明了改進(jìn)的同質(zhì)濾波算法的優(yōu)越性。

2.2 基于SLIC的導(dǎo)向濾波改進(jìn)算法

1.2節(jié)中使用軟摳圖算法對()進(jìn)行細(xì)化，使時間復(fù)雜度有所增加，可使用導(dǎo)向濾波算法[25]提高處理速度和()計算的準(zhǔn)確度，并結(jié)合降維的SLIC算法對導(dǎo)向濾波算法進(jìn)行優(yōu)化改進(jìn)。

導(dǎo)向濾波是一種可對邊緣進(jìn)行保持的平滑濾波器，可以對背景進(jìn)行有效平滑并保持圖像的邊緣細(xì)節(jié)，其濾波表達(dá)式如下：

式中：表示輸出圖像；表示導(dǎo)向圖像；表示輸入圖像；為窗口半徑；為窗口像素；為正則化系數(shù)；a和b為窗口常系數(shù)；w表示濾波窗口，w的約束方程為

通過對約束方程取最小值來使輸入、輸出圖像之間的偏差最小，得到的常規(guī)系數(shù)a和b分別表示如下：

導(dǎo)向濾波窗口w位于局部小區(qū)域中，類似于SLIC中聚類中心附近的超像素塊。本文將SLIC算法中的超像素塊代替w，對每個超像素區(qū)域進(jìn)行式(20)與(21)的計算，并降低SLIC的特征維度，如式(22)、(23)所示。

式中：表示SLIC的超像素塊；為每個像素點與聚類中心的距離；D為灰度特征距離；D為空間特征距離；g和g分別為、點的灰度顏色空間坐標(biāo)。

由圖2可知，利用基于SLIC的導(dǎo)向濾波改進(jìn)算法對()的計算進(jìn)行優(yōu)化，使細(xì)節(jié)輪廓清晰化，接近于原始圖像。

2.3 優(yōu)化后的圖像去霧算法

圖3 基于SLIC優(yōu)化的UAV圖像去霧算法流程圖

3 實驗結(jié)果及分析

3.1 主觀評估

對輸電線路進(jìn)行電力巡檢的UAV圖像去霧處理結(jié)果如圖4所示，圖4(a)是在霧霾環(huán)境下拍攝的原圖，圖4(b)—(d)分別為使用本文算法、HE算法[18]及PEI算法[19]對原圖進(jìn)行去霧后的圖像。由圖4可看出，HE算法對原圖的對比度有所增強，但部分區(qū)域存在光暈及塊效應(yīng)；PEI算法減弱了光暈效應(yīng)，但整體顏色偏暗；本文算法的處理效果整體通透，復(fù)原了真實場景顏色，且去除了白色區(qū)域的影響，使得輸電塔的邊緣細(xì)節(jié)更為清晰。

圖4 輸電線路去霧處理結(jié)果

為進(jìn)一步驗證本文算法的適用性，對電力巡檢中的風(fēng)力發(fā)電機圖像進(jìn)行去霧處理，如圖5所示。由圖5可知，HE算法對近景區(qū)域的去霧效果不佳，且去霧后的整體明亮度降低；PEI算法在一定程度上改善了原圖的霧度，但是圖像白色區(qū)域附近存在細(xì)節(jié)信息丟失，天空區(qū)域也存在一些噪點；而本文算法考慮到白色區(qū)域的影響，復(fù)原后的圖像去霧效果較為徹底，風(fēng)力發(fā)電機細(xì)節(jié)清晰，視覺效果良好。

3.2 客觀評估

去霧算法的客觀評估是基于數(shù)學(xué)模型得到的量化指標(biāo)，可以對實驗結(jié)果進(jìn)行更加準(zhǔn)確的衡量。本文采用對比度、色偏度及信息熵3個指標(biāo)對3種算法進(jìn)行評估，各指標(biāo)的計算公式如下：

式中：為對比度，表示圖像細(xì)節(jié)的表達(dá)能力；()表示像素點的亮度；為像素點個數(shù)；為色偏度，表示顏色的偏離程度；、分別為空間中、的均值；為空間中的均方差；th為偏離閾值；N為信息熵，表示圖像信息的豐富程度；為灰度級數(shù)；()為灰度級的分布概率。

以上3個指標(biāo)中，與N越大、越小，表明圖像去霧后的整體質(zhì)量越優(yōu)。使用本文算法、HE算法及PEI算法對圖4、5中的圖像各指標(biāo)進(jìn)行計算并統(tǒng)計，結(jié)果如表1所示，其中粗體為各指標(biāo)的最佳值。

由表1可知，與HE、PEI算法相比，本文算法顯著提升了原圖的對比度，并有效降低了非一致性顏色偏離程度；同時本文算法的信息熵值均最大，說明可明顯去除電力巡檢UAV圖像的霧氣，并復(fù)原圖像中的大量細(xì)節(jié)信息。3種算法的去霧處理時間如表2所示，可見本文算法可有效提升去霧算法的計算效率，降低處理時間。

表1 3種算法的去霧性能客觀評估

表2 3種算法的去霧處理時間

4 結(jié)論

針對無人機在電力巡檢過程中采集圖像的特點，使用同質(zhì)濾波、SLIC、導(dǎo)向濾波等算法，對單幅圖像去霧算法進(jìn)行了適應(yīng)性優(yōu)化，有效解決了UAV圖像中白色區(qū)域及不均勻光照對去霧過程的影響，并通過對多種參數(shù)的優(yōu)化加快了去霧算法的處理速度。實驗結(jié)果表明：在多種電力巡檢場景下，所提算法在主觀視覺評估和客觀參數(shù)指標(biāo)上均比傳統(tǒng)算法表現(xiàn)好。下一步，將結(jié)合多樣化及晴天條件下的電力巡檢過程，對復(fù)雜背景下的UAV圖像進(jìn)行更加深入的去霧研究。

[1]宋慧娟．基于混合現(xiàn)實的人工智能在電力巡檢中的應(yīng)用[J]．電網(wǎng)與清潔能源，2020，36(2)：75-79．

SONG H J．Application of the artificial intelligence based on mixed reality in power patrol inspection service[J]．Power System and Clean Energy，2020，36(2)：75-79．

[2]孫旭日，李延真，彭博，等．基于生成對抗網(wǎng)絡(luò)和深度殘差神經(jīng)網(wǎng)絡(luò)的變電站異物檢測[J]．電網(wǎng)與清潔能源，2020，36(9)：68-75．

SUN X R，LI Y Z，PENG B，et al．Substation foreign object detection based on generative adversarial network and deep residual neural network[J]．Power System and Clean Energy，2020，36(9)：68-75．

[3]楊東升，王道浩，周博文，等．泛在電力物聯(lián)網(wǎng)的關(guān)鍵技術(shù)與應(yīng)用前景[J]．發(fā)電技術(shù)，2019，40(2)：107-114．

YANG D S，WANG D H，ZHOU B W，et al．Key technologies and application prospects of ubiquitous power internet of things[J]．Power Generation Technology，2019，40(2)：107-114．

[4]彭福先，張瑋，祝曉軍，等．基于激光點云精確定位的輸電線路無人機自主巡檢系統(tǒng)研究[J]．智慧電力，2019，47(7)：117-122．

PENG F X，ZHANG W，ZHU X J，et al．Autonomous patrol and inspection system of unmanned aerial vehicle for electric transmission lines based on precise positioning of laser point cloud[J]．Smart Power，2019，47(7)：117-122．

[5]仇梓峰，王爽心，李蒙．基于無人機圖像的風(fēng)力發(fā)電機葉片缺陷識別[J]．發(fā)電技術(shù)，2018，39(3)：277-285．

QIU Z F，WANG S X，LI M．Defect detection of wind turbine blade based on unmanned aerial vehicle-taken images[J]．Power Generation Technology，2018，39(3)：277-285．

[6]毛天奇，王傳策，李云，等．基于SGC算法的復(fù)雜背景無人機巡檢圖像輸電線提取方法[J]．智慧電力，2018，46(12)：105-111．

MAO T Q，WANG C C，LI Y，et al．Transmission line extraction method based on SGC stereo matching algorithm for UAV inspection image under complex background[J]．Smart Power，2018，46(12)：105-111．

[7]王丹，李建岐，廖斌．基于優(yōu)化去霧算法的配網(wǎng)開關(guān)狀態(tài)視頻識別技術(shù)研究[J]．電力信息與通信技術(shù)，2017，15(10)：31-37．

WANG D，LI J Q，LIAO B．Research on video recognition technology of distribution switch based on optimized defogging algorithm[J]．Electric Power Information and Communication Technology，2017，15(10)：31-37．

[8]禹晶，徐東彬，廖慶敏．圖像去霧技術(shù)研究進(jìn)展[J]．中國圖象圖形學(xué)報，2011，16(9)：1561-1576．

YU J，XU D B，LIAO Q M．Image defogging：a survey[J]．Journal of Image and Graphics，2011，16(9)：1561-1576．

[9]KIM J Y，KIM L S，HWANG S H．An advanced contrast enhancement using partially overlapped sub-block histogram equalization[J]．IEEE Transactions on Circuits and Systems for Video Technology，2001，11(4)：475-484．

[10]XIE C H，QIAO W W，ZHANG X X，et al．Single image dehazing algorithm using wavelet decomposition and fast kernel regression model[J]．Journal of Electronic Imaging，2016，25(4)：43-58．

[11]肖勝筆，李燕．具有顏色保真性的快速多尺度Retinex去霧算法[J]．計算機工程與應(yīng)用，2015，51(6)：176-180．

XIAO S B，LI Y．Fast multiscale Retinex algorithm of image haze removal with color fidelity[J]．Computer Engineering and Applications，2015，51(6)：176-180．

[12]GAO Y K，CHEN H Y，LI H B，et al．Single image dehazing using local linear fusion[J]．IET Image Processing，2018，12(5)：637-643．

[13]FANG S，XIA X S，HUO X，et al．Image dehazing using polarization effects of objects and airlight[J]．Optics Express，2014，22(16)：195-211．

[14]KOPF J，NEUBERT B，CHEN B，et al．Deep photo：model-based photograph enhancement and viewing[J]．ACM Transactions on Graphics，2008，27(5)：116-125．

[15]NARASIMHAN S G，NAYAR S K．Contrast restoration of weather degraded images[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(6)：711-724．

[16]FATTAL R．Single image dehazing[J]．ACM Transactions on Graphics，2008，27(3)：1-13．

[17]MENG G，WANG Y，DUAN J，et al．Efficient image dehazing with boundary constraint and contextual regularization[C]//2013 IEEE International Conference on Computer Vision．IEEE，2014：1-13．

[18]HE K M，SUN J，TANG X O，et al．Single image haze removal using dark channel prior[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33(12)：2341-2353．

[19]PEI S C，LEE T Y．Nighttime haze removal using color transfer pre-processing and dark channel prior[C]// 2012 19th IEEE International Conference on Image Processing (ICIP)．IEEE，2012：3-15．

[20]FENG C，ZHUO S，ZHANG X，et al．Near-infrared guided color image dehazing[C]//2013 IEEE International Conference on Image Processing．IEEE，2013：1-13．

[21]BUI T M，TRAN H N，KIM W，et al．Segmenting dark channel prior in single image dehazing[J]．Electronics Letters，2014，50(7)：516-518．

[22]YUE B X，LIU K L，WANG Z Y，et al．Accelerated haze removal for a single image by dark channel prior[J]．Frontiers of Information Technology & Electronic Engineering，2019，20(8)：1109-1118．

[23]CONG J，WEI B，YIN Y，et al．Performance evaluation of simple linear iterative clustering algorithm on medical image processing[J]．Bio-medical Materials and Engineering，2014，24(6)：3231-3238．

[24]SHAHAMAT H，POUYAN A A．Face recognition under large illumination variations using homomorphic filtering in spatial domain[J]．Journal of Visual Communication and Image Representation，2014，25(5)：970-977．

[25]QU J，LI Y，DONG W．Fusion of hyperspectral and panchromatic images using an average filter and a guided filter[J]．Journal of Visual Communication & Image Representation，2018：52-63．

Unmanned Aerial Vehicle Image Dehazing Algorithm Based on Simple Linear Iterative Clustering Optimization and Its Application in Wind Farm

LIU Sha1,3, SUN Zhe2, QIU Zifeng1,3*, HU Yan3

(1. The 54th Research Institute of CETC, Shijiazhuang 050081, Hebei Province, China; 2. Military Representatives Office of NED in Handan, Shijiazhuang 050081, Hebei Province, China; 3. Key Laboratory of Aerospace Information Applications of CETC, Shijiazhuang 050081, Hebei Province, China)

In order to solve the problem that the unmanned aerial vehicle (UAV) image is not clear due to the influence of fog particles, a UAV image dehazing algorithm based on simple linear iterative clustering (SLIC) optimization was proposed. Through the physical model of fog imaging, the prior law of dark channel, homogeneous filtering and SLIC algorithm, the influence of white area and uneven light in power inspection image was improved, the efficiency of UAV image dehazing was improved, andthe adaptive calculation of atmospheric light intensityparameters was carried out to prevent the distortion in the dehazing process. The experimental results show that the algorithm can effectively restore the original details of the power inspection image. Through the comparison of subjective visual evaluation and fusion of a variety of objective evaluation indexes, it shows the superiority of the algorithm compared with the traditional algorithms.

wind farm; power inspection; image dehazing; homogeneous filtering; simple linear iterative clustering (SLIC)

10.12096/j.2096-4528.pgt.20006

TK83; TP391.41

國家重點研發(fā)計劃項目(2017YFB0503003)。

Project Supported by National Key Research & Development Program of China (2017YFB0503003).

2020-03-17。

(責(zé)任編輯 尚彩娟)