基于自適應(yīng)加權(quán)的多尺度圖像融合研究

胡雪凱，羅 蓬，李鐵成，蔡玉汝，馬 娜，周雪青

（1.國網(wǎng)河北省電力有限公司電力科學(xué)研究院，河北 石家莊 050021；2.南瑞集團(tuán)（國網(wǎng)電力科學(xué)研究院）有限公司，江蘇 南京 210061；3.國網(wǎng)電力科學(xué)研究院武漢南瑞有限責(zé)任公司，湖北 武漢430074；4.中國科學(xué)院上海高等研究院，上海 201210）

0 引言

國家電網(wǎng)在2018年2月首次提出“泛在電力物聯(lián)網(wǎng)建設(shè)智慧企業(yè)”的信息通信戰(zhàn)略目標(biāo)，在2019年1月公布的1 號文件中年度重點(diǎn)工作首位便是“打造狀態(tài)全面感知、信息高效處理、應(yīng)用便捷靈活的泛在電力物聯(lián)網(wǎng)”。電力設(shè)備長時間在高壓、高負(fù)荷、高溫的工作環(huán)境下運(yùn)行，以及冰雪、臺風(fēng)、雷電、地震等惡劣自然環(huán)境的影響。利用多源異構(gòu)傳感數(shù)據(jù)組成電力系統(tǒng)的狀態(tài)感知和故障診斷系統(tǒng)[1]，如環(huán)境、微氣象數(shù)據(jù)、局放、紅外、電量等監(jiān)測數(shù)據(jù)，可見光、紅外、紫外等機(jī)器視覺數(shù)據(jù)、溫度、濕度、氣象、地理等環(huán)境數(shù)據(jù)，以及臺賬數(shù)據(jù)、巡檢數(shù)據(jù)等設(shè)備歷史數(shù)據(jù)組成。

1 紅外與可見光圖像融合方法

1.1 電力設(shè)備的常用圖像融合方法

機(jī)器視覺中的圖像處理技術(shù)在智能化運(yùn)維、實(shí)時態(tài)勢感知、電力系統(tǒng)最優(yōu)運(yùn)行調(diào)度等電力物聯(lián)網(wǎng)高級應(yīng)用場景中得到了廣泛的應(yīng)用，通過不同類型的機(jī)器視覺圖像傳感器組合搭配，如可見光與紅外圖像融合、可見光與紫外光圖像融合、可見光與毫米波圖像融合、CT 與MRI 的圖像融合、SAR 與紅外的圖像融合，對采集的圖像進(jìn)行配準(zhǔn)、分割、特征提取、目標(biāo)識別等圖像處理和計算機(jī)處理，形成高質(zhì)量的融合圖像[2-3]，實(shí)現(xiàn)全天候的智能巡視。例如，將機(jī)器視覺引入到輸電線的定期巡檢作業(yè)中，通過視頻及圖像分析提取輸電線圖像，提供智能巡檢服務(wù)，山東電科院早在2012年開展無人機(jī)實(shí)現(xiàn)高海拔區(qū)域的輸電線巡線[4]；將機(jī)器視覺與機(jī)器人相結(jié)合，開發(fā)變電站內(nèi)自動巡檢車；將機(jī)器視覺引入到高壓斷路器的機(jī)械特性判斷，進(jìn)行開關(guān)合閘位置判斷[5]，機(jī)器視覺技術(shù)也可進(jìn)行電力工程的入場安裝前結(jié)構(gòu)參數(shù)檢測。

當(dāng)電力設(shè)備發(fā)生接線接觸不良、接線錯誤、端子松動、開關(guān)切換不靈等故障，通常伴有電流和電壓的突變，造成局部或整體的異常發(fā)熱，據(jù)統(tǒng)計[6]熱故障在電力設(shè)備總故障的占比為80%。紅外成像利用紅外傳感器對發(fā)熱物體的敏感特性成像，優(yōu)點(diǎn)是對外界環(huán)境的影響不大，缺點(diǎn)是圖像中物體邊緣細(xì)節(jié)信息較少，對比度和清晰度較差；可見光成像是對場景信息的真實(shí)反映，優(yōu)點(diǎn)是有較高的紋理和邊緣細(xì)節(jié)，缺點(diǎn)天氣和自然光等環(huán)境因素對清晰度有直接影響。可以很好地防止由于惡劣的環(huán)境或者突發(fā)事件造成大規(guī)模停電。因此文中利用可見光、紅外熱圖像的互補(bǔ)性，通過圖像融合處理，避免單一圖像傳感器的缺點(diǎn)，同時獲得可見光的邊緣與細(xì)節(jié)信息與紅外的熱輻射目標(biāo)信息，提升對場景的感知和理解，并可全天候適用。

像素級融合是在圖像原始像素的基礎(chǔ)上通過一定的策略并計算新的像素值，融合后圖像含較多的原始圖像信息，有利于進(jìn)一步的分析處理。像素級融合包括空間域融合方法和變換域融合方法，空間域的算法主要有加權(quán)平均、基于PCA、基于HIS 色彩映射等融合方法，其中加權(quán)平均算法根據(jù)權(quán)重因子對圖像視覺效果的調(diào)整，較多低頻融合采用該方法；圖1(a)為高空輸電線路的紅外圖像，圖1(b)為高空輸電線路的可見光圖像，圖1(c)是加權(quán)平均融合圖像。融合圖像相較于可見光圖像總體的亮度和對比度有所下降，地面的樹木清晰度下降。

圖1 加權(quán)融合算法Fig.1 Weighted fusion algorithm

變換域的融合算法主要有拉普拉斯金字塔、離散余弦變換、小波變換和多尺度分解法等的融合方法。拉普拉斯金字塔分解[7]在融合過程中，有較多的冗余信息容易產(chǎn)生“阻塞”。離散余弦變換主要用于多聚焦圖像，圖2(a)和圖2(b)是一張前面時鐘清晰、一張后面時鐘清晰的兩組不同聚焦時鐘圖，圖2(c)是基于余弦算法的融合圖像，可以看出兩個時鐘的清晰度均提高了；小波變換除了具有塔型變換的特點(diǎn)，還具有較好方向性的視覺效果。

圖2 基于余弦變換的圖像融合處理Fig.2 Image fusion processing based on cosine transform

由于對熱故障檢測時，圖像中的色彩信息對圖像融合檢測的影響較小，因此文中后續(xù)處理采用灰度圖像。

1.2 基于小波變換的紅外與可見光融合方法

基于小波變換（wavelet transform，簡稱WT）的多尺度變換，具有方向選擇性、正交性、可變的時頻分辨率等特性，更加符合人眼對不同方向的高頻分量具有不同分辨率的視覺機(jī)制，可以獲得更好視覺效果的融合圖像。首先按照公式(1)進(jìn)行Mallat 離散小波對圖像分解，其中DjH、DjV、DjD是圖像在Cj－1尺度層上的近似分量、水平和垂直細(xì)節(jié)分量；j－1 為多尺度分解層數(shù)；r、c分別是圖像的行和列；H、G分別是低通、高通濾波器；Cj是第j層分解的低頻分量，是Cj－1上的近似。

將原圖像分解為一系列不同空間分辨率下不同頻帶的子圖，根據(jù)圖像子頻帶分別進(jìn)行小波系數(shù)的融合處理，組成全新的融合圖像的小波系數(shù)，對各分階層從高到低分別根據(jù)融合方案和算子進(jìn)行融合處理，形成融合圖像的小波系數(shù)，令H、G的共軛矩陣為H*，G*，按照公式(2)完成小波逆變換，恢復(fù)得到全新的融合圖像。

式中：，分別是低通、高通綜合濾波器。

圖3(a)和圖3(b)分別是高空輸電線的紅外光圖像和可見光圖像，圖3(c)是基于小波變換的融合圖像，可以看出融合圖像兼具紅外的對比度和可見光的細(xì)節(jié)，同時相較于圖1(c)的加權(quán)平均算法具有更好的對比度，適合人眼觀察。

圖3 基于小波變換的圖像融合處理Fig.3 Wavelet transform image fusion

2 基于自適應(yīng)加權(quán)的多尺度融合

2.1 自適應(yīng)加權(quán)小波圖像融合

目前基于小波變換的圖像融合方法的研究主要集中在：融合規(guī)則及融合算子的選擇，小波分解與重構(gòu)的形式。文獻(xiàn)[8]設(shè)計了一種基于邊緣選擇的低頻融合規(guī)則，高頻采用絕對值最大的融合規(guī)則，更好地保留圖像的邊緣信息。文獻(xiàn)[9]將離散小波應(yīng)用于遙感圖像的融合中，進(jìn)行小波變換時，采用行列降采樣。提出一種基于自適應(yīng)的多尺度的圖像融合算法，首先對圖像進(jìn)行多尺度小波變換分解，低頻子帶與源圖像近似，考慮到圖像拍攝可能有暗背景的情況，根據(jù)圖像能量的大小采用自適應(yīng)調(diào)節(jié)加權(quán)系數(shù)進(jìn)行融合，高頻子帶包含圖像紋理、邊緣等細(xì)節(jié)信息，選取絕對值最大的那個小波系數(shù)，最后將融合后的小波系數(shù)進(jìn)行小波逆變換，生成融合圖像，具體處理過程如圖4所示。

圖4 基于自適應(yīng)多尺度小波變換的圖像融合流程Fig.4 Image fusion process based on adaptive multi-scale wavelet transform

步驟一：按照公式(1)進(jìn)行Mallat 離散小波圖像分解；

步驟二：低頻子帶與源圖像近似，考慮到圖像拍攝可能有暗背景的情況，根據(jù)圖像能量的大小采用自適應(yīng)調(diào)節(jié)加權(quán)系數(shù)進(jìn)行融合，高頻子帶包含圖像紋理、邊緣等細(xì)節(jié)信息，選取絕對值最大的那個小波系數(shù)，具體融合規(guī)則在下面將詳細(xì)介紹；

步驟三：按照公式(2)進(jìn)行小波逆變換生成融合圖像。

2.2 融合算法方案

融合規(guī)則的設(shè)計是獲得高品質(zhì)融合圖像的重中之重[10]，常用的圖像融合規(guī)則有平均法、絕對值取大以及L1 范數(shù)等[11]，文中設(shè)計一種根據(jù)圖像的低頻和高頻不同特性，采用不同的融合規(guī)則。

1）低頻融合規(guī)則

低頻采用自適應(yīng)的加權(quán)融合規(guī)則，將圖像劃分為M×N塊，根據(jù)區(qū)域方差和能量大小自適應(yīng)加權(quán)調(diào)節(jié)因子調(diào)節(jié)后融合，實(shí)現(xiàn)區(qū)域自動調(diào)節(jié)融合，達(dá)到方差大的區(qū)域盡量保留到融合區(qū)域中，方差小的區(qū)域較小比例保留到融合圖像中，避免過多保留一幅圖片的信息，區(qū)域方差σ和能量E的計算公式為式(3)，其中u為局部區(qū)域的方差均值。

自適應(yīng)加權(quán)融合后的低頻子帶系數(shù)計算如公式(4)，式中ωA和ωB分別表示紅外圖像和可見光圖像B的權(quán)值，CJ(F,p)，CJ(A,p)，CJ(B,p)是像素點(diǎn)p對應(yīng)融合圖像、紅外圖像A 和可見光圖像B 在J層分解時的小波系數(shù)。當(dāng)圖像A 的區(qū)域能量大的時候，圖像A的融合比例較大，反之，當(dāng)圖像B 的區(qū)域能量大的時候，圖像B 的融合比例較大。

2）高頻融合規(guī)則

高頻采用絕對值最大的融合規(guī)則，融合后高頻子帶系數(shù)計算如公式(6)，式中VA,Ji(x,y)，VB,Ji(x,y)是圖像A 和B 高頻分量，取兩幅圖像中絕對值最大的那個系數(shù)作為融合圖像的高頻系數(shù)。

3 圖像融合算法仿真

3.1 圖像融合主觀評價

圖像融合源圖像分別采用已經(jīng)經(jīng)過配準(zhǔn)的高空輸電線和某變電站內(nèi)電力設(shè)備兩種場景可見光圖像和紅外光圖像，采用Matlab 軟件進(jìn)行算法實(shí)現(xiàn)。針對高空輸電線路的紅外光圖像和可見光圖像依次進(jìn)行加權(quán)平均算法、小波變換，小波變換系數(shù)平均加權(quán)算法，小波系數(shù)低頻采用自適應(yīng)加權(quán)和高頻采用最大值的融合算法（即本文的改進(jìn)算法）圖像融合后，圖5(a)為高空輸電線路的紅外光圖像，圖5(b)為高空輸電線路的可見光圖像，圖5(c)為采用加權(quán)平均算法的融合圖像，圖片整體偏暗，對比度相對其他方法較差，圖5(d)采用小波變換的融合圖像，圖5(e)采用小波變換后系數(shù)平均加權(quán)算法的融合圖像，融合后的圖像清晰度和對比度要好于圖5(c)和圖5(d)，圖5(f)是采用小波變換自適應(yīng)加權(quán)小波變換的融合圖像（即自適應(yīng)加權(quán)的多尺度圖像融合），清晰度和對比度要好于圖6(c)和圖5(d)，較圖5(e)具有更好的細(xì)節(jié)信息，更加適合人眼觀察。

圖5 不同融合算法的融合結(jié)果圖Fig.5 Fusion results of different fusion algorithms

圖6(a)為電力設(shè)備的紅外光圖像，圖6(b)為電力設(shè)備的可見光圖像，圖6(c)為小波變換系數(shù)進(jìn)行平均加權(quán)融合效果，圖6(d)為文中采用自適應(yīng)加權(quán)的多尺度融合效果，通過圖像的比對圖中設(shè)備的邊緣細(xì)節(jié)，圖6(d)的清晰度要好于圖6(c)的融合效果。

圖6 小波變換及改進(jìn)算法的圖像融合Fig.6 Image fusion of WT and improved algorithm

3.2 圖像融合客觀評價

圖像融合的客觀評價[12]通過數(shù)學(xué)計算方式進(jìn)行圖像質(zhì)量的評估的量化評價，可通過數(shù)值大小客觀評價，主要分為3 類：標(biāo)準(zhǔn)差（standard deviation，STD）、均值（MEAN）、平均梯度（average gradient，AG）和信息熵（entropy，EN）等基于統(tǒng)計特征的評價方法，標(biāo)準(zhǔn)差主要反映圖像像素值與灰度均值之間的離散程度，均值是圖像平均亮度的一個反映指標(biāo)，平均梯度是細(xì)節(jié)反差和紋理變化特征的一個反映指標(biāo)。信息熵反映圖像中包含平均信息量的多少；均方誤差、均方根誤差（root mean square error，RMSE）、信噪比等與理想?yún)⒖紙D像對比的評價方法，均方根誤差反映融合圖像與源圖像間的灰度差異；結(jié)構(gòu)相似度（structral similarity，SSIM）、交叉熵（cross entropy，CEN）等與源圖像聯(lián)系程度的評價方法，結(jié)構(gòu)相似度，用滑窗技術(shù)從結(jié)構(gòu)、對比度和亮度的失真角度計算。交叉熵主要反映與源圖像對應(yīng)像素的灰度差異。

以一幅M×N的圖像G為例，本文采用的幾種客觀評價指標(biāo)計算公式如式(7)所示。

式中：P(i)為灰度為i的像素數(shù)與總像素數(shù)的比；GF(i,j)是參考圖像；GR(i,j)是融合圖像；α，β，γ是權(quán)重系數(shù)（通常取1）；l(R,)，s(R,F)，z(R,F)是圖像R和F的亮度、對比度和結(jié)構(gòu)相似性。

上述客觀評價指標(biāo)中，均值、標(biāo)準(zhǔn)差、平均梯度、信息熵的數(shù)值越大，融合后的圖像包含的信息越多，細(xì)節(jié)和紋理豐富，融合效果越好。均方根誤差、結(jié)構(gòu)相似度、交叉熵的數(shù)值越小，與參考圖像或者源圖像的差異越小，融合后的圖像效果越好。

對圖5和圖6的圖像融合效果圖的客觀評價分別見表1和表2，通過表1客觀評價標(biāo)準(zhǔn)的對比，可以看到均方差、熵值和平均梯度在幾種融合算法那中表現(xiàn)最優(yōu)，融合的效果有所改善。

表1 高空輸電線圖像的融合客觀評價標(biāo)準(zhǔn)對比Table 1 Comparison of objective evaluation criteria for fusion of high-altitude transmission line images

通過表2的客觀評價指標(biāo)可以看出，文中采用自適應(yīng)加權(quán)的多尺度融合的標(biāo)準(zhǔn)差、熵值和平均梯度均有所提升，代表圖像信息量有所增加，包含的細(xì)節(jié)和紋理等特征信息變得更為豐富。結(jié)構(gòu)相似度和交叉熵值有所減少，代表著和原圖的差異性較小，融合效果較為理想。

表2 電力設(shè)備圖像融合客觀評價指標(biāo)對比Table 2 Comparison of objective evaluation indicators for image fusion of power equipment

4 結(jié)論

對電力應(yīng)用場景下紅外光和可見光的配準(zhǔn)圖像，進(jìn)行基于小波的多尺度變換的圖像融合，針對低頻子帶包含了亮度信息，高頻子帶因為包含了圖像的紋理、邊緣等細(xì)節(jié)信息的特征，提出了一種自適應(yīng)的多尺度融合算法，低頻子帶根據(jù)方差和能量的大小進(jìn)行自適應(yīng)加權(quán)平均處理，高頻子帶采用最大值保留更多信息，從測試結(jié)果可以看出，該融合算法既保留可見光圖像中的紋理細(xì)節(jié)、圖像邊緣輪廓信息，又保留了紅外圖像中發(fā)熱物體等特征，可全天候工作，目測融合圖像具有較多細(xì)節(jié)信息和清晰度，客觀評價標(biāo)準(zhǔn)的幾項指標(biāo)也有所提高，為后續(xù)智能巡視的檢測與識別奠定了基礎(chǔ)。