基于冗余提升不可分離小波的LSCN紅外圖像增強方法①

占子威,鄧長征,付 添,夏鵬雨,丁虹宇,黃曉宇

1(三峽大學(xué) 電氣與新能源學(xué)院,宜昌 443002)

2(湖北南邦創(chuàng)電科技有限公司,宜昌 443002)

紅外成像因其具有無源性、持續(xù)監(jiān)測等特點,已成為電力設(shè)備狀態(tài)檢測的主要手段[1]. 運用紅外成像技術(shù)被動和非接觸式工作的特點進行電力設(shè)備狀態(tài)檢測,能有效避免主動檢測或接觸式檢測方式對電力設(shè)備工作狀態(tài)造成干擾,對電力設(shè)備運行安全保障至關(guān)重要.但是,紅外成像技術(shù)也存在許多問題,如自身分辨率較低、易受外界干擾、通訊易受電磁干擾,這些問題會導(dǎo)致紅外成像儀輸出的紅外圖像含有噪聲、細節(jié)紋理不清晰、圖像整體模糊等問題,不利于人眼觀察和后續(xù)計算機分析處理[2]. 因此,紅外圖像增強技術(shù)對于研究低成本、便攜式的紅外成像設(shè)備至關(guān)重要.

對于圖像的研究,主要是有空間域方法即直接對像素進行操作和頻域方法將圖像像素矩陣轉(zhuǎn)換到頻域進行處理好再反變換回空間域[3]. 直方圖均衡的方法是常用的空域增強方法,通過改變輸入圖像的灰度分布來提升圖像的灰度動態(tài)范圍,改善人眼視覺效果,但是會導(dǎo)致圖像灰度級減少、細節(jié)消失、過增強等問題[4,5]. 小波變換是一種經(jīng)典頻域變換方法,其基本原理是傅里葉變換,通過改變頻率系數(shù)來處理圖像,但容易出現(xiàn)系數(shù)選取問題,導(dǎo)致圖像失真[6,7]. 因此,基于神經(jīng)網(wǎng)絡(luò)的紅外圖像增強算法受到廣泛關(guān)注. 其中,運用較為廣泛的是基于視覺皮層的神經(jīng)網(wǎng)絡(luò),稱為脈沖耦合神經(jīng)網(wǎng)絡(luò)(pulse coupled neural network,PCNN),源于其對視覺皮層特性的研究,PCNN 已成為圖像處理的一種通用而且強大的工具[8–10]. 但是,PCNN 模型也有許多弊端,其中之一就是需要設(shè)定大量的參數(shù),并且依賴于設(shè)置人員經(jīng)驗. 對于紅外圖像這種對比度低、目標(biāo)輪廓不清晰的特點,已有的PCNN 算法不能在抑制噪聲的同時增強圖像[11].

針對上述不足,本文受到圖像分割和融合思想的啟發(fā),提出一種基于不可分離小波多尺度方向分析(non-separable wavelet based multiscale directional analysis,NSWMDA)和連接突觸計算網(wǎng)絡(luò)(linking synaptic computation network,LSCN)的紅外增強方法,通過冗余提升的不可分離小波(non-separable wavelet transform,NSWT)分離圖像高低頻分量,對高頻先采用方向濾波抑制噪聲后,再對近似子圖和細節(jié)子圖分別采用LSCN 增強,最后進行融合重構(gòu)得到增強的紅外圖像.

1 連接突觸計算網(wǎng)絡(luò)原理

連接突觸計算網(wǎng)絡(luò)是由Zhan 等[12]于2017 年提出的一種模擬人的神經(jīng)連接突觸機制的圖像增強模型,屬于第3 代人工神經(jīng)網(wǎng)絡(luò). 該網(wǎng)絡(luò)模仿生物視覺皮層在受到外部刺激時,會產(chǎn)生生物電脈沖,從而影響周圍的神經(jīng)元的行為,將反饋輸入作為外激勵,用內(nèi)部活動作神經(jīng)元狀態(tài)的衰減項. LSCN 是在PCNN 的基礎(chǔ)上改進的模型,針對PCNN 參數(shù)多、資源占用率高、人工依賴性強的不足,LSCN 在輸入機制上做了大量簡化,待參量也大大減少. PCNN 模型中采用3 個漏積分器,并進行兩次卷積運算[13]. LSCN 中保持了3 個漏積分器,但是減少了一次卷積運算,大大降低了計算復(fù)雜度,并且使得外激勵和內(nèi)部活動的關(guān)系更加直接. LSCN相比傳統(tǒng)PCNN,最大的優(yōu)勢就是其迭代過程自動停止,無需手動設(shè)置. LSCN 的神經(jīng)元結(jié)構(gòu)如圖1.

圖1 單個LSCN 神經(jīng)元結(jié)構(gòu)

在LSCN 神經(jīng)元中,采用漏積分器來描述神經(jīng)振蕩器的動電勢u(t),可離散簡化為:

其中,s為輸入信號,U(n)為離散動電勢,n為離散時間,lr為漏積分衰減常數(shù).

連接突觸計算網(wǎng)絡(luò)由連接突觸C、膜電位M、神經(jīng)閾值D組成,均被實例化為漏積分器. 其模型表達式如下:

其中,像素神經(jīng)元用(i,j)表示,相鄰的像素神經(jīng)元用(p,q)表示,n為離散時間,h是連接常數(shù),Wijpq是連接權(quán)重,Ppq(n–1)是突觸后動作電位.

其中,a為膜電位衰減常數(shù),Sij為外刺激信號,α為連接強度系數(shù).

其中,g是閾值衰減常數(shù),β為幅度調(diào)整系數(shù).

突觸后動作電位產(chǎn)生代表著神經(jīng)元點火成功. 點火成功后,神經(jīng)元的閾值Dij會因為反饋信號而快速上升,由式(5)可知,閾值大于膜電位時,神經(jīng)元會終止發(fā)射尖峰脈沖. 神經(jīng)元停止發(fā)射脈沖后,閾值會再次因為反饋信號而降低,神經(jīng)元再次點火發(fā)射,如此反復(fù). 當(dāng)網(wǎng)絡(luò)中所有的神經(jīng)元全部點火成功后,迭代停止.

2 改進的LSCN 算法

2.1 本文算法框架

傳統(tǒng)的LSCN 解決了PCNN 中參數(shù)設(shè)置的問題,但是存在一些潛在的問題. 根據(jù)LSCN 的原理可知,神經(jīng)元之間通過互相影響來使細節(jié)得到增強,對于圖像中的一些高頻噪聲也會被識別為圖像細節(jié)進行增強.對于紅外圖像而已,噪聲遠多于一般可見光圖像,這就會導(dǎo)致增強效果不理想,信噪比低. 針對傳統(tǒng)的LSCN算法存在的放大噪聲和細節(jié)邊緣不夠突出的問題,本文提出一種改進的基于NSWMDA 的LSCN 算法. 算法框架如圖2 所示.

圖2 不可分離小波多尺度變換的紅外圖像增強算法

非下采樣輪廓波變換(non-subsampled contourlet transform,NSCT)是一種圖像二維表示方法,其采用多尺度分解捕獲奇異點將圖像進行拆分[14]. NSCT 不僅可以保持contourlet 變換的多分辨率、局部化和多向性等優(yōu)良特性,具備平移不變的特點,還能消除Gibbs現(xiàn)象. NSCT 采用的是非下采樣金字塔(non-subsampled pyramid,NSP)對圖像進行處理,但是NSP 變換對細節(jié)的捕捉能力較弱[15],而紅外圖像本身的細節(jié)紋理不夠明顯,所以傳統(tǒng)的NSCT 變換對紅外圖像,特別是興趣區(qū)域不明顯的紅外圖像并不友好. 基于不可分離小波的多尺度方向分析方法(NSWMDA)采用冗余提升的不可分離小波來替代NSCT 中的NSP 分解以提高對細微細節(jié)信息的捕捉能力. NSWMDA 首先對圖像進行不可分離小波變換,生成低頻輪廓子帶和高頻細節(jié)子帶,然后對高頻細節(jié)子帶進行方向分解,以增強細節(jié)子帶的方向分辨率. 不可分離小波變換具有多分辨率和局部化時間和頻率的特性,還具有高度的方向性和各向異性. 其能對圖像進行多尺度細化分析,符合人眼觀察特性. LSCN 對高頻信息和低頻信息的敏感度不同,對源圖像直接進行LSCN 增強會導(dǎo)致噪聲被放大. 因此,本算法利用NSWMDA 的多尺度多方向分析特性對源圖像進行預(yù)處理,將源圖像分解成低頻近似子帶和高頻細節(jié)子帶,再結(jié)合LSCN 對分離后的圖像進行處理,增強圖像對比度和細節(jié)紋理,最后進行融合疊加得到完整的紅外增強圖像.

Step 1. 原始紅外圖像進行NSWT 變換,得到低頻近似子帶和高頻細節(jié)子帶;

Step 2. 對高頻子帶,首先進行NSDFB 多方向濾波,減少噪聲干擾,然后,利用LSCN 增強,得到濾波以后的增強的細節(jié)子圖;

Step 3. 對低頻子帶,采用LSCN 進行增強,得到增強后的模糊子圖;

Step 4. 將增強后的細節(jié)子圖和模糊子圖進行NSWT反變換重構(gòu),得到增強后的紅外圖像.

2.2 冗余提升的不可分離小波變換

NSWT 由于存在下采樣環(huán)節(jié),會導(dǎo)致平移可變,在處理圖像中的奇異信息時,會產(chǎn)生Gibbs 現(xiàn)象,不利于圖像的處理. 為解決這一問題,本文采用基于冗余提升的NSWT 變換將原始紅外圖像分解成高頻子帶和低頻子帶.

傳統(tǒng)的小波變換算法中,分裂方法采用的是將數(shù)據(jù)分成兩個集合,這樣產(chǎn)生的子帶數(shù)據(jù)就變?yōu)樵瓉淼囊话? 數(shù)據(jù)量的減少雖然加快了運行速度,但也意味著帶來了平移可變,不利于圖像處理. 基于冗余提升的NSWT 采用復(fù)制的方式來處理數(shù)據(jù),每次變換產(chǎn)生的子帶與原數(shù)據(jù)量相同,并在濾波器中進行插值運算就可實現(xiàn)多分辨率分解. 冗余提升的NSWT 變換實現(xiàn)過程如圖3 所示.

圖3 冗余提升的NSWT 過程圖

設(shè)原始圖像的輸入信號為Im,則冗余提升NSWT可分為以下步驟:

Step 1. 復(fù)制

將原始信號Im復(fù)制到Lm和Hm,其中,Lm是原始圖像的低頻子帶,Hm是原始圖像的高頻子帶.

Step 2. 預(yù)測

根據(jù)低頻信息Lm的4 鄰域中的最大值來預(yù)測高頻信息Hm.

Step 2.1. 水平/垂直方向預(yù)測

其中,imod 2 ≠jmod 2.

Step 2.2. 對角方向預(yù)測

其中,imod 2=jmod 2=1.

Step 3. 更新

根據(jù)高頻信息Hm的4 鄰域中大于零的值來更新高頻信息Lm.

Step 3.1. 水平/垂直方向更新

其中,imod 2 ≠jmod 2.

Step 3.2. 對角方向更新

其 中,imod 2=jmod 2=1.

2.3 高頻增強

原始紅外圖像通過NSWT 變換后得到高頻子帶和低頻子帶,高頻子帶包含了噪聲和圖像邊緣紋理細節(jié). 在傳統(tǒng)的LSCN 算法中,噪聲會引起周圍領(lǐng)域像素點火,從而增大噪聲像素范圍. 為了避免噪聲對紋理增強產(chǎn)生干擾,本算法采用的是改進的非子采樣方向濾波器對高頻子帶進行方向濾波,可以得到對角線方向、水平方向、垂直方向分量.

改進的非子采樣方向濾波器NSDFB (non-subsampled directional filter bank)是一個雙通道的濾波器,其省去了二維方向濾波器組(directional filter bank,DFB)的下采樣步驟,并對濾波器進行相應(yīng)的上采樣便可得到NSDFB. NSDFB 與嚴格采用方向濾波器組的濾波器類似,都是由單個的扇形濾波器得到,且計算復(fù)雜度不變[16]. 如圖4 所示,為一個4 通道NSDFB 分解圖.

圖4 NSDFB 濾波結(jié)構(gòu)

在NSDFB 中加入上采樣(supq(d)為采樣階數(shù)上界限)是為了在不增加計算量的前提下,消除吉布斯效應(yīng). 對于采樣矩陣S和二維濾波器D(m),則濾波輸出y[n]采用卷積公式:

經(jīng)過方向濾波以后的各方向高頻分量會抑制噪聲,減少噪聲干擾. 在高頻分量中細節(jié)紋理由于像素與周圍像素的連接強度Wijpq小,會對周圍的非紋理細節(jié)部分的像素產(chǎn)生抑制,減少其點火行為,增強自身的點火次數(shù),迭代結(jié)束以后,紋理細節(jié)更加突出而背景和噪聲則被抑制. 對增強后的各方向高頻分量采用加權(quán)平均融合的規(guī)則得到增強后的細節(jié)子圖.

2.4 低頻增強

低頻子帶主要包含的是圖像的整體模糊信息,沒有清晰的邊界,具有較為集中的灰度. 根據(jù)LSCN 模擬視覺神經(jīng)的工作方式的特點,當(dāng)某像素與周圍的像素的灰度接近時,會刺激該像素(i,j)與其周圍的像素(p,q)同時點火,產(chǎn)生脈沖輸出Pij(n)=1,該信號會影響周圍像素的點火狀態(tài),依次產(chǎn)生迭代,直到所有的像素都參與點火,終止迭代. 低頻增強通過模糊子圖各相鄰像素之間相互影響從而平滑灰度,使圖像更加平滑,灰度分布更均勻. 經(jīng)過處理后得到的高頻子圖和低頻子圖,進行融合疊加后進行NSWT反變換得到紅外增強圖像Om.

3 實驗與分析

為驗證基于不可分離小波多尺度變換的LSCN 圖像增強算法的可行性和有效性,本文選取了普通場景紅外圖像(“吉普車”)和電力應(yīng)用場景(“變壓器”)紅外圖像進行實驗分析. 分別對這兩幅紅外圖像采用直方圖均衡增強算法(histogram equalization,HE)、PCNN、LSCN、多尺度Retinex 增強算法(multi-scale Retinex,MSR)、本文算法進行紅外圖像增強,并對增強結(jié)果進行主觀和客觀分析來驗證本算法的優(yōu)越性. 實驗軟件環(huán)境: Matlab R2020a; 硬件環(huán)境: AMD R7-4800H 2.9 GHz 處理器,16 GB 運行內(nèi)存,Nvidia GTX1650 4 GB顯卡. 實驗結(jié)果如圖5 和圖6 所示,不同方法平均運行時間如表1 所示.

圖5 “吉普車”增強結(jié)果

圖6 “變壓器”增強結(jié)果

表1 各種方法的平均運行時間(s)

3.1 主觀分析

圖像背景的亮度和對比度對人眼視覺的感受影響較大,并且人眼對低頻中的噪聲敏感度大于高頻區(qū)域.從圖5 和圖6 的實驗結(jié)果可以看出,HE 算法和MSR算法在一定程度上提升了圖像細節(jié)紋理,但同時使局部位置的灰度過大或過小,亮度失衡,圖像出現(xiàn)部分失真; PCNN 算法增強效果并不顯著,圖像清晰度不高,并且對比度和細節(jié)處理有待提高; LSCN 算法突出了原圖的細節(jié)紋理,但整體對比度并無明顯增強; 本文算法相比上述4 種算法,處理后的圖片不僅整體清晰度增強,對比度有較大提高,細節(jié)紋理也更加豐富. 從主觀角度,本文所提出的算法整體人眼視覺效果較好,具有亮度均衡、對比度明顯、細節(jié)較為豐富、噪聲小、目標(biāo)容易識別等特點.

3.2 客觀分析

通過多次運算得到表1,結(jié)果表明,最簡單的HE算法運算速度最快且基本不受圖像復(fù)雜度影響,相比而言基于神經(jīng)網(wǎng)絡(luò)的算法(LSCN、PCNN 和本文)計算速度較慢,這是因為這幾種方法都需要進行迭代,計算復(fù)雜度更高,并且還會受到圖像復(fù)雜度的影響,PCNN 算法每進行一次迭代,就要對滿足條件的像素點的3×3 鄰域進行局部中值濾波,即對每個像素的鄰域元素求中值,并且每次都要進行2 次卷積計算,大大增加了計算量,因此計算速度最慢. 本文在LSCN 每次迭代只需進行一次卷積計算基礎(chǔ)上,通過引入冗余提升不可分離小波,雖然提升了算法復(fù)雜度,但是由于高低頻分離后的圖像,在進行LSCN 處理時,迭代次數(shù)變少,總的運行時間與改進前的方法增長較小,并且通過進一步改進小波分離方法和參數(shù),可進一步縮短運行時間.

為深入分析上述5 種算法的增強質(zhì)量,本文選取邊緣強度(edge intensity,EI)、信息熵(information entropy,IE)、峰值信噪比(peak signal-to-noise ratio,PSNR)、結(jié)構(gòu)相似度(structural similarity index measure,SSIM)、平均梯度(average gradient,AG)5 種常用客觀評價指標(biāo)對增強圖像進行評價. 上述5 種評價指標(biāo)值越大,增強效果越好. 評價結(jié)果如表2、表3所示.

表2 “吉普車”客觀評價指標(biāo)

表3 “變壓器”客觀評價指標(biāo)

由表2 中實驗結(jié)果可以得到,本文算法在EI、IE、PSNR、SSIM、AG 五類指標(biāo)均高于其他4 種算法,對比其他算法各指標(biāo)分別至少提高了15.30%、2.40%、4.95%、3.69%、6.86%. 由表3 中實驗結(jié)果可以得到,本文算法在EI、IE、PSNR、SSIM、AG 五類指標(biāo)均高于其他4 種算法,對比其他算法各指標(biāo)分別至少提高了10.86%、14.39%、19.95%、7.06%、6.70%. 從以上數(shù)據(jù)可以看出,對待不同復(fù)雜程度和不同背景的紅外圖像,本算法的客觀指標(biāo)均較其他算法好,以“變壓器”為例,各項指標(biāo)較其他各算法歸一化增長幅度如圖7 所示.

圖7 “變壓器”各指標(biāo)歸一化對比圖

從以上歸一化后的圖7 可以看出,本文算法的各項指標(biāo)均較其他算法更好,HE 算法和MSR 算法的各項指標(biāo)較為均衡,均處在中等水平; PCNN 算法各項指標(biāo)差異較大,這主要是因為PCNN 算法需要設(shè)置大量參數(shù),而這些參數(shù)很大一部分需要依靠設(shè)置人員的經(jīng)驗來設(shè)置,一旦經(jīng)驗不足,設(shè)置的參數(shù)不好,就會導(dǎo)致增強效果不理想; 與本文最為接近的是LSCN 算法,本算法在其基礎(chǔ)之上進行了NSWMDA 多尺度分析,分離出圖像的不同成分,再利用LSCN 算法進行增強,很好地發(fā)揚了LSCN 算法能自適應(yīng)參數(shù)并自動停止迭代的優(yōu)勢,解決了傳統(tǒng)LSCN 算法在增強的同時放大了噪聲,導(dǎo)致SSIM 指標(biāo)驟降的缺點.

4 結(jié)論與展望

針對紅外圖像對比度低、細節(jié)模糊等問題進行算法改進研究,提出一種基于NSWMDA 多尺度分析和LSCN 的紅外圖像增強方法. 目前,大多數(shù)文章采用的是PCNN 的增強方法,該方法參數(shù)設(shè)置過多,依賴設(shè)置人員的經(jīng)驗. 本文采用在其基礎(chǔ)上改進而來的LSCN模型,結(jié)合圖像融合的思想,將紅外圖像進行NSWMDA多尺度分解,對細節(jié)子圖和輪廓子圖進行分別處理以后,再將兩幅子圖疊加重構(gòu),得到增強后的紅外圖像.實驗證明,此方法有效的解決了傳統(tǒng)的LSCN 算法對細節(jié)加強的同時也放大噪聲的缺陷,不僅提高了圖像整體清晰度,減少并抑制了大部分噪聲,同時圖像的紋理細節(jié)也得到了加強,人眼視覺效果和客觀評價指標(biāo)均較目前主流方法更好. 下一步研究將考慮在增強后的灰度圖像上添加偽彩,提升人眼視覺效果,并進一步改善算法的計算速度,以運用在電力設(shè)備紅外在線監(jiān)測上.