基于階躍濾波器的低照度圖像邊緣增強(qiáng)算法

萬 方，雷光波，徐 麗

(湖北工業(yè)大學(xué)計(jì)算機(jī)學(xué)院，湖北 武漢430068)

1 引言

圖像是人類獲取信息的一個(gè)非常重要的途徑，但是在圖像采集過程中，受光照變化和機(jī)器自身的影響，導(dǎo)致圖像出現(xiàn)低照度、受色不均、邊緣模糊等情況，因此，需要對這類圖像進(jìn)行增強(qiáng)，使圖像中的信息更加清晰地展現(xiàn)出來[1]。通常將圖像增強(qiáng)定義為：有目的地對成像效果不佳的圖像進(jìn)行改善，去除圖像中的噪聲和陰影部分，或者增強(qiáng)某些局部特征和邊緣部分，使圖像變得清晰。同時(shí)將影響成像效果的因素剔除掉，增強(qiáng)圖像的成像效果、豐富圖像邊緣信息、改善視覺效果，以此實(shí)現(xiàn)某些特殊的處理要求。

近幾年，隨著邊緣保持理論的提出，許多圖像分解技術(shù)也應(yīng)時(shí)而生，這里提到的圖像分解，就是利用某些技術(shù)將一幅完整的圖像劃分為基本層和細(xì)節(jié)層。圖像分解的優(yōu)勢在于可以更加靈活地處理每一層圖像。基本層的處理方式通常采用平滑濾波，在平滑的過程中，模糊的邊緣信息逐漸在細(xì)節(jié)層中發(fā)生震蕩，導(dǎo)致最終輸出的圖像梯度反轉(zhuǎn)較大，色彩不均衡。所以，在選擇濾波器時(shí)要格外注意。目前，在圖像邊緣增強(qiáng)研究領(lǐng)域中，有學(xué)者將Retinex理論應(yīng)用到圖像增強(qiáng)中，對圖像的亮度分量按照大、中、小分別進(jìn)行MSR(Multi-Scale Retinex，多尺度視網(wǎng)膜皮層)增強(qiáng)，突出圖像細(xì)節(jié)信息。與此同時(shí)，在RGB(Red，Green，Blue)顏色空間內(nèi)突出Retinex增強(qiáng)算法的作用，使圖像邊緣部分得到較好的改善。完成以上兩步操作后，將圖像融合起來，集中進(jìn)行色彩恢復(fù)，最終得到的圖像即為增強(qiáng)后的圖像。該方法在圖像的細(xì)節(jié)處理上做得非常好，但是易產(chǎn)生光暈和過增強(qiáng)；除此之外，文獻(xiàn)[2]利用U-Net生成對抗網(wǎng)絡(luò)，并對低照度圖像進(jìn)行特征選取，將選取的特征信息映射到正常照度的圖像上，對比二者，選取差異較大的部分進(jìn)行著重增強(qiáng)。該方法對于局部細(xì)節(jié)處理得很好，但是對于邊緣的處理并不到位。

針對上述方法很難實(shí)現(xiàn)在增強(qiáng)低照度圖像邊緣的同時(shí)，彌補(bǔ)圖像局部特征缺陷，本文提出了基于階躍濾波器的低照度圖像邊緣增強(qiáng)算法。算法在圖像分解的基礎(chǔ)上實(shí)現(xiàn)，任意選取一幅低照度圖像，將其劃分為基本層和細(xì)節(jié)層，利用平滑濾波處理基本層，并與原圖像進(jìn)行差運(yùn)算，以此獲得細(xì)節(jié)層。在增強(qiáng)基本層的同時(shí)，結(jié)合細(xì)節(jié)層的作用，不僅大大提高了圖像整體的對比度，而且最大程度地保留了圖像的細(xì)節(jié)部分和邊緣信息。整個(gè)增強(qiáng)過程在0震蕩的環(huán)境下實(shí)現(xiàn)，使圖像的邊緣部分得到了很好地突出。仿真分為主觀和客觀兩方面進(jìn)行，從主觀上來說，經(jīng)過本文方法增強(qiáng)后的圖像看起來更加自然、合理，更符合人眼視覺；從客觀上來說，運(yùn)用本文方法增強(qiáng)后的圖像，邊緣信息和細(xì)節(jié)信息保留得最多、效果最好。

2 基于階躍濾波器的低照度圖像邊緣增強(qiáng)

基于圖像分解的思想，結(jié)合階躍濾波器，將圖像整體增強(qiáng)與邊緣增強(qiáng)結(jié)合起來分析。本文算法實(shí)現(xiàn)流程為：任意選取一幅低照度圖像，將其從RGB轉(zhuǎn)換為HSV(Hue， Saturation， Value，顏色模型)模式[3]；在顏色分量固定的基礎(chǔ)上，根據(jù)亮度分量的不同，利用階躍濾波器對低照度圖像進(jìn)行分解，得到基本層和細(xì)節(jié)層；將增強(qiáng)算法引入其中，對基本層和細(xì)節(jié)層分別做不同程度的增強(qiáng)處理[4]，以此保留更多的細(xì)節(jié)信息和邊緣部分，同時(shí)也提高了圖像的整體對比度；最后，將基本層與細(xì)節(jié)層融合在一起，并進(jìn)行RGB模式的轉(zhuǎn)換，輸出圖像即為完成增強(qiáng)處理后的圖像。算法實(shí)現(xiàn)流程圖如圖1所示。

圖1 本文算法流程圖

2.1 圖像濾波處理

假設(shè)引導(dǎo)圖像I與輸出圖像q之間屬于一種局部線性濾波關(guān)系，那么二者之間的關(guān)系可用式(1)表示為

qi=akIi+bk，?i∈ωk

(1)

式中，ωk表示大小為(2s+1)×(2s+1)的正方形濾波窗口，s表示ωk的半徑，k表示ωk的中心像素；Ii表示I的像素i，qi表示輸出圖像中進(jìn)行線性映射的像素i，ak、bk分別為關(guān)系式中的系數(shù)值，可通過式(2)求出

(2)

式中，E(ak，bk)表示ωk的代價(jià)函數(shù)，p表示原低照度圖像，ε則表示正則化參數(shù)，由式(3)計(jì)算得出

(3)

式中，μk表示I在ωk中的均值，σk表示I在ωk中的標(biāo)準(zhǔn)差，|ω|表示ωk中包含的像素?cái)?shù)量。

與高斯函數(shù)相同的是，階躍濾波同樣也含有核權(quán)重，由于窗口ωk對于所有像素點(diǎn)i均為全覆蓋模式，所以本文取其平均值。核權(quán)重的計(jì)算公式為：

(4)

將式(1)轉(zhuǎn)換為核權(quán)重的表達(dá)形式

(5)

通過式(1)還可得到?q=a?I(?表示低照度圖像的梯度)。該等式說明：假如輸入的圖像I存在邊緣信息，那么經(jīng)過階躍濾波器的增強(qiáng)[5]后，輸出圖像q中也會存在邊緣信息。因此可以說明，階躍濾波器具有很好的邊緣保持功能，并且可以根據(jù)鄰域內(nèi)圖像的標(biāo)準(zhǔn)差和均值自適應(yīng)分配濾波權(quán)重，避免出現(xiàn)梯度反轉(zhuǎn)的情況。

接下來對完成分解后的圖像分別做增強(qiáng)處理。首先，利用階躍濾波器(s=3，ε=0.01)對原始圖像p做平滑濾波處理，得到基本層b，對b與p二者之間進(jìn)行差運(yùn)算，得到細(xì)節(jié)層d。由于階躍濾波器的作用，使原始圖像分為了高頻和低頻兩部分。在增強(qiáng)基本層、突出細(xì)節(jié)的同時(shí)，結(jié)合細(xì)節(jié)層的作用，保持圖像的邊緣信息，并且保持了0震蕩，邊緣信息得到了很好地突出。

(6)

式中，(I，p)表示階躍濾波器的作用，本文認(rèn)定I=p。

2.2 低照度圖像邊緣增強(qiáng)

完成低照度圖像的分解[6]后，利用式(7)同時(shí)增強(qiáng)圖像的模糊邊緣和對比度

Lout=255(b/255)γ+S(e，d)

(7)

式中，255(b/255)γ表示自適應(yīng)伽瑪校正，在增強(qiáng)圖像亮度和對比度方面非常有效，γ表示伽瑪校正系數(shù)。S(e，d)表示S型曲線函數(shù)，主要針對圖像中的模糊邊緣進(jìn)行增強(qiáng)。其中，e表示細(xì)節(jié)層增強(qiáng)幅度值。接下來對式(7)進(jìn)行具體分析。

1)伽瑪校正可在任意環(huán)境下隨意調(diào)節(jié)圖像的灰度值，在增強(qiáng)圖像全局對比度方面非常有效。當(dāng)γ1時(shí)，增強(qiáng)了圖像的亮度和對比度。當(dāng)γ的值不再發(fā)生變化時(shí)，無法完成自適應(yīng)調(diào)整，圖像就會出現(xiàn)過亮[7]的情況，導(dǎo)致一些細(xì)節(jié)部位丟失。處理邊緣部分時(shí)，效果并不理想。基于此，本文結(jié)合圖像梯度值，提出了自適應(yīng)γ值法，通過建立坐標(biāo)系，分別在x軸、y軸兩個(gè)方向上做梯度矢量運(yùn)算，從而對所有鄰域像素[8]之間的對比度增強(qiáng)幅度進(jìn)行計(jì)算。γ的定義公式如式(8)所示

(8)

通過上式計(jì)算得到所有鄰域像素的γ值后，對γ進(jìn)行歸一化處理，為[0，1]。梯度值與γ值呈負(fù)相關(guān)，當(dāng)梯度值較大時(shí)，γ值較小，此時(shí)圖像的對比度增強(qiáng)幅度較大；反之，增強(qiáng)幅度則較小。為了進(jìn)一步提高圖像的增強(qiáng)幅度，引入指數(shù)因子c對γ實(shí)行控制，即γ=γc。c值越大，γ的值就越大，本文c值取1.2。

2)伽瑪校正法對于低照度圖像的細(xì)節(jié)處理效果[9]并不理想，因此，本文在圖像分解階段，運(yùn)用S型增強(qiáng)函數(shù)，對細(xì)節(jié)層保持0震蕩。S型增強(qiáng)函數(shù)應(yīng)滿足以下3點(diǎn)條件：

條件一：確保在0偏差的環(huán)境下實(shí)現(xiàn)圖像的重組。避免重組后的圖像出現(xiàn)亮度不均、色彩不均衡的情況，同時(shí)應(yīng)盡可能控制增強(qiáng)[10]過程中的偏差。

條件二：S型增強(qiáng)函數(shù)應(yīng)為凸函數(shù)，防止低照度圖像出現(xiàn)較大幅度的反轉(zhuǎn)。

條件三：以坐標(biāo)系的中心點(diǎn)為對稱點(diǎn)，實(shí)現(xiàn)函數(shù)原點(diǎn)對稱。避免出現(xiàn)較大幅度的振蕩，同時(shí)保持圖像整體增強(qiáng)/壓縮比例相同。

綜上所述，本文通過式(9)實(shí)現(xiàn)對圖像邊緣的增強(qiáng)

(9)

細(xì)節(jié)層增強(qiáng)幅度值e與增強(qiáng)函數(shù)的曲線變化如圖2所示。

圖2 細(xì)節(jié)增強(qiáng)函數(shù)與e的變化曲線

從圖2中可以看出，隨著e值的不斷降低，對于細(xì)節(jié)層的增強(qiáng)能力和壓縮大偏差的能力均出現(xiàn)了明顯的衰減趨勢。綜合考慮之下，本文取e=8，對于任何低照度圖像均能展現(xiàn)出很好的效果。

3 仿真研究

3.1 仿真環(huán)境

為了驗(yàn)證本文方法在增強(qiáng)低照度圖像邊緣方面是否合理有效，與Retinex理論下基于融合思想的低照度彩色圖像增強(qiáng)算法(方法1)和基于U-Net生成對抗網(wǎng)絡(luò)的低照度圖像增強(qiáng)方法(方法2)進(jìn)行對比仿真。實(shí)驗(yàn)在Windows7系統(tǒng)上進(jìn)行，內(nèi)存大小為8GB，CPU為1.70GHz，通過仿真軟件Matlab2018a來實(shí)現(xiàn)。實(shí)驗(yàn)中所用到的圖像均來自于PASCALVOC 2007數(shù)據(jù)集，在該數(shù)據(jù)集中選取三幅低照度圖像，如圖3所示。

圖3 原始圖像

3.2 主觀評價(jià)結(jié)果

圖3所示的三幅低照度圖像，均存在受色不均的情況，致使某些部位處于陰影環(huán)境下，看不清楚，邊緣部分模糊不易分辨。采用不同方法對原始圖像進(jìn)行增強(qiáng)處理，結(jié)果如圖4、圖5和圖6所示。

圖4 方法1增強(qiáng)后圖像效果

圖5 方法2增強(qiáng)后圖像效果

圖6 本文方法增強(qiáng)后圖像效果

圖4為方法1增強(qiáng)后的效果，將圖像主體老虎、飛機(jī)、火車很好的展現(xiàn)了出來，但是整體色彩失真、偏灰、對比度也較低，最主要的是圖像邊緣處理的不是很好，依然存在模糊的現(xiàn)象；圖5為方法2增強(qiáng)后的效果，較圖4相比，圖像質(zhì)量有了明顯的提升，而且圖像中的一些細(xì)節(jié)處理的也很到位，但是出現(xiàn)了過增強(qiáng)的現(xiàn)象，圖像整體顏色較深，與邊緣鄰域像素之間難以區(qū)分；圖6為本文方法增強(qiáng)后的效果，可以很明顯的看出，在盡可能保留細(xì)節(jié)的同時(shí)使圖像整體色彩飽和度更高、更自然，與其它兩種方法相比，更符合人類的主觀視覺體驗(yàn)，同時(shí)對于邊緣部分的增強(qiáng)效果也很好，鄰域像素之間過渡自然，能夠很好地區(qū)分。

3.2 客觀評價(jià)結(jié)果

為了從客觀角度評價(jià)三種方法的優(yōu)缺點(diǎn)，實(shí)驗(yàn)中選擇了信息熵、圖像平均值和方差作為參考指標(biāo)。信息熵描述的是一幅圖像含有的信息量的多少，信息熵的值越大，說明這幅圖像中邊緣部分的增強(qiáng)效果越好；圖像的平均值描述的是一幅圖像灰度值的狀態(tài)信息，主觀上看是這幅圖像的亮度；方差指的是一幅圖像像素灰度值的波動范圍，方差的值越大越好。

假設(shè)一幅圖像I(x，y)，x=1，2，3，…M；y=1，2，3，…N的尺寸為M×N，那么信息熵Q、圖像平均值H和方差V的定義公式可表示為

(10)

(11)

(12)

基于以上三個(gè)參考指標(biāo)，運(yùn)用本文方法、方法1、方法2三種方法對原始圖像進(jìn)行處理，實(shí)驗(yàn)結(jié)果如表1、2、3所示。

表1 三種方法對圖3(a)的計(jì)算結(jié)果對比

表2 三種方法對圖3(b)的計(jì)算結(jié)果對比

表3 三種方法對圖3(c)的計(jì)算結(jié)果對比

從表1、2、3中的數(shù)據(jù)可以看出：在信息熵上，本文方法的值均高于其它兩種方法，說明運(yùn)用本文方法增強(qiáng)圖像邊緣效果最好；就圖像的平均值而言，除了圖3(a)本文方法的均值低于方法1的均值，其它兩幅圖像本文方法均優(yōu)于其它兩種方法，尤其是圖3(b)最為明顯；就方差而言，本文方法的方差值均高于其它兩種方法，說明經(jīng)本文方法增強(qiáng)后的圖像，使對比度得到了有效提升，更適合人眼觀看。

4 結(jié)論

為了提升低照度圖像的對比度和邊緣部分，本文在階躍濾波器的基礎(chǔ)上，提出了一種新的邊緣增強(qiáng)算法。首先對低照度圖像進(jìn)行分解，得到基本層和細(xì)節(jié)層，然后引入階躍濾波器，對基本層進(jìn)行平滑濾波處理，結(jié)合細(xì)節(jié)層的作用，在提高圖像整體對比度的同時(shí)，盡可能多地保留了圖像的邊緣信息。在與鄰域像素之間關(guān)系的處理上，本文方法能實(shí)現(xiàn)自然的過渡，使整幅圖像看起來更加自然、合理。但是運(yùn)用本文方法增強(qiáng)后的圖像存在部分的“泛灰”現(xiàn)象，說明在色彩調(diào)整以及對比度校正方面還存在不足，將其作為下一步研究重點(diǎn)進(jìn)行深入研究。