基于引導(dǎo)濾波的微光圖像增強算法研究

陳 婷， 蒲亨飛， 黃治勇， 李良榮， 張豐云

（1 貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院， 貴陽 550025； 2 遵義市播州區(qū)中等職業(yè)學(xué)校， 貴州 遵義 563000）

0 引言

微光圖像通常是在夜間或光照較弱等低光照條件下所獲取的一類圖像。 在低照度條件下，成像設(shè)備獲取的圖像和視頻的質(zhì)量降低，就會出現(xiàn)圖像亮度低、對比度不足、噪聲大的問題，不僅使得人眼的主觀視覺效果受到影響，也會導(dǎo)致某些特定系統(tǒng)的性能降低，比如公路交通監(jiān)控、視覺監(jiān)視和消費電子產(chǎn)品等系統(tǒng)。 因而，開展微光圖像增強技術(shù)的研究具有重要意義。

迄今為止，微光圖像增強算法可大致分為6 類：基于直方圖均衡化的增強方法、基于Retinex 理論的增強方法、基于頻域的增強方法、基于圖像融合的增強方法、基于去霧模型的增強方法以及基于深度學(xué)習的增強方法。 直方圖均衡化算法運用累積分布函數(shù)來調(diào)整圖像的輸出灰度，從而使其具有均勻分布的概率密度函數(shù)。 通過這種方式，可以使黑暗區(qū)域中隱藏的細節(jié)重現(xiàn)，并且可以改善輸入圖像在人眼中的視覺效果，然而這種方法易導(dǎo)致細節(jié)消失以及局部過度增強［1］；Retinex 理論由美國物理學(xué)家Land［2］在1964年提出，也被稱作視網(wǎng)膜皮層理論，是基于人眼對顏色的感知和顏色不變性的建模，即基于光照－反射模型，但是光照估計是基于光照緩慢變化的，而并不是所有微光圖像都滿足此假設(shè)。2020年，Wang 等學(xué)者［3］提出了一種新的微光圖像增強算法，此算法從空域擴展到頻域。 基于頻域的圖像增強方法是指當圖像在某一個變換域內(nèi)時，調(diào)整變換后的系數(shù)，將圖像從空域變換為頻域，使得圖像在頻域內(nèi)進行濾波，最后將得到的結(jié)果反變換回空域。 典型的頻域方法包括同態(tài)濾波和小波變換，但是其中濾波器的選取會丟棄某些細節(jié)。 基于融合的方法可以使用不同的成像方法將一幅圖像進行處理，包括從單個圖像中以多種方式提取細節(jié)，以打破對圖像序列的依賴。 Yamakawa 等學(xué)者［4］提出了一種圖像融合技術(shù)，該技術(shù)使用源圖像和retinex 處理過的圖像，能在亮區(qū)和暗區(qū)實現(xiàn)高能見度。 2011年，He 等學(xué)者［5］提出了圖像暗通道先驗理論，這一理論的提出使得圖像增強技術(shù)獲得了進一步發(fā)展。2011年，Dong 等學(xué)者［6］基于去霧理論提出了一種新的圖像增強算法，也稱為亮通道先驗方法。 但是基于去霧模型的增強算法缺乏可靠的理論支撐，且容易在一些細節(jié)領(lǐng)域過度增強。 Lore 等學(xué)者［7］在一個框架中采用了堆疊稀疏降噪自動編碼器來訓(xùn)練LLNet 進行微光圖像增強。 Kim 等學(xué)者［8］利用局部光照制作訓(xùn)練圖像，并使用先進的生成式對抗網(wǎng)絡(luò)構(gòu)建Low Light GAN。 但是，這種方法必須得到大數(shù)據(jù)集的支持，模型復(fù)雜度的增加會使相應(yīng)算法的時間復(fù)雜度顯著變大。

因此，對于微光圖像存在低亮度、細節(jié)丟失的問題，本文提出一種基于引導(dǎo)濾波的微光圖像增強算法。 由于HSV 顏色系統(tǒng)比RGB 更接近于人眼的感知，因此首先將圖像從RGB 顏色系統(tǒng)轉(zhuǎn)為HSV 顏色系統(tǒng)，為提高對比度、亮度，分別采用直方圖均衡化（HE）、改進的伽馬校正及經(jīng)典的非銳化掩膜（GUM）對V 通道進行處理，其次用合適的融合權(quán)重將V 通道進行多尺度融合，然后采用改進的引導(dǎo)濾波對融合后的V 通道進行處理，最后將處理后的圖像從HSV 顏色系統(tǒng)轉(zhuǎn)回RGB 顏色系統(tǒng)，從而實現(xiàn)圖像增強。

1 基本原理

1.1HSV色彩空間

一般為學(xué)界所熟知的是RGB、 即三基色空間［9］，該空間表示一幅彩色圖像可以被分為紅（Red）、綠（Green）、藍（Blue）三幅分量圖像，而HSV是一種通過色調(diào)（Hue）、飽和度（Saturation）以及亮度（Value）三種色彩分量來表示彩色圖像的色彩空間，也可稱為六角錐體模型，因其比RGB系統(tǒng)更接近人眼感知系統(tǒng)，所以近年來得到了廣泛使用。RGB空間圖像可以轉(zhuǎn)換為HSV空間圖像，轉(zhuǎn)換關(guān)系的數(shù)學(xué)公式具體見如下：

1.2 引導(dǎo)濾波

引導(dǎo)濾波是2013年He 等人［10］提出的一種新的圖像局部濾波算法，具備平滑、保持邊緣，以及提高系統(tǒng)速度的優(yōu)點。

假設(shè)引導(dǎo)圖像為G，待濾波輸入圖像為p，濾波輸出圖像為q，q可表示為G在窗口wk內(nèi)的局部線性變換，線性模型為：

其中，wk表示以像素i為中心，以k為半徑的一個鄰域，ak、bk是wk中假定為常數(shù)的一些線性系數(shù)。 為了確定ak、bk的值，建立一個約束條件，輸出q可表示為輸入p減去一些不需要的分量n，例如噪聲或者紋理可由下式進行描述：

為使p和q之間的差值能夠達到最小化，即在窗口wk中最小化損耗函數(shù)，損耗函數(shù)定義為：

其中，ε是規(guī)整化因子，可避免ak系數(shù)過大，同時也是一個能夠調(diào)節(jié)濾波器濾波效果的重要參數(shù)。對式（6）進行最小二乘法得到：

其中，μk和是局部窗口wk內(nèi)引導(dǎo)圖像G的灰度均值和方差；表示窗口內(nèi)的像素總數(shù)；pk表示輸入的待濾波圖像p在窗口內(nèi)的灰度均值。

2 本文改進算法

本文改進算法框圖如圖1 所示。

圖1 算法框圖Fig. 1 Block diagram of the algorithm

2.1 輸入

在本文算法中，3 個輸入都來自原始微光圖像的V通道。 首先，使用直方圖均衡化來增強圖像的全局對比度，從而得到第一幅輸入圖I1。 因微光圖像的整體亮度很暗，故通過改進的伽馬變換來提高整體亮度，從而得到第二幅輸入圖I2。 Gamma 變換通過γ和c兩個參數(shù)來決定［11］。 Gamma 變換公式可寫為：

其中，Iin表示輸入圖像；Iout表示輸出圖像；γ和c都是用于調(diào)節(jié)伽馬變換函數(shù)的參數(shù)，不同的γ會產(chǎn)生不同的效果。

然后，經(jīng)過多次的實驗，本文改進一種能夠自適應(yīng)的伽馬校正因子［12］，該因子可較好地校正圖像整體亮度且避免亮度過高的情況，使得校正后的圖像在視覺效果上變得更好。 校正因子的計算見式（10）：

其中，σ為圖像像素的標準差，μ為圖像像素的均值。

最后，根據(jù)改進的γ值對V通道進行伽馬校正：

I1和I2提高了圖像的對比度以及亮度，因此本文進一步采用廣義非銳化掩蔽算法（GUM）［13］提高圖像的對比度、清晰度和保留細節(jié)，生成第三幅輸入圖I3。

2.2 權(quán)重

亮度增強和提升對比度是圖像增強的預(yù)處理步驟，為了使得最后的增強圖像與人類的視覺感知相契合，本文使用特定的權(quán)重圖來測量和提取輸入圖像的更多細節(jié)。 由于微光圖像的本質(zhì)問題與光照有關(guān)。 因此，選擇亮度作為權(quán)重來融合那些從輸入中獲得良好光照的區(qū)域［14］。 一般來說，首先將像素值進行歸一化，然后將像素平均值設(shè)置為0.5，這些像素（0.5）通常有很好的光照效果。 為了得到權(quán)值，計算每個像素的輸入值I（x，y） 與平均值之間的距離，可由下式計算求出：

其中，Iz（x，y） 為輸入Iz在點（x，y） 的像素值，z是輸入索引，本文設(shè)標準差的默認值為σ ＝0.3。 對光照不足的像素點，賦予其較小的權(quán)值，而對大多數(shù)正常光照強度的像素點，賦予其較大的權(quán)值。 為得到一致的處理結(jié)果，將Wz（x，y）進行歸一化處理，推得的數(shù)學(xué)公式為：

2.3 多尺度融合

在獲得3 個輸入Iz和權(quán)值映射后，輸出圖像由下式計算：

由于原始圖像融合過程是將不同圖像直接進行加權(quán)相加，結(jié)果會產(chǎn)生不同程度的光暈現(xiàn)象。 因此本文采用Burt 和Adelson［15］提出的多尺度融合來解決這個問題，即通過使用拉普拉斯算子將輸入分解為一個金字塔和一個高斯金字塔的權(quán)重映射，最后通過使用逐層重建的方式來獲得最終的融合圖像。

因此，V（x，y） 的結(jié)果是通過將每一層的拉普拉斯輸入和高斯權(quán)重映射分別混合而得到：

其中，l表示金字塔的層數(shù)，本文設(shè)置金字塔層數(shù)為5；是歸一化之后的權(quán)重映射的高斯金字塔；L｛I｝ 是輸入I的拉普拉斯金字塔。

2.4 改進的引導(dǎo)濾波

由于在引導(dǎo)濾波里，所有的窗口選用的都是固定的規(guī)整化因子，這完全忽視了不同窗口內(nèi)像素之間存在的某些紋理差異。 因此，在對邊緣進行平滑處理時，會將模糊集中在這些邊緣附近，從而產(chǎn)生光暈偽影，導(dǎo)致濾波效果降低。 后來在2015年，Li 等學(xué)者［16］提出了加權(quán)引導(dǎo)濾波，該濾波和引導(dǎo)濾波一樣快速并且保留邊緣。 為了使得規(guī)整化因子能夠自適應(yīng)調(diào)整，使用局部窗口內(nèi)的方差信息。 按照局部窗口wk內(nèi)方差的定義，對邊緣權(quán)重定義如下：

其中，G為引導(dǎo)圖像；表示以像素點i為中心像素周圍3×3 鄰域內(nèi)的方差；ε是規(guī)整化因子，取值為（0.001×L）2；L表示原始輸入圖像的動態(tài)范圍；N表示引導(dǎo)圖像的像素總數(shù)。 因此，損耗函數(shù)變?yōu)椋?/p>

在引導(dǎo)圖像的邊緣，依據(jù)公式（16）可輕易得到，鄰域內(nèi)像素點i的方差與其對應(yīng)的邊緣權(quán)重WG（i） 成正比，與規(guī)整化因子ε成反比，即當方差越大時，邊緣權(quán)重WG（i） 越大，而對應(yīng)的規(guī)整化因子則會越小。 所以才能夠更好地保護圖像的邊緣細節(jié)信息。

但是通過計算3×3 窗口內(nèi)的方差作為邊緣權(quán)重因子，方差大的像素點并不全是圖像邊緣，會導(dǎo)致所得的邊緣信息與實際存在著較大誤差。 因此，在原有加權(quán)引導(dǎo)濾波算法的基礎(chǔ)上加入Sobel 算子［17］，以自適應(yīng)調(diào)節(jié)邊緣權(quán)重因子，修正后的邊緣權(quán)重因子如下：

其中，G為引導(dǎo)圖像；ψG（i） 為邊緣權(quán)重因子；S（i） 為像素點i處的Sobel 算子；N為圖像的總像素；ε值和式（16）一樣，取為（0.001×L）2；L是輸入圖像的動態(tài)范圍。

ψG（i） 可以一定程度地反映邊緣像素在總像素中的占比，當ψG（i）＜1，此時為平滑處像素，權(quán)重較?。划敠譍（i）＞1，此時為邊緣處像素，權(quán)重較大。

濾波結(jié)果如圖2 所示。 可以很明顯看出，改進的引導(dǎo)濾波可以更好地保持圖像的細節(jié)，使得圖像更加清晰。

圖2 濾波結(jié)果Fig. 2 Filtering results

3 實驗與結(jié)果分析

本文所有算法都是計算機在Windows 10 系統(tǒng)下，使用Matlab R2018（b）軟件進行實驗。 電腦配置為Intel（R） Core（TM） i5－7200U CPU ＠ 2.50 GHz，4 GB RAM。

3.1 本文算法的實驗結(jié)果

本文算法運行的各步驟效果如圖3 所示。

圖3 本文算法處理各步驟效果圖Fig. 3 Processing renderings of each step

圖3 （d）是經(jīng)過本文改進的gamma 校正處理后的V通道圖像，可知增強了整體亮度。 圖3（e）為經(jīng)過本文改進的引導(dǎo)濾波處理后的V通道圖像。 圖3（f）為本文算法最終的增強圖像。 可以看出，與原始微光圖像相比，本文算法處理后的圖像對比度、清晰度以及亮度均有比較明顯的提升，圖像的細節(jié)也得到較好的保留。 綜上所述，本文算法能有效提高圖像質(zhì)量。

3.2 增強效果對比

為了證實本文所提出算法的性能優(yōu)勢，將選用文獻［18］的Retinex－Net 算法、文獻［19］的對比度受限的自適應(yīng)直方圖均衡化算法（CLAHE）、文獻［20］以及文獻［21］所提出的微光圖像增強算法分別對相同的微光圖像進行增強處理，最后與本文所提算法的處理結(jié)果進行比較。

3.2.1 實驗結(jié)果的主觀評價

本文所提算法與選用的4 種算法的處理結(jié)果如圖4 所示。 由圖4（b）第3 幅圖像可知，通過文獻［18］增強過的圖像存在亮度提升過度的情況，整體過于模糊，丟失許多細節(jié)；通過文獻［19］處理過的圖像，整體顏色過于黯淡，且整體對比度不高。 由圖4（c）第1 幅圖像可看到，花盆旁邊的地板、盆栽以及花朵的顏色不夠鮮明，圖4（c）中第3 幅圖像的地板亮度依舊很暗。 通過文獻［20］算法處理的圖像，在色彩上存在一定失真，由圖4（d）中第1 幅圖像可看到粉色花朵經(jīng)過增強后變?yōu)榘咨?，圖4（d）中第2幅圖像的鮮橙色格子變?yōu)榈壬?通過文獻［21］處理過的圖像，整體亮度提升不夠，仍然較為黯淡；通過本文所提出算法增強后的圖像，由圖4（f）第1幅圖像可看到圖像的整體亮度提升較好，且盆栽及旁邊的花朵顏色未出現(xiàn)失真，圖4（f）第2 幅圖像的很多暗處的細節(jié)都顯現(xiàn)出來，圖4（f）第3、第4 幅圖像的增強效果也較好。 因此，本文算法使增強后的圖像在整體亮度、對比度以及細節(jié)保持、清晰度上都有了一定的提升，并且圖像還原度較高，色彩鮮艷自然，總體來講，主觀視覺質(zhì)量較好。

圖4 5 種算法的結(jié)果對比圖Fig. 4 Comparison chart of the results of the five algorithms

3.2.2 實驗結(jié)果的客觀評價

本文選用3 個客觀指標來評價算法的優(yōu)劣，詳述如下。

（1）峰值信噪比（PSNR）［22］：圖像的PSNR是判斷圖像去噪效果最普遍、最常用的客觀評價方法。 數(shù)學(xué)定義公式具體如下：

其中，fmax是灰度像素最大值，fmax＝255，EMS是均方方差。 從式（19） 可以看出，PSNR值與圖像質(zhì)量成正比，當PSNR值越大，則表明增強后的結(jié)果圖像質(zhì)量越高。

（2）結(jié)構(gòu)相似度指標（SSIM）［23］： 根據(jù)圖像的亮度l（f，fe）、對比度c（f，fe）和結(jié)構(gòu)s（f，fe） 三者的比較，以此來評估處理后的結(jié)果圖像相較于原始圖像的質(zhì)量。 將這3 個值結(jié)合起來，就能得到整體的相似度度量。 其值越大，表明結(jié)構(gòu)越相似，數(shù)學(xué)公式具體如下：

（3）無參考圖像評價指標（NIQE）［24］： 基于一個簡單而成功的空間域自然場景統(tǒng)計（NSS）模型，構(gòu)建了一個統(tǒng)計特征的“質(zhì)量感知”集合。NIQE與圖像質(zhì)量成反比，即NIQE值越低，表明圖像質(zhì)量越高。

本文算法與選用的4 種算法的3 個客觀評價指標結(jié)果見表1～表3。 以圖4（a）中第1 幅圖像為例，本文所提算法與文獻［18］相比較，峰值信噪比、結(jié)構(gòu)相似度分別提高了0.089、0.009，無參考圖像評價指標降低了0.249。相較于文獻［19］，峰值信噪比、結(jié)構(gòu)相似度分別提高了0.0042、0.0001，無參考圖像評價指標降低了0.7163。相較于文獻［20］，峰值信噪比、結(jié)構(gòu)相似度分別提高了0.0003、0.0153，無參考圖像評價指標降低了0.4187。相較于文獻［21］，峰值信噪比、結(jié)構(gòu)相似度分別提高了0.013、0.007，無參考圖像評價指標降低了0.1518。

表1 本文算法和4 種算法的PSNR值比較結(jié)果Tab. 1 Comparison ofPSNRvalues between the algorithm in this paper and the four algorithms dB

表2 本文算法和4 種算法的SSIM值比較結(jié)果Tab. 2 Comparison ofSSIMvalues between the algorithm in this paper and the four algorithms

表3 本文算法和4 種算法的NIQE值比較結(jié)果Tab. 3 Comparison ofNIQEvalues between the algorithm in this paper and the four algorithms

通過客觀數(shù)據(jù)分析表明，經(jīng)本文算法處理過的圖像，不論是在峰值信噪比、結(jié)構(gòu)相似度還是無參考圖像評價指標以及各自平均值，與選用的另外4 種算法處理后的圖像相比較，得到的數(shù)據(jù)結(jié)果都是相對比較好的。

4 結(jié)束語

針對微光圖像的亮度低、細節(jié)丟失的問題，本文提出一種基于引導(dǎo)濾波的微光圖像增強算法。 所提算法使用改進的伽馬校正解決亮度低的問題，改進的引導(dǎo)濾波解決細節(jié)丟失的問題。 最后的增強結(jié)果不論是從客觀評價、還是主觀評價指標方面看，與本文選用的4 種圖像增強算法的效果相比，本文算法在各方面都有一定的優(yōu)勢。 最后，盡管本文所提算法在對微光圖像的增強效果方面有了一定提升，但依舊需要對其做更深一步的優(yōu)化，例如減少算法運行時間以及拓寬算法的應(yīng)用場景。