摘" 要: 針對現(xiàn)有圖像增強(qiáng)算法未針對礦井環(huán)境進(jìn)行優(yōu)化,導(dǎo)致噪點、偽影和真實感喪失的問題,提出基于反射圖增強(qiáng)的Retinex圖像增強(qiáng)算法。首先,采用基于卷積神經(jīng)網(wǎng)絡(luò)的模型去除圖像噪聲;其次,調(diào)整光照增強(qiáng)紋理信息豐富的反射圖;最后,融合經(jīng)過基于圖像環(huán)境反射強(qiáng)度自適應(yīng)伽馬校正的光照圖與增強(qiáng)的反射圖,消除光暈偽影并且避免過度曝光。實驗結(jié)果表明,將該算法與多種對比算法比較,所提算法可以有效提高礦下低質(zhì)圖像的清晰度、亮度和真實自然感,減少圖像噪聲、色彩失真。
關(guān)鍵詞: 低照度; 圖像增強(qiáng); 噪點; 紋理信息; 反射圖; 伽馬校正
中圖分類號: TN911.73?34; TP391" " " " " " " " "文獻(xiàn)標(biāo)識碼: A" " " " " " " " " " 文章編號: 1004?373X(2025)03?0043?07
Low?illumination mine image enhancement algorithm based on reflectance map enhancement
JING Jing1, 2, GAO Yumeng1, ZHAO Zuopeng1, MIN Bingbing1
(1. School of Computer Science and Technology, China University of Mining and Technology, Xuzhou 221116, China;
2. Xuzhou Finance and Economics Branch, Jiangsu Union Technical Institute, Xuzhou 221008, China)
Abstract: The existing image enhancement algorithms are not optimized according to the mine environment, which results in noise, artifacts, and loss of sense of reality. Therefore, a Retinex image enhancement algorithm based on reflectance map enhancement is proposed. Initially, a model based on convolutional neural networks (CNNs) is employed to eliminate image noise. Then, the illumination is adjusted to enrich the texture information of the reflectance map. Finally, an illumination map that has undergone adaptive gamma correction based on image environment reflectance intensity is merged with the enhanced reflectance map, so as to eliminate halo artifacts and prevent overexposure. This algorithm is compared with the other algorithms. The experimental results show that the proposed algorithm can effectively improve the sharpness, brightness and sense of reality of the low?quality images in mine while reducing image noise and color distortion.
Keywords: low?illumination; image enhancement; noise; texture information; reflectance map; gamma correction
0" 引" 言
隨著工業(yè)化的快速發(fā)展,礦業(yè)作為基礎(chǔ)產(chǎn)業(yè)之一,其安全與效率問題日益受到關(guān)注。井下低照度、濃水霧和高粉塵的光線環(huán)境給礦井的安全監(jiān)控和自動化帶來了巨大的挑戰(zhàn)。在這種環(huán)境下,圖像增強(qiáng)[1]技術(shù)是一種有潛力的解決方案。它不僅可以提高礦井圖像的可見性,還能在一定程度上輔助進(jìn)行隱患檢測、自動化操作等,從而提高礦井的整體安全性和工作效率。
盡管圖像增強(qiáng)技術(shù)在多個領(lǐng)域已有廣泛應(yīng)用,如醫(yī)療、軍事和電子產(chǎn)品等,但在礦業(yè)領(lǐng)域的具體應(yīng)用還相對較少。目前的研究大多集中在普通場景低照度圖像增強(qiáng)的基礎(chǔ)算法改進(jìn)和優(yōu)化,而針對礦井特殊環(huán)境的研究[2]還不夠充分。目前已提出的增強(qiáng)方法可分為三類:基于Retinex理論[3]、基于直方圖均衡[4]和基于去霧模型的方法。
基于Retinex理論的算法將圖像視為光照圖和反射圖的乘積[3,5?9]。單尺度Retinex和多尺度Retinex算法將輸入圖像中去除光照圖的反射圖作為最終的增強(qiáng)結(jié)果,這兩種方法在井下低照度圖像增強(qiáng)時會導(dǎo)致光暈偽影和色彩失真。文獻(xiàn)[10?12]提出了一種自適應(yīng)濾波算法來減少圖像的色彩失真和光暈偽影,然而,該方法會導(dǎo)致圖像過度增強(qiáng)[13]。文獻(xiàn)[14]提出通過融合多種基于Retinex的圖像增強(qiáng)技術(shù)來調(diào)整光照圖,但是由于光照圖結(jié)構(gòu)是不明確的,僅關(guān)注光照圖會失去紋理豐富區(qū)域的真實感。為此,文獻(xiàn)[15]提出了一種光照圖估計的低照度圖像增強(qiáng)方法,通過施加結(jié)構(gòu)感知先驗,對初始光照圖進(jìn)行估計,以完善光照圖。然而,由于缺乏對反射圖的約束,圖像中的噪聲可能會被放大。文獻(xiàn)[16]提出了一種加權(quán)變分模型,可以在處理光照圖的同時準(zhǔn)確估計反射圖,從而增強(qiáng)低照度圖像,雖然該算法在增強(qiáng)效果上有所突破,但是沒有考慮噪聲。
直方圖均衡算法主要側(cè)重于增強(qiáng)圖像對比度。低照度圖像通常動態(tài)范圍較小,通過重新排列像素值,調(diào)整后的圖像比原始圖像具有更強(qiáng)的對比度和更合適的亮度。傳統(tǒng)的直方圖均衡算法[17]適用于許多低動態(tài)范圍圖像,然而,這種方法往往會產(chǎn)生不良的偽影。為了解決這個問題,文獻(xiàn)[18]提出了一種基于Salp群算法的最優(yōu)加權(quán)直方圖框架。這種方法有效地保留了亮度并提高了圖像的對比度,而不會引入荒謬的視覺劣化、不自然的對比度效果和結(jié)構(gòu)偽影,但此方法并不能適當(dāng)?shù)卦鰪?qiáng)暗區(qū)的細(xì)節(jié)[19],并且大多數(shù)情況下會導(dǎo)致色彩失真。
近期研究的基于去霧模型[20]的方法實現(xiàn)了較高的增強(qiáng)性能。低照度圖像經(jīng)過反向處理后變得較為模糊,在這些反轉(zhuǎn)后的低照度圖像上應(yīng)用去霧方法可以獲得良好的增強(qiáng)性能。文獻(xiàn)[21?22]利用暗通道先驗[23]進(jìn)行低照度圖像增強(qiáng)。然而,這些方法都缺乏成熟的理論,并且處理后的圖像飽和度通常會被過度放大,使結(jié)果看起來不真實。
為解決上述問題,在抑制噪聲的同時使低照度圖像增強(qiáng)具有真實感,本文提出了一種適用于礦下的Retinex低照度圖像增強(qiáng)算法。首先,進(jìn)行圖像去噪,本文設(shè)計了一個基于卷積神經(jīng)網(wǎng)絡(luò)的模型DeCNN對低照度圖像進(jìn)行去噪處理,以提高圖像質(zhì)量;其次,進(jìn)行圖像增強(qiáng),由于反射圖包含豐富的紋理和顏色信息,本文的低照度圖像增強(qiáng)算法以增強(qiáng)反射圖為基礎(chǔ);最后,通過本文提出的一種基于圖像環(huán)境反射強(qiáng)度的自適應(yīng)伽瑪校正方法避免明亮區(qū)域過度曝光,并抑制暗區(qū)的噪點放大。
1" 方" 法
本文提出了一種適用于礦下的低照度圖像增強(qiáng)算法,先通過基于卷積神經(jīng)網(wǎng)絡(luò)的去噪模塊提高圖像質(zhì)量,再通過反射圖增強(qiáng)模塊進(jìn)行圖像增強(qiáng)。與現(xiàn)有的算法調(diào)整光照圖不同,本文算法通過增強(qiáng)反射圖來恢復(fù)低照度圖像。首先,根據(jù)Adelson的棋盤陰影實驗和Retinex理論,通過降低光照圖照度得到增強(qiáng)的反射圖;其次,對光照圖和增強(qiáng)的反射圖分別進(jìn)行自適應(yīng)伽瑪校正;最后,融合經(jīng)伽瑪校正的反射圖和光照圖,得到增強(qiáng)的結(jié)果。整體結(jié)構(gòu)圖如圖1所示。
1.1" 去噪模型
在礦下低照度條件下,圖像的低信噪比使得圖像的細(xì)節(jié)和邊緣變得模糊,噪聲使得顏色信息失真并且掩蓋圖像的原始紋理。這對于邊緣檢測、特征提取和其他依賴于顏色特性的任務(wù)來說是一個亟需解決的問題。
在執(zhí)行計算機(jī)視覺任務(wù)時,使用深度學(xué)習(xí)的模型在含有噪聲的圖像上可能會過度擬合,導(dǎo)致在清晰圖像上的泛化性能下降;噪聲會掩蓋或混淆小或遠(yuǎn)程對象的特征,使得它們更難以被準(zhǔn)確檢測或追蹤;對于需要匹配兩個或多個視圖的任務(wù),噪聲可能導(dǎo)致誤匹配,從而影響深度估計的準(zhǔn)確性;為了處理噪聲,需要添加額外的預(yù)處理步驟,如噪聲去除或圖像增強(qiáng),這會增加整體計算負(fù)擔(dān)。此外,在計算機(jī)視覺應(yīng)用中,如醫(yī)學(xué)圖像分析,準(zhǔn)確的測量是關(guān)鍵。噪聲可能導(dǎo)致誤差增加,從而影響診斷和分析的準(zhǔn)確性。
圖像中的噪聲信號通常被假定為獨立同分布的,因此,去噪方法主要關(guān)注減少AWGN(Additive White Gaussian Noise,加性高斯白噪聲)的問題?;诔直媛示矸e網(wǎng)絡(luò)[24]和去噪網(wǎng)絡(luò)DnCNN[25],本文提出了一種去噪卷積神經(jīng)網(wǎng)絡(luò)DeCNN來去除圖像噪聲。AWGN的標(biāo)準(zhǔn)方差可用于表示噪聲信號波動,在本文中表示噪聲對圖像質(zhì)量與穩(wěn)定性的影響?,F(xiàn)目前的大多數(shù)方法在普通場景中能準(zhǔn)確估計AWGN的標(biāo)準(zhǔn)方差,但在礦下特殊場景中仍存在不可忽略的誤差。本文提出的DeCNN在去噪的同時,可以計算AWGN的標(biāo)準(zhǔn)方差來估計噪聲影響程度。
由于相機(jī)拍攝的圖片通常較大,為了優(yōu)化訓(xùn)練過程,本文將圖片切割成41×41大小的片段。DeCNN的結(jié)構(gòu)如圖2所示。該去噪模型使用20個卷積層,每一層的內(nèi)核大小為3×3,在訓(xùn)練過程中,對每一層中的每個補(bǔ)丁進(jìn)行填充,使輸出與輸入大小相同。卷積層結(jié)束后,輸出為殘留圖像,將其與噪聲圖像相加,得到無噪聲圖像。
將DeCNN輸出的無噪聲圖像設(shè)定為基本真實圖像,將含有AWGN的圖像設(shè)為輸入,利用PCA(Principal Component Analysis,主成分分析)噪聲水平估計器來估計低照度圖像的AWGN標(biāo)準(zhǔn)方差。
1.2" Retinex理論和Adelson棋盤陰影實驗
本文算法的核心思想來自Retinex理論和Adelson實驗。
在Retinex理論中,輸入圖像可視為反射圖和光照圖的乘積,如公式(1)所示:
[S=R·L] (1)
式中:[S]表示輸入圖像;運(yùn)算符“[·]”表示元素相乘;[R]表示反射圖,用于描述紋理和結(jié)構(gòu)的特征;[L]表示光照圖,用于描述圖像中的光強(qiáng)分布?,F(xiàn)有的大多數(shù)基于Retinex的方法都是通過調(diào)整光照圖來增強(qiáng)低照度圖像,然而,這些方法可能會導(dǎo)致圖像過度增強(qiáng)、色彩失真、噪點和不自然的視覺效果。反射圖比光照圖包含更多紋理細(xì)節(jié)信息。因此,處理反射圖比處理光照圖更有效。
在Adelson跳棋陰影實驗中,對于大多數(shù)人來說,圖3a)中的[A]方格似乎比[B]方格暗。然而,在圖3b)中,兩個垂直參考條顯示正方形[A]和正方形[B]的亮度相同,即[S(A)=S(B)]。圖中的正方形[B]處于圓柱體的陰影中,因此正方形[A]的光照強(qiáng)度要高于正方形[B],即[L(A)gt;L(B)]。根據(jù)Retinex的[S=R·L]等式,可以得出正方形[A]的反射度小于正方形[B],即[R(A)lt;R(B)]。Adelson的實驗表明,降低光照強(qiáng)度可以提高圖像的反射度。本文算法的核心就建立在這一基礎(chǔ)之上。
1.3" 反射圖增強(qiáng)
本文使用多尺度高斯低通濾波器從輸入圖像中提取光照圖。根據(jù)Retinex理論,反射圖由[R=SL]得出。光照圖[L]的計算公式如公式(2)所示:
[Li(x,y)=n=1NWn?{log[Si(x,y)?Fn(x,y)]}] (2)
式中:[Li(x,y)]表示光照圖的估計值;[Si(x,y)]表示輸入圖像的第[i]個通道的二維矩陣;符號“?”表示卷積算子;[n]表示從1~[N]個尺度不等;[W]表示每個尺度的加權(quán)參數(shù);[Fn(x,y)]表示高斯環(huán)繞函數(shù)。[Fn(x,y)]的定義如式(3)所示:
[Fn(x,y)=Knexp-x2+y2σ2n] (3)
式中:[Kn]選取使[Fn(x,y)dxdy]=1的值;[σ]表示高斯函數(shù)的標(biāo)準(zhǔn)方差。
不同比例的濾波器可以提取輸入圖像的不同特征信息。本文設(shè)置了5個比例的低通濾波器,以便從輸入圖像中獲取更多信息。為了得到增強(qiáng)的反射圖,要降低光照圖的照度,如公式(4)所示:
[Lw=λ1×L,s.t." " 0lt;λ1lt;1] (4)
式中:[Lw]是照度降低后的光照圖;[λ1]是加權(quán)系數(shù),[λ1]的值與輸入圖像的亮度成正比。為了降低計算成本,只估算光照圖,反射圖求解如式(5)所示:
[R=SLw] (5)
礦下的照明條件較復(fù)雜,在照度較低的同時會出現(xiàn)非均勻光照、背光等情況,對算法提出了更高的要求。因此,通過引入伽瑪校正來進(jìn)一步改進(jìn)該方法。
1.4" 自適應(yīng)伽瑪校正
本文以反射圖的伽瑪校正為基礎(chǔ),提出了一種基于圖像環(huán)境反射強(qiáng)度的自適應(yīng)伽瑪校正方法,計算公式如式(6)所示:
[Rg=(R)γ," " γ=(λ2)fmean(V)-(R?255)fmean(V)] (6)
式中:[Rg]表示伽瑪校正后的反射圖;[γ]為伽馬系數(shù);[fmean(V)]是HSV空間中[V]通道亮度的平均值;[λ2]是伽瑪校正的強(qiáng)度控制因子,將[λ2]設(shè)為大于1。
較好的環(huán)境光增強(qiáng)效果可以顯著改善低照度圖像的視覺效果。因此,在本文算法中,環(huán)境光與反射圖之間的差值被用作控制伽瑪系數(shù)的自適應(yīng)變量。伽瑪系數(shù)與非均勻低照度圖像的明暗區(qū)域亮度差成正比。本文提出的自適應(yīng)伽馬校正將[fmean(V)]作為圖像的環(huán)境光照強(qiáng)度,而與[fmean(V)]相差較多的暗區(qū)和亮區(qū)則是伽馬校正重點調(diào)整的區(qū)域。將環(huán)境光照強(qiáng)度作為圖像亮度恢復(fù)的參考點,以更好地保持圖像的原始自然度。因此,使用[fmean(V)]與反射圖之間的差值作為控制[γ]值的自適應(yīng)因子,以平衡低照度圖像明暗區(qū)域的照度。它能提高低照度圖像的整體亮度,避免明亮區(qū)域過度曝光,并抑制暗區(qū)的噪點放大。
對光照圖進(jìn)行同樣的自適應(yīng)伽瑪校正,以確保其與反射圖保持一致。這樣既能保持圖像的自然度,又能改善視覺效果。計算公式如式(7)所示:
[Lg=255L 255γγ=(λ2)fmean(V)?Ie-Lfmean(V)?Ies.t." " 0lt;Ielt;1] (7)
式中:[L]是估計的光照圖;[Ie]是環(huán)境光強(qiáng)系數(shù),與圖像的環(huán)境光強(qiáng)成反比。在本文中,[λ2]的值接近于1,以保持圖像的自然度。接著,融合反射圖[Rg]和光照圖[Lg]得出增強(qiáng)結(jié)果[Se],如公式(8)所示:
[Se=Lg*Rg] (8)
最后,將[Se]轉(zhuǎn)換回RGB空間,得到最終的圖像增強(qiáng)結(jié)果。圖4a)為原圖,圖4b)顯示了非均勻照度下低照度圖像的增強(qiáng)結(jié)果。可以看出,該方法改善了圖像的對比度和可見度,并且圖像暗部的噪點沒有被放大,亮部也沒有過度增強(qiáng)。
2" 實驗與分析
本文將所提算法與6種具有代表性的方法進(jìn)行比較,包括低動態(tài)范圍(LDR)圖像增強(qiáng)算法、多尺度Retinex增強(qiáng)算法(MSRCR)、非線性象限加權(quán)增強(qiáng)算法(NPEA)、中值濾波(MF)、稀疏表示圖像增強(qiáng)算法(SRIE)和局部可解釋的模型無關(guān)解釋(LIME)。
LDR是指從高動態(tài)范圍(HDR)圖像到低動態(tài)范圍圖像的映射技術(shù),它的目的是在LDR設(shè)備上保留HDR圖像中的細(xì)節(jié)和對比度,從而使其在普通的顯示器或打印機(jī)上看起來更為生動。MSRCR通過在多個尺度上分離反射光和環(huán)境光來增強(qiáng)圖像的對比度和顏色。這種方法對于在復(fù)雜光線條件下恢復(fù)真實的場景顏色非常有效。NPEA是一種基于區(qū)域的方法,用于增強(qiáng)圖像中的暗區(qū)和亮區(qū),通過分析圖像的直方圖并應(yīng)用非線性變換,可以增強(qiáng)圖像的細(xì)節(jié)和對比度。MF通過將每個像素的值替換為其鄰域中像素值的中值來工作,這種方法特別適用于消除圖像中的“鹽和胡椒”噪聲。SRIE利用圖像的稀疏性質(zhì)進(jìn)行增強(qiáng),它首先將圖像分解成結(jié)構(gòu)和紋理兩部分,然后獨立地增強(qiáng)這兩個部分。這種方法在保留圖像細(xì)節(jié)的同時,可以很好地提高圖像的對比度。嚴(yán)格地說,LIME并不是一個圖像增強(qiáng)算法,而是一個用于解釋復(fù)雜機(jī)器學(xué)習(xí)模型決策的方法。LIME通過生成局部敏感性模型來解釋黑盒模型的預(yù)測。在圖像領(lǐng)域中,它可以識別出模型在進(jìn)行決策時依賴的圖像區(qū)域或特征。
在定性實驗中,本文測試了算法運(yùn)行時間與算法在不同低照度場景下的性能。在定量實驗中,本文從自建礦下數(shù)據(jù)集中選取了400張不同亮度的低照度圖像進(jìn)行實驗。通過實驗驗證本文算法增強(qiáng)低照度圖像的有效性與魯棒性。
2.1" 實驗設(shè)置
實驗環(huán)境為64位Windows 10操作系統(tǒng),配置Intel[?] CoreTM i5?7400 CPU @ 3.00 GHz 的CPU處理器,GeForce GTX 3060的GPU。實驗使用PyTorch框架實現(xiàn)上述相關(guān)算法功能。
訓(xùn)練圖像去噪模塊DeCNN時,使用本文自建的礦下低照度圖像數(shù)據(jù)集,自建數(shù)據(jù)集包括6 000張含有噪聲的礦井現(xiàn)場低照度圖像。根據(jù)PCA噪聲水平估計器結(jié)果,AWGN標(biāo)準(zhǔn)方差大多在[0,0.1]范圍內(nèi),而像素值的歸一化范圍為[0,1]。因此,在準(zhǔn)備訓(xùn)練數(shù)據(jù)時,將方差限制在[0,0.1]范圍內(nèi),使用Caffe訓(xùn)練模型,設(shè)置基本學(xué)習(xí)率為0.01,動量為0.9,權(quán)重衰減為0.000 1。
訓(xùn)練圖像增強(qiáng)模塊的數(shù)據(jù)集為低曝光圖像對數(shù)據(jù)集(LOL)和自建數(shù)據(jù)集,LOL中包含了500張低曝光圖像和對應(yīng)的正常曝光圖像,每張圖像的大小為400×600,LOL的大部分圖像都是在自然場景下通過調(diào)整曝光時間來獲得的,場景包括房屋、郊區(qū)、街道等,本文選擇400張圖像進(jìn)行訓(xùn)練,100張圖像進(jìn)行測試。自建數(shù)據(jù)集中4 800張為訓(xùn)練集,1 200張為測試集。
在比較運(yùn)行速度時,為確保公平比較,將上述相關(guān)方法的參數(shù)設(shè)置為推薦參數(shù),建議算法的復(fù)雜度為[O(m×n×Imax)],其中,[m]、[n]分別為圖像寬度和高度的像素大小,[Imax]=255。
2.2" 定性實驗結(jié)果與分析
以下實驗表中的加粗下劃線數(shù)據(jù)均為最優(yōu)數(shù)據(jù),加粗?jǐn)?shù)據(jù)為次優(yōu)數(shù)據(jù)。圖5a)、圖6a)、圖6i)、圖6q)均為測試圖像,圖6b)、圖6j)、圖6r)為LDR的實驗結(jié)果,圖6c)、圖6k)、圖6s)為MSRCR的實驗結(jié)果,圖6d)、圖6l)、圖6t)為NPEA的實驗結(jié)果,圖6e)、圖6m)、圖6u)為MF的實驗結(jié)果,圖6f)、圖6n)、圖6v)為SRIE的實驗結(jié)果,圖6g)、圖6o)、圖6w)為LIME的實驗結(jié)果,圖6h)、圖6p)、圖6x)為本文算法的實驗結(jié)果。
第一組實驗測試上述相關(guān)方法在測試集上的平均運(yùn)行時間如表1所示。
第二組實驗使用低照度的色域圖進(jìn)行測試,以呈現(xiàn)出圖像增強(qiáng)過程中的色彩失真現(xiàn)象。測試結(jié)果如圖5所示。從圖中可以看出,LDR、MSRCR、NPEA和MF的圖像增強(qiáng)效果都存在一定的色彩失真現(xiàn)象,SRIE與LIME的表現(xiàn)相對較好,但是存在圖像增強(qiáng)不充分的問題。本文算法恢復(fù)了原始顏色,得到了清晰的圖像增強(qiáng)結(jié)果。
第三組實驗展示了背光場景的低照度圖像增強(qiáng)效果。如圖6b)、圖6r)、圖6l)、圖6o)所示,低照度圖像的背光越強(qiáng),其暗區(qū)過度增強(qiáng)越明顯,增強(qiáng)結(jié)果的自然度也越低。
表2展示了相關(guān)方法在保持圖像自然度方面的性能。使用NIQE(Natural Image Quality Evaluator,自然圖像質(zhì)量估計)檢測圖像的自然度和失真度,NIQE越小,增強(qiáng)結(jié)果的質(zhì)量越高。如表2所示,本文算法在NIQE度量上表現(xiàn)良好。
第四組實驗展示了非均勻光照場景的低照度圖像增強(qiáng)效果,現(xiàn)有的方法通常會造成明區(qū)過度增強(qiáng)和暗區(qū)噪聲放大。LDR和MF的增強(qiáng)效果表現(xiàn)出明顯的顏色失真,如圖7b)、圖7e)所示,圖像失真會導(dǎo)致圖像信息的破壞。而本文算法可以產(chǎn)生更好的視覺效果。
表3展示了相關(guān)方法維護(hù)圖像信息的性能,使用ENTROPY(Information Entropy,信息熵)表示圖像所含信息量,ENTROPY越大,所含信息量越大。
現(xiàn)實中礦下的低照度圖像有各種各樣的噪點。第五組實驗展示了礦下真實場景對低照度圖像增強(qiáng)的影響。本次實驗選取了在上述四組實驗中表現(xiàn)較好的SRIE和LIME進(jìn)行比較測試。從圖8中可以看出所有方法都增強(qiáng)了亮度,并在一定程度上恢復(fù)了圖像細(xì)節(jié)。然而,也出現(xiàn)了一些令人不滿意的視覺效果。如圖8f)、圖8g),結(jié)果對噪聲進(jìn)行放大;在圖8k)和圖8o)中,結(jié)果出現(xiàn)顏色失真的現(xiàn)象;在圖8r)、圖8s)中可以看到,圖像增強(qiáng)結(jié)果中有明顯的光暈偽影。然而,本文方法的結(jié)果有效避免了上述問題,視覺效果也比對照組好。綜上所述,實驗驗證了本文方法在真實場景中的有效性。在表4中,展示了相關(guān)方法在保持圖像PSNR(Peak Signal?to?Noise Ratio,峰值信噪比)方面的性能,PSNR值越大,圖像質(zhì)量越好。
2.3" 定量實驗結(jié)果與分析
圖像質(zhì)量評估分為兩類,一種是參考評估,另一種是無參考評估。本文采用峰值信噪比(PSNR)、結(jié)構(gòu)相似度(SSIM)、信息熵(ENTROPY)、自然圖像質(zhì)量評價器(NIQE)、基于感知的圖像質(zhì)量評價器(PIQE)和亮度階次誤差(LOE)來評估增強(qiáng)圖像的質(zhì)量。從自建礦下數(shù)據(jù)集中選取了400張不同場景的礦下低照度圖像進(jìn)行擴(kuò)展實驗,以驗證本文算法在礦下的性能,如表5所示。
本文算法在SSIM和NIQE上獲得了最佳值,而在PSNR、ENTROPY、PIQE和LOE上獲得了次優(yōu)值。SRIE 模型在PIQE方面獲得了最佳值。這表明本文算法具有很強(qiáng)的穩(wěn)定性、魯棒性和泛化能力。
綜上,本文算法的定性評估和定量評估結(jié)果達(dá)到或超過了現(xiàn)有先進(jìn)算法。實驗結(jié)果表明,本文方法是有效的,并且本文算法的增強(qiáng)結(jié)果具有較好的圖像質(zhì)量。
3" 結(jié)" 論
本文采用了各種光照條件下通用無噪聲和礦下含噪聲的低照度圖像來測試本文算法。實驗結(jié)果表明,本文算法在定性和定量評估指標(biāo)上都取得了較好的結(jié)果。同時,注意到低照度圖像中的噪聲對執(zhí)行計算機(jī)視覺任務(wù)有很大影響。本文算法解決了礦下真實場景中的部分噪聲問題,但對于部分高噪聲圖像存在一定缺陷,因此,將進(jìn)一步研究礦下高噪聲級低照度圖像增強(qiáng)算法。
注:本文通訊作者為井晶。
參考文獻(xiàn)
[1] 張立亞,郝博南,孟慶勇,等.基于HSV空間改進(jìn)融合Retinex算法的井下圖像增強(qiáng)方法[J].煤炭學(xué)報,2020,45(z1):532?540.
[2] 趙征鵬,李俊鋼,普園媛.改進(jìn)的Retinex低照度圖像清晰化處理[J].計算機(jī)應(yīng)用與軟件,2021,38(8):220?226.
[3] MCCANN J J. Retinex at 50: Color theory and spatial algorithms, a review [J]. Journal of electronic imaging, 2017, 26(3): 031204.
[4] 畢秀麗,邱雨檬,肖斌,等.基于統(tǒng)計特征的圖像直方圖均衡化檢測方法[J].計算機(jī)學(xué)報,2021,44(2):292?303.
[5] LISANI J L, MOREL J M, PETRO A B, et al. Analyzing center/surround retinex [J]. Information sciences, 2020, 512: 741?759.
[6] ZHAO Z J, XIONG B S, WANG L, et al. RetinexDIP: A unified deep framework for low?light image enhancement [J]. IEEE transactions on circuits and systems for video technology, 2022, 32(3): 1076?1088.
[7] ZHUANG P X, WU J M, PORIKLI F, et al. Underwater image enhancement with hyper?Laplacian reflectance priors [J]. IEEE transactions on image processing, 2022, 31: 5442?5455.
[8] YUE H J, YANG J Y, SUN X Y, et al. Contrast enhancement based on intrinsic image decomposition [J]. IEEE transactions on image processing, 2017, 26(8): 3981?3994.
[9] 李燦林,朱金娟,劉金華,等.一種自適應(yīng)SSR的霧天低照度圖像增強(qiáng)方法[J].計算機(jī)應(yīng)用與軟件,2022,39(9):233?239.
[10] DIAZ N, RUEDA H, ARGUELLO H. Adaptive filter design via a gradient thresholding algorithm for compressive spectral imaging [J]. Applied optics, 2018, 57(17): 4890?4900.
[11] YUAN Y S, YU L M, ZAFER D, et al. Graphics processing units?accelerated adaptive nonlocal means filter for denoising three?dimensional Monte Carlo photon transport simulations [J]. Journal of biomedical optics, 2018, 23(12): 121618.
[12] WELIGAMPOLA H, JAYATILAKA G, SRITHARAN S, et al. A retinex based GAN pipeline to utilize paired and unpaired datasets for enhancing low light images [C]// Proceedings of the 2020 Moratuwa Engineering Research Conference (MERCon). [S.l.: s.n.], 2020: 224?229.
[13] LIU Y H, YAN H M, GAO S B, et al. Criteria to evaluate the fidelity of image enhancement by MSRCR [J]. IET image processing, 2018, 12(6): 880?887.
[14] FU X Y, ZENG D L, HUANG Y, et al. A fusion?based enhancing method for weakly illuminated images [J]. Signal processing, 2016, 129: 82?96.
[15] GUO X J, LI Y, LING H B. LIME: Low?light image enhancement via illumination map estimation [J]. IEEE transactions on image processing, 2017, 26(2): 982?993.
[16] FU X Y, ZENG D L, HUANG Y, et al. A weighted variational model for simultaneous reflectance and illumination estimation [C]// IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2016: 2782?2790.
[17] WANG Y, PAN Z B. Image contrast enhancement using adjacent?blocks?based modification for local histogram equalization [J]. Infrared physics amp; technology, 2017, 86: 59?65.
[18] BHANDARI A K, KANDHWAY P, MAURYA S. Salp swarm algorithm based optimally weighted histogram framework for image enhancement [J]. IEEE transactions on instrumentation and measurement, 2020, 69(9): 6807?6815.
[19] RAO B S. Dynamic histogram equalization for contrast enhancement for digital images [J]. Applied soft computing, 2020, 89: 106114.
[20] 韓文生.基于深度學(xué)習(xí)的單幅圖像去霧算法研究[D].南京:南京郵電大學(xué),2022.
[21] ZHANG X D, SHEN P Y, LUO L L, et al. Enhancement and noise reduction of very low light level images [C]// Proceedings of the 21st International Conference on Pattern Recognition. New York: IEEE, 2012: 2034?2037.
[22] LI L, WANG R G, WANG W M, et al. A low?light image enhancement method for both denoising and contrast enlarging [C]// Proceedings of the 2015 IEEE International Conference on Image Processing. New York: IEEE, 2015: 3730?3734.
[23] HE K M, SUN J, TANG X O. Single image haze removal using dark channel prior [J]. IEEE transactions on pattern analysis and machine intelligence, 2011, 33(12): 2341?2353.
[24] KIM J, LEE J K, LEE K M. Accurate image super?resolution using very deep convolutional networks [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE, 2016: 1646?1654.
[25] ZHANG K, ZUO W M, CHEN Y J, et al. Beyond a Gaussian denoiser: Residual learning of deep CNN for image denoising [J]. IEEE transactions on image processing, 2017, 26(7): 3142?3155.