張亞邦,李佳悅,王滿利
基于HSV空間的煤礦井下低光照圖像增強方法
張亞邦1,李佳悅2,王滿利2
(1. 平頂山天安煤業(yè)股份有限公司六礦,河南 平頂山 467000;2. 河南理工大學 物理與電子信息學院,河南 焦作 454000)
針對煤礦井下采集到的圖像對比度低、光照不均和細節(jié)信息弱等問題,提出一種基于色相-飽和度-明度(Hue-Saturation-Value,HSV)顏色空間的煤礦井下低光照圖像增強方法。該方法基于圖像的HSV空間,通過對低光照圖像的亮度通道V通道的主要結構和邊緣細節(jié)分別進行對比度增強,這樣可以更好地抑制圖像細節(jié)丟失,同時可以較好地再現(xiàn)原圖中的輪廓和紋理細節(jié)。首先,將輸入的煤礦井下低光照圖像轉換到HSV空間,利用相對全變分濾波(RTV)與改進的邊窗濾波(SWF),分別對提取的V通道圖像進行主要結構提取和輪廓邊緣保留,對其非線性灰度拉伸后利用主成分分析融合技術(PCA)重構V通道圖像,即融合V通道圖像的主要結構和精細結構,最后合成圖像,完成圖像增強。通過實驗驗證,提出的基于HSV空間的煤礦井下低光照圖像增強方法,在色彩和邊緣模糊處理等方面表現(xiàn)良好,在煤礦井下工作面等環(huán)境中,對圖像進行定量和定性實驗,結果表明,與6種方法相比,增強圖像的對比度、自然度和圖像細節(jié)方面表現(xiàn)更好。
圖像增強;HSV空間;煤礦井;低光照圖像;相對全變分濾波;邊窗濾波
煤礦井下的視頻監(jiān)控系統(tǒng)[1]是對井下工作人員和設備等目標的位置和狀態(tài)等信息分析的重要手段,但是由于煤礦井下的復雜環(huán)境,使獲取到的圖像存在對比度低、光照不均、邊緣細節(jié)模糊等問題,造成分析圖像出現(xiàn)困難[2]。因此,對煤礦井下采集到的圖像使用增強方面的預處理等技術研究具有極為重要的意義[3]。目前主流的煤礦井下的圖像增強方法主要分為基于模型和深度學習兩大類。
基于模型的方法分為直方圖均衡化[4]和基于Retinex[5]理論兩種方法。其中,基于直方圖均衡化的方法[6]容易引起圖像過增強和出現(xiàn)曝光現(xiàn)象。隨著技術的不斷發(fā)展,圖像增強研究熱點逐漸轉移到基于Retinex理論的方法?;赗itinex理論和光照圖估計[7]的低光照增強圖像方法[8]LIME(Low-light Image Enhancement via Illumination Map Estimation),先對光照圖進行處理,最后將反射圖的輸出作為增強結果,但容易出現(xiàn)過增強的現(xiàn)象。NPE[9](Naturalness Preserved Enhancement)在增強圖像對比度的同時保持了照明的自然度,但沒有考慮不同場景中照明的關系。用于圖像增強的多曝光融合框架BIMEF(Bio-Inspired Multi-Exposure Fusion)[10],采用雙曝光融合方法,但結果亮度過低。RRM(Structure-Revealing Low-Light Image Enhancement Via Robust Retinex Model)[11]采用基于增廣Lagrange乘子的ADM(Alternating direction methods)方法,對噪聲進行預測,同時估計反射圖和光照圖進行圖像增強,但增強結果不夠清晰?;谌レF的方法[12]利用了霧天拍攝的圖像與低光照圖像之間的反向聯(lián)系來達到圖像增強的效果。
隨著深度學習的飛速發(fā)展,基于深度學習的網(wǎng)絡已被廣泛應用于圖像處理中。Lore等人[13]使用堆疊稀疏去噪自動編碼器(A Deep Autoencoder Approach to Natural Low-light Image Enhancement,LLNet)增強圖像和對圖像去噪。LLCNN(A convolutional neural network for low-light image enhancement)[14]是一種基于超分辨率模型VDSR(Very Deep-Super Resolution)和殘差網(wǎng)絡ResNet的雙分支殘差學習網(wǎng)絡,但其多尺度特征融合能力不足。為了克服這些困難,Wei C.等人提出一種基于Retinex理論分解的方法,建立了一個將圖像分解和圖像增強相結合的深度神經(jīng)網(wǎng)絡[15],將原始圖像分解為光照圖和反射圖,但忽略了紅-綠-藍色(Red-Green-Blue, RGB)空間的三個通道的相關性,結果出現(xiàn)嚴重失真?;谏疃葘W習的方法[16-17]雖然有一定的有效性,但需要大量的數(shù)據(jù)集,同時網(wǎng)絡的訓練也需要復雜的設備支持,其運行時間也會隨著網(wǎng)絡的大小而增加。
針對以上煤礦井下圖像增強中存在的問題,提出一種基于圖像的HSV空間[18],利用相對全變分(Relative Total Variation, RTV)濾波和改進的邊窗濾波(Side Window Filtering, SWF)增強V通道圖像并融合的方法,實現(xiàn)對圖像的增強。該方法在不需要大量數(shù)據(jù)集支撐的前提下,能夠有效解決低光照圖像邊緣細節(jié)模糊、細節(jié)丟失的現(xiàn)象,并且在保持圖像原有的色彩的同時達到增強圖像的亮度和對比度細節(jié)的效果。
由于彩色圖像的光照并不與RGB模型的三通道中某一單一的通道有明確的聯(lián)系,而RGB模型的三通道互相影響,相對而言,HSV模型中的三通道相對獨立,且場景中的光照對圖像的亮度通道V通道影響較大,針對亮度做校正方便快捷且計算簡單,故本文選用在HSV空間中完成對煤礦井下低光照圖像進行亮度的矯正。
方法的整體框架如圖1所示。首先將低光照圖像分為色調通道H、飽和度通道S和亮度通道V三個通道,利用RTV與SWF,對提取出來的V通道圖像分別進行主要結構提取和輪廓邊緣保留,之后對其進行非線性灰度拉伸以增強其對比度,非線性灰度拉伸參考了S通道圖像,更好保留了圖像的原結構。利用新的融合技術PCA得到增強后的V通道圖像,最后將新的V通道與之前分離出來的S通道和H通道融合并由HSV空間轉換到RGB空間,最后輸出增強后的圖像。
1)主要結構提取
主要結構采用結構約束優(yōu)化方法提取,即相對全變分(RTV)[19]的方法,RTV采用像素加窗總變差度量項和窗口固有變化度量項構成目標函數(shù)正則項,和分別表示和水平和垂直方向度量值,定義如式(1)和式(2):
圖1 基于HSV空間的煤礦下低光照圖像增強方法整體框架
Fig.1 Overall framework of low-light image enhancement method under coal mine based on HSV space
2)邊緣細節(jié)保留
對V通道的邊緣細節(jié)保留使用改進的邊窗濾波技術(SWF)[20],SWF具有顯著的邊緣保持能力,并在圖像平滑與結構保留紋理去除、相互結構提取等應用中達到了最先進的性能。
基于局部的過濾器通常是根據(jù)像素的鄰域來估計其輸出。被處理的像素位于操作窗口的中心,而操作窗口中的其他像素與他相鄰。一種常見的基于線性近似的圖像濾波操作假設圖像是分段線性的,并將像素近似為局部窗口上相鄰像素的加權平均值:
式中:為以像素為中心的局部窗口(支撐域),其實就是局部窗口內(nèi)的像素;為權重,o和I分別為輸入圖像和輸出圖像在位置的強度。
濾波器輸出與原始圖像之間的差異可以表述為以下代價函數(shù):
利用泰勒展開,證明為了使用相鄰像素的線性組合重建邊緣像素,相鄰像素必須來自邊緣的一側。SWF技術作為一種有效的保邊濾波的方法,將每個目標像素視為一個潛在的邊,并在其周圍生成多個局部窗口,每個窗口都將目標像素與窗口的一個邊或角對齊,SWF的輸出是其中一個側窗中的鄰居的線性組合,可以最好地接近目標像素。
側窗的定義如圖2所示,參數(shù)為窗與水平線的夾角,參數(shù)為窗的半徑,?{0,},(,)是目標像素的位置,是一個用戶定義的參數(shù),它對于所有的側窗都是固定的。通過改變和固定(,),可以改變窗口的方向,同時使它的一側與對齊。是窗口的半徑,(a)是連續(xù)情況下側窗的定義,(b)分為左(紅色矩形)和后(藍色矩形)側窗,(c)分為上(紅色矩形)和下(藍色矩形)側窗,(d)分為左上(紅色矩形)、右上(藍色矩形)、左下(綠色矩形)和右下(橙色矩形)側窗。通過在每個邊窗中應用濾波核,可以得到8個輸出:
保持邊緣意味著想要最小化輸入和輸出在邊緣的距離,即濾波器的輸出應該與輸入在邊緣相同或盡可能接近。因此,我們選擇與輸入強度2距離最小的側窗輸出作為最終輸出:
如圖3所示,第一行是從低光照圖像中提取的V通道圖。第二行是V通道使用RTV提取的主要結構圖,可以有效提取出圖像的主要結構,濾波整體結構良好,保存了V通道圖像的主要結構特征,但在細節(jié)方面并未得到很好的區(qū)分,所以引入SWF技術,可以更好地區(qū)分紋理和細節(jié)。第三行是V通道經(jīng)過SWF提取的邊緣細節(jié)圖,紋理邊緣保持較好。采用特征值融合的方法,使兩種濾波方法結合,保存圖像整體結構良好的同時,精細結構能更加平滑,更好地區(qū)分紋理和結構。對比相應的增強圖像可知,本文方法增強圖像對比度更高,紋理細節(jié)及邊緣保持相對更好一些。
(a) (x,y) coordinate diagram (b) East-West direction (c) North-South direction (d) NW-NE-SW-SE direction
圖3 濾波結果圖
3)主成分分析融合
為了充分利用RTV提取圖像的主要結構和SWF保持的圖像邊緣細節(jié),采用基于主成分分析(Principal Component Analysis,PCA)融合方法進行V通道融合,PCA融合是經(jīng)典空間域融合方法,該方法利用主成分分解可以保留原數(shù)據(jù)之特征信息這一特點,由兩源圖像獲取協(xié)方差矩陣及其特征值和特征向量,據(jù)此確定圖像融合方法的加權系數(shù)和最終的融合圖像。首先,將二維圖像轉化為一維向量,并由一維向量構造數(shù)據(jù)矩陣,然后,計算的協(xié)方差矩陣的特征向量矩陣和相應的特征值矩陣,據(jù)此計算相應的加權系數(shù),最后加權融合獲得優(yōu)化的傳輸圖。
將兩幅圖像轉換為二維向量,對其協(xié)方差矩陣做特征值分解,獲得2×2特征向量矩陣和特征值矩陣,其計算如式(8):
式中:Cov表示協(xié)方差計算;Eig表示特征值分解操作。之后根據(jù)式(9)和式(10)計算融合權重系數(shù)。
式中:(,)表示的對角元素的第個元素;(:,)表示的第列=1,2,1表示1維元素向量。
式中:W為加權系數(shù);為融合結果分量;S為待融合的主要結構傳輸圖和精細結構傳輸圖。將兩種結構傳輸圖優(yōu)化融合,獲得增強后的V通道圖。
根據(jù)圖1所示方法框架,基于HSV空間的礦井下低光照圖像增強方法實施步驟為:
1)獲取低光照圖像V通道圖像
2)求解新的V通道圖像1和2
對獲得的V通道圖像進行RTV主要結構提取,并根據(jù)S通道圖像的像素值對V通道圖像進行非線性灰度拉伸,得到新的V通道圖像1;同時對V通道圖像進行SWF的邊緣細節(jié)提取,進行相同的非線性灰度拉伸,得到V通道圖像2;
3)合成新的V通道分量
利用PCA融合方法進行V通道分量合成,計算融合權重系數(shù)W,根據(jù)式(11)融合策略,得到新的V通道分量。
實驗開展分為2類,第1類是參數(shù)分析實驗,調整參數(shù)值分析不同取值對方法影響;第2類是對比實驗,將對煤礦井下低光照圖像進行對比分析本文提出的方法與其他增強方法的增強性能差異,增強方法中傳統(tǒng)方法包括Dong[12]、BIMEF[10]和LIME[6],實驗在8GB RAM和Windows 10操作系統(tǒng)的筆記本電腦上運行,軟件采用MATLAB2016a;深度學習方法包括基于Retinex-Net[14]、MBLLEN(Multi-Branch Low-light Enhancement Network)[21]和Zero-DCE[22],實驗在Nvidia RTX3090 GPU工作站上運行。
本文選擇了常用的3種圖像質量評價指標:峰值信噪比(Peak Signal to Noise Ratio, PSNR)[23]、結構相似性(Structual Similarity, SSIM)[24]和自然圖像質量評估(Natural Image Quality Evaluator,NIQE)[25]作為增強后圖像的評價指標。
1)峰值信噪比(PSNR)
峰值信噪比用來評價兩幅圖像相對質量的好壞,其值越高,說明增強后的圖像失真越小,質量越好。對于大小為×的兩幅圖像和(原圖和增強后的結果圖像),其均方差MSE(Mean Square Error)定義為:
則PSNR(dB)定義為:
式中:MAX為像素最大值。
2)結構相似性(SSIM)
圖像的結構相似性(SSIM)可以衡量兩個圖像的相似程度,SSIM值的大小表示更符合人眼的直觀感受。
SSIM指標的計算表達式,如式(17)所示:
SSIM(,)=[(,)×(,)×(,)] (14)
和分別是原圖和增強結果圖,將,,設為1,可以得到:
式中:、、2、2分別為和的均值與方差,為和的協(xié)方差,1和2為常數(shù),避免除數(shù)為零。圖像的SSIM值越大,說明兩幅圖像的相似度越高,也就說明增強后的圖像越接近真實圖像。
3)自然圖像質量評估(NIQE)
圖像的自然圖像質量評估值根據(jù)測試圖像在特定高斯模型(multivariate Gaussian, MVG)上的分布差異對圖像的質量進行評估,通過計算測試圖像與參考圖像擬合參數(shù)之間的距離來衡量圖像質量。第一步,將提取的36個特征采用擬合MVG模型利用最大似然估計法計算得到參數(shù)和。之后再提取失真圖像統(tǒng)計特征,進行模型擬合得到(¢,¢),具體的計算公式如下:
式中:1和2表示參考圖像和測試圖像的MVG模型均值;1和2表示參考圖像和測試圖像的MVG模型方差矩陣。當測試圖像與參考圖像差距較大時,NIQE的值越大,圖像質量越差。
1)非線性灰度拉伸的參數(shù)取值分析
為分析非線性灰度拉伸的取值對增強方法的影響,選用不同測試圖像實驗,其中測試圖像S1616,S1613和S881,在不同取值{0.3, 0.5, 0.8, 1, 1.2}的實驗結果,如圖4所示。
如圖4中,第一行、第三行、第五行分別是測試圖像增強后的V通道圖像¢,第二行、第四行、第六行分別是最終的增強圖像。從圖4可以看出,隨著取值逐漸增大,增強后的圖像亮度越來越暗,當取值偏小時,增強圖像整體偏亮,在原圖燈光處出現(xiàn)過度曝光,在取值為0.8時才逐漸消失,但依舊過亮。而當取值為1.2時,增強圖像偏暗,色彩不鮮明,細節(jié)不清晰。當取值為1時,增強圖像的細節(jié)、整體色彩都比較好,圖像整體最自然逼真,故設置方法中的取值為1。
圖4 不同圖像a值的增強結果
2)方法性能對比分析
為驗證本文方法的有效性,將其與其他6種方法進行性能比較,比較方法中傳統(tǒng)方法包括:基于去霧方法的低光照圖像增強模型Dong[12]、基于融合模型的方法BIMEF[9]和基于Retinex模型的方法LIME[6];深度學習方法包括:Retinex-Net[15]、MBLLEN[21]和Zero-DCE[22]。由主觀視覺與客觀指標兩個方面評價7種方法增強圖像質量,對比分析本文提出方法的性能與適用性。
為保證對比方法的性能,在保留原方法參數(shù)設置基礎上開展對比實驗,對比方法來源于作者網(wǎng)站下載的代碼。圖5展示了7種方法的部分對比實驗結果,如圖5中,從左到右、從上到下依次對應輸入的礦井下低光照圖像,Dong、BIMEF、LIME、Retinex-Net、MBLLEN、Zero-DCE和本文方法對應的增強圖像。
視覺分析圖5(a)可以看出,增強圖像為S102時,本文方法增強的結果亮度改善最為明顯,圖像較為清晰,并且增強圖像的整體色調和細節(jié)恢復程度最佳,Dong和Retinex-Net方法出現(xiàn)明顯的失真;BIMEF和MBLLEN增強后的圖像亮度增強效果不明顯,在細節(jié)和角落處出現(xiàn)對比度增強不足的問題;而LIME方法相對來說效果較好,但在圖像細節(jié)增強處略微出現(xiàn)不足;Zero-DCE出現(xiàn)整體圖像顏色過曝光,失去原有圖像真實色調。圖5(b)可以看出,增強圖像為S106時,傳統(tǒng)方法中,LIME相較于Dong和BIMEF增強效果表現(xiàn)較好,但它在墻壁處和地板處增強了噪聲,導致圖像整體視覺較差,Dong增強后的圖像在燈光等較亮處出現(xiàn)了部分失真現(xiàn)象,BIMEF整體圖像亮度增強不足,丟失圖像部分細節(jié);在深度學習方法中,Retinex-Net增強后,整張圖像出現(xiàn)了較為嚴重的顏色失真,MBLLEN同樣出現(xiàn)亮度增強不足的問題,Zero-DCE方法增強后,燈光處的明亮區(qū)域被過度增強。分析圖5(c)知,增強圖像為S6351時,LIME相對其他方法視覺效果表現(xiàn)較好,但它增強過后燈光處出現(xiàn)過度增強,導致圖像上方出現(xiàn)顏色失真,Dong和Retinex-Net方法增強后出現(xiàn)較為嚴重的顏色失真,丟失原圖細節(jié)信息,BIMEF和MBLLEN相較于本文提出方法圖像增強不足,原圖中的黑暗部分并未得到很好的增強,Zero-DCE方法在S6351中的燈光處出現(xiàn)過度曝光,而本文方法增強后的圖像總體來說較為清晰,并且增強后的圖像整體色調和細節(jié)恢復程度較為理想。
從圖6可以直觀地看出,本文方法在圖5測試圖像的NIQE值數(shù)值最低,表明其增強后圖像最自然,亮度及色調恢復得最好。
圖7展示了煤礦下數(shù)據(jù)集(Mine-data)中的部分測試圖像的各個方法的增強結果。從圖7中可以看出各個方法在礦井下測試圖像增強中出現(xiàn)的問題,在煤礦數(shù)據(jù)集(Mine-data)中同樣存在,由于Mine-data中有對應的正常光照下的圖像進行參考,所以可以計算出它們的PSNR和SSIM值,并使用豎狀圖的形式列出,如圖8所示,可以更加清晰地看出,在Mine-data的測試圖像T812、T865、T1628和T1683中,本文提出的方法在PSNR和SSIM值上都表現(xiàn)優(yōu)秀。
為了防止抽取圖像的隨機性和偶然性,又對煤礦數(shù)據(jù)集(Mine-data)中所有圖像進行測試,并將它們的PSNR、SSIM和NIQE均值在表1中列出,表中加粗字體為該組數(shù)據(jù)的最優(yōu)值(PSNR、SSIM越高越好,NIQE越低越好),藍色字體為其次。從表1可以明顯看出本文提出的方法在Mine-data中的低光照圖像的PSNR值和SSIM值的都最大,位居第一,并且NIQE值也最小,同樣是位居第一。綜合分析,本文提出的方法在煤礦數(shù)據(jù)集(Mine-data)上表現(xiàn)良好,無論是從視覺效果上還是指標分析上都表現(xiàn)出較大的優(yōu)勢,從而證實了此方法的適應性、可行性和優(yōu)越性。
圖6 煤礦井下低光照圖像的NIQE值折線圖
圖7 煤礦數(shù)據(jù)集(Mine-data)部分圖像增強效果
圖8 Mine-data測試圖像各方法增強結果的PSNR和SSIM
表1 Mine-data礦井下圖像質量指標數(shù)據(jù)比較
Note:Bold data is optimal. Blue data is suboptimal.
針對煤礦井下的特殊低光照環(huán)境,本文提出了一種基于HSV空間的煤礦井下低光照圖像增強方法,該方法在HSV空間變換的條件下,利用相對全變分濾波和改進的邊窗濾波對提取出的亮度通道V通道圖像分別進行對比度增強處理并使用PCA技術進行融合,相對全變分濾波提取出V通道圖像的主要結構,改進的邊窗濾波對V通道圖像進行輪廓邊緣保留,使之最后的增強結果既保持了圖像原有的細節(jié)和邊緣輪廓,又能提高圖像整體的亮度和對比度。最后將圖像的三通道圖像合成并由HSV空間轉換到RGB空間,完成整體圖像增強。實驗表現(xiàn),本文方法與6種先進的增強方法相比,增強煤礦下低光照圖像時,無論是主觀視覺還是客觀指標都具有一定的優(yōu)勢,其更加適合煤礦井下低光照圖像的增強。
[1] 錢鳴高, 許家林, 王家臣. 再論煤炭的科學開采[J]. 煤炭學報, 2018, 43(1): 1-13.
QIAN M, XU J, WANG J. Further on the sustainable mining of coal[J]., 2018, 43(1): 1-13.
[2] 王滿利, 張航, 李佳悅, 等.基于深度神經(jīng)網(wǎng)絡的煤礦礦井下低光照圖像增強算法[J/OL]. 煤炭科學技術: 1-13. [2023-03-27]. https://doi.org/10.13199/j.cnki.cst.2022-1626.
WANG M, ZHANG H, LI J, et al. Deep neural network-based image enhancement algorithm for low-illumination images underground coal mines [J/OL].: 1-13. [2023-03-27]. https://doi.org/10.13199/j.cnki.cst.2022-1626.
[3] 田子建, 王滿利, 張元剛. 基于雙域分解的圖像增強算法[J]. 電子學報, 2020, 48(7): 1311-1320.
TIAN Z, WANG M, ZHANG Y. Image enhancement algorithm based on dual domain decomposition[J]., 2020, 48(7): 1311-1320.
[4] 李少榮. 基于改進直方圖均衡化的紅外圖像增強技術的研究[J]. 工業(yè)控制計算機, 2022, 35(12): 52-53, 56.
LI S. Infrared image enhancement technology based on improved histogram equalization[J]., 2022, 35(12): 52-53, 56.
[5] 黃輝先, 陳凡浩. 基于注意力機制和Retinex的低照度圖像增強方法[J]. 激光與光電子學進展, 2020, 57(20): 53-60.
HUANG H, CHEN F. Low-illumination image enhancement method based on attention mechanism and retinex[J]., 2020, 57(20): 53-60.
[6] 呂侃徽, 張大興. 基于自適應直方圖均衡化耦合拉普拉斯變換的紅外圖像增強算法[J]. 光學技術, 2021, 47(6): 747-753.
LV K, ZHANG D. Infrared image enhancement algorithm based on adaptive histogram equalization coupled with Laplace transform[J]., 2021, 47(6): 747-753.
[7] HUANG H X, CHEN F H. Low-illumination image enhancement method based on attention mechanism and Retinex[J]., 2020, 57(20): 53-60.
[8] GUO X J, LI Y, LING H B. LIME: Low-light image enhancement via illumination map estimation[J]., 2016, 26(2): 982-993.
[9] WANG S H, ZHANG J, HU H M, et al. Naturalness preserved enhancement algorithm for non-uniform illumination images[J]., 2013, 22(9): 3538-3548.
[10] YING Z Y, LI G, GAO W. A bio-inspired multi-exposure fusion framework for low-light image enhancement[EB/OL].: 1711.00591, 2017. https://arxiv.org/abs/1711.00591.
[11] LI M D, LIU J Y, YANG W H, et al. Structure-revealing low-light image enhancement via robust Retinex model[J]., 2018, 27(6): 2828-2841.
[12] DONG X, GUAN W, YI P, et al. Fast efficient algorithm for enhancement of low lighting video[C]//, 2011: 1-6.
[13] Kin Gwn Lore, Adedotun Akintayo, Soumik Sarkar. LLNet: a deep autoencoder approach to natural low-light image enhancement[J]., 2017, 61: 650-662.
[14] TAO L, ZHU C, XIANG G Q, et al. LLCNN: A convolutional neural network for low-light image enhancement[C]//, 2017: 10-13.
[15] WEI C, WANG W J, YANG W H, et al. Deep Retinex decomposition for low-light enhancement[C]//, 2018: 1-12.
[16] CHEN Y S, WANG Y C, KAO M H , et al. Deep photo enhancer: unpaired learning for image enhancement from photographs with GANs[C]//, 2018: 6306-6314.
[17] ZHANG Y H, GUO X J, MA J Y, et al. Beyond brightening low-light images[J]., 2021, 129: 1013-1037.
[18] CUI J X. Image style migration algorithm based on HSV color model[C]//(AEECA), 2022: 111-114.
[19] XU L, YAN Q, XIA Y, et al. Structure extraction from texture via relative total variation[J]., 2012, 31(6): 1-10.
[20] YIN H, GONG Y H, QIU G P. Side window filtering[J].(CVPR), 2019: 8750-8758.
[21] LV F F, LU F, WU J H, et al. MBLLEN: low-light image/video enhancement using CNNs[C]//, 2018: 220-233.
[22] LI C Y, GUO C L, Chen C L . Learning to enhance low-light image via zero-reference deep curve estimation[J]., 2022,44(8): 4225-4238.
[23] Mahmou A. Single image super-resolution algorithm using PSNR in the wavelet domain[J]., 2020, 12: 677-691.
[24] 朱新山, 姚思如, 孫彪, 等. 圖像質量評價:融合視覺特性與結構相似性指標[J]. 哈爾濱工業(yè)大學學報, 2018, 50(5): 121-128.
ZHU X, YAO S, SUN B, et al. Image quality assessment: Combining the characteristics of HVS and structural similarity index[J]., 2018, 50(5): 121-128.
[25] 孫彥景, 楊玉芬, 劉東林, 等. 基于內(nèi)在生成機制的多尺度結構相似性圖像質量評價[J]. 電子與信息學報, 2016, 38(1): 127-134. SUN Y, YANG Y, LIU D, et al. Multiple-scale structural similarity image quality assessment based on internal generative mechanism[J]., 2016, 38(1): 127-134.
An Algorithm for Low-Light Image Enhancement in Coal Mines Based on HSV Space
ZHANG Yabang1,LI Jiayue2,WANG Manli2
(1. Pingdingshan Tian'an Coal Industry Co., Ltd. Sixth Mine, Pingdingshan 467000, China;2.School of Physics and Electronic Information, Henan Polytechnic University, Jiaozuo 454000, China)
A low light image enhancement method based on HSV space is proposed to address the issues of low contrast, uneven lighting, and weak detail information in images collected underground in coal mines. This method is based on the Hue-Saturation-Luminance(HSV) color space of the image, and enhances the contrast of the main structure and edge details of the brightness channel V channel in low light images. This can better suppress image detail loss and reproduce the contour and texture details in the original image. Firstly, the input low light image of the coal mine underground is converted into HSV space, and the main structure and contour edges of the extracted V-channel image are extracted and preserved using relative total variation filtering (RTV) and improved side window filtering (SWF). After nonlinear grayscale stretching, principal component analysis fusion technology (PCA) is used to reconstruct the V-channel image, which fuses the main structure and fine structure of the V-channel image. Finally, the image is synthesized, Complete image enhancement. Through experimental verification, the proposed low light image enhancement method for coal mine underground based on HSV space performs well in color and edge blur processing. Quantitative and qualitative experiments were conducted on images in environments such as coal mine underground working faces. The results show that compared with the six algorithms, the proposed method performs better in improving image contrast, enhancing image naturalness, and restoring image details.
image enhancement, HSV space, coal mine, low-light image, relative total variational, side window filtering
TP391.41、TD67
A
1001-8891(2024)01-0074-10
2023-05-12;
2023-08-07.
張亞邦(1981-),男,碩士,高級工程師,主要從事電氣工程方面的研究。E-mail:zhangyabang1981@163.com。
李佳悅(1999-),女,碩士研究生,主要從事圖像處理,人工智能方面的研究。E-mail:lijiayue0827@163.com。
國家自然科學基金資助項目(52074305);河南理工大學博士基金資助項目(B2021-64)。