煤礦井下非均勻照度圖像去噪研究

張旭輝， 麻兵， 楊文娟， 董征， 李語陽

（1.西安科技大學(xué) 機(jī)械工程學(xué)院，陜西 西安 710054；2.陜西省礦山機(jī)電裝備智能檢測與控制重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710054）

0 引言

煤礦綜采工作面環(huán)境惡劣，大霧、粉塵及光照對圖像質(zhì)量產(chǎn)生了較大干擾，影響視頻信息的準(zhǔn)確性[1]。煤礦井下圖像的非均勻光照處理一直是行業(yè)研究熱點(diǎn)。

當(dāng)前非均勻光照圖像的處理包括有參考的校正方法和無參考的校正方法2類[2]。有參考的校正方法需參照標(biāo)樣圖像實(shí)施校正，實(shí)際應(yīng)用過程中實(shí)現(xiàn)難度大。無參考的校正方法包括Retinex理論方法[3]、濾波法[4]、神經(jīng)網(wǎng)絡(luò)方法[5]、直方圖均衡化方法[6]等。文獻(xiàn)[7]提出了基于 Retinex 分解和多尺度調(diào)整的低光圖像增強(qiáng)網(wǎng)絡(luò)，以消除反射噪聲、抑制顏色失真、保留圖像細(xì)節(jié)并調(diào)整照明亮度，但其泛化能力難以適應(yīng)所有復(fù)雜場景。文獻(xiàn)[8]采用多尺度Retinex算法對V分量進(jìn)行增強(qiáng)，有效調(diào)節(jié)了井下低照度圖像光照信息，但在綜采工作面亮度不均的情況下，仍存在過度增強(qiáng)及曝光的問題。文獻(xiàn)[9]提出了改進(jìn)同態(tài)濾波法來增強(qiáng)井下圖像，雖可有效分離光照和細(xì)節(jié)分量，但對受到強(qiáng)光、高粉塵影響的圖像中的噪聲更加敏感，使用該方法會在一定程度上放大噪聲，導(dǎo)致圖像失真。文獻(xiàn)[10]通過基于生成對抗網(wǎng)絡(luò)的單張圖像高光去除方法準(zhǔn)確提取圖像特征。文獻(xiàn)[11]利用數(shù)據(jù)集提出聯(lián)合高光檢測和去除的多任務(wù)網(wǎng)絡(luò)，實(shí)現(xiàn)高光檢測和去除。文獻(xiàn)[10-11]通過神經(jīng)網(wǎng)絡(luò)方法處理高光 ，但需大量數(shù)據(jù)用于學(xué)習(xí)圖像特征，且太過依賴先驗(yàn)信息與假定設(shè)置、計(jì)算復(fù)雜、運(yùn)行時(shí)間長，在煤礦井下很難找到相同場景下可供神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的高質(zhì)量圖像，人工標(biāo)注往往會因個(gè)體差異導(dǎo)致模型學(xué)習(xí)差異，其結(jié)果不可避免地存在色彩失真、邊緣不連續(xù)等問題[12]。文獻(xiàn)[13]利用雙直方圖均衡校正的方法處理非均勻光照圖像，有效增強(qiáng)了圖像細(xì)節(jié)，但其作用范圍是圖像全局，存在色彩失真、噪聲放大等問題[14]。

上述方法在一定程度上對非均勻光照圖像進(jìn)行了改善，但對煤礦井下工作場景的圖像進(jìn)行處理時(shí)，無法獲取高質(zhì)量對比圖像或模型圖像作為樣本；難以對井下照明區(qū)域光照強(qiáng)度過大的圖像進(jìn)行有效的特征提取；因曝光、光照范圍擴(kuò)散、粉塵遮擋導(dǎo)致圖像特征丟失和色彩失真等。因此，本文提出了一種融合整體光照抑制、入射光照去除及去霧的圖像去噪算法。首先，根據(jù)圖像的光照強(qiáng)度引入光照調(diào)節(jié)因子調(diào)節(jié)圖像整體亮度；然后，采用Retinex算法分離光照分量并保留反射光照，以實(shí)現(xiàn)均衡光照；最后，采用基于引導(dǎo)濾波的暗通道先驗(yàn)算法去除圖像粉塵、大霧，并引入伽馬校正函數(shù)調(diào)節(jié)光照，實(shí)現(xiàn)非均勻照度圖像的光照抑制和粉塵、大霧消除處理。

1 總體方案

煤礦井下非均勻照度圖像去噪算法主要由整體光照抑制、入射光照去除和圖像去霧3個(gè)模塊組成如圖1所示。首先，從視頻中截取圖像，判斷圖像是否需要進(jìn)行光照抑制，將需要進(jìn)行光照抑制的RGB圖像拆分通道，并計(jì)算每個(gè)通道的光照調(diào)節(jié)因子，實(shí)現(xiàn)圖像的整體光照抑制。然后，將未進(jìn)行整體光照抑制的圖像和經(jīng)整體光照抑制的圖像進(jìn)行反射分量提取，即將輸入圖像轉(zhuǎn)換為HSV空間圖像，使用單尺度Retinex（Single Scale Retinex，SSR）算法對V分量進(jìn)行單獨(dú)處理，將V分量中的入射分量去除，保留反射分量，并對反射分量使用直方圖均衡算法實(shí)現(xiàn)光照均衡化處理。最后，使用改進(jìn)引導(dǎo)濾波的暗通道先驗(yàn)去霧算法對經(jīng)過光照處理后的圖像進(jìn)行去霧處理，并使用伽馬校正函數(shù)重新調(diào)節(jié)亮度不均的圖像。

2 算法原理

2.1 整體光照抑制模塊

受井下光照的影響，使得采集的圖像整體亮度較高，容易出現(xiàn)反光、曝光等問題，導(dǎo)致有用特征丟失。為有效遏制該問題對后續(xù)圖像使用的影響，對高照度圖像進(jìn)行抑制，光照調(diào)節(jié)流程如圖2所示。

圖2 光照調(diào)節(jié)流程Fig.2 Light adjustment flow

1） 將輸入的RGB圖像拆分為R，G，B通道。

2） 將圖像的高光區(qū)域單獨(dú)拆分，計(jì)算非高照度區(qū)域亮度均值，將結(jié)果作為閾值K。

3） 計(jì)算每個(gè)通道中所有像素的均值。

式中：μ為像素均值；w，h分別為圖像的寬和高；i，j分別為圖像的像素坐標(biāo)索引；p為待計(jì)算的圖像。

4） 將均值μ與閾值K進(jìn)行比較，若μ>K，則計(jì)算調(diào)節(jié)因子。

式中：a(R)，a(G)，a(B)分別為R，G，B通道的調(diào)節(jié)因子；μ(R)，μ(G)，μ(B)分別為圖像R，G，B通道的像素均值。

5） 根據(jù)調(diào)節(jié)因子的計(jì)算結(jié)果，將每個(gè)通道的調(diào)節(jié)因子反饋到對應(yīng)的通道來調(diào)整每個(gè)通道的亮度。

6） 將調(diào)整后的R，G，B通道的圖像重新合并成1張RGB圖像。

2.2 入射光照去除模塊

Retinex理論認(rèn)為觀測到的圖像可分為入射分量和反射分量，入射分量描述了1幅圖像所有像素點(diǎn)的動(dòng)態(tài)范圍大小，反射分量描述了物體自身固有不變的特性[15]。Retinex理論主要包含SSR、多尺度Retinex（Multi-Scale Retinex，MSR）及其他變種算法。SSR算法簡單且計(jì)算效率高；MSR算法需處理多個(gè)尺度的圖像并進(jìn)行合成，計(jì)算復(fù)雜且合并權(quán)重難以控制；其他變種算法參數(shù)調(diào)整難、易受不同環(huán)境的干擾，導(dǎo)致適應(yīng)性差。為有效提取光照分量、提高圖像處理效率，本文使用SSR算法對經(jīng)過光照抑制后的圖像進(jìn)行處理，最大程度保留反射特征R(x,y)，盡可能去除入射光圖像L(x,y)，以保留原始圖像的固有屬性，有效觀測圖像的本來特性。

式中S(x,y)為原始圖像。

V分量處理流程如圖3所示。首先，將經(jīng)過整體光照調(diào)整的圖像轉(zhuǎn)換到HSV空間，并對V分量進(jìn)行分離。其次，使用SSR算法對V分量圖像進(jìn)行處理，保留反射分量，去除入射分量。然后，使用直方圖均衡化算法對處理后的V分量進(jìn)行處理，展開圖像中像素個(gè)數(shù)多的灰度級，抑制圖像中像素個(gè)數(shù)少的灰度級[16]，使圖像整體亮度均勻化。最后，合并處理后的圖像，并將圖像重新轉(zhuǎn)換到RGB空間。

圖3 V分量處理流程Fig.3 V component processing flow

2.3 基于改進(jìn)暗通道先驗(yàn)算法的去霧模塊

暗通道先驗(yàn)算法指出在1幅RGB圖像中，某些像素至少有1個(gè)通道的值會很低，在有霧圖像中暗通道的值會隨著接近大氣光的方向逐步增加[17]。

式中：I(x)為待去霧的圖像；J(x)為去霧后的圖像；t（x）為透射率；A為全球大氣光照。

暗通道先驗(yàn)算法在處理復(fù)雜場景中的大霧時(shí)，無法準(zhǔn)確估計(jì)大霧分布，導(dǎo)致圖像失真，因此，本文通過引入引導(dǎo)濾波保持圖像邊緣信息平滑，選取最小值作為大氣光照值，并引入伽馬校正調(diào)整光照來對暗通道先驗(yàn)算法進(jìn)行改進(jìn)，改進(jìn)后的暗通道先驗(yàn)算法流程如圖4所示。

圖4 改進(jìn)暗通道先驗(yàn)算法流程Fig.4 Improved dark channel prior algorithm flow

1） 計(jì)算輸入有霧圖像的初始暗通道圖像，使用一個(gè)較小的窗口在整張圖上滑動(dòng)，并取窗口中最小的像素作為該位置的暗通道像素值。

2） 采用引導(dǎo)濾波降低原始暗通道圖像中的噪聲，并增強(qiáng)圖像細(xì)節(jié)。

3） 對平滑后的暗通道圖像進(jìn)行全局亮度估計(jì)，并選取合適的全局大氣光照A。

4） 為保證去霧的有效性和圖像的質(zhì)量，將縮放后的大氣光照限定在一個(gè)合理的范圍內(nèi)（通常是[0，255]），以獲取最終的大氣光照估計(jì)值。

5） 根據(jù)大氣光照估計(jì)值，計(jì)算出透射率t（x），最終求取無霧圖像。

式中t0為t（x） 的下限閾值，t0=0.1。

6）為使圖像光照均勻，引入伽馬校正函數(shù)進(jìn)一步調(diào)整去霧后圖像的光照。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)條件

實(shí)驗(yàn)使用的圖像主要是從煤礦井下綜采工作面的視頻中截取，為使實(shí)驗(yàn)數(shù)據(jù)具有普遍性，避免樣本數(shù)據(jù)不均勻?qū)е滤惴ㄟm用性差等問題，本文在驗(yàn)證過程中采用的數(shù)據(jù)來源于多個(gè)礦井、6個(gè)不同時(shí)間段綜采工作面的工作場景，驗(yàn)證圖像總計(jì)3 637張，包含了分辨率為856×480、1 920×1 080 的圖像，且普遍受殘影、反光、曝光及粉塵遮擋等因素的影響，導(dǎo)致圖像整體質(zhì)量較低。

3.2 主觀評價(jià)

為驗(yàn)證本文算法的可行性，本文選取標(biāo)號為P1—P6的原始圖像和經(jīng)過本文算法處理后的圖像作為驗(yàn)證圖像，通過引入灰度直方圖將兩者之間的灰度級分布更加直觀地進(jìn)行對比，結(jié)果如圖5所示。

圖5 灰度分布對比Fig.5 Comparison of gray level distribution

從圖5可看出，原圖的灰度分布頻數(shù)為50～255，且集中在150～255的灰度分布頻數(shù)較高，而經(jīng)過處理后圖像的灰度分布頻數(shù)為0～255，且集中在150～255的灰度分布頻數(shù)明顯降低。說明針對非均勻灰度等級照度圖像，本文算法具有良好的抑制效果。

為了進(jìn)一步驗(yàn)證本文算法對煤礦井下非均勻照度圖像處理的效果，本文選取6組對比圖像進(jìn)行有效性驗(yàn)證，所選對比圖像標(biāo)號為P7—P12將本文算法與MSR算法[18]、基于顏色保持的多尺度視網(wǎng)膜增強(qiáng)（Multi-Scale Retinex with Color Preservation，MSRCP）算法[19]、帶色彩恢復(fù)的多尺度視網(wǎng)膜增強(qiáng)（Multi-Scale Retinex with Color Restoration，MSRCR）算法[20]進(jìn)行對比，效果如圖6所示。 可看出經(jīng)過MSR算法、MSRCR算法處理后的圖像明顯失真，部分圖像經(jīng)2種算法處理后嚴(yán)重曝光；經(jīng)過MSRCP算法處理后的圖像直觀上難以分辨圖像質(zhì)量的好壞；而經(jīng)過本文算法處理后的圖像亮度明顯降低、細(xì)節(jié)特征更加突出。

圖6 算法對比Fig.6 Algorithms comparison

3.3 客觀評價(jià)

計(jì)算對比圖像的均值及標(biāo)準(zhǔn)差，結(jié)果見表1。

表1 均值、標(biāo)準(zhǔn)差對比Table 1 Comparison of mean and standard deviation

從表1可看出，原圖的均值及標(biāo)準(zhǔn)差分別為144～150、54～59，經(jīng)過處理后的圖像均值、標(biāo)準(zhǔn)差分別為84～102、72～75。說明經(jīng)過本文算法對圖像處理后，有效抑制了因光照導(dǎo)致整體亮度較高的問題，且由于大霧、粉塵等因素導(dǎo)致原圖模糊的部分更加清晰，圖像的細(xì)節(jié)特征更加突出。

采用信息熵、均值 、標(biāo)準(zhǔn)差 、空間頻率4種評價(jià)指標(biāo)對經(jīng)過各算法處理后的圖像進(jìn)行客觀評價(jià)，結(jié)果見表2，指標(biāo)對比如圖7所示。其中，信息熵衡量圖像中包含信息量的大小，值越大則圖像包含的信息量越大[21]；均值為亮度評價(jià)指標(biāo)；標(biāo)準(zhǔn)差為邊緣信息清晰度評價(jià)指標(biāo)，標(biāo)準(zhǔn)差越大則說明圖像的邊緣信息越好；空間頻率用于對圖像的清晰度進(jìn)行評價(jià)，空間頻率越大則表示圖像越清晰。

表2 不同算法處理后圖像指標(biāo)比較Table 2 Comparison of image indexes after processed by different algorithms

圖7 評價(jià)指標(biāo)對比Fig.7 Comparison of evaluation indexs

由表2和圖7可看出，在信息熵、均值 、標(biāo)準(zhǔn)差 、空間頻率評價(jià)指標(biāo)上，本文算法較MSR算法分別平均提升了21.87%，-56.06%，153.43%，294.45%，較MSRCP算法分別平均提升了1.18%，-39.56%，33.29%，-4.71%，較MSRCR算法分別平均提升了38.06%，-55.27%，462.10%，300.96%。信息熵的提升說明本文算法有效增加了圖像信息量，均值的降低說明本文算法有效抑制了圖像光照亮度，標(biāo)準(zhǔn)差的提升說明本文算法增強(qiáng)了圖像的邊緣信息，空間頻率的提升說明本文算法有效增強(qiáng)了圖像的清晰度。

4 結(jié)論

1） 通過分離RGB圖像的3個(gè)通道，分別引入光照調(diào)節(jié)因子以自適應(yīng)調(diào)節(jié)不同亮度的圖像，并采用SSR算法保留圖像反射分量及圖像有效信息，有效緩解了礦燈、照明燈影響導(dǎo)致的圖像整體亮度過高問題。采用基于引導(dǎo)濾波的暗通道先驗(yàn)算法處理圖像粉塵、水霧問題，并對處理后的圖像采用伽馬校正，進(jìn)一步調(diào)節(jié)因去霧導(dǎo)致的光照不均問題。

2） 實(shí)驗(yàn)結(jié)果表明，經(jīng)過非均勻照度圖像去噪算法對非均勻照度圖像處理后，有效抑制了因光照導(dǎo)致整體亮度較高的問題，且由于大霧、粉塵等因素導(dǎo)致圖像模糊的部分更加清晰，圖像的細(xì)節(jié)特征更加突出。非均勻照度圖像去噪算法在信息熵、均值 、標(biāo)準(zhǔn)差 、空間頻率上較MSR算法分別平均提升了21.87%，-56.06%，153.43%，294.45%，較MSRCP算法分別平均提升了1.18%，-39.56%，33.29%，-4.71%，較MSRCR算法分別平均提升了38.06%，-55.27%，462.10%，300.96%。