基于結(jié)構(gòu)紋理分解的礦井圖像增強(qiáng)方法

張紅，索霆鋒，宋婉瑩

（西安科技大學(xué) 通信與信息工程學(xué)院，陜西 西安 710054）

0 引言

隨著智能礦山的建設(shè)和發(fā)展，智能視覺(jué)識(shí)別技術(shù)已逐步應(yīng)用到礦井工作的各個(gè)方面[1]。礦井存在光線不足、光線不均勻及粉塵等問(wèn)題，嚴(yán)重影響智能視覺(jué)識(shí)別。因此，研究礦井圖像增強(qiáng)方法變得尤為重要[2]。

Retinex 及其改進(jìn)算法[3-5]是目前普遍用于礦井的圖像增強(qiáng)方法。張立亞等[6]通過(guò)改進(jìn)雙邊濾波并融合多尺度Retinex 算法，增強(qiáng)了圖像亮度分量及飽和度分量，有效減少了圖像的光暈偽影，但存在圖像紋理細(xì)節(jié)模糊等問(wèn)題。唐守鋒等[7]提出了一種增強(qiáng)礦井低照度圖像的方法，首先利用小波分解將圖像分解為高頻分量和低頻分量，然后應(yīng)用3 種閾值函數(shù)對(duì)高頻分量進(jìn)行去噪處理，對(duì)低頻分量進(jìn)行全局亮度校正并估計(jì)反射分量，最后通過(guò)離散小波反變換對(duì)圖像的高頻分量和低頻分量進(jìn)行小波重構(gòu)，得到增強(qiáng)后的圖像。該方法有效去除了圖像的噪聲，但小波分解會(huì)導(dǎo)致圖像邊緣模糊化，在圖像分解重構(gòu)過(guò)程中，可能會(huì)引入不自然振蕩，影響圖像的視覺(jué)效果。洪炎等[8]通過(guò)引入形態(tài)學(xué)變換算子Tophat改進(jìn)加權(quán)引導(dǎo)濾波算子，使用改進(jìn)加權(quán)引導(dǎo)濾波估計(jì)圖像的光照分量，并對(duì)光照分量及飽和度分量做自適應(yīng)伽馬校正，將基于Retinex 理論得到的反射分量作為最終的亮度分量，解決了增強(qiáng)圖像邊緣模糊問(wèn)題，但在圖像灰度范圍大時(shí)暗區(qū)域易出現(xiàn)偽影現(xiàn)象。龔云等[9]利用改進(jìn)同態(tài)濾波方法對(duì)礦井圖像進(jìn)行增強(qiáng)，通過(guò)自適應(yīng)伽馬校正結(jié)合單參數(shù)同態(tài)濾波，有效緩解了同態(tài)濾波算法參數(shù)過(guò)多的問(wèn)題，引入對(duì)比度受限的自適應(yīng)直方圖均衡化（Contrast Limited Adaptive Histogram Equalization，CLAHE）算法提高圖像對(duì)比度，但CLAHE 算法在圖像增強(qiáng)過(guò)程中易放大噪聲，導(dǎo)致細(xì)節(jié)模糊，且產(chǎn)生的塊效應(yīng)會(huì)影響圖像的視覺(jué)連續(xù)性。

針對(duì)現(xiàn)有礦井圖像增強(qiáng)方法普遍存在圖像紋理細(xì)節(jié)不清晰、視覺(jué)效果差的問(wèn)題，本文提出了一種基于結(jié)構(gòu)紋理分解的礦井圖像增強(qiáng)方法，在提高圖像亮度和對(duì)比度的同時(shí)，保證圖像細(xì)節(jié)及圖像邊緣清晰，并減少噪聲。首先，通過(guò)maxRGB 算法得到圖像初始光照分量，并將初始光照分量劃分為結(jié)構(gòu)分量、紋理分量及噪聲分量。然后，針對(duì)求解得到的結(jié)構(gòu)紋理及噪聲分量，基于Retinex 理論進(jìn)行重構(gòu)，得到光照分量和反射分量，進(jìn)而得到初始增強(qiáng)后的亮度分量。最后，采用加權(quán)分布的自適應(yīng)伽馬校正（Adaptive Gamma Correction with Weight Distribution，AGCWD）算法進(jìn)行亮度校正，避免圖像過(guò)增強(qiáng)。

1 相關(guān)理論

Retinex 理論認(rèn)為觀測(cè)的圖像可表示為光照分量和反射分量的乘積，去除圖像外部光照的影響后，獲得體現(xiàn)事物本身固有屬性的反射分量，就能達(dá)到增強(qiáng)圖像的目的。

式中：M為原始圖像；R為反射分量；L為光照分量。

常見(jiàn)的估計(jì)圖像光照分量的方法有傳統(tǒng)濾波Retinex 方法及變分Retinex 方法。相比于傳統(tǒng)濾波Retinex 方法，變分Retinex 方法得到的增強(qiáng)圖像細(xì)節(jié)信息更豐富、質(zhì)量更佳。變分Retinex 方法通過(guò)建立最小化目標(biāo)函數(shù)將問(wèn)題轉(zhuǎn)化為最小二乘問(wèn)題，依次求解得到光照分量L和反射分量R。原始優(yōu)化目標(biāo)函數(shù)為

式中：α，β 為正權(quán)重系數(shù)；?為梯度算子。

式（2）中第1 項(xiàng)用來(lái)約束光照分量L與反射分量R的乘積和原始圖像M之間的距離，第2 項(xiàng)和第3 項(xiàng)使用全變分形式（Total Variation，TV）來(lái)約束反射分量R和光照分量L。TV 可有效去除圖像的高頻噪聲，但會(huì)損失反射分量R的細(xì)節(jié)紋理信息。

2 改進(jìn)算法原理

為了避免增強(qiáng)圖像的紋理細(xì)節(jié)模糊問(wèn)題，減少光暈偽影，提高圖像的視覺(jué)質(zhì)量，本文提出了一種基于結(jié)構(gòu)紋理分解的礦井圖像增強(qiáng)算法，總體框架如圖1 所示。

圖1 基于結(jié)構(gòu)紋理分解的礦井圖像增強(qiáng)算法總體框架Fig.1 Overall framework of mine image enhancement algorithm based on structural texture decomposition

1）將原始圖像M轉(zhuǎn)換到HSV 空間，分別獲得色調(diào)分量H、飽和度分量S、亮度分量V。利用maxRGB 算法估計(jì)原始圖像M的初始光照分量。

3）重構(gòu)得到光照分量L和反射分量R，基于Retinex 理論得到重構(gòu)后的亮度分量Vj。

4）對(duì)重構(gòu)后的亮度分量Vj進(jìn)行AGCWD，得到增強(qiáng)后的亮度分量V0。AGCWD 算法通過(guò)引入截?cái)鄻?biāo)量來(lái)限制高亮度區(qū)域的累計(jì)分布函數(shù)值，以此限制高亮區(qū)域過(guò)曝光，改善圖像質(zhì)量。

5）將最終增強(qiáng)后的圖像轉(zhuǎn)換到RGB 顏色空間，得到增強(qiáng)圖像O。

2.1 結(jié)構(gòu)紋理分解

maxRGB 算法通過(guò)在RGB 顏色通道選擇最大值進(jìn)行像素混合，可保留圖像的顏色信息和細(xì)節(jié)信息[10]。為使圖像增強(qiáng)前后保持顏色信息一致，本文使用maxRGB 算法估計(jì)初始光照分量。

式中Mc為待增強(qiáng)的RGB 圖像。

由于maxRGB 算法處理后得到的初始光照分量L?包含較多細(xì)節(jié)信息，使用式（1）獲得反射分量R時(shí)，紋理細(xì)節(jié)會(huì)在相除過(guò)程中被平滑，造成反射分量R細(xì)節(jié)模糊。故在此基礎(chǔ)上，把初始光照分量進(jìn)一步劃分為結(jié)構(gòu)分量Ls、紋理分量Lt及噪聲分量N。

式中：Ps為結(jié)構(gòu)先驗(yàn)信息；W為局部偏差函數(shù)；λ為正權(quán)重系數(shù)。

式（5）中第1 項(xiàng)是保真項(xiàng)，用于約束結(jié)構(gòu)紋理及噪聲信息與初始光照分量之間的距離。第2 項(xiàng)通過(guò)引入結(jié)構(gòu)先驗(yàn)信息Ps約束結(jié)構(gòu)分量的強(qiáng)度。第3 項(xiàng)通過(guò)構(gòu)建局部偏差函數(shù)W作為約束紋理分量梯度信息的權(quán)重。第4 項(xiàng)約束噪聲分量N的影響。

結(jié)構(gòu)先驗(yàn)信息Ps通過(guò)加權(quán)引導(dǎo)濾波（Weight Guide Filter，WGIF）得到[11]，WGIF 繼承了引導(dǎo)濾波的平滑性，且有較好的圖像邊緣保持能力。局部偏差函數(shù)W通過(guò)紋理分量Lt最大鄰域差（Maximum Neighbor Difference，MND）與指數(shù)平均局部變分（Exponentiated Mean Local Variance，EMLV）[12]的比構(gòu)建。

2.2 優(yōu)化求解

將式（5）分解，按順序依次優(yōu)化求解結(jié)構(gòu)分量Ls、紋理分量Lt和噪聲分量N，求解步驟如圖2所示。

圖2 變分模型的求解步驟Fig.2 Solution steps of variational model

1）優(yōu)化求解結(jié)構(gòu)分量Ls。

對(duì)經(jīng)過(guò)第i次迭代后的結(jié)構(gòu)分量求偏導(dǎo)后置0 得

式中I為與初始光照分量大小一致的全1 矩陣，當(dāng)（ω為收斂因子）時(shí)迭代完成，得到最終的結(jié)構(gòu)分量。

2）優(yōu)化求解紋理分量Lt。

對(duì)經(jīng)過(guò)第i次迭代后的紋理分量求偏導(dǎo)后置0 得

式中D為具有前向差分的離散梯度算子，?Lt=DLt。

從式（9）中可看出，當(dāng)權(quán)重矩陣 |Wi|越小，紋理分量越大，即越有利于提取出圖像的細(xì)節(jié)紋理。時(shí)迭代停止，得到紋理分量。

3）優(yōu)化求解噪聲分量N。

對(duì)經(jīng)過(guò)第i次迭代后的噪聲分量Ni求偏導(dǎo)后置0 得

根據(jù)上述提到的終止條件，得到更新完成的噪聲分量Ni。

礦井圖像的結(jié)構(gòu)紋理分解如圖3 所示，可看出結(jié)構(gòu)分量Ls邊緣清晰，紋理分量Lt有豐富的紋理細(xì)節(jié)，此外，噪聲分量N中包含了圖像的噪聲信息。

2.3 分量重構(gòu)

為了使反射分量R中包含更多紋理細(xì)節(jié)，并削弱噪聲分量N對(duì)反射分量R的影響，利用Retinex 理論將紋理分量Lt去除，保證反射分量R中的紋理信息豐富。重構(gòu)的光照分量L由結(jié)構(gòu)分量Ls和紋理分量Lt組成，去除了初始光照分量的噪聲信息，減少了噪聲對(duì)光照分量L的影響。融合光照分量L和反射分量R，得到重構(gòu)后的亮度分量Vj。

2.4 照度校正

經(jīng)過(guò)以上變分重構(gòu)得到的增強(qiáng)圖像存在部分圖像亮區(qū)域過(guò)增強(qiáng)。因此，需對(duì)得到的初始亮度分量Vj使用帶有截?cái)嘁蜃拥腁GCWD 算法進(jìn)行光照校正。

首先計(jì)算校正指數(shù) γ(Vj)，然后使用校正指數(shù)γ(Vj)對(duì)初始亮度分量Vj進(jìn)行校正，得到最終增強(qiáng)后的亮度分量V0。

式中：τ為截?cái)嘁蜃?，?0.75；CDF（Vj）為累積分直方圖函數(shù)（Cumulative Distribution Function,CDF）[13]；pdfw（Vj）為對(duì)原始灰度直方圖pdf（Vj）進(jìn)行指數(shù)加權(quán)歸一化；pdfmax，pdfmin分別為重構(gòu)后的亮度分量Vj灰度的最大值和最小值。

3 實(shí)驗(yàn)結(jié)果分析

本文實(shí)驗(yàn)平臺(tái)為Windows 11，64 bit 操作系統(tǒng)，AMD Ryzen 75800H 處理器，16 GiB 內(nèi)存，使用Matlab 2022b 軟件進(jìn)行仿真。

3.1 參數(shù)分析

在上述變分結(jié)構(gòu)紋理分解的變分模型中，正權(quán)重系數(shù) α，β，λ的相對(duì)大小決定了結(jié)構(gòu)紋理及噪聲分量的正則化強(qiáng)度。

為確定其合理值，參考文獻(xiàn)[14-15]，并分析結(jié)構(gòu)紋理分量之間的重要性占比，確定參數(shù)取值范圍，α=0.5,α=0.05，β=0.7,β=0.07，λ=0.3,λ=0.03，即（α,β,λ）的參數(shù)組合共有8 種選擇。

利用圖像的視覺(jué)信息保證度指標(biāo)（Visual Information Fidelity，VIF）[16]、信息熵（Entropy）及自然圖像質(zhì)量評(píng)價(jià)（Natural Image Quality Evaluator，NIQE）[17]作為衡量圖像增強(qiáng)的標(biāo)準(zhǔn)，對(duì)變分模型進(jìn)行評(píng)估。其中VIF 考慮了人眼感知系統(tǒng)的特性，通過(guò)建立與人眼感知相關(guān)的模型來(lái)評(píng)估圖像的視覺(jué)質(zhì)量。VIF 能夠更好地捕捉和量化圖像中視覺(jué)信息的保真度。VIF 的值越大，說(shuō)明圖像增強(qiáng)前后失真越小，圖像的視覺(jué)質(zhì)量越好[18]。Entropy 表示圖像信息量的多少，Entropy 越大說(shuō)明圖像的融合效果越好，圖像細(xì)節(jié)越豐富。NIQE 用來(lái)測(cè)量圖像的視覺(jué)自然性，NIQE 的值越低，表明圖像質(zhì)量越好、越自然。

對(duì)在Flicker 網(wǎng)站收集的不同場(chǎng)景下低照度真實(shí)礦井下圖像（圖4）進(jìn)行測(cè)試，并對(duì)VIF，Entropy，NIQE 3 種客觀指標(biāo)取平均。

圖4 不同場(chǎng)景下的礦井低照度數(shù)據(jù)集Fig.4 Low lighting datasets for mines in different scenarios

α，β，λ的8 種組合在3 種客觀指標(biāo)下的平均值如圖5 所示。當(dāng)參數(shù)（α，β，λ）的取值為（0.5，0.07，0.3）時(shí)，3 個(gè)客觀指標(biāo)均能達(dá)到最佳。因此本文以α=0.5，β=0.07，λ=0.3 作為正則化參數(shù)，最佳正則化參數(shù)下礦井低照度圖像增強(qiáng)結(jié)果如圖6 所示，可看出圖像增強(qiáng)后亮度更均衡，光暈偽影現(xiàn)象明顯減弱，紋理細(xì)節(jié)增強(qiáng)效果明顯。

圖5 不同參數(shù)組合下的平均客觀指標(biāo)Fig.5 Average objective indicators under different parameter combinations

圖6 礦井低照度圖像增強(qiáng)結(jié)果Fig.6 Enhancement results of low lighting images in mines

3.2 算法驗(yàn)證

為進(jìn)一步驗(yàn)證算法的有效性，對(duì)在西安科技大學(xué)煤炭中心實(shí)驗(yàn)室采集的礦井下不同場(chǎng)景圖像進(jìn)行實(shí)驗(yàn)驗(yàn)證，分別選取軌道、巷道、采礦工作面及運(yùn)煤輸送帶4 種場(chǎng)景圖像。與結(jié)構(gòu)紋理感知Retinex（Structure and Texture Aware Retinex，STAR）算法[19]、聯(lián)合內(nèi)外先驗(yàn)（Joint intrinsic-extrinsic Prior，JieP）算法[20]、加權(quán)變分模型（Weighted Variational Model，WVM）[15]、半解耦分解（Semi-Decoupled Decomposition，SDD）算法[21]、帶色彩恢復(fù)的多尺度Retinex（Multi-Scale Retinex with Color Restoration，MSRCR）算法[5]進(jìn)行主客觀比較。4 種場(chǎng)景下不同方法的增強(qiáng)結(jié)果如圖7-圖10 所示?？煽闯霰疚乃惴ㄔ诒ＷC圖像邊緣清晰的同時(shí)，極大改善了圖像的視覺(jué)效果，STAR 算法、JieP 算法及WVM 對(duì)場(chǎng)景2、場(chǎng)景3 下圖像暗處增強(qiáng)效果不明顯，但WVM 改善了增強(qiáng)圖像的邊緣模糊問(wèn)題，SDD 算法增強(qiáng)后的圖像存在邊緣模糊問(wèn)題，MSRCR 算法則出現(xiàn)了顏色失真。

圖7 場(chǎng)景1（采礦軌道）圖像增強(qiáng)結(jié)果Fig.7 Enhancement results of image in scenario 1 (mining track)

圖8 場(chǎng)景2（采礦巷道）圖像增強(qiáng)結(jié)果Fig.8 Enhancement results of image in scenario 2 (mining roadway)

圖9 場(chǎng)景3（采礦工作面）圖像增強(qiáng)結(jié)果Fig.9 Enhancement results of image in scenario 3 (mining face)

圖10 場(chǎng)景4（運(yùn)煤輸送帶）圖像增強(qiáng)結(jié)果Fig.10 Enhancement results of image in scenario 4 (coal conveyor belt)

場(chǎng)景1 下不同方法增強(qiáng)后的灰度直方圖如圖11所示，可看出本文算法增強(qiáng)后圖像的灰度分布更加均衡，表明本文算法增強(qiáng)后的圖像亮度分布均勻，對(duì)比度更高。

圖11 場(chǎng)景1 下不同方法增強(qiáng)后的直方圖Fig.11 Histograms enhanced by different methods in scenario 1

根據(jù)增強(qiáng)圖像客觀質(zhì)量指標(biāo)對(duì)這些方法進(jìn)行定性和定量評(píng)價(jià)，評(píng)價(jià)結(jié)果見(jiàn)表1。

表1 不同算法的客觀指標(biāo)對(duì)比Table 1 Comparison of objective indicators of different algorithms

由表1 可看出，本文算法的NIQE 較STAR，JieP，WVM，SSD，MSRCR 分別下降了8.69%，29.05%，11.2%，29.53%，33.54%，說(shuō)明增強(qiáng)后的圖像視覺(jué)效果更加自然。本文算法的Entropy 較STAR，JieP，WVM，SSD，MSRCR 分別提高了3.20%，8.02%，4.07%，3.49%，22.68%，VIF 較STAR，JieP，WVM，SSD，MSRCR 分別提高了91.17%，117.86%，59.38%，48.78%，183.12%，說(shuō)明增強(qiáng)前后圖像的視覺(jué)質(zhì)量有了顯著提升，圖像紋理細(xì)節(jié)也更加豐富，圖像包含的信息更多。

不同算法在大小為881×660 的20 張圖像上的平均運(yùn)行時(shí)間見(jiàn)表2?？煽闯鯳VM 復(fù)雜度較高，MSRCR 算法處理的時(shí)間最短但增強(qiáng)效果最差，本文算法耗時(shí)較MSRCR 算法略長(zhǎng)，但獲得了更好的增強(qiáng)效果。

表2 平均運(yùn)行時(shí)間Table 2 Average running times s

4 結(jié)論

1）針對(duì)礦井圖像存在低照度，照度不均的問(wèn)題，提出一種基于結(jié)構(gòu)紋理分解的礦井圖像增強(qiáng)方法。首先對(duì)圖像采用maxRGB 算法提取原始圖像的初始光照分量，保留圖像亮度信息的同時(shí)，增強(qiáng)對(duì)比度。其次，構(gòu)建變分優(yōu)化目標(biāo)函數(shù)，求得初始光照分量中的結(jié)構(gòu)分量、紋理分量及噪聲分量。然后，對(duì)初始光照分量進(jìn)行加權(quán)引導(dǎo)濾波，再將其作為目標(biāo)函數(shù)中約束結(jié)構(gòu)分量的先驗(yàn)信息，保證了結(jié)構(gòu)分量的邊緣輪廓清晰。構(gòu)建局部變化偏差函數(shù)并將其作為約束紋理分量的權(quán)重，得到了細(xì)節(jié)豐富的紋理分量。將迭代得到的結(jié)構(gòu)、紋理及噪聲分量進(jìn)行Retinex 重構(gòu)。最后引入改進(jìn)AGCWD 算法來(lái)限制圖像亮度過(guò)增強(qiáng)，改善了圖像視覺(jué)效果。

2）實(shí)驗(yàn)結(jié)果表明，基于結(jié)構(gòu)紋理分解的礦井圖像增強(qiáng)算法對(duì)礦井低照度圖像有較好的增強(qiáng)效果，能夠提高圖像的亮度和對(duì)比度，同時(shí)保持圖像細(xì)節(jié)的豐富性及邊緣紋理的清晰，有效地減少了增強(qiáng)過(guò)程中可能產(chǎn)生的光暈偽影和顏色失真問(wèn)題。

3）相較于STAR，JieP，WVM，SDD 及MSRCR算法，基于結(jié)構(gòu)紋理分解的礦井圖像增強(qiáng)算法在客觀指標(biāo)NIQE 上分別下降了8.69%，29.05%，11.2%，29.53%，33.54%；Entropy 分別提高了3.20%，8.02%，4.07%，3.49%，22.68% ；VIF 分別提高了91.17%，117.86%，59.38%，48.78%，183.12%；客觀指標(biāo)均達(dá)到最佳，同時(shí)基于結(jié)構(gòu)紋理分解的礦井圖像增強(qiáng)算法的灰度直方圖分布更加均衡。

4）基于結(jié)構(gòu)紋理分解的礦井圖像增強(qiáng)算法的平均運(yùn)行時(shí)間僅長(zhǎng)于MSRCR 算法，但得到了更好的圖像增強(qiáng)效果。

5）后續(xù)研究將圍繞優(yōu)化目標(biāo)函數(shù)進(jìn)一步改進(jìn)和優(yōu)化，同時(shí)擴(kuò)充礦井視頻圖像數(shù)據(jù)集，將圖像增強(qiáng)算法應(yīng)用到礦井目標(biāo)檢測(cè)、圖像分割等智能視覺(jué)任務(wù)中。