基于綜采工作面視頻監(jiān)控的圖像增強(qiáng)方法

薛國華

（陜西黃陵礦業(yè)一號煤礦有限公司，陜西 延安 727307）

煤炭是我國的主要能源，在國民經(jīng)濟(jì)發(fā)展中占有極其重要的地位[1]。近年來，隨著自動化和信息化技術(shù)的發(fā)展，煤礦向智能化開采方向發(fā)展[2-4]。隨著綜采自動化技術(shù)發(fā)展，視頻監(jiān)控廣泛應(yīng)用于綜采工作面，主要用于片幫、大塊煤、人員安全和設(shè)備干涉識別等。綜采工作面視頻監(jiān)控圖像易受煤礦井下粉塵、水霧等影響，并且工作面屬于低照度環(huán)境，導(dǎo)致圖像不清晰，難以實現(xiàn)工作面異常狀態(tài)的準(zhǔn)確識別。因此，研究綜采工作面視頻圖像增強(qiáng)算法，對工作面設(shè)備、圍巖和人員異常狀態(tài)識別和煤礦安全生產(chǎn)具有重要意義。

目前，國內(nèi)外許多學(xué)者對圖像增強(qiáng)算法進(jìn)行了大量的研究，其中也包括煤礦井下圖像增強(qiáng)方法。徐榮鑫、付國榮等研究了基于雙邊濾波與單尺度Retinex 的混合圖像增強(qiáng)算法，對圖像進(jìn)行去噪及增強(qiáng)處理，有效解決綜采工作面內(nèi)監(jiān)控圖像不清晰、霧化、眩光等問題[5-6]；尚長春等研究了基于機(jī)器視覺的煤礦圖像增強(qiáng)方法，經(jīng)小波變換進(jìn)行融合、重構(gòu)，最后使用均值、標(biāo)準(zhǔn)差等數(shù)字特征對處理結(jié)果進(jìn)行評估，此方法對增強(qiáng)圖像質(zhì)量有較好的效果，并提高了井下障礙物識別正確率[7]；路雅寧等結(jié)合曲波變換和HIS 變換對圖像進(jìn)行融合，提高了光譜圖像的分辨率[8]；智寧、李策等針對現(xiàn)有的圖像過度增強(qiáng)、只適用小部分圖像的問題，提出了一種基于深度融合網(wǎng)絡(luò)的清晰化復(fù)原算法，此方法有較好的適用性，并有效提升了井下圖像視覺效果[9-10]；同時，智寧等又提出了基于雙伽馬函數(shù)的低亮度圖像增強(qiáng)算法，通過均衡低亮度區(qū)域和高亮度區(qū)域的亮度值，達(dá)到圖像增強(qiáng)的目的[11]；應(yīng)東杰等[12]針對井下圖像質(zhì)量差、噪聲多的問題，提出了一種基于小波變換和模糊理論的圖像增強(qiáng)算法，改善了圖像效果；付燕等[13]針對井下視頻的亮度不均、細(xì)節(jié)不清等問題，通過對比度受限函數(shù)和反饋函數(shù)對圖像進(jìn)行增強(qiáng)，該方法有效解決了井下視頻圖像失真問題；Ju 等[14]提出了伽馬校正先驗方法，減少了圖像增強(qiáng)算法運算時間；Wang 等[15]通過結(jié)合傅里葉濾波和高斯濾波，對暗通道先驗方法進(jìn)行改進(jìn)，提高了圖像增強(qiáng)算法的運算速度。

綜上所述，目前圖像增強(qiáng)方法的研究較為廣泛，但是現(xiàn)有煤礦井下圖像增強(qiáng)算法具有一定的局限性，深度融合網(wǎng)絡(luò)的清晰化復(fù)原算法等復(fù)雜算法處理速度慢，而對比度拉伸、伽馬變換、直方圖均衡等處理效率高的算法對煤礦井下圖像增強(qiáng)效果不佳。為此，運用限制對比度自適應(yīng)直方圖均衡的圖像增強(qiáng)方法對煤礦綜采工作面低照度環(huán)境下的圖像進(jìn)行增強(qiáng)處理。

1 綜采工作面全方位視頻監(jiān)控方案

為了全方位的監(jiān)控綜采工作面人員與設(shè)備等異常狀態(tài)，采用云臺攝像儀代替?zhèn)鹘y(tǒng)固定攝像儀，綜采工作面視覺傳感器布置方案如圖1。每間隔5 個支架安裝3 臺礦用云臺攝像儀，其中2 臺安裝于支架的頂梁上照向煤壁，用于監(jiān)測采煤機(jī)滾筒與液壓支架護(hù)幫板等是否發(fā)生干涉、煤臂是否發(fā)生片幫等，另外1 臺照向支架，用于監(jiān)視行人通道，監(jiān)測人員是否在危險區(qū)域。

圖1 綜采工作面視覺傳感器布置方案Fig.1 Layout plan of vision sensor in fully mechanized mining face

2 綜采工作面圖像增強(qiáng)方法

2.1 限制對比度自適應(yīng)直方圖均衡的圖像增強(qiáng)方法

針對直方圖均衡化的局限性及煤塊井下實際環(huán)境。運用限制對比度自適應(yīng)直方圖均衡（CLAHE）方法對綜采工作面圖像進(jìn)行增強(qiáng)，限制對比度自適應(yīng)直方圖均衡（CLAHE）算法的流程圖如圖2。

圖2 限制對比度自適應(yīng)直方圖均衡法流程圖Fig.2 Flow chart of adaptive histogram equalization method with limited contrast

該方法通過設(shè)定閾值來限制直方圖的分布，以避免過度增強(qiáng)。若某個灰度級的概率超過該閾值，則對其進(jìn)行裁剪，并將超出閥值的部分平均分配到各個灰度級。由于重分布使每個灰度級的概率均勻上升，導(dǎo)致被裁剪掉的灰度級概率又重新超過閾值，所以反復(fù)進(jìn)行裁剪和平均分配的過程，直到超出閾值的部分可以忽略不計。通過閾值重分布處理，直方圖累積分布函數(shù)中劇烈變化的曲線段會變得較為平緩，從而避免噪聲點過度增強(qiáng)引起的圖像失真。

為了避免每2 個塊狀中心區(qū)域之間產(chǎn)生不連續(xù)的割裂現(xiàn)象，限制對比度自適應(yīng)直方圖均衡的圖像增強(qiáng)方法通過雙線性插值來去除分塊處理所導(dǎo)致的塊邊緣過渡不平衡效應(yīng)。首先將圖像均勻分成小窗口，然后計算每個窗口的直方圖經(jīng)裁剪重分布后的累積分布函數(shù)。窗口的中心像素點按照映射關(guān)系的原始定義進(jìn)行變換，而其他的非邊緣像素點則通過相鄰4 個窗口的直方圖累積分布函數(shù)對其的映射值進(jìn)行雙線性插值，得到最終的映射函數(shù)。

已 知 函 數(shù)f 的P 點 周 圍Q11=（x1，y1）、Q12=（x1，y2）、Q21=（x2，y1）、Q22=（x2，y2）4 個點的值，那么求得P=（x，y）的值的方法為：

在x 方向進(jìn)行插值：

映射插值原理如圖3。通過插值計算，人工引入的窗口邊界得以消除。黑色小矩形代表各分塊的中心，所以此中心像素直接使用當(dāng)前分塊的映射函數(shù)；而右下方藍(lán)紫色區(qū)域的像素，則是由當(dāng)前分塊與相鄰分塊的映射函數(shù)，執(zhí)行雙線性插值計算得出；同理，圖像邊緣的綠色區(qū)域的像素，由當(dāng)前分塊和相鄰分塊執(zhí)行線性內(nèi)插即可；最后在圖像角落的紅色區(qū)域，與所在分塊中心像素一樣，直接使用其映射函數(shù)計算。這樣的插值處理，將直方圖統(tǒng)計均衡化的次數(shù)減少到常數(shù)次，只增加了映射函數(shù)取值的線性計算，在保證算法一定效果的同時，極大的提升了計算效率。

圖3 映射插值原理Fig.3 Principle of mapping interpolation

對于限制圖像局部直方圖對比度的問題，可以通過限制其幅值來實現(xiàn)。直方圖均衡化的像素值，是通過累積分布函數(shù)（CDF）變換所得，限制局部直方圖CDF 的斜率就可以達(dá)到限制對比度的目的。由于累積分布函數(shù)又是像素幅值的積分，所以對幅值的限制相當(dāng)于限制CDF 的斜率。限制直方圖的幅值需要對直方圖裁剪，為了減少信息的丟失，裁剪的部分還要均勻的分布在直方圖上。

設(shè)裁剪值為C，子塊中高于這個值的灰度值和為TE，TE 屬于裁剪的部分，如果把裁剪的部分平均分到子塊的所有像素N 上，那么每個像素需要分到的灰度值為H=TE/N，再以U=C-H 為界限來重新分配灰度級。

本方法相對于直方圖均衡算法，可以有效避免增強(qiáng)圖像后導(dǎo)致亮度過大的問題，增強(qiáng)后的圖像質(zhì)量更高，更符合人眼觀察習(xí)慣。

2.2 圖像增強(qiáng)評價指標(biāo)

采用峰值信噪比和信息熵對圖像增強(qiáng)效果進(jìn)行客觀評價，峰值信噪比是一種常用的圖像評價指標(biāo)，圖像的清晰度與峰值信噪比呈正相關(guān)，信息熵反映了圖像灰度值的多樣性。峰值信噪比的計算公式為：

式中：PSNR 為信噪比；MSE 為原圖像的均方誤差；n 為圖像采樣點的位數(shù)，8 位采樣點時，n=255。信息熵H 的計算公式為：

式中：Pi為圖像中某點出現(xiàn)的概率。

3 圖像增強(qiáng)實驗驗證

獲取煤礦井下綜采工作面多幅圖像，分別采用對比度拉伸、伽馬變換、直方圖均衡化、限制對比度自適應(yīng)直方圖均衡方法對圖像進(jìn)行增強(qiáng)處理，綜采工作面巷道圖像的不同增強(qiáng)方法結(jié)果對比如圖4，綜采工作面煤壁圖像的不同增強(qiáng)方法結(jié)果對比如圖5，工作面采煤機(jī)截割部圖像的不同增強(qiáng)方法結(jié)果對比如圖6。

圖4 綜采工作面巷道圖像的不同增強(qiáng)方法結(jié)果對比Fig.4 Comparison results of different image enhancement methods of roadway in fully mechanized mining face

圖5 綜采工作面煤壁圖像的不同增強(qiáng)方法結(jié)果對比Fig.5 Comparison results of different image enhancement methods of coal wall in fully mechanized mining face

圖6 工作面采煤機(jī)截割部圖像的不同增強(qiáng)方法結(jié)果對比Fig.6 Comparison results of different image enhancement methods of cutting unit of shearer in fully mechanized mining face

從以上處理結(jié)果可以看出，對比度拉伸法和伽馬變換法對煤礦井下圖像處理效果較差，對原始圖像增強(qiáng)不明顯。直方圖均衡法處理后有效提高了原始圖像的亮度，視覺效果也得以提高，但是出現(xiàn)了亮度過高的情況，限制對比度自適應(yīng)直方圖均衡方法的處理結(jié)果在視覺上有著最好的效果，在有效增強(qiáng)原始圖像的同時，避免了對比度和亮度過高的情況，圖像質(zhì)量得到明確提高。

根據(jù)圖4～圖6 中圖像處理結(jié)果，計算得出的4種圖像增強(qiáng)處理方法的評價指標(biāo)見表1。

從表1 中可以看出，運用限制對比度自適應(yīng)直方圖均衡方法處理結(jié)果的峰值信噪比相比于其他3種方法有著明顯提升，說明此方法處理的圖像清晰度要明顯優(yōu)于其他方法。限制對比度自適應(yīng)直方圖均衡方法的信息熵僅次于直方圖均衡方法的處理結(jié)果，結(jié)合圖4～圖6 圖像處理結(jié)果的實際效果可以看出，直方圖均衡處理結(jié)果雖然信息熵更高，但是造成了圖像亮度過高，對比度過大，丟失了圖中細(xì)節(jié)，不符合人眼觀察習(xí)慣，不能為煤礦機(jī)器視覺智能識別提供高質(zhì)量的圖像。

表1 不同圖像增強(qiáng)方法評價指標(biāo)Table 1 Evaluation index of different image enhancement methods

因此，綜合對比度拉伸、伽馬變換、直方圖均衡化、限制對比度自適應(yīng)直方圖均衡4 種方法的圖像增強(qiáng)對比分析，采用的限制對比度自適應(yīng)直方圖均衡方法的增強(qiáng)效果最佳，能夠在煤礦井下綜采工作面低照度、水霧等環(huán)境下實現(xiàn)圖像清晰化。

為了驗證提出的視頻監(jiān)控方案和采用的限制對比度自適應(yīng)直方圖均衡方法在煤礦井下綜采工作面的增強(qiáng)效果，從煤礦井下綜采工作面現(xiàn)場截取了視頻增強(qiáng)后的圖像，綜采工作面人行道增強(qiáng)后的圖像如圖7，綜采工作面采煤機(jī)滾筒增強(qiáng)后的圖像如圖8。

圖7 綜采工作面人行道增強(qiáng)后的圖像Fig.7 Enhanced image of humanoid road in fully mechanized mining face

從圖7 和圖8 可以看出，視頻監(jiān)控方案實現(xiàn)了工作面人員、設(shè)備、煤壁等全方位監(jiān)控，并且采用的限制對比度自適應(yīng)直方圖均衡方法實現(xiàn)了煤礦綜采工作面視頻圖像良好的增強(qiáng)效果。

圖8 綜采工作面采煤機(jī)滾筒增強(qiáng)后的圖像Fig.8 Enhanced image of shearer drum in fully mechanized mining face

4 結(jié) 語

針對煤礦綜采工作面設(shè)備與人員異常狀態(tài)全方位視頻監(jiān)控和煤礦井下低照度環(huán)境下的圖像成像質(zhì)量低的問題，提出了一種全方位的視頻監(jiān)控方案，并研究了限制對比度自適應(yīng)直方圖均衡的圖像增強(qiáng)方法。運用對比度拉伸、伽馬變換、直方圖均衡化和限制對比度自適應(yīng)直方圖均衡4 種方法對煤礦井下實際圖像進(jìn)行增強(qiáng)處理對比驗證。結(jié)果表明：采用的限制對比度自適應(yīng)直方圖均衡方法對煤礦綜采工作面圖像增強(qiáng)效果最好，該方法通過限制對比度，在增強(qiáng)圖像的同時，避免了直方圖均衡引起的亮度過高的問題。