彩色圖像去霧清晰化研究①

郝盼紅,郭元術(shù)

(長安大學(xué) 信息工程學(xué)院,西安 710064)

遇到霧霾天氣時(shí),成像設(shè)備采集的圖像色彩度降低,圖像顏色發(fā)生偏移或失真,導(dǎo)致圖像中的有用信息變少,給計(jì)算機(jī)視覺系統(tǒng)中的判定工作造成不準(zhǔn)確的判斷,通過圖像去霧[1–3]處理來突出景物的細(xì)節(jié)信息,減少成像設(shè)備采集的有霧圖像和實(shí)際景物間的偏差現(xiàn)象,保證計(jì)算機(jī)視覺系統(tǒng)工作的正確判斷.

圖像去霧的算法主要有調(diào)節(jié)灰度級的圖像增強(qiáng)去霧算法和利用光學(xué)物理模型的圖像復(fù)原去霧算法.圖像增強(qiáng)的目的是采用一系列的算法來改善圖像的視覺效果,提高圖像的對比度和清晰度.圖像增強(qiáng)去霧處理可以分為空間域增強(qiáng)和頻率域增強(qiáng),其中空間域增強(qiáng)是直接對有霧圖像的像素灰度進(jìn)行處理;頻率域增強(qiáng)是對圖像傅里葉變換后的頻譜進(jìn)行處理,再經(jīng)傅里葉逆變換獲得去霧結(jié)果.常規(guī)的圖像增強(qiáng)去霧算法有直方圖均衡化算法、小波變換算法、Retinex 算法等,其中全局直方圖均衡化去霧算法[4,5]是將有霧圖像的灰度直方圖經(jīng)某種變換修正為均勻分布直方圖的一種方法,該算法相對簡單且運(yùn)算時(shí)間短,去霧圖像灰度能得到較高的離散程度,自動(dòng)增強(qiáng)圖像的對比度,實(shí)現(xiàn)圖像暗區(qū)域的亮度增強(qiáng),但由于合并了較多的灰度等級,容易丟失圖像的細(xì)節(jié)信息.小波變換算法[6,7]圖像增強(qiáng)是把空間域上的圖像數(shù)據(jù)變換到小波域上,得到多層次的小波系數(shù),然后多尺度地完成像素級處理,該算法對圖像的本來面貌可以較好地進(jìn)行保持,但去霧處理時(shí)不能很好地抑制噪聲.Retinex 理論是基于色彩恒常性的理論模型提出的,Retinex 算法[8]圖像增強(qiáng)是降低有霧圖像中的光照分量的影響,保留物體自身屬性的反射分量,并在對數(shù)域中對其做指數(shù)變換,從而實(shí)現(xiàn)有霧圖像的細(xì)節(jié)增強(qiáng)效果.多尺度Retinex 算法能很好地還原圖像的邊緣細(xì)節(jié)信息,得到層次感更清晰的圖像,但圖像色彩會出現(xiàn)失真的現(xiàn)象.

本文采用全局直方圖均衡化算法、小波變換算法和多尺度Retinex 算法分別對彩色圖像的RGB 三層通道進(jìn)行圖像增強(qiáng)處理,對其去霧效果做主觀和客觀分析,相比較這3 種算法,多尺度Retinex 算法對彩色圖像有較好的去霧效果.

1 全局直方圖均衡化

考慮整幅圖像的視覺效果,對原圖像的灰度直方圖進(jìn)行直方圖均衡化[9,10]修正,調(diào)整為均勻的直方圖分布,達(dá)到增強(qiáng)霧天圖像整體對比度的目的.

若原圖像存在L個(gè)灰度級,各灰度級包含n個(gè)像素點(diǎn),圖像總的像素點(diǎn)數(shù)為N,則第i個(gè)灰度級的像素點(diǎn)占整幅圖像總的像素點(diǎn)的概率為:

對于灰度級為離散的數(shù)字圖像,原圖像直方圖累計(jì)分布函數(shù)為:

經(jīng)灰度變換函數(shù)得到新的灰度值j,與原圖像灰度值i的關(guān)系為:

經(jīng)全局直方圖均衡化后,各灰度級的灰度像素值能夠相對地勻稱分布,整體拉伸了原圖像灰度值的動(dòng)態(tài)范圍,提高了圖像的對比度.但用灰度變換函數(shù)時(shí),算法中采用了四舍五入取整的辦法確定灰度映射關(guān)系,會使原圖像中不同的灰度值可能變得相同,形成偽輪廓,造成均衡化后圖像部分信息的缺失,局部的特征不夠明顯.

全局直方圖均衡化增強(qiáng)后圖像的亮度一般分配在整個(gè)灰度級的中值附近,通過對全局直方圖做線性或者非線性拉伸,得到雙面性的結(jié)果.若一些灰度級在整個(gè)直方圖中占有很高的比例,均衡化后能夠優(yōu)化大多數(shù)的像素對比度,而歸并了像素?cái)?shù)占比小的灰度級,容易丟失圖像的細(xì)節(jié)信息,故全局直方圖均衡化適用于單一景深的圖像.

2 小波變換算法

在信號和數(shù)字圖像處理方面,小波變換[11,12]是對高頻和低頻信號利用小波函數(shù)及尺度函數(shù)進(jìn)行運(yùn)算,通過傅里葉變換將信號分解成不同尺度連續(xù)重復(fù)的部分,是一種用于多層次分解的數(shù)學(xué)工具.

連續(xù)小波變換為:

式中,a為尺寸參數(shù),b為平移參數(shù),b與小波的具體形式有關(guān),f(x,y)是一個(gè)二維函數(shù),bx表示在x軸的平移,by表示在y軸的平移,φ (x,y)是二維基本小波函數(shù).相應(yīng)的連續(xù)小波逆變換為:

式中,Cφ是一個(gè)有限值,它意味著φ (t)的傅里葉變換是連續(xù)可積的.

圖像增強(qiáng)前后之間的函數(shù)關(guān)系有兩種:可以是線性關(guān)系,也可以是非線性關(guān)系,小波變換算法在圖像增強(qiáng)中充當(dāng)?shù)氖穷l域變換的作用,通過小波分析時(shí)頻局部化地特性,能提高圖像增強(qiáng)的質(zhì)量以及算法的時(shí)效性.

小波變換的主要優(yōu)勢在于能夠多尺度完成像素能量級的處理,遇到惡劣的霧霾天氣時(shí),基于小波變換的交通圖像專用去霧算法能很好地解決交通監(jiān)控設(shè)施受到視覺阻擋的問題.在RGB 三種顏色通道利用直方圖均衡化來增強(qiáng)整個(gè)圖像的對比度,同時(shí)在HSV 色彩空間中對V 分量進(jìn)行小波變換的處理,然后將得到的低頻部分和高頻部分利用小波逆變換的方法重構(gòu)出高質(zhì)量的去霧交通圖像.

3 Retinex 算法

3.1 色彩恒常性

色彩恒常性[13]是指人眼不會因外界環(huán)境的改變而對物體表面色彩的判斷發(fā)生變化的心理傾向,對于某個(gè)特定的物體,光照環(huán)境的改變會導(dǎo)致物體表面出現(xiàn)不同的反射譜,但人眼的識別系統(tǒng)能判斷出這是由于光線的變化產(chǎn)生的,人類對特定物體表面色彩的感知是趨于穩(wěn)定的,在具體范圍內(nèi)的光線變化,視覺識別機(jī)制會認(rèn)為物體顏色是保持恒定不變的.

在圖像處理領(lǐng)域中,基于外界環(huán)境使得景物表面的顏色光產(chǎn)生變化時(shí),而人眼識別系統(tǒng)對物體色彩的知覺依然保持相對不變的認(rèn)知特性,將圖像中的光照分量與背景分量進(jìn)行分離成為解決圖像處理問題的重點(diǎn).人眼判斷物體的顏色信息是受物體自身的反射屬性影響,而不受外界環(huán)境入射光的影響,視覺識別系統(tǒng)的視網(wǎng)膜接收來自物體表面的反射光線,將光線信息傳遞到大腦皮層進(jìn)而形成一幅景物的感覺.人類是帶著主觀印象對物體顏色做出判斷,而圖像采集系統(tǒng)并不具備人類視覺機(jī)制對物體色彩的主觀判斷,故在同一光照條件下,計(jì)算機(jī)系統(tǒng)對物體顏色的判定與人眼的知覺特性有所差異.研究者根據(jù)色彩恒常性提出了Retinex 理論,將其廣泛應(yīng)用于圖像去霧領(lǐng)域.

3.2 Retinex 理論

Edwin Land 提出了Retinex 理論[14],也稱作視網(wǎng)膜皮層理論.成像由入射光和反射物體組成,Retinex 理論模型如圖1所示.

圖1 Retinex 理論模型圖

由外界光照環(huán)境形成的入射光被景物接收,由景物反射性質(zhì)形成的反射光被觀測者接收,其數(shù)學(xué)模型為:

式中,S(x,y) 表示原圖像,L(x,y)表示照射分量,R(x,y)表示反射分量,照射分量決定了原圖像中像素的動(dòng)態(tài)范圍,反射分量決定了物體自身的特定性質(zhì),Retinex 算法[15,16]的實(shí)質(zhì)是為了降低或者消除入射光的影響,恢復(fù)出由物體內(nèi)在性質(zhì)決定的反射分量,即物體原來的屬性.在圖像處理中應(yīng)用Retinex 理論能消除外界光照環(huán)境對物體成像的影響,從而實(shí)現(xiàn)原圖像細(xì)節(jié)信息的增強(qiáng).

Retinex 算法流程圖一般可表示為圖2所示過程.

圖2 Retinex 算法流程圖

將式(6)的變量轉(zhuǎn)化在對數(shù)域中處理,是因?yàn)閷?shù)形式更貼近于人類識別系統(tǒng)的感知特性,并將乘積運(yùn)算轉(zhuǎn)化為簡單加減運(yùn)算,原圖像s可表示為:

式中,s=log(S),l=log(L),r=log(R).

采用特定的方法估計(jì)圖像的照射分量,圖像的反射分量r則由原圖像s減去照射分量l可得到,增強(qiáng)的圖像是對反射分量r進(jìn)行反對數(shù)運(yùn)算,可表示為:

3.3 多尺度Retinex 算法

本文多尺度Retinex 圖像增強(qiáng)算法[17–19]是在不同尺度上完成原圖像去霧處理,通過合理地選取多個(gè)尺度參數(shù),再將得到的結(jié)果依據(jù)特定的方式疊加起來,實(shí)現(xiàn)圖像增強(qiáng)去霧處理.

首先分別按R、G、B 顏色通道將原圖像分解成三幅相應(yīng)的灰度圖像,對原圖像進(jìn)行多尺度變換,得到分別為高中低的多尺度圖像,再通過高斯函數(shù)做卷積運(yùn)算,對其輸出的結(jié)果進(jìn)行3 種尺度的加權(quán)平均運(yùn)算,然后把R、G、B 顏色通道的增強(qiáng)圖像合成一幅圖像,完成多尺度Retinex 算法[20,21]圖像增強(qiáng)處理.

多尺度Retinex 增強(qiáng)算法公式為:

式中,ωk表示與高斯函數(shù)有關(guān)的權(quán)重,通常k取值為3,i表示顏色通道,圖像中共有N個(gè)顏色通道,S(x,y)表示原圖像,F(x,y)表示高斯函數(shù),R(x,y)表示多尺度Retinex增強(qiáng)后的輸出圖像.

基于Retinex 理論的圖像增強(qiáng)算法能夠有效地提升圖像的亮度,實(shí)現(xiàn)圖像細(xì)節(jié)信息的增強(qiáng)以及顏色的保真效果,由于拍攝環(huán)境較暗或者光照不足引起的低照度圖像成為多尺度Retinex 增強(qiáng)算法[22]的主要研究對象,圖像的增強(qiáng)效果和高斯低通濾波器選取的尺度參數(shù)有極大的關(guān)系.參數(shù)較大能較好地保留圖像色彩,但圖像細(xì)節(jié)信息較少;參數(shù)較小能增加圖像細(xì)節(jié)和對比度,但圖像會出現(xiàn)色彩失真的現(xiàn)象,所以需要平衡參數(shù)對圖像增強(qiáng)的影響,通過大量的試驗(yàn)表明,在RGB 顏色通道上多尺度Retinex 增強(qiáng)算法選取高、中、低尺度分別為15、80、200的參數(shù),可以達(dá)到較好的圖像增強(qiáng)結(jié)果.

多尺度Retinex 增強(qiáng)算法的流程圖如圖3所示.

圖3 多尺度Retinex 增強(qiáng)算法流程圖

4 實(shí)驗(yàn)結(jié)果及分析

為評估3 種不同去霧算法的去霧效果,本文采用人眼觀察的主觀分析和圖像去霧質(zhì)量評價(jià)參數(shù)的客觀分析,對彩色圖像進(jìn)行圖像增強(qiáng)去霧算法的比較.此次實(shí)驗(yàn)在MATLAB R2016b 軟件平臺上進(jìn)行編程,硬件參數(shù):CPU為Intel Core i5-4210U,2.40 GHz;內(nèi)存8.00 GB.

4.1 主觀分析

本文選取兩幅彩色有霧圖像,圖像像素大小分別為500×328和485×332,利用全局直方圖均衡化算法、小波變換算法和多尺度Retinex 算法進(jìn)行去霧圖像效果的比較,以人眼為觀察角度,根據(jù)人眼的視覺特性判斷圖像的好壞.

觀察圖4可知,圖4(b)整體的亮度得到了提高,農(nóng)田以及房屋的色彩變得更加明亮,增強(qiáng)了與周圍樹木之間的對比度,但遠(yuǎn)處景物被過度增強(qiáng),丟失了右下角大樹的細(xì)節(jié)信息,圖像的色調(diào)出現(xiàn)了明顯的失真;圖4(c)較好地保留了原圖像的景物特征信息,圖像亮度增加了一些,但遠(yuǎn)處樹木房屋仍被較大范圍薄霧所籠罩;圖4(d)房屋、樹木和農(nóng)田的景物特征凸顯出來,圖像色調(diào)變得明亮清晰,沒有出現(xiàn)過度增強(qiáng)的現(xiàn)象,整體圖像的觀感更加符合人眼的特性.

圖4 不同算法對農(nóng)田房屋的去霧效果對比圖

觀察圖5可知,圖5(b)人、山和樹的整體結(jié)構(gòu)較為清晰,但草地的色調(diào)變得昏暗,天空區(qū)域被過度增強(qiáng);圖5(c)圖像的亮度明顯提高,但大部分區(qū)域還是被薄霧覆蓋,去霧效果不是很理想;圖5(d)整體的色調(diào)較為明亮,景物細(xì)節(jié)也較為清晰,沒有出現(xiàn)過飽和的現(xiàn)象,圖像的對比度明顯增強(qiáng).

圖5 不同算法對女孩大樹的去霧效果對比圖

4.2 客觀分析

本文分別記錄3 種去霧算法的均值(MID)、均方誤差(MSE)、信噪比(SNR)和峰值信噪比(PSNR).

均值反映去霧算法所得圖像的亮度,均值越大,圖像亮度也越大;均方誤差是評價(jià)原圖像和去霧圖像間的誤差大小,其值越小,兩幅圖像的誤差越小;信噪比反映圖像中所含噪聲的多少,信噪比越大,圖像所含的噪聲越小;峰值信噪比是評價(jià)圖像質(zhì)量常用的客觀標(biāo)準(zhǔn),其計(jì)算值越大,表明彩色圖像失真越小,所得圖像的質(zhì)量就越高.

觀察表1和表2可知,多尺度Retinex 算法相比較于全局直方圖均衡化和小波變換算法而言,兩幅彩色圖像都取得了較大的均值,表明圖像的亮度增強(qiáng);都取得了較小的均方誤差,原圖像和去霧圖像間的方差最小;都取得了較大的信噪比,說明圖像中所含噪聲較小;也都取得了較大的峰值信噪比,彩色圖像失真度最小,去霧圖像的質(zhì)量較高.

表1 3 種算法對農(nóng)田房屋圖像去霧客觀評價(jià)表

表2 3 種算法對女孩大樹圖像去霧客觀評價(jià)表

5 結(jié)論

本文采用圖像增強(qiáng)的方法對彩色圖像的RGB 三層通道分別進(jìn)行去霧處理,用到的算法有:全局直方圖均衡化法、小波變換算法和多尺度Retinex 算法.全局直方圖均衡化法計(jì)算簡單,容易實(shí)現(xiàn),廣泛應(yīng)用于圖像增強(qiáng)去霧處理中.小波變換算法增強(qiáng)不同頻率的圖像分量,實(shí)現(xiàn)彩色圖像亮度的增強(qiáng).多尺度Retinex 算法平衡前兩者的去霧特性,對霧霾圖像有良好的去霧效果,突出圖像中暗區(qū)域的景物信息.實(shí)驗(yàn)結(jié)果表明,多尺度Retinex 算法得到的去霧圖像對比度增加、細(xì)節(jié)信息較為清晰、貼合人眼觀察圖像的特征,整體的去霧效果較好.本文主要研究的是單一彩色圖像去霧算法,將彩色圖像去霧算法深入應(yīng)用到動(dòng)態(tài)和視頻圖像中,需要進(jìn)一步地深入研究.