改進(jìn)多尺度Retinex色彩灰度的水下彩色圖像研究

雷 飛,朱 林,王雪麗

(北京工業(yè)大學(xué) 信息學(xué)部,北京 100124)

1 引 言

隨著經(jīng)濟(jì)和科技的發(fā)展,由于海洋中蘊(yùn)藏著大量的生物和能源資源,對(duì)海洋的研究成為世界科技發(fā)展的重要領(lǐng)域.水下圖像的處理也成為海洋研究中的熱點(diǎn).但是,在水下攝影的過(guò)程中,水作為介質(zhì)會(huì)吸收光的能量,因此光在水中傳輸會(huì)有很強(qiáng)的衰減作用.同時(shí),水對(duì)光的吸收也有很強(qiáng)的選擇特性.水對(duì)不同波長(zhǎng)的光吸收特性也是不同的.水對(duì)光譜中的紫外和紅外部分表現(xiàn)出強(qiáng)烈的吸收,在可見(jiàn)光譜區(qū)段,吸收最大的分別是紅和淡綠光譜區(qū)域,對(duì)藍(lán)和深綠光譜區(qū)域吸收最少[1].由于水對(duì)光的衰減作用,因此在一定深度的水下所拍攝的水下圖像存在嚴(yán)重的顏色失真問(wèn)題.由于水中含有溶解物和顆粒物,光在水中傳輸過(guò)程中也會(huì)發(fā)生較為嚴(yán)重散射效應(yīng).光在水中的散射主要分為前向散射和后向散射.光在傳輸方向上的散射稱為前向散射,而在相反方向的散射稱為后向散射.一般來(lái)說(shuō),前向散射會(huì)使光線在由目標(biāo)到接收器的傳輸途中發(fā)生小角度的散射而使接收光線擴(kuò)散并導(dǎo)致圖像模糊,而后向散射造成光場(chǎng)外的光線被傳感器接收到而形成模糊的背景.由于后向散射光疊加在目標(biāo)信號(hào)上被傳感器接收,引起水下圖像的“霧化”效果[2],從而使水下圖像對(duì)比度和清晰度降低.

由于水下環(huán)境較為復(fù)雜,因此造成水下圖像光照不均勻,噪聲大,顏色特征衰減和細(xì)節(jié)不清晰等問(wèn)題[3].因此,在水下圖像處理中多采用灰度圖像進(jìn)行處理.但灰度圖像相比于彩色圖像,會(huì)喪失大量圖像細(xì)節(jié),而彩色圖像與人眼視覺(jué)一致,因此提升水下彩色圖像清晰度和對(duì)比度非常有意義.

對(duì)水下圖像增強(qiáng)的方法主要有集成色彩模型增強(qiáng)算法[4]、雙通道圖像顏色拉伸法[5]、點(diǎn)擴(kuò)散函數(shù)PSF處理算法[6]和亮度通道多尺度Retinex增強(qiáng)[7]等.但這些算法對(duì)還原水下圖像的色彩效果均不太理想.

本文通過(guò)提取原水下圖像中RGB色彩灰度比例,之后利用多尺度Retinex增強(qiáng)算法對(duì)RGB各通道灰度進(jìn)行增強(qiáng),利用增強(qiáng)后的色彩灰度符合正態(tài)統(tǒng)計(jì)的特性對(duì)RGB各個(gè)通道進(jìn)行拉伸截取,使增強(qiáng)后的圖像能夠符合圖像的輸出特性,最后根據(jù)原圖像的色彩灰度比例對(duì)色彩比例進(jìn)行還原.該算法不僅可以改善水下圖像的顏色失真問(wèn)題還可以提升水下圖像清晰度.

2 多尺度Rentinex圖像增強(qiáng)

2.1 單尺度Rentinex圖像增強(qiáng)

Land等人基于人眼的顏色恒常性理論建立了Retinex模型[8],認(rèn)為人眼對(duì)物體亮度和色彩的感知取決于環(huán)境的照明和物體表面對(duì)照射光的反射,即感知圖像由光照信息部分與反射信息部分組成.即人眼所觀察到的圖像是由光照信息與反射信息的乘積表示:

I(x,y)=L(x,y)·R(x,y)

(1)

式(1)中,I(x,y)表示人眼所觀察到的圖像;L(x,y)表示圖像的照射光分量,它決定了一幅圖像的動(dòng)態(tài)范圍;R(x,y)表示了圖像的反射光分量,它攜帶了圖像的細(xì)節(jié)信息.

由公式(1)可知,Retinex算法的關(guān)鍵是圖像在成像時(shí)區(qū)分出圖像的照射光分量L(x,y)和圖像的反射光分量R(x,y).但在實(shí)際使用中,很難區(qū)分出圖像的照射光分量和圖像的反射光分量.

單尺度Retinex圖像增強(qiáng)函數(shù)(SSR,Single Scale Retinex)是在數(shù)學(xué)上通常采用基于中心環(huán)繞的方法來(lái)近似估計(jì)出圖像中的照射光分量L(x,y)[9].即對(duì)每個(gè)中心像素的照射光分量L(x,y)通過(guò)其周圍的環(huán)繞像素的值進(jìn)行估計(jì),目前多采用I(x,y)的高斯低通濾波卷積的形式:

(2)

(3)

式中,k為歸一化分子,滿足?F(x,y)dxdy=1;σ是高斯濾波器的尺度參數(shù),也就是中心環(huán)繞法的尺度參數(shù),尺度σ的大小決定了卷積核的作用范圍,尺度σ越小,動(dòng)態(tài)范圍壓縮越大,圖像的局部細(xì)節(jié)較突出,尺度σ越大,圖像的整體效果越好,圖像顏色越自然,但局部細(xì)節(jié)不清晰[10].

圖像的反射光分量可表示為:

R(x,y)=logI(x,y)-log[F(x,y)*I(x,y)]

(4)

2.2 多尺度Rentinex圖像增強(qiáng)

多尺度Retinex算法(MSR,Multi-Scale Retinex)是對(duì)不同尺度δ下單尺度Retinex算法的加權(quán)組合[11].其數(shù)學(xué)表達(dá)式為:

(5)

在大多數(shù)多尺度Retinex算法應(yīng)用中,通常對(duì)尺度函數(shù)σi選取大中小三個(gè)不同的值,即可既可兼顧圖像全局背景的協(xié)調(diào),又能較好的突出圖像的細(xì)節(jié),實(shí)現(xiàn)兩者的平衡[12].

3 改進(jìn)色彩灰度的多尺度Retinex算法

圖1給出改進(jìn)色彩灰度的多尺度Retinex算法的流程.

改進(jìn)色彩灰度的多尺度Retinex算法主要由以下幾個(gè)步驟組成:

1)首先對(duì)水下彩色原圖像提取RGB三個(gè)通道的灰度值Ir、Ig和Ib.并根據(jù)RGB三通道的灰度的均值,確定原圖像的色彩亮度Imed:

Imed(x,y)=[Ir(x,y)+Ig(x,y)+Ib(x,y)]/3

(6)

圖1 改進(jìn)色彩灰度的多尺度Retinex算法的處理流程Fig.1 Flow of improved multi scale retinex enhancement algorithm

由于在水下彩色原圖像在經(jīng)過(guò)MSR增強(qiáng)后,RGB三個(gè)通道的色彩灰度相對(duì)于圖像的色彩亮度比例會(huì)發(fā)生變化.當(dāng)變化過(guò)大時(shí),這使得增強(qiáng)后的圖像有時(shí)顏色會(huì)失真,為保證增強(qiáng)后的圖像與原圖像的RGB色彩比例保持一致,分別求取RGB三通道色彩灰度與原圖像色彩亮度的比例系數(shù)mr,mg,mb:

(7)

2)選取大中小三個(gè)不同的尺度參數(shù)σi的高通濾波函數(shù)Fi(x,y)(i=1,2,3)對(duì)原圖像RGB三個(gè)通道的灰度值Ir、Ig和Ib進(jìn)行MSR運(yùn)算.以原圖像的R通道灰度值Ir為例.如式(8)所示:

Ri(x,y)=logIr(x,y)-log[Fi(x,y)*Ir(x,y)](i=1,2,3)

(8)

再進(jìn)行加權(quán)運(yùn)算得到各通道的MSR增強(qiáng)后的灰度值:

(9)

3)經(jīng)過(guò)MSR處理后的圖像灰度值有時(shí)會(huì)變成負(fù)值,當(dāng)輸出圖像時(shí),這些負(fù)值的灰度使得圖像部分區(qū)域變得灰暗,影響視覺(jué)效果.因此需要對(duì)所有色彩灰度進(jìn)行拉伸截?cái)嗵幚?使所有色彩的灰度值能顯示在圖像的輸出范圍內(nèi).以8位圖像為例,將所有經(jīng)過(guò)拉伸截?cái)嗵幚砗蟮幕叶仍?～255范圍內(nèi).拉伸截?cái)嗵幚淼谋磉_(dá)式為:

(10)

(11)

式(11)中,μ為圖像灰度的均值;σ為圖像的標(biāo)準(zhǔn)差;n為截取拉伸倍數(shù),當(dāng)n=3時(shí),圖像灰度值落在[μ-3σ,μ+3σ]的概率為99.73%,因此在試驗(yàn)中選取3作為截取拉伸倍數(shù).

4)根據(jù)RGB三通道的灰度的中值,確定處理后的圖像的色彩亮度Rmed:

(12)

為了使經(jīng)過(guò)MSR處理后的圖像與原圖像保持相同的色彩比例,因此利用原圖像的色彩比例對(duì)輸出圖像灰度進(jìn)行調(diào)整:

Ram=maRmed(a=r,g,b)

(13)

得到RGB通道最終的灰度值.

4 實(shí)驗(yàn)結(jié)果與分析

為了檢測(cè)算法的普適性,因此選取了三種光照散射情況不同的水下圖像進(jìn)行測(cè)試.圖2(a)是在深海中采用輔助照明器具拍攝的,由于深海中含有較少的顆粒物和懸浮物,所以圖像較為清晰,圖像整體有些輕微發(fā)藍(lán),光照所產(chǎn)生的后向散射效果較輕.圖3(a)的拍攝地是較為清澈的淺海,光照較為充足,海水中含有一定量的顆粒物和懸浮物,圖像有些模糊,光照所產(chǎn)生的后向散射效果適中.圖4(a)煩人拍攝地是淺海地區(qū),光照不太充足,同時(shí)水中含有大量的顆粒物和懸浮物,圖像顏色有些失真,整體偏綠,光照所產(chǎn)生的后向散射效果較為嚴(yán)重.

圖2(b)、圖3(b)和圖4(b)采用文獻(xiàn)[7]中的方法對(duì)水下圖像進(jìn)行增強(qiáng)、圖2(c)、圖3(c)和圖4(c)采用文獻(xiàn)[13]Zahid Mahmood等人[13]在提出的改進(jìn)MSR算法對(duì)水下圖像進(jìn)行增強(qiáng)與圖2(d)、圖3(d)和圖4(d)采用本文的方法進(jìn)行對(duì)比.

圖2 第一組水下增強(qiáng)效果圖Fig.2 Image enhancement in different algorithms

由圖2、圖3和圖4可看出.文獻(xiàn)[7]中的算法也對(duì)圖像的增強(qiáng)取得了一定的效果.但圖2(b)增強(qiáng)效果不太明顯,直觀上感受到幾乎沒(méi)有提升圖像的對(duì)比度,同時(shí)在圖像的右上部分還產(chǎn)生了較為嚴(yán)重的色彩失真.圖2(c)和(d)增強(qiáng)后較為相似.圖3和圖4(b)、圖4(c)和圖4(d)的對(duì)比度有一定的提升,但是圖3和圖4(b)和圖4(c)色彩不夠鮮艷.從圖2、圖3和圖4(d)可以看出本文的方法不僅使圖像更加清晰,增強(qiáng)處理后的水下圖像色彩更加鮮艷,符合人眼的視覺(jué)特性.

選取信息熵、對(duì)比度和清晰度作為圖像增強(qiáng)效果的客觀評(píng)價(jià)標(biāo)準(zhǔn).

圖3 第二組水下增強(qiáng)效果圖Fig.3 Image enhancement in different algorithms

信息熵用于度量圖像信息的豐富程度,信息熵越大表明信息越豐富,其公式為:

(14)

式(14)中,P(i)是像素值i在圖像中出現(xiàn)的概率;k是圖像的灰度值范圍.

對(duì)比度是圖像黑與白的比值,也就是黑到白的漸變層次.漸變層次越多,對(duì)比度越大,色彩信息越豐富.其公式為:

(15)

式(15)中,δ(i,j)=|i-j|即相鄰像素間的灰度差;Pδ(i,j)為相鄰像素間灰度差為δ的像素分布概率.

圖4 第三組水下增強(qiáng)效果圖Fig.4 Image enhancement in different algorithms

清晰度是衡量圖像清晰程度的標(biāo)準(zhǔn),清晰度越高,圖像越清晰.其公式:

(16)

式(16)中,m和n為圖像尺寸,df為灰度值的差值.

通過(guò)客觀標(biāo)準(zhǔn)對(duì)比可以看出,文獻(xiàn)[7]、文獻(xiàn)[13]的方法和本文提出的改進(jìn)色彩灰度的多尺度Retinex算法對(duì)水下圖像增強(qiáng)都有效果.但相比于文獻(xiàn)[7]和文獻(xiàn)[13]中的方法,本文方法可以大幅提升水下圖像的對(duì)比度和清晰度,圖像增強(qiáng)效果更好,細(xì)節(jié)更加豐富,色彩更加鮮艷.

5 結(jié)束語(yǔ)

水下圖像由于水對(duì)光的吸收和水中雜質(zhì)的散射效應(yīng),圖像的色彩清晰度和對(duì)比度會(huì)大幅下降.本文提出的改進(jìn)多尺度Retinex色彩灰度的算法提取原圖像色彩灰度比例,在經(jīng)過(guò)MSR算法對(duì)色彩進(jìn)行增強(qiáng)后進(jìn)行截取拉伸,保證了輸出圖像的能有效的顯示.最后根據(jù)原圖像的色彩灰度比例對(duì)增強(qiáng)后的圖像色彩比例進(jìn)行還原.實(shí)驗(yàn)結(jié)果(見(jiàn)表1)表明此方法可以有效地去除光的后向散射所引起的模糊,同時(shí)能有效地恢復(fù)水下圖像色彩灰度比例,使水下圖像的色彩信息更加豐富,顏色更逼真更符合人眼的視覺(jué)效果.本文的算法通過(guò)客觀評(píng)價(jià)標(biāo)準(zhǔn)信息熵、對(duì)比度清晰度這三個(gè)方面進(jìn)行評(píng)價(jià),本文所提出的算法在水下彩色圖像的整體增強(qiáng)和保持色彩比例有良好的效果,使圖像中細(xì)節(jié)更加豐富.而且對(duì)于顏色嚴(yán)重失真的水下圖像也有良好的增強(qiáng)效果,可以廣泛地應(yīng)用于對(duì)水下彩色圖像的增強(qiáng).

表1 增強(qiáng)圖像的各項(xiàng)客觀評(píng)價(jià)標(biāo)準(zhǔn)
Table 1 Comparison of criteria among enhancement images

圖像編號(hào)信息熵對(duì)比度清晰度Fig．2(a)7．006225．86083．7996Fig．2(b)6．999525．31444．8419Fig．2(c)7．181729．98116．2444Fig．2(d)7．268131．46398．2698Fig．3(a)6．793723．06118．3765Fig．3(b)7．244531．47711．6348Fig．3(c)7．439355．79918．3432Fig．3(d)7．624667．751722．5357Fig．4(a)6．5321．11444．9864Fig．4(b)7．407438．43728．8398Fig．4(c)7．401838．467215．4707Fig．4(d)7．447440．9918．6345

[1] Sun Chuan-dong,Chen Liang-yi,Gao Li-min,et al.Water optical properties and their effect on underwater imaging [J].Journal of Applied Optics,2000,21(4):39-46.

[2] Ma Yuan.Underwater image enhancement method based on light scattering model [J].Modern Electronics Technique,2011,34(16):166-168.

[3] Cao Mei,Sheng Hui-xing,et al.Underwater color image enhancement algorithm based on prior dark-channel model [J].Chinese Journal of Quantum Electronics,2016,33(2):140-147.

[4] Kashif I,Rosalina A S,Azam O,et al.Underwater image enhancement using an integrated color model [J].Iaeng International Journal of Computer Science,2007,32(2):239- 244.

[5] Ghani A S A,Isa N A M.Underwater image quality enhancement through composition of dual-intensity images and Rayleigh-stretching[J].SpringerPlus,2014,3(1):1-14.

[6] Hou W,Gray D J,et al.Comparison and validation of point spread models for imaging in natural waters [J].Optics Express,2008,16(13):9958-9965.

[7] Zhang Kai,Jin Wei-qi.Multi-scale retinex enhancement algorithm on luminance channel of color underwater image [J].Infrared Technology,2011,33(11):630-634.

[8] Land E H.Recent advances in retinex theory and some implications for cortical computations:color vision and the natural image [J].Proceedings of the National Academy of Sciences of the United States of America,1983,80(16):5163-5169.

[9] Qin Xu-jia,Cheng Yan-fei,Fan Ying-lin,et al.Image enhancement algorithm based on retinex of trilateral filter in HSV color space [J].Journal of Chinese Computer Systems,2016,37(1):168-172.

[10] Zhao Xiao-xia,Wang Ru-lin.Improved multi-scale retinex algorithm and its application [J].Computer Engineering,2011,3(6):209-211.

[11] Gianini G,Rizzi A,Damiani E.A retinex model based on absorbing Markov chains [J].Information Sciences,2016,327:149-174.

[12] Wen-Hung Chao,Chien-Wen Cho,et al.Correction of inhomogeneous MR images using multiscale retinex [J].International Journal of Image Processing,2007,5(1):1-16.

[13] Zahid Mahmood,Tauseef Ali,et al.A color image enhancement technique using multiscale retinex [C].Proceedings of the 2013 11th International Conference on Frontiers of Information Technology,2013:119-124.

附中文參考文獻(xiàn)：

[1] 孫傳東,陳良益,高立民，等.水的光學(xué)特性及其對(duì)水下成像的影響[J].應(yīng)用光學(xué),2000,21(4):39-46.

[2] 馬 原.一種基于光線散射模型的水下圖像增強(qiáng)方法[J].現(xiàn)代電子技術(shù),2011,34(16):166-168.

[3] 曹 美,盛惠興,等.基于暗原色先驗(yàn)?zāi)Ｐ偷乃虏噬珗D像増強(qiáng)算法[J].量子電子學(xué)報(bào),2016,33(2):140-147.

[7] 張 凱,金偉其.水下彩色圖像的亮度通道多尺度Retinex 增強(qiáng)算法[J].紅外技術(shù),2011,33(11):630-634.

[9] 秦緒佳,程燕飛,范穎琳，等.基于三邊濾波的HSV色彩空間Retinex圖像增強(qiáng)算法[J].小型微型計(jì)算機(jī)系統(tǒng),2016,37(1):168-172.

[10] 趙曉霞,王汝琳.改進(jìn)的多尺度Retinex 算法及其應(yīng)用 [J].計(jì)算機(jī)工程,2011,3(6):209-211.