低照度圖像增強(qiáng)算法研究綜述

耿小芬

(山西傳媒學(xué)院，山西 晉中030619)

1 低照度圖像特征

低照度指的是被攝景物的光亮度低到一定程度而使得攝像機(jī)輸出的視頻信號(hào)電平低至某一規(guī)定值時(shí)的景物光亮度。低照度圖像的灰度值總體偏小，圖像整體偏暗。各相鄰像素間的相關(guān)性大，像素值分布集中，輪廓等邊緣像素的灰度值與非邊緣的鄰域像素的灰度值差距小，細(xì)節(jié)信息弱化，對(duì)于彩色圖像各個(gè)通道顏色均偏暗。同時(shí)，在低照度環(huán)境下獲取的圖像因光照不均勻，容易產(chǎn)生噪聲和局部欠曝光的現(xiàn)象,在圖像增強(qiáng)中會(huì)產(chǎn)生光暈、過(guò)度曝光、欠曝光等問(wèn)題。

2 圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)

2.1 主觀評(píng)價(jià)

主觀評(píng)價(jià)方法是直接利用人們自身的觀察來(lái)對(duì)圖像做出判斷，最具代表性的方法是主觀質(zhì)量評(píng)分法。測(cè)試者根據(jù)規(guī)定的評(píng)價(jià)尺度，對(duì)測(cè)試圖像按視覺(jué)效果給出圖像等級(jí)，最后將所有測(cè)試者給出的等級(jí)進(jìn)行歸一化平均，得到評(píng)價(jià)結(jié)果。該方法是最準(zhǔn)確的表述人們視覺(jué)感受的方法，但費(fèi)時(shí)費(fèi)力也缺乏穩(wěn)定性，經(jīng)常受實(shí)驗(yàn)條件、測(cè)試者情緒、測(cè)試者疲勞程度等因素的影響。

2.2 客觀評(píng)價(jià)

客觀評(píng)價(jià)方法是用處理圖像與原始圖像的誤差來(lái)衡量處理圖像的質(zhì)量，是脫離人的主觀意識(shí)判斷，主要通過(guò)函數(shù)或者機(jī)器學(xué)習(xí)的方法建立一個(gè)模型，對(duì)待評(píng)測(cè)的圖像進(jìn)行相關(guān)的運(yùn)算，從而得到圖像的評(píng)價(jià)值。傳統(tǒng)的質(zhì)量評(píng)價(jià)基于一個(gè)思想，就是與標(biāo)準(zhǔn)圖像的灰度差異越大說(shuō)明被測(cè)試的圖像質(zhì)量退化越嚴(yán)重。具有代表性的方法評(píng)價(jià)指標(biāo)有均方誤差(MSE)、峰值信噪比(PSNR)、結(jié)構(gòu)相似性(SSIM)、自然圖像質(zhì)量評(píng)估(NIQE)。傳統(tǒng)的質(zhì)量評(píng)價(jià)計(jì)算簡(jiǎn)單，運(yùn)算速度快，但是不能很好的反映人的視覺(jué)特性。

圖像質(zhì)量客觀評(píng)價(jià)可分為全參考(FR)、部分參考(RR)、無(wú)參考(NR)。全參考是在選擇理想圖像作為參考圖像的情況下，比較待評(píng)測(cè)圖像與參考圖像之間的差異，分析其失真度，得到待評(píng)測(cè)圖像的質(zhì)量評(píng)估。部分參考和無(wú)參考方法分別是基于理想圖像的部分特征信息作為參考和無(wú)理想圖像作為參考進(jìn)行圖像質(zhì)量評(píng)測(cè)?，F(xiàn)今的圖像質(zhì)量評(píng)價(jià)的重點(diǎn)研究主要是針對(duì)無(wú)參考圖像的研究，主要有面向特定失真圖像質(zhì)量評(píng)價(jià)方法、非特定失真圖像質(zhì)量評(píng)價(jià)和基于機(jī)器學(xué)習(xí)的圖像質(zhì)量評(píng)價(jià)方法。其中基于機(jī)器學(xué)習(xí)的方法是目前研究最多的算法，它是利用卷積神經(jīng)網(wǎng)絡(luò)模型和廣義回歸神經(jīng)網(wǎng)絡(luò)模型對(duì)圖像質(zhì)量進(jìn)行評(píng)價(jià)。

3 低照度圖像增強(qiáng)的方法綜述

圖像增強(qiáng)是指對(duì)于圖像信息進(jìn)行有效的處理最終達(dá)到提高視覺(jué)效果的目標(biāo)。低照度圖像的增強(qiáng)可以增強(qiáng)圖像細(xì)節(jié)信息表現(xiàn)力，提高圖像的對(duì)比度、還原圖像色彩，保障圖像的有效信息。目前低照度圖像增強(qiáng)技術(shù)已經(jīng)成為圖像處理領(lǐng)域的重點(diǎn)研究?jī)?nèi)容，學(xué)者們也紛紛提出了多種低照度圖像增強(qiáng)的算法，早期對(duì)于低照度圖像增強(qiáng)常用直方圖均衡化、伽馬變換、Retinex理論等,但是這些方法存在增強(qiáng)后圖像色彩不均勻、顏色失真等問(wèn)題。

3.1 傳統(tǒng)低照度圖像增強(qiáng)方法

目前應(yīng)用較廣泛的傳統(tǒng)低照度圖像增強(qiáng)算法有：1) 基于色調(diào)映射算法，主要是通過(guò)擴(kuò)展低照度圖像的動(dòng)態(tài)范圍，提高圖像的亮度；2) 基于背景融合算法，它是將白天的亮度信息融合到夜間的圖像中，利用白天背景的亮度來(lái)增強(qiáng)夜間圖像的像素；3) 基于直方圖均衡化算法，一種利用灰度變換自動(dòng)調(diào)節(jié)圖像對(duì)比度質(zhì)量的方法，基本思想是通過(guò)灰度級(jí)的概率密度函數(shù)求出灰度變換函數(shù)，是一種以累計(jì)分布函數(shù)變換法為基礎(chǔ)的直方圖修正法；4) 基于模型算法，常見(jiàn)包括基于Retinex模型和基于大氣散射模型，Retinex模型是一種模仿人類(lèi)視覺(jué)系統(tǒng)感知圖像的亮度和真實(shí)色彩的模型，大氣散射模型是利用除霧算法對(duì)反演后的低照度圖像進(jìn)行處理和增強(qiáng)[1]。

除了以上傳統(tǒng)方法外，學(xué)者們通過(guò)研究，提出了各種改進(jìn)的圖像增強(qiáng)的方法，Zhang Qing，Nie Yongwei[2]等提出了一種新的有效的視覺(jué)驅(qū)動(dòng)漸進(jìn)融合算法實(shí)現(xiàn)對(duì)低曝光視頻的圖像增強(qiáng)，利用一系列試探性的色調(diào)映射曲線對(duì)每個(gè)視頻幀進(jìn)行色調(diào)映射，得到原始視頻的多重曝光序列，在不同曝光等級(jí)的視頻幀中通過(guò)對(duì)比度、飽和度和曝光度選擇良好的區(qū)域集成為一個(gè)良好的曝光視頻幀，最后將視頻前后幀曝光良好的視頻幀通過(guò)高斯和拉普拉斯金字塔分解進(jìn)行多尺度融合。朱婧雅，王中元[3]利用相似原理提出了一種基于相似場(chǎng)景的低照度監(jiān)控圖像增強(qiáng)算法，首先獲取良好光照下，與低照度監(jiān)控圖像場(chǎng)景相似的圖像，并建立圖像庫(kù)，從中選擇最合適的圖像作為參考圖像;然后通過(guò)直方圖匹配的方法，以參考圖像為標(biāo)準(zhǔn)，對(duì)低照度圖像進(jìn)行增強(qiáng)，并用迭代增強(qiáng)的方法不斷提高圖像的清晰度;最終得到增強(qiáng)后的低照度監(jiān)控圖像。BHANDARI A等[4-5]將圖像直方圖分成兩個(gè)子直方圖，分別使用布谷鳥(niǎo)搜索算法和高原極限法優(yōu)化處理每個(gè)直方圖，在改善圖像對(duì)比度的同時(shí)，有效還原圖像亮度，解決了低照度環(huán)境圖像照明不統(tǒng)一的問(wèn)題，提高了圖像質(zhì)量。王改云、郭志超等[6]還提出了融合遺傳算法的多閾值分塊低照度圖像增強(qiáng)算法，通過(guò)遺傳算法尋找輸入圖像亮度通道的最優(yōu)分割閾值，根據(jù)閾值將亮度通道劃分為多個(gè)不同曝光級(jí)的子圖，通過(guò)多閾值分塊增強(qiáng)對(duì)所有子圖進(jìn)行評(píng)估，根據(jù)評(píng)估結(jié)果調(diào)整每個(gè)子圖的亮度，最后使用多尺度融合方法將輸入圖像細(xì)節(jié)信息融合到亮度增強(qiáng)圖像。李小霞，李鋮果[7]等提出了一種新的低照度圖像增強(qiáng)的算法，首先將圖像轉(zhuǎn)換到HSV顏色空間，保持色相不變，然后采用分段對(duì)數(shù)變換增強(qiáng)飽和度，對(duì)色調(diào)分量進(jìn)行多尺度Retinex變換，對(duì)變換后的圖像采用銳化處理和高斯平滑，利用色調(diào)分量疊加的方法增強(qiáng)色調(diào)邊緣。

3.2 基于深度學(xué)習(xí)的低照度圖像增強(qiáng)方法

較早的基于機(jī)器學(xué)習(xí)的圖像增強(qiáng)方法使用稀疏表示來(lái)學(xué)習(xí)模型，目前深度學(xué)習(xí)方法已經(jīng)成為機(jī)器學(xué)習(xí)領(lǐng)域最熱門(mén)的方法，在圖像處理領(lǐng)域和計(jì)算機(jī)視覺(jué)領(lǐng)域都取得了可觀的研究成果。目前處理低照度圖像常用的深度學(xué)習(xí)模型主要有兩類(lèi)：深度生成模型和深度辨別模型。深度生成模型是從大量的數(shù)據(jù)中找規(guī)律，屬于統(tǒng)計(jì)學(xué)習(xí)，常見(jiàn)范例有樸素貝葉斯、隱馬爾可夫；深度辨別模型關(guān)心不同類(lèi)型數(shù)據(jù)的差別，利用差別來(lái)分類(lèi)，常見(jiàn)范例有K近鄰法、感知機(jī)、決策樹(shù)、邏輯回歸、線性回歸、最大熵模型、支持向量機(jī)、提升方法和條件隨機(jī)場(chǎng)。經(jīng)過(guò)大量的實(shí)驗(yàn)證明基于深度學(xué)習(xí)的方法在低照度圖像增強(qiáng)具有很好的效果。LORE[8]等人使用深度自編碼器增強(qiáng)低亮度圖像，將亮度提升和噪聲抑制同時(shí)放在一個(gè)模型中學(xué)習(xí)，通過(guò)一定量數(shù)據(jù)的學(xué)習(xí)得到了不錯(cuò)的增強(qiáng)效果。WEI[9]等人使用深度神經(jīng)網(wǎng)絡(luò)模擬Retinex模型，使低照度圖像和正常圖像共享網(wǎng)絡(luò)參數(shù)，分解得到相同的反射圖，以確保二者照明圖不同，然后基于分解結(jié)果訓(xùn)練網(wǎng)絡(luò)增強(qiáng)照明圖，增強(qiáng)亮度明顯提升。

4 典型的低照度圖像增強(qiáng)的算法分析及實(shí)驗(yàn)驗(yàn)證

4.1 去噪類(lèi)算法分析

典型的低照度圖像在處理過(guò)程中會(huì)產(chǎn)生光量子噪聲、高斯噪聲、瑞利噪聲、脈沖噪聲。經(jīng)典的常見(jiàn)的去除噪聲的算法有均值濾波、中值濾波、高斯濾波、形態(tài)學(xué)濾波等。下面對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析：

算法名稱(chēng)優(yōu)點(diǎn)缺點(diǎn)均值濾波有效去除顆粒噪聲圖像變模糊中值濾波有效去除圖像的椒鹽噪聲圖像細(xì)節(jié)變模糊高斯濾波有效去除正態(tài)分布噪聲易損傷細(xì)節(jié)形態(tài)學(xué)濾波適用于細(xì)節(jié)不明顯的圖像適用范圍較窄同態(tài)濾波有效恢復(fù)細(xì)節(jié)和平衡光照效率低雙邊濾波保邊去噪效果好無(wú)法濾除高頻噪聲維納濾波有效抑制白噪聲計(jì)算量較大

4.2 亮度增強(qiáng)算法分析

經(jīng)典的亮度增強(qiáng)算法有直方圖均衡、伽馬校正、色調(diào)映射、暗通道算法、神經(jīng)網(wǎng)絡(luò)、Retinex理論，這些算法針對(duì)低照度圖像進(jìn)行亮度增強(qiáng)各有優(yōu)缺點(diǎn)[10]，其中直方圖均衡和伽馬校正運(yùn)算速度快，色調(diào)映射、暗通道算法、神經(jīng)網(wǎng)絡(luò)對(duì)圖像的細(xì)節(jié)保持較好，Retinex理論能有效的處理顏色的失真。但是直方圖會(huì)使圖像曝光過(guò)度、暗通道算法和神經(jīng)網(wǎng)絡(luò)算法計(jì)算量過(guò)大、Retinex理論容易出現(xiàn)光暈現(xiàn)象。因此，在低照度圖像處理中應(yīng)該根據(jù)實(shí)際需要選擇相應(yīng)的算法實(shí)現(xiàn)增強(qiáng)。

4.3 實(shí)驗(yàn)驗(yàn)證

MATLAB作為國(guó)內(nèi)外流行的一個(gè)科學(xué)與工程計(jì)算軟件，具有強(qiáng)大的圖像處理功能，它簡(jiǎn)單、實(shí)用，是圖像處理過(guò)程常用的理想開(kāi)發(fā)工具。本論文基于MATLAB平臺(tái)，分別運(yùn)用直方圖均衡化、均值濾波、中值濾波、同態(tài)濾波、Retinex理論對(duì)低照度圖像進(jìn)行增強(qiáng)，根據(jù)不同的需求達(dá)到改善圖像特征的目的[11]，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析比較，驗(yàn)證不同算法的增強(qiáng)效果，達(dá)到圖像質(zhì)量增強(qiáng)。

4.3.1 直方圖均衡化實(shí)驗(yàn)

以上是直方圖均衡化處理結(jié)果，圖1為原始圖像，圖2為直方圖均衡化后的彩色圖像，利用彩色圖像R、G、B三個(gè)通道分別進(jìn)行直方圖均衡化，之后再合成彩色圖像，經(jīng)過(guò)處理后的圖像變得更加清晰，能夠看到更多細(xì)節(jié)。用到的主要函數(shù)有histeq。

圖1 原始圖像 圖2 直方圖均衡化后的效果

4.3.2 中值濾波和均值濾波實(shí)驗(yàn)

中值濾波和均值濾波實(shí)驗(yàn)工程可對(duì)彩色圖像的R、G、B三個(gè)通道分別進(jìn)行濾波后合成彩色圖像，中值濾波和均值濾波的特點(diǎn)是去除圖像中的椒鹽噪聲和顆粒噪聲，對(duì)圖像的亮度變化貢獻(xiàn)不大。實(shí)驗(yàn)中用到的函數(shù)包括medfilt2、fspecial、imfilter，均值濾波主要代碼如下：

PSF=fspecial('average',3);

J1=imfilter(I(:,:,1),PSF);

J2=imfilter(I(:,:,2),PSF);

J3=imfilter(I(:,:,3),PSF);

J=cat(3,J1,J2,J3)。

4.3.3 同態(tài)濾波

以上是同態(tài)濾波的實(shí)驗(yàn)結(jié)果，圖3為原始圖像，圖4為濾波后的彩色圖像，同態(tài)濾波的特點(diǎn)是有效恢復(fù)細(xì)節(jié)和平衡光照，圖像增強(qiáng)效果較好。主要代碼如下：

J1=log(im2double(I(:,:,1))+1);

K=fft2(J1);n=5;

D0=0.3;rh=4;r1=0.4;

[row,column]=size(J);

for i=1:row

for j=1:column

D1(i,j)=sqrt(i^2+j^2);

H(i,j)=r1+(rh/(1+(D0/D1(i,j))^(2*n)));

end

end

L=K.*H;M=ifft2(L);N1=exp(M)-1。

圖3 原始圖像 圖4 同態(tài)濾波后的圖像

4.3.4 Retinex理論

Retinex理論是視網(wǎng)膜大腦皮層理論，物體所顯示的顏色由它對(duì)短、中、長(zhǎng)波三個(gè)波段光線的反射情況決定，光照是否均勻?qū)⒉挥绊懳矬w色彩的顯示，也就是物體的色彩具有一致性特征。通過(guò)實(shí)驗(yàn)可知，利用Retinex理論能有效的處理顏色的失真達(dá)到圖像增強(qiáng)的目的。圖5為原始圖像，圖6為利用Retinex理論增強(qiáng)的圖像。部分代碼如下：

[x,y,z]=size(I);

J=zeros(x,y,z);

for i=1:z

Image1=log(double(I(:,:,i))+eps);

J(:,:,i)=retinex_1(image1,4);

J(:,:,i)=exp(J(:,:,i));

a=min(min(J(:,:,i)));

b=max(max(J(:,:,i)));

J (:,:,i)=((J(:,:,i)-a)/(b-a))*255;

end

圖5 原始圖像 圖6 利用Retinex理論增強(qiáng)的圖像

5 結(jié)語(yǔ)

本文通過(guò)實(shí)驗(yàn)，驗(yàn)證了低照度圖像在采用不同算法的增強(qiáng)性能，對(duì)比了各種算法增強(qiáng)的效果，說(shuō)明了不同環(huán)境下結(jié)合實(shí)際需要可采取不同的算法?；跈C(jī)器學(xué)習(xí)的方法能夠更好的還原真實(shí)場(chǎng)景的光照環(huán)境，能夠通過(guò)增強(qiáng)圖像的細(xì)節(jié)信息提升圖像質(zhì)量，具有實(shí)現(xiàn)低照度圖像標(biāo)準(zhǔn)化的潛力，也是今后研究圖像增強(qiáng)的發(fā)展趨勢(shì)。