低照度彩色圖像的自適應(yīng)亮度增強(qiáng)

陳 剛，劉 言，楊賀超，孫 斌，喻春雨*

（1.南京郵電大學(xué) 電子與光學(xué)工程學(xué)院、微電子學(xué)院，江蘇 南京 210023；2.南京郵電大學(xué) 自動(dòng)化院，江蘇 南京 210023）

1 引 言

由于低照度場景中所拍攝的圖像具有亮度低、噪聲強(qiáng)、色彩差、細(xì)節(jié)信息缺失的特點(diǎn)，所以還原與增強(qiáng)低照度場景圖像的研究吸引了越來越多的關(guān)注。目前，該方面的研究工作很多依賴于專用設(shè)備，如通過微光像增強(qiáng)器［1］、紅外熱成像儀等對低照度場景進(jìn)行成像并輔以圖像處理工作。但這些專用設(shè)備不僅價(jià)格高，而且其工作范圍主要在可見光和近紅外波段，對更低光照度場景拍攝圖像效果并不理。因此，在提高專用成像設(shè)備性能并降低其成本的同時(shí)，研究不依賴于專用設(shè)備的低照度場景圖像增強(qiáng)算法是非常有研究意義的。

常用的圖像增強(qiáng)算法主要涉及直方圖均衡、Retinex算法、去霧算法和伽馬校正。一些經(jīng)典的圖像增強(qiáng)算法均具有其自身優(yōu)勢及局限所在，如：Zuiderveld［2］提出的限制對比度自適應(yīng)直方圖均 衡（Contrast Limited Adaptive Histogram Equalization，CLAHE）能夠很好解決圖像對比度低的問題，但存在圖像對比度過度增強(qiáng)、顏色失真的問題；Jobson等人［3］提出了一種帶有色彩恢復(fù)的多尺度Retinex算法（Multi-Scale Retinex with Color Restoration，MSRCR），抑制了圖像明暗對比強(qiáng)烈的邊緣交界處易產(chǎn)生“光暈偽影”的情形，但在低對比度區(qū)域會(huì)丟失細(xì)節(jié)信息；Dong等提出了一種基于去霧模型的低照度圖像增強(qiáng)方法［4］，主要利用暗通道反轉(zhuǎn)類似于有霧圖像的特性，反轉(zhuǎn)暗通道圖像去霧后再轉(zhuǎn)回實(shí)現(xiàn)圖像增強(qiáng)，但圖像輪廓尤其高亮度區(qū)域的輪廓出現(xiàn)嚴(yán)重偽影；Guo等提出了一種基于光照圖估計(jì)的低照度圖像增強(qiáng)算法LIME（Low-Light Image En‐hancement via Illumination Map Estimat-ion）［5］，先提取原低照度圖像RGB三個(gè)通道的最大值得到初始光照圖，再通過先驗(yàn)結(jié)構(gòu)和伽馬校正修正初始光照圖，方法的缺點(diǎn)是處理后圖像存在顏色過飽和；還有利用自適應(yīng)伽馬校正改善光照不均勻?qū)D像的影響，其中增強(qiáng)效果較好的是劉志成等人提出的一種基于二維伽馬函數(shù)的光照不均勻圖像自適應(yīng)校正算法［6］，利用多尺度高斯函數(shù)提取場景的光照分量來構(gòu)造二維伽馬函數(shù)，并利用光照分量的分布特性調(diào)整二維伽馬函數(shù)的參數(shù)，有效降低了光照過強(qiáng)區(qū)域的圖像亮度，提高光照過暗區(qū)域的圖像亮度，但在亮度歸一化后值為1的區(qū)域無法得到校正，且對場景亮度極低的圖像增強(qiáng)效果不理想；近年來，Zohair提出了一種結(jié)合簡單對數(shù)、指數(shù)運(yùn)算、雙曲正割累積分布函數(shù)和歸一化的圖像增強(qiáng)算法［7］，能夠有效防止圖像對比度過度增強(qiáng)，具有良好的視覺效果，但該算法不能自適應(yīng)增強(qiáng)，對不同亮度動(dòng)態(tài)范圍的需要人工干預(yù)。

以上所述為典型的圖像亮度增強(qiáng)方法，均是針對拍攝的單張圖像進(jìn)行處理，因此增強(qiáng)前進(jìn)行的圖像降噪也受單幀圖像處理方法的局限，而低照度圖像往往含有較強(qiáng)程度的噪聲，進(jìn)行高效降噪有助于提升圖像亮度增強(qiáng)效果?；谝陨戏治觯疚奶岢鲆环N基于自適應(yīng)亮度調(diào)節(jié)的低照度彩色圖像增強(qiáng)方法，為克服對單幀圖像進(jìn)行增強(qiáng)在算法和效果上的局限，該方法采用的盲源分離方 法（Blind Source Separation，BSS）和 幀 平 均（Frame Averaging，F(xiàn)A）兩種基于多幀的處理方法對低照度彩色圖像在增強(qiáng)過程中進(jìn)行降噪，所選用的BSS方法是對時(shí)序信號處理敏感、運(yùn)算快的權(quán)值調(diào)整二階盲辨識（Weight-Adjusted Sec‐ond-order Blind Identification，WASOBI）［8］，并對降噪后圖像進(jìn)行自適應(yīng)參數(shù)的亮度伽馬校正及基于皮爾生長曲線［9］的亮度矯正以避免圖像局部亮度過增強(qiáng)，實(shí)驗(yàn)分析表明：該方法可以有效避免對比度過大和局部區(qū)域亮度飽和問題，使整幅圖像亮度均勻、能夠有效恢復(fù)原場景圖像中豐富的色彩信息和細(xì)節(jié)信息。

2 方法原理與實(shí)驗(yàn)步驟

2.1 自適應(yīng)伽馬校正

本文提出的圖像增強(qiáng)算法是基于多幀圖像進(jìn)行處理的，為避免單一的伽馬校正對不同幀圖像會(huì)引入光波動(dòng)影響，因此采用自適應(yīng)伽馬校正方法進(jìn)行亮度校正，其數(shù)學(xué)表達(dá)如下：

其中：

式（1）中，Iin為輸入圖像亮度；Iout表示輸出圖像亮度；c為比例系數(shù)，通常取1，F(xiàn)表示Iin的歸一化亮度；Fmedian為取Iin中值；γ為伽馬校正指數(shù)，其值由目標(biāo)亮度均值m確定；m取值如下：

圖1為當(dāng)輸入圖像幀數(shù)為1~200時(shí)，分別經(jīng)過固定參數(shù)伽馬校正和自適應(yīng)參數(shù)伽馬校正的圖像亮度均值對比，由對比可見：經(jīng)自適應(yīng)參數(shù)伽馬校正后，圖像亮度波動(dòng)較小，有效降低由光照條件、曝光時(shí)間等不穩(wěn)定的成像因素造成的圖像亮度波動(dòng)。

圖1 不同伽馬校正后的圖像亮度穩(wěn)定性比較Fig.1 Image brightness with gamma corrections

2.2 色彩空間變換

由于基于RGB色彩空間的圖像處理需要分別在R，G，B三個(gè)通道進(jìn)行，占用較大計(jì)算資源，這里將由1.1獲得的初步亮度調(diào)節(jié)圖像在YUV色彩空間進(jìn)行圖像降噪［10］，RGB色彩空間到Y(jié)UV色彩空間的轉(zhuǎn)換公式為：

式（3）中，Y為亮度；U，V為色度。

2.3 基于YUV色彩空間的圖像降噪

將由2.2獲得的YUV色彩空間圖像并行進(jìn)行兩種處理：一種是幀平均降噪；另一種是提取代表亮度信息的Y通道分量后，對其分組進(jìn)行基于盲源分離BSS的分離降噪。而UV是表示圖像色彩的恒常量，且值的動(dòng)態(tài)范圍較小，不適合進(jìn)行基于盲源分離BSS的分離降噪。

2.3.1 盲源分離降噪

對多個(gè)Y通道分量進(jìn)行盲源分離降噪如下：

式（4）中，Yx(t)是作為混合觀測信號的多個(gè)Y通道分量；Ys(t)是源信號的多個(gè)Y通道分量；A是未知混合系數(shù)矩陣［11］，定義觀測信號的時(shí)延協(xié)方差矩陣：

其中：

式（5）中，RYs(τ)為Y通道分量的時(shí)延協(xié)方差矩陣，RYx(τ)為時(shí)延為τ的Y通道混合觀測矩陣的時(shí)延協(xié)方差矩陣。根據(jù)Yeredor提出的將聯(lián)合對角化轉(zhuǎn)換為非線性權(quán)值最小化二乘的方法求解權(quán)值矩陣W（W=A-1）［12］。由此，初步估計(jì)降噪圖序列為：

其中：

式（6）中，Y(t)為初步估計(jì)的降噪圖序列；表示Y通道中心化后的混合觀測信號；表示Y通道混合觀測信號的均值。

2.3.2 圖像質(zhì)量評價(jià)排序

將由2.3獲得的YUV色彩空間圖像幀平均降噪后，提取Y通道分量作為參考分量，和由2.3.1得到的多個(gè)盲源分離降噪的Y通道分量同時(shí)進(jìn)行系數(shù)為0.1≤r≤1的尺寸縮放，并依次計(jì)算參考分量和每個(gè)Y通道分量的結(jié)構(gòu)相似性（Structural Similarity Index Metric，SSIM）［13］，選出結(jié)構(gòu)最匹配的Y通道分量。其中，系數(shù)r根據(jù)原圖像尺寸確定，文中圖像尺寸為480×640，縮放系數(shù)r取值0.1。

2.4 結(jié)合皮爾生長曲線的亮度調(diào)節(jié)

對由2.3.2選出的Y通道分量采用對比度受限的自適應(yīng)直方圖均衡（Contrast-Limited Adap‐tive Histogram Equalization，CLAHE）［14］進(jìn) 行 動(dòng)態(tài)范圍擴(kuò)展，并將其處理后和處理前進(jìn)行融合系數(shù)為0.5的加權(quán)融合［15］。為避免融合圖像在高亮度區(qū)域的過度增強(qiáng)，對該區(qū)域進(jìn)行基于皮爾生長曲線的亮度校正，其數(shù)學(xué)模型如下：

式（7）中，Iin（i，j）為輸入圖像即加權(quán)融合處理后的圖像亮度；Iout（i，j）為輸出圖像亮度；為皮爾生長曲線模型；α，β，K為大于0的參數(shù)，Δ=1-Iin（i，j）。

圖像經(jīng)過基于皮爾生長曲線的亮度校正后的歸一化亮度值如圖2所示。由圖可見，圖像的高亮度值在變換后被有效降低，防止圖像局部亮度過飽和。

圖2 基于皮爾生長曲線的亮度校正Fig.2 R.Pearl model based brightness correction

經(jīng)以上處理后，再將輸出圖像轉(zhuǎn)換回RGB色彩空間，即完成對低照度彩色圖像的增強(qiáng)和去噪。

2.5 算法流程

相應(yīng)于以上的算法原理和方法，本文提出的算法步驟如下：

Step 1：在固定視場內(nèi)連續(xù)獲取N幀低照度彩色圖像，采用幀平均法，獲得n張初次降噪圖；

Step 2：對N張降噪圖像依次采用自適應(yīng)伽馬校正；

Step 3：將由Step 2獲得的圖像序列依次從RGB色彩空間轉(zhuǎn)到Y(jié)UV色彩空間；

Step 4：對由Step 3獲得的YUV色彩空間圖像并行進(jìn)行兩種處理：一個(gè)是對彩色圖像進(jìn)行幀平均處理；另一個(gè)是對Y通道分量分n組進(jìn)行基于權(quán)值調(diào)整二階盲辨識的分離降噪；

Step 5：以由Step4獲得的幀平均處理圖像的Y通道分量作為參考，采用縮小圖結(jié)構(gòu)匹配法對Step 4獲得的盲源分離降噪后n個(gè)Y通道分量質(zhì)量排序，并提取出最優(yōu)質(zhì)的Y通道分量；

Step 6：對由Step 5獲得的最優(yōu)質(zhì)Y通道分量進(jìn)行結(jié)合皮爾生長曲線的亮度調(diào)節(jié)；

Step 7：將由Step 6獲得的處理結(jié)果與由Step 4獲得的幀平均處理的U，V通道分量重組，并轉(zhuǎn)回RGB色彩空間；

Step 8：對Step 7獲得的RGB圖像進(jìn)行最大值受限的歸一化處理，即完成低照度彩色圖像增強(qiáng)。

相應(yīng)于以上的算法步驟，本文提出算法的流程圖如下：

圖3 本文提出的圖像亮度增強(qiáng)算法流程圖Fig.3 Flow chart of the proposed algorithm

3 實(shí)驗(yàn)與性能分析

3.1 算法性能分析

選擇如圖6（a）~6（f）六種不同的低照度彩色場景進(jìn)行算法性能分析，不同場景增強(qiáng)前具有不同程度的低亮度，如圖6第1行所示。兼顧運(yùn)算時(shí)間和增強(qiáng)效果的因素，對每種場景連續(xù)拍攝200幀并進(jìn)行均勻分組，分組數(shù)n取值為1~100。

所拍攝圖像的尺寸為480×640，運(yùn)算環(huán)境為Intel（R）Core（TM）i7-4720HQ@2.60 GHz 2.60 GHz四核處理器、8GB內(nèi)存的筆記本電腦。對本文提出的圖像增強(qiáng)算法采用均值和運(yùn)行時(shí)間進(jìn)行性能評價(jià)，前者反映圖像的亮度水平，后者反映算法的運(yùn)行速度。

由圖4的增強(qiáng)后圖像亮度均值隨分組數(shù)n的變化曲線可知：在分組數(shù)n取值為（1，100）時(shí)，圖像亮度均值呈上升趨勢；在分組數(shù)n取值為（20，100）時(shí)，圖像亮度均值上升緩慢。

圖4 增強(qiáng)后圖像亮度均值隨分組數(shù)的變化Fig.4 Mean value of the enhanced image

圖5為分組數(shù)n取不同值時(shí)，本文算法對不同低照度彩色場景進(jìn)行圖像增強(qiáng)的運(yùn)行時(shí)間隨分組數(shù)n的變化曲線；圖5（a）選圖像縮放系數(shù)為1；圖5（b）選圖像縮放系數(shù)為0.1。由圖5可知：運(yùn)行時(shí)間隨分組數(shù)n增加而增加，且采用縮小圖像進(jìn)行質(zhì)量評價(jià)排序可大大降低運(yùn)行時(shí)間。

圖5 分組數(shù)n和運(yùn)行時(shí)間t的關(guān)系Fig.5 Runtime of the proposed algorithm

3.2 實(shí)驗(yàn)結(jié)果對比

綜合以上圖像增強(qiáng)效果和運(yùn)行時(shí)間的分析，本文提出算法在連續(xù)拍攝200幀時(shí)選取分組數(shù)n為25。圖6給出不同低照度場景經(jīng)5種典型算法和本文算法增強(qiáng)處理后的圖像性能對比，5種典型增強(qiáng)算法分別為MSRCR算法［3］、Dong算法［4］、LIME［5］算法、Liu算法［6］和Zohair［7］算法。

圖6展示的是室內(nèi)、外6種不同弱光照場景下的低照度彩色圖像經(jīng)5種經(jīng)典算法和本文提出方法的增強(qiáng)效果對比。圖6中第1行是低照度場景原圖，從左向右場景亮度逐漸增強(qiáng)；圖6中第2行-第7行依次為經(jīng)典方法MSRCR［3］，Dong［4］，LIME［5］，Liu［6］，Zohair［7］和本文方法的增強(qiáng)處理效果。由對比可見，圖像亮度在經(jīng)不同方法增強(qiáng)后均得到提升，場景中景物的清晰度均得到改善。但對比5種典型圖像增強(qiáng)算法和本文方法，可以看出：Dong［4］，LIME［5］和本文方法對圖像亮度的提升較大，MSRCR［3］，Liu［6］和Zohair［7］對 圖像亮度的提升不足，且經(jīng)MSRCR［3］增強(qiáng)后圖像有光暈、細(xì)節(jié)扭曲現(xiàn)象；而對比Dong［4］，LIME［5］和本文方法，經(jīng)Dong［4］增強(qiáng)后在高亮度區(qū)的物體邊緣處有明顯的輪廓，且Dong［4］和LIME［5］增 強(qiáng)后圖像存在局部亮度過飽和、圖像亮度不柔和現(xiàn)象；經(jīng)LIME［5］增強(qiáng)后圖像，視覺效果較好，但顏色失真、偏綠；經(jīng)Zohair［7］增強(qiáng)的圖像細(xì)節(jié)保留較好，但顏色失真、有亮度過增強(qiáng)區(qū)域。

由圖6中圖像增強(qiáng)處理前、后所對應(yīng)的直方圖可見，當(dāng)圖像中存在如場景d，e和f中的高亮度區(qū)域時(shí)，該區(qū)域的灰度值經(jīng)5種典型算法增強(qiáng)后均存在“過增強(qiáng)”，其中LIME［5］和Zohair［7］算法對場景f的增強(qiáng)凸顯這一問題；而本文算法可以有效避免高亮度值的過度增強(qiáng)，使處理后的整幅圖像亮度分布均勻，符合人眼視覺特性。

相應(yīng)于圖6的視覺效果對比，表1給出本文方法和5種典型算法對低照度彩色圖像增強(qiáng)后的評價(jià)參數(shù)對比，其中：均值反映圖像亮度的增強(qiáng)能力；信息熵反映圖像包含的細(xì)節(jié)信息量；運(yùn)行時(shí)間反映算法的實(shí)效性。此外，還采用了基于自然場景統(tǒng)計(jì)的通用失真無參考圖像質(zhì)量評價(jià)BRISQUE［16］和衡量結(jié)構(gòu)相似程度的有參考圖像質(zhì)量評價(jià)SSIM［14］。BRISQUE是從圖像中提取MSCN（Mean Subtracted Contrast Normalized）系數(shù)，然后將MSCN系數(shù)擬合成非對稱性廣義高斯分布，并提取擬合的高斯分布特征，輸入到支持向量機(jī)SVM中進(jìn)行回歸，從而得到圖像質(zhì)量的評分，其值越低說明對圖像信息保留越好，具體算法描述見文獻(xiàn)［16］；SSIM是一種衡量兩張圖像相似度的指標(biāo)，它從圖像組成的角度反映場景中物體結(jié)構(gòu)的屬性，并將失真建模為亮度、對比度和結(jié)構(gòu)三個(gè)不同因素的組合，SSIM值越大說明 圖像失真越少，具體算法描述見文獻(xiàn)［13］。

圖6 不同場景的圖像增強(qiáng)效果對比Fig.6 Comparison of image enhancement under different scenes

表1 本文算法在分組數(shù)為25時(shí)與其他增強(qiáng)算法的評價(jià)參數(shù)值對比Tab.1 Comparison with other typical algorithms

由表1中成像性能評價(jià)參數(shù)對比得出：相比較5種典型算法，對低照度場景拍攝200張序列圖像，并結(jié)合亮度提升效果和運(yùn)行時(shí)間選擇分組數(shù)為25時(shí)，本文算法對低照度場景圖像在亮度增強(qiáng)上占絕對優(yōu)勢，可將極低亮度的原彩色圖像的亮度均值提高54.4倍、中等亮度的原彩色圖像的亮度均值提高3.5倍；并可以將圖像信息熵提高1.3-2.9倍，和典型算法中最優(yōu)的LIME［5］方法相近；由基于自然場景統(tǒng)計(jì)的通用失真評價(jià)參數(shù)BRISQUE比較可知，經(jīng)本文算法處理后，BRIS‐QUE降低20%~64%，使圖像視覺效果更自然；在運(yùn)行時(shí)間上滿足實(shí)時(shí)處理要求。

4 結(jié) 論

本文提出的低照度彩色圖像增強(qiáng)算法是一種基于多幀的處理方法，針對圖像降噪采用盲源分離結(jié)合幀平均進(jìn)行分組處理；針對圖像亮度增強(qiáng)采用自適應(yīng)參數(shù)的伽馬亮度校正和基于皮爾生長曲線高亮度調(diào)節(jié)。經(jīng)本文提出方法處理后。原場景中極低亮度可被提高54.42倍，是典型算法增強(qiáng)效果的2倍以上；原圖像細(xì)節(jié)信息可被恢復(fù)2.9倍，和增強(qiáng)效果最好LIME［5］方法相近；且BRISQUE降 低20%~64%，SSIM提 高2.37~51.8倍；算法運(yùn)行可滿足實(shí)時(shí)處理需要，因此本文提出了一種高效的、適用于日常低照度場景的圖像增強(qiáng)方法。