低照度全景圖像增強(qiáng)處理研究進(jìn)展

王殿偉，韓鵬飛，劉 穎，許志杰，覃泳睿，王 晶

(1.西安郵電大學(xué) 通信與信息工程學(xué)院，陜西 西安 710121；2.電子信息現(xiàn)場勘驗(yàn)應(yīng)用技術(shù)公安部重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710121；3.陜西省無線通信與信息處理技術(shù)國際合作研究中心，陜西 西安 710121；4.西安郵電大學(xué) 圖像與信息處理研究所，陜西 西安 710121；5.哈德斯菲爾德大 學(xué)計(jì)算機(jī)與工程學(xué)院，Huddersfield，UK HD1 3DH；6.謝菲爾德哈雷姆大學(xué) 計(jì)算機(jī)學(xué)院，Sheffield，UK S1 1WB)

全景圖像是展示周圍世界新視角的一種方式，與普通圖像和三維動(dòng)畫相比較，全景圖可以展示360度球型范圍內(nèi)的所有景物，可以由觀測者從任意一個(gè)角度互動(dòng)性觀察場景，最大限度的保留場景的真實(shí)性，更好的帶給人們一種全方位、三維立體的空間感覺，使觀者如同親臨現(xiàn)場一般[1-3]。近年來，隨著全景成像技術(shù)的飛速發(fā)展，全景圖像已廣泛地應(yīng)用在虛擬現(xiàn)實(shí)技術(shù)、攝影測量學(xué)、遙感技術(shù)、醫(yī)學(xué)影像等研究和技術(shù)領(lǐng)域。

但是，在日常全景圖像的拍攝過程中，由于不可避免地受到天氣、光照及空氣污染等環(huán)境因素的影響，可能導(dǎo)致所拍攝全景圖像的灰度值總體偏小，對(duì)比度低、顏色偏暗和信噪比偏低，使得圖像細(xì)節(jié)不清楚，全景圖像質(zhì)量不夠理想，不能滿足后續(xù)操作及應(yīng)用，如圖像分割，特征提取，目標(biāo)跟蹤和識(shí)別等相關(guān)領(lǐng)域的要求。低照度全景圖像增強(qiáng)處理[4]，就是旨在增強(qiáng)低照度情況下所拍攝的全景圖像的視覺質(zhì)量，使其滿足適合人眼觀察或機(jī)器識(shí)別的全景圖像的處理方法。因此，低照度全景圖像增強(qiáng)處理是全景圖像技術(shù)的研究熱點(diǎn)之一。

近年來，隨著計(jì)算機(jī)及信息技術(shù)的飛速發(fā)展，全景圖像越來越多地應(yīng)用各種信息技術(shù)領(lǐng)域，低照度全景圖像增強(qiáng)也取得了一些重要的研究進(jìn)展。本文將介紹低照度全景圖像增強(qiáng)處理典型算法，如低照度全景圖像增強(qiáng)算法算法如直方圖均衡類算法(histogram equalization, HE)[5-8]、基于Retinex理論的算法[9-16]、基于小波變換類算法[17-19]、基于物理模型類算法[20-21]及機(jī)器學(xué)習(xí)類[22-24]等5類算法的研究現(xiàn)狀，并通過仿真實(shí)驗(yàn)結(jié)果，總結(jié)各類典型算法的優(yōu)點(diǎn)、缺點(diǎn)以及實(shí)際應(yīng)用范圍。

1 低照度圖像增強(qiáng)的典型算法

全景圖像增強(qiáng)技術(shù)作為目標(biāo)跟蹤、目標(biāo)識(shí)別、目標(biāo)檢測等圖像處理的預(yù)處理算法，在虛擬現(xiàn)實(shí)、無人駕駛等領(lǐng)域有廣泛應(yīng)用，下面將從算法的增強(qiáng)原理方面概述全景圖像增強(qiáng)研究現(xiàn)狀。

1.1 基于直方圖類的低照度全景圖像增強(qiáng)算法

基于直方圖類的低照度全景圖像增強(qiáng)算法直方圖均衡化[5]算法的目的是增大圖像動(dòng)態(tài)范圍和提高圖像對(duì)比度，通過使圖像灰度級(jí)的概率密度函數(shù)(probability density function，PDF)滿足近似均勻分布來實(shí)現(xiàn)的。HE算法具有原理簡單，易于實(shí)現(xiàn)，實(shí)時(shí)性好等優(yōu)點(diǎn)，但是，對(duì)于直方圖分布呈現(xiàn)雙峰的情況下易造成圖像細(xì)節(jié)丟失，出現(xiàn)過增強(qiáng)或欠增強(qiáng)現(xiàn)象。

在HE算法的基礎(chǔ)上，又衍生出一些算法，例如，基于亮度均值保持的直方圖均衡算法(contrast enhancement using brightness preserving bi-histogram equalization, BBHE)[6]克服了標(biāo)準(zhǔn)直方圖均衡算法增強(qiáng)后的圖像亮度不均勻問題。自適應(yīng)直方圖均衡化算法[8]是應(yīng)用自適應(yīng)直方圖均衡方法增圖像細(xì)節(jié)，提高對(duì)比度，有效抑制原始圖像的噪聲，且算法復(fù)雜度較低。

直方圖類算法對(duì)于圖像整體亮度偏暗或者偏亮的圖像具有很好的增強(qiáng)效果，但是，在進(jìn)行特定圖像增強(qiáng)時(shí)，容易出現(xiàn)過增強(qiáng)、欠增強(qiáng)現(xiàn)象，不建議使用。

1.2 基于Retinex類的低照度全景圖像增強(qiáng)算法

Retinex類增強(qiáng)算法通過去除原始圖像中照度分量的影響，求解出反映物體本質(zhì)顏色的反射分量，達(dá)到了圖像增強(qiáng)的目的。Retinex理論[10]是基于人眼視覺感知的顏色恒常性增強(qiáng)算法，可以有效的處理顏色的失真問題，但是容易出現(xiàn)光暈現(xiàn)象。

繼Retinex理論之后，又發(fā)展地提出了單尺度Retinex(single-scale retinex，SSR)算法[11]、多尺度Retinex(multi-scale retinex，MSR)[12]和帶彩色恢復(fù)多尺度Retinex(multi-scale retinex with color restore，MSRCR)[13]及其改進(jìn)算法。例如，基于Retinex模型的基于優(yōu)化的低光圖像增強(qiáng)方法[15]是利用伽瑪校正進(jìn)行光照分量的校正，該算法可以在去除噪聲的時(shí)保留和增強(qiáng)邊緣以及紋理信息，達(dá)到較好的增強(qiáng)效果；文獻(xiàn)[6]給出一種用于弱照明圖像的融合增強(qiáng)方法，該算法基于Retinex理論，利用多尺度融合技術(shù)對(duì)光照分量進(jìn)行光照估計(jì)，通過將校正后的光照分量與反射分量重構(gòu)來獲得最終的增強(qiáng)圖像。該方法使增強(qiáng)后圖像的局部對(duì)比度得到提升，細(xì)節(jié)更加清晰，較好地符合人眼視覺特性。

Retinex類算法核心是對(duì)光照分量以及反射分量的估計(jì)，照度分量和反射分量的計(jì)算。若計(jì)算結(jié)果準(zhǔn)確，便可以較好地增強(qiáng)圖像的視覺質(zhì)量效果，解決圖像失真問題。但是，此類算法復(fù)雜度過大，且對(duì)低照度全景進(jìn)行增強(qiáng)過程中會(huì)出現(xiàn)光暈現(xiàn)象和噪聲放大現(xiàn)象。

1.3 基于小波變換的低照度全景圖像增強(qiáng)算法

基于小波變換的低照度全景圖像增強(qiáng)算法是利用小波變換將原始圖像分解為不同頻率的圖像后，采用不同方法針對(duì)圖像中的不同頻率的圖像進(jìn)行增強(qiáng)。該類算法可較好地增強(qiáng)圖像中的各個(gè)范圍內(nèi)的圖像分量，達(dá)到對(duì)圖像中不同尺度圖像細(xì)節(jié)信息的增強(qiáng)，但是，算法較為復(fù)雜,且容易放大噪聲[17]。

基于Knee函數(shù)和 Gamma校正的小波變換圖像增強(qiáng)算法[18]，利用Knee傳遞函數(shù)和Gamma調(diào)節(jié)函數(shù)自適應(yīng)地估計(jì)強(qiáng)度傳遞函數(shù)，可以提高圖像整體亮度和對(duì)比度；基于離散小波變換(discrete wavelet transformation，DWT)和奇異值分解的圖像增強(qiáng)算法[19]通過DWT將輸入圖像分解為4個(gè)子帶,對(duì)低頻子帶圖像的奇異值矩陣進(jìn)行估計(jì),然后，通過逆DWT重構(gòu)增強(qiáng)圖像,可同時(shí)增強(qiáng)圖像的分辨率和對(duì)比度。

使用小波變換進(jìn)行圖像增強(qiáng)時(shí)，既增強(qiáng)了圖像細(xì)節(jié)信息，又增強(qiáng)了圖像的亮度信息。但是，小波類算法通常比較復(fù)雜，易放大圖像噪聲，因此，如何有效地抑制圖像的噪聲，是該類算法需要解決的重要問題。

1.4 基于物理模型的低照度全景圖像增強(qiáng)算法

基于物理模型的圖像增強(qiáng)算法是利用夜晚圖像的亮度特點(diǎn)，根據(jù)反轉(zhuǎn)圖分布與霧天圖像的直方圖分布十分接近的特點(diǎn)，對(duì)夜晚圖像進(jìn)行增強(qiáng)。該算法效果良好，可以做到實(shí)時(shí)圖像增強(qiáng)，但是，存在過度增強(qiáng)現(xiàn)象。

根據(jù)低照度圖像與霧天圖像的關(guān)系，文獻(xiàn)[20]利用低照度圖像的成像特點(diǎn),發(fā)現(xiàn)反轉(zhuǎn)以后圖像的分布直方圖與霧天圖像的分布直方圖非常接近的特點(diǎn)，提出了一種基于圖像去霧算法的夜間圖像增強(qiáng)方法。該算法效果良好，能夠做到實(shí)時(shí)增強(qiáng)低照度圖像，但在一些細(xì)節(jié)區(qū)域，仍存在過度增強(qiáng)的現(xiàn)象；為了解決低照度圖像增強(qiáng)過程中顏色信息容易丟失問題，文獻(xiàn)[21]給出了一種基于亮通道模型的變分框架低照度圖像增強(qiáng)算法，該算法可以較好地抑制Retinex算法中的光暈現(xiàn)象，又可以避免基于暗通道模型中細(xì)節(jié)區(qū)域過增強(qiáng)現(xiàn)象的產(chǎn)生，增強(qiáng)后的圖像更加符合人的視角特性，更加自然。

基于物理模型的低照度全景圖像增強(qiáng)算法雖然能夠?qū)σ曨l圖像中的整體信息進(jìn)行增強(qiáng),但是，算法結(jié)構(gòu)不靈活,局部信息的增強(qiáng)效果不佳，且算法的可拓展性相對(duì)較差。

1.5 基于機(jī)器學(xué)習(xí)的低照度全景圖像增強(qiáng)算法

隨著機(jī)器學(xué)習(xí)的發(fā)展熱潮以及其在計(jì)算機(jī)視覺方面的優(yōu)越性，使深度學(xué)習(xí)算法能夠運(yùn)用到圖像增強(qiáng)方面。基于深度學(xué)習(xí)類算法通過深度神經(jīng)網(wǎng)絡(luò)對(duì)于圖像統(tǒng)計(jì)特性良好的學(xué)習(xí)能力實(shí)現(xiàn)低照度全集圖像的增強(qiáng)。

基于深度學(xué)習(xí)的深度圖像去噪及增強(qiáng)方法[22]，通過構(gòu)建深度圖像去噪及增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)，基于權(quán)重圖的損耗訓(xùn)練圖像增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)，能夠自適應(yīng)地提升網(wǎng)絡(luò)的學(xué)習(xí)效率。該方法可以實(shí)時(shí)地對(duì)帶噪圖像進(jìn)行黑點(diǎn)填充和去噪，并取得很好的視覺效果和深度值恢復(fù)效果；基于機(jī)器學(xué)習(xí)的低分辨率圖像增強(qiáng)和細(xì)節(jié)匹配方法[23]，通過建立一個(gè)間隔最大的超平面來得到最小二乘支持向量機(jī)分類器，然后將選擇一幅低照度，將圖像的每一個(gè)3×3鄰域像素看成一個(gè)樣本數(shù)據(jù)進(jìn)行訓(xùn)練，得到增強(qiáng)后的像素點(diǎn)。再使用復(fù)數(shù)小波對(duì)圖像的特征進(jìn)行描述，利用最小二乘向量機(jī)來得到最優(yōu)判定準(zhǔn)則函數(shù)，得到最優(yōu)的目標(biāo)圖像。測試結(jié)果表明，基于機(jī)器學(xué)習(xí)的低分辨率圖像增強(qiáng)和細(xì)節(jié)匹配方法能夠很好地增強(qiáng)細(xì)節(jié)信息，減弱邊緣模糊，提高圖像對(duì)比度。

與傳統(tǒng)方法相比較，基于機(jī)器學(xué)習(xí)的低照度全景圖像增強(qiáng)算法具有更好地增強(qiáng)細(xì)節(jié)信息，有效地處理了顏色的失真和祛除了光暈現(xiàn)象等優(yōu)點(diǎn)。但是，其訓(xùn)練過程需要海量的數(shù)據(jù)樣本，訓(xùn)練成本較高，不能夠直接學(xué)習(xí)知識(shí)，且不善于解決某些特定的問題[24]。為此考慮把強(qiáng)化學(xué)習(xí)、遷移學(xué)習(xí)等算法應(yīng)用到低照度全景圖像增強(qiáng)方面，將傳統(tǒng)算法與機(jī)器學(xué)習(xí)算法相結(jié)合，以達(dá)到更好的增強(qiáng)效果。

2 典型算法實(shí)驗(yàn)結(jié)果分析

2.1 典型算法實(shí)驗(yàn)結(jié)果分析

2.1.1 主觀分析

為了能夠清楚地比較典型低照度全景圖像增強(qiáng)算法的效果，采用主觀分析方法，對(duì)部分具有代表性的低照度全景圖像增強(qiáng)算法及衍生算法進(jìn)行了仿真實(shí)驗(yàn)。實(shí)驗(yàn)中，采用4種不同的低照度全景圖像，如圖1所示，其增強(qiáng)效果如圖2所示。

圖1 實(shí)驗(yàn)圖像

圖2 典型算法對(duì)低照度全景圖像增強(qiáng)結(jié)果

從圖2可以看出，文獻(xiàn)[6]算法可很好地提高圖像的對(duì)比度，但出現(xiàn)了過增強(qiáng)現(xiàn)象，且造成圖像信息丟失；文獻(xiàn)[11]算法和文獻(xiàn)[13]算法雖然可以很好地處理顏色失真現(xiàn)象，但圖像有光暈現(xiàn)象產(chǎn)生；文獻(xiàn)[15]算法較好地避免了光暈現(xiàn)象的產(chǎn)生，但是圖像對(duì)比度不如HE算法，圖像整體偏暗；基于Retinex理論的融合算法[16]，其增強(qiáng)后的圖像提高了圖像對(duì)比度，避免了光暈現(xiàn)象，增強(qiáng)后的圖像顏色也比較自然，但細(xì)節(jié)信息不夠清晰?；诹镣ǖ滥Ｐ偷淖兎挚蚣艿驼斩葓D像增強(qiáng)算法[21]，能夠較好地提取出圖像的光照信息及反射信息，其增強(qiáng)后圖像的細(xì)節(jié)信息以及顏色信息較好。

2.1.2 客觀評(píng)價(jià)

為了客觀的評(píng)價(jià)各種低照度全景圖增強(qiáng)算法的增強(qiáng)效果，本文分別采用標(biāo)準(zhǔn)差(standard deviation, SD)、信息熵(information entropy, IE)和平均梯度(average gradient, AG)等3個(gè)圖像客觀評(píng)價(jià)指標(biāo)[25]對(duì)增強(qiáng)后的全景圖像進(jìn)行評(píng)價(jià)。其中，標(biāo)準(zhǔn)差反映圖像對(duì)比度，標(biāo)準(zhǔn)差增大，則有效的增強(qiáng)了圖像的對(duì)比度；圖像信息熵反映圖像中包含信息量的多少，其熵的值越大，表明圖像所包含的信息越豐富；平均梯度則反映的是圖像的清晰程度，平均梯度值越高，圖像就越清晰。典型的低照度增強(qiáng)算法的客觀評(píng)價(jià)指標(biāo)分別如圖3所示。

圖3 典型低照度全景圖像增強(qiáng)算法 4種圖像的客觀評(píng)價(jià)指標(biāo)

由圖3結(jié)果可以看出，直方圖均衡化類算法具有較高的標(biāo)準(zhǔn)差與平均梯度，說明直方圖均衡化類算法具有較好地增強(qiáng)圖像對(duì)比度與清晰度，但是，易造成圖像信息的丟失?；赗etinex理論類算法所獲得圖像信息熵以及平均梯度較為適中，說明增強(qiáng)后圖像對(duì)比度和清晰度較好，圖像色彩較自然。基于物理模型類的算法所獲得圖像的對(duì)比度雖不如直方圖均衡化類算法，但是具有更好的信息熵，說明增強(qiáng)后的圖像較為清晰，圖像信息也較為豐富。

2.2 典型算法效果對(duì)比

就典型低照度圖像增強(qiáng)算法的實(shí)驗(yàn)結(jié)果及相關(guān)進(jìn)展情況對(duì)比分析發(fā)現(xiàn)，5種典型算法各有優(yōu)點(diǎn)和缺點(diǎn)，適應(yīng)于不同用途或場景。5種典型算法的優(yōu)缺點(diǎn)如表1所示。

表1 低照度全景圖像增強(qiáng)算法優(yōu)缺點(diǎn)對(duì)比

3 結(jié)語

針對(duì)低照度全景圖像增強(qiáng)算法中直方圖均衡類算法、基于Retinex理論的算法、基于小波變換類算法、基于物理模型類算法機(jī)器學(xué)習(xí)類等5類典型算法的研究進(jìn)展進(jìn)行了綜述，結(jié)合仿真實(shí)驗(yàn)對(duì)比，總結(jié)了各類算法的優(yōu)點(diǎn)、缺點(diǎn)以及實(shí)際應(yīng)用范圍。各類算法在一定程度上保證了增強(qiáng)后的圖像具有較好的圖像質(zhì)量，但在實(shí)際的應(yīng)用之中仍存在許多問題，如在全景圖像增強(qiáng)過程中，難以同時(shí)兼顧增強(qiáng)算法的實(shí)時(shí)性、有效性以及自適應(yīng)性等性能。未來研究應(yīng)該著重考慮到算法對(duì)亮度提升、圖像去噪以及細(xì)節(jié)增強(qiáng)相結(jié)合，提高算法的有效性、實(shí)時(shí)性與自適應(yīng)性。

隨著全景成像技術(shù)的迅猛發(fā)展和廣泛應(yīng)用，全景圖像增強(qiáng)技術(shù)已經(jīng)成為圖像處理領(lǐng)域十分重要技術(shù)，低照度全景圖像增強(qiáng)算法的研究是圖像處理技術(shù)的一個(gè)重要的研究領(lǐng)域。