基于亮度評(píng)估技術(shù)的特征增強(qiáng)衍生圖融合算法①

韋 超，唐麗娟，陳冠楠

(福建師范大學(xué) 醫(yī)學(xué)光電科學(xué)與技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室 暨福建省光子技術(shù)重點(diǎn)實(shí)驗(yàn)室，福州 350007)

(福建師范大學(xué) 福建省科技廳光電傳感應(yīng)用工程技術(shù)研究中心，福州 350007)

1 引言

圖像融合是圖像恢復(fù)領(lǐng)域的一個(gè)重要技術(shù)分支.當(dāng)環(huán)境處于光線不足的情形下，視覺成像設(shè)備捕捉到的圖像和視頻往往是低亮度的，且無法精確地獲得其中細(xì)節(jié)信息.這些低亮度成像環(huán)境對(duì)實(shí)際生活有很大影響，例如，在夜間交通道路上，監(jiān)控?cái)z像頭無法清晰獲取行人的面部信息和闖紅燈的車牌號(hào).由于相機(jī)的動(dòng)態(tài)曝光水平有限，在光線較強(qiáng)時(shí)進(jìn)行拍攝，圖像背光也是低亮度視覺的一種情形.具有亮背景區(qū)域和暗前景區(qū)域的圖像不易被人眼同時(shí)觀察到目標(biāo)和其他細(xì)節(jié)信息.因此，衍生圖融合技術(shù)的關(guān)鍵在于精確提取衍生圖的特有信息，以獲得環(huán)境自然性更好，細(xì)節(jié)恢復(fù)更優(yōu)良，整體視覺更利于人眼觀察的圖片[1].

衍生圖融合算法有效地解決了實(shí)際生活中相機(jī)動(dòng)態(tài)范圍小的缺陷，提高了圖像的清晰度，并能夠保留圖像很好曝光率區(qū)域的同時(shí)，精確地恢復(fù)低亮度區(qū)域信息.目前，在一些最新的圖像增強(qiáng)與融合的論文中使用了Retinex 相關(guān)理論[2]，該理論可將圖像看反射率和光照兩部分.基于Retinex 理論的早期實(shí)驗(yàn)，例如單尺度Retinex (Single-Scale Retinex，SSR)[3]和多尺度Retinex(Multi-Scale Retinex，MSR)[4]，其把反射率評(píng)估為增強(qiáng)結(jié)果.最近，具有色彩修復(fù)的多尺度Retinex (Multi-Scale Retinex with Color Restoration，MSRCR)[5]的出現(xiàn)可以有效地減少過度亮度增強(qiáng)并恢復(fù)色彩保真度.文獻(xiàn)[6]提出一種快速算法來對(duì)倒置的低亮度圖像進(jìn)行去霧和增強(qiáng).文獻(xiàn)[7]提出了一種對(duì)于同時(shí)反射率和光照估計(jì)的加權(quán)變分模型(Simultaneous Reflectance and Illumination Estimation，SRIE)可合理地調(diào)整亮度評(píng)估以獲得增強(qiáng)的圖像.文獻(xiàn)[8]提出一種保持自然性增強(qiáng)算法(Naturalness-Preserving Enhancement，NPE)使亮度分布不均勻圖像可通過使用亮通道和雙對(duì)數(shù)變換來評(píng)估和調(diào)整光照.文獻(xiàn)[9]提出了一種基于照明映射評(píng)估的低亮度圖像增強(qiáng)方法(Low-light Image Enhancement，LIME)設(shè)計(jì)了一種結(jié)構(gòu)感知平滑模型，以實(shí)現(xiàn)精準(zhǔn)的照明評(píng)估和極好的亮度一致性.文獻(xiàn)[10]提出了一種多偏差融合方法(Multi-deviation Fusion method，MF)融合了初始評(píng)估的照明映射的多個(gè)偏差以優(yōu)化照明映射.盡管這些方法對(duì)低亮度圖像的不同區(qū)域像素都起到一定的恢復(fù)效果，但仍無法恢復(fù)具有豐富紋理細(xì)節(jié)圖像的真實(shí)感.

針對(duì)上述提出的一些先進(jìn)方法的不足，本文提出了一種基于亮度評(píng)估技術(shù)的特征增強(qiáng)衍生圖融合算法，能夠有效地解決融合結(jié)果可能是自然但不明顯，或者其細(xì)節(jié)明顯但整體亮度太亮的問題.在實(shí)際應(yīng)用中，主要工作包括：該方法可處理任何單一低亮度圖像，無需同一場景的多個(gè)不同亮度鏡頭圖像[11]；使用一種新穎的亮度增強(qiáng)模型來獲得自然性更好圖像，和細(xì)節(jié)清晰但亮度曝光過度的圖像；再通過使用改進(jìn)的衍生圖融合算法來融合不同特征的兩個(gè)衍生圖，可保留自然性和細(xì)節(jié)優(yōu)良區(qū)域.

2 曝光率映射

為了保留衍生圖中豐富的結(jié)構(gòu)信息和去除紋理邊緣的噪聲，在使用非線性函數(shù)模型增強(qiáng)之前，先獲取圖像的曝光率映射.本文選用亮度評(píng)估技術(shù)來獲得圖像曝光率映射，亮度評(píng)估技術(shù)總體框架如下：

1) 初始化亮度評(píng)估映射.參考顏色不變性方法中的一種方法，通過尋找輸入圖像L(x)中3 個(gè)顏色通道(R，G，B)的最大值(Max-RGB)作為初始化亮度評(píng)估映射[12]，x表示圖像像素值，表達(dá)如下：

2) 權(quán)值矩陣設(shè)計(jì).將初始化亮度評(píng)估映射大小縮小為原來的1/2，對(duì)縮小之后的初始化亮度評(píng)估映射分別進(jìn)行行差分運(yùn)算 ?h和列差分運(yùn)算 ?v.獲取 ?h和 ?v之后，再分別對(duì)其進(jìn)行相關(guān)濾波操作[13]，滑動(dòng)相關(guān)核w(x)為[1，1，1，1，1]和[1，1，1，1，1]T.將差分運(yùn)算結(jié)果與相關(guān)濾波操作結(jié)果進(jìn)行對(duì)應(yīng)相乘再取其倒數(shù)得權(quán)值矩陣，表達(dá)如下：

3) 亮度評(píng)估映射.步驟1)得到的初始化亮度評(píng)估映射可以稍微地增強(qiáng)圖像的局部一致性，但是增強(qiáng)結(jié)果是具有盲目結(jié)構(gòu)性的，無法很好恢復(fù)高動(dòng)態(tài)范圍獲取的圖像結(jié)構(gòu).接下來，在其基礎(chǔ)上我們使用了一個(gè)卓越的優(yōu)化算數(shù)方程來同時(shí)保留圖像的整體結(jié)構(gòu)和平滑紋理細(xì)節(jié).將步驟2) 得到的Wd(x)和步驟1) 得到的分別與亮度評(píng)估映射T(x)組合得‖Wd(x)·T(x)‖l在兩個(gè)表達(dá)式之間我們使用系數(shù)a來平衡兩者的關(guān)系.‖ ·‖F(xiàn)表示Frobenius 范數(shù)[14]，即矩陣中各項(xiàng)元素的絕對(duì)值平方的總和；‖·‖l表示關(guān)于Wd(x)與T(x)之間的運(yùn)算，運(yùn)算準(zhǔn)則為：其中 δ表示一個(gè)非常小的常數(shù)為了避免表達(dá)式中分母為零，h和v分別表示差分運(yùn)算的行操作與列操作.一個(gè)表達(dá)式用來控制圖像的整體結(jié)構(gòu)，另一個(gè)表達(dá)式用來控制圖像的紋理細(xì)節(jié)，結(jié)合兩個(gè)表達(dá)式，得亮度評(píng)估映射的表達(dá)式為：

4) 曝光率映射.根據(jù)視網(wǎng)膜圖像增強(qiáng)[15]，在源圖像的暗區(qū)域分配一個(gè)較大的曝光率，而在圖像的亮區(qū)域分配一個(gè)較小的曝光率.再模擬人腦皮層具有自動(dòng)調(diào)節(jié)亮度的功能，將得到的結(jié)果進(jìn)行約束來獲取實(shí)際應(yīng)用的曝光率映射，常數(shù)u用來避免曝光率映射成為無窮大，表達(dá)如下：

3 改進(jìn)的卡方分布函數(shù)模型

為了優(yōu)化圖像融合過程中源圖像的質(zhì)量情況，一種改進(jìn)的卡方分布函數(shù)模型被用于本文方法中.基于改進(jìn)的卡方分布函數(shù)模型步驟如下：

1) 為了更好地獲取不同優(yōu)良特征的衍生圖，將低亮度圖像與使用我們模型獲取的亮度增強(qiáng)圖像進(jìn)行對(duì)比并獲取兩者的直方圖，通過觀察兩者亮度的變化情況來獲取一種非線性的對(duì)應(yīng)關(guān)系，如圖1所示.我們使用非線性函數(shù)模型來表示低亮度圖像變換到亮度增強(qiáng)圖像的過程，即：

其中，Ri(x)表 示低亮度圖像，Ro(x)表示亮度增強(qiáng)圖像，k表示曝光率映射，I表示亮度增強(qiáng)的非線性函數(shù)模型.

圖1 衍生圖增強(qiáng)

2) 通過觀察和分析卡方分布概率密度函數(shù)[16]和其曲線的變化情況，當(dāng)調(diào)節(jié)函數(shù)中的參數(shù)達(dá)到一定值時(shí)，曲線值隨著x的增大，先增大后減少，適合于圖像像素值在較小時(shí)通過函數(shù)來增大，較大時(shí)而得到減小.并且為了更好地實(shí)現(xiàn)增強(qiáng)圖像，我們?cè)谄浠A(chǔ)上提出了一種改進(jìn)的卡方分布函數(shù)，即：

其中，a表示在x＞0情況下的模型參數(shù).因?yàn)樵谀Ｐ椭袑肫毓饴蔾的值，且k＞0，因此我們主要考慮x＞0的情況.

3) 通過將曝光率映射K(x)替換該函數(shù)的自變量并結(jié)合輸入圖像來構(gòu)成改進(jìn)的卡方分布函數(shù)模型.再對(duì)參數(shù)a進(jìn)行調(diào)節(jié)來獲得兩幅特征不同的衍生圖，即：

4 衍生圖融合框架

近年來，利用基于金字塔融合的方法[17]來對(duì)低亮度圖像進(jìn)行亮度增強(qiáng)，將權(quán)值與輸入圖像相乘求和得到的融合效果并不理想.當(dāng)控制權(quán)值映射不正確時(shí)，生成的融合圖像容易出現(xiàn)亮度和結(jié)構(gòu)畸變.由于圖像中紋理細(xì)節(jié)較多的區(qū)域處于低曝光或高曝光狀態(tài)時(shí)，圖像中一些重要的信息無法觀察和分析.針對(duì)上述問題，我們通過選擇邊緣檢測(cè)[18]、對(duì)比度拉伸[19]和亮度評(píng)估來設(shè)計(jì)一種新的權(quán)重映射來進(jìn)行融合增強(qiáng).

4.1 權(quán)值映射設(shè)計(jì)

構(gòu)造權(quán)值映射通過3 種度量方法.1) 邊緣檢測(cè).邊緣檢測(cè)中的Canny 算子是最有效的邊緣檢測(cè)算法.Canny 邊緣檢測(cè)算法不是簡單的模板卷積，而是利用梯度方向和雙閾值方法檢測(cè)邊緣點(diǎn).2) 對(duì)比度拉伸.對(duì)比度拉伸通過采用分段線性變換函數(shù)來擴(kuò)展圖像灰度級(jí)的動(dòng)態(tài)范圍.從對(duì)比度拉伸圖像中可以看出，亮度明亮區(qū)域的對(duì)比度拉伸較寬，亮度暗區(qū)域的對(duì)比度拉伸較窄.3) 亮度評(píng)估.亮度評(píng)估操作可以有效地進(jìn)行局部平滑，對(duì)增強(qiáng)圖像中亮度過亮或過暗的區(qū)域及其周圍進(jìn)行評(píng)估，從而減少亮度恢復(fù)異常.

通過對(duì)衍生圖進(jìn)行邊緣檢測(cè)WED(x,y)、對(duì)比度拉伸WCS(x,y)和 亮度評(píng)估WBE(x,y)的觀察和分析，發(fā)現(xiàn)各個(gè)指標(biāo)可分別觀察到亮度增強(qiáng)圖像中的不同細(xì)節(jié)成分.結(jié)合金字塔融合增強(qiáng)理論，將3 個(gè)測(cè)量指標(biāo)相乘得到圖像融合參數(shù)，即圖像融合的權(quán)值映射：

然后對(duì)圖像融合的權(quán)值映射(N=2)標(biāo)準(zhǔn)化，即：

利用上述權(quán)值映射，在圖像融合過程中可有效對(duì)過曝光區(qū)域進(jìn)行低權(quán)值分配，并對(duì)低亮度區(qū)域進(jìn)行高權(quán)值分配.為了解決在融合過程中由于圖像亮度差異導(dǎo)致的融合結(jié)果不自然的問題，我們引入金字塔融合來獲取更好的融合圖像，以有效減少融合過程中局部連接處變形、信息丟失等異常局部區(qū)域.

4.2 改進(jìn)的金字塔融合

首先，將兩幅亮度增強(qiáng)的衍生圖放于拉普拉斯金字塔中，提取圖像特征，并分解成不同分辨率的多尺度金字塔圖像序列.序列的區(qū)域大小依次改變?yōu)榍耙粚訄D像大小的1/4.然后，將優(yōu)化后的標(biāo)準(zhǔn)權(quán)值映射分解為高斯金字塔序列再將其與拉普拉斯金字塔的多尺度圖像平滑組合得金字塔融合序列Rl(x,y)，表達(dá)式如下：

其中，l表示金字塔序列的層數(shù)，它的值設(shè)置為7，k表示融合圖像的數(shù)量，k的值為2.

最終的融合圖像Rfinal通過以下操作實(shí)現(xiàn)，即：

其中Ud，表示帶有系數(shù)為d=2l-1的上采樣操作.本文算法結(jié)構(gòu)如圖2所示.

5 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文方法的有效性和獲取更好的感知視覺效果，本文使用了6 種近幾年提出的亮度增強(qiáng)算法：多尺度Retinex (Multiscale Retinex，MSRCR)算法、基于去霧增強(qiáng)技術(shù)(Dehazing-based，Dong)算法、保留圖像自然性增強(qiáng)技術(shù)(Naturalness Preserved Enhancement，NPE)算法、多偏差融合(Multi-deviation Fusion，MF)算法、同時(shí)使用反射和照明評(píng)估(Simultaneous Reflection and Illumination Estimation，SRIE)算法和基于亮度評(píng)估增強(qiáng)(illumination estimation-based method，LIME)算法作為實(shí)驗(yàn)對(duì)比算法.同時(shí)分別計(jì)算3 組客觀評(píng)價(jià)指標(biāo)：視覺信息保真度(Visual Information Fidelity，VIF)、亮度誤差(Lightness Order Error，LOE)以及圖像互信息(Mutual Information，MI)來對(duì)融合圖像質(zhì)量進(jìn)行評(píng)估.對(duì)于視覺信息保真度和圖像互信息，值越大，表明融合效果越好；而對(duì)于亮度誤差，值越小，表明效果越好.選取低亮度圖像Tower 和Plaza 為實(shí)驗(yàn)數(shù)據(jù)集，其中，圖3和圖4為源圖像與不同算法實(shí)驗(yàn)結(jié)果對(duì)比.實(shí)驗(yàn)環(huán)境為：Windows 10，Intel Corel CPU 3.00 GHz，RAM16 GB，Matlab R2015b.

圖2 本文算法流程

圖3 Tower 增強(qiáng)對(duì)比實(shí)驗(yàn)結(jié)果

圖4 Plaza 增強(qiáng)對(duì)比實(shí)驗(yàn)結(jié)果

在表1所示的客觀評(píng)價(jià)指標(biāo)數(shù)值中，本文方法在LOE 和MI 兩項(xiàng)指標(biāo)上，全部優(yōu)于近年來的新方法.雖然從表1中獲得的VIF 指標(biāo)不是最高的，但是通過觀察實(shí)驗(yàn)圖像可得，本文方法獲得的增強(qiáng)圖像已經(jīng)可以獲得很好的視覺信息.并且結(jié)合數(shù)據(jù)和實(shí)驗(yàn)圖像發(fā)現(xiàn)，如方法LIME，當(dāng)VIF 值越大時(shí)，LOE 值伴隨著也會(huì)增大，觀察該方法獲得的增強(qiáng)圖像發(fā)生了亮度失真.

在本測(cè)試中，我們首先使用帶有局部曝光率映射的非線性函數(shù)對(duì)低光圖像進(jìn)行適當(dāng)?shù)牧炼仍鰪?qiáng).當(dāng)本文方法中參數(shù)a的值滿足一定條件時(shí)，函數(shù)值隨自變量的增大而先增大后減小.因此，采用該方法合理地增強(qiáng)低亮度區(qū)域亮度和抑制高亮度區(qū)域亮度.然后對(duì)該像素值周圍亮度分布進(jìn)行評(píng)估，并根據(jù)曝光率映射進(jìn)行準(zhǔn)確的亮度增強(qiáng).由于亮度增強(qiáng)方法導(dǎo)致整體視覺效果不理想，因此通過調(diào)整融合參數(shù)，得到了具有不同優(yōu)良特征信息的兩幅衍生圖.

表1 Tower 和Plaza 的增強(qiáng)圖像客觀評(píng)價(jià)指標(biāo)

在融合過程中，我們?cè)O(shè)計(jì)了權(quán)值映射來整合兩幅衍生圖的優(yōu)良特征.在權(quán)值映射設(shè)計(jì)中，我們加入了對(duì)比度拉伸來增強(qiáng)融合結(jié)果的前景和背景區(qū)域的局部對(duì)比度.同時(shí)，為了避免融合結(jié)果的邊緣噪聲對(duì)圖像造成嚴(yán)重的噪聲，我們?cè)跈?quán)值映射中加入了邊緣檢測(cè)來進(jìn)行優(yōu)化.為了更好的評(píng)價(jià)和調(diào)整融合后圖像的亮度分布，我們?cè)跈?quán)值映射中加入了亮度評(píng)估，使融合后的圖像更具有自然性.最后，采用改進(jìn)的權(quán)值映射的金字塔融合方法，得到的融合圖像能夠更好地突出圖像細(xì)節(jié)，使整體圖像在視覺上更具有自然性并且信息失真更少.

6 結(jié)語

本文針對(duì)金字塔融合方法提出一種有效恢復(fù)圖像亮度和保留圖像自然性的基于亮度評(píng)估技術(shù)的特征增強(qiáng)衍生圖融合算法.首先對(duì)低亮度圖像像素值使用亮度評(píng)估技術(shù)，結(jié)合Retinex 理論和大腦皮層調(diào)節(jié)原理，得到曝光率映射.然后引進(jìn)了基于改進(jìn)的卡方分布函數(shù)模型對(duì)單一低亮度圖像進(jìn)行亮度與細(xì)節(jié)的增強(qiáng)，從而獲得兩幅不同特征性能的衍生圖來進(jìn)行圖像融合.最后通過改進(jìn)的金字塔融合方法來獲得清晰的融合圖像.實(shí)驗(yàn)結(jié)果表明，通過結(jié)合圖像的自然性，細(xì)節(jié)恢復(fù)程度，亮度扭曲情況考慮，獲得的融合圖像在圖像邊緣和輪廓細(xì)節(jié)得到了較好的保留，其融合效果在視覺感知方面優(yōu)于其他現(xiàn)有的幾種方法，這意味著本文圖像融合算法具有可行性和一定的優(yōu)越性.