一種改進金字塔的多曝光HDR 圖像生成方法

周燕琴，呂緒洋，朱雄泳

（廣東第二師范學院計算機科學系，廣州510303）

0 引言

隨著時代的發(fā)展，人們對圖像質量和視覺體驗有著極致的追求和期待，進而要求呈現(xiàn)幾乎接近于真實情景的圖像。這就意味著圖像需要更寬的動態(tài)范圍，與人眼可視到的動態(tài)范圍接近，從而引入HDR（Low Dynamic Rang）圖像。HDR 圖像最大特點是能夠提供具臨場感受的觀影效果，能夠正確地表示真實世界場景。

到目前為止，國內外對HDR 圖像的研究已有20余年的歷史，HDR 成像技術已成為計算機圖形圖像學科領域的研究熱點問題之一。由于基于硬件設計搭建的HDR 成像系統(tǒng)[1-2]需花費高額成本，因此，越來越多的研究學者主要采用軟件合成的方法來采集HDR圖像。

普通數(shù)字圖像傳感器拍攝真實場景無法得到HDR 圖像，同時單幀圖像包含的真實場景信息量不夠完整。但是，可以通過控制曝光技術對同一場景多次拍攝得到一組曝光程度不同的LDR 圖像序列能較好地記錄真實場景信息。從而可以通過提取不同曝光圖像光線變化信息，并將這些信息融合在一起，便可最大程度的記錄場景真實信息。

從多曝光LDR 圖像序列中恢復出真實場景的HDR 圖像的算法目前大致可以分為兩類：第一類基于逆相機響應曲線色調映射的方法。Debevec 等人[3]提出了一種的通過曝光時間縮放輻照度來獲得逆相機響應曲線的方法，這種方法需要求得輻射度圖。Mitsunaga等人[4]采用多項式表示逆相機曲線的魯棒方法，響應函數(shù)使用高階多項式建模并且通過最大似然法計算多項式系數(shù)。這類方法存在操作難和算法復雜度高的缺點。

另一類則是目前比較流行的多曝光融合方法，利用同一場景不同曝光度的LDR 圖像按照一定規(guī)則直接融合生成HDR 圖像，較第一類方法融合技術復雜度低，效率更高一籌。Burt 和Adelson[5]首次提出金字塔模型，并應用于圖像融合算法，取得比較好的效果。之后很多學者在這基礎上進行了改進。Merterns 等人[6]提出基于拉普拉斯金字塔模型多曝光融合生成HDR 圖像方法，選取圖像對比度、飽和度和曝光度為可靠因子的加權融合生成HDR 圖像，但是對細節(jié)邊緣處理上出現(xiàn)細節(jié)模糊甚至邊緣丟失的情況。隨后，Wu 等人[7]提出基于最優(yōu)塊融合的HDR 圖像生成方法，首先，對多曝光圖像進行分塊融合處理，然后利用三個信息測度因子（光照梯度因子、飽和度因子、適度曝光因子）進行選最優(yōu)快，最后按照一定的融合規(guī)則融合像素塊生成HDR 圖像。融合結果發(fā)現(xiàn)最優(yōu)塊之間存在不連續(xù)現(xiàn)象，需要后續(xù)進一步消除不連續(xù)邊界。因此，分塊融合方法無形當中增加了算法的復雜度和運行時間。Zhang 等人[8]提出基于梯度方法實現(xiàn)圖像的融合，該算法可消除圖像“鬼影”，但是只對一某些特定的圖像有效果。Shen 等人[9]提出基于隨機游的多曝光融合算法，將圖像局部對比度和顏色恒常性做概率計算，通過全局最優(yōu)解得到目標圖像。

因此，本文提出一種基于顯著特征因子的改進金字塔技術的多曝光LDR 圖像序列融合生成HDR 圖像。金字塔融合算法是一種基于多尺度、多分辨率的融合的方法，針對不同分解層的不同頻帶上的特征和細節(jié)，采用不同的融合算子以達到突顯特征的目的，實現(xiàn)不同圖像特征和細節(jié)的無縫連接，被廣泛應用到多曝光圖像融合。本文改進金字塔融合算法思路，首先提取多曝光LDR 圖像顯著特征因子生成權重圖；然后對待融合圖像進行金字塔分解；最后金字塔融合得到圖像細節(jié)增強的HDR 圖像。

1 改進金字塔融合算法

為了解決直接融合生成圖像出現(xiàn)拼接痕跡和邊界不連續(xù)問題，本文構建了一種新的與人類視覺特性一致的金字塔模型。首先，將拍攝的一組多曝光LDR 圖像序列去噪處理；其次提取特征因子對比度、色彩飽和度和曝光亮度并且賦予不同的權重值。為了減少由對比度通引起的局部光暈和泛灰的問題，提出自適應調整圖像局部對比度。這樣圖像局部對比明顯能起到增強圖像對比度作用；再次將經過高斯金字塔分解的去噪圖像序列矩陣與分解的加權圖像序列矩陣進行疊加再相乘融合運算以達到增強圖像細節(jié)和色彩信息的目的；最終對新一組子圖層序列作拉普拉斯金字塔重構及逆變換得到增強的HDR 圖像。

1.1 特征因子提取

為了合理評價待融合圖像，做出以下幾個方面考慮：第一，圖像色彩是衡量一張圖像質量的重要指標，色彩飽滿能讓你的畫面更有內涵和吸引力。第二，人類視覺特性人眼觀察到的細節(jié)信息的多少與亮度有直接關系，過曝光和欠曝光圖像序列，同一塊區(qū)域因受到的曝光程度不一樣明暗差異比較大，太亮和太暗區(qū)域含的圖像信息量很少，傳遞的邊緣細節(jié)也是微乎其微。第三，當局部對比度過大會引起圖像光暈，而局部對比度過小又會導致泛灰。同時還存在圖像色彩偏移、不均衡等問題。

所以，綜合來看本文最終引入了三個可靠特征因子分別是調整最優(yōu)對比度、色彩飽和度和曝光度來提升圖像色彩質量。計算多曝光LDR 圖像每個像素點的三個質量度量值，并將生成的度量值圖作為權重圖。其中，設置自適應加權參數(shù)的原則是偏暗區(qū)域或偏亮區(qū)域賦予較小的權值，富含圖像邊緣和細節(jié)信息賦予較高的權值。

（1）對比度

因人類視覺系統(tǒng)對局部光線的變化較敏感，當局部對比度過大會引起圖像產生光暈，而局部對比度過小又會導致泛灰現(xiàn)象。所以，這就需要合理調節(jié)對比度范圍，使得局部對比度更明朗、圖像質量更清晰。首先，需要將源圖像fn轉化為灰度圖像gn，對灰度圖像進行線性拉伸；然后對灰度圖gn進行高斯濾波去除噪聲得到平滑的圖像，由式（1）來完成.

最后進行圖像對比度拉伸是通過式（2）實現(xiàn)圖像自適應調整最佳局部對比度動態(tài)范圍拉伸。

（2）色彩飽和度

色彩飽和度反映了彩色圖像在顏色層面的表現(xiàn)力。所以，本文引入RGB 通道數(shù)據(jù)計算像素點的色彩質量度量值。分別計算出輸入源圖像序列fn的顏色通過R、G、B 通道數(shù)據(jù)fnR、fnG、fnB，并記錄下來，求出三類通道數(shù)據(jù)的平均值fnavg。

再計算通道數(shù)據(jù)的標準Sn作為圖像色彩飽和度特征因子權值，如下式（4）所示。

（3）曝光亮度

多曝光LDR 圖像序列中存在不同程度的曝光區(qū)域，其中包括過曝光、適度曝光和欠曝光?？紤]到過曝光區(qū)域和欠曝光區(qū)域含的信息量較少，而適度曝光區(qū)域信息量比較豐富，所以利用高斯數(shù)學模型如式（5）、（6）為圖像R、G、B 三個通道的每一個像素點分配權重。

為了防止過亮和過暗像素點對融合產生干擾，最后由式（7）完成歸一化處理。

其中，CnR表示像素點在R 通道分配權值；同理通過式（6）計算得到另外兩個通道權值CnG、CnB，Cn表示圖像曝光亮度特征因子權值；高斯方程的標準差δ=0.25。為了避免受到某種頑固像素點的影響，本文通過設置判斷閾值t 進行篩查，當0

本文從不同角度選取特征因子，將對比度權值、色彩飽和度權值、曝光亮度權值相乘得到，如式（8）所示。

其中N=3，同時為了避免出現(xiàn)分母為零的情況，特取一個很小的非零值ε=10-10。

1.2 融合權重

首先建立高斯金字塔，高斯金字塔模型搭建原則是從金字塔的第Gl層向第Gl+1層以面積遞減的方式逐層生成，卷積核遍歷圖像運算一次生成新圖像面積減少。在文獻[10]中使用5*5 卷積核對每個像素需要計算24 次加法、25 次乘法和25 次位移操作，每個像素一次卷積運算量大約需經過74 次計算。本文在保證融合質量的前提下，提出改進卷積核來降低運算復雜度，提高運算速度。因此，本文設計一個3*3 卷積核w(m,n)對G0進行卷積運算，如式（10）所示：

其每一個像素點的運算量為8 次加法、9 次乘法和9 次位移，相當于一個像素一次遍歷運算量減少了48次計算，這意味著在很大程度降低了運算量。

然后，每遍歷結束一次便刪除所有的偶數(shù)列和偶數(shù)行對圖像進行向上采樣，依次得到新圖像層。其構建公式如式（11）所示：

最后分解成由下至上分辨率逐層遞減的高斯金字塔圖像層G0,G1,G2,…,GN。本文先對多曝光LDR 圖像序列進行去噪預處理，之后分別對去噪圖像序列和去噪圖像的加權參數(shù)圖像序列一一高斯金字塔分解，并將分解后對應子圖層進行疊加運算，得到的三組新高斯金字塔子層分別相乘，最后得到一組由組成的新子圖層作拉普拉斯金字塔重構運算，這樣做的目的是增強圖像細節(jié)和邊緣信息。

實際上拉普拉斯重建過程就是高斯金字塔分解過程的反向操作過程。首先對高斯金字塔頂層圖像每個維度擴大為一倍，對新增的行和列以0 填充；然后重建過程中使用的是如式（12）。

改進后的拉普拉斯金字塔公式（13）如下所示：

得到一組由LP0,LP1,LP2,…,LPN構成的拉普拉斯金字塔分解邊緣特征圖。以上是金字塔分解過程，接下來最關鍵的一步HDR 圖像生成目標函數(shù)公式如下：

改進金字塔融合算法首先根據(jù)去噪后的LDR 圖像序列顯著特征生成權重圖；然后分別對去燥圖像和權重圖像進行高斯分解，將分解后對應子層融合得到高斯分解圖像；最后對高斯金字塔圖像做拉普拉斯逆變換得到融合后的HDR 圖像，圖1 為改進金字塔融合算法流程示意圖。

圖1 改進算法流程圖

2 仿真分析

本文仿真實驗在MALAB 平臺進行，平臺配置是Intel Core i5-8400 CPU，16GB 內存。本文選取的測試圖片來源于文獻[11-12]提供的多曝光LDR 序列圖像，共取三十組多曝光LDR（有過曝光、適中曝光、欠曝光）圖像序列作為測試圖像。本文分別從主觀和客觀兩方面進行評價。為突顯本文算法的實驗效果，與目前一些主流的算法相比較生成效果圖，人眼直接觀察判斷算法優(yōu)劣。由于文章篇幅有限，因此從實驗結果中隨機抽取三組予以展示，圖像大小分別為390×280、640×520、1024×600。由于無法直接展示HDR 效果圖，本文所有對比實驗是基于一種亮度可控與細節(jié)保持的高動態(tài)范圍圖像色調映射方法[11]。

第一組中對比實驗：Wu 等人[12]提出多曝光圖像進行分塊的圖像融合方法，從不同的曝光圖像中選取信息最大的信息塊，對選取的最大信息塊利用一定的融合函數(shù)進行融合，其實驗結果如圖2 所示?？傮w上，基于分塊的融合算法生成的HDR 圖像有較好的高動態(tài)特征，但是仔細看可發(fā)現(xiàn)像素塊間存在著嚴重的邊緣效應和塊效應，有明顯的不自然連接，圖中用紅色邊框標明，且呈現(xiàn)一定的光暈感，圖中用綠色邊款標明。分析產生主要原因有兩部分，一是圖像分塊之后的后續(xù)融合處理不夠準確，二是無法自適應光照變化。

圖2 兩種不同算法生成HDR圖像

從兩種算法的實驗細節(jié)效果對比圖可以看出，本文算法在細節(jié)處理效果明顯優(yōu)于基于分塊融合算法。如圖3 兩種算法細節(jié)對比圖。

圖3 兩種算法細節(jié)對比圖

第二組中對比實驗：Han 等人[13]提出基于梯度金字塔融合生成HDR 圖像方法，利用梯度可提供圖像方向信息和邊緣信息進行多曝光LDR 圖像融合。實驗結果如圖4 所示?；谔荻壬傻腍DR 圖像存在一定程度的泛灰（如椅子周圍）、光暈（窗臺和窗簾）現(xiàn)象，圖中用紅色邊框標明。分析細節(jié)丟失最主要的原因是多像素融合過程中產生梯度反轉所導致。然而，本文算法生成HDR 圖像中原本過亮區(qū)域明顯變較暗、過暗區(qū)域變較亮，圖像色彩更均勻，邊緣信息也得到增強，其更接近于真實場景動態(tài)范圍特性。

圖4 兩種不同算法生成HDR圖像

第三組中對比實驗：Xia 等人[14]提出基于YUV 空間的HDR 圖像生成算法，其實驗結果如圖5 所示，基于YUV 空間的HDR 圖像顏色變現(xiàn)力較弱，色彩存在偏離，色彩表現(xiàn)力不夠真實，圖中用綠色邊框標明。圖像區(qū)域細節(jié)信息較模糊如圖中玩具熊領結部位，甚至大面積的細節(jié)并未呈現(xiàn)出來如原本的真實物體在圖像上一片漆黑，圖中用紅色邊框標明。

圖5 兩種不同算法生成HDR圖像

如圖6 兩種算法細節(jié)放大效果對比圖，左列基于YUV 空間放大細節(jié)，右列本文算法細節(jié)圖。本文提出算法生成的HDR 圖像能很好的避免顏色偏離，圖像色彩表現(xiàn)更接近現(xiàn)實場景，且符合人眼視覺特性，圖像細節(jié)信息保留的更多。

圖6 兩種算法細節(jié)對比圖

為了更客觀評價算法的優(yōu)越性，本文采用DRIM（Dynamic Range Independent Image Quality Metric）[15]評估軟件來進行HDR 圖像質量的評價，該軟件會生成一幀由紅色、綠色、藍色及灰色像素四種顏色組成的圖像。其中紅色部分代表對比度反轉，綠色部分代表對比度丟失，藍色部分代表對比度增強，灰色部分代表對比度無變化。如圖7 為DRIM 軟件生成圖像色彩分布的統(tǒng)計圖。第一實驗組是用10 組LDR 數(shù)據(jù)分別依次輸入文獻[12]基于分塊融合算法和本文算法，再對輸出結果進行比較。第二實驗組和第三實驗組和第一實驗組做法相同，只是輸入了不同的10 組LDR 數(shù)據(jù)和對比的算法變化上的不同。表1 為不同分辨率圖像仿真運行時間。

圖7 DRIM軟件生成圖像色彩分布的統(tǒng)計圖

表1 各算法對不同大小圖像生成HDR 圖像運行時間

通過實驗，比較數(shù)據(jù)可以看出，本文提出算法生成融合圖像對比度反轉和對比度丟失率比較小，而對比度增強面積較大。從表中數(shù)據(jù)，可以發(fā)現(xiàn)基于分塊融合算法耗時最長，分塊步驟比較繁瑣，算法有一定的計算復雜度，導致執(zhí)行時間較長。相比較其他兩種算法，本文算法魯棒性強，很大程度上減少了計算量，提高了算法運算速度。

3 結語

本文提出一種新的生成HDR 圖像算法，首先提取多曝光LDR 圖像序列的顯著特征，選取圖像對比度、彩色飽和度、曝光亮度三個測度因子作為顯著特征生成加權圖，然后分別對源圖像和生成的加權圖進行高斯金字塔分解，對應子圖層相乘得到一組新子圖層，最后對新子圖層作拉普拉斯逆變換生成HDR 圖像。本文通過改進金字塔技術解決了圖像細節(jié)模糊的問題，將對比度動態(tài)范圍拉伸解決了圖像對比度反轉，色彩飽和更符合人眼的直觀視覺等特點，為了提高算法的運算速率設計一個簡單高效卷積核進行卷積運算，大大降低了運算的復雜度。應用改進金字塔融合技術最大限度獲得場景完整信息。