基于重映射和曝光融合的HDR成像

吳玲風(fēng)， 李 娜， 胡駿保

(1． 廣東科技學(xué)院 機(jī)電工程學(xué)院，廣東 東莞 523083；2. 西安郵電大學(xué) 通信與信息工程學(xué)院，陜西 西安 710121；3． 深圳大學(xué) 微納光電子學(xué)研究院，廣東 深圳 518060)

1 引 言

近年來，光學(xué)成像技術(shù)在生物醫(yī)學(xué)、遙感、天文觀測、計(jì)量學(xué)等領(lǐng)域發(fā)揮重要的作用[1]，而光學(xué)成像技術(shù)的發(fā)展離不開圖像傳感器件CCD/CMOS制造工藝上的進(jìn)步。隨著圖像傳感器件不斷優(yōu)化，圖像的成像質(zhì)量在分辨率、位深度上都得到了極大提高[2]。但是，由于普通圖像傳感器件的動(dòng)態(tài)范圍是有限的，遠(yuǎn)小于真實(shí)的自然場景，因此只能采集到低動(dòng)態(tài)范圍圖像(Low Dynamic Range, LDR)。如果增加曝光時(shí)間以使曝光不足區(qū)域顯示信息，則原本曝光良好的區(qū)域會(huì)出現(xiàn)曝光過度甚至飽和的情況；如果減少曝光時(shí)間以使曝光過度區(qū)域顯示，則原本曝光良好的區(qū)域又會(huì)出現(xiàn)曝光不足。為了解決該問題，高動(dòng)態(tài)范圍(High Dynamic Range, HDR)成像技術(shù)應(yīng)運(yùn)而生[3]，且已經(jīng)有了許多算法。這些算法主要分為兩大類：色調(diào)映射(Tone Mapping, TM)和多尺度曝光融合(Multiscale Exposure Fusion, MEF)。TM[4]需要能反演相機(jī)響應(yīng)函數(shù)(Camera Response Function, CRF)并在輻射域中進(jìn)行HDR重建。因此，這類算法需要對多曝光圖像序列進(jìn)行輻照度恢復(fù)(求解相機(jī)響應(yīng)函數(shù)與曝光參數(shù))，并壓縮HDR圖像的動(dòng)態(tài)范圍以方便在標(biāo)準(zhǔn)顯示器上顯示HDR圖像。雖然這類技術(shù)重建的圖像可以實(shí)現(xiàn)符合人眼的視覺效果，但因程序過于繁瑣，已經(jīng)無法滿足當(dāng)下HDR成像的需求。另一類技術(shù)MEF[5-6]可在強(qiáng)度域中通過一定的融合規(guī)則直接生成一幅HDR圖像，因此提供了一種更簡單，更直接有效的方法，且該方法已在移動(dòng)設(shè)備中廣泛用于HDR成像。

MEF算法通常都需要采集同一場景的多幅不同曝光量的圖像以期包含實(shí)際場景的所有細(xì)節(jié)信息，為此需在圖像探測器上設(shè)定一系列曝光值(Exposure Value, EV)間隔很小的曝光量，例如1 EV或2 EV。這通常適用于傳統(tǒng)算法，即通過設(shè)定不同曝光時(shí)間采集一系列圖像。一方面，這類方法雖然有效，但是在多幅圖像采集的過程中，由于相機(jī)抖動(dòng)造成的圖像視場失匹配在所難免，因此應(yīng)該在保持足夠的圖像信息同時(shí)盡可能減少圖像采集。另一方面，對于新興的HDR圖像采集系統(tǒng)而言，多幅圖像的采集將不再適用。一個(gè)典型的例子是帶有幾個(gè)傳感器的基于分束的采集系統(tǒng)[7]。為了節(jié)省成本，可以將傳感器的數(shù)量最小化為兩個(gè)。另一個(gè)例子是基于行控制的CMOS采集系統(tǒng)[8]。為了簡化這種CMOS采圖裝置，一個(gè)圖像視場被分成兩個(gè)分別對應(yīng)不同曝光時(shí)間的視場區(qū)域。由于曝光次數(shù)有限，通常設(shè)定一個(gè)短曝光、一個(gè)長曝光，且兩次曝光時(shí)間之間的比率較大，以便盡可能多地捕捉信息。但是，現(xiàn)有的MEF算法在只有兩幅曝光量較大的輸入圖像時(shí)，不能保持輸出的融合圖像具有較高的質(zhì)量。因此，有必要開發(fā)一種新的MEF算法，該算法可用于一組短、長兩個(gè)曝光率較大圖像的高質(zhì)量HDR圖像融合。

本文針對一組短、長曝光圖像的HDR圖像獲取，提出了一種基于人工重映射和多尺度曝光融合的高質(zhì)量HDR圖像生成方法。該方法可直接從短、長曝光圖像中通過人工重映射分別生成一系列涵蓋亮暗場景信息的多曝光圖像序列。然后采用曝光融合對所有的多曝光圖像序列進(jìn)行多尺度運(yùn)算，最終可得到一幅細(xì)節(jié)保持良好的HDR圖像。所提方法為基于CCD/CMOS的便攜式成像設(shè)備的高質(zhì)量HDR成像提供了參考，可助力于光學(xué)成像及其應(yīng)用領(lǐng)域。

2 原理和方法

所提的基于重映射和多尺度曝光融合的HDR成像方法主要包括兩大塊：人工重映射和多尺度曝光融合，其總體框架如圖1所示。首先，引入人工重映射函數(shù)，并根據(jù)人工重映射函數(shù)從輸入的一組短、長曝光圖像對中分別生成一系列多曝光圖像序列，這些序列可自適應(yīng)地涵蓋真實(shí)場景的亮暗細(xì)節(jié)；然后，計(jì)算每幅生成序列圖像的對比度、飽和度以及曝光度指標(biāo)用于圖像評(píng)價(jià)，并根據(jù)這3個(gè)質(zhì)量評(píng)價(jià)因子求取多曝光序列權(quán)重圖；接著對權(quán)重圖進(jìn)行高斯金字塔分解，并對多曝光圖像序列進(jìn)行拉普拉斯金字塔分解；最后，基于多尺度金字塔融合規(guī)則重建圖像金字塔，并合成一幅細(xì)節(jié)保持良好的HDR圖像輸出。

圖1 所提方法的流程框圖Fig.1 Flow chart of the proposed method

2.1 人工重映射函數(shù)

針對輸入的一組短曝光和長曝光圖像對，為了盡可能多地提取出有限動(dòng)態(tài)范圍內(nèi)的圖像信息，首先引入一種人工重映射方法來擴(kuò)張圖像序列。文獻(xiàn)[9]提出了一種圖像超范圍偽影校正的方法——將每幅輸入圖像分離成一系列動(dòng)態(tài)范圍縮小的圖像。如此，可將每幅輸入圖像的動(dòng)態(tài)范圍分布在由該圖像創(chuàng)建的幾個(gè)新圖像序列中。受此啟發(fā)，可對輸入的短曝光圖像、長曝光圖像分別進(jìn)行人工重映射來擴(kuò)張輸入的圖像序列，盡可能多地獲取到每個(gè)通道的動(dòng)態(tài)范圍。定義的重映射函數(shù)g(i,j)如公式(1)所示：

(1)

(2)

該人工重映射函數(shù)中僅有一個(gè)參數(shù)β是未知的，但它可由用戶自行設(shè)置，根據(jù)設(shè)定的β，再根據(jù)公式(3)可得到輸入的每幅圖像擴(kuò)張到的圖像序列。ceil()表示向上取整。

(3)

這樣，便可通過設(shè)置的β求出M。根據(jù)人工重映射函數(shù)自適應(yīng)地生成M個(gè)多曝光圖像序列。對于本文輸入的一組短曝光和長曝光圖像對，經(jīng)過擴(kuò)張之后，可得到2M個(gè)具有不同動(dòng)態(tài)范圍的圖像序列。

2.2 曝光融合

根據(jù)上述人工重映射函數(shù)獲得多曝光序列后，就可以通過傳統(tǒng)曝光融合的方式獲取HDR圖像。Mertens等人[5]提出了基于金字塔的多曝光融合方法，獲得的圖像在大多數(shù)情況下都取得了很好的效果，本節(jié)的HDR圖像恢復(fù)是在Mertens金字塔的曝光融合基礎(chǔ)上進(jìn)行的改進(jìn)版本。

2.2.1 權(quán)重圖

曝光融合過程需要求解權(quán)重圖，因此選擇合適的質(zhì)量評(píng)價(jià)指標(biāo)計(jì)算權(quán)重是至關(guān)重要的。Mertens等人的方法使用了曝光度、對比度、飽和度3種度量指標(biāo)，取得了不錯(cuò)的效果。為此，本文采用Mertens的權(quán)重圖評(píng)價(jià)體系，并優(yōu)化了用于曝光度的度量指標(biāo)。定義μj為第j個(gè)圖像序列，j是序列中圖像的位置；c是彩色圖像的顏色通道。

至于曝光度度量，Mertens等使用高斯曲線來衡量每個(gè)像素值與中值0.5的接近程度，但這有時(shí)會(huì)產(chǎn)生不必要的光暈。為了克服此影響，本文設(shè)計(jì)了一種新的權(quán)重函數(shù)用于計(jì)算曝光度，如公式(4)所示：

(4)

至于對比度度量，它由圖像灰度版本的離散拉普拉斯濾波器的絕對值表示，如公式(5)所示，其中hLaplacian是3×3的拉普拉斯濾波核。

(5)

至于飽和度度量，用3個(gè)通道的像素大小的標(biāo)準(zhǔn)平方差來計(jì)算飽和度，如公式(6)所示:

通過對生成的每幅多曝光圖像進(jìn)行曝光度、對比度、飽和度的測量，并將這3個(gè)計(jì)算量線性相乘(并作歸一化)，可得到這些多曝光圖像序列權(quán)重圖，如公式(7)所示。

(7)

2.2.2 多尺度融合

得到所有圖像序列的權(quán)重圖后，對權(quán)重圖wj進(jìn)行高斯金字塔分解，記作G{w}j。高斯金字塔由低層下采樣獲得高層圖像，其第0層為原始圖像，之后對每一層進(jìn)行高斯模糊后再降2采樣獲得，高斯金字塔分解算法如公式(8)所示：

(8)

式中:Gl為高斯金字塔的第l層圖像; (x,y)是像素的位置坐標(biāo);Rl、Cl為第l層圖像的總行數(shù)與總列數(shù);ω(m,n)為高斯濾波器;(m,n)表示第m行n列數(shù)值;L表示高斯金字塔層數(shù)，在本算法中取最大的可分解層數(shù)，計(jì)算方式為log2[min(R0,C0)]。

對生成的多曝光序列μj進(jìn)行拉普拉斯金字塔分解，記作L{u}j。拉普拉斯金字塔首先在構(gòu)造出大小減半的高斯金字塔圖形后，對高斯金字塔進(jìn)行插值和擴(kuò)展。擴(kuò)展插值算法與分解過程類似，在對高斯金字塔的每一層進(jìn)行插值后，可以得到擴(kuò)展結(jié)果，如公式(9)所示:

(9)

之后將第l層圖像G與G*相減，得到包含細(xì)節(jié)信息的第l層圖像Ll，如公式(10)所示:

(10)

將高斯金字塔分解的結(jié)果G{w}j和拉普拉斯金字塔分解的結(jié)果L{u}j按照像素對應(yīng)的空間位置進(jìn)行乘積運(yùn)算并求和可得到融合的金字塔F{v}，如公式(11)所示，其中v是想要的重建圖像。

(11)

最后，根據(jù)拉普拉斯金字塔逆變換重建出圖像v，這樣就得到了最終要輸出的亮暗細(xì)節(jié)保持良好的HDR圖像。

3 實(shí)驗(yàn)結(jié)果與主觀評(píng)價(jià)

為了驗(yàn)證本文方法的可行性，實(shí)驗(yàn)分別選取了靜態(tài)場景中“Chinese_garden”、“Venice”、“Office”、“Landscape”，這些是公開的、使用頻率較高的多曝光測試序列。為了證明本文方法的性能，選取了經(jīng)典的以及主流的方法與之對比，包括基于梯度場融合(Gradient Field Multi-Exposure Fusion, GF-MEF)[10]、基于濾波融合(Multi-Exposure Fusion with Median Filter and Recursive Filter, MFRF)[11]、基于金字塔融合(Details-Preserving Multi-Exposure Fusion, DP-MEF)[12]以及基于深度學(xué)習(xí)融合(Multi-Exposure Fusion with CNN Features, CNN-MEF)[13]。在下文的對比實(shí)驗(yàn)中，所提方法使用的輸入圖像選取了原場景序列中一幅短曝光和一幅長曝光圖像(其中“Chinese_garden”、“Venice”、“Landscape”均含3幅曝光圖像，本文方法使用的輸入圖像為各序列中第一幅和最后一幅；“Office” 含6幅曝光圖像，本文方法使用的輸入圖像為該序列中第2幅和第5幅)，其余4種方法使用的輸入圖像則為原場景序列中所有的多曝光圖像。關(guān)于算法中的參數(shù)，本文推薦β參數(shù)取0.5；其他算法中所涉及到的參數(shù)均采用默認(rèn)的設(shè)定值。本文所有實(shí)驗(yàn)結(jié)果是基于Windows 10, 使用PC平臺(tái)(Intel i5處理器，16 G內(nèi)存)上的MATLAB R2017b完成。

圖2 場景“Chinese_garden”的融合結(jié)果對比Fig.2 Comparison results of the scene “Chinese_garden”

圖2展示了使用“Chinese_garden”場景序列的融合結(jié)果。進(jìn)行曝光融合的場景中需要采集一組多次曝光圖像，考慮到本文針對的是包含一幅短曝光和一幅長曝光圖像的融合，因此輸入的圖像選取了原場景中兩幅較極端的曝光圖像，如圖2(a)所示。后文的比較中，所提方法也采用相同的方式輸入圖像，但與之對比的方法則輸入所有的曝光圖像。圖2(b)～(f)展示了使用不同方法進(jìn)行融合恢復(fù)的效果。從視覺上看，圖2(b)中基于GF-MEF的方法圖像整體渲染過渡，使得天空的場景和園林景觀蒙上了一層灰色基調(diào)。圖2(c)中基于MFRF的方法圖像對比分明，無論是天空的白云還是園林內(nèi)的行人、草木，整體上呈現(xiàn)出了符合人眼視覺效果。圖2(d)中基于DP-MEF的方法在圖像曝光度和飽和度上展示出了較好的視覺效果，但是對比度上似乎計(jì)算過度，塔頂旁邊的屋檐、園林內(nèi)的行人以及行人觀賞的植物不夠突出，然而天空中的云彩卻清晰可見。圖2(e)中基于CNN-MEF的方法和MFRF的方法恢復(fù)的圖像效果給人的視覺感觀相似。圖2(f)中基于本文的方法圖像整體色調(diào)分明，在對比度和飽和度上呈現(xiàn)出較好的效果，甚至在清晰度上較圖2(c)、圖2(e)略微更勝一籌。

圖3 場景“Venice”的融合結(jié)果對比Fig.3 Comparison results of the scene “Venice”

圖3展示了使用場景“Venice”的融合結(jié)果。GF-MEF使得遠(yuǎn)處的城堡和水面上的船都渲染成灰白基調(diào)；MFRF使得城堡左右融合的效果不一致，左方偏暗而右方偏亮；DP-MEF使得城堡里的細(xì)節(jié)不夠突出；CNN-MEF城堡整體效果符合人類視覺感知，但是明顯有一些模糊感；本文方法恢復(fù)的效果色彩分明，清晰度較高，視覺效果更好。

圖4和圖5則分別展示了使用“Office”序列和“Landscape”序列的融合結(jié)果。主觀上，與前4 種方法相比，本文的方法融合的效果圖像色彩明亮豐富、紋理細(xì)節(jié)清晰可見、整體與全局銜接自然，總體效果更加接近真實(shí)自然場景。

圖4 場景“Office”的融合結(jié)果對比Fig.4 Comparison results of the scene “Office”

圖5 場景“Landscape”的融合結(jié)果對比Fig.5 Comparison results of the scene “Landscape”

4 客觀評(píng)價(jià)

上文已從主觀上定性地分析了所提方法的融合圖像效果，為了客觀地定量評(píng)價(jià)融合的效果，需要選取一個(gè)合適的評(píng)價(jià)方法。然而，由于MEF體系中缺乏一個(gè)可以作為基準(zhǔn)的參考圖像，因此實(shí)際上還沒有可以完美評(píng)價(jià)圖像質(zhì)量的方法。但是，可以參考大多數(shù)權(quán)威論文中使用的評(píng)價(jià)方法。其中，一種稱為MEF-SSIM的評(píng)價(jià)[14]被認(rèn)為多曝光融合領(lǐng)域中評(píng)判準(zhǔn)繩，因此本文選用它作為客觀評(píng)價(jià)。MEF-SSIM是一種基于結(jié)構(gòu)相似性原理和一種新的塊結(jié)構(gòu)一致性度量方法的MEF客觀圖像質(zhì)量評(píng)價(jià)算法，其分?jǐn)?shù)值在0～1之間，0表示效果最差，1表示效果最好。表1展示了上述所有曝光測試序列中不同方法之間的MEF-SSIM定量評(píng)估值，可以看出，相比于其他方法，本文方法在大多數(shù)情況下MEF-SSIM計(jì)算值較高且均值最高，因此融合的效果最好。

表1 使用MEF-SSIM對各種序列結(jié)果進(jìn)行定量客觀評(píng)價(jià)Tab.1 Quantitative evaluation of the results using MEF-SSIM

續(xù) 表

為了比較計(jì)算效率，分別計(jì)算了這5種曝光融合算法在相應(yīng)曝光序列下的運(yùn)行時(shí)間，如表2所示。所對比的5種算法都是基于MATLAB編程，在Intel i5處理器、CPU主頻1.2 GHz、內(nèi)存16 G的PC上實(shí)現(xiàn)的。從對比結(jié)果可知，本文算法的計(jì)算效率優(yōu)于GF-MEF、DP-MEF和CNN-MEF算法，與提出的MFRF算法相當(dāng)。

表2 五種曝光融合算法的運(yùn)行時(shí)間Tab.2 Execution time of five exposure fusion methods (s)

5 結(jié) 論

提出了一種基于重映射和多尺度曝光融合的HDR成像方法。該方法只需要采集一組短、長曝光圖像，通過人工重映射分別生成一系列多曝光序列；然后通過曝光融合對所有多曝光序列進(jìn)行金字塔多尺度重建以生成一幅細(xì)節(jié)保持良好的HDR圖像。實(shí)驗(yàn)選取了4種代表不同類型的融合方法，針對不同的曝光測試序列，分別從主觀和客觀上對該算法進(jìn)行了比較與分析，結(jié)果表明：本文算法相比于GF-MEF在MEF-SSIM評(píng)分上提高了13.33%；相比于MFRF提高了1.57%；相比于DP-MEF提高了4.89%；相比于CNN-MEF提高了2.62%。本文算法具有較好細(xì)節(jié)保留的特點(diǎn)，呈現(xiàn)出了更加自然的高動(dòng)態(tài)范圍場景。所提方法為HDR成像領(lǐng)域提供了新的參考，有望為基于便攜式移動(dòng)采集設(shè)備，比如智能手機(jī)、攝像頭的HDR成像提供了一條有價(jià)值的途徑，未來可助力于光學(xué)成像、生物醫(yī)學(xué)成像、遙感成像等領(lǐng)域進(jìn)行高質(zhì)量HDR圖像探測。