中值直方圖均衡的動(dòng)態(tài)場(chǎng)景多曝光圖像融合算法

王書朋，賀瑞，王瑜婧，趙瑤

（西安科技大學(xué)通信與信息工程學(xué)院，西安 710600）

0 概述

由于現(xiàn)實(shí)場(chǎng)景和普通圖像采集設(shè)備的動(dòng)態(tài)范圍不匹配，獲取的圖像不能準(zhǔn)確地反映場(chǎng)景中的細(xì)節(jié)信息［1-2］，利用多曝光圖像融合［3-4］能使一組包含不同程度細(xì)節(jié)信息的圖像表現(xiàn)在一幅圖像中。然而，實(shí)際場(chǎng)景大部分是動(dòng)態(tài)的，所以攝像機(jī)捕獲的多幀圖像存在移動(dòng)的物體，比如移動(dòng)的行人、汽車等。融合圖像出現(xiàn)透明的鬼影或產(chǎn)生模糊，嚴(yán)重影響了融合圖像的質(zhì)量并限制了許多融合算法的應(yīng)用。

為解決動(dòng)態(tài)場(chǎng)景下多曝光圖像融合所產(chǎn)生鬼影的問(wèn)題，GALLO等［5］利用隨機(jī)樣本一致性的異常點(diǎn)檢測(cè)算法能夠有效消除鬼影，但在融合圖像中出現(xiàn)色彩失真和塊效應(yīng)的情況，LIU等［6］利用尺度不變特征變換進(jìn)行多曝光圖像融合，可以有效地保存輸入圖像的細(xì)節(jié)信息，但融合結(jié)果仍存在鬼影現(xiàn)象，PECE等［7］利用中值門限位圖進(jìn)行運(yùn)動(dòng)區(qū)域檢測(cè)，隨后HO等［8］提出了多級(jí)門限位圖的運(yùn)動(dòng)區(qū)域檢測(cè)算法，但是當(dāng)圖像含有大量的曝光像素時(shí)，采用中值門限位圖或多級(jí)門限位圖進(jìn)行融合的結(jié)果存在鬼影、模糊和噪點(diǎn)現(xiàn)象。近年來(lái)，深度學(xué)習(xí)方法［4］被應(yīng)用到HDR 圖像去鬼影中，KALANTARI等［9］將CNN 合成引入多曝光圖像融合中，在鬼影去除方面取得較好的效果，但是在光流法對(duì)齊的過(guò)程中容易引入偽影和畸變。WU等［10］提出一種ResNet 網(wǎng)絡(luò)，可以將多幅LDR 圖像轉(zhuǎn)換為無(wú)鬼影HDR 圖像。

為消除多曝光融合圖像中因運(yùn)動(dòng)物體引入的鬼影現(xiàn)象，本文提出一種基于中值直方圖均衡的動(dòng)態(tài)場(chǎng)景多曝光圖像融合算法。通過(guò)中值直方圖均衡得到公共直方圖，其對(duì)于兩幅不同程度曝光的圖像能夠較好地調(diào)整亮度差異。對(duì)輸入圖像和參考圖像進(jìn)行中值直方圖均衡處理能夠得到亮度分布一致的圖像對(duì)，通過(guò)對(duì)圖像對(duì)做差分，根據(jù)差分圖進(jìn)行閾值分割和形態(tài)學(xué)優(yōu)化得到運(yùn)動(dòng)權(quán)重圖，以準(zhǔn)確地檢測(cè)運(yùn)動(dòng)區(qū)域。

1 運(yùn)動(dòng)區(qū)域檢測(cè)

在多個(gè)曝光圖像序列中選取過(guò)曝光和欠曝光像素最少的圖像作為參考圖像Iref，以其他圖像作為輸入圖像Ii(1 ≤i≤N-1)。為了檢測(cè)多個(gè)曝光圖像序列中的動(dòng)態(tài)區(qū)域，需要比較輸入圖像與參考圖像的差別。由于輸入圖像和參考圖像的亮度顯著不同，因此無(wú)法直接比較兩者的內(nèi)容是否相同。為解決上述問(wèn)題，一種直觀的方法是通過(guò)直方圖匹配［11］調(diào)整輸入圖像的亮度分布，令其與參考圖像的亮度分布大致相同。輸入圖像經(jīng)過(guò)校正后，其亮度與參考圖像相似，通過(guò)計(jì)算兩者之間的差分圖來(lái)檢測(cè)運(yùn)動(dòng)區(qū)域。

表示經(jīng)過(guò)直方圖匹配后的輸入圖像，因此將直方圖處理后的輸入圖像和參考圖像相減得到差分圖定義為：

中值圖像均衡（MIE）運(yùn)動(dòng)區(qū)域檢測(cè)流程如圖1所示。

圖1 直方圖處理后的運(yùn)動(dòng)區(qū)域檢測(cè)結(jié)果Fig.1 Motion region detection results after histogram processing

當(dāng)輸入圖像存在大量的曝光像素時(shí)，直方圖匹配后的輸入圖像和參考圖像整體亮度差異較大，由差分圖無(wú)法區(qū)分輸入圖像的運(yùn)動(dòng)區(qū)域與靜態(tài)區(qū)域（見(jiàn)圖1（c）和圖1（f））。針對(duì)這一問(wèn)題，本文提出了中值直方圖均衡的圖像運(yùn)動(dòng)區(qū)域檢測(cè)算法。中值直方圖均衡算法是DELON等［12］在2004 年提出的，該直方圖處理算法可以描述為將兩幅圖像的直方圖調(diào)整為其調(diào)和平均數(shù)，在保持圖像原有灰度動(dòng)態(tài)的前提下得到直方圖分布相同的兩幅圖像。因此，通過(guò)中值直方圖均衡算法處理輸入圖像與參考圖像的直方圖，得到曝光基本一致圖像對(duì)，如圖1（d）、圖1（e）所示。通過(guò)計(jì)算中值直方圖均衡處理后的圖像對(duì)的差分圖達(dá)到運(yùn)動(dòng)區(qū)域檢測(cè)的目的，再將得到的差分圖優(yōu)化處理得到最終的運(yùn)動(dòng)目標(biāo)。

MIE 運(yùn)動(dòng)區(qū)域檢測(cè)流程如圖2 所示。

圖2 MIE 運(yùn)動(dòng)區(qū)域檢測(cè)流程Fig.2 Procedure of MIE motion region detection

輸入圖像和參考圖像中值直方圖均衡的計(jì)算過(guò)程為：

其中：MMIE(·，·)表示中值直方圖均衡處理過(guò)程；和為處理后的輸入圖像和參考圖像，如圖1（d）、圖1（e）所示。將每組曝光基本一致圖像對(duì)做差分：

其中：⊙為腐蝕操作；B1為3×3 的濾波器；⊕為膨脹操作；B2是9×9 的濾波器；是優(yōu)化后的運(yùn)動(dòng)權(quán)重圖。圖3（a）、圖3（b）分別給出了直方圖匹配和中值直方圖均衡算法得到的運(yùn)動(dòng)權(quán)重圖，可以看出后者檢測(cè)到的運(yùn)動(dòng)區(qū)域更準(zhǔn)確。

圖3 運(yùn)動(dòng)權(quán)重圖Fig.3 Motion weight map

2 靜態(tài)多曝光圖像

為了得到亮度連續(xù)的靜態(tài)輸入圖像，本文利用亮度映射函數(shù)處理參考圖像。根據(jù)運(yùn)動(dòng)權(quán)重圖將處理后的參考圖像和輸入圖像進(jìn)行加權(quán)求和，獲得同參考圖像運(yùn)動(dòng)內(nèi)容相同的靜態(tài)圖像序列。生成靜態(tài)多曝光圖像流程如圖4 所示。

圖4 靜態(tài)多曝光圖像流程Fig.4 Procedure of static multi-exposure images

由于輸入圖像與參考圖像亮度差異大，將輸入圖像的運(yùn)動(dòng)區(qū)域直接替換為參考圖像對(duì)應(yīng)的區(qū)域會(huì)出現(xiàn)圖像亮度不連續(xù)的情況。為了得到一組自然的靜態(tài)圖像序列，引入IMF［14］處理參考圖像，得到與參考圖像內(nèi)容一致且與其余輸入圖像亮度分布相同的圖像序列

其中：IIMF(·)表示亮度映射函數(shù)；Ii為輸入圖像；Iref為參考圖像。

將輸入圖像序列Ii與經(jīng)過(guò)亮度映射函數(shù)處理的參考圖像加權(quán)求和，便可得到結(jié)構(gòu)與亮度一致的靜態(tài)圖像序列：

3 圖像融合

針對(duì)獲得的靜態(tài)圖像序列融合，本文使用MA等［15］提出的一種結(jié)構(gòu)塊分解方法。首先利用滑動(dòng)窗口技術(shù)在圖像中獲取大小相等的圖像塊，并將得到的圖像塊xk分解為信號(hào)強(qiáng)度ck、圖像結(jié)構(gòu)sk和平均亮度lk3 個(gè)獨(dú)立分量［16］。

其中：表示強(qiáng)度分量的融合結(jié)果，圖像結(jié)構(gòu)分量表征了靜態(tài)副本的細(xì)節(jié)信息。為保留源圖像的細(xì)節(jié)信息，對(duì)比不同輸入圖像的圖像塊中細(xì)節(jié)信息的豐富程度，對(duì)于包含豐富細(xì)節(jié)信息的圖像塊給予較大的權(quán)值。圖像結(jié)構(gòu)分量的融合規(guī)則如式（10）、式（11）所示：

其中：為融合后的結(jié)構(gòu)分量；S(·)為結(jié)構(gòu)分量的權(quán)重函數(shù)；p≥0 代表一個(gè)指數(shù)參數(shù)，p越大，說(shuō)明強(qiáng)度越強(qiáng)的圖像塊權(quán)值越大。平均亮度分量設(shè)計(jì)加權(quán)求和融合規(guī)則如式（12）、式（13）所示：

其中：^是融合后的亮度分量；L(μk，lk)是二維高斯函數(shù)構(gòu)建的亮度分量權(quán)重；μk和lk分別表示全局和局部平均亮度；σg和σl表示標(biāo)準(zhǔn)差。x^ 融合圖像可由融合后3 個(gè)分量重構(gòu)：

4 實(shí)驗(yàn)結(jié)果與分析

對(duì)同一場(chǎng)景下曝光程度不同的圖像序列進(jìn)行融合，將本文算法與DDHR［10］、FMMR［17］、DGF［18］、FMSD［19］、PMF［20］5 種算法進(jìn)行對(duì)比分析。實(shí)驗(yàn)環(huán)境為Intel Core i5 處理器，3 GHz 主頻，8 GB 內(nèi)存，64 位Windows10 操作系統(tǒng)，Matlab2016a。

4.1 主觀視覺(jué)分析

為了全面地評(píng)價(jià)融合結(jié)果，圖5～圖10 給出了7 種不同算法對(duì)3 組動(dòng)態(tài)多曝光圖像序列融合后的結(jié)果（彩圖效果見(jiàn)《計(jì)算機(jī)工程》官網(wǎng)HTML 版）。由圖5（b）、圖7（b）和圖9（b）可以看出，DDHR 算法融合圖像能夠消除鬼影現(xiàn)象，但是丟失了源圖像的色彩信息，融合圖像色彩飽和度低。從圖6（b）、圖6（c）、圖8（b）、圖8（c）和圖10（b）、圖10（c）可以看出，F(xiàn)MMR 算法和DGF 算法的融合結(jié)果中仍出現(xiàn)了明顯的鬼影，說(shuō)明這兩種算法不能有效地解決運(yùn)動(dòng)物體對(duì)融合結(jié)果產(chǎn)生的影響。FMSD算法和PMF算法的融合結(jié)果在圖10（d）和圖10（e）中顯示能夠有效地去除鬼影，但是FMSD算法在Campus圖像序列如圖7（e）所示在天空云的邊緣出現(xiàn)了不連續(xù)的現(xiàn)象。從3 組圖像的局部放大圖來(lái)看，F(xiàn)MSD 算法和PMF 算法在顏色內(nèi)容保存方面不如本文算法。PMF 算法的融合圖像在圖8（e）的路人頭部出現(xiàn)透明現(xiàn)象，在圖10（e）中的天空中大面積出現(xiàn)了失真，丟失了源圖像的細(xì)節(jié)信息，在局部細(xì)節(jié)信息保存方面不如本文算法。根據(jù)融合結(jié)果總體分析，本文提出的直方圖匹配融合算法（Ours1）和中值直方圖均衡融合算法（Ours2）的融合結(jié)果實(shí)現(xiàn)了動(dòng)態(tài)多曝光融合圖像鬼影消除，相比于其他5種算法具有一定優(yōu)勢(shì)。但是如圖6（f）所示，Ours1在人“手腕”的部位出現(xiàn)了明顯的不連續(xù)情況。因此，Ours2 方法能更大限度地保存源圖像的顏色和細(xì)節(jié)信息，其運(yùn)動(dòng)區(qū)域更符合人眼視覺(jué)感知。

圖5 YWFusion 圖像序列中不同算法融合結(jié)果Fig.5 Fusion results of different algorithms for YWFusion image sequences

圖6 YWFusion 圖像序列中融合結(jié)果局部放大圖Fig.6 Drawing of partial enlargement in of YWFusion image sequence fusion results

圖7 Campus 圖像序列中不同算法融合結(jié)果Fig.7 Fusion results of different algorithms for Campus image sequences

圖8 Campus 圖像序列融合結(jié)果的局部放大圖Fig.8 Drawing of partial enlargement in of Campus image sequence fusion results

圖9 Tate3 圖像序列中不同算法融合結(jié)果Fig.9 Fusion results of different algorithms for Tate3 image sequences

圖10 Tate3 圖像序列融合結(jié)果的局部放大圖Fig.10 Drawing of partial enlargement in of Tate3 image sequence fusion results

4.2 客觀指標(biāo)評(píng)價(jià)

為了客觀地評(píng)估7 種算法的融合結(jié)果，本文選用標(biāo)準(zhǔn)差（SD）［21］、邊緣強(qiáng)度（EI）［22］、相關(guān)系數(shù)（Corr）［23］和動(dòng)態(tài)場(chǎng)景結(jié)構(gòu)一致（SSIM-d）［24］作為客觀評(píng)價(jià)指標(biāo)，分別對(duì)不同動(dòng)態(tài)場(chǎng)景下3 組多曝光圖像序列的融合結(jié)果進(jìn)行評(píng)價(jià)。表1～表4 是不同算法的3 組融合結(jié)果在4 個(gè)客觀指標(biāo)下的實(shí)驗(yàn)數(shù)據(jù)，表中加粗?jǐn)?shù)據(jù)表示在同一張圖像中取得的最優(yōu)值。

表1 SD 指標(biāo)對(duì)比Table 1 SD index comparison

表2 EI 指標(biāo)對(duì)比Table 2 EI index comparison

表3 Coor 指標(biāo)對(duì)比Table 3 Coor index comparison

表4 SSIM-d 指標(biāo)對(duì)比Table 4 SSIM-d index comparison

由表1～表4 可以看出，本文提出的2 種算法在4 個(gè)客觀評(píng)價(jià)指標(biāo)下得到的大部分?jǐn)?shù)據(jù)處于較高水平。SD 指標(biāo)代表圖像的對(duì)比度，DGF 算法、FMSD 算法和本文算法的融合結(jié)果相比其他算法處于較高的水平，說(shuō)明DGF、FMSD 和本文算法融合結(jié)果的對(duì)比度較高。EI 指標(biāo)表示圖像邊緣信息表達(dá)能力，Ours2 算法在YWFusion 和Campus兩組圖像中都取得了最優(yōu)值，說(shuō)明Ours2 算法相比于Ours1 算法能更精確地檢測(cè)到運(yùn)動(dòng)區(qū)域，使得融合結(jié)果更多地保留亮區(qū)和暗區(qū)邊緣信息，融合圖像層次清晰。SSIM-d 是針對(duì)動(dòng)態(tài)場(chǎng)景下多曝光融合圖像而設(shè)計(jì)的結(jié)構(gòu)相似性指標(biāo)，本文的算法在Corr 和SSIM-d 2 個(gè)指標(biāo)上相比于其他算法取值較優(yōu)，說(shuō)明本文的算法在包含源圖像信息方面性能較好。結(jié)合主觀和客觀評(píng)價(jià)可知，本文基于直方圖處理的動(dòng)態(tài)多曝光融合圖像去鬼影算法優(yōu)于其他算法，能夠準(zhǔn)確地檢測(cè)出動(dòng)態(tài)多曝光源圖像序列的運(yùn)動(dòng)區(qū)域并生成一幅自然且無(wú)鬼影的融合圖像，具有更好的融合性能。

5 結(jié)束語(yǔ)

本文提出一種中值直方圖均衡的動(dòng)態(tài)場(chǎng)景多曝光圖像融合算法。利用中值直方圖均衡算法調(diào)整輸入圖像和參考圖像的亮度差異，消除了因背景曝光不同而對(duì)運(yùn)動(dòng)區(qū)域檢測(cè)產(chǎn)生的影響。根據(jù)差分法和閾值分割檢測(cè)運(yùn)動(dòng)區(qū)域，采用形態(tài)學(xué)處理優(yōu)化運(yùn)動(dòng)權(quán)重圖提高源圖像中運(yùn)動(dòng)區(qū)域檢測(cè)的準(zhǔn)確性。通過(guò)IMF 調(diào)整參考圖像的亮度，從而生成一組自然的靜態(tài)圖像序列。實(shí)驗(yàn)結(jié)果表明，本文算法能夠消除傳統(tǒng)融合算法所產(chǎn)生的鬼影，得到一幅生動(dòng)自然的融合圖像。雖然本文算法能夠產(chǎn)生無(wú)鬼影的融合圖像，但是算法復(fù)雜度高，在運(yùn)行速度方面不具備優(yōu)勢(shì)。下一步將降低算法復(fù)雜度，并將算法應(yīng)用于實(shí)時(shí)圖像和視頻處理。