一種細節(jié)保持的單曝光HDR圖像生成方法

周燕琴，陳國明，朱雄泳，呂緒洋

（廣東第二師范學院，計算機學院，廣州510303）

0 引言

信噪比是指最大不失真信號與噪聲信號的比值。一般來說，信噪比值越大，信號的失真度越小，混在信號里的噪聲越小，表示出來用信息越多。信噪比在數(shù)字圖像一個重要概念圖像動態(tài)范圍，是指是相機在單幀內(nèi)可以記錄的最大亮度值和最暗亮度值之比，亮度單位是cd/m2[1]。圖像的動態(tài)范圍越大，即拍攝圖像時所探測的光照強度范圍越廣，圖像呈現(xiàn)的細節(jié)信息越豐富。高動態(tài)范圍圖像（High-Dynamic Range）最大特點是能夠更好地反映出真實環(huán)境中的視覺效果。

相比傳統(tǒng)的低動態(tài)范圍圖像，高動態(tài)范圍圖像（HDR）表達視覺信息變得越來越重要。獲得HDR圖像可以通過高動態(tài)范圍相機采集，考慮到高動態(tài)范圍相機價格昂貴以及現(xiàn)有的圖像和視頻大多還是在低動態(tài)范圍的數(shù)位格式中保存。如何快速高效地將單幅LDR圖像擴展為HDR圖像成為研究熱點。因此，現(xiàn)階段主要采用逆色調(diào)映射來實現(xiàn)單曝光低動態(tài)范圍圖像（LDR）生成真實場景的高動態(tài)范圍（HDR）圖像。色調(diào)映射方法[2-3]是將HDR圖像的亮度信息進行壓縮，進而呈現(xiàn)LDR圖像的相關(guān)設(shè)備上。色調(diào)映射的逆運算[4]則是通過一次性的線性或非線性函數(shù)對LDR圖像的亮度范圍進行擴展，低動態(tài)范圍擴展為高動態(tài)范圍。目前，針對單曝光高動態(tài)范圍圖像（HDR）算法優(yōu)化及硬件實現(xiàn)，國內(nèi)外已經(jīng)有許多研究學者做了將lDR轉(zhuǎn)換為HDR方面的研究。2009年Kovaleski等人[5]提出了一種反色調(diào)映射實時自動生成視頻增強方法，對于圖像過曝光丟失顏色處理不夠理想。2014年Kovaleski等人[6]繼續(xù)提出改進反色調(diào)映射HDR圖像生成算法，利用交叉雙邊濾波器保邊去噪，對于高曝光細節(jié)處理有效，但欠曝光細節(jié)上處理欠佳。文獻[7]提出基于人類視覺系統(tǒng)（HVS）模型，采用了反色調(diào)映射加高斯濾波去噪處理，在處理大面積高光區(qū)域LDR圖像時仍存在細節(jié)丟失[7]。Huo等人[8]提出一種優(yōu)先檢測提取高光區(qū)域進行預處理重建后進行反色調(diào)映射的方法。文獻[9]提出基于主成分析結(jié)合金字塔融合生成HDR圖像算法[9]。以上兩種方法運算速度都達不到實時處理，且運算處理時間較長。

針對已有方法的不足做一些改進與優(yōu)化，本文為了保持彩色圖像顏色的恒定性，提出首先將顏色通道緊密相關(guān)的RGB空間轉(zhuǎn)換到亮度和色度分離的HSV空間；其次對曝光導致圖像不均衡細節(jié)模糊不清進行非線性拉伸提高圖像整體暗區(qū)的亮度，盡可能復原暗區(qū)域細節(jié)信息；采用提取亮光區(qū)域，對提取的部分進行形態(tài)學修正，修復高光區(qū)域被亮光遮住的細節(jié)部分；然后對亮度圖進行反色調(diào)映射運算；最后將新的亮度分量圖像、色度分量、飽和度分量圖融合得到最終的HDR圖像。通過實驗驗證了本文提出的方法的有效性。

1 算法描述

RGB色彩模型與人類顏色感知的不對應，簡單的對R GB三通道進行處理難以保證RGB按照相同的比例增強或衰減，與實際場景相比色彩存在一定失真，HSV顏色空間更接近人眼感覺顏色。所以，首先將輸入LDR圖像從RGB顏色空間轉(zhuǎn)換為HSV顏色空間，分離出色度分量H、飽和度分量S和亮度分量V。RGB到HSV轉(zhuǎn)化公式如下：

其中，R、G、B分別為RGB空間中三個分量的像素值，H、S、V為HSV空間中三個分量的值，max表示取括號中像素值的最大值，min表示取括號中像素值的最小值。因為在HSV空間中H分量用角度表示，故當H<0時，需要將H分量加上360。

分離出來V通道圖像存在整體亮度偏暗、暗處細節(jié)不清楚等問題。為了達到好的顯示效果，有必要提高圖像對比度，暗區(qū)域亮度，增強細節(jié)。圖像全局增強方法有很多，如線性對比度拉伸和直方圖均衡化等，但對于處理單幅曝光灰度圖效果不理想。Lee等人[10]提出了一種基于全局雙伽馬校正圖像增強方法，可有效提高圖像的整體亮度，防止過度增強，但得到的圖像灰度值范圍很窄，對比度大大地減少，丟失部分細節(jié)的信息?；谫ゑR校正原理設(shè)假通道像素圖像的灰度值被歸一化到[0，1]范圍內(nèi)，該函數(shù)由雙伽馬校正函數(shù)由G1和G2融合而成，數(shù)學表達形式如下：

其中，L是輸入圖像的灰度值，x控制圖像增強變量。如圖（a）所示。當x<1時，G1如淺綠虛線所示，低灰度值區(qū)域的動態(tài)范圍變小，拉伸了高灰度值區(qū)域圖像對比度，圖像整體灰度值變小。當x>1時，G2如紅色虛線所示，低灰度區(qū)域動態(tài)范圍變大，進而圖像對比度增強。雙伽馬函數(shù)G通過求G1和G2平均得到，它沒有充分考慮到圖像的實際情況進行調(diào)整，圖像增強效果只是隨機偶然性增強或衰弱。為了有效解決根本性問題，本文提出了修正的雙邊伽馬調(diào)整函數(shù)，數(shù)學表達式如下：

其中θ是調(diào)整參數(shù)，取值范圍為[0，1]，其值的大小直接決定了圖像增強的好壞，通過多次實驗θ=0.428時圖像增強效果最優(yōu)。

對于問題1非線性雙邊伽馬優(yōu)化后仍存在高光區(qū)域和問題2如何生成HDR圖像，本文先后提出提取局部特征處理高光區(qū)域的方法和進行反色調(diào)映射運算生成HDR圖像方法。將待處理的V'亮度灰度圖像進行腐蝕操作計算公式如下：

式中，b表示一個大小為3×3平坦的結(jié)構(gòu)元對亮度圖像V'(x,y)進行卷積運算求重合區(qū)域的最小值定義腐蝕操作，這樣使圖像中較大片高光區(qū)域亮度逐漸降低，小亮點亮度幾乎看不見。

同時，對V'亮度灰度圖(x,y)進行反色調(diào)映射處理。色調(diào)映射要解決大幅度衰減場景亮度變換到可以顯示的范圍，同時要保持圖像細節(jié)與顏色，色調(diào)映射目的是壓縮動態(tài)范圍。反色調(diào)映射是色調(diào)映射的逆過程。因此，反色調(diào)映射計算是為了拉伸圖像動態(tài)范圍。Banterle等人[11]提出擴展映射模型，該方法核心求解反向色調(diào)映射算子，采用色調(diào)映射模型方法：

其中，Lm(x,y)代表的是量化亮度值，Ld(x,y)壓縮后像素亮度值。考慮到白色像素最小亮度值和高亮度值被壓縮過程中可能會受損導致信息的丟失。因此對上面的提出改進得到方程（6），其中Lwhite代表白色像素最小亮度值。

圖1是亮度通道灰度圖經(jīng)過本文反色調(diào)變換拉伸得到的結(jié)果圖，從對比圖中可看出，亮度通道灰度圖先后經(jīng)過雙伽馬拉伸和動態(tài)范圍擴展圖像對比度增強，圖像曝光區(qū)細節(jié)清晰可見，圖像處理增強效果明顯。

圖1 亮度通道灰度圖與動態(tài)范圍擴展灰度圖結(jié)果對比

本文算法基本步驟如下：

步驟1：將輸入的LDR圖像從RGB顏色空間轉(zhuǎn)換為HSV顏色空間，分離出色度分量H、飽和度分量S和亮度分量V。

步驟2：對分離出來V通道圖像進行非線性雙邊伽馬校正處理。

步驟3：對步驟2得到V'灰度圖像提取高光區(qū)域進行形態(tài)學腐蝕操作。

步驟4：構(gòu)造反色調(diào)映射函數(shù)，對V'亮度灰度圖(x,y)進行動態(tài)范圍擴展。

步驟5：將步驟3得到高光區(qū)域和步驟4得到的反色調(diào)映射擴展融合得到新的亮度分量。

步驟6：將步驟1分離的色度分量H、飽和度分量和步驟5得到新的亮度分量進行融合。

步驟7：將步驟6得到的HSV顏色空間下的HDR圖像轉(zhuǎn)換到RGB顏色空間，得到最終的HDR圖像。

2 仿真結(jié)果與分析

仿真實驗平臺配置是Intel Core i5-8400 CPU，16GB內(nèi)存。為突顯本文算法的實驗效果，與其他主流單幀HDR圖像生成方法進行仿真對比，包括Kovaleski等人提出基于雙邊濾波反色調(diào)映射方法，Huo提出檢測高光區(qū)域反色調(diào)映射HDR圖像生成算法。文章篇幅有限，從實驗結(jié)果中隨機抽取三組予以展示，最后對仿真結(jié)果給出客觀分析。

圖2是第一組實驗結(jié)果對比圖，原圖選用室外建筑物背光場景圖，（a）原圖LDR圖像，（b）Kovaleski方法結(jié)果圖，（c）Huo算法結(jié)果圖，（d）本文方法結(jié)果圖。為突出算法效果，結(jié)果圖用矩形框?qū)^曝光區(qū)域和欠曝光區(qū)域迚行了標注。（b）圖中高曝光和欠曝光區(qū)域分別用紅色標記和綠色標記出來，不難發(fā)現(xiàn)Kovaleski算法對高曝光細節(jié)處理有效，但欠曝光細節(jié)上處理效果欠佳。（c）圖中欠曝光區(qū)域相對來說能夠較好地恢復圖像細節(jié)，高曝光區(qū)域整體較模糊存在細節(jié)丟失。（d）圖是本文方法產(chǎn)生的結(jié)果圖，欠曝光區(qū)域的細節(jié)對比度清晰，同時較好地保留過曝光區(qū)域的細節(jié)信息。

圖2 戶外建筑

圖3是第二組實驗結(jié)果對比圖，（a）原圖LDR圖像，（b）圖中高曝光和欠曝光區(qū)域分別用紅色標記和綠色標記出來，不難發(fā)現(xiàn)Kovaleski算法對高曝光細節(jié)處理有效，但欠曝光細節(jié)上處理效果欠佳。（c）圖中欠曝光區(qū)域相對來說能夠較好地恢復圖像細節(jié)，高曝光區(qū)域整體較模糊存在細節(jié)丟失。（d）圖是本文方法產(chǎn)生的結(jié)果圖，欠曝光區(qū)域的細節(jié)對比度清晰，同時較好地保留過曝光區(qū)域的細節(jié)信息。

圖3 教學樓

圖4為實驗結(jié)果對比圖，原圖選用建筑物室內(nèi)曝光場景圖，（a）原圖LDR圖像，（b）Kovaleski方法結(jié)果圖，（c）Huo算法結(jié)果圖，（d）本文方法結(jié)果圖。（b）圖中高曝光細節(jié)處理比較模糊，原圖欠曝光暗沉，此處相比較暗處處理效果較好，整體看起來細節(jié)處處理比較模糊不清晰。（c）圖中欠曝光區(qū)域相對來說能夠較好地恢復圖像細節(jié)，高曝光區(qū)域較模糊存在嚴重細節(jié)丟失。（d）圖欠曝光區(qū)域的細節(jié)對比度清晰，同時較好地保留過曝光區(qū)域的細節(jié)信息，整體圖像處理效果比較理想。

圖4 教堂

本文細節(jié)保持算法是針對高曝光和欠曝光區(qū)域修復丟失細節(jié)信息，從而得到HDR圖像具有更大的信息量和更豐富的細節(jié)信息。提取高光區(qū)域形態(tài)學腐蝕修正不會影響處理欠曝光整體暗區(qū)域亮度拉伸細節(jié)處理。從仿真實驗效果可以看出無論是在室外強陽光照射下還是在室內(nèi)曝光不足昏暗的情況，都有著較好的細節(jié)保持特性。

為了進一步說明主觀評價與客觀評價的一致性，選取Church、Outdoor building、Academic Building三組HDR圖像信息熵、均值和標準差三種客觀評價指標。因為圖像信息熵越大，HDR圖像包含的更多的信息，細節(jié)信息更豐富。均值反映了圖像平均亮度，當圖像灰度值在128附近時，均值適中，視覺效果好。標準差反映了圖像整體對比度，對比度值越大，圖像整體的對比度較大。

表1給出了三種方法生成的HDR圖像信息熵對比數(shù)據(jù)，從數(shù)據(jù)上可以看出，本文方法生成的HDR圖像信息熵均高于Kovaleski算法和Huo算法，說明本文方法在修復圖像細節(jié)效果比較顯著。如圖5和圖6兩組不同方法生成HDR圖像均值和標準差的對比數(shù)據(jù)，對比第三組實驗均值和標準差，從中可發(fā)現(xiàn)本文方法均值在128左右波動，標準差相對較高，均值適中（128左右），視覺效果好。標準差反映了圖像整體對比度，圖像均衡度更高。說明本方法生成的HDR圖像均衡性較好。

圖5 不同方法生成圖像均值的對比

圖6 不同方法生成圖像標準差的對比

表1 不同方法生成HDR圖像信息熵（單位：bit）

表2給出了3種算法的時間復雜度評價。

表2 不同方法生成HDR圖像耗時對比（單位：/s）

表2數(shù)據(jù)對比，顯示本文提出方法細節(jié)保持的HDR圖像生成方法處理速度較快，相比較Kovaleski算法和Huo算法，本文方法在實時性方面具有一定的優(yōu)勢，很大程度上減少了計算量，提高了算法運算速度。

3 結(jié)語

本文提出一種新的生成HDR圖像算法，首先提取多曝光LDR圖像序列的顯著特征，選取圖像對比度、彩色飽和度、曝光亮度三個測度因子作為顯著特征生成加權(quán)圖，然后分別對源圖像和生成的加權(quán)圖進行高斯金字塔分解，對應子圖層相乘得到一組新子圖層，最后對新子圖層作拉普拉斯逆變換生成HDR圖像。本文通過改進金字塔技術(shù)解決了圖像細節(jié)模糊的問題，將對比度動態(tài)范圍拉伸解決了圖像對比度反轉(zhuǎn)，色彩飽和更符合人眼的直觀視覺等特點，為了提高算法的運算速率設(shè)計一個簡單高效卷積核進行卷積運算，大大降低了運算的復雜度。應用改進金字塔融合技術(shù)最大限度獲得場景完整信息。