基于細節(jié)特征的高動態(tài)范圍圖像獲取算法

劉 穎, 焦淑云, 劉衛(wèi)華

(西安郵電大學 通信與信息工程學院， 陜西 西安 710121)

基于細節(jié)特征的高動態(tài)范圍圖像獲取算法

劉 穎, 焦淑云, 劉衛(wèi)華

(西安郵電大學 通信與信息工程學院， 陜西 西安 710121)

為了解決真實場景的動態(tài)范圍與數字圖像的動態(tài)范圍不匹配的問題，提出一種基于細節(jié)特征合成的高動態(tài)范圍圖像獲取算法。該方法首先提取多幅不同曝光的低動態(tài)范圍圖像的細節(jié)特征，細節(jié)特征值越大表明所含細節(jié)信息越多,然后將歸一化的特征值作為權重，合成多幅低動態(tài)范圍圖像，得到一幅高質量的合成圖。實驗表明，該算法能得到一幅含有較豐富細節(jié)特征、動態(tài)范圍較廣的圖像，合成圖像不需要色調映射就可以較好地在低動態(tài)范圍顯示器上直接顯示。

高動態(tài)范圍圖像；圖像合成；細節(jié)特征；多曝光圖像

目前，視頻監(jiān)控設備所能記錄的動態(tài)范圍較小，對普通的8 bit成像設備來說，獲取圖像的動態(tài)范圍小于4個數量級[1]，而自然界中光強的動態(tài)范圍很廣泛，如夜晚的星光可達1×10-3cd/m2，正午的陽光可達1×105cd/m2，室內的光線可達1×102cd/m2，這樣自然界所覆蓋的動態(tài)范圍最大可達9個數量級[2]，然而人的眼睛通過瞳孔的收縮放大所能感知的動態(tài)范圍可達10個數量級[3]。因此成像設備記錄的圖像就會造成細節(jié)信息的丟失，導致人眼無法看到真實場景的圖像。而在實際應用中，比如刑偵圖像處理，衛(wèi)星監(jiān)控系統(tǒng)等，對圖像細節(jié)信息要求比較嚴格。

許多學者對關于獲取高動態(tài)范圍圖像的方法作了研究，比較經典的算法有文[4]提出的一種確定高動態(tài)范圍成像中相機響應曲線的方法，但因采樣有限個像素點，導致恢復出的相機響應函數不準確，容易造成真實圖像的細節(jié)信息丟失。文[5]研究采用分光技術獲取不同曝光圖像的電路系統(tǒng)。該類方法的缺點是對于光路設計有較高的要求，需要設計分光系統(tǒng)，而且加入中性濾鏡使得進入相機的光線利用率不高。文[6]通過圖像分塊合成高動態(tài)圖像。此方法是將多幅同一場景的不同曝光的圖像分割成相同大小的矩形塊，然后融合為質量好的一幅圖像。由于矩形塊可能包含物體的邊緣，合成效果不好出現光暈現象，效果不好。文獻[7]提出了一種基于相機陣列(High Dynamic Range Imge, HDRI)合成算法。為了適應動態(tài)光照，該方法對相機陣列的不同相機設置的不同曝光，同時捕獲場景光照，并把這些不同曝光的圖像基于光場合成孔徑理論校準到同一個平面，再經中值位圖校準合成HDRI。這個方法較為復雜，計算量很大。文獻[8]提出了一種多曝光融合的方法。通過采用對比度、飽和度等質量評估方法對輸入圖像的質量進行分析，然后確定融合權系數，將圖像融合為一幅最佳曝光圖像,但由此方法得到的圖像色彩效果并不佳。

為了得到一幅“場景相關”的高動態(tài)范圍圖像，本文提出基于細節(jié)特征的高動態(tài)范圍圖像獲取算法。該算法避開了分塊融合中的邊緣效應和在傳統(tǒng)的方法中相機響應曲線求解。融合準則的確定也是一種新方法。文章的結構安排如下：第一部分介紹合成高動態(tài)范圍圖像的關鍵理論；第二部分對算法實驗結果進行分析；第三部分總結算法的創(chuàng)新之處及應用。

1 算法關鍵理論

合成高動態(tài)范圍圖像主要有輻照圖重建法[4]和直接融合法[9]兩種方法。本文采用直接融合法?；诩毠?jié)特征合成的高動態(tài)圖像將不同圖像中的清晰部分提取到一幅圖像中，舍棄原來低動態(tài)圖像中的過曝光或者欠曝光部分，獲得較清晰的圖像，同時展現較寬動態(tài)范圍的真實場景。算法中關鍵問題有兩個，一是如何表征圖像的細節(jié)特征，二是如何確定合成準則。

1.1 區(qū)域特征提取

圖像的細節(jié)特征豐富，說明圖像的灰度變化明顯，含有的信息量較豐富，因此，選用方差作為描述細節(jié)特征的量。

基于像素的自適應的特征稱為區(qū)域特征，即某像素V(i,j)的區(qū)域特征描述為：以V(i,j)為中心的某個區(qū)域的特征記為該點的特征，選擇這個區(qū)域為一個(2k+1)×(2k+1)的正方形區(qū)域，則該點V(i,j)的區(qū)域方差、區(qū)域均值分別定義為

(1)

(2)

某像素的區(qū)域方差表示為，在以該像素為中心的某個區(qū)域中，每個像素點與平均值之間差值的平方和，當這個平方和越大時，說明該點周圍圖像的像素差異越大，細節(jié)特征就越多。

考慮采用原始圖像的方差特征C(i,j)作為低動態(tài)范圍圖像各像素點的特征，以此來衡量圖像的細節(jié)特征。

1.2 合成準則

基于像素的細節(jié)特征確定以后，根據多幅低動態(tài)范圍圖像中同一像素處不同的細節(jié)特征將質量好的像素提取到最終的融合圖像中。

圖像合成中一類較簡便的方法是加權平均合成法，即通過直接對多幅圖像取平均融合，得到高動態(tài)范圍圖像的像素值

(3)

Vij是第j幅圖像像素點i處的像素值；p為低動態(tài)圖像數量。w(Vij)為圖像在該點的權重，可表示為

(4)

此方法在文獻[14]中應用過，因為128附近的點不一定是最佳效果點，選擇式(4)作為加權系數，造成128附近的點較多的出現在最終圖像中，將多幅圖像中質量較差的部分融合到最終的圖像中，因此，平均融合法雖然算法簡單，但是融合效果不夠好。基于細節(jié)特征的加權融合算法，合成準則如下。

記p幅多曝光圖像的某像素的區(qū)域特征為[C1(i,j),C2(i,j),…,Cp(i,j)]，那么權系數定義為

(5)

其中C(i,j)為第j幅圖像第i個像素點處的區(qū)域方差特征，wk為第k幅圖像的加權權值。最后通過

(6)

得到可視化的高動態(tài)范圍圖像。

1.3 去噪平滑分析

實驗通過改變國際標準化組織 (International Standards Organization，ISO)規(guī)定的感光度來獲取多幅曝光度不同的圖像。感光度增大，獲取的圖像難免存在較大噪聲。噪聲將導致實際像素值偏大或偏小，同時造成方差偏大，合成圖像像素值比周邊值偏亮或暗，因此，實驗圖像首先需通過3×3的中值濾波去除由于感光度改變帶來的噪聲。

1.4 算法流程

首先，采集多幅低動態(tài)范圍圖像，對所得圖像進行預處理，本文使用6幅圖像。采用方差特征，對6幅低動態(tài)圖像提取基于像素的區(qū)域特征，根據式(5)確定加權系數，最后合成6幅低動態(tài)范圍圖像，獲得高動態(tài)范圍圖像，再對圖像進行平滑處理。

2 實驗結果及分析

實驗中用到的原始圖像需滿足3點要求：(1)同一場景不同曝光度；(2)靜態(tài)圖像；(3)圖像完全配準。

通過改變ISO感光度，采集6幅5 174×3 456的彩色圖像，來得到不同曝光的圖像，ISO感光度分別為100、200、400、800、1 600、3 200。這些圖像都是經過三腳架防抖設備拍攝，因此假定圖像是完全配準的。由于目前對高動態(tài)圖像的評判沒有統(tǒng)一的客觀指標，因此評判標準以主觀評判為主，即視覺效果評判。另外，輔加客觀指標直方圖輔助視覺評判。

2.1 合成前后圖像的對比

圖1是同一場景6幅不同曝光的圖像。

(a) 原始圖像1

(b) 原始圖像2

(a) 原始圖像1

(d) 原始圖像4

(e) 原始圖像5

(f) 原始圖像6

圖1 6幅原始低動態(tài)范圍圖像

圖2(a)是通過加權平均進行合成的高動態(tài)圖像，圖2(b)是本算法合成的圖像。

(a) 加權平均

(b)本算法結果

圖2(b)是通過7×7的窗實現原始圖像區(qū)域方差特征的提取，然后對得到的圖像通過5×5的掩膜實現均值濾波，以去除實驗結果存在的邊緣不平滑效果。

算法的一個關鍵點是提取特征時窗大小的選擇，圖3(a)為提取方差特征時使用3×3窗的實驗結果；圖3(b)為15×15窗的實驗結果。

(a) 窗3合成圖像

(b) 窗15合成圖像

從圖3看出，在提取方差區(qū)域特征時，窗太小會導致得到的合成圖像不清晰，噪聲大；窗太大導致圖像邊緣較為突出，圖像較為模糊，例如：人物的頭部。因此選用7×7的窗較為合適。

2.2 主觀評判結果

從視覺角度直觀的評判加權平均后的高動態(tài)圖像，丟失了很多原始低動態(tài)范圍圖像的細節(jié)信息。而本算法得到的高動態(tài)范圍圖像細節(jié)信息較多，視覺效果更好，能真實的反應現實場景的圖像信息，較為符合人們的視覺需求，如圖4所示。

(a) 平均加權合成圖

(b) 本算法合成圖

2.3 客觀評判結果

為了更進一步客觀的說明本算法得到的合成圖像動態(tài)范圍的增強，采用了灰度直方圖作為標準來評判合成圖像動態(tài)范圍的變化，如圖5所示。

可以看出，經過本算法對圖像動態(tài)范圍進行處理得到的最后一幅圖中，灰度值在 0 和 255 附近得到抑制，去掉過曝光點和欠曝光點，圖像亮度適中，人眼視覺效果得到改善。

(a) 原始圖像1

(b) 原始圖像2

(c) 原始圖像3

(d) 原始圖像4

(e) 原始圖像5

(f) 原始圖像6

(g) 本算法合成圖像

3 結束語

高動態(tài)范圍圖像獲取算法不需要對原始低動態(tài)范圍圖像進行亮度域的恢復，而直接對圖像像素信息進行處理，提取原始圖像的細節(jié)特征，得到的高動態(tài)范圍圖像更接近于現實場景，能保留更多原始圖像的細節(jié)信息。另外，權系數確定準則較常見的方法效果好，可以有效地保留原始信息像素點。

該算法可以應用于刑偵案件的處理中，也可以應用于攝影技術中，另外還可以應用于其他圖像處理技術中，例如圖像分割、圖像特征提取等處理，應用范圍較為廣泛。本算法得到的圖像視覺效果較好，但還需要對圖像質量進行提高，算法不適用于動態(tài)場景。

[1] Nicholson A. Canon EOS 5D Mark III review[EB/OL].(2013-12-20)[2014-06-03].http://www.tech-radar.com/reviews/cameras-and-camcorders/cameras/digital-slrs-hybrids/canon-eos-5d-mark-iii-1074186/review.

[2] Robertson M A, Borman S, Stevenson R L. Dynamic range improvement through multiple exposures[C]//Proc. of 1999 IEEE International Conference on Image Process. Kobe: IEEE, 1999:159-163.

[3] Bandoh Y, Qiu G P, Okuda M, et al. Recent advances in high dynamic range imaging technology[C]//Proc. of 2010 IEEE 17th International Conference on Imaging Processing. Hongkong: IEEE, 2010: 3125-3128.

[4] Debevec P E, Malik J. Recovering high dynamic range radiance maps from photographs[C]//Proc. of Computer Graphics Annual Conference: SIGGRAPH 97 Conference. USA: ACM Press, 1997:369-378.

[5] Tocci M D, Kiser C, Tocci N, Sen P. A versatile HDR video production system[J]. ACM Transactions on Graphics, 2011,30(4):41-89.

[6] Rovidz A, Peter V. Method for merging multiple exposure color image data[C]//Proc. of International Conference on Intelligent Engineering Systems. Barbados: IEEE, 2009:27-31.

[7] 周繼權,王慶. 基于相機陣列的高動態(tài)范圍圖像合成方法[J]. 計算機應用研究, 2013,30(9):2859-2860.

[8] Mertens T, Kautz J, Van Reeth F. Exposure fusion[C]//15th Pacific Conference on Computer Graphics and Applications. Maui HI: IEEE, 2007: 382-390.

[9] Robertson M A, Borman S, Stevenson R L. Estimation-theoretic approach to dynamic range enhancement using multiple exposures[J]. Journal of Electronic Imaging, 2003,12(2):219-228.

[10] Park T J, Park I K. High dynamic range image acquisition using multiple images with different apertures[J]. Optical Engineering, 2012,51(12):127002.1-127002.7.

[11] Jinno T, Okuda M. Multiple exposure fusion for high dynamic range image acquisition[J]. IEEE Transactions on Image Processing, 2012,21(1):358-365.

[12] An J, Lee S H, Kuk J G, et al. A multi-exposure image fusion algorithm without ghost effect[C]//Proc. of Acoustics, Speech and Signal Processing: IEEE International Conference. Prague: IEEE, 2011:1565-1568.

[13] Sen P, Kalantari N K, Yaesoubi M,et al. Robust patch-based HDR reconstruction of dynamic scenes[J]. ACM Transactions on Graphics, 2012,31(6):1-11.

[14] Vuong Q K, Yun S H, Kim S. A new auto exposure and auto white-balance algorithm to detect high dynamic range conditions using CMOS technology[C]//Proc of the World Congress on Engineering and Computer Science. San Francisco, USA: IEEE, 2008:205-210.

[責任編輯:祝劍]

High dynamic range image acquisition based on detail features

LIU Ying, JIAO Shuyun, LIU Weihua

(School of Communication and Information Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121, China)

In order to eliminate the gap between the dynamic range of the real scene and that of digital images, an acquisition algorithm based on detail features is proposed. Firstly, the detail features of low dynamic range images in different exposures in terms of detail feature are extracted. It is obvious that large detail feature indicates more details. Secondly, the normalization of local feature are served as weights in image fusion. Finally, a high quality image is generated. Experiments show that the proposed method can provide fusion results with richer details and wider dynamic range. Moreover, the high dynamic range image acquired can be clearly shown on low dynamic range displaying device without tone-mapping work.

high dynamic range image, image fusion, detail feature, multiple exposure images

10.13682/j.issn.2095-6533.2014.06.004

2014-06-03

國家自然科學基金青年資助項目(61202183)；陜西省國際科技合作計劃基金資助項目(2014KW01-01，2013KW04-05)；西安郵電大學校青年教師科研基金資助項目(ZL-2012-01)

劉穎(1972-)，女，博士，高級工程師，從事圖像檢索及圖像/視頻特征分析研究。E-mail:ly_yolanda@sina.com 焦淑云(1988-)，女，碩士研究生，研究方向為高動態(tài)范圍成像。E-mail: jsysmile@126.com

TP391.41

A

2095-6533(2014)06-0017-05