一種基于細(xì)節(jié)層分離的單曝光HDR 圖像生成算法

張紅英 朱恩弘 吳亞?wèn)|

高動(dòng)態(tài)范圍成像(High dynamic range imaging,HDRI)是一項(xiàng)近年來(lái)十分流行的技術(shù),簡(jiǎn)單地說(shuō)就是讓圖像表現(xiàn)出更大的明暗差別,高光不過(guò)曝,暗調(diào)不欠曝,使所有的層次和細(xì)節(jié)都很清楚.動(dòng)態(tài)范圍是環(huán)境中光照亮度級(jí)的最大值與最小值之比.現(xiàn)實(shí)世界真正存在的亮度差,即最亮的物體亮度與最小的物體亮度之比為108,而人類的眼睛所能看到的范圍是105左右,一般的顯示器、照相機(jī)能表示的只有256 種不同的亮度.因此,為了在普通顯示器上顯示HDR 圖像,必須將其動(dòng)態(tài)范圍進(jìn)行壓縮,目前普遍采用色調(diào)映射算子(Tone mapping operators,TMOs)進(jìn)行圖像亮度的壓縮[1?3].

隨著顯示器技術(shù)的發(fā)展,比傳統(tǒng)顯示器具有更高動(dòng)態(tài)范圍的顯示設(shè)備已稍具雛形,同時(shí)更多高動(dòng)態(tài)范圍的圖像和視頻也因?yàn)橄嚓P(guān)技術(shù)的成熟而逐漸容易獲得.然而現(xiàn)有的圖像和視頻大多還是在低動(dòng)態(tài)范圍的數(shù)位格式中保存,因此如何利用反色調(diào)映射算子(Inverse tone mapping operator,ITMO)擴(kuò)展亮度,使之能夠得到接近真實(shí)世界的動(dòng)態(tài)范圍是近年來(lái)圖像處理領(lǐng)域熱門的研究課題.反色調(diào)映射算子是實(shí)現(xiàn)由單幅低動(dòng)態(tài)范圍(Low dynamic range,LDR)圖像生成一幅HDR 圖像的方法,該類方法對(duì)單幅的LDR 圖像進(jìn)行直接的轉(zhuǎn)化,不僅能實(shí)現(xiàn)靜態(tài)HDR 圖像的拍攝,還能進(jìn)行HDR 視頻的錄制.與此同時(shí),采用這種方法還可以將現(xiàn)有的大量LDR 圖像或視頻資源生成HDR 資源,能夠很好地解決HDR 圖像或視頻資源匱乏的問(wèn)題,這些都是基于傳統(tǒng)多曝光技術(shù)的HDR 圖像生成方法無(wú)法實(shí)現(xiàn)的.目前國(guó)內(nèi)外對(duì)于單曝光HDR 圖像生成技術(shù)的研究已經(jīng)取得了一定成果[4?8].但該技術(shù)在處理效果和處理效率上仍有相當(dāng)?shù)难芯靠臻g.

目前,單幅LDR 圖像到HDR 圖像擴(kuò)展的算法分為5 類[9]:外形修整函數(shù)[10?11]、全局模型[12?14]、分類模型[15?16]、擴(kuò)展映射模型[17?18]、基于用戶的模型[19]以及其他一些比較特別的方法[20?23].文獻(xiàn)[10?11]采用外形修整模型,將LDR 圖像和視頻中8 bit 數(shù)據(jù)擴(kuò)展到10 bit,同時(shí)在擴(kuò)展的變換域中將偽輪廓去除.采用這種方法擴(kuò)展后的圖像視頻為中動(dòng)態(tài)范圍的圖像視頻.該方法并沒(méi)有特別關(guān)注過(guò)曝光和欠曝光區(qū)域,目前該模型由于擴(kuò)展范圍的局限性,研究進(jìn)展較緩慢;文獻(xiàn)[12?14]中的全局模型就是對(duì)圖像或視頻中的每個(gè)像素都運(yùn)用相同的全局?jǐn)U展函數(shù),該類算法復(fù)雜度通常較低,對(duì)高質(zhì)量LDR圖像處理效果較好,但往往不對(duì)壓縮或量化產(chǎn)生的偽像作相應(yīng)處理,不能保證對(duì)壓縮過(guò)的LDR 圖像處理的質(zhì)量.而在實(shí)際應(yīng)用中,平時(shí)拍攝的圖像或視頻通常都進(jìn)行過(guò)壓縮處理,這種情況下就需要更精確的擴(kuò)展方法來(lái)避免壓縮帶來(lái)的偽像,該模型的優(yōu)點(diǎn)在于處理效率較高,但缺點(diǎn)是處理圖像要求高,否則成像效果不好;文獻(xiàn)[15?16]提出的分類模型是嘗試對(duì)LDR 圖像中的內(nèi)容進(jìn)行分區(qū),然后再對(duì)不同區(qū)域采取不同的策略進(jìn)行處理.該模型通常是對(duì)圖像中不同光源曝光程度進(jìn)行分區(qū);文獻(xiàn)[15]提出一種增強(qiáng)LDR 視頻亮度的交互系統(tǒng),主要思想是將1 個(gè)場(chǎng)景分成散射區(qū)、反射區(qū)和光源區(qū)3 個(gè)部分,只增強(qiáng)反射區(qū)和光源區(qū)部分,認(rèn)為增強(qiáng)散射部分會(huì)產(chǎn)生偽像,該系統(tǒng)是非線性的.目前采用分類模型的算法普遍存在著算法復(fù)雜度較高,需要進(jìn)行額外訓(xùn)練的問(wèn)題.為提高算法效率,往往需要從硬件上著手解決.擴(kuò)展映射模型首先對(duì)輸入的圖像進(jìn)行線性化,然后采用反色調(diào)映射算子對(duì)圖像的范圍進(jìn)行擴(kuò)展[17?18],再采用光源采樣、濾波后亮度增強(qiáng)等方法對(duì)圖像的過(guò)曝光區(qū)域進(jìn)行重建.該模型是目前研究較為廣泛的一種模型,在擴(kuò)展映射后還需要采用多種方法來(lái)提升圖像中的信息量,主要限制在于對(duì)過(guò)曝光區(qū)域太大的圖像效果不理想;文獻(xiàn)[19]是基于用戶的模型的代表算法,該算法基于圖像中存在過(guò)曝光和欠曝光區(qū)域類似結(jié)構(gòu)的高質(zhì)量塊的假,首先將LDR 圖像進(jìn)行線性化,然后通過(guò)查找圖像中相似的高質(zhì)量塊對(duì)過(guò)曝光和欠曝光區(qū)域進(jìn)行增強(qiáng).對(duì)過(guò)曝光和欠曝光的修復(fù)分為自動(dòng)和基于用戶兩種方式,需要用戶對(duì)圖像進(jìn)行修復(fù).該模型與其他模型相比,由于需要用戶參與,導(dǎo)致只能用于單幀圖像而不能對(duì)視頻進(jìn)行HDR 轉(zhuǎn)換,而且存在無(wú)法找到傳遞圖像細(xì)節(jié)信息的塊的情況.

除了以上5 類常見(jiàn)的模型外,還有一些比較特別的方法.文獻(xiàn)[20]首先采用自適應(yīng)直方圖分離方法將原圖構(gòu)造出欠曝光和過(guò)曝光圖像,然后分別對(duì)過(guò)曝光和欠曝光圖像進(jìn)行處理,最后采用多曝光圖像融合的方法生成HDR 圖像;文獻(xiàn)[21]首先利用HVS 對(duì)光的感應(yīng)及理解特性,構(gòu)建HVS 的局部自適應(yīng)模型并對(duì)其求逆,然后建立圖像中每個(gè)像素點(diǎn)的局部亮度信息求取模型,最后將每個(gè)像素的局部亮度信息運(yùn)用于局部自適應(yīng)模型的反函數(shù)中實(shí)現(xiàn)圖像比特深度擴(kuò)展,在保證圖像對(duì)比度的同時(shí),實(shí)現(xiàn)圖像細(xì)節(jié)信息增強(qiáng);文獻(xiàn)[22]提出一種基于光源采樣的單曝光HDR 圖像生成算法,通過(guò)對(duì)圖像中存在的可能的光源信息進(jìn)行采樣,模擬光線衰減效應(yīng),有效地還原了高光部分的細(xì)節(jié)信息.值得注意的是,由于單曝光LDR 圖像本身圖像信息不足,圖像中的一些細(xì)節(jié)在生成HDR 圖像的過(guò)程中仍然缺失.因此,本文提出一種基于細(xì)節(jié)層分離的單曝光HDR 圖像生成方法,根據(jù)人眼視覺(jué)系統(tǒng)模型,首先對(duì)圖像的亮度分量進(jìn)行分離,并進(jìn)行伽馬校正;然后對(duì)伽馬校正后的亮度分量分離細(xì)節(jié)層,并在反色調(diào)映射后對(duì)細(xì)節(jié)層進(jìn)行融合得到新的亮度分量;最后將圖像亮度分量與色度、飽和度分量融合得到最終的HDR 圖像.大量對(duì)比實(shí)驗(yàn)表明,本文提出的方法可以有效地提高圖像的動(dòng)態(tài)范圍,并挖掘出LDR 圖像中部分隱藏的細(xì)節(jié)信息,一定程度上彌補(bǔ)了單曝光LDR 圖像細(xì)節(jié)信息不足的缺點(diǎn),處理效果較好,運(yùn)行效率高,具有較好的魯棒性.

1 算法框架

單曝光LDR 圖像本身的信息不足,主要體現(xiàn)在:1)正常曝光狀態(tài)下畫面細(xì)節(jié)不足;2)過(guò)曝光或欠曝光導(dǎo)致的連續(xù)像素點(diǎn)的飽和現(xiàn)象.針對(duì)正常曝光的畫面細(xì)節(jié)不足,可以通過(guò)構(gòu)建反色調(diào)映射方法及其他常見(jiàn)方法解決;而針對(duì)連續(xù)飽和區(qū)域的處理,則是單曝光HDR 生成算法的處理難點(diǎn).目前,常用的光學(xué)數(shù)字成像過(guò)程是將真實(shí)場(chǎng)景的光輻射值通過(guò)圖像傳感器(CCD 或CMOS)轉(zhuǎn)化為電信號(hào),再通過(guò)A/D (模/數(shù)轉(zhuǎn)換器)轉(zhuǎn)換成數(shù)字信號(hào),并以數(shù)字圖像的方式保存下來(lái).CCD 使用一種高感光度的半導(dǎo)體材料制成,能把光線轉(zhuǎn)變成電荷,CCD 的每個(gè)感光單位感應(yīng)到的光線,都是外界光線的集合,最后反映到計(jì)算機(jī)能夠處理的數(shù)字圖像上的每個(gè)像素上.由于圖像中每個(gè)像素點(diǎn)上像素值是受到映射到該點(diǎn)所有光線的影響,故可以確定,在單曝光LDR圖像中包含了場(chǎng)景的細(xì)節(jié)信息,只是因?yàn)閴嚎s編碼和CCD 表面感光單元數(shù)量限制等原因,部分被其他信息所掩蓋，而只要能夠分離出這部分的細(xì)節(jié)信息,則能夠更真實(shí)地還原HDR 圖像.

基于以上分析,本文提出一種基于細(xì)節(jié)層分離的單曝光HDR 圖像生成算法,總體框圖如圖1 所示.主要思路是先分離細(xì)節(jié)層以盡可能多地挖掘出過(guò)曝光和欠曝光區(qū)域的細(xì)節(jié)信息,再對(duì)各層分別進(jìn)行相應(yīng)操作來(lái)擴(kuò)展圖像的動(dòng)態(tài)范圍.算法包括3 部分:1)由于人眼視覺(jué)系統(tǒng)中視網(wǎng)膜上錐狀和桿狀細(xì)胞對(duì)亮度和色度信息敏感度不同,HSV 顏色空間更符合人眼的視覺(jué)感受,因此,對(duì)圖像進(jìn)行預(yù)處理及細(xì)節(jié)層的分離,包括RGB 空間到HSV 空間的轉(zhuǎn)變,分離出亮度分量和色度分量;然后基于某一像素點(diǎn)的值可能被環(huán)境光所影響的分析,對(duì)亮度分量進(jìn)行伽馬校正后作保邊濾波操作,提取出亮度分量的基本層來(lái)模擬環(huán)境光,再對(duì)基本層和伽馬校正后的亮度分量進(jìn)行遍歷運(yùn)算,得到亮度分量的細(xì)節(jié)層.2)構(gòu)造反色調(diào)映射算子,對(duì)伽馬校正后的亮度分量和細(xì)節(jié)層分別進(jìn)行亮度擴(kuò)展,使亮度分量和分離的細(xì)節(jié)層的動(dòng)態(tài)范圍得以擴(kuò)展.3)由于需要將從圖像中挖掘出來(lái)的細(xì)節(jié)層與其他各層融合到一起才能獲得更多細(xì)節(jié)信息,所以最后融合擴(kuò)展后的亮度分量色度分量得到RGB 空間的HDR 圖像,對(duì)之進(jìn)行去噪處理得到最終的HDR 圖像.

圖1 算法總體框圖Fig.1 Block diagram of the algorithm

2 算法具體實(shí)現(xiàn)過(guò)程

2.1 細(xì)節(jié)層分離

基于人眼視覺(jué)系統(tǒng)模型,首先將獲得的RGB 圖像轉(zhuǎn)換到HSV 顏色空間上,采用的轉(zhuǎn)換式如下:

其中,R、G、B分別為RGB 空間中3 個(gè)分量的像素值,H、S、V 分別為HSV 空間中3 個(gè)分量的值,max 表示取括號(hào)中像素值的最大值,min 表示取括號(hào)中像素值的最小值.因?yàn)樵贖SV 空間中H 分量用角度表示,故當(dāng)H <0 時(shí),需要將H 分量加上360.

基于細(xì)節(jié)層分離的算法,首先需要對(duì)分離出來(lái)的亮度分量進(jìn)行細(xì)節(jié)層的分離,然后對(duì)不同層進(jìn)行反色調(diào)映射處理,最后再將各層及圖像各個(gè)分量相融合,這使得該算法在算法邏輯上比之前的方法更為復(fù)雜.為了保證算法運(yùn)行的效率,使算法能夠達(dá)到實(shí)時(shí)運(yùn)行,在反色調(diào)映射函數(shù)的構(gòu)建上選用了更為簡(jiǎn)單快速的方法,但這也導(dǎo)致在反色調(diào)映射過(guò)程中,對(duì)LDR 圖像的亮度處理更為粗糙,缺少對(duì)低亮度值像素點(diǎn)重新線性化的過(guò)程,影響反色調(diào)映射效果,因此需要在反色調(diào)映射之前額外增加伽馬(Gamma)校正,對(duì)圖像進(jìn)行預(yù)處理.

2.1.1 伽馬校正

伽馬校正指利用指數(shù)運(yùn)算對(duì)圖像亮度曲線進(jìn)行校正的過(guò)程,伽馬校正公式為

圖2 伽馬變換函數(shù)Fig.2 Gamma transform function

人眼視覺(jué)系統(tǒng)對(duì)光的敏感度在不同亮度下是不同的,根據(jù)斯蒂文思冪定律人眼對(duì)低亮度部分更為敏感,對(duì)較亮的亮度值之間的感知力明顯減弱,人眼對(duì)亮度的感知曲線類似于伽馬值為1/2.2 時(shí)的曲線.故為了貼合人眼視覺(jué)的感知程度,本文選用1/2.2 作為伽馬值.

2.1.2 細(xì)節(jié)層分離

在基于細(xì)節(jié)層分離的單曝光HDR 圖像生成算法中,很重要的一步是通過(guò)選用濾波器來(lái)得到基本層,濾波器的選用直接關(guān)系到細(xì)節(jié)層所含細(xì)節(jié)的效果如何.不同的濾波操作得到的基本層數(shù)據(jù)也不盡相同.高斯濾波為

其中,i,j為對(duì)應(yīng)像素點(diǎn)的行列坐標(biāo),k,l分別為空間域和值域的鄰域范圍內(nèi)像素點(diǎn)的坐標(biāo),加權(quán)系數(shù)w(i,j,k,l)取決于空間域核和值域核的乘積,分母的計(jì)算結(jié)果為一個(gè)歸一化常數(shù).

空間域核表示為

值域核表示為

空間域?yàn)V波和值域?yàn)V波的對(duì)應(yīng)圖示如圖3 所示.

圖3 空間域?yàn)V波和值域?yàn)V波對(duì)應(yīng)圖示Fig.3 Corresponding figure of spatial filtering and range filtering

兩者相乘后,就會(huì)產(chǎn)生依賴于數(shù)據(jù)的雙邊濾波權(quán)重函數(shù),如下:

由于雙邊濾波的濾波器系數(shù)同時(shí)由幾何空間距離和像素差值決定,所以是一種典型的保邊濾波方法,主要對(duì)圖像的內(nèi)容進(jìn)行濾波,而對(duì)圖像的邊緣濾波效果較弱.圖像中的細(xì)節(jié)部分也往往出現(xiàn)在非邊緣區(qū)域,所以采用雙邊濾波能夠達(dá)到分離圖像細(xì)節(jié)層的目的.

對(duì)伽馬校正后的圖像進(jìn)行雙邊濾波操作可以得到圖像的基本層.由于為獲得圖像的基本層,主要是對(duì)圖像包含大量細(xì)節(jié)信息區(qū)域進(jìn)行了濾波操作,正好保留了場(chǎng)景中主要光源的輻射范圍,通過(guò)伽馬校正圖像與基本層進(jìn)行對(duì)應(yīng)像素相減,可以將原圖中的細(xì)節(jié)層分離出來(lái),即

其中,Ib(x,y)表示圖像的細(xì)節(jié)層,Id(x,y)表示圖像的基本層.由于直接采用伽馬校正圖像與基本層之差得到的細(xì)節(jié)層,高光區(qū)域在融合過(guò)程中容易出現(xiàn)塊效應(yīng),為避免塊效應(yīng)的出現(xiàn),本文采用細(xì)節(jié)層除以基本層的方法對(duì)細(xì)節(jié)層進(jìn)行壓縮,因?yàn)榧?xì)節(jié)層非細(xì)節(jié)部分像素值為零,除以基本層不會(huì)對(duì)細(xì)節(jié)層非細(xì)節(jié)部分產(chǎn)生影響.而塊效應(yīng)通常發(fā)生在高光區(qū)域,基本層中不同區(qū)域像素值大小不同,高光區(qū)域像素值更大,暗區(qū)域像素值更小,這樣可以對(duì)亮暗不同區(qū)域細(xì)節(jié)進(jìn)行不同比例的壓縮,同時(shí),也符合人眼視覺(jué)系統(tǒng)對(duì)暗區(qū)域亮度更敏感的特性,即

其中,Ib(x,y)表示基本層圖像的像素值,Id(x,y)表示得到的細(xì)節(jié)層的像素值.采用雙邊濾波處理得到的細(xì)節(jié)如圖4 所示,可以看出,用本文方法可以很好地分離出圖像的基本層和細(xì)節(jié)層.

圖4 細(xì)節(jié)層分離結(jié)果圖Fig.4 Results of the detail layer separation

2.2 反色調(diào)映射算子的構(gòu)造

選用基于Schlick 的色調(diào)映射方法[24]來(lái)構(gòu)造反色調(diào)映射算子.色調(diào)映射方法如下:

其中,LC和Lw分別表示顯示亮度和現(xiàn)實(shí)世界的亮度值,Lmax表示場(chǎng)景中亮度的最大值,參數(shù)p是一個(gè)常數(shù)值作為一個(gè)調(diào)整參數(shù).由式(9)可知,該色調(diào)映射算法是通過(guò)某一像素點(diǎn)與最亮點(diǎn)的比值來(lái)進(jìn)行壓縮映射.參數(shù)p越大,Lmax在映射過(guò)程中影響越小,壓縮比例越小.反之則越大.其值可由被映射的亮度范圍確定,當(dāng)被映射的亮度范圍較小時(shí),其亮度值的分辨率較小,需要更大地壓縮亮度值,反之壓縮程度較小.因此,參數(shù)p可以由下面公式得到:

其中,θ為調(diào)整參數(shù),可以取值為1.L0表示背景為純黑色時(shí)剛好可以被人眼察覺(jué)到變化的窗口的差值相加,N為窗口的個(gè)數(shù),即求取其平均值.換句話說(shuō),p可以被看作在色調(diào)映射之前不是黑色的最小值.而如Schlick 所述[24],可以通過(guò)簡(jiǎn)單的實(shí)驗(yàn)來(lái)確定L0,利用顯示在黑色背景上的隨機(jī)位置處具有不同亮度的斑塊.可以觀察到不同于黑色的最小值為L(zhǎng)0.通過(guò)試驗(yàn),本文采用類似的方法來(lái)直接獲取L0的值,這里采用圖5 來(lái)進(jìn)行試驗(yàn).

圖5 試驗(yàn)用圖Fig.5 Test image

首先在圖5 中找到能區(qū)分出來(lái)的最低亮度斑塊,之后確認(rèn)其像素值,得到需要的結(jié)果.經(jīng)過(guò)多次試驗(yàn),在未歸一化的[0,255]的像素值域中,根據(jù)顯示設(shè)備和觀察狀態(tài)的不同,L0的值約為5～9,本文取值為5,歸一化后約為0.02.這里的Lmax和Lmin分別表示人眼對(duì)現(xiàn)實(shí)世界場(chǎng)景中能感知到的瞬時(shí)最大和最小亮度.雖然這個(gè)值隨場(chǎng)景而改變.但Lmax/Lmin可以看作一個(gè)場(chǎng)景的對(duì)比度.考慮到人眼在非極限條件下,瞬時(shí)動(dòng)態(tài)范圍為3 階[10,24],因此本文選擇Lmax/Lmin為103,進(jìn)而可得出p的值.

利用式(9)和式(10)可以直接推出反色調(diào)映射函數(shù)如下:

通過(guò)前面的推導(dǎo)可知,目前唯一沒(méi)有得到的參數(shù)為L(zhǎng)max.在式(11)中,Lmax表示現(xiàn)實(shí)中某一場(chǎng)景的最大值,而在反色調(diào)映射函數(shù)中,可以將之設(shè)置為HDR 顯示設(shè)備的最大像素值.經(jīng)過(guò)反色調(diào)映射后的處理圖如圖6 所示,左側(cè)為原圖,右側(cè)為反色調(diào)映射結(jié)果圖,表1 展示了處理前后圖像動(dòng)態(tài)范圍對(duì)比結(jié)果,動(dòng)態(tài)范圍的計(jì)算方法為

其中,Max-I表示圖像中最亮點(diǎn)的亮度值,Min-I表示圖像中最暗點(diǎn)的亮度值.從表1 可以看出,經(jīng)過(guò)反色調(diào)映射后,圖像的動(dòng)態(tài)范圍得到擴(kuò)展,由低動(dòng)態(tài)范圍圖像擴(kuò)展成為高動(dòng)態(tài)范圍圖像.

表1 處理前后動(dòng)態(tài)范圍對(duì)比Table 1 Comparisons of dynamic range

圖6 反色調(diào)映射處理對(duì)比圖Fig.6 Comparison image after the inverse tone mapping

2.3 圖像融合

將得到的新的亮度分量圖像與色度、飽和度分量圖像融合,得到HSV 空間下的HDR 圖像,再轉(zhuǎn)化為RGB 空間下的HDR 圖像,最后進(jìn)行去噪操作,得到去噪后的HDR 圖像.在整個(gè)處理過(guò)程中,引入的噪聲通常為高斯噪聲或椒鹽噪聲,這里的去噪操作可以采用高斯去噪等常用去噪方法,當(dāng)椒鹽噪聲占絕大多數(shù)時(shí),則采用中值濾波.

經(jīng)過(guò)前面的處理后,將得到的兩幅反色調(diào)映射圖像進(jìn)行融合.由于在LDR 圖像中,暗區(qū)往往存在較多的噪聲,而在分離細(xì)節(jié)層的過(guò)程中雖然進(jìn)行了一定的壓縮,但仍不能完全消除.因此在進(jìn)行圖像融合時(shí),對(duì)圖像暗區(qū)域進(jìn)行簡(jiǎn)單處理.

基于算法計(jì)算效率的考慮,本文采用的融合方法與基于光源采樣[22]的融合方法類似,但針對(duì)融合圖像的不同而進(jìn)行了參數(shù)的調(diào)整,以得到更好的效果.采用式(13)對(duì)獲得的兩幅反色調(diào)映射圖像進(jìn)行融合.

其中,L(x,y)為新的亮度分量圖像素值,和Id(x,y)分別為伽馬校正后的亮度圖像和細(xì)節(jié)層的反色調(diào)映射圖,σ、β、γ、δ為融合參數(shù),當(dāng)反色調(diào)映射圖像中的像素點(diǎn)小于最小亮度值的β倍時(shí),圖像最終亮度為此時(shí)不融合細(xì)節(jié)層信息,以減少噪聲的影響,否則為與Id(x,y)的加權(quán)相加.本文取值分別為σ0.5,β1.5,γ0.8,δ0.2.圖像融合結(jié)果如圖7 所示.

圖7 融合結(jié)果對(duì)比Fig.7 Comparison result

本文算法的具體步驟如下:

步驟1.將輸入的LDR 圖像從RGB 顏色空間轉(zhuǎn)換為HSV 顏色空間,分離出H (色度)、S (飽和度)和V (亮度)分量.

步驟2.對(duì)分離出的亮度分量圖像進(jìn)行伽馬校正.

步驟3.對(duì)步驟2 中得到的伽馬校正圖像進(jìn)行濾波操作得到圖像基本層.

步驟4.通過(guò)對(duì)伽馬校正圖像與基本層進(jìn)行遍歷運(yùn)算操作,得到細(xì)節(jié)層.

步驟5.構(gòu)造反色調(diào)映射函數(shù),分別對(duì)步驟4 獲得的細(xì)節(jié)層和步驟2 獲得的伽馬校正圖像進(jìn)行反色調(diào)映射操作,得到各自的反色調(diào)映射后的圖像.

步驟6.融合步驟5 中得到的兩幅反色調(diào)映射圖像,得到新的亮度分量圖像.

步驟7.將步驟1 分離的飽和度S、色度分量H與步驟6 新得到的亮度分量進(jìn)行融合的到HSV 顏色空間中的HDR 圖像.

步驟8.將步驟7 得到的HSV 顏色空間下的HDR 圖像轉(zhuǎn)換到RGB 顏色空間.

步驟9.將步驟8 獲得的圖像進(jìn)行去噪處理,消除噪聲,得到最終的HDR 圖像.

3 仿真與分析

在CPU 為Pentium(R)D,3.30 GHz,內(nèi)存為8 GB 的計(jì)算機(jī)上,使用vs2013+OpenCV2.4.11對(duì)基于細(xì)節(jié)層分層的單曝光HDR 圖像生成算法進(jìn)行實(shí)驗(yàn)驗(yàn)證,并將本算法實(shí)驗(yàn)結(jié)果與經(jīng)典的Akyuz算法[13]、Banterle 算法[12]、Huo 算法[4]和Zhu 算法[22]進(jìn)行對(duì)比,對(duì)得出的實(shí)驗(yàn)結(jié)果分別給出了主觀和客觀評(píng)價(jià)分析.

3.1 主觀評(píng)價(jià)

圖8 是幾種算法的運(yùn)算結(jié)果,為便于展示,將HDR 圖像色調(diào)映射到普通顯示屏顯示范圍上比較.從左到右圖像序列依次為原圖像、Akyuz 算法、Banterle 算法、Huo 算法、Zhu 算法以及本文算法的處理結(jié)果.從幾種算法的結(jié)果可以看出,Akyuz 算法和Banterle 算法存在著色彩信息偏移問(wèn)題,圖像整體偏白,而Huo 算法在擴(kuò)展過(guò)程中,色彩信息保持較好,但在圖像的細(xì)節(jié)信息上有一定損失,圖像部分區(qū)域涂抹感較嚴(yán)重,例如圖中支架結(jié)構(gòu)及穹頂內(nèi)圖案部分(圖8(a)).Zhu 算法色彩保持較好,但某些地方細(xì)節(jié)對(duì)比度有減弱的情況.而本文提出的算法,由于采用了細(xì)節(jié)層分離,使圖像中的細(xì)節(jié)信息在圖像生成過(guò)程中得到了較好的還原,特別是過(guò)曝光和欠曝光區(qū)域與其他幾種算法相比有了較大的進(jìn)步.

目前生成HDR 圖像常見(jiàn)的方法是采用多曝光圖像序列(如圖9 所示)進(jìn)行合成.本文采用hdrsoft 圖像處理工具對(duì)多曝光圖像序列進(jìn)行合成得到HDR 圖像,并將獲得的圖像作為真實(shí)世界動(dòng)態(tài)范圍相近的影像實(shí)測(cè)數(shù)據(jù)(Ground truth),同時(shí)采用圖像序列中的一幅圖片作為原始LDR 圖像來(lái)生成HDR 圖像.

圖10 是本文算法與多曝光融合HDR 圖像的對(duì)比圖,為便于顯示,同樣采用了色調(diào)映射處理.最左側(cè)圖像為本文算法處理的單曝光LDR 圖像,中間圖像為多曝光圖像序列融合而成的HDR 圖像,最右側(cè)為本文算法的處理結(jié)果圖.

從圖10 可以看出,采用多曝光圖像融合而成的HDR 圖像相較于本文提出的基于細(xì)節(jié)層分離的單曝光圖像生成算法而言,對(duì)比度更大,色彩表現(xiàn)力更強(qiáng).但與此同時(shí),由于采用多曝光融合的方法,在一些原本色調(diào)統(tǒng)一的區(qū)域,經(jīng)過(guò)處理后可能出現(xiàn)色彩分布不均勻的現(xiàn)象,例如白色建筑的天空區(qū)域.而兩種算法除去對(duì)比度的不同以外,在圖像細(xì)節(jié)信息上表現(xiàn)基本一致.

3.2 客觀評(píng)價(jià)

圖8 幾種算法結(jié)果對(duì)比Fig.8 Comparison results of several algorithms

圖9 白頂建筑LDR 圖像序列Fig.9 LDR image sequences of white top architecture

圖10 本文算法處理與實(shí)測(cè)數(shù)據(jù)對(duì)比Fig.10 Comparisons of our algorithm and ground truth

采用DRIM (Dynamic range independent image quality metric)[25]對(duì)算法進(jìn)行客觀評(píng)價(jià).DRIM 將原LDR 圖像與處理后的HDR 圖像進(jìn)行對(duì)比,來(lái)得到3 種不同類型的失真,分別用紅、綠、藍(lán)3 種顏色表示.紅色表示對(duì)比度翻轉(zhuǎn)（HDR 圖像的對(duì)比關(guān)系在該部分與相應(yīng)LDR 圖像相反).綠色表示對(duì)比度丟失（LDR 圖像可見(jiàn)的信息在HDR 圖像中丟失).藍(lán)色表示對(duì)比度增強(qiáng)（LDR 圖像中不可見(jiàn)或不容易看見(jiàn)的信息在HDR 圖像中被增強(qiáng)為可見(jiàn)信息).DRIM 對(duì)比圖如圖11 所示,從左到右圖像列分別為原圖像、Akyuz、Banterl、Huo、Zhu 以及本文算法的DRIM 結(jié)果圖.通過(guò)圖11 可以直觀地看出不同算法的各種效果.表2 是3 種色彩所占圖像像素點(diǎn)的比例.DRIM 的結(jié)果表明,本文基于細(xì)節(jié)層分離的單曝光HDR 圖像生成算法提升了圖像的動(dòng)態(tài)范圍,在增強(qiáng)圖像細(xì)節(jié)信息的同時(shí),盡可能少地減少了圖像細(xì)節(jié)信息的丟失,在保留圖像細(xì)節(jié)信息上,總體表現(xiàn)為幾種算法中最好的一種.

圖12 是DRIM 對(duì)隨機(jī)選取的20 幅不同單曝光HDR 生成圖像的評(píng)價(jià)結(jié)果折線圖.從左到右分別為紅、綠、藍(lán)3 種顏色像素點(diǎn)所占百分比,每幅圖的縱坐標(biāo)為像素所占百分比,橫坐標(biāo)表示每一幅生成的HDR 圖像.從圖12 可以看出,除了在紅色像素點(diǎn),Huo 算法比本文提出的兩種算法在個(gè)別圖像中表現(xiàn)更好以外,在綠色像素點(diǎn)本文提出的兩種算法所占百分比總體都低于其他3 種對(duì)比算法.藍(lán)色像素點(diǎn)部分本文提出的兩種算法同樣優(yōu)于對(duì)比算法.

表3 是5 種算法對(duì)圖8 中的7 幅圖像處理后的圖像動(dòng)態(tài)范圍.由于處理結(jié)果中會(huì)出現(xiàn)動(dòng)態(tài)范圍數(shù)量級(jí)相同,但具體數(shù)值不同的情況,因此為了更清晰地反映算法性能差別,在表達(dá)動(dòng)態(tài)范圍時(shí)不作對(duì)數(shù)處理,此處采用的動(dòng)態(tài)范圍的計(jì)算方法為

表2 DRIM 對(duì)比圖中紅、綠、藍(lán)各像素點(diǎn)所占百分比(%)Table 2 Percentage of red pixel,green pixel and blue pixel in DRIM (%)

圖11 幾種算法DRIM 對(duì)比圖Fig.11 DRIM comparisons of several algorithms

其中,Max-I表示圖像中最亮點(diǎn)的亮度值,Min-I表示圖像中最暗點(diǎn)的亮度值.從表3 可以看出,Zhu算法的基于光源采樣的單曝光HDR 圖像生成算法,由于對(duì)光源的采樣和模擬,動(dòng)態(tài)范圍表現(xiàn)最好,其次為基于細(xì)節(jié)層分離的單曝光HDR 圖像生成算法與Huo 算法.

3.3 運(yùn)算時(shí)間

對(duì)于分辨率為600 像素×400 像素的圖片,Akyuz 算法所用平均時(shí)間為0.03 s,Banterl 算法為4.13 s,Huo 算法為0.15 s,Zhu 算法為0.106 s,而本文算法耗時(shí)為0.058 s,滿足了對(duì)標(biāo)清圖像進(jìn)行實(shí)時(shí)處理的要求.

表3 圖像處理后動(dòng)態(tài)范圍對(duì)比Table 3 Comparisons of dynamic range

圖12 DRIM 紅、綠、藍(lán)百分比折線圖Fig.12 Line charts of red,green and blue percentage in DRIM

4 結(jié)論

針對(duì)單曝光LDR 圖像細(xì)節(jié)信息不足的問(wèn)題,本文提出了一種基于細(xì)節(jié)層分離的單曝光HDR 圖像生成算法.該算法結(jié)合HVS 模型,將LDR 圖像分離出亮度分量和色度分量.對(duì)分離出來(lái)的亮度分量進(jìn)行Gamma 校正,之后再對(duì)Gamma 校正后的圖像采用雙邊濾波操作,進(jìn)行基本層與細(xì)節(jié)層分離;然后將分離出來(lái)的細(xì)節(jié)層與Gamma 校正后的亮度分量分別進(jìn)行反色調(diào)映射后進(jìn)行融合得到新的亮度分量;最后將各圖像分量進(jìn)行融合去噪得到最終的HDR 圖像.通過(guò)與其他3 種經(jīng)典的單曝光HDR 圖像生成算法比較,本文算法可以有效地提高圖像的動(dòng)態(tài)范圍,并挖掘出LDR 圖像中部分隱藏的細(xì)節(jié)信息,在一定程度上彌補(bǔ)了單曝光LDR 圖像細(xì)節(jié)信息不足的缺點(diǎn),但對(duì)于存在極大面積飽和區(qū)域像素點(diǎn)的圖像處理效果不佳,與此同時(shí),為了算法效率考慮,在反色調(diào)映射過(guò)程中,犧牲了一定的擴(kuò)展效果,下一步需要對(duì)算法效率進(jìn)一步提高,并改善反色調(diào)映射算子.