張喆
(山東華宇工學(xué)院,山東 德州 253034)
圖像中的高光往往會遮擋物體表面的紋理,損壞物體邊緣的輪廓,改變物體表面的顏色,甚至?xí)?dǎo)致物體表面局部區(qū)域某些信息的丟失。圖像中的高光噪聲會影響圖像的質(zhì)量,還會給后續(xù)的應(yīng)用研究帶來極大的困擾,因此如何有效增強高光區(qū)域的信息,就變得尤為重要。
近些年,Nayar 等人[1]提出一種基于偏振的方法,將偏振與圖像的顏色信息結(jié)合起來估計圖像的高光。Lin[2]通過將高光像素視為異常值,并匹配其他視圖中剩余的漫反射部分來去除高光。Klinker 等[3]通過對RGB 顏色空間中的所有像素執(zhí)行聚類來確定漫反射顏色。Tan 和Katsushi[4,5]進(jìn)一步提出了基于噪聲、色度分析和線性基函數(shù)的方法。Mallick 等人[6,7]提出基于SUV 色彩空間的PDE 算法,通過單個圖像或視頻序列迭代地侵蝕鏡面反射。使用相鄰圖案綜合填充缺失區(qū)域的修復(fù)技術(shù)也被用來恢復(fù)漫射顏色[8,9]。Chen 等[10]利用專業(yè)領(lǐng)域知識指導(dǎo)去除面部圖像中的高光。Shen 和Cai[11]采用無鏡面圖像近似漫反射的色度,通過在漫反射和高光區(qū)域之間進(jìn)行平滑的顏色轉(zhuǎn)換的方式來調(diào)整高光分量。文獻(xiàn)[12,13]則提出利用濾波的方法去除高光分量。Akashi 等[14]提出基于稀疏非負(fù)矩陣分解(NMF)的反射分量分離方法,但是在鏡面反射或噪聲較強的情況下,此方法可能會失效。
基于鏡面高光圖像報道文獻(xiàn)中存在的不足,我們提出了基于暗通道先驗的鏡面高光圖像增強算法。
基于暗通道先驗的鏡面高光圖像增強算法首先以暗通道先驗算法為基礎(chǔ),重新更新了圖像的全局光照分量以及邊界約束;然后采用改進(jìn)的引導(dǎo)濾波算法優(yōu)化透射率;最后,在LAB 空間內(nèi),采用CLAHE 算法對圖像的亮度分量L進(jìn)行處理,A和B分量自適應(yīng)。
大氣散射模型可由以下公式來表示:
其中,I(x)為觀察到的強度,A為全局光照,t(x)為場景透射率,J(x)為場景輻射強度,且M≤J(x)≤N,M和N為與給定圖像相關(guān)的兩個常數(shù)向量[15]。
假設(shè)大氣分布均勻,則透射率t(x)的表達(dá)式為:
其中,ι表示由于大氣中氣體的散射而產(chǎn)生的衰減系數(shù),d(x)為場景深度。
從幾何角度來看,式(1)說明在RGB 顏色空間中,向量I(x)、J(x)、A共面且終點是共線的,可得:
其中,τ∈{r,g,b}表示R、G、B三個顏色通道。
大氣模型的關(guān)鍵是從I(x)中恢復(fù)出J(x),因此需要估計傳輸率t(x)和全局的大氣光成分A,可由式(1)求得實際的場景圖像J(x)為:
暗通道先驗理論是由He 等人[15]最先提出的,根據(jù)這一理論,對于任意圖像J,其暗通道可表示為:
其中,Jdark為原圖像J的暗通道圖像,τ為RGB 三通道構(gòu)成的彩色空間,Γ為以(x,y)為中心的局部區(qū)域。
由暗通道可以得到透射率的粗略估計:
其中,α∈(0,1]為圖像保真的調(diào)節(jié)因子。
最后可得到圖像:
其中,t0表示為了避免最終處理結(jié)果中包含噪聲而設(shè)定的透射率的下限值,通常為0.1。
暗通道先驗算法中通常選取亮度最高的灰度值作為大氣光值,如果圖像中存在面積較大的高亮度區(qū)域,則容易造成對大氣光A的錯誤估計,使得圖像出現(xiàn)色彩失真的現(xiàn)象;并且當(dāng)局部區(qū)域Γ(x)處于景深變化較為劇烈的位置時,暗通道值也會出現(xiàn)錯誤,導(dǎo)致圖像出現(xiàn)光暈效應(yīng)。因此我們假設(shè)圖像中的一部分包含無限遠(yuǎn)的像素,并將與無限遠(yuǎn)像素相對應(yīng)的圖像點視為大氣亮度代表性顏色矢量的集合;然后應(yīng)用平均運算來估計大氣亮度的顏色矢量;最后選取輸入圖像中最模糊的像素,采用移動窗口最小濾波器對其每個顏色通道進(jìn)行濾波,將具有最大值的顏色通道視為A的估計值。
局部圖像中所有像素的深度值都是恒定不變的。我們借助邊界約束推導(dǎo)出逐塊傳輸,但是當(dāng)圖像深度突然變化時,圖像會出現(xiàn)光暈偽影現(xiàn)象[16]。因此我們在邊界約束上通過計算局部像素的色差來構(gòu)造加權(quán)函數(shù)s(p,q):
其中,s(p,q)為圖像中相鄰像素p、q之間的約束,其大小完全取決于圖像的深度。
通常,圖像的深度會隨p、q之間強度值的變化而變化,而且具有相同強度、顏色的像素存在相似的深度。因此根據(jù)這一特點構(gòu)建如下加權(quán)函數(shù):
其中,γ為規(guī)定好的參數(shù)。
然后將加權(quán)的上下文約束引入圖像中,可得t(x)的正則化:
其中,Φ為圖像域。對上式進(jìn)行離散化處理,可得到:
在式(11)中引入一組微分算子,可得:
其中,Lj為一階微分算子,Sj(j∈s)為加權(quán)矩陣。
引導(dǎo)濾波器的關(guān)鍵是引導(dǎo)圖像I和濾波后圖像q之間的局部線性模型,假設(shè)q是以像素k為中心的窗口ωk,則所存在的線性關(guān)系為:
其中,(ak,bk)為線性系數(shù),ωk表示以r為半徑的方形窗口。為了使p、q之間的差值最小化,我們定義窗口ωk中的代價函數(shù)為:
其中,ε為防止ak取值過大的調(diào)整參數(shù),λ是為所有像素局部方差的平均值,用以準(zhǔn)確地保持圖像的邊緣,其表達(dá)式為:
由線性回歸分析可以得到(ak,bk)的最優(yōu)解:
最后在整幅圖像內(nèi)進(jìn)行窗口操作,取均值可得:
采用暗通道先驗算法處理鏡面高光圖像時,圖像中存在大面積的高亮度區(qū)域,使得處理后的圖像出現(xiàn)亮度不均衡、對比度偏低的現(xiàn)象,因此,我們引入對比度受限的自適應(yīng)直方圖均衡算法(CLAHE)來優(yōu)化圖像。首先將圖像轉(zhuǎn)至LAB 顏色空間中,并提取圖像的亮度分量L;然后采用CLAHE 算法處理亮度分量L,A、B分量自適應(yīng);最后更新圖像的亮度分量L。該方法有效增強了圖像的亮度、對比度和局部細(xì)節(jié)。
為了驗證本文所提算法的有效性,本節(jié)將對增強后的鏡面高光圖像進(jìn)行評估,主要包括兩個部分:主觀質(zhì)量評價和客觀質(zhì)量評價。仿真硬件環(huán)境參數(shù):Intel corei 7-10510U CPU @1.80 GHz 8.00 GB 內(nèi)存,64 位操作系統(tǒng)的Windows 10;仿真軟件:Matlab 2018a。
如圖1至圖4所示,對4 幅經(jīng)過增強處理的鏡面高光圖像進(jìn)行主觀評價,選取Shen[11]、Yang[12]、Yamamoto[13]、Akashi[14]與本研究提出的算法進(jìn)行對比。
如圖1(b)~(e)至圖4(b)~(e)所示,采用文獻(xiàn)[11][12][13]和[14]的方法并沒有去除圖像中的高光分量,并且高光區(qū)域的信息損失十分嚴(yán)重。如圖1(f)~圖4(f)所示,經(jīng)本文算法處理后的圖像較原圖像保留了更多的細(xì)節(jié)特征,圖像中高光區(qū)域的信息清晰可見,并且與其他算法相比,處理后的圖像效果更加明顯。
圖1 算法結(jié)果對比一
圖2 算法結(jié)果對比二
圖3 算法結(jié)果對比三
圖4 算法結(jié)果對比四
本文的實驗對象均為現(xiàn)實場景下的鏡面高光圖像,所以我們采用非參考方法對處理后的結(jié)果進(jìn)行分析,選取了e、、H和θ作為評價指標(biāo)對算法進(jìn)行量化比較,其中H為圖像的信息熵。
e表示處理后圖像的邊緣恢復(fù)能力:
其中,nr為處理后圖像中的可見邊緣數(shù),n0為原圖像中的可見邊緣數(shù)。
表1、表2、表3總結(jié)了文獻(xiàn)[11][12][13][14]和本文提出算法對不同現(xiàn)實場景中隨機(jī)拍攝的鏡面高光圖像處理后的結(jié)果。在表4中,我們選取100 張不同場景下的鏡面高光圖像,并比較了上述算法處理后的結(jié)果。通過分析上述數(shù)據(jù),我們發(fā)現(xiàn)采用e、、H作為度量方法,本文算法的各項指標(biāo)大多優(yōu)于其他算法。
表1 鏡面高光圖1~4 中基于e 度量的增強評估結(jié)果(度量值越大越好)
表2 鏡面高光圖1~4 中基于度量的增強評估結(jié)果(度量值越大越好)
表2 鏡面高光圖1~4 中基于度量的增強評估結(jié)果(度量值越大越好)
?
表3 鏡面高光圖1~4 中基于H 度量的增強評估結(jié)果(度量值越大越好)
表4 100 張不同場景下的鏡面高光圖像處理結(jié)果
針對現(xiàn)實生活中受高光噪聲影響而導(dǎo)致圖像信息丟失這一問題,我們提出一種基于暗通道先驗的鏡面高光圖像增強算法。該算法首先以暗通道先驗算法為基礎(chǔ),并重新更新了圖像的全局光照分量以及邊界約束;然后采用改進(jìn)的引導(dǎo)濾波算法優(yōu)化透射率;最后采用CLAHE 算法增強圖像的局部細(xì)節(jié)。實驗結(jié)果表明,本文所提算法明顯優(yōu)于其他算法。