基于反射模型的本征圖像分解

廖斌++李曉屯

摘 要：針對(duì)傳統(tǒng)本征圖像分解無(wú)法獲取完整的解決方案的問(wèn)題。該文提出一種基于深度的圖像本征分解方法，首先，采用迭代法進(jìn)行鏡面高光分解以獲取鏡面反射明暗圖，并且計(jì)算圖像中光照的顏色和色度，然后結(jié)合深度信息和光源位置進(jìn)行漫反射分解，從而得到漫反射色明暗圖和反射率圖，進(jìn)而完成本征圖像分解。實(shí)驗(yàn)結(jié)果表明，與相關(guān)工作相比較，該方法能夠比較徹底地對(duì)圖像地進(jìn)行分解，分解所得的反射率效果圖像更為令人滿意。

關(guān)鍵詞：圖像處理 本征圖像分解 高光分解 漫反射分解

中圖分類號(hào)：TP39 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-098X（2017）06（b）-0154-04

Intrinsic Images DecompositionBased on Reflection Model

Liao Bin Li Xiaotun

（Hubei University， College of Computer and Information Engineering， Hubei， Wuhan， 430062）

Abstract：Aiming at the problem that traditional intrinsic images decompositioncan not obtain a complete solution. In this paper， we propose a depth-based intrinsic images decomposition method. First， we use the iterative method to separate the specular component from the input image to obtain specular shading， and calculate the color and chroma of the light in the image， and then using the extracted depth map and the initial estimated light information toextract the diffuse shading imageand albedoimage， and then complete the intrinsic images decomposition. The experimental results show that compared with the related work， the method can decompose the image completely and decompose the image of the reflectivity effect is more satisfactory.

Key words：Image processing； Intrinsic imagesdecomposition； Specular component separation； Diffuse component decomposition

總所周知，本征圖像分解是圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域中的一個(gè)熱點(diǎn)問(wèn)題，即給定一幅圖像，能夠分解得到對(duì)應(yīng)的反射率本征圖和明暗度本征圖。傳統(tǒng)的本征圖分解算法一般是近似地模擬人類視覺(jué)系統(tǒng)光照的穩(wěn)定性，從而得到不錯(cuò)的分解圖像，值得說(shuō)明的是該類方法忽略了人的視覺(jué)系統(tǒng)中對(duì)深度的辨析能力。因此，如何更好地進(jìn)行本征圖像分解仍然是一個(gè)具有挑戰(zhàn)性的課題。

由于本征圖像的符號(hào)是在文獻(xiàn)[1]中首次引入，許多本征圖像分解方法已經(jīng)開發(fā)出來(lái)。一些方法[2-4]基于圖像梯度或結(jié)構(gòu)配置分解圖像，該類方法認(rèn)為類似的反射率可能有相似的像素梯度或結(jié)構(gòu)配置。一些方法應(yīng)用圖像材料顏色的稀疏先驗(yàn)對(duì)圖像分解[5]。例如，文獻(xiàn)[6]第一次執(zhí)行分段圖像壓縮抑制明暗變化，然后基于圖像聚類分解圖像。作為自動(dòng)方法有時(shí)對(duì)于復(fù)雜的場(chǎng)景難以產(chǎn)生滿意的結(jié)果，為了提高分解精度，用戶交互也已納入圖像分解[7]。如果深度信息或點(diǎn)云對(duì)于圖像是可用的，分解精度也可以大大提高[8]。在該文中，采用文獻(xiàn)[9]的方法從單一圖像中推斷深度圖，該文結(jié)合圖像的深度信息提出了一種新的圖像分解方法。

基于圖像的重光照工作是為了使用之前獲取的圖片產(chǎn)生新的照明條件下的自然場(chǎng)景圖像?；趫D像的重光照不需要估計(jì)場(chǎng)景的材料和幾何結(jié)構(gòu)，這很方便生成新的圖像。許多基于的重光照方法被提出了，詳情請(qǐng)參見文獻(xiàn)[10]。例如，Debevec等人[11]提出了一種方法來(lái)呈現(xiàn)任意光照條件下的人臉。他們使用燈光舞臺(tái)對(duì)面對(duì)入射光方向的人臉采樣下捕獲的圖像集，并且這些采樣圖像對(duì)每個(gè)可觀測(cè)的圖像像素用于構(gòu)建一個(gè)反射函數(shù)圖像。面對(duì)新的照明條件下的圖像可以根據(jù)這些反射函數(shù)生成。一個(gè)場(chǎng)景的外觀可以從光的傳輸計(jì)算。對(duì)于一個(gè)幾何結(jié)構(gòu)，反射屬性，和照明環(huán)境都是難以獲取的真實(shí)的圖像，光傳輸?shù)挠绊懣梢詮脑诓煌墓庹諚l件下展示圖像外觀的圖像集中推斷出來(lái)。最近，Ren等人[12]提出了一個(gè)神經(jīng)網(wǎng)絡(luò)回歸方法用于對(duì)少量圖像中的真實(shí)場(chǎng)景進(jìn)行重光照。重光照是場(chǎng)景的光照傳播矩陣和新光向量的計(jì)算結(jié)果，而光傳輸矩陣是由圖像集重構(gòu)。盡管基于圖像的重光照可以產(chǎn)生視覺(jué)上較好的結(jié)果，這些方法需要輸入圖像集，有時(shí)需要額外的圖像捕獲裝置。

2 本文方法

根據(jù)輸入圖像的光照效果，利用反射模型（見圖1），本文將輸入圖像分解成三個(gè)圖片：鏡面反射明暗圖，漫反射明暗圖和反射率圖。首先從圖像中提取鏡面反射明暗圖，然后將剩余圖像分解為漫反射明暗圖和反射率圖，進(jìn)而得到本征圖像分解。

2.1 高光部分分離

高光存在于大多數(shù)真實(shí)圖像，本節(jié)使用了一種基于色度的高光去除技術(shù)[13]從輸入圖像分離出鏡面反射部分并且估計(jì)多個(gè)光源的色度。Neverova等人[14]改進(jìn)了高光去除方法[13]并且使用迭代的方式估計(jì)的燈光顏色和色度。具體地說(shuō)，對(duì)于輸入圖像，首先假設(shè)光源是白色的，然后運(yùn)行的算法[13]分離鏡面反射部分。然后，估計(jì)場(chǎng)景中光源的色度作為鏡面反射像素的平均色度。最后，將原始圖像正則化于光源估計(jì)值，并重新計(jì)算鏡面高光部分。重復(fù)前面的過(guò)程（高光去除、光照色度估計(jì)、使用光源色度估值對(duì)鏡面高光部分重新計(jì)算），直到估計(jì)出的光源色度不再變化，得到最終的高光部分和光源色度估計(jì)。在圖2的實(shí)驗(yàn)中，該文發(fā)現(xiàn)5迭代就足夠了。高光部分分離，即鏡明暗圖，如圖3，將用于光線位置估計(jì)過(guò)程并且估計(jì)的光源顏色可以在在照明編輯中編輯。

2.2 漫反射分解

從輸入圖像去除高光部分后，可以得到了漫反射圖像?，F(xiàn)在進(jìn)一步將漫反射圖像分解為漫反射明暗圖和相應(yīng)的反射率圖。我們可以改進(jìn)一個(gè)基于深度的本征圖像分解方法，它使用提取的深度圖和初始估計(jì)的光信息來(lái)提取漫反射明暗圖和反射率圖。然后，利用分解本征圖像，可以進(jìn)一步優(yōu)化光的顏色和位置。

本征圖像分解可以表示為。其中，I表示輸入圖像，s表示光照分量（漫反射明暗圖）并且R是反射率。同時(shí)，當(dāng)分解圖像時(shí)需要考慮場(chǎng)景深度和光源位置L。具體本征圖像分解如下：

首先，使用文獻(xiàn)[5]中描述的修改后的自動(dòng)分解方法得到原始的本征圖像s和R，最小化目標(biāo)函數(shù)如下：

（1）

其中，是衡量像素和之間反射率的相似度，是YUV顏色空間中通道的強(qiáng)度值，是像素的鄰域。通過(guò)解這個(gè)最小二乘問(wèn)題，可以得到原始的本征分解圖像和。

然后將場(chǎng)景深度和燈源的位置（在下一節(jié)中解出）作為約束條件添加到式（1）中就會(huì)得到更準(zhǔn)確的結(jié)果。分解函數(shù)根據(jù)如下先驗(yàn)定義：（1）具有相似深度值的相鄰像素在相同光源下通常有類似的明暗值；（2）具有相似強(qiáng)度值的像素具有相似的反射率值；（3）表面點(diǎn)也有類似的距離總和每個(gè)光源本身將分享類似的陰影值。這將鼓勵(lì)整個(gè)場(chǎng)景的陰影平滑。然后制定以下能量函數(shù)，見公式（2）：

（2）

其中，衡量像素i和j之間深度值的相似度，νi，νj是點(diǎn)i，j在三維空間中的近似位置。是根據(jù)光源位置對(duì)明暗圖的平滑項(xiàng)，是一個(gè)平衡因子。這里定義如下：

（3）

（4）

其中，和是點(diǎn)和的近似明暗度值，是物體表面點(diǎn)到場(chǎng)景中各光源的距離總和，是第個(gè)光源的3D位置，是表面點(diǎn)的3D位置，如圖4。

通過(guò)最小化式（2）可以得到改進(jìn)的分解結(jié)果。具體來(lái)說(shuō)，使用一個(gè)迭代優(yōu)化方法解決能量函數(shù)最小化問(wèn)題。首先，將第一步中計(jì)算的R和s作為初始值。然后，根據(jù)約束從新計(jì)算s的值并且重新計(jì)算R和s。重復(fù)這一過(guò)程直到計(jì)算的明暗值s之間的變化值低于固定閾值。

3 實(shí)驗(yàn)分析

該文實(shí)驗(yàn)基于主頻為2.3GHz CPU，內(nèi)存為4G的計(jì)算機(jī)，同時(shí)采用VS2010和Matlab實(shí)現(xiàn)了該文所提出的算法。通過(guò)對(duì)一些不同場(chǎng)景內(nèi)容下光照的退化圖像的復(fù)原處理來(lái)表明該文算法的有效性。

圖（5）中，（a）輸入圖像，（b）和（c）是相應(yīng)的文獻(xiàn)[5]中得出的反射率圖和明暗圖，（d）是高光部分分離，（e）和（f）是該文方法得到的反射率圖和明暗圖。由上圖可以說(shuō)明圖像分解方法的有效性，同時(shí)與文獻(xiàn)[5]的結(jié)果進(jìn)行比較可以得知該文方法大大提高了反射率圖像質(zhì)量。

4 結(jié)語(yǔ)

該文提出了一種基于反射模型的本征圖像分解法，首先，利用迭代法分解圖像得到鏡面反射明暗圖，并且計(jì)算出圖像中光照的顏色和色度，然后將圖像的深度信息和光源位置引入到分解模型中，對(duì)漫反射圖像進(jìn)行分解，從而得到漫反射色明暗圖和反射率圖，從而完成本征圖像分解。未來(lái)的研究方向是將本文所提出的基于反射模型的本征圖像分解算法引入到圖像渲染中，使得對(duì)單幅圖像的光照渲染更加貼近于現(xiàn)實(shí)。

參考文獻(xiàn)

[1] Barrow H G， Tenenbaum J M. Recovering Intrinsic Scene Characteristics from Images[J]. Journal of Fujian Commercial College， 1978.

[2] Tappen M F， Freeman W T， Adelson E H. Recovering intrinsic images from a single image.[J].Pattern Analysis & Machine Intelligence IEEE Transactions on，2005，27（9）：1459.

[3] Shen L， Tan P，Lin S.Intrinsic image decomposition with non-local texture cues[J]. Proc IEEE Cvpr，2008：1-7.

[4] Zhao Q，Tan P，Dai Q，et al.A Closed-Form Solution to Retinex with Nonlocal Texture Constraints[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2012，34（7）：1437.

[5] Shen L， Yeo C. Intrinsic images decomposition using a local and global sparse representation of reflectance[J].2011，32（14）：697-704.

[6] Bi S， Han X，Yu Y.An L 1 image transform for edge-preserving smoothing and scene-level intrinsic decomposition[J].Acm Transactions on Graphics，2015，34（4）：1-12.

[7] Bousseau A，Paris S，Durand F.User-assisted intrinsic images[J].Acm Transactions on Graphics，2009，28（5）：89-97.

[8] Chen Q，Koltun V.A Simple Model for Intrinsic Image Decomposition with Depth Cues[C]//.International Conference on Computer Vision.2013.

[9] 朱堯，喻秋.基于非參數(shù)化采樣的單幅圖像深度估計(jì)[J].計(jì)算機(jī)應(yīng)用研究，2016，7（33）：78.

[10] Choudhury B，Chandran S.A Survey of Image-based Relighting Techniques[C]//GRAPP.2006.

[11] Debevec P，Hawkins T，Tchou C，et al.Acquiring the reflectance field of a human face[C]//.Conference on Computer Graphics and Interactive Techniques.2000.

[12] Ren P，Dong Y，Lin S，et al. Image based relighting using neural networks[J].Acm Transactions on Graphics，2015，34（4）：1-12.

[13] Shen H L， Cai Q Y.Simple and efficient method for specularity removal in an image[J].Applied Optics，2009，48（14）：2711.

[14] Neverova N，Muselet D，Trémeau A.Lighting Estimation in Indoor Environments from Low-Quality Images[M]//Computer Vision–ECCV 2012.Workshops and Demonstrations. Springer Berlin Heidelberg，2012：380-389.