一種適于鏡面反射表面的從明暗恢復(fù)形狀算法

王國琿，蘇 煒，宋玉貴

(西安工業(yè)大學(xué)光電工程學(xué)院，陜西 西安 710032)

從明暗恢復(fù)形狀(Shape－from－Shading，SFS)是計(jì)算機(jī)視覺中實(shí)現(xiàn)物體表面三維形狀重構(gòu)的關(guān)鍵技術(shù)之一。SFS方法通過求解建立的單幅圖像的輻照度方程來獲取物體表面各點(diǎn)的法向量或相對高度，其技術(shù)原理簡單，應(yīng)用非常廣泛［1］。

SFS方法最早是由麻省理工學(xué)院的Horn學(xué)者在20世紀(jì)70年代提出的［2］，在此基礎(chǔ)上，經(jīng)過幾十年的發(fā)展，出現(xiàn)了很多新的算法［3－6］，如:文獻(xiàn)［2 －3］將 SFS 方法中的輻照度方程轉(zhuǎn)化為能量函數(shù)形式，然后附加一定的約束條件將其變換為泛函極值求解問題;文獻(xiàn)［4］將SFS問題中原先的非線性反射圖方程轉(zhuǎn)化為線性問題，從而方便計(jì)算輻照度方程的解;文獻(xiàn)［5－6］對SFS問題建立的一階非線性偏微分方程本身直接求解，從圖像中一組已知高度值的初始點(diǎn)出發(fā)，逐步確立出圖像中所有像素點(diǎn)對應(yīng)的物體表面的三維形狀。上述SFS方法存在著兩方面的問題:一是使用的反射模型通常為Lambert模型，這樣雖可以簡化計(jì)算，然而對于非Lambert表面(如鏡面反射表面)通常會引起較大的重構(gòu)誤差;二是采用的數(shù)值算法往往通過迭代形式實(shí)現(xiàn)，算法運(yùn)行時間較長，達(dá)不到快速重構(gòu)的要求［7］。

為了實(shí)現(xiàn)鏡面反射表面快速重構(gòu)的需求，本文提出了一種基于高階Fast Marching方法的SFS算法，解決了上述幾個不足。本文提出的SFS算法有下面兩個特點(diǎn):1)使用Blinn－Phong模型刻畫鏡面反射表面的反射特性，這樣更適于鏡面反射表面的實(shí)際情況，減少了由于模型誤差引起的重構(gòu)精度不高問題;2)將基于Blinn－Phong模型的鏡面表面圖像輻照度方程轉(zhuǎn)化為含有高度信息的Eikonal偏微分方程，利用高階Fast Marching方法計(jì)算上述Eikonal方程的解，在獲得二階精度的同時減少了算法的運(yùn)行時間。

1 基于Blinn－Phong模型的輻照度方程

假定攝像機(jī)的成像平面為x－y平面，攝像機(jī)的光軸與z軸重合。在上述坐標(biāo)系下，SFS問題可以看作是求解如下圖像輻照度方程［7－8］式中:I(x，y)為圖像的灰度值，亦認(rèn)為是圖像的輻照度;R(p(x，y)，q(x，y))是由物體表面反射模型確立的反射圖，它描述了光源分布與物體表面方向的對應(yīng)關(guān)系。在正交投影條件下，通常使用下式來計(jì)算物體表面一點(diǎn)(x，y，z(x，y)) 的方向向量

如圖1所示的表面反射幾何模型，已知點(diǎn)光源的單位方向向量為L，攝像機(jī)的單位方向向量為V;θi，φi和θr，φr分別為光源、攝像機(jī)方向向量的天頂角和方位角。對于鏡面反射表面，Phong［9］提出了一個經(jīng)驗(yàn)?zāi)Ｐ?，用來?jì)算鏡面反射表面的輻射亮度

式中:M為鏡面反射指數(shù);R為反射光的單位方向向量，且有R=2×n(n·L)－L。

圖1 表面反射幾何模型

鑒于Phong模型在實(shí)際應(yīng)用時，計(jì)算(R·V)不方便，Blinn［10］對Phong模型進(jìn)行了改進(jìn)，用(n·h) 來代替(R·V)，簡化了運(yùn)算。Blinn－Phong模型為

式中，h為光源方向向量L與攝像機(jī)方向向量V之間夾角平分線的單位方向向量。本文使用Blinn－Phong反射模型來近似其反射屬性，可以得到鏡面反射表面的圖像輻照度方程為

式中，δ為n與h之間的夾角。

假定光源與攝像機(jī)共線，此時有θi=θr，φr=φi，因此 δ= θi。設(shè)光源的方向向量為［0，0，－1］，由于θi為n與L之間的夾角，故有

將式(6)代入(5)，得到基于Blinn－Phong模型的圖像輻照度方程

2 圖像輻照度方程求解

為了求解圖像輻照度方程(7)，一種直接的方法就是將其轉(zhuǎn)化為含有高度信息的Eikonal偏微分方程(8)，應(yīng)用相關(guān)數(shù)值方法進(jìn)行求解

考慮圖像大小為(1，m)×(1，n)的均勻離散網(wǎng)格點(diǎn):(xi，yj)=(iΔ，jΔ) ，i=1，2，…，m ，j=1，2，…，n，(Δ，Δ)為數(shù)值算法中離散網(wǎng)格的大小。本文中數(shù)值方法的目的就是求解高度函數(shù) z(x，y) 的離散近似解 zi，j=z(xi，yj)。

在作者以前的研究工作中，求解Eikonal方程的算法使用到高階 Fast Sweeping方法［8］及 Fast Marching方法［11］。高階Fast Sweeping方法雖然可以獲取較高的重構(gòu)精度，但算法需要迭代，故運(yùn)行時間較長，達(dá)不到快速重構(gòu)的要求;而Fast Marching方法雖運(yùn)行時間較短，但重構(gòu)精度較低?？紤]到快速精確性的要求，本文使用文獻(xiàn)［12］提出的高階Fast Marching方法來逼近上述Eikonal方程(8)的解。

傳統(tǒng)的Fast Marching方法是一種一階精度的、非迭代(單步)的復(fù)雜度為O(NlogN)的數(shù)值方法，其中N為離散網(wǎng)格的總數(shù)。對Eikonal方程(8)，利用單調(diào)迎風(fēng)Hamilton函數(shù)逼近有

將式(10)代入(9)，可以得到二階精度的‖▽zi，j‖逼近。

于是，基于高階Fast Marching方法的適于鏡面反射表面的從明暗恢復(fù)形狀算法過程如下:

1)初始化

(1)設(shè)置網(wǎng)格點(diǎn)標(biāo)志:設(shè)置初始點(diǎn)的標(biāo)志為K;將標(biāo)志為K的像素點(diǎn)的8個鄰域的標(biāo)志設(shè)為T;剩余網(wǎng)格點(diǎn)的標(biāo)志設(shè)置為F。

(2)將所有標(biāo)志為K的網(wǎng)格點(diǎn)的值設(shè)定為真實(shí)高度值，作為Marching過程的初始高度值，而且在整個Marching過程中不發(fā)生變化;標(biāo)志為T的網(wǎng)格點(diǎn)的值由初始高度值與鄰域的位置確定;所有標(biāo)志為F的網(wǎng)格點(diǎn)的值設(shè)定為無窮大。T和F網(wǎng)格點(diǎn)的值在Marching過程中將得到重新計(jì)算。

2)選擇 (iminΔ，jminΔ) 為 T 中 z值最小的點(diǎn)，并將(iminΔ，jminΔ)點(diǎn)從T中移出并添加到K中。

3) 考慮 (iminΔ，jminΔ) 的 8 個鄰域 (imin－1Δ，jminΔ) ，(imin－2Δ，jminΔ) ，(imin+1Δ，jminΔ) ，(imin+2Δ，jminΔ) ，(iminΔ，jmin－1Δ) ，(iminΔ，jmin－2Δ) ，(iminΔ，jmin+1Δ) ，(iminΔ，jmin+2Δ)中不為K的點(diǎn):

(1)若(iminΔ，jminΔ)的鄰域標(biāo)志為F，將其從F中移出并添加到T中，并用式(9)更新其值。

(2)若(iminΔ，jminΔ)的鄰域標(biāo)志為T，則直接用式(9)更新其值。

4)當(dāng)所有網(wǎng)格點(diǎn)的標(biāo)志均為K時，算法結(jié)束，否則返回步驟2)。

3 實(shí)驗(yàn)驗(yàn)證

為了驗(yàn)證本算法的性能，使用兩幅已知高度的鏡面反射表面圖像進(jìn)行驗(yàn)證，高度圖和圖像如圖2所示，重構(gòu)結(jié)果如圖3所示。圖2a與2b分別為圓柱體、花瓶的三維高度圖，圖2c與2d為獲取的對應(yīng)的圖像。由圖2c與2d可以看出，圖像中含有高光，為鏡面反射表面形成的圖像。圖3a與3b分別為本算法重構(gòu)的三維形狀。對于圓柱體圖像和花瓶圖像，本算法的運(yùn)行時間均為0.02 s左右。圖3c與3d為圓柱體、花瓶的高度誤差圖。為了定量評價(jià)本算法的重構(gòu)結(jié)果，使用高度平均絕對誤差(Mean Absolute Error，MAE)和均方根誤差(Root Mean Square Error，RMSE)來反映其精確度。高度MAE和RMSE分別定義為

圖2 高度圖及圖像

圖3 重構(gòu)結(jié)果

4 小結(jié)

本文提出了一種基于高階Fast Marching方法的從明暗恢復(fù)形狀算法，可以實(shí)現(xiàn)鏡面反射表面快速重構(gòu)的需求。首先假定光源為點(diǎn)光源，且位于無窮遠(yuǎn)處，同時攝像機(jī)遵循正交投影，其方向與光源方向保持一致;其次使用Blinn－Phong模型來描述鏡面反射表面的反射特性，減少了由于模型誤差引起的重構(gòu)精度不高問題;建立基于Blinn－Phong反射模型的鏡面表面圖像輻照度方程，然后將該輻照度方程轉(zhuǎn)化為含有高度信息的Eikonal偏微分方程，利用高階Fast Marching方法計(jì)算上述Eikonal方程的解，從而獲得鏡面反射表面的三維形狀，在獲得二階精度的同時減少了算法的運(yùn)行時間。經(jīng)圓柱體和花瓶圖像實(shí)驗(yàn)，結(jié)果表明本文提出的方法可以快速精確地實(shí)現(xiàn)鏡面反射表面的三維重構(gòu)。

［1］王國琿，韓九強(qiáng)，張新曼，等.一種從混合表面的明暗變化恢復(fù)形狀的新算法［J］. 宇航學(xué)報(bào)，2011，32(5):1124－1129.

［2］HORN B K P.Height and gradient from shading［J］.International Journal of Computer Vision，1990，5(1):37－75.

［3］HORN B K P，BROOKS M J.The variational approach to shape from shading［J］.Computer Vision，Graphics，and Image Processing，1986，33(2):174－208.

［4］TSAI P－S，SHAH M.Shape from shading using linear approximation［J］.Image and Vision Computing，1994，12(8):487－498.

［5］PRADOS E，F(xiàn)AUGERAS O.A generic and provably convergent shapefrom－shading method for orthographic and pinhole cameras［J］.International Journal of Computer Vision，2005，65(1/2):97－125.

［6］ZHANG L，YIP A M，BROWN M S，et al.A unified framework for document restoration using inpainting and shape－from－shading［J］.Pattern Recognition，2009，42(11):2961－2978.

［7］王國琿，韓九強(qiáng)，張新曼.一種適合漫反射表面從明暗恢復(fù)形狀的快速算法［J］.西安交通大學(xué)學(xué)報(bào)，2009，43(10):7－10.

［8］WANG Guohui，SU Wei，SONG Yugui.A new shape from shading approach for specular surfaces［J］.Lecture Notes in Computer Science，2011，7004:71－78.

［9］PHONG B T.Illumination for computer generated pictures［J］.Communications of the ACM，1975，18(6):311－317.

［10］BLINN J F.Models of light reflection for computer synthesized pictures［J］.ACM SIGGRAPH Computer Graphics，1977，11(2):192－198.

［11］WANG Guohui，SU Wei，GAO Fen.A specular shape from shading by fast marching method［J］.Procedia Engineering，2011(24):192－196.

［12］SETHIAN J A.Fast marching methods［J］.SIAM review，1999，41(2):199－235.