紋理陰影去除及提取方法研究

許 剛，劉 坤

（華北電力大學(xué) 電氣與電子工程學(xué)院，北京102206）

0 引 言

自然圖像是真實物體幾何形狀與反射比的光照場景。自然圖像由很多具有固有特性的成份組成，被稱作本征圖像。近年來，自然圖像本征圖像的分析研究已經(jīng)取得了長足的發(fā)展，圖像本征成份分析能解決很多計算機視覺問題，如帶光照的圖像分割與識別，從而有利于光照成份的去除。關(guān)于光照的一個常見的現(xiàn)象是陰影，由于光線阻擋造成，而自然圖像大部分由紋理構(gòu)成，因此研究帶陰影的紋理圖像具有很重要的實際意義，在紋理替換、圖像分割與目標(biāo)檢測等多方面有廣泛的應(yīng)用。

柏柯嘉等人[1]提出了的基于Gabor小波和顏色模型的陰影檢測算法取得了良好的效果，但只是對陰影進行檢測，不能去除陰影或提取本征圖像；Subr等人[2]將保留邊緣多尺度分解用于估算光照，但存在其自身的局限性；Dong等人[3]提出了一個新的交互系統(tǒng)獲取圖像的空間反射變化特性，但二者都需要復(fù)雜的人機交互；Tappen等人[4]提出基于衍生分類的本征圖像提取辦法，然而分類器對圖像中物體表面的先驗知識要求較多，從而應(yīng)用受限。Finlayson等人[5]提出了一種基于二維積分的陰影去除算法，通過求解二維泊松方程來得到無陰影圖像，缺點在于算法復(fù)雜度高，并可能造成部分圖像失真；Arbel等人[6]提出計算光照變化表面的方法，能夠去除圖像中的陰影，但去除陰影后的圖像紋理不連續(xù)；Liu等人[7]在梯度域通過求解泊松方程的方法，去除陰影對半影區(qū)域光照變化表面及整個陰影區(qū)域紋理的影響，該算法取得了較好效果但不足之處是計算復(fù)雜度較高；楊小汕[8]提出基于能量優(yōu)化的本征圖求解方法，能夠去除圖像彩色光照，但是要求過多的人機交互。以往方法雖然都能去除或提取陰影圖像，但都不是針對紋理圖像的陰影去除或提取，沒有充分利用紋理圖像的特征。本文根據(jù)紋理圖像的特征，研究紋理的顏色統(tǒng)計不變性[9]，并創(chuàng)新地提出統(tǒng)計梯度的概念來衡量紋理圖像內(nèi)像素的整體明暗程度，也就是陰影明暗程度，并通過二叉樹進行自適應(yīng)分割和采樣，然后在每個分割的圖像塊內(nèi)設(shè)置相同數(shù)目的采樣點，最后對采樣數(shù)據(jù)進行插值得到全部陰影圖像數(shù)據(jù)，并可以得到去陰影的紋理圖像。

1 紋理陰影估算基本方法

在計算機視覺領(lǐng)域，紋理是一種由基本單元周期性或隨機重復(fù)而產(chǎn)生的特殊圖像。文獻[9]中提出即使在光照的干擾下，紋理圖像不同區(qū)域的顏色統(tǒng)計特征仍是保持一致的 （在統(tǒng)計窗口足夠大的情況下），如圖1中兩個方框內(nèi)的紋理區(qū)域所示。

圖1 紋理圖像顏色統(tǒng)計不變性示例

彩色圖像I（x）可以被定義為反照率R（x）和光照L（x） 的乘 積

對于紋理圖像，根據(jù)顏色統(tǒng)計不變性可知其反照率R（x，y）近似為一個常數(shù)[9]，因此，式 （1）可以重寫為

其中，R是控制反射亮度的反射比參數(shù)。式 （2）表明紋理圖像顏色的變化取決于光照的變化，因此，可以通過補償I（x）使它在整個紋理空間上保持不變從而計算出光照，式（6）可重寫為

然后由式 （1）反過來即可求得對應(yīng)的反照率圖像。

文獻[9]中提出的該方法雖然利用了紋理統(tǒng)計不變性，但只是用實驗證明了紋理中存在統(tǒng)計不變性，并沒有對紋理統(tǒng)計不變性給出確定的定義，下文將針對這統(tǒng)計不變性對本方法原理作出詳細(xì)定義與說明。

2 紋理統(tǒng)計不變性

設(shè)一幅尺寸為M×N的紋理圖像f（x，y），以像素點（x，y）為中心，將其周圍w×w的鄰域窗記為Nw（x，y）。假設(shè)窗口依次滑過圖像中的每一個像素點，并采用循環(huán)填充的方法處理邊界像素，則共產(chǎn)生M×N個窗口子圖像。像素點 （x，y）鄰域窗Nw（x，y）內(nèi)的顏色分量均值E（m）Nw（x，y）為

其中，m＝1，2，3，分別代表窗口內(nèi)顏色分量R、G和B的均值；E（m）（i，j）表示像素點 （i，j）處的顏色分量值。

根據(jù)圖像中所有窗口內(nèi)的顏色分量均值，計算圖像顏色分量均值

其中，E（m），m＝1，2，3分別代表圖像R、G和B顏色分量均值。

則圖像fx，（y）的顏色分量標(biāo)準(zhǔn)差為

根據(jù)式 （1）～式 （3），當(dāng)窗口尺寸為w×w時，定義紋理圖像f（x，y）的顏色統(tǒng)計特征值為

因此，對于M×N的紋理圖像f（x，y），逐次增加鄰域尺寸w，計算每一種窗口尺寸下的顏色統(tǒng)計特征值Φf·w，如果存在正整數(shù)W（W＜min（M，N）），使得當(dāng)w≥W時，Φf·w→K（K為一個很小的正數(shù)），則稱圖像f（x，y）滿足顏色統(tǒng)計不變性。換言之，比較同一紋理圖像中任意兩個局部窗口子圖像，只要窗口足夠大能夠包含基本紋元結(jié)構(gòu)，它們的內(nèi)容看上去都具有相似性。據(jù)此，分別用尺寸為3×3到59×59（步長為2）的鄰域窗口來計算不同窗口下紋理的顏色統(tǒng)計特征值，結(jié)果如圖2所示。

不同的紋理圖像具有不同的穩(wěn)定尺寸，根據(jù)設(shè)定的閾值δ，按照窗口尺寸由小到大逐次比較相鄰窗口尺寸下的顏色統(tǒng)計特征值，當(dāng)滿足時，將此時的窗口尺寸w（i）記為穩(wěn)定尺寸W。

根據(jù)上述分析，當(dāng)紋理圖像的顏色統(tǒng)計特征值不趨于穩(wěn)定，即不再滿足統(tǒng)計不變性時，表明圖像中任意兩個同尺寸窗口內(nèi)的顏色均值相差較大，可認(rèn)為是由光照變化引起的；反過來，圖像窗口內(nèi)顏色均值的變化就反映了光照的變化。因此，可以用帶光照紋理每個像素點鄰域Nw（x，y）內(nèi)的顏色均值來估算光照場。

圖2 幾種紋理顏色統(tǒng)計特征值隨窗口變化曲線

3 自適應(yīng)采樣插值法

3.1 原方法存在的問題

基于紋理統(tǒng)計不變性的紋理光照估算方法雖然簡單有效，但由于其計算鄰域窗口內(nèi)的平均顏色，若鄰域窗口尺寸選取太小，提取出的陰影圖像中經(jīng)常含有紋理結(jié)構(gòu)信息，如圖3所示；若鄰域窗口尺寸選取太大，則會對陰影邊界造成過度平滑，如圖4所示。

圖3 窗口尺寸為25×25時陰影提取結(jié)果

圖4 窗口尺寸為55×55時陰影提取結(jié)果

根據(jù)紋理統(tǒng)計不變性，直接計算所有像素點鄰域窗口平均顏色來估算和提取光照陰影圖像，其時間復(fù)雜度為O （nw2）（n表示輸出紋理圖像的像素點個數(shù)，w表示鄰域窗口寬度），計算量非常大，且隨著鄰域窗口寬度的增大而急劇增大 （呈平方關(guān)系）。因此考慮采用通過在初始陰影紋理圖像中設(shè)置采樣點，選用之前的基本方法計算各采樣點的顏色信息，然后用插值的方法來估算和提取紋理中的陰影信息，這樣還能抑制由噪聲或抖動引起的估算誤差。

3.2 統(tǒng)計梯度

在數(shù)字圖像處理中，經(jīng)常用到匹配窗口 （或模板）來進行圖像像素運算，以往定義的圖像梯度是把圖像看成二維離散函數(shù)，圖像梯度就是這個二維離散函數(shù)的求導(dǎo)

將式 （8）離散化可得

模板如圖5所示。

圖5 梯度算子模板

如圖6所示，將一塊圖像水平平均分成兩個部分和垂直平均分成兩個部分，分別對每個部分內(nèi)所有像素求平均像素值得到E1、E2、E3、E4，然后再利用梯度算子分別類似計算水平梯度E2－E1和垂直梯度E3－E4，這個梯度就定義為統(tǒng)計梯度。

圖6 統(tǒng)計梯度

由于紋理統(tǒng)計不變性，統(tǒng)計梯度反應(yīng)圖像塊內(nèi)像素整體明暗程度變化。統(tǒng)計梯度大，說明匹配窗內(nèi)像素明暗程度變化大，意味著該匹配窗區(qū)域內(nèi)存在陰影邊界；匹配窗內(nèi)統(tǒng)計梯度小，說明圖像塊內(nèi)像素明暗程度變化緩慢，不存在陰影邊界。因此，可以把統(tǒng)計梯度當(dāng)作自適應(yīng)采樣插值的判斷標(biāo)準(zhǔn)。

3.3 自適應(yīng)采樣插值

為了抑制圖像中的噪聲或抖動影響并提高陰影估算速度，通過對圖像采樣和插值來完成紋理圖像陰影估算。紋理圖像根據(jù)統(tǒng)計梯度的大小被分割成塊，在統(tǒng)計梯度大的地方，圖像分塊更多更細(xì)，反之，在統(tǒng)計梯度小的地方圖像分塊更小，也就是說在紋理圖像陰影邊界處圖像被分割得更細(xì)，在每個塊內(nèi)設(shè)置同樣數(shù)目的采樣點，這樣就能得到在陰影分布均勻的地方采樣點少，在非陰影邊界地方采樣點多的采樣結(jié)果，如圖7所示。

自適應(yīng)采樣具體步驟如下:

（1）輸入一幅帶陰影的紋理圖像；

（2）判斷圖像 （或各個圖像塊）尺寸是否大于設(shè)定的尺寸閾值，若是，則執(zhí)行步驟 （3），若否，則執(zhí)行步驟 （5）；

（3）計算圖像 （或各個圖像塊）的統(tǒng)計梯度，包括水平統(tǒng)計梯度和垂直統(tǒng)計梯度；

圖7 自適應(yīng)采樣示例

（4）若水平統(tǒng)計梯度大于垂直統(tǒng)計梯度，且大于設(shè)定的梯度閾值，則將圖像平均水平分成兩個部分，并轉(zhuǎn)到步驟 （2）；若垂直統(tǒng)計梯度大于水平統(tǒng)計梯度，且大于設(shè)定的梯度閾值，則將圖像垂直平均分成兩個部分，并轉(zhuǎn)到步驟 （2）；若水平和垂直統(tǒng)計梯度均小于設(shè)定的梯度閾值，執(zhí)行步驟 （5）；

（5）在圖像 （或各個圖像塊）中分別均勻設(shè)置9個采樣點，然后再進行插值計算。

從以上步驟可以看出，當(dāng)統(tǒng)計梯度小于設(shè)定的梯度閾值或被分割的圖像塊小于設(shè)定的尺寸閾值 （一般是紋理穩(wěn)定尺寸）時停止對圖像或圖像塊的分割，然后進行插值計算。這個過程可以采用建立二叉樹來實現(xiàn)，通過遞歸迭代能夠很快的對圖像進行分割，實現(xiàn)自適應(yīng)采樣過程。

采樣完成之后，根據(jù)前面的提到的基于統(tǒng)計不變性求鄰域窗口平均顏色來求取采樣點的顏色信息，再通過對采樣點進行插值就能得出整個光照信息，這里對于插值方法的選擇也很重要。由于薄板樣條插值 （thin plate spline，TPS）與其他插值擬合法相比，能很好地反映調(diào)和異常變化的物理特征[10]，具有光滑、連續(xù)、彈性好的特點，此外TPS插值不要求采樣點呈規(guī)則網(wǎng)格排列，所以用TPS可以得到理想所插值結(jié)果。

4 實驗結(jié)果與分析

4.1 算法流程

算法總體流程如圖8所示，包括自適應(yīng)采樣、采樣點顏色信息計算、插值計算、彩色補償和反照率圖像求取5個步驟，通過這5個步驟可以實現(xiàn)快速、有效的帶陰影紋理本征圖像提取，包括陰影圖像提取和反照率圖像提取。

圖8 算法總體流程

4.2 實驗結(jié)果與分析

通過實驗來驗證自適應(yīng)采樣方法的有效性與高效性，所有實驗均在一臺個人電腦上完成，電腦配置為Intel Core雙核處理器、2.00GHz主頻、2GB內(nèi)存。

首先對3幅不同紋理分別采用基本方法和自適應(yīng)采樣方法對帶陰影的紋理圖像進行估算，基本方法使用的鄰域窗口尺寸為25×25、55×55；自適應(yīng)采樣方法使用的鄰域窗口為25×25，估算結(jié)果如圖9～圖14所示，分別為陰影圖像對比與反照率圖像對比。

由圖9～圖11可以看出，實驗中鄰域窗口尺寸太?。?5×25）時，提取的陰影圖像中包含過多的紋理結(jié)構(gòu)信息，而鄰域窗口尺寸太大 （55×55）時，提取的陰影圖像中紋理結(jié)構(gòu)信息減少了，但造成了陰影邊界的過度光滑，而通過自適應(yīng)采樣方法得到的結(jié)果則兩者兼顧，即不含有紋理結(jié)構(gòu)信息，也沒對陰影邊界造成過度光滑；從圖12～圖14可以看出，雖然兩種方法均能較好地提取出紋理反照率本征圖像，但通過自適應(yīng)采樣方法提取的結(jié)果要略好一點。由此可見，自適應(yīng)采樣方法的是非常有效的。

圖9 兩種方法提取的陰影圖像對比 （1）

圖10 兩種方法提取的陰影圖像對比 （2）

圖11 兩種方法提取的陰影圖像對比 （3）

圖12 兩種方法提取的反照率圖像對比 （1）

圖13 兩種方法提取的反照率圖像對比 （2）

圖14 兩種方法提取的反照率圖像對比 （3）

除了從有效性方面分析比較兩種方法，還從效率 （運行時間）上對兩種方法進行了比較，分別對不同尺寸的紋理圖像，用不同大小的鄰域窗口，對兩種方法各進行了20次實驗，然后取平均運行時間，結(jié)果如表1所示。

表1 自適應(yīng)采樣方法與基本方法運算時間比較 （單位:s）

由表1可知，自適應(yīng)采樣方法耗時幾乎都在1秒之內(nèi)，而基本方法運行時間幾乎都超過1秒，且隨著紋理尺寸和鄰域窗口尺寸的增大而急劇增大，可見自適應(yīng)采樣方法大大提高了運算速度，具有更高的運算效率。

5 結(jié)束語

本文提出了一種基于紋理顏色統(tǒng)計不變性的本征圖像快速提取方法，在研究基于紋理統(tǒng)計不變性的陰影估算基本方法的基礎(chǔ)上，對紋理統(tǒng)計來變性作出了詳細(xì)的定義和說明，并對原方法的不足或缺點做出了分析，并在此基礎(chǔ)上提出了統(tǒng)計梯度的概念，通過計算圖像塊內(nèi)統(tǒng)計梯度來完成紋理圖像的自適應(yīng)分割與采樣，最后通過對采樣數(shù)據(jù)進行TPS插值求得整個紋理空間上的陰影圖像，并求得反照率圖像。這種方法有效的克服了原方法在鄰域窗口過小或過大時的缺陷，并顯著提高了本征圖像提取運算效率，在紋理合成與替換、圖像分割與目標(biāo)檢測等領(lǐng)域具有重要的應(yīng)用價值。

[1]BAI Kejia，LIU Wei，MING Tangyi，et al.Shadow detection algorithm based on Gabor wavelet and color model[J].Journal of South China University of Technology（Natural Science Edition），2009，37 （1）:64－68 （in Chinese）.[柏柯嘉，劉偉，銘湯義，等.基于Gabor小波和顏色模型的陰影檢測算法[J].華南理工大學(xué)學(xué)報 （自然科學(xué)版），2009，37 （1）:64－68.]

[2]Subr K，Soler C，Durand F.Edge－preserving multi－scale image decomposition based on local extreme[C]／／SIGGRAPH，2009:1－9.

[3]Dong Y，Tong X，Pellacini F，et al.Interactive material modeling from a single image[C]／／SIGGRAPH Asia，2011:1－10.

[4]Shen L，Tan P，Lin S.Intrinsic image decomposition with nonlocal texture cues[C]／／IEEE Conference on Computer Vision and Pattern Recognition，2008:1－7.

[5]Finlayson G D，Hordle S D，Lu C，et al.On the removal of shadows from images[J].IEEE Trans on PAMI，2006，28 （1）:59－68.

[6]Arbel E，Hel Or H.Texture－preserving shadow removal in color images containing curved surfaees[C]／／Proeeedings of IEEE Computer Society Conference on Computer Vision and Pattem Recognition，2007:1－8.

[7]Liu F，Gleicher M.Texture－consisten shadow removal[C]／／Proc European Conferenee on Computer Vision，2008:437－450.

[8]YANG Xiaoshan.Learning and interaction based intrinsic image recovery[M].Beijing:Beijing Institute of Technology，2011（in Chinese）.[楊小汕.基于學(xué)習(xí)與交互的本征圖像求解方法研究[M].北京:北京理工大學(xué)，2011.]

[9]Liu Xiaopei，Jiang Lei，Tien Tsin Wong.Statistical invariance for texture synthesis[J].IEEE Transactions on Visualization and Computer Graphics，2012，18（11）.

[10]DU Guoming，JIA Liangwen.Thin plate splines applied to interpolation of spatial data[J].Computer Engineering and Applications，2009，45 （36）:238－240 （in Chinese）.[杜國明，賈良文.薄板樣條函數(shù)在空間數(shù)據(jù)插值中的應(yīng)用[J].計算機工程與應(yīng)用，2009，45 （36）:238－240.]