光滑物體表面反射光偏振特征分析及反射光分離技術*

張 焱，張景華，石志廣，張 宇，凌 峰，劉 荻，索玉昌，師曉冉

(國防科技大學 電子科學學院 ATR 國防科技重點實驗室， 湖南 長沙 410073)

光滑物體表面反射光主要包括鏡面反射光和漫反射光，兩者之間相互存在、共同作用[1-2]。其中，漫反射光主要和物體表面自身材質(zhì)屬性有關，如折射率、粗糙度等[3-4]，鏡面反射光除和自身屬性有關外，還和入射光源強度、入射方向等外部因素有關[5-6]。在光滑的物體表面，易產(chǎn)生鏡面反射光[7]。由于鏡面反射光會在物體表面呈現(xiàn)虛像，造成反射區(qū)域光照不均，且當反射光源較強時，還會在物體表面形成高亮區(qū)域，掩蓋物體自身的顏色細節(jié)等屬性，給圖像分割、目標識別、立體匹配等圖像處理和應用帶來較大干擾[8-9]。隨著現(xiàn)代化城市建設及室內(nèi)裝修過程中，玻璃、陶瓷、地板磚、金屬、塑料等具有光滑表面結構的材質(zhì)被大量采用，物體表面鏡面反射光分離和抑制問題引起國內(nèi)外學者的重點關注。

由于光滑物體表面鏡面反射光和漫反射光均具有偏振效應，且兩者之間偏振特征存在明顯差異，因此利用偏振特征能夠為鏡面反射光分離和抑制提供有效先驗信息。Ohnishi等[10]提出了一種基于旋轉偏振片的反射光分離方法。該方法利用不同起偏角下光強大小不同的原理，通過旋轉偏振片獲取不同起偏角下的偏振圖像，從而實現(xiàn)反射光的分離。Wolf等[11-14]通過假定物體表面漫反射光為自然光，鏡面反射光為部分偏振光，且偏振度不隨物體表面觀測角的變化而變化，利用偏振探測器測量反射光中垂直方向光強分量和平行方向光強分量的比值，實現(xiàn)鏡面反射光和漫反射光的分離。Nayar等[15]提出一種結合顏色信息和偏振信息的偏振成分分解方法，該方法假定不同顏色空間上偏振態(tài)是相互獨立的，而漫反射成分位于RGB顏色空間中的線性子空間，同時假設鄰域像素點具有相同的漫反射成分，通過求解相鄰像素點漫反射線性子空間在RGB三維顏色空間上的交點，實現(xiàn)漫反射成分的估計。

盡管目前基于偏振特征的鏡面反射光分離和抑制取得了一定的研究成果，但是依然存在以下兩點不足：一是傳統(tǒng)的基于旋轉偏振片的方法不具備實時性和實用性，且難以完全分離鏡面反射光；二是大多數(shù)基于偏振特征的反射光分離方法都是假定漫反射光是自然光，且漫反射光和鏡面反射光是獨立存在的，沒有考慮兩者之間的相互作用。而在現(xiàn)實世界中，光滑物體表面即包含以鏡面反射為主導的區(qū)域又包含以漫反射為主導的區(qū)域，因此屬于混合反射區(qū)域。由于混合反射區(qū)域中反射光組成較為復雜，即存在鏡面反射光強度大于漫反射光強度的反射點，又存在漫反射光強度大于鏡面反射光強度的反射點，盡管混合反射區(qū)域中物體表面的粗糙度、折射率等物理屬性均相同，但是由于其鏡面反射光強度和漫反射光強度的不同，導致各反射點處偏振角的不同，因此混合反射區(qū)域中鏡面反射光和漫反射光的分離是光學領域的一項研究難題。

本文針對目前基于偏振特征的反射光分離技術存在的以上問題，通過對物體表面鏡面反射偏振現(xiàn)象和漫反射偏振現(xiàn)象進行分析，建立了一種結合兩者相互作用的偏振態(tài)表征模型，用于計算物體表面反射光的偏振狀態(tài)。然后在偏振分析的基礎上，基于物體表面漫反射光和鏡面反射光在平行方向上和垂直方向上的分布特征，通過結合鏡面反射偏振度和漫反射偏振度提出一種偏振正交分解的鏡面反射光成分和漫反射光成分求解方法，并針對鏡面反射偏振度和漫反射偏振度難以直接測量的難題，提出一種基于鏡面反射光成分和漫反射光成分歸一化互相關最小化的反射光分離策略，利用梯度下降法得到鏡面反射光成分和漫反射光成分歸一化互相關最小值，實現(xiàn)了光滑物體表面鏡面反射光和漫反射光的分離。本文算法總體流程圖如圖1所示。

圖1 本文算法總體流程圖Fig.1 Flow chart of the proposed algorithm

1 物體表面反射偏振態(tài)模型構建

1.1 物體表面反射光組成

探測器接收到的物體表面反射光主要由鏡面反射光IS和漫反射光ID構成[16-18]，其中漫反射光ID又可以分為漫反射偏振光IDp和漫反射自然光IDunpolar，如圖2所示。

1)鏡面反射偏振光IS：鏡面反射偏振光由光滑物體表面直接反射外部光源產(chǎn)生，根據(jù)菲涅爾反射定律，光波發(fā)生鏡面反射后，由自然光變?yōu)槠窆?，且偏振方向垂直于入射面?/p>

2)漫反射偏振光IDp：漫反射偏振光是由外部光源入射到物體內(nèi)部，并經(jīng)過內(nèi)部分子、原子的折射返回物體表面產(chǎn)生。折射產(chǎn)生的偏振光其偏振方向平行于入射面。

3)漫反射自然光IDunpolar：漫反射自然光由粗糙物體表面反射周圍光源產(chǎn)生，由于粗糙面元法向量的隨機性，該部分漫反射光不是偏振光，而是自然光。

1.2 光滑物體表面反射偏振態(tài)表征模型

在本節(jié)中，通過對反射過程中鏡面反射光和漫反射光的偏振傳輸過程進行分析，利用偏振光正交分解的方法，提出一種結合鏡面反射和漫反射的反射光偏振態(tài)表征模型。

圖2 物體表面光波偏振狀態(tài)傳輸示意圖Fig.2 Transmission diagram of polarization states of light wave on object surface

1.2.1 鏡面反射光和漫反射光正交分解

物體表面鏡面反射偏振光屬于部分偏振光，可以分解為垂直入射面方向和平行入射面方向光強之和：

(1)

鏡面反射過程中產(chǎn)生的偏振度為：

(2)

同樣，對于漫反射偏振光，也可進行如下正交分解：

(3)

根據(jù)基爾霍夫定律和能量守恒定律[19]，反射率和發(fā)射率之和為1：

(4)

漫反射偏振光的偏振度為：

(5)

對于漫反射自然光，由于各個方向光強相同，則：

(6)

通過光波的正交分解，能夠建立鏡面反射偏振光偏振度和漫反射偏振光偏振度隨觀測角的變化模型。對典型光滑表面材質(zhì)的物體(玻璃)的反射偏振度進行仿真，如圖3所示，其中圖3(a)為垂直方向和平行方向反射率仿真結果，圖3(b)為垂直方向和平行方向發(fā)射率仿真結果，圖3(c)為鏡面反射偏振度和漫反射偏振度仿真結果，偏振度的正負表示偏振方向，正值表示垂直入射面的方向，負值表示平行入射面的方向。從圖3中可以看出，鏡面反射偏振光強主要分布在垂直方向上，具有較強的偏振效應，在布儒斯特角附近，偏振度達到1。漫反射偏振光強以平行方向為主，偏振度隨觀測角的增加而增加。

(a) 反射率仿真結果 (a) Simulation result of reflectivity

(b) 發(fā)射率仿真結果(b) Simulation result of emissivity

(c) 偏振度仿真結果(c) Simulation result of polarization圖3 玻璃鏡面反射偏振度和漫反射偏振度仿真Fig.3 Simulation of polarization generated by specular reflection and diffuse reflection respectively

由于物體表面總的漫反射成分ID等于漫反射偏振光IDp和漫反射自然光IDunpolar之和，即:

(7)

總的漫反射偏振度為：

(8)

圖4為光滑物體表面漫反射光的光強分布圖。從式(8)和圖4仿真結果可以看出，總的漫反射光和漫反射偏振光具有相同的偏振方向。而由于受漫反射自然光的影響，總的漫反射偏振度小于漫反射偏振光的偏振度。

圖4 漫反射光組成Fig.4 Composition of diffuse reflected light

1.2.2 結合鏡面反射和漫反射的偏振態(tài)模型構建

由圖2的反射模型可以看出鏡面反射光和漫反射光是同時存在、相互作用的，所以必須建立一個結合兩者共同效應的偏振狀態(tài)傳輸模型，才能有效計算探測器接收到的偏振光的偏振狀態(tài)。

探測器接收到的總的光強為：

I=IS+ID

(9)

對鏡面反射成分和漫反射成分進行正交分解得：

I=R⊥(θ)PS+ε⊥(θ)PD+R‖(θ)PS+ε‖(θ)PD+IDunpolar

(10)

令I⊥表示探測器接收到的垂直方向總光強，則：

(11)

令I‖表示探測器接收到的平行方向總光強，則：

(12)

根據(jù)偏振度定義：

(13)

定義物體表面漫反射偏振光強IDp與鏡面反射光強IS之比為：

(14)

定義物體表面漫反射自然光強IDunpolar與鏡面反射光強IS之比為：

(15)

則目標物體表面的偏振度為：

從式(16)可以看出，物體表面的偏振態(tài)不僅和自身折射率有關，還和物體表面的鏡面反射光強以及漫反射光強的大小有關。由于2α+β+(R⊥+R‖)·(1-α)>0，所以物體表面的偏振角由(R⊥-R‖)·(1-α)決定，即偏振角僅和α有關，而偏振度則由α及β共同決定。對于在光滑物體表面，由于表面面元法向量分布較為統(tǒng)一，漫反射自然光成分所占比例較小，β可近似為0，此時物體表面偏振度為：

(17)

選取不同的α值，分別為0.4、0.6、0.8、1、1.2、1.5、2，對不同探測角度下玻璃表面的偏振度進行仿真，如圖5所示。其中，圖5(a)是綜合漫反射光和鏡面反射光之后總的光強分布圖，圖5(b)是光滑物體表面不同反射比下偏振度變化規(guī)律。從圖5仿真結果可以看出，鏡面反射偏振光和漫反射偏振光由于偏振方向相互垂直，兩者之間相互作用時會發(fā)生消偏現(xiàn)象，當鏡面反射偏振光大于漫反射偏振光時，偏振方向垂直于入射面；當漫反射偏振光大于鏡面反射偏振光時，偏振方向平行于入射面；而當反射比α在1上下變化時，偏振方向會發(fā)生90°變化。

(a) 總反射光(a) Total reflected light

(b) 不同反射比下偏振度變化規(guī)律(b) Variation of degree of polarization under different reflectance α圖5 結合鏡面反射光和漫反射偏振光的偏振態(tài)表示Fig.5 Simulation of polarization combined with specular reflection and diffuse reflection

(a) 實測可見光圖像(a) Measured visible light image

(b) 不同偏振態(tài)對應的HSV色彩空間(b) HSV color space corresponding to different polarization states

(c) 實測偏振圖像(c) Measured polarization image圖6 偏振態(tài)實測結果Fig.6 Measured results of polarization states

圖6(a) 是實際拍攝的室內(nèi)環(huán)境中可見光圖像。圖6(b) 是偏振度ψ和偏振角ω對應的HSV顏色空間，圖6(c) 是HSV顏色空間中顯示的偏振圖像?？梢钥闯?，圖6(c) 區(qū)域A中偏振度較小，這是由于該區(qū)域反射的墻壁光強和自身漫反射光強近似相等，反射比α接近1，所以偏振度較小；區(qū)域B反射的是桌子光強，該光強明顯弱于柜子自身漫反射光強，所以該區(qū)域以漫反射為主，偏振角在0°附近，偏振方向和入射面平行；區(qū)域C反射的門外太陽光強，鏡面反射光大于漫反射光，反射光以鏡面反射光為主，偏振角在90°附近，偏振方向和入射面垂直。從實際拍攝的偏振圖像可以看出，反射光偏振態(tài)和漫反射光強及鏡面反射光強密切相關，驗證了本文提出的結合鏡面反射和漫反射相互作用的偏振態(tài)表征模型的有效性。

2 光滑物體表面鏡面反射成分和漫反射成 分分離

通過上節(jié)分析可知，物體表面偏振狀態(tài)由鏡面反射光和漫反射光共同決定，本節(jié)中將利用鏡面反射光和漫反射光在垂直方向和平行方向上的光強分布關系，通過鏡面反射偏振度和漫反射偏振度求解光滑物體表面鏡面反射光成分和漫反射光成分。

2.1 光滑物體表面垂直方向和平行方向光強分 量提取

根據(jù)偏振光的表示形式[19-20]，偏振光在不同起偏角下的光強計算公式為：

cos2[φm-φ⊥(i,j)]

(18)

其中，φm為起偏角，φ⊥為垂直方向?qū)钠鹌?。令?=0°，分別設置起偏角φm為φ0=φ0、φ4=φ0+45°、φ90=φ0+90°，獲取對應的偏振圖像為I0、I45、I90，將其代入式(18)可分別求得垂直方向光強I⊥和平行方向光強I‖如下[20]：

(19)

(20)

2.2 基于偏振正交分解的反射光分離

根據(jù)偏振正交分解原理，探測器接收到的光強在垂直方向上和平行方向上的分量為：

(21)

光滑物體表面鏡面反射光和漫反射光都屬于偏振光，令鏡面反射光偏振度為γ，漫反射光偏振度為χ：

(22)

(23)

則：

(24)

(25)

將式 (24)、式(25) 代入式 (21) 求解得到漫反射光在垂直方向上和平行方向上光強分量：

(26)

同時求得鏡面反射光在垂直方向上和平行方向上光強分量為：

(27)

總光強等于垂直方向和平行方向光強之和，因此可以求得光滑物體表面鏡面反射光成分和漫反射光成分如下：

(28)

2.3 基于圖像歸一化互相關最小化的反射光分 離方法

已知鏡面反射光偏振度、漫反射光偏振度以及垂直方向、平行方向光強，利用式(28)可以求得光滑物體表面每個像素點處鏡面反射光強和漫反射光強，從而實現(xiàn)反射光的分離。但是光滑物體表面鏡面反射光和漫反射光是相互存在的，無法直接利用探測器分別獲取鏡面反射光偏振度和漫反射光偏振度。

由于光滑物體表面鏡面反射光和漫反射光包含不同的信息，在理想分離情況下，得到的鏡面反射光成分和漫反射光成分具有最小的相關值。在利用偏振正交分解算法對反射光進行分離過程中，如果鏡面反射偏振度或漫反射偏振度選定值大于或者小于真實鏡面反射偏振度或漫反射偏振度值時，會發(fā)生反射光的過分離和欠分離[21]。無論是反射光的過分離還是欠分離，分離后得到的鏡面反射光成分和漫反射光成分之間都具有較強的相關性。只有當選定的漫反射偏振度和鏡面反射偏振度等于真實的漫反射偏振度和鏡面反射偏振度時，分離后得到的鏡面反射光成分和漫反射光成分之間的相關值才最小。因此，盡管光滑物體表面鏡面反射光偏振度和漫反射光偏振度無法直接測量，可以通過計算分離后鏡面反射光成分和漫反射成分之間的相關值，得到兩者相關值最小時對應的鏡面反射偏振度和漫反射偏振度，從而實現(xiàn)反射光的分離。

(29)

定義光滑表面鏡面反射光成分和漫反射光成分歸一化互相關f(γ,χ)為圖像中所有像素點互相關之和：

(30)

為了求解鏡面反射光成分和漫反射光成分互相關的最小值，本文采用梯度下降法，將鏡面反射光成分和漫反射光成分歸一化互相關f(γ,χ)看作鏡面反射偏振度γ和漫反射偏振度χ的函數(shù)。通過對歸一化互相關f(γ,χ)求偏導，并讓其沿著梯度的方向下降，通過多次迭代后得到歸一化互相關最小值。

由于圖像噪聲的存在，歸一化互相關可能存在局部最小值。在收斂過程中，有可能收斂到局部最小值。為了避免歸一化互相關收斂到局部最小值，本文通過采用鏡面反射偏振度γ和漫反射偏振度χ等間隔全局搜索的方法，將鏡面反射偏振度γ和漫反射偏振度χ的初值設置在全局最小值附近，然后再利用梯度下降法求解全局最小值。具體步驟如下：首先設置鏡面反射偏振γ0=0，在0～1范圍內(nèi)(常見物體鏡面反射偏振度處于0～1之間)每間隔0.05選取一次鏡面反射偏振度，即γm=γ0+m·Δγ，Δγ=0.05。同時設置漫反射偏振度χ0=0，在0～0.5范圍內(nèi)(常見物體漫反射偏振度處于0～0.5之間)每間隔0.05選取一次漫反射偏振度，即χk=χ0+k·Δχ，Δχ=0.05。然后將選定的(γm,χk)代入式(28)中分離得到鏡面反射光圖像和漫反射光圖像，計算兩者之間的歸一化互相關值f(γm,χk)。通過比較在等間隔遍歷過程中不同鏡面反射偏振度γm和漫反射偏振度χk獲取的歸一化互相關值，從而得到距離全局最小值最近的鏡面反射偏振度γm0和漫反射偏振度χk0。獲取全局最小值附近的鏡面反射度γm0和漫反射偏振度χk0之后，以此為初值點，對f(γ,χ)進行求導，使其沿著梯度的方向下降，最終獲得歸一化互相關全局最小值及其對應的鏡面反射偏振度γmin和漫反射偏振度χmin。

梯度下降過程為：

(31)

其中，ηγ、ηχ分別為鏡面反射偏振度和漫反射偏振度的學習率。本文采用自適應調(diào)節(jié)的方式對學習率進行設置。考慮到鏡面反射偏振度和漫反射偏振度的間隔設置為Δγ=0.05、Δχ=0.05，本文將前5次梯度下降迭代的步長設置為0.05/2n，其中n為梯度下降迭代次數(shù)，對應的學習率為：

(32)

第5次迭代后，保持學習率不變，直至迭代結束。通過上述方式，可以根據(jù)不同的場景對學習率進行自動設置，有效提升收斂速度。

歸一化互相關按照上述方式進行梯度下降，當達到收斂條件時，迭代結束。本文設置的收斂條件有兩個：一是前后兩次迭代互相關損失之差的絕對值小于閾值t(本文中t設置為10-6)；二是迭代次數(shù)大于一定閾值N(本文中N設置為25)。收斂條件如下：

(33)

上述兩個條件只要滿足一個，我們就認為互相關損失已經(jīng)收斂，停止迭代，此時相關值最小，鏡面反射光成分和漫反射光成分實現(xiàn)了最優(yōu)分離。

3 實驗結果與分析

3.1 反射光分離結果分析

通過以下幾種不同場景獲取的反射光圖像對本文提出的結合鏡面反射和漫反射偏振特征的反射光分離算法進行測試，這幾種場景包括了不同的反射面、反射光源、反射角等，能夠綜合評估反射光的分離效果。圖7(a)～(c)是獲取的可見光圖像，圖7(d)～(f)是偏振探測器獲取的HSV色彩空間中表示的偏振圖像。從圖7可以看出，同一光滑物體表面，由于反射光源不同，表面偏振度和偏振角差異較大。利用本文反射光分離算法對上述場景反射光進行分離，并與現(xiàn)有算法進行比較，如圖8～10所示，其中左圖為分離后漫反射光圖像，右圖為分離后鏡面反射光圖像。圖8是本文算法分離結果，本文算法結合了鏡面反射光和漫反射光的偏振特征，利用鏡面反射偏振度和漫反射偏振度實現(xiàn)了反射光的分離，從圖8中分離結果可以看出，無論是圖像中以鏡面反射為主的像素點，還是以漫反射為主的像素點，均取得了較好的分離效果。圖9是文獻[10]中算法的分離結果。該方法通過獲取不同起偏角下光強圖像，將最小光強值作為漫反射成分，將最大值和最小值之差作為鏡面反射成分。圖9分離結果表明，該算法對于鏡面反射光較強且反射角在布儒斯特角附近的像素點具有較好的分離效果，但是由于最小光強值并非完全是漫反射光成分，還含有部分鏡面反射光成分，因此難以實現(xiàn)鏡面反射成分的完全分離。圖10是文獻[14]提出的鏡面反射光分離方法，該方法利用圖像中以鏡面反射為主的像素點求解得到菲涅爾反射比，利用菲涅爾反射比實現(xiàn)鏡面反射和漫反射成分的分離。圖10結果表明，盡管該方法能夠去除光滑物體表面反射光，但是由于該方法沒有考慮漫反射的偏振效應，且利用直線擬合的方法估計菲涅爾反射比易受圖像噪聲干擾，因此該方法易導致鏡面反射光的過分離。通過對比上述結果可以看出，本文算法由于綜合考慮了光滑物體表面鏡面反射和漫反射之間的相互作用，反射光的分離效果優(yōu)于目前現(xiàn)有算法。

圖7 不同場景下獲取的可見光圖像和偏振圖像Fig.7 Visible light images and polarization images obtained in different scenes

圖8 本文算法反射光分離結果Fig.8 Reflected light separation results with the proposed method

圖9 文獻[10]算法反射光分離結果Fig.9 Reflected light separation results with method in reference[10]

圖10 文獻[14]算法反射光分離結果Fig.10 Reflected light separation results with method in reference[14]

3.2 定量比較

為了定量比較上述幾種方法的反射光分離效果，本文分別求取了不同算法分離后鏡面反射成分和漫反射成分之間的相關值，相關值越小，表明分離效果越好。如表1所示，可以看出，相對于其他算法，本文算法分離后的鏡面反射光成分與漫反射光成分之間的相關值最小，這說明本文算法反射分離后兩幅圖像之間的信息重疊成分最小，反射光分離效果最佳。

表1 不同反射光分離算法分離圖像相關值定量比較

4 結論

本文通過對光滑物體表面反射區(qū)域偏振特征進行分析和提取，結合光滑物體表面鏡面反射成分和漫反射成分相關性最小的特點，實現(xiàn)了鏡面反射成分和漫反射成分的分離。根據(jù)菲涅爾反射定律，提出了一種結合鏡面反射光和漫反射光綜合作用的偏振態(tài)表征模型。偏振模型仿真結果表明，物體表面反射光具有明顯的偏振效應，且反射光偏振狀態(tài)和鏡面反射偏振光與漫反射偏振光比值有關，當鏡面反射光成分大于漫反射偏振光成分時，反射光以鏡面反射為主，偏振方向垂直于入射面；當鏡面反射光成分小于漫反射偏振光成分時，反射光偏振狀態(tài)以漫反射為主，偏振方向平行于入射面。在對物體表面混合反射區(qū)域偏振特征分析和提取的基礎上，本文根據(jù)反射光在垂直方向和平行方向上的光強分布關系，采用偏振正交分解的方法，該方法通過鏡面反射偏振度和漫反射偏振度求解得到反射光中鏡面反射成分和漫反射成分。為解決鏡面反射偏振度和漫反射偏振度難以直接測量的問題，本文利用理想分離情況下鏡面反射光圖像和漫反射光圖像之間相關值最小的特點，通過梯度下降算法得到鏡面反射成分和漫反射成分歸一化互相關最小值，最終完成光滑物體表面鏡面反射光和漫反射光的分離。實驗結果表明，本文算法對不同場景下獲取的反射光均有較好的分離效果，并通過對反射光的分離實現(xiàn)了鏡面反射光的抑制。