基于光照復用的變光照采集系統(tǒng)設計與控制

(杭州電子科技大學計算機應用技術研究所，浙江 杭州310018)

0 引 言

變光照采集通過捕獲對象在不同光照方向的表面反射屬性、運動軌跡等信息，來建立全方位的準確表述模型。早期變光照采集系統(tǒng)主要用于小范圍，并且通常只用于靜態(tài)對象[1]。為了實現(xiàn)對動態(tài)對象的采集，初期采用了昂貴的高速攝像機[2]，后期采用攝像機陣列代替高速攝像機[3]。之后，為了對動態(tài)目標進行變光照采集，文獻[4]提出了一種動態(tài)變光照采集方法，但工作光源數(shù)較少，且只能完成單一目標的變光照采集。本文設計并實現(xiàn)了一個變光照采集系統(tǒng)，與目前已有系統(tǒng)相比較，系統(tǒng)光源分布更密集，變光照采集范圍更大，可實現(xiàn)多個運動目標的密集光照采集。針對采集范圍擴大會導致單一光源成像時曝光不足、圖像噪聲增大等問題，采用一種基于哈達瑪編碼的光照復用模式，實現(xiàn)對光照復用的采集，并通過解復用(Multiplexed Illumination De-multiplexed)得到采集對象的光照估計結果。實驗表明通過解復用的方法可以獲得更好的圖像質量。

1 變光照采集系統(tǒng)硬件設計

本文設計并實現(xiàn)了一個穹窿式鋼結構支架的變光照采集系統(tǒng)，整個結構高7 m，直徑10 m。變光照采集系統(tǒng)結構圖如圖1所示，整個球體外圍由便于摳像操作的藍色幕布圍成，內部由20個200萬像素的環(huán)形像機陣列與2 000個均勻分布的LED 動態(tài)光場(Dynamic light field)組成。2 000個LED 中每10個作為一組光源，共200組光源。如圖1(b)所示，每個顏色代表一組光源。

圖1 變光照采集系統(tǒng)結構圖

2 基于光照復用的變光照采集

由于單光源下成像存在曝光不足、圖像噪聲增大等問題，本文采用了一種基于光照復用的采集方法。光照復用時采用哈達瑪矩陣進行復用控制[5]。

2.1 哈達瑪矩陣

哈達瑪矩陣為(2n-1)×(2n-1)矩陣，每個元素只能取-1 或1。在光照復用中所定義的哈達瑪矩陣中使用0 代替元素-1。這樣，哈達瑪矩陣每行代表一個時刻的光照模式，每個時刻有 (n+1)/2個取1，(n-1)/2個取0，1表示控制光源亮，0表示控制光源滅。對哈達瑪矩陣光照復用的圖像解碼得到單光源的圖像。光照復用圖像的解碼可通過哈達瑪矩陣的逆矩陣T =S-1對圖像中各像素值進行解碼而得到。哈達瑪矩陣的逆T為:

2.2 信噪比分析

為了消除光照對信噪比結果的影響，對信噪比求解采用零均值化處理。設i (x，y)為單光源下采集得到圖像序列在 (x，y) 處的向量，復用時解復用的估計值為i^ (x，y) 。

對于圖像信號，由于單光源和復用光源的全局亮度不一樣，采用零均值化處理時，需減去全局亮度(即均值)，所以得到:

對于噪聲，求解采用均方根(Root Mean Square，RMS)[6]，又零均值化處理時MSE表現(xiàn)為RMS2，所以對噪聲的求解轉化為對MSE的求解。假設獨立加性噪聲η的均值為零，實驗的方差為σ2。輸出噪聲向量是W-1η，對于每個像素 (x，y)，的協(xié)方差矩陣每個像素點的均方差

在單一光源采集時，W=Ⅰ，這里I為單位矩陣，有MSEsingle=σ2。

綜上所述，可得信噪比的變形如下:

3 實 驗

3.1 模擬場景實驗

為了驗證光照復用解復用的可行性，利用3DMAX 對物體和光照進行模擬，如圖2所示。模擬實驗繪制了3種具有代表性形狀的物體，并選取了3個光源。在光源1和2 亮，3 滅的情況下，渲染得到圖像a;在光源1和3 亮，2 滅的情況下，渲染得到圖像b;在光源2和3 亮，1 滅的情況下，渲染得到圖像c。

圖2 模擬環(huán)境光照復用圖

圖3為模擬場景下單一光源和解復用圖像得到的單一光源的對比圖。圖3中，第1 行為單一光源圖像，第2 行為解圖2中復用圖像得到的單一光源圖像。

圖3 單一光源和解復用結果對比圖

模擬環(huán)境中，由于不存在像機引入噪聲的影響[7]，解復用和單一光源圖像的每個像素點差值理論應該為零，即兩種圖像是完全相同的。為了驗證光源復用解復用的可行性，本文對比了各個光源圖像的像素差值，3種光源對應圖像像素點差值的均值如表1所示。設i (x，y)為單光源下采集得到圖像組在(x，y)處的向量為解光照復用條件下得到圖像序列在 (x，y)處的向量，則均值μ(像素點平均差異)為:

式中，N為圖像像素點總數(shù)。

圖像像素對比表如表1所示。從表1中可以看出，每個像素點的差異幾乎可以忽略，說明模擬實驗中解復用出來的圖像和單光源的圖像相同，即可以用解復用方法得到想要的單光源圖像。

表1 圖像像素對比表

3.2 真實場景實驗

基于以上原理和實驗，選取15組光源進行實際場景的光照復用解復用實驗。首先，采集得到15 張光照復用圖像。采集完成后，對采集到的15 張光照復用圖像解復用，并與實際單光源采集得到的圖像進行對比。實驗結果如圖4所示。

圖4 光照解復用實驗結果圖

圖4中(a)為光照復用所拍攝的圖像，(b)為解復用得到的單光源圖像，(c)為實際單一光源下采集的圖像。由上述實驗結果可以看出，傳統(tǒng)單光源采集得到的圖像灰度值很低，而針對這種情況下，利用光照復用采集并解復用得到的單光源圖像具有更好的亮度。

根據(jù)零均值圖像信噪比計算公式(3)，分別計算解復用得到的單光源圖像和單一光源下采集的圖像的信噪比，結果如表2所示。

表2 噪聲的期望和方差對比表

綜上所述，光照復用解復用得到的單光源圖像比實際單一光源圖像的信噪比高。

4 結束語

本文設計和實現(xiàn)了一個變光照動態(tài)多視角采集系統(tǒng)，實驗結果表明光照復用和解復用可以獲得更好的采集圖像質量。然而有些地方還有待改進。首先，控制像機和LED 燈需要進行更精確的同步控制。其次，在數(shù)據(jù)采集過程中，產生的數(shù)據(jù)量比較大，處理時間比較長，所以在實時性方面還有待提高。

[1]Debevec P，Hawkins T，Tchou C，et al.Acquiring the reflectance field of a human face[C]//Proceedings of the 27th annual conference on Computer graphics and interactive techniques.ACM Press/Addison-Wesley Publishing Co.，2000:145-156.

[2]Wenger A，Gardner A，Tchou C，et al.Performance relighting and reflectance transformation with time-multiplexed illumination[C]//ACM Transactions on Graphics (TOG).ACM，2005，24(3):756-764.

[3]Einarsson P，Chabert C F，Jones A，et al.Relighting Human Locomotion with Flowed Reflectance Fields[C]//Rendering techniques，2006:183-194.

[4]曲震.變光照動態(tài)多視角采集系統(tǒng)的設計[D].北京:清華大學，2008:28-28.

[5]Schechner Y Y，Nayar S K，Belhumeur P N.Multiplexing for optimal lighting[J].Pattern Analysis and Machine Intelligence，IEEE Transactions on，2007，29(8):1 339-1 354.

[6]Schechner Y Y，Nayar S K，Belhumeur P N.A theory of multiplexed illumination[C]//Computer Vision，2003.Proceedings.Ninth IEEE International Conference on.IEEE，2003:808-815.

[7]Ratner N，Schechner Y Y.Illumination multiplexing within fundamental limits[C]//Computer Vision and Pattern Recognition，2007.CVPR'07.IEEE Conference on.IEEE，2007:1-8.