面向增強現(xiàn)實的在線視頻陰影跟蹤檢測算法

孔維斌

（四川大學視覺合成圖形圖像技術(shù)國防重點學科實驗室，成都　610065)

面向增強現(xiàn)實的在線視頻陰影跟蹤檢測算法

孔維斌

（四川大學視覺合成圖形圖像技術(shù)國防重點學科實驗室，成都610065)

0　引言

增強現(xiàn)實（AR，Augmented Reality），是利用軟硬件技術(shù)的輔助，把計算機生成的虛擬物體無縫逼真地融合到真實的場景中去。隨著科技進步，尤其是移動設(shè)備的快速發(fā)展，增強現(xiàn)實越來越受到廣大研究者和企業(yè)所關(guān)注，其應(yīng)用領(lǐng)域廣泛，如教育、游戲、遺址修復(fù)、會展等。

增強現(xiàn)實中的核心問題是如何保持幾何一致性、光影一致性[1]和運動一致性。增強現(xiàn)實領(lǐng)域，不僅要求融合的物體自身光影效果表觀看起來和在線視頻中真實場景看起來和諧一致，高級的增強現(xiàn)實要求考慮虛擬的物體和真實場景中的陰影相互投射影響。然而，目前的大多數(shù)研究者都忽略了陰影交互問題。如圖1所示，缺少虛實之間的光影相互影響會嚴重導致融合的不真實，無法達到逼真的效果。因此，越來越多的研究者開始從事陰影交互的研究[2-4]。

模擬虛實之間的陰影交互，第一步需要檢測視頻真實場景中的陰影。在監(jiān)控系統(tǒng)中，許多研究者注重視頻中人物或者車輛的陰影檢測[5-7]。這些方法主要是針對基于固定視點下的視頻。在監(jiān)控系統(tǒng)中固定視點下的陰影檢測通常對檢測的細節(jié)準確性不如增強現(xiàn)實領(lǐng)域要求高。另外，許多現(xiàn)有的方法也很難達到實時在線處理。增強現(xiàn)實領(lǐng)域的陰影檢測具有特殊的要求，首先其要求每一幀中陰影必須要實時在線的被檢測出來，否則將會嚴重影響陰影交互，導致整個AR系統(tǒng)的逼真性無法保證。其次，陰影交互對陰影邊緣的檢測精確性要求很高，每一幀內(nèi)部和幀與幀之間都必須保持很好的連續(xù)性。比起固定攝像機下背景不變物體變化的物體陰影檢測，動態(tài)視點下的陰影檢測有獨特的挑戰(zhàn)。之前的一些研究者為了保持增強現(xiàn)實下的光影一致性，主要采取的方法是先進行光照估計，然后進行陰影生成模擬。有少部分的研究者進行了固定視點下室外場景實時在線的增強現(xiàn)實光影一致性的研究[8]。

圖1　陰影交互對增強現(xiàn)實的影響

本文提出了一種原創(chuàng)的在線陰影檢測算法框架。我們假設(shè)攝像機的移動是連續(xù)的，把每一幀當前幀分為兩部分處理：已跟蹤區(qū)域（Tracked Region，TR）和新增區(qū)域（New Region，NR）。TR是可以根據(jù)前一幀的信息使用光流跟蹤陰影邊緣的區(qū)域。NR是由于攝像機移動新進入窗口的區(qū)域。對于不同的部分，我們采取了不同的處理。TR中使用RANSAC算法進行異常點的剔除，只跟蹤準確的陰影邊緣信息。對于NR，使用Meanshift算法進行預(yù)處理分割，然后進行圖像中陰影邊緣的檢測，最后對誤檢測信息剔除，提取我們需要的準確信息獲得最終的陰影邊緣。

我們的算法比起之前的一些算法有明顯的優(yōu)點：第一，算法面向動態(tài)攝像機下的增強現(xiàn)實光影一致性問題的陰影檢測處理。第二，本文使用跟蹤和部分新檢測結(jié)合，有效避免不必要的重復(fù)計算，從而提升了效率，能達到實時在線處理。第三，算法具有很好的穩(wěn)定性，能適應(yīng)室內(nèi)或者室外場景。這些優(yōu)勢保證了本文算法能為增強現(xiàn)實光影一致性的保持做很好的預(yù)處理工作。

1　本文算法

如圖2所示，在TR中魯棒地跟蹤已檢測陰影邊緣和在NR中檢測新出現(xiàn)的陰影邊緣是本文算法框架的核心兩部分。

我們的跟蹤過程主要是在每一幀對應(yīng)的3D點云中進行。為了提高數(shù)據(jù)的可靠性，我們使用RANSAC[10]進行了主要平面（如地面）的擬合，從而去除了很多異常點。對NR，我們進行圖像分割，然后進行邊緣檢測，根據(jù)局部連續(xù)性，剔除異常點。得到最后的陰影邊緣，找到對應(yīng)3D點加入到跟蹤邊緣點序列中。本文算法框架中需要對第一幀進行陰影邊緣的交互初始化。

圖2　算法流程圖

對TR部分的陰影邊緣的跟蹤，我們充分結(jié)合了圖像像素和對應(yīng)的場景深度圖信息。在我們的系統(tǒng)中，深度圖是用RGB-D攝像機Bumblebee2[11]實時記錄的，從而可以得到每一幀對應(yīng)的3D點云。然而，由于軟硬件設(shè)備的限制，點云信息難免包含很多噪聲點，我們使用RANSAC進行邊緣點提純。

如圖3，我們先對第一幀陰影邊緣進行交互標出，并找到對應(yīng)的3D點云，提純后加入跟蹤。

圖3　陰影邊緣初始化

由于稠密光流的計算耗時，所以我們使用傳統(tǒng)的稀疏光流算法[12]計算幀間的光流變化情況，從而獲得NR。算法選取N個特征點，N大小由我們指定。我們把每一個特征點的光流變化向量記為VOF（i）=（x，y），i= 1，…，N。攝像機移動的情況主要有以下幾種情況：上下、左右、前后、旋轉(zhuǎn)。由于幀間差異性較小，所以我們選取了所有特征點變化響亮的中位數(shù)Vmedian表示場景變化情況，并且計算攝像機旋轉(zhuǎn)角度。從而獲得旋轉(zhuǎn)平移矩陣T：

用上一幀圖像It-1變換矩陣相乘，得到兩幀圖像重疊區(qū)域：ηIt-1T。η是尺寸因子，不小于1，例如，當為2時，部門重疊區(qū)域會被認為是新增區(qū)域，這樣的好處少量的重復(fù)計算保證新增陰影邊緣連續(xù)性很好的保持。

為了減少不必要的計算，我們根據(jù)陰影邊緣走勢和光流向量分量來判斷新增區(qū)域的進入方向。如果旋轉(zhuǎn)角度很小的話，我們則認為其只進行了平移變換。

Meanshift是一種特征分析方法[13]，其基本思想是通過反復(fù)迭代搜索特征空間中樣本點最密集的區(qū)域，搜索點沿著樣本點密度增加的方向“漂移”到局部密度極大點。相比起傳統(tǒng)的一些圖像分割算法，均值漂移算法原理簡單、迭代效率高。

Meanshift的核心兩點是，密度估計（Density Estimation）和模點（mode）搜索。對于圖像數(shù)據(jù)，因為其分布無固定模式，所以密度估計必須用非參數(shù)估計，選用的是具有平滑效果的核密度估計。通常，我們把一幅圖像直觀表示為一個具有p維矢量的二維網(wǎng)格，每個網(wǎng)格點代表一個像素。p=1時，表示這是灰度圖像；p=3表示為彩色圖像。網(wǎng)格所在的空間稱為坐標空間，灰度、色彩、光譜信息所在的空間稱為顏色空間。統(tǒng)一考慮圖像的坐標信息和色彩信息，組成一個p+2維的向量x，這樣每個圖像像素就可以用向量X=（XS，Xr）來表示，其中：XS表示像素的位置坐標，Xr表示該像素的色彩特征。設(shè)mh（x）表示p+2維空間上的均值漂移迭代公式，其定義為：

式中：x表示被平滑像素點的像素值；xi（i=1，2，…，n）表示以被平滑點為中心，邊長為 2hs（hs稱為空域帶寬）的正方形區(qū)域內(nèi)的像素點的值，正方形區(qū)域內(nèi)的所有像素點稱為采樣點；h為帶寬；G（x）為核函數(shù)，常用的2種核函數(shù)為單位核函數(shù)和高斯核函數(shù)；w（xi）≥0，是每個采樣點xi的權(quán)重值。

均值漂移算法的主要步驟如下：

步驟1：給定初始條件，包括一個初始像素點x，核函數(shù) G（x），帶寬h，每個采樣點的權(quán)重w（xi）和容許誤差 ε；步驟 2：根據(jù)式（2）計算像素點 x的mh（x）值；步驟 3：如果|mh（x）-x|＞ε，將mh（x）賦給x，并返回到步驟2。如果|mh（x）-x|＜ε，結(jié)束該像素點的迭代，順序選取下一個像素點；步驟4：重復(fù)步驟（2）～步驟（3），直至整個圖像遍歷結(jié)束。

對于圖像的分割包含圖像平滑、合并相似區(qū)域。最后能得到不同的區(qū)域分塊。得到大體的圖像分割結(jié)果。

在我們分割了每一幀新增圖像之后，我們進行了邊緣檢測，邊緣檢測算法，本文用了經(jīng)典的Canny邊緣檢測算法。得到的陰影邊緣難免因為分割的無語義性，導致很多是非陰影區(qū)域的邊緣。所以我們必須進行陰影邊緣點的提純，去除不必要的誤檢測邊緣。

在獲得了圖像中新陰影邊緣對應(yīng)的3D點信息之后，我們結(jié)合前一幀的邊緣信息來獲取最后我們需要的邊緣點。在實驗測試視頻中，我們只追蹤一條陰影邊緣，我們把圖像中每一個陰影點表示成一個向量：

其中，Gix和Giy是像素的梯度。覫i是梯度偏向角。Bi是像素的亮度值。Xi-1表示上一幀存儲最有一個邊緣點或者當前幀存儲的最后一個邊緣點。為了選取連續(xù)的陰影邊緣點，消除誤檢測點，我們考慮了Xi和Xi-1邊緣點的相似性和連續(xù)性兩個主要特性，同時結(jié)合2D像素信息和對應(yīng)的3D點云信息，估計函數(shù)如下：

其中，cos＜Xi-Xi-1＞是兩個向量之間的分別減去均值向量來校正過的余弦相似度：

其中ρ是正則化因子。F2D（i，i-1）估計的是圖像像素點之間的相似度與連續(xù)性程度，F(xiàn)3D（i，i-1）估計的是對應(yīng)3D空間中點之間的連續(xù)性。函數(shù)中的DE（i，i-1）和DE（Pi，P（i-1））分別表示2D圖像中像素點和對應(yīng)3D空間中的歐氏距離。

處理完當前幀所有陰影點，然后我們就把提取出來的點加入到跟蹤序列中。

當我們處理新出現(xiàn)的幀時，很多陰影邊緣信息已經(jīng)被計算過。為了提升效率，我們根據(jù)光流信息的變化判斷場景移動方向，我們不需要重復(fù)計算那些已經(jīng)拍攝過的場景的陰影邊緣信息。

由于幀間差異性很小，所以我們設(shè)置了幀步長S和光流向量的分量閾值β來提高效率。由于幀間差異很小，我們可以每3幀或5幀計算場景新陰影，從而可以大幅度提高效率。如果光流向量某個分量小于β，我們則認為該方向上幾乎沒變化，無需計算該方向上的新陰影邊緣。圖4展示了新增區(qū)域邊緣的檢測過程。

圖4　檢測過程

2　實驗結(jié)果

為了驗證算法中利用3D信息進行跟蹤邊緣信息的有效性和準確性，我們把實驗結(jié)果和文獻L.Bao[14]只基于2D像素信息的最新的光流跟蹤算法進行了對比。圖5展示了對比結(jié)果。如圖所示，文獻[14]的方法在緊鄰的兩幀之間跟蹤表現(xiàn)很好。但在長視頻序列中，隨著幀數(shù)的增加，累積跟蹤誤差也越來越大。相比而言，本文算法不盡在緊鄰幀間的跟蹤能取得同樣的效果，在長序列中也能進行穩(wěn)定的跟蹤。

通過實驗我們發(fā)現(xiàn)，主要有三個參數(shù)因子影響我們算法的高效性：幀步長S，光流分量閾值β，和光流跟蹤的特征點選取數(shù)量N。為了分析各參數(shù)的影響，我們固定其中兩個變量，從而改變某變量，得出實驗結(jié)果如表1所示。針對分辨率為400x300的視頻，當設(shè)置S=1，N=100，β=4時，處理平均幀率能達到24 fps。視頻分辨率更小時，幀率能高達滿足實時增強現(xiàn)實的要求。我們的運行環(huán)境是：Intel Core i5-4440,CPU 3.1GHz,RAM 8.00GB,GPU NVIDIA GeForce GTX750.一般而言，算法效率與圖像尺寸及分辨率有關(guān)，但是每幀新出現(xiàn)區(qū)域的大小是主要影響因素。

由于場景深度圖數(shù)據(jù)具有噪聲信息，盡管我們采取了提純措施，仍然無法避免的會有一些錯誤。如圖6所示，在實驗視頻的第30幀，跟蹤的陰影邊緣與真實邊緣約有4像素的漂移。

表1　不同分辨率視頻不同參數(shù)下幀率對比

在檢測了陰影邊緣之后，我們就可以利用光照估計的信息，沿陰影邊緣逆向生成陰影投射區(qū)域。從而可以放置虛擬物體，渲染之后，進行虛實融合了。為了展示陰影交互效果，我們把虛擬的球體置于場景不同地方，實驗結(jié)果圖如圖7所示。

圖5　不同分辨率視頻跟蹤穩(wěn)定性對比

圖6　由于設(shè)備缺陷導致的漂移現(xiàn)象

圖7　增強現(xiàn)實示例圖

3　結(jié)語

本文提出了一種原創(chuàng)的針對室外場景實時視頻的陰影檢測算法框架。我們充分利用了2D和3D信息。跟蹤過程比只基于圖像信息的跟蹤更加穩(wěn)定高效。用高效的均值漂移算法進行圖像分割，為陰影邊緣的檢測提高了準確性，很好地避免了直接進行邊緣檢測的大量誤檢測，也避免了大量的人工交互。最后我們的提純算法邊緣點篩選繼續(xù)對檢測的陰影邊緣進行處理。算法優(yōu)化計算從而大大提升了效率，滿足增強現(xiàn)實的實時性需求。

雖然我們的方法取得了不錯的實驗效果，但是仍然有一些不足和限制需要我們繼續(xù)研究解決。一方面，我們目前能處理的陰影不夠復(fù)雜，尤其針對軟影的處理難度較大。另一方面，我們的算法暫時不能處理場景中各種物體移動陰影變換劇烈的情況，我們主要是針對攝像機移動，光照變化不大靜態(tài)場景的情況。當光照變化強烈的時候，我們需要探索一些實時光照估計的算法，諸如文獻[15]提到的方法。當光照強度和方向均變化時，問題的挑戰(zhàn)性會加大。場景的光照必須很好地考慮到，這是我們未來的工作方向。

[1]G.Xing,X.Zhou,Y.Liu,X.Qin,Q.Peng,Online Illumination Estimation of Outdoor Scenes Based on Videos Containing no Shadow Area,Science China Information Sciences,56(3)(2013)1-11.doi:10.1007/s11432-012-4780-7.

[2]Q.Zhao.A Survey on Virtual Reality,Science in China Series F:Information Sciences，52(3)(2009)348-400.

[3]K.Jacobs,C.Loscos,Classification of Illumination Methods for Mixed Reality,in:Computer Graphics Forum,Vol.25,Wiley Online Library,2006,pp.29–51.

[4]G.Xing,X.Zhou,Q.Peng,Y.Liu,X.Qin,Lighting Simulation of Augmented Outdoor Scene Based on a Legacy Photograph,in:Computer Graphics Forum,Vol.32,Wiley Online Library,2013,pp.101-110.

[5]J.Dai,D.Han,Region-Based Moving Shadow Detection Using Affinity Propagation.

[6]E.Bullkich,I.Ilan,Y.Moshe,Y.Hel-Or,H.Hel-Or,Moving Shadow Detection by Nonlinear Tone-Mapping,in:Systems,Signals and Image Processing(IWSSIP),2012 19th International Conference on,IEEE,2012,pp.146-149.

[7]S.Nadimi,B.Bhanu,Physical Models for Moving Shadow and Object Detection in Video,Pattern Analysis and Machine Intelligence, IEEE Transactions on，26(8)(2004)1079-1087.

[8]B.V.Lu,T.Kakuta,R.Kawakami,T.Oishi,K.Ikeuchi,Foreground and Shadow Occlusion Handling for Outdoor Augmented Reality, in:Mixed and Augmented Reality(ISMAR),2010 9th IEEE International Symposium on,IEEE,2010,pp.109-118.

[9]C.B.Madsen,B.B.Lal,Estimating Outdoor Illumination Conditions Based on Detection of Dynamic Shadows,in:Computer Vision, Imaging and Computer Graphics.Theory and Applications,Springer,2013,pp.33-52.

[10]R.Raguram,J.-M.Frahm,M.Pollefeys,A Comparative Analysis of Ransac Techniques Leading to Adaptive Real-Time Random Sample Consensus,in:Computer Vision-ECCV 2008,Springer,2008,pp.500-513.

[11]http://www.ptgrey.com.

[12]J.Bouguet,Pyramidal Implementation of the Lucas-Kanade Feature Tracker:Description of the Algorithm,Opencv Documenttation,Santa Clara,CA:Intel Corp.,Microprocessor Research Labs.

[13]Comaniciu D,Meer P.Mean shift:A Robust Approach Toward Feature Space Analysis[J].Pattern Analysis and Machine Intelligence, IEEE Transactions on,2002,24(5):603-619.

[14]L.Bao,Q.Yang,H.Jin,Fast Edge-Preserving Patchmatch for Large Displacement Optical Flow,in:Computer Vision and Pattern Recognition(CVPR),2014 IEEE Conference on,IEEE,2014,pp.3534-3541.

[15]Y.Liu,X.Granier,Online Tracking of Outdoor Lighting Variations for Augmented Reality with Moving Cameras,Visualization and Computer Graphics,IEEE Transactions on，18(4)(2012)：573-580.

Augmented Reality;Shadow Detection;Meanshift;Shadow Interaction

Online Shadow Tracking and Detection Framework for Augmented Reality

KONG Wei-bin
（National Key Laboratory of Fundamental Science on Synthetic Vision,Sichuan University,Chengdu 610065）

1007-1423（2016）02-0062-06

10.3969/j.issn.1007-1423.2016.02.015

孔維斌（1991-），男，云南曲靖人，碩士研究生，研究方向為計算機視覺和圖形圖像技術(shù)

2015-12-02

2015-12-29

在增強現(xiàn)實領(lǐng)域，光影一致性的保持十分重要，之前的研究者們主要集中在光照估計然后模擬生成陰影。大多需要知道物體的投射物體的具體形狀，很少考慮真實場景陰影和虛擬物體之間的光影相互影響。提出一種原創(chuàng)的面向增強現(xiàn)實的陰影檢測算法。首先利用Meanshift算法進行圖像預(yù)分割，檢測陰影邊緣。然后有效結(jié)合2D和3D信息，基于局部一致性進行誤檢測去除，最后得到理想的陰影邊緣，從而可以逆向生成陰影區(qū)域，更好地模擬陰影交互。實驗結(jié)果證明算法的有效性。

增強現(xiàn)實；陰影檢測；Meanshift；陰影交互

In Augmented Reality(AR),keeping the illumination consistency is very important.Most previous AR techniques about shadow processing mainly focus on illumination estimation and then generate the shadow of the virtual objects.Mostly,the shadow interaction between the virtual objects and the real scene has been ignored.Proposes a novel shadow detection algorithm for AR.Firstly,every frame will be segmented with mean-shift method,and then the shadow edges will be detected.The method based on local consistency refines the shadow edges combining the 2D information and 3D information effectively.Then,the virtual shadow can be generated from the shadow edges reverse.Experiments demonstrate the stability and effectiveness of our method.