增強(qiáng)現(xiàn)實(shí)虛實(shí)遮擋技術(shù)研究現(xiàn)狀分析

邢立國　彭偉國

摘要：遮擋一致性就是要正確處理虛擬物體和真實(shí)環(huán)境的遮擋關(guān)系，該文重新梳理了近些年增強(qiáng)現(xiàn)實(shí)虛（AR）實(shí)遮擋的常用方法，主要有三維建模遮擋法、深度計算法、輪廓跟蹤處理法和遮擋掩膜法，其中輪廓跟蹤處理法是當(dāng)前主流研究方法，最后介紹了AR虛實(shí)遮擋發(fā)展趨勢。

關(guān)鍵詞：增強(qiáng)現(xiàn)實(shí)；AR；虛實(shí)遮擋

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2018）27-0255-03

1 背景

遮擋一致性要求虛擬物體能夠遮擋背景，也能被前景物體遮擋，具備正確的遮擋關(guān)系[1]。只有正確的處理虛擬物體在真實(shí)世界中的前后位置關(guān)系，才能使用戶在實(shí)時的合成空間中正確感知虛實(shí)物體的層次關(guān)系。錯誤的虛實(shí)遮擋關(guān)系，容易造成感官上的空間位置錯亂，不能達(dá)到超越現(xiàn)實(shí)的感官體驗(yàn)。隨著AR研究領(lǐng)域細(xì)化發(fā)展，在解決AR虛實(shí)遮擋方面，目前主要有三種解決方法。

2 三維建模遮擋法

當(dāng)虛擬物體遮擋真實(shí)場景時，虛擬物體在縱深層次上處在實(shí)拍背景的前面，在進(jìn)行虛實(shí)物體視頻融合時不需要做特殊的處理。但是，若要實(shí)現(xiàn)真實(shí)物體作為前景出現(xiàn)在虛擬物體的前方時，就需要對真實(shí)物體遮擋虛擬物體的部分進(jìn)行計算和轉(zhuǎn)化，轉(zhuǎn)換為虛擬物體與虛擬物體之間的遮擋判斷。這種三維建模遮擋法省去了虛實(shí)物體深度值的計算，適用于真實(shí)場景簡單的環(huán)境。

三維建模遮擋法是虛實(shí)遮擋研究早期的主流研究方法，代表人物有Breen、Whitaker等人。后來，出現(xiàn)了三維模型緩存技術(shù)，先把場景中的多個深度值不同的三維模型緩存起來，在和虛擬物體遮擋時，進(jìn)行深度信息值比對，以此實(shí)現(xiàn)虛實(shí)物體的正確遮擋關(guān)系。

對于三維建模遮擋法來說，需要運(yùn)用立體視覺方法或者使用專門的測距設(shè)備獲取會與虛擬物體發(fā)生遮擋關(guān)系的真實(shí)物體的深度圖，然后對深度圖通過數(shù)據(jù)去噪、精簡、配準(zhǔn)、融合和網(wǎng)格化等步驟，得到精確的三維模型。三維模型大部分是由三角面片組成，在進(jìn)行虛實(shí)物體融合時，剔除不可見的三角面片。俞文炯[2]對三角面片遮擋法進(jìn)行了改進(jìn)，只選取物體標(biāo)志物中心坐標(biāo)點(diǎn)的深度信息與虛擬模型相比較，只要存在中心坐標(biāo)點(diǎn)深度信息小于虛擬模型的情況，則表示真實(shí)物體有部分或全部在虛擬物體前方，需建立虛擬模型，否則進(jìn)入場景融合階段。虛擬物體的三角面片頂點(diǎn)數(shù)少時，在進(jìn)行虛實(shí)融合處理因計算量小實(shí)時性較好。

3 深度計算法

從目前的研究文獻(xiàn)來看，在遮擋物深度的計算上，主要有單目攝像機(jī)和雙目攝像機(jī)2種視頻采集設(shè)備。雙目攝像機(jī)要求2個攝像頭的內(nèi)置參數(shù)一致，空間某點(diǎn)P（x，y，z）在兩個攝像頭中分別投射兩個點(diǎn)Pl（xl，yl）， Pr（xr，yr）。這三個點(diǎn)組成一個三角平面，利用公式Z=fB/（ xl- xr）求出空間點(diǎn)P相對攝像機(jī)成像平面的深度值。其中f是攝像機(jī)的焦距，B是基線長度，B與攝像機(jī)焦距有關(guān)，利用立體視覺和三角幾何圖形學(xué)原理間接計算而來，xl、xr是成像點(diǎn)在三角平面上的坐標(biāo)點(diǎn)，Z是空間點(diǎn)P的深度值。通俗地說，雙目攝像機(jī)主要是利用同一空間點(diǎn)P在兩個攝像機(jī)成像平面上的視點(diǎn)差而計算出來P的深度值的[3]。Yokoya[4]采用雙目攝像機(jī)分別獲取兩幅圖像，對兩幅圖像中像素進(jìn)行逐點(diǎn)比較，比較同一像素點(diǎn)在兩幅圖像中的位置差來計算該點(diǎn)的深度值。但這種方法無法對虛實(shí)物體的邊緣進(jìn)行精確的區(qū)分。后來H.Kim引入權(quán)重引子和Candy邊緣檢測算法改進(jìn)了Yokoya算法，獲得良好效果。Schmidt[5]等人通過計算立體圖像對的視差圖的方法比較虛實(shí)物體像素深度值，當(dāng)虛擬物體遮擋真實(shí)物體時不能正確顯示遮擋關(guān)系。Lu和Smith[6]基于GPU的分割算法虛擬物體遮擋區(qū)域，并進(jìn)行深度值提取，但不能實(shí)現(xiàn)精確的虛實(shí)遮擋。Wloka 等[7]提出了快速立體匹配算法，采用低于原圖像一倍的分辨率計算場景深度值，有效地提高了處理速度，但是準(zhǔn)確率較低。Ryu[8]改進(jìn)了Wloka算法，先用低分辨率方法確定虛實(shí)遮擋區(qū)域，然后恢復(fù)到原始分辨率。這些方法共同點(diǎn)是在整幅圖像范圍內(nèi)計算場景的深度值，因計算量大而實(shí)時性差。

單目攝像機(jī)只有一個攝像頭，識別空間點(diǎn)P的深度值，主要是在P點(diǎn)出貼標(biāo)識物的方法實(shí)現(xiàn)的，遮擋物的深度信息就等于標(biāo)識物的深度信息。由于攝像機(jī)坐標(biāo)系、屏幕二維坐標(biāo)系、現(xiàn)實(shí)世界坐標(biāo)系存在空間差異，故需要對三者坐標(biāo)系進(jìn)行轉(zhuǎn)換，統(tǒng)一到一個坐標(biāo)系參照下，才能計算出遮擋物的深度值。ARToolKit增強(qiáng)現(xiàn)實(shí)工具包是有一套支撐虛擬現(xiàn)實(shí)開發(fā)的函數(shù)庫，AR ToolKit通過找到標(biāo)記，計算已知標(biāo)記相對于攝像機(jī)的空間位置（深度值）和姿態(tài)。

4 輪廓跟蹤處理法

虛實(shí)物體發(fā)生遮擋關(guān)系的區(qū)域通常是局部的，也可能是動態(tài)變化的。一些學(xué)者從基于輪廓提取的視頻壓縮方法中得到提示，僅提取并計算發(fā)生遮擋關(guān)系的區(qū)域的深度值，這便出現(xiàn)了近些年各種各樣的輪廓跟蹤處理法，大幅減少了深度值計算區(qū)域，減少了運(yùn)算負(fù)荷，一定程度上提升了實(shí)時遮擋效果。輪廓跟蹤就是通過一定方法找出邊緣點(diǎn)來跟蹤邊界，適用于動態(tài)目標(biāo)物的跟蹤和識別。AR虛實(shí)遮擋研究者們運(yùn)用不同的邊界輪廓提取技術(shù)，在解決運(yùn)動背景下的虛實(shí)遮擋問題做了許多嘗試。

朱杰杰[9]通過圖像檢測技術(shù)檢測真實(shí)物體的遮擋物輪廓，然后與虛擬物體進(jìn)行深度值比對，確定虛實(shí)物體的前后遮擋關(guān)系。李俊[10]通過顏色檢測方法提取場景中物體的輪廓，然后運(yùn)用插值計算的方法求出臨近像素的深度值，以此判斷虛實(shí)物體的遮擋層次?？挡╗11]基于單目的視覺處理方法對場景中物體的輪廓和場景深度值進(jìn)行提取，運(yùn)用模板緩存的方法剔除虛擬物體被遮擋的部分。劉莉[12]通過物體色彩和亮度檢測來提取前景物體輪廓，然后通過空間立體視覺提取輪廓的深度值，對背景輪廓使用插值計算，對背景輪廓進(jìn)行深度恢復(fù)，以此解決虛實(shí)物體的多層次遮擋問題。李紅波等[13]用背景差分法求出動態(tài)變化的場景中運(yùn)動物體的輪廓，通過物體像素坐標(biāo)的變化情況判別運(yùn)動狀態(tài)下虛實(shí)物體的遮擋情況，此方法適用于非剛體的虛實(shí)遮擋判斷，對于復(fù)雜場景虛實(shí)遮擋判別性能不準(zhǔn)確。Lepetit[14]認(rèn)為真實(shí)物體的輪廓線每幀都會發(fā)生變化，通過預(yù)存多張關(guān)鍵幀輪廓線基準(zhǔn)圖來預(yù)測某一時刻物體的輪廓線，并檢測物體輪廓的深度。這方輪廓預(yù)測法只能運(yùn)用于剛體對象，且實(shí)時性不好。Tan[15]運(yùn)用圖像處理方法對遮擋的前景物體進(jìn)行輪廓提取，依據(jù)前景輪廓信息進(jìn)行三維建模，然后完成前景虛擬三維模型和要遮擋的三維模型進(jìn)行疊加融合。Yokoya[16]通過立體匹配算法求出手部區(qū)域輪廓，然后與虛擬物體的深度信息進(jìn)行比較，實(shí)現(xiàn)了人手局部特征的虛實(shí)物體遮擋。田元[17]利用的重繪技術(shù)繪制視頻幀圖像中遮擋物體輪廓，在這個輪廓對應(yīng)的區(qū)域里，將虛擬物體疊加到這個區(qū)域里，然后進(jìn)行視頻合成，生成正確的遮擋關(guān)系。

上述輪廓跟蹤處理法幾乎都要準(zhǔn)確、實(shí)時地求出真實(shí)場景的深度值，由于要實(shí)時動態(tài)的計算場景的深度值，計算量大，對于動態(tài)環(huán)境下的虛實(shí)遮擋，效果不佳。場景發(fā)生改變后，需要重新計算場景的深度值，因而這種方法不能滿足復(fù)雜環(huán)境下實(shí)時性的要求。

5 遮擋掩膜法

豐艷[18]提出了一種解決運(yùn)動背景下虛實(shí)物體多層相互遮擋的算法。該算法不用事先對真實(shí)場景建模，采用目標(biāo)提取和Alpha通道相結(jié)合的方法， 自動生成遮擋掩膜，以實(shí)現(xiàn)虛實(shí)場景間的多層次相互遮擋。該算法減少了大量的前期建模工作，實(shí)時性好，并且該算法還適用于非剛體對象。

Fischer[19]等人研究了靜態(tài)真實(shí)背景中的動態(tài)遮擋關(guān)系，將含有真實(shí)場景的平面幾何圖形當(dāng)作遮擋蒙版，當(dāng)產(chǎn)生虛實(shí)遮擋情況時，只針對被遮擋部分生成遮擋蒙版，該方法僅適用于靜態(tài)真實(shí)場景，如演播室、實(shí)驗(yàn)室等室內(nèi)環(huán)境。

6 AR虛實(shí)遮擋發(fā)展趨勢

6.1 非剛體對象輪廓提取方法

非剛體對象受物理環(huán)境的影響發(fā)生會對虛實(shí)遮擋效果產(chǎn)生較大影響，目前非剛體對象的虛實(shí)遮擋研究還不是很多，部分學(xué)者針對手部、運(yùn)動中的人物、變形球體等展開了虛實(shí)遮擋探索，運(yùn)動情況下增加形體的改變，增加了輪廓提取的難度，是當(dāng)前一個研究的熱點(diǎn)領(lǐng)域。國內(nèi)俞文炯、豐艷等分別基于三角面片法、目標(biāo)提取+Alpha技術(shù)結(jié)合法等途徑進(jìn)行了非剛體虛實(shí)遮擋探索，取得了較好效果。

6.2 提高遮擋物深度值計算效率

隨著輪廓提取技術(shù)的發(fā)展成熟，輪廓提取法可解決運(yùn)動環(huán)境下的虛實(shí)遮擋問題，使得AR研究不再局限于實(shí)驗(yàn)室靜態(tài)環(huán)境，但輪廓提取法幾乎離不開虛實(shí)物體的深度計算，復(fù)雜動態(tài)環(huán)境深度值估算而造成運(yùn)算量迅速增加，影響了虛實(shí)遮擋的實(shí)時性和真實(shí)性。KHayashi 和朱杰杰等只計算前景物體輪廓的深度值，然后與虛擬物體的深度值進(jìn)行比較，判斷虛實(shí)遮擋關(guān)系，但這種方法對局部非遮擋問題沒有很好的解決方法。輪廓提取法在移動物體遮擋方面邁出了一步，但復(fù)雜背景遮擋物深度值計算影響了實(shí)時遮擋的效果，提高遮擋物深度值計算效率將是一個新的研究熱點(diǎn)。

6.3 全景視頻背景下的虛實(shí)遮擋

當(dāng)前實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的頭顯設(shè)備主要有光學(xué)透視式AR系統(tǒng)和視頻透視式AR系統(tǒng)，共同特征是視頻采集方向是立體空間球面一側(cè)。隨著全景攝像技術(shù)的出現(xiàn)，全景視頻增強(qiáng)現(xiàn)實(shí)系統(tǒng)的建設(shè)方案會越來越多，全景環(huán)境下用戶視角處在立體空間正中心，運(yùn)動物體活動空間范圍得到了極大延伸，任一角度、方向的虛實(shí)遮擋問題都可以發(fā)生，這對全景增強(qiáng)現(xiàn)實(shí)系統(tǒng)深度值數(shù)據(jù)處理能力和輪廓跟蹤提取都帶來了全新挑戰(zhàn)。全景增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的虛實(shí)遮擋技術(shù)將是不就將來的下一個研究熱點(diǎn)。

7 結(jié)束語

增強(qiáng)現(xiàn)實(shí)技術(shù)虛實(shí)遮擋問題的研究到目前已經(jīng)有二十多年的研究歷程了，從靜態(tài)增強(qiáng)現(xiàn)實(shí)、戶外運(yùn)動環(huán)境下的增強(qiáng)現(xiàn)實(shí)到全景環(huán)境下的增強(qiáng)現(xiàn)實(shí)，虛實(shí)遮擋問題始終是研究者們關(guān)注技術(shù)重點(diǎn)之一。該文樹立了目前解決虛實(shí)遮擋的主要方法，因輪廓跟蹤處理法適用于運(yùn)動環(huán)境下的復(fù)雜背景，近年來是AR虛實(shí)遮擋研究中關(guān)注最多的，在滿足虛實(shí)遮擋一定精度的前提下，輪廓提取方法和深度值提取效率將是這一研究領(lǐng)域的重心。全景視頻拍攝技術(shù)的出現(xiàn)也許將是下一個AR虛實(shí)遮擋研究的熱點(diǎn)。

參考文獻(xiàn)：

[1] 鄭毅. 增強(qiáng)現(xiàn)實(shí)虛實(shí)遮擋方法評述與展望[J]. 系統(tǒng)仿真學(xué)報， 2014（1）：1-10.

[2] 俞文炯. 面向增強(qiáng)現(xiàn)實(shí)虛實(shí)融合的遮擋識別研究[D]. 廣州： 廣東工業(yè)大學(xué)， 2009.

[3] 聶平. 增強(qiáng)現(xiàn)實(shí)中虛實(shí)遮擋技術(shù)的研究現(xiàn)狀[J]. 數(shù)字通信， 2013， 40（5）：34-37.

[4] Yokoya N， Takemura H， Okuma T， et al. Stereo vision based video see-through mixed reality.Proceedings of 1 st International Symposia on Mixed Reality（ISMR99），1999： 85-94.

[5] Schmidt J， Niemann H， Vogt S. Dense disparity maps in real-time with an application to augmented reality[C]//IEEE Workshop on Applications of Computer Vision. IEEE Computer Society， Orlando， FL， USA， 2002： 225-230.

[6] Lu Y， Smith S. GPU-based real-time occlusion in an immersive augmented reality environment[J]. Journal of Computing & Information Science in Engineering， 2009， 9（2）：375-389.

[7] Wloka M M， Anderson B G. Resolving Occlusion in Augmented Reality[C]// Proceedings of the 1995 Symposium on Interactive 3D Graphics. Monterey， USA： Association for Computing Machinery， 1995： 5-12.

[8] Ryu S W， Han J H， Jeong J， et al. Real-time Occlusion Culling for Augmented Reality[C]// Proceedings of the 16th Korea-Japan Joint Workshop on Frontiers of Computer Vision. Hiroshima， Japan： Korea-Japan Joint Workshop on Frontiers of Computer Vision， 2010： 498-503.

[9] 朱杰杰， 潘志庚. 用視覺計算實(shí)現(xiàn)視頻增強(qiáng)現(xiàn)實(shí)遮擋處理[J]. 計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報， 2007， 19（12）：1624-1628.

[10] Li Lijun， Guan Tao， Ren Bo. Resolving Occlusion between Virtual and Real Scenes for Augmented Reality Applications.[C]// Proceedings of the 12th International Conference on Human- Computer Interaction. Beijing： Springer Verlag， 2007， 4551 LNCS （2）：634-642.

[11] Kang Bo， Su Hong. A Real- time Method for Occlusion Handling in Augmented Reality[J]. Journal of System Simulation （S1004-731X）， 2010， 22（5）：1174-1177.

[12] 劉莉. 增強(qiáng)現(xiàn)實(shí)中基于輪廓深度恢復(fù)的虛實(shí)遮擋方法研究[J]. 計算機(jī)應(yīng)用與軟件， 2011， 28（1）：220-222， 245.

[13] 李紅波， 代文海， 吳渝， 等. 動態(tài)變換背景幀的虛實(shí)遮擋處理方法[J]. 計算機(jī)工程與設(shè)計， 2015（1）：227-231.

[14] Lepetit V， Berger M O. A semi-automatic method for resolving occlusion inaugmented reality[C]. In Proceedings of the IEEE Conference on Computer Vision and PatternRecognition， 2002（2）：225-230.

[15] Ong K C， Teh H C， Tan T S. Resolving Occlusion in Image Sequence Made Easy. The Visual Computer （S0178-2789）， 1998， 14（4）：153-165.

[16] Yokoya N， Takemura H， Okuma T， et al. Stereo Vision based Video See-through Mixed Reality[C]// Proceedings of the 1st International Symposium on Mixed Reality. Yokohama， Japan： Ohmsha， 1999： 131-145.

[17] 田元. 增強(qiáng)現(xiàn)實(shí)中的虛實(shí)遮擋處理方法研究[D]. 武漢： 華中科技大學(xué)， 2010.

[18] 豐艷. 增強(qiáng)現(xiàn)實(shí)系統(tǒng)虛實(shí)無縫融合相關(guān)問題研究[D]. 上海： 上海大學(xué)， 2007.

[19] Jan Fischer， Holger Regenbrecht， Gregory Baratoff. Detecting Dynamic Occlusion in front of Static Backgrounds for AR Scenes[C]. Proceedings of the workshop Oil Virtual environments， 2003： 153-161.

[通聯(lián)編輯：謝媛媛]