基于Kinect與ARToolkit增強現(xiàn)實的遮擋一致性算法研究

何軍

摘 要： 增強現(xiàn)實技術的發(fā)展，為還原場景的正確遮擋關系，據(jù)此提出了一種基于Kinect與ARToolkit的虛實遮擋一致性算法。

關鍵詞： 虛實物體;Kinect;ARToolkit;遮擋一致性

中圖分類號： TB????? 文獻標識碼： A????? doi：10.19311/j.cnki.1672-3198.2019.13.090

1 引言

本文提出了一種基于Kinect與ARToolkit的虛實遮擋一致性算法。通過坐標映射分別在Kinect與ARToolkit中真實物體像素與虛擬物體像素的深度值，然后將真實物體像素重新繪制在融合場景中。

2 虛實遮擋一致性算法

該算法主要分為三個階段：第一階段通過像素濾波算法將Kinect獲取到的真實場景深度圖修復處理;第二階段通過坐標映射求出真實物體與虛擬物體的深度值;第三階段為判斷虛實物體間遮擋關系以及實現(xiàn)遮擋一致性的過程。

以虛擬物體上的A點與B點為例，介紹實現(xiàn)虛擬物體所占區(qū)域中每個像素點所對應正確虛實遮擋關系的具體過程，步驟如下所示：

（1）使用像素濾波算法對深度圖中真實物體邊緣的空洞區(qū)域進行了修復，得到更加準確的深度圖。

（2）在ARToolkit中將Kinect獲取到的彩色圖與深度圖實時顯示并完成在真實場景中虛擬物體的注冊跟蹤。

（3）在已完成虛擬物體注冊工作的基礎上，結合標定Kinect彩色攝像機的內參以及攝像機相對于標識卡的轉換矩陣計算虛擬物體每個像素點在融合場景中的像素坐標。該坐標既是注冊之后的虛擬物體像素在融合場景圖像中的位置，也是注冊之前的真實物體像素在真實場景圖像中的位置，如圖2所示，虛擬物體的A與B點分別與真實場景的A′與B′點在融合場景中對應著同一像素。

（4）根據(jù)該坐標值找出真實物體在已修復深度圖中相對應像素的坐標值及深度值d1，在圖2中，彩色圖像中A′與B′點分別對應于深度圖中A″點與B″點。

（5）由于虛擬物體的注冊位置是已知的，通過Kinect相機與虛擬物體在虛擬世界坐標系中的位置計算得到虛擬物體的深度值d2。

（6）比較該像素相對應的虛擬物體與真實物體的深度值d1與d2，若d1大于d2，則不作處理;若d1小于d2，則重新繪制該像素所對應的真實物體。

3 實驗結果與分析

通過Kinect 2.0實時獲取不同真實場景的彩色圖與深度圖，對該遮擋一致性算法進行了測試，彩色圖視頻幀的大小為1920x1080，幀率為30f/s，像素為RGB格式，深度圖視頻幀的大小為512×424，幀率為30f/s，每個像素都是用16位表示的，深度有效范圍為0.5m-4.5m。

3.1 深度圖優(yōu)化實驗

通過對Kinect獲取到的深度圖中深度圖為0的像素進行像素濾波處理，如圖3所示，圖（a）為真實場景彩色圖像。圖（b）為原始深度圖，圖中藍色部分為深度值為0的像素點，在該場景中導致像素深度值為0的主要因素是手、電腦與標識卡的邊緣、紅外光在電腦顯示器上發(fā)生鏡面反射以及桌子離Kinect攝像機太近。圖3為像素濾波后的深度圖，比較圖（b）與（c）可以看出，該像素濾波處理最明顯的變化就是手、電腦與標識卡的邊緣的空洞區(qū)域被填充，這些像素得到具體的深度值，有助于后續(xù)虛實遮擋關系的判斷。

3.2 遮擋一致性算法實驗

如圖4所示，分別為不同真實物體與虛擬物體之間的遮擋關系處理前后效果圖。其中圖（a）與圖（b）分別為手指合并時與虛擬物體之間的遮擋一致性與錯誤遮擋關系，先將圖（b）中虛擬物體每一像素的三維坐標轉換到融合場景圖像的二維坐標，找出在融合場景中的與虛擬物體發(fā)生遮擋關系的真實物體區(qū)域，獲取該區(qū)域中每一像素在經(jīng)過像素濾波處理后的深度圖中的對應像素坐標以及深度值，然后根據(jù)Kinect攝像機與標識卡之間的轉換矩陣計算虛擬物體像素的深度值，最后判斷其遮擋關系以及進行虛實遮擋一致性的渲染實現(xiàn)。圖（c）與圖（d）為水杯與虛擬物體發(fā)生部分遮擋時的實遮擋效果圖。從實驗結果可以看出，針對任何的真實物體都能在AR系統(tǒng)中與虛擬物體實現(xiàn)遮擋一致性的關系。

下面分別是當標識卡被遮擋時真實物體與虛擬物體之間的遮擋關系處理前后的效果圖比較，如圖5所示，左邊為未經(jīng)處理的虛實融合場景，右邊為經(jīng)過本文遮擋一致性算法處理之后的具有正確遮擋關系的場景圖。如圖（a）所示，針對當紙張遮擋標識卡時，虛擬物體仍能成功注冊的在真實場景中，同時紙與虛擬物體也有錯誤遮擋關系，在圖（b）中還原了它們之間的正確遮擋關系。圖（c）與圖（d）為手遮擋標識卡情況下的虛擬注冊與虛實遮擋一致性效果圖。因此，本算法也適用于標識卡被遮擋情況下的虛實遮擋關系處理。

4 結束語

為了提高虛實遮擋一致性效果，本文首先利用像素濾波器對Kinect深度圖做了空洞修復處理，消除了物體邊緣的噪聲。最后，通過坐標轉換獲取虛擬物體中每一像素對應的真實物體的深度值，以及進行深度比較之后重新繪制真實物體最終實現(xiàn)正確的虛實遮擋關系。

參考文獻

[1] 羅斌，王涌天，沈浩等.增強現(xiàn)實混合跟蹤技術綜述[J].自動化學報，2013，39（08）：118-1201.

[2]鄭毅.增強現(xiàn)實虛實遮擋方法評述與展望[J].系統(tǒng)仿真學報，2014，26（1）：1-10.