基于虛擬現(xiàn)實技術的遙操作機器人的環(huán)境建模研究

梁 悅

（中船重工第七一三研究所，鄭州 450000）

遙操作機器人系統(tǒng)主要用于遠程遙控機器人，虛擬現(xiàn)實（VR）技術的出現(xiàn)為再現(xiàn)機器人所在操作環(huán)境創(chuàng)造了條件，操作者猶如身臨其境一般的感受機器人所在的操作環(huán)境，從而做出更準確的判斷。傳統(tǒng)的虛擬現(xiàn)實技術通常采用的是預先建模的方式，也即在機器人開始操作之前就已經(jīng)將機器人所在終端的三維模型建好，這種方法適合應用在已知機器人所在的操作環(huán)境的情況下，但對于大部分遙操作機器人而言，它們的操作環(huán)境是不可預知的，這就需要引入新的幾何建模的方法。本文引入Kinect傳感器，通過傳感器獲取的深度信息和圖像信息，進行點云的匹配，最終實現(xiàn)機器人所在操作環(huán)境的三維重構。

1 基于VR技術的遙操作機器人三維重構研究現(xiàn)狀

引入雙目和多目視覺技術，獲取多個攝像機反饋的圖像信息，通過對多角度圖像信息進行信息匹配，可以獲取點云數(shù)據(jù)，從而重塑三維環(huán)境。Newcombe等人[1]用單目攝像機獲取場景圖像，并通過GPU和光流技術生成接近真是表面的密集點云，能反應真實的幾何結構。中科院自動化研究所在三維重建技術研究中，利用雙目視覺技術，通過對圖像信息的提取以及關鍵點自動匹配等手段形成完整的物體3D結構[2]。但由于視頻信息是二維信息，多角度的圖像在點云匹配時容易出現(xiàn)錯誤匹配，導致重建三維環(huán)境時出現(xiàn)錯誤。

在近些年的研究中發(fā)現(xiàn)，考慮將光學視覺系統(tǒng)和位置傳感器結合來獲取更為精確的三維信息，常見的獲取位置信息的辦法有激光測距和聲波測距的方法。超聲傳播測距和激光測距原理相似，都是利用激光或聲波在水中的傳播速度和時間來進行距離的測算，差別在于激光測距傳感器測量精度更高，測量范圍更廣，報錯率更低，但相應的激光測距傳感器價格也就更高。

隨著微軟推出Kinect，研究發(fā)現(xiàn)Kinect傳感器的攝像頭不僅可以獲得二維RGB圖片信息，同時可以獲得深度信息，且相較之下Kinect傳感器價格更便宜，這就為虛擬現(xiàn)實環(huán)境的重塑提供了便利。本文將對Kinect傳感器在重塑三維環(huán)境的過程中獲取深度信息、點云匹配和顏色檢測進行實驗。

2 操作環(huán)境三維重構原理

圖1 機器人操作環(huán)境三維重構流程圖

Kinect與普通攝像頭相比，優(yōu)勢在于Kinect傳感器可以同時獲得RGB圖像和深度圖像。Kinect擁有三個不同的鏡頭，一個是位于中間的普通RGB鏡頭，這個鏡頭主要用于采集RGB圖像信息，圖片的分辨率為640*480；左右兩邊分別有一個紅外發(fā)射鏡頭，這兩個鏡頭聯(lián)合使用就可以得到深度信息；

在遙操作過程中，機器人的機械臂執(zhí)行各種操作任務，Kinect在隨機器人運動的過程中，每5到10度采集一次場景信息，計算機處理Kinect傳感器傳回的深度信息和圖像信息，通過對點云去噪、匹配等技術獲取完整的環(huán)境信息。

3 深度圖像信息獲取

3.1 深度圖像信息獲取的原理

深度信息指的是從相機到物體表面的距離信息。距離信息可以由深度圖像上的像素點表示，但像素點的坐標與世界坐標并不一致，所以想通過深度信息獲取真實世界中的距離信息時，首先需要把像素坐標轉換為真實世界的世界坐標。

如圖2所示的是攝像機的視角，頂端的曲線代表攝像機照到的物體的表面，虛線表示在Kinect傳感器中深度信息框架。A點表示物體上某一點在世界坐標系中的坐標，B點代表對應的深度坐標值，其中Xw，Yw和Xp，Yp分別平行，Zw代表了攝像機的焦距，則將深度信息轉化為物理坐標的關系式為：

采用上述開發(fā)模型，既實現(xiàn)了視圖層、控制層與模型層的分離，又實現(xiàn)了業(yè)務邏輯層與持久層的分離。這樣無論前端如何變化，模型層只需很少的改動，并且數(shù)據(jù)庫的變化也不會對前端有所影響，大大提高了系統(tǒng)的可復用性。不同層之間耦合度小，有利于團隊成員并行工作，大大提高了開發(fā)效率。

要想計算出Xw和Yw，首先需要計算出Zp，Zp的大小和相機的分辨率等特性有關，相機的分辨率是640*480，θ代表的是相機的水平視角，由圖3可以得出

如圖4所示，左邊是利用Kinect獲取的垃圾桶RGB圖像，右邊是得到的深度圖像在MATLAB中的顯示，從圖中可以看出，藍色點集表示的是垃圾桶的深度信息，Kinect傳感器可以獲取到垃圾桶的深度信息，但深度信息里存在噪聲，且有些噪聲可能會影響到后面的三維重構，所以這些噪聲是濾波時必須濾掉的，也即需要進行深度圖像預處理。

圖2 Kinect傳感器前視角

圖3 深度圖像的框架維度

圖4 Kinect傳感器獲取的深度圖像

3.2 深度圖像預處理

受到外界環(huán)境和傳感器自身的干擾，Kinect傳感器獲取深度信息時會有較多噪聲，這樣就導致深度信息與實際的環(huán)境信息有誤差，最終影響實驗的準確性，常見的深度圖像去噪方式有泊松方式去噪，高斯濾波去噪，中值濾波去噪和雙邊濾波去噪。

泊松方程去噪的原理是濾波時，當檢測的物體表面只有一個凸點或凹點，周圍都沒有類似凹凸點時，則判斷該點位噪聲點，這樣就會導致當物體表面本身粗糙或有凹凸不平時，泊松濾波會將粗糙點視為噪聲。高斯濾波主要用于過濾高斯噪聲和正態(tài)分布的噪聲，但濾波時只考慮到了像素點的空間位置，忽略了像素值的大小，所以最終的濾波效果可能會導致深度圖像的邊界線比較模糊，這樣就改變了深度圖像的信息和輪廓，最終導致深度圖像的精確度不高。中值濾波優(yōu)于高斯濾波的地方在于中值濾波會降低對邊緣的模糊效果，從而保護圖像的邊緣。雙邊濾波建立在高斯濾波的基礎上，目的是為了保護深度圖片的邊緣信息。

本文采用了雙邊濾波去噪，如圖所示，左邊是雙邊濾波前，在MATLAB中所顯示的深度信息，右邊是濾波后的深度信息，經(jīng)過雙邊濾波后，大部分噪聲被過濾，深度信息更為純凈。

4 點云數(shù)據(jù)匹配

遠程操控機器人時，通常希望獲得全面的操作環(huán)境信息，攝像機的拍攝范圍通常有限，所以需要從多個角度拍攝操作環(huán)境，從而獲得點云數(shù)據(jù)。點云匹配則是為了將不同坐標系下的點云轉換至同一坐標系下拼出完整的環(huán)境點云信息，同時計算相鄰點云之間的相對位置關系，然后進行拼接。

圖5 濾波前后的深度圖像信息

通常攝像機獲取的點云信息數(shù)據(jù)非常龐大，為了可以高效的進行點云匹配，我們選取有明顯特征的點云進行數(shù)據(jù)匹配，這些被匹配的點，被稱為特征點。Harris、SURF以及SIFT是常見的特征點檢測方法[3]。本文采用SURF算法得到RGB圖像的特征點。

當特征點確定完畢后，使用IPC算法進行點云匹配。IPC算法可以求出初始點云上每個點對應的目標點云上最接近的點，這樣原始點云上的每個點和目標點云的最近點可以到達匹配。

主要操作步驟為：

（1）讀入點云數(shù)據(jù)，點云集合P和X分別代表了原點集P和目標點集X

（5）算出集合P中的點到對應集合Y中點的距離：

圖6所示為獲取的特征點及特征點的匹配效果。匹配采用的是兩個相鄰視角的點云圖，由圖可以看出，兩圖重疊區(qū)域匹配度較高，可以達到基本需求。

圖6 特征點匹配結果

5 顏色檢測

顏色是物體的重要特性之一，也是機器人是否能識別到物體的一個重要參考條件。顏色空間是指將顏色數(shù)字化，常見的顏色空間主要是RGB顏色空間。紅（R）綠（G）藍（B）是三原色，也就是說，所有的顏色都可以通過這三種顏色疊加而成。

本文拿黃色作為例子進行檢測實驗，我們知道光線不同可能會影響顏色的空間信息，所挑選的黃色物體在正常光照下的顏色坐標為[230，230，15]，在有遮擋物的情況下顏色坐標為[120，122，1]，可以看出，綠色和紅色值減少了將近一半，但二者的數(shù)值始終相近，且藍色值比紅黃值小非常多，所以滿足黃色點的數(shù)值特點是：紅色和綠色的比值接近1，紅綠的數(shù)值比藍色高5倍以上。

圖7 正常光照下的顏色探測結果

圖8 有遮擋條件下顏色探測結果

實驗結果如圖7圖8所示，白色空隙處表示識別出的黃色物體，由圖可以看出，Kinect傳感器可以準確識別出不同環(huán)境下的黃色物體。

6 結束語

在基于虛擬現(xiàn)實技術的遙操作機器人領域，操作者想要得到更準確的機器人所在環(huán)境，需要重構三維虛擬場景，三維場景重構的精確度會影響遙操作任務的完成情況，本文提出了一種基于Kinect傳感器的遙操作機器人環(huán)境重建的方法，本文完成的工作包括：

（1）利用Kinect傳感器獲取圖像的深度信息和三維點云。（2）對三維點云進行去噪處理。（3）利用SURF算法和ICP算法對點云進行匹配。（4）利用Kinect傳感器完成顏色的探測。

本實驗中還存在的問題有：

（1）本文中的實驗場景多是簡單的室內(nèi)場景，物體比較規(guī)則，光線也比較充足，但實際上機器人所處的環(huán)境復雜的多，現(xiàn)有的特征點提取辦法不能很好地在較為復雜的環(huán)境中提取特征點，之后需要做的工作是分類總結在不同環(huán)境中使用提取特征點的不同算法。

（2）Kinect傳感器的精度不高，獲取的深度信息精確值只有1cm，并且獲取深度的有效距離大約為0.5至3m，所以當碰到體積比較小的物體時，Kinect傳感器無法完成三維重建。