基于環(huán)境建模與修正的視覺/力覺輔助遙操作系統(tǒng)

徐效農(nóng)，宋愛國，朱澄澄，倪得晶(東南大學(xué)儀器科學(xué)與工程學(xué)院，南京210096)

?

基于環(huán)境建模與修正的視覺/力覺輔助遙操作系統(tǒng)

徐效農(nóng)，宋愛國，朱澄澄，倪得晶
(東南大學(xué)儀器科學(xué)與工程學(xué)院，南京210096)

摘要:為增強(qiáng)空間遙操作系統(tǒng)的力交互性，提出了一種基于視覺/力覺輔助的空間遙操作系統(tǒng)。結(jié)合虛擬現(xiàn)實(shí)技術(shù)，借助力覺反饋設(shè)備搭建了基于虛擬3D視覺反饋和虛擬力覺反饋的空間遙操作實(shí)驗(yàn)平臺。使用KINECT相機(jī)采集3D點(diǎn)云數(shù)據(jù)，采用滑動最小二乘法(SLSM)在線識別未知環(huán)境中的模型參數(shù)并更新本地虛擬環(huán)境。通過虛擬預(yù)測環(huán)境產(chǎn)生實(shí)時的視覺、力覺反饋?；谌斯輬龅墓蚕砜刂品椒ǎa(chǎn)生引力或斥力信號來增強(qiáng)操作者控制遠(yuǎn)端機(jī)器人的避障及接近操作目標(biāo)的能力。該方法在7自由度Schunk機(jī)械臂上得到了實(shí)現(xiàn)，實(shí)驗(yàn)表明此方法能夠克服2 s時延影響并顯著提高操作效率。

關(guān)鍵詞:虛擬環(huán)境；3D建模；模型修正；遙操作；視覺/力覺輔助

1　引言

空間機(jī)器人是深入開展載人航天活動必不可少的工具，它在空間站系統(tǒng)中承擔(dān)著艙段捕獲與轉(zhuǎn)移、儀器設(shè)備轉(zhuǎn)移與安裝、輔助航天員作業(yè)等功能[1]。

自上世紀(jì)90年代以來，空間遙操作機(jī)器人技術(shù)受到了國內(nèi)外的廣泛關(guān)注，歐洲、美國、日本等地區(qū)和國家都對空間機(jī)器人的遙操作技術(shù)進(jìn)行了深入的研究。由于操作者與機(jī)器人在地理上分開，星地鏈路大通信時延總是存在[2]，會影響整個系統(tǒng)的穩(wěn)定，在地面采用遙操作機(jī)械手遠(yuǎn)程完成一系列復(fù)雜的任務(wù)是一個巨大的挑戰(zhàn)。為了解決這一問題，科研人員提出了很多方法[3]。

Anderson與Spong提出散射理論來設(shè)計雙邊遙操作以實(shí)現(xiàn)系統(tǒng)穩(wěn)定[4]。Niemeyer等提出了波變量理論，提高了穩(wěn)定性但降低了位置跟蹤的能力[5]。針對ROTEX任務(wù)5～7 s的變化時延，Hirzinger等提出了利用虛擬現(xiàn)實(shí)技術(shù)構(gòu)建虛擬模型實(shí)現(xiàn)預(yù)測顯示的解決方法，但該方法存在虛擬模型很難準(zhǔn)確反映真實(shí)世界的問題[6]。Hannaford指出必須綜合操作員的手動和機(jī)器人自主控制的優(yōu)點(diǎn)，提出了基于共享控制的解決方案[7]。Hashtrudi-Zaad等研究了遙操作系統(tǒng)中透明性的概念，并對引入力反饋對遙操作系統(tǒng)的穩(wěn)定性的影響做出了系統(tǒng)的分析[8]。

Khatib提出人工勢場理論[9]，認(rèn)為機(jī)器人在一個由障礙物和目標(biāo)產(chǎn)生的虛擬的斥力場和引力場中運(yùn)動，所受的合力使得機(jī)器人沿著勢函數(shù)梯度下降的方向趨于目標(biāo)，但該理論主要被用于移動機(jī)器人的路徑規(guī)劃中[8-11]。吉林大學(xué)的倪濤等人將這一方法引入到挖掘機(jī)器人的遠(yuǎn)程控制中，提高了遠(yuǎn)程作業(yè)任務(wù)的安全性[12]。

在本地端構(gòu)建遠(yuǎn)端場景的虛擬環(huán)境是解決遙操作中大時延問題的一個有效方法，ETS-VII的實(shí)驗(yàn)也采用了這項技術(shù)[13]。東南大學(xué)[14]、哈爾濱工業(yè)大學(xué)[15]等對此做出了相應(yīng)的研究。其中，虛擬環(huán)境的幾何場景的構(gòu)建，是該方法的難點(diǎn)之一。北京航空航天大學(xué)的徐禎琦等人使用KINECT攝像頭，利用點(diǎn)云信息對物體表面進(jìn)行重建[16]。在虛擬環(huán)境中力反饋建模的問題上，東南大學(xué)的李會軍和宋愛國提出了基于阻抗在線估計的自適應(yīng)無源控制算法，可保證較大時延下遙操作系統(tǒng)的穩(wěn)定性，在2D場景中實(shí)現(xiàn)并取得了較好的效果[17]。

針對上述現(xiàn)狀，由于視覺和力覺作為操作者感知作業(yè)環(huán)境現(xiàn)場的最主要的信息提示方式和手段，本文提出了基于環(huán)境建模與修正的視覺/力覺輔助的遙操作系統(tǒng)，并搭建了操作平臺。使用KINECT相機(jī)采集三維點(diǎn)云信息，用于構(gòu)建虛擬環(huán)境中的3D場景。采用滑動最小二乘法在線辨識未知環(huán)境中的模型參數(shù)并實(shí)時更新。該方法中的力反饋不僅僅限于現(xiàn)場真實(shí)作業(yè)力，還利用人工勢場的控制方法，在機(jī)器人自由空間運(yùn)動時，提供相應(yīng)的引力或斥力，提高了操作者控制遠(yuǎn)端機(jī)器人壁障及接近目標(biāo)效率。最后，在2 s的時延下，利用上述方法，對其操作性能和效率進(jìn)行了實(shí)驗(yàn)和評價。

2　系統(tǒng)平臺結(jié)構(gòu)

典型的主-從式遙操作系統(tǒng)主要由5個部分組成:操作者、主機(jī)器人(手控器設(shè)備)、通信鏈路、從機(jī)器人、遠(yuǎn)端環(huán)境[18]。在本文所述的視覺/力覺輔助的遙操作系統(tǒng)中，加入了虛擬預(yù)測環(huán)境顯示和虛擬力反饋fv，如圖1所示。

圖1　視覺/力覺輔助遙操作系統(tǒng)Fig. 1 Visual-haptic aid teleoperation system

操作者在本地端操作主機(jī)械臂，遠(yuǎn)端的從機(jī)械臂按照位置命令跟隨主機(jī)械臂運(yùn)動。在本地端，壓縮后的視頻信息通過通信鏈路傳遞給本地端，并顯示給操作者。同時，利用KINECT相機(jī)進(jìn)行3D模型重建，在虛擬環(huán)境界面中重建從機(jī)械臂及其周圍環(huán)境的幾何模型。由于從端環(huán)境的不確定性以及傳感器的誤差因素，環(huán)境模型的幾何形狀和位置等信息需要在線更新。利用滑動最小二乘法對物體的動力學(xué)模型參數(shù)進(jìn)行不斷地修正。修正后的信息在鏈路時延后傳遞給主端并在虛擬環(huán)境界面中顯示。

在本文提出的方法里，虛擬力fv包括兩個部分。在從端機(jī)械臂自由運(yùn)動空間中，主要依靠虛擬場景產(chǎn)生的力勢場，提供給操作者引力或斥力引導(dǎo)其更安全快捷地到達(dá)操作目標(biāo)處。而虛擬力fv的另外一部分為機(jī)械臂末端與環(huán)境相接觸時的接觸力，通過在線辨識并更新環(huán)境動力學(xué)參數(shù)，將參數(shù)值賦予虛擬環(huán)境的模型中，當(dāng)虛擬場景中需要渲染接觸力時，再根據(jù)環(huán)境的動力學(xué)模型計算得出。

3　虛擬環(huán)境建模

3. 1 七自由度機(jī)械臂虛擬場景建模

在本文的實(shí)驗(yàn)系統(tǒng)中，采用Schunk LWA4D 7自由度輕量級機(jī)械手作為從機(jī)器人(見圖2)。

圖2　七自由度機(jī)械臂的初始位置Fig. 2 Robot manipulator ordinate at zero position

該機(jī)械臂的Denavit- Hartenberg(DH)參數(shù)設(shè)置如表1:

表1　Schunk LWA4D機(jī)械臂的DH參數(shù)Table 1 DH parameters for Schunk LWA4D manipulator/ (°)

在笛卡爾坐標(biāo)系中，主機(jī)器人末端的空間位置xm將通過虛擬環(huán)境中的機(jī)械臂虛擬模型直接體現(xiàn)出來。為了顯示出虛擬環(huán)境中的虛擬機(jī)械臂末端位置，首先需要通過機(jī)器人運(yùn)動學(xué)逆解解算為7個關(guān)節(jié)角的角度值。在6自由度空間中使用7自由度機(jī)械臂，有冗余的問題，會有無限多的解析解。KDL庫(Kinematics and Dynamics Library)能夠?qū)Τ^6個自由度的冗余機(jī)械臂進(jìn)行逆解，這一通用的方法通過牛頓迭代法提供數(shù)值解[19]。我們使用KDL庫函數(shù)求得各關(guān)節(jié)角度值，從而控制虛擬機(jī)械臂運(yùn)動到指定位置并同時更新虛擬場景中的機(jī)械臂模型。

3. 2 基于點(diǎn)云信息的三維場景建模

在不同的環(huán)境中，只有少部分模型固定在操作平臺上，從而可以預(yù)先創(chuàng)建，如從機(jī)械臂本身可以事先建好模型并且在虛擬場景中設(shè)定在相應(yīng)的位置。而更多的模型是事先未知的，例如遠(yuǎn)端環(huán)境中的障礙物或目標(biāo)物體。為了獲未知物體的形狀和位置，采用Kinect傳感器來構(gòu)建相對準(zhǔn)確的幾何模型。

3. 2. 1 點(diǎn)云采集

利用OpenNI提供的SDK接口可以直接將Kinect采集到的彩色圖像和深度圖像轉(zhuǎn)換成空間中的三維點(diǎn)云[20-21]。由于Kinect的深度攝像頭和彩色攝像頭不在同一位置，在計算空間三維點(diǎn)之前應(yīng)當(dāng)將兩幅圖像轉(zhuǎn)換到同一個圖像坐標(biāo)系下。

3. 2. 2 感興趣區(qū)域提取與降噪

由于Kinect獲得的是鏡頭視野范圍內(nèi)整個環(huán)境的信息，若要對我們感興趣的物體進(jìn)行后續(xù)處理，則需要把物體從背景中分離出來。根據(jù)物體形狀及其距離鏡頭的大致深度值，設(shè)定距離的最大和最小閾值，然后利用閾值分割方法分割出有效區(qū)域。

針對場景中物體一般擺放在平面上的特點(diǎn)，可以再簡化為提取一定高度的平面并且定位其上的物體。之后，本文采取人機(jī)交互與感興趣區(qū)域自動濾除的方式進(jìn)行感興趣區(qū)域提取。定義彩色圖像全局區(qū)域?yàn)?，感興趣區(qū)為，有。為了方便提取，指定彩色圖像中的ROI為一矩形區(qū)域

該矩形區(qū)域?qū)?yīng)的點(diǎn)云區(qū)域?yàn)镻′roi，最終獲取的感興趣區(qū)為一點(diǎn)云數(shù)據(jù)Proi，其中Proi?P′roi。具體步驟如下:

3)對P′roi采用點(diǎn)云的歐式距離聚類分割算法，將點(diǎn)云中沒有明顯間隔的點(diǎn)聚集為一類。

得到感興趣區(qū)點(diǎn)云數(shù)據(jù)Proi后，對其進(jìn)行體素柵格下采樣( voxel grid downsampling)。最后，對降采樣后的點(diǎn)集進(jìn)行移動最小二乘濾波，將得到的點(diǎn)云進(jìn)行重采樣。

3. 2. 3 物體表面重建

本文采用文獻(xiàn)[17]中提出的貪婪投影三角化方法。該方法的基本思路是將有向點(diǎn)云投影到某一局部二維坐標(biāo)系內(nèi)，在該坐標(biāo)系內(nèi)進(jìn)行平面內(nèi)的三角化，在根據(jù)平面內(nèi)點(diǎn)的拓?fù)溥B接關(guān)系獲得一個三角網(wǎng)格曲面模型。

算法輸入?yún)?shù)為搜索半徑r，最大近鄰個數(shù)N，近鄰最遠(yuǎn)距離D，三角形的最大最小角α1、α2，最大表面角β，表面法向連續(xù)性，輸出為三角化后的點(diǎn)云。

經(jīng)過上述算法生成的物體表面網(wǎng)格會存在局部的不平滑區(qū)域，需要經(jīng)過網(wǎng)格的平滑處理。這里采用文獻(xiàn)[18]提出的一種表面網(wǎng)格雙邊濾波(bilateral denoising)的方法。雙邊濾波最初被使用在圖像的去噪處理上，這種方法與傳統(tǒng)的高斯平滑等方法相比，能保持圖像中的局部特征。將此方法應(yīng)用在三維網(wǎng)格的去噪上，主要是將空間離散的三維點(diǎn)到局部表面的距離看作是二維圖形中單個像素的灰度值，來進(jìn)行類似的雙邊濾波，最終得到重構(gòu)后的物體表面。

4　虛擬交互力的實(shí)現(xiàn)

4. 1 基于力勢場的輔助力建模

在傳統(tǒng)的雙邊操控系統(tǒng)中，操作者獲得的力反饋通常直接來自于機(jī)械臂的末端安裝的力傳感器的數(shù)據(jù)。然而，由于遙操作系統(tǒng)中大時延的影響，接觸力數(shù)據(jù)滯后于操作者的操作。在機(jī)械臂高速運(yùn)行時，或剛性接觸下，從端機(jī)械臂可能會因?yàn)闄C(jī)械碰撞而導(dǎo)致?lián)p壞。

人工勢場法(Artificial Potential Field，APF)是由Khatib于1986年提出的，廣泛應(yīng)用于自主移動機(jī)器人的路徑規(guī)劃中。其基本思想是，機(jī)器人的工作環(huán)境被轉(zhuǎn)化為一個勢量場，從而將機(jī)器人在周圍環(huán)境中的運(yùn)動，設(shè)計成為一種在抽象的人造引力場中的運(yùn)動；目標(biāo)點(diǎn)對處于勢量場中的機(jī)器人產(chǎn)生“吸引”趨勢，障礙物對機(jī)器人產(chǎn)生“排斥”趨勢；最后通過兩者的合成效果來控制機(jī)器人的運(yùn)動[8]。

為了簡化這個問題，我們首先考慮單獨(dú)一個物體O，機(jī)器人末端執(zhí)行器的位置為x，xd為目標(biāo)位置，人工勢場可以表達(dá)為式(1):

虛擬力反饋為式(2):

其中，各項分別滿足式(3)～(8):

Fxd為使機(jī)械臂末端從x到達(dá)目標(biāo)xd位置的吸引力，而FO為排斥力。

4. 2 基于模型參數(shù)修正的接觸力預(yù)測方法

從端機(jī)械臂和環(huán)境的幾何模型只描述了機(jī)械手和環(huán)境對象的靜態(tài)特性，而虛擬預(yù)測環(huán)境模型要求能與操作者發(fā)生交互，響應(yīng)操作者指令，因此虛擬從機(jī)械手和虛擬環(huán)境對象相接觸時還必須能夠提供真實(shí)的接觸力的感覺，所以需要對與機(jī)械臂接觸的環(huán)境進(jìn)行動力學(xué)建模。

當(dāng)機(jī)械手與環(huán)境穩(wěn)定接觸時，環(huán)境動力學(xué)可以通過線性動力學(xué)模型進(jìn)行分析。假定在機(jī)械手同環(huán)境平穩(wěn)接觸過程中，機(jī)械手與環(huán)境均未受到損壞，環(huán)境動力學(xué)特性可以用如圖3的二階彈簧-質(zhì)量-阻尼體表示。

圖3　彈簧-質(zhì)量-阻尼模型Fig. 3 Model of spring-mass-damp

其中me，be，ke分別表示環(huán)境動力學(xué)參數(shù):慣性質(zhì)量、阻尼系數(shù)和彈性系數(shù)。xe為環(huán)境的位移，則環(huán)境的動力學(xué)特性可用式(9)所示線性動力學(xué)方程描述:

fe為從機(jī)械手末端與環(huán)境的交互作用力。

在3D環(huán)境中，在x、y、z三個維度上存在式(10):

令F = [FxFyFz]T表示計算出的從機(jī)器人末端與環(huán)境的接觸力，a = [axayaz]T是一組三維空間向量表示目標(biāo)物體接觸面由于剛性接觸產(chǎn)生的形變量。和度。m、b = [bxbybz]T和k = [kxkykz]T分別表示環(huán)境的質(zhì)量、阻尼、彈性三種動力學(xué)參數(shù)。即在三維空間中虛擬接觸力的計算式為式(11):

于是我們得到，為使得方差最小，各個維度需要滿足式(13):

展開后得到式(14):

當(dāng)環(huán)境的動力學(xué)參數(shù)相對穩(wěn)定且變化不大時，采用SLSM算法在線辨識動力學(xué)參數(shù)。在采樣時間t，通過方程(15)(16)得到:

公式(16)中，[A(t) ]、[C(t) ]分別通過式(17)、(18)得出:

其中，i =1、2、3，j =1、2、3。

當(dāng)虛擬機(jī)械臂接觸虛擬環(huán)境中的物體在t時刻產(chǎn)生av的位移時，該接觸力可以通過公式(19)計算:

5 實(shí)驗(yàn)過程與結(jié)果分析

5. 1 實(shí)驗(yàn)平臺搭建

為了驗(yàn)證上文中提出的方法，我們在實(shí)驗(yàn)室環(huán)境中建立了一套遙操作實(shí)驗(yàn)平臺。如圖5所示，Phantom Omni作為主端機(jī)器人，7自由度SCHUNK LWA4D機(jī)械臂作為從端機(jī)器人，PG -70二指并行手抓用于抓取和移動物體，6自由度力/力矩傳感器用于采集接觸力信息。KINECT相機(jī)用于采集遠(yuǎn)端點(diǎn)云信息并以此重構(gòu)虛擬場景。在Microsoft Visual Studio平臺上使用Open-GL開發(fā)庫建立虛擬環(huán)境界面。遠(yuǎn)端機(jī)械臂系統(tǒng)采用Ubuntu 12. 04下的ROS ( Robot Operation System)開發(fā)控制程序。為了模擬通信鏈路的時延特征，系統(tǒng)設(shè)置了上下行均為1000 ms的時延。

實(shí)驗(yàn)中，操作者通過觀察本地建立的虛擬場景，使用力反饋設(shè)備控制機(jī)器人從起點(diǎn)S出發(fā)，繞過水平面上的障礙物A和B之后，到達(dá)目標(biāo)位置T與一彈性平面C進(jìn)行多次接觸并感受反饋力。如圖5所示:

圖4　遙操作實(shí)驗(yàn)平臺Fig. 4 Teleoperation exprimental platform

圖5　遙操作實(shí)驗(yàn)任務(wù)Fig. 5 Teleoperation task

5. 2 實(shí)驗(yàn)結(jié)果

三維空間中，遠(yuǎn)端機(jī)械臂末端位置跟隨主端手控器的位置的軌跡如圖6～8所示，可以看出，在2 s的時延下，從端能夠很好的跟隨主端的操作者的意愿運(yùn)動。

圖6　X方向上末端位置Fig. 6 Position of end-effector in X-aix

圖7　Y方向上末端位置Fig. 7 Position of end-effector in Y-aix

圖8　Z方向上末端位置Fig. 8 Position of end-effector in Z-aix

圖9　不同操作模式下機(jī)械臂末端軌跡Fig. 9 Paths under different operation method

圖9表示了在不同控制模式下，機(jī)械臂末端的軌跡圖。Line 1表示有力勢場引導(dǎo)下的運(yùn)動軌跡，而Line 2與Line 3表示沒有力勢場引導(dǎo)時的兩種軌跡情況。從圖中可以看出，沒有力勢場情況下，會出現(xiàn)意外碰撞障礙物(Line 2)或者繞遠(yuǎn)路(Line 3)的情形，而在有力勢場的幫助下，操作者能夠最快最安全的接近待操作目標(biāo)，進(jìn)而進(jìn)行下一步抓取等操作任務(wù)。

觀察Z方向上，腕力傳感器采集到的數(shù)據(jù)與虛擬場景計算出的虛擬力的跟隨曲線，如圖10所示?？梢钥闯觯谂c真實(shí)環(huán)境中的物體進(jìn)行接觸時，采用滑動最小二乘法來在線更新模型動力學(xué)參數(shù)，從而模擬出的接觸力能夠反應(yīng)出真實(shí)環(huán)境的接觸力的感覺，且誤差在5%以內(nèi)。

圖10　Z方向上末端力Fig. 10 Forces in Z-aix

6　結(jié)論

本文對具有虛擬3D視覺和虛擬力交互的空間遙操作機(jī)器人系統(tǒng)進(jìn)行了研究，在本地端基于VS2008和OpenGL，搭建了具有虛擬視覺/力覺反饋的主從遙操作平臺。采用人工勢場的方法，引導(dǎo)操作者控制主機(jī)器人設(shè)備避開障礙物更安全地到達(dá)目標(biāo)位置。為了向操作者提供遠(yuǎn)端環(huán)境的精確模型，采用了滑動最小二乘法在線更新模型的動力學(xué)參數(shù)。在操作者實(shí)際操作過程中，未與環(huán)境接觸時，系統(tǒng)同樣提供給操作者一定強(qiáng)度的引導(dǎo)力；當(dāng)操作者控制的主機(jī)器人末端與虛擬環(huán)境中物體相接觸時，實(shí)時提供給操作者接觸力反饋，以達(dá)到預(yù)測的目的，從而克服時延對系統(tǒng)帶來的影響。實(shí)驗(yàn)證明，該方法在實(shí)現(xiàn)保證操作性能的前提下，提高了操作效率和安全性能。

參考文獻(xiàn)(References)

[ 1 ] 李大明，饒煒，胡成威，等.空間站機(jī)械臂關(guān)鍵技術(shù)研究[J].載人航天，2014，20(3): 238-242. LI Daming，RAO Wei，HU Chengwei，et al. Key technology review of the research on the space station manipulator[J]. Manned Spaceflight，2014，20(3): 238-242. (in Chinese)

[ 2 ] Chopra N，Spong M W，Hirche S，et al. Bilateral teleoperation over the internet: the time varying delay problem1[J]. Urbana，2003，1(4-6): 155-160.

[ 3 ] Passenberg C，Peer A，Buss M. A survey of environment-，operator-，and task-adapted controllers for teleoperation systems[J]. Mechatronics，2010，20(7): 787-801.

[ 4 ] Anderson R J，Spong M W. Bilateral control of teleoperators with time delay[J]. Automatic Control，IEEE Transactions on，1989，34(5): 494-501.

[ 5 ] Hirzinger G，Brunner B，Dietrich J，et al. ROTEX-the first remotely controlled robot in space[C] / / Robotics and Automation，1994. Proceedings. 1994 IEEE International Conference on. IEEE，1994: 2604-2611.

[ 6 ] Kim W S，Hannaford B，F(xiàn)ejczy A K. Force-reflection and shared compliant control in operating telemanipulators with time delay[J]. Robotics and Automation，IEEE Transactions on，1992，8(2): 176-185.

[ 7 ] Hashtrudi-Zaad K，Salcudean S E. Transparency in time-delayed systems and the effect of local force feedback for transparent teleoperation [ J]. Robotics and Automation，IEEE Transactions on，2002，18(1): 108-114.

[ 8 ] Khatib O. Real-time obstacle avoidance for manipulators and mobile robots[J]. The international journal of robotics research，1986，5(1): 90-98.

[ 9 ] Cahyadi A，Ya-Chun C，Yamamoto Y. Stable mobile robots teleoperation via Potential Field method[C] / / Advanced Intelligent Mechatronics，2008. AIM 2008. IEEE/ ASME International Conference on. IEEE，2008: 347-352.

[10] Li X，Song A，Li H，et al. Real-time obstacle avoidance for telerobotic systems based on equipotential surface[J]. International Journal of Advanced Robotic Systems，2012，9(71): 1-8.

[11] Ni T，Zhang H，Xu P，et al. Vision-based virtual force guidance for tele-robotic system[J]. Computers & Electrical Engineering，2013，39(7): 2135-2144.

[12] Yamada H，Tao N，Dingxuan Z. Construction tele-robot system with virtual reality[C]/ / Robotics，Automation and Mechatronics，2008 IEEE Conference on. IEEE，2008: 36-40.

[13] Yoon W K，Goshozono T，Kawabe H，et al. Model-based space robot teleoperation of ETS-VII manipulator[J]. Robotics and Automation，IEEE Transactions on，2004，20(3): 602-612.

[14] Zhu B，Song A，Xu X，et al. Research on 3D virtual environment modeling technology for space tele-robot[J]. Procedia Engineering，2015，99: 1171-1178.

[15] Zhang G，Wang Z，Du J，et al. A generalized visual aid system for teleoperation applied to satellite servicing[J]. Int J Adv Robot Syst，2014，11(2): 1-7.

[16] 徐禎琦，龔光紅.基于Kinect的物體表面重建方法研究[J].中國體視學(xué)與圖像分析，2013 (3): 255-262. XU Zhenqi，GONG Guanghong. Study on Kinect-based surface reconstruction[J]. Chinese Journal of Stereology and Image Analysis，2013 (3): 255-262. (in Chinese)

[17] Huijun L，Aiguo S. Virtual-environment modeling and correction for force-reflecting teleoperation with time delay[J]. Industrial Electronics，IEEE Transactions on，2007，54(2): 1227-1233.

[18] 宋愛國.力覺臨場感的理論與實(shí)驗(yàn)研究[D].南京:東南大學(xué)，1996. SONG Aiguo. Theoretical and Experimental Research on Force Telepresence [ D]. Nanjing: Southeast University，1996. (in Chinese)

[19] Smits R，Bruyninckx H，Aertbeli?n E. KDL: Kinematics and dynamics library[J]. Avaliable: http:/ / www. orocos. org/ kdl，2011.

[20] 康金蘭，晁建剛，林萬洪，等.視覺手勢識別技術(shù)在航天虛擬訓(xùn)練中的應(yīng)用研究[J].載人航天，2014，20(3): 219-222. KANG Jinlan，CAO Jiangang，LIN Wanhong，et al. Research on application of visional gesture recognition technology in manned space virtual training [ J]. Manned Spaceflight，2014，20(3): 219-222. (in Chinese)

[21] 陳學(xué)文，晁建剛，安明，等.基于體態(tài)識別的航天員虛擬訓(xùn)練仿真技術(shù)研究[J].載人航天，2015，21(3): 217-223. CHEN Xuewen，CHAO Jiangang，AN Ming，et al. Research on Simulation Technology of Astronaut Virtual Training Based on Posture Recognition[J]. Manned Spaceflight，2015，21 (3): 217-223. (in Chinese)

·空間功能機(jī)構(gòu)技術(shù)·

Visual-haptic Aid Teleoperation System Based on Environment Modeling and Updating

XU Xiaonong，SONG Aiguo，ZHU Chengcheng，Ni Dejing
(Southeast University，School of Instrument Science and Engineering，Nanjing 210096，China)

Abstract:In order to enhance the interactive performance of space teleoperation system，a new kind of teleoperation system based on visual-haptic aid method was put forward. Combined with virtual reality technology，virtual 3D visual-haptic feedback teleoperation experiment platform was set up with the haptic device. A KINECT camera was used to collected 3D point cloud data. Sliding Least Squares Method (SLSM) was also adopted to identify the model parameters and update the local virtual environment online. The real-time vision and force were fed back to the human operator through the virtual environment. A shared control paradigm was developed based on artificial potential field，which could create attraction or repulsion force，to extend the human’s ability for obstacle avoiding and target approaching. This method was implemented on a 7-DOF SCHUNK robot manipulator. It was verified that in the presence of a round-trip communication delay of up to 2s the operation efficiency increased significantly.

Key words:virtual environment；3D modeling；model updating；teleoperation；visual-haptic aid

作者簡介:徐效農(nóng)(1987 - )，男，博士研究生，研究方向?yàn)檫b操作機(jī)器人技術(shù)。Email:xxn@ seu. edu. cn

基金項目:國家自然科學(xué)基金資助項目(61325018，61272379)

收稿日期:2015-08-24；修回日期:2016-01-06

中圖分類號:TP242

文獻(xiàn)標(biāo)識碼:A

文章編號:1674-5825(2016)01-0055-07