基于增強現實的視觸覺交互算法①

劉 佳 錢昌宇 謝余磊 陳大鵬 郭 斌

(南京信息工程大學自動化學院 南京210044)

0 引言

增強現實(augmented reality,AR)是由虛擬現實(virtual reality,VR)技術發(fā)展延伸出來的技術領域,它突破了虛擬現實只能構建虛擬場景的局限,借助視覺技術、計算機圖形學和人體交互等技術將計算機生成的虛擬信息無縫地注冊到真實環(huán)境。在增強現實實現的過程中,虛擬元素必須完美地注冊到目標對象上,這個過程中的任何錯誤都會極大地降低系統(tǒng)的可用性,并影響用戶交互的真實感[1]。因此,與VR 相比,AR 系統(tǒng)具有更高的復雜性。

目前純視覺的技術并不能很好地滿足用戶的交互感和沉浸感,為了實現多通道的感知交互,研究人員提出了視觸覺增強現實(visuo-haptic augmented reality,VHAR)的概念[2-4]。VHAR 以增強現實系統(tǒng)為框架并添加觸覺反饋接口,使用戶能夠看到并觸摸到注冊到真實環(huán)境中的虛擬物體。所以精確地校準VHAR 系統(tǒng)的組件(如外部跟蹤器、攝像頭、觸覺設備)以及它們之間的空間關系顯得至關重要,尤其在觸覺設備的集成上,其核心挑戰(zhàn)是精確確定觸覺設備上觸控筆的位置和方向,這是精確定位視覺增強和觸覺反饋所必需的。在傳統(tǒng)的視觸覺增強現實的案例中,用戶看著屏幕,觸覺刺激和視覺刺激以一種分開的方式呈現,這導致了環(huán)境的割裂感。因此,本文提出一種協(xié)同共址定位的方法,即將觸覺設備集成到增強現實環(huán)境中,觸覺交互點與三維場景中的接觸點在視覺上重合,構成了一種以同步的方法感知視覺和動態(tài)觸覺刺激的視觸覺增強現實體系,用戶可以在相同的空間位置看到和觸摸虛擬物體,增加了交互的真實感。

為了提供真實的用戶體驗,本文觸覺設備采用Geomagic Touch 來提供力反饋和本體運動的感覺元素,主要關鍵技術采用計算機圖形和觸控筆的精確協(xié)同共址定位。觸覺設備由觸控筆、手柄設備和兩個相互連接的關節(jié)組成,這些關節(jié)的角度定義了萬向節(jié)的位置,通常稱為觸覺接口點(haptic interface point,HIP)。觸控筆可以繞著底座旋轉,并利用3個關節(jié)上的編碼器來計算其位置。以往的研究主要集中在協(xié)調系統(tǒng)內的觸覺工作空間的校準和補償,該系統(tǒng)用來減小關節(jié)角度傳感器誤差引起的非線性位置誤差。在觸覺設備集成到增強現實系統(tǒng)中時,往往會導致校準誤差。如果虛擬工具錯誤地放大到觸控筆手柄上,真實和虛擬物體不自然地在觸覺手柄上相交,用戶可以明顯看到校準錯誤。以往交互主要集中在用戶通過裝置實現3-DOF(degree of freedom)的平移運動,但是隨著交互技術的提高,3-DOF 的交互在旋轉、執(zhí)行抓握等多自由度操作過程中無法實現,顯著影響了交互的沉浸感。而6-DOF不僅具備在X、Y、Z三軸上平移的能力,而且具備在X、Y、Z三軸上旋轉的能力。本文的主要工作是準確地實現虛擬觸控筆與真實觸控筆的融合,使得觸覺設備上的交互點與3D 場景中的接觸點在視覺上重合,并提出了適用于6-DOF 應用場景的視觸覺交互算法,即將場景中觸覺設備的運動狀態(tài)作為直接的交互方式融入到增強現實框架中,實驗人員通過手握觸控筆移動虛擬物體,可以明顯感受到來自虛擬物體的反作用力,目的是提高用戶交互體驗的自然性和真實性。實驗結果表明,具有協(xié)同共址定位的視覺-觸覺增強現實用戶界面能使用戶更精確自由地進行交互[5]。

1 相關工作

前期視觸覺增強現實體系的研究主要基于傳感器和視覺方法的實現。以往的研究主要是探討觸覺設備在AR 系統(tǒng)中的集成,一個關鍵要求是觸控筆與視覺增強的精確協(xié)同定位,來提供真實的力反饋并實現精確的視覺疊加[6-8]。

在現實生活中看到和觸摸虛擬物體的想法是由Yokokohji 等人[9]提出的。他們強調了觸覺和視覺反饋的重要性,并將這個概念稱為所見即所得(what you see is what you get,WYSIWYG)。為了實現視觸覺協(xié)同反饋,需要精確地計算觸控筆在觸覺空間的位置,以降低視觸覺空間轉換的共址誤差。精確定位觸筆位置不僅保證了視觸覺空間轉換的精度,也是實現視觸覺協(xié)同反饋的前提。

早期的工作是由Vallino 等人[3]通過仿射變換完成觸覺空間與標識空間之間的映射關系,從而將觸覺空間融入到增強現實環(huán)境中,然而仿射表示法不提供任何度量信息,這阻礙了對其校準過程準確性的分析。Eck 等人[10]和Reinig 等人[11]在觸覺工作區(qū)放置平面校準網格用于定位觸控筆的位置,該方法極大地提高了觸覺筆在網格區(qū)域中的位置精度,但是拓展到整個工作區(qū)時,因觸控筆遠離網格,誤差不斷累積。后來Eck 等人[12]通過在觸覺空間中放置2 個垂直的平面校準網格,以改進平面網格校準方法。該方法在一定程度上降低了隨著觸控筆遠離網格而造成的誤差積累問題。Lok 等人[13]基于觸覺設備本身的機械結構對觸控筆的實時定位,通過觸覺設備關節(jié)傳感器構建觸控筆的實時運動模型,此運動模型中包含觸控筆的位置和旋轉信息,基于關節(jié)傳感器的觸控筆定位方法不僅確立了觸覺空間的運動范圍,而且提高了定位精度。Adcock 等人[14]基于ARToolkit 和Geomagic Touch 觸覺設備開發(fā)了視觸覺融合的增強現實交互環(huán)境,通過投影變換將觸覺工作空間映射到屏幕空間上。Ikits 等人[15]提出了一種使用平面柵格校正觸覺觸針位置的觸覺設備標定方法,這種方法顯著提高了定標網格所在區(qū)域的位置精度。

另一種計算觸覺世界轉變的方法是測量外部系統(tǒng)測量點。Grant 等人[16]在觸覺工作區(qū)放置用于注冊的標識,并使用高精度經緯儀獲取標識在觸覺空間中的位置,該方法成功計算出視觸覺空間的相對位置關系。Harders 等人[17]和Bianchi 等人[18]基于紅外跟蹤器搭建了視觸覺增強現實系統(tǒng),該系統(tǒng)通過紅外跟蹤器獲取觸控筆位置在世界坐標系中的位置,實現對觸控筆的虛擬注冊,并基于觸覺設備的運動模型實現虛擬觸控筆和真實觸控筆的協(xié)同運動,但是在該系統(tǒng)中并未融入觸控筆的旋轉角,降低了交互的真實性。Aleotti 等人[19]借助激光掃描器建立了一個全局世界坐標系,以此計算觸覺空間和相機空間之間的轉換關系,成功地對全局空間中的觸覺設備進行虛擬注冊,渲染出程度更高的虛實融合場景,提升了交互真實性。Wang 等人[20]推導了具有半鏡顯示和定義誤差度量的VHAR 系統(tǒng)的共址誤差的數學模型,提出了一種新的模型校準方法,并使用精確的機械跟蹤器對其進行評估?；谠摴仓氛`差模型對其視觸覺增強現實系統(tǒng)進行校準后,雖然改善了對半反射鏡顯示器中視觸控空間中觸控筆的共址誤差,但忽略了觸覺設備中傳感器引起的協(xié)同定位誤差。Harders 等人[21]提出了VHAR 的共址定位方法,提出了一種補償完整工作空間內觸覺設備位置測量的非線性失真的算法,他們使用一個外部跟蹤器,并將一個跟蹤目標固定在觸覺觸控筆上,以執(zhí)行開環(huán)校準。

本文采用了VHAR 的共址定位方法,引入一種基于6-DOF 觸覺設備運動模型而搭建的視觸覺增強現實交互環(huán)境[22]。本文的工作將文獻[21]的方法擴展到設備上的傳感器,從而實現了觸控筆和視覺覆蓋的精確6-DOF 對準,該程序會校準位置和方向,可以精確定位觸控筆的位置。該系統(tǒng)設計消除了對硬件同步的要求,最大限度地減少了校準所需的時間和用戶輸入量。它不僅可以對觸覺設備進行實時虛擬注冊,而且融入了觸覺設備的實時運動姿態(tài),實現了更加真實的6-DOF 人機交互場景。

2 算法結構

本文的目標是設計一個視觸覺協(xié)同反饋的顯示界面。允許用戶操縱虛擬工具與增強現實環(huán)境中的虛擬對象進行交互,給用戶一種自然真實的交互體驗。在本文的工作中,所搭建的基于自然特征的增強現實系統(tǒng)以快速特征點提取和描述算法(oriented fast and rotated brief,ORB)和角點光流跟蹤算法(Kanada Lucas Tomasi,KLT)相結合實現,并以此為框架融入觸覺反饋接口,從而搭建一種視觸覺協(xié)同反饋的交互環(huán)境。為了提升交互場景的虛實融合度,本文運用視觸覺空間轉換矩陣對場景中的真實觸控筆進行虛擬注冊;為了進一步提升用戶對視觸覺交互操作的真實感,本文提出了一種具有6-DOF的視觸覺交互算法,即將場景中觸覺設備的運動狀態(tài)作為直接的交互方式融入到增強現實框架中,并通過實驗證明了此方法的可行性和穩(wěn)定性。

2.1 實現框架

目前,視觸覺增強現實主要有兩種實現模型:一種是將觸覺空間映射到屏幕坐標系中,此方式采用的是視觸覺融合的非共址定位方法[23]。非共址定位是指用一個觸覺代理表示觸覺接觸點,用戶通過操控觸覺設備的虛擬探針實現觸覺代理移動虛擬對象,如圖1 所示,將虛擬對象與觸覺代理一并注冊在真實場景中,實現標識、相機、屏幕以及虛擬設備坐標系之間的融合。另外一種是將觸覺空間轉換到真實的世界坐標系中,此方式采用的是視觸覺融合的協(xié)同共址定位方法,即將觸覺設備集成到增強現實環(huán)境中,使觸覺交互點與三維場景中的接觸點在視覺上重合。如圖2 所示,其將真實觸控筆通過空間轉換矩陣和模型視圖矩陣進行虛擬注冊到真實場景中,實現世界坐標系、相機、屏幕以及虛擬設備坐標系之間的融合,最后將虛實結合的場景投影到顯示器上。本文采取第二種模型,并在此基礎上用自然特征模板替換標識,構建一種基于自然特征的視觸覺增強現實體系,以ORB 與KLT 算法搭建基于自然特征的增強現實系統(tǒng),并以此為框架融入觸覺反饋接口,實現視觸覺協(xié)同反饋的交互環(huán)境。此外通過視觸覺空間轉換矩陣對場景中的真實觸筆進行虛擬注冊,提升交互場景的虛實融合度。為了進一步提升用戶通過觸覺設備交互操作的真實感,提出了具有6-DOF 的視觸覺交互算法,成功地將觸覺設備的運動姿態(tài)映射到視覺空間中。本文還將兩種模型進行對比,分析兩種模型的優(yōu)缺點,結果如表1 所示。

圖1 基于觸覺代理的視觸覺增強現實

圖2 基于觸控筆的視觸覺增強現實

表1 兩種模型的對比表

2.2 增強現實環(huán)境搭建

目前,視觸覺增強現實系統(tǒng)主要使用ARToolkit構建增強現實環(huán)境。在基于ARToolkit 的增強現實系統(tǒng)中,標識存在遮擋性差且需要在場景中放置多個人工標識,從而導致在交互過程中用戶無法直接、真實地與虛擬對象進行交互,造成交互不真實感?；谏鲜龇治?本文提出了一種基于自然特征的增強現實系統(tǒng)框架,選取現實中常見的自然特征物體作為模板,如選取一本書作為自然特征模板,通過ORB 和KLT 算法對場景進行特征點檢測、匹配與跟蹤,實現對虛擬物體的注冊,有效地克服基于標識的增強現實的弊端。基于自然特征的增強現實系統(tǒng)實現流程圖如圖3 所示。

圖3 基于自然特征的增強現實算法實現流程圖

本文增強現實系統(tǒng)基于Windows 10 系統(tǒng)下運行,其CPU 主頻為3.4 GHz,內存為8 GB,開發(fā)環(huán)境是vs2013,使用雙飛燕1080pUSB 攝像頭實時采集場景圖片,視頻分辨率為640 ×480 像素,其中預設的自然特征模板是一本書的封面,如圖4(a)所示。利用張氏棋盤法進行標定獲得相機的內參,利用ORB 和KLT 算法對實時幀進行檢測、匹配與跟蹤獲得相機的外參,最后將虛擬對象注冊到模板圖像上,實現虛實融合的效果。如圖所示為基于雜志的實際注冊效果,圖4(b)、(c)和(d)分別展示了算法在初始狀態(tài)、旋轉注冊和遮擋情況下的注冊結果。

圖4 基于ORB 與KLT 的增強現實注冊結果

2.3 視觸覺空間的融合

本文主要是基于圖2 空間轉換圖搭建視觸覺增強現實框架,將觸覺反饋接口加入到自然特征的增強現實系統(tǒng)中。其主要過程為:(1)使用ORB 和KLT 算法搭建增強現實環(huán)境;(2)在觸覺設備工作區(qū)的正前方放置自然特征模板a,通過剛性轉換實現觸覺空間轉換到基于自然特征模板a 構建的真實世界空間,其中剛性轉換矩陣為T1;(3)基于跟蹤注冊算法實時計算相機相對于自然特征模板a 的相對位置,獲得模型視圖轉換矩陣T2;(4)在場景放置另一個自然特征模板b,該模板用于注冊交互的虛擬對象,其中注冊矩陣為T3;(5)通過求解用于視觸覺交互的轉換矩陣。其中通過完成對觸覺設備進行視覺增強。在整個交互場景中,相機、模板a 和觸覺設備位置是實時固定的?；谧匀惶卣鞯囊曈|覺增強現實模型視圖如圖5 所示。

圖5 基于自然特征的視觸覺增強現實模型圖

根據圖2 的轉換關系與圖3 的增強現實注冊流程可得:

其中,(u,v)是成像點在像素坐標系下點,(Xh,Yh,Zh,1) 是觸覺空間坐標系一點,R是一個3 ×3 的旋轉矩陣,T是一個3 ×1 的平移矩陣,(dx,dy) 為每個像素點在x軸、y軸方向上對應的實際長度,(u0,v0) 為圖像中心點的像素坐標,f為成像平面到攝像機焦平面的距離,C4×4的矩陣代表觸覺空間轉換到模板a 中的剛性轉換矩陣,即T1[R T];實時跟蹤注冊的模型視圖轉換矩陣,即T3;基于[R T]C4×4完成視觸覺空間的實時轉換。

為了完成觸覺坐標和標識世界坐標之間的轉換,首先采集觸覺探針在世界模板圖像上的4 個角點位置,并分別記錄觸覺探針在觸覺空間和世界坐標中的位置,然后通過剛性轉換的方式獲得視觸覺空間位置之間的絕對轉換關系,經過剛性轉換后,基于模板可以求解出觸控筆在世界模板圖像中的位置。為了補充觸筆的實時姿態(tài)信息,需要實時計算觸控筆繞各個軸的旋轉量以用于初始化虛擬觸控筆的方向角,結合剛度轉換和方向角設置虛擬觸筆的模型視圖矩陣,最終實現對觸控筆的虛擬注冊。

根據上述轉換過程,構建數學轉換過程如式(2)所示:

其中代表觸控筆在真實世界中的三維坐標,表示觸控筆在觸覺活動空間的三維坐標。R3×3和t3×1分別表示旋轉矩陣和平移向量。

其中,N(1 ≤N≤4) 表示分別采集真實世界坐標系中的點數量。為了獲得最優(yōu)的R3×3和t3×1的值,使用Levenberg-Marquardt 算法對式(3)求解,以完成視觸覺空間之間的轉換。

2.4 6-DOF 姿態(tài)的實現

2.4.1 觸覺設備的運動模型

為了通過觸覺設備更真實地與虛擬對象交互,本文將觸覺設備的前向運動模型映射到視覺空間中,以創(chuàng)建更直觀自然的交互場景。根據Geomagic Touch 的運動模型對觸控筆的姿勢進行建模,結果顯示在圖6 中,其中觸覺設備的2 個關節(jié)角度用于求解觸控筆的位置,如圖6(a)所示;另外,通過觸覺設備,傳感器上的3 個萬向節(jié)傳感器實時感知觸控筆在每個坐標軸上的旋轉,如圖6(b)所示。

圖6 觸覺設備的位姿定位

基于觸覺設備的運動學模型推導出觸覺筆實時

根據右手坐標系,對觸覺設備定性建模分析,運動模型如圖7 所示。的運動狀態(tài)。設l=(l1,l2) 代表觸覺設備的臂長,θja(θ1,θ2,θ3) 代表裝置關節(jié)角度,其中(l,θja) 用于計算觸控筆在觸覺空間中的位置變化,從觸覺工作空間原點到HIP位置THIP的平移由式(4)給出。

圖7 觸覺設備模型

通過以下方式確定第2 只手臂的方向:

為了獲得繞軸的角度旋轉量,可以通過觸覺設備上的萬向節(jié)傳感器獲得實時旋轉角度,θga(θ4,θ5,θ6) 代表觸控筆的繞軸方向角,即觸控筆在坐標軸上的實時旋轉角。根據萬向節(jié)傳感器可得式(6)。

其中R4、R5和R6分別表示繞Y、X和Z軸的實時旋轉角。最后可以獲得觸控筆在位置和方向上的實時旋轉角度:

結合式(6)和式(7),可得:

根據式(1)將觸覺設備的前向運動模型映射到增強現實空間中以用于視觸覺實時交互,6-DOF 的視觸覺交互如式(9)所示。

其中,D4×4矩陣用于完成視觸覺空間坐標軸的匹配,(xh,yh,zh)T是觸覺空間對應的觸覺坐標系一點,從而實現6-DOF 視觸覺融合的增強現實環(huán)境。

2.4.2 實時交互的坐標轉換

當通過虛擬觸控筆與對象進行實時交互時,需要將虛擬觸控筆的實時狀態(tài)傳遞交互的對象,并通過模型視圖矩陣和投影矩陣將觸控筆姿態(tài)的實時變化量傳遞給交互對象。通過設備按鈕獲取:初始位置T0(px0,py0,pz0),初始旋轉值R3×1(Rx0,Ry0,Rz0);觸筆的實時位置T1(px1,py1,pz1) 和旋轉值r3×1(rx1,ry1,rz1)?；谟|筆的實時移動構建交互對象的移動和旋轉的模型視圖矩陣,實時的旋轉量A3×1為

然后對其進行羅德尼格斯方法構建旋轉矩陣,并對其進行齊次變換,獲得A4×4,基于按下按鈕時的旋轉矩陣,確定虛擬觸筆相對于初始的旋轉變換量,如式(11)所示。

其中Rot4×4=為當前交互對象的旋轉矩陣,基于式(11)可以獲得交互對象實時旋轉變換量。為了控制交互對象的平移變換,接著將其坐標軸原點移動至交互點并以交互構建坐標軸,將交互點作為旋轉和平移的中心點,其變換公式為

根據初始位置和實時位置計算實時位移量T,如式(13)所示。

繼而根據位移量構建實時的位移轉換矩陣M4×4:

最后,將當前模型視圖變換矩陣和實時變換后的模型視圖矩陣相乘,以獲得包括旋轉和平移的模型視圖矩陣,并將觸覺設備的運動姿勢傳遞到交互對象,如式(14)所示。

3 實驗結果分析

本文使用Geomagic Touch 觸覺設備,個人電腦(Intel(R) Core(TM) i7-2600 CPU A 3.40 GHz)和USB 攝像頭來構建具有視觸覺的增強現實環(huán)境,軟件開發(fā)平臺為Visual studio。使用USB 相機和基于ORB-KLT 算法構建增強現實環(huán)境,主要用于實時采集和檢測場景中設置的自然特征;當識別出場景中的自然標識時,使用單應性變換矩陣和剛性變換矩陣對場景中虛擬觸控筆進行增強。此時用戶移動觸覺設備,虛擬觸覺也將相應地移動,與此同時用戶按下觸控筆上的按鈕,便可啟用反饋力,實現對虛擬物體的實時交互操作。

視觸覺交互算法對比如表2 所示。本文算法采用的是共定位的視觸覺融合方法,文獻[24]采用基于ARToolkit 的非共址視觸覺增強現實,如圖8 所示。由于標識遮擋性差且需要在場景中放置多個人工標識,只能通過觸覺代理點(圖中圓形錐點)實現對虛擬物體的交互,導致了在交互過程用戶無法直接、真實地與虛擬對象進行交互,造成交互的不真實感。文獻[17]采用標記的方法對真實觸控筆進行跟蹤注冊,但需要對真實觸控筆貼上標記,且觸控筆無法進行旋轉,否則將出現肉眼可見的注冊偏差,本次對比實驗給觸控筆筆端和筆尾貼上紅色標記,如圖9 所示。而Ulrich 的方法中一些硬件條件無法在本實驗室實現,雖然此方法可以有效提高視觸覺定向精度,但因機械轉置局限只能在特定實驗室中實現,無法在多場景中實現。而本文算法基于自然特征增強現實,將觸覺設備引入交互場景并且引入6-DOF 交互算法,不僅操作簡單,不需要高精度復雜的光學傳感器并不受實驗場景和標識限制,而且增強了視觸覺人機交互的真實感和趣味性。

圖8 基于虛擬代理的注冊效果圖

圖9 基于對觸控筆標記的注冊效果圖

表2 視觸覺交互算法對比

3.1 實驗結果

為了完成視觸覺空間轉換和對觸控筆的虛擬注冊,本文使用基于自然特征的增強現實技術完成視觸覺空間之間的剛性轉換和單應性變換。為了驗證算法注冊的可行性,分別在簡單的場景和復雜的場景下進行虛擬注冊,結果如圖10 和圖11 所示。

圖10(a)、10(b)、11(a)和圖11(b)的實驗結果表明,當在場景中檢測到目標對象時,計算機計算模型視圖矩陣和視觸覺空間之間的剛性轉換矩陣,使用2 個轉換矩陣對相機空間中觸控筆進行虛擬注冊。在初始狀態(tài)時,將虛擬觸控筆注冊到真實觸控筆,圖10(a)和11(a)分別表示虛擬觸控筆在簡單和復雜的場景中注冊的結果;圖10(b)和11(b)表示用戶手持虛擬觸控筆在2 種場景中移動的姿態(tài)。當觸控筆從墨水池中取出,觸控筆由綠色變?yōu)榈{色,用戶以任意方向(6-DOF)移動觸覺設備時,虛擬觸控筆跟隨真實觸控筆進行協(xié)同運動,渲染了真實的操作場景,使交互場景更加具有真實感。實驗結果表明,基于自然特征的視觸覺增強現實注冊環(huán)境不受場景復雜性等因素影響,這是相比于基于標識增強現實體系注冊的一大優(yōu)點。不過在此虛實融合的場景中由于缺少深度信息,未能處理真實對象和虛擬對象之間的遮擋關系。

圖10 視觸覺空間轉換簡單場景注冊效果

圖11 視觸覺空間轉換復雜場景注冊效果

在圖10 實驗基礎上,注冊一個虛擬方塊并給虛擬方塊引入物理引擎-重力元素。圖12 展示了真實觸控筆與虛擬觸控筆協(xié)同運動與場景中的虛擬方塊進行交互的過程,通過真實觸控筆與虛擬觸控筆協(xié)同運動實現了6-DOF 的視觸覺協(xié)同交互。圖12(a)展示了視觸覺初始場景,以虛擬方塊的中心繪制三維坐標軸;圖12(b)展示了用戶通過虛擬觸控筆與虛擬方塊進行交互操作,當觸控筆離開墨水池時虛擬觸控筆由綠色變?yōu)榈{色,按下觸控筆上按鈕便可牽引虛擬物體并且可以明顯感受到虛擬方塊反饋的重力,用戶可以通過手握虛擬觸控筆實現對虛擬物體的平移和旋轉,增加了人機交互的真實感,真實模擬了現實場景中手持木棒移動物體的多方位視觸覺感官體驗;圖12(c)展示了交互結束的場景,當松開觸控筆上按鈕時,虛擬物體受重力作用,做自由落體運動,真實模擬了現實場景真實物體的運動姿態(tài),最終展示了虛擬方塊靜止時最終的位姿信息。

圖12 觸控筆控制虛擬對象的交互場景

為使設計貼近生活,本文設計了數字排序訓練項目,難度較大。用戶通過觸覺設備在“數字鍵盤”中選擇并移動數字方塊,并將數字方塊移動到固定位置。場景的注冊主要使用OpenGL 中的GL_QUADS 繪制10 個數字方塊和3Ds Max 繪制方格,利用C/C++代碼將3ds 文件轉換成OpenGL 可讀的頂點組,并使用OpenGL 的圖形與顏色線程繪制虛擬對象,然后通過OpenGL 的貼圖技術依次對10個立方體進行數字貼圖。本次模板注冊圖像采用上述書籍進行虛擬注冊,用戶通過移動觸控筆實現對虛擬數字的空格排序,每個數字顯示一個空格,操作較難,有效考驗了用戶手眼協(xié)調的能力,數字排序訓練場景如圖13 所示。

圖13 數字排序訓練的交互場景

當用戶從墨水池中取出觸控筆控制時,虛擬觸筆觸碰到數字方塊時,觸控筆由綠色變?yōu)榈{色表示交互成功,此時,用戶可以按下觸控筆上的按鈕選擇并移動該數字方塊至方格中,同時對其進行排序操作;釋放按鈕后,則放置數字方塊,在場景中放置圖13(a)用于注冊交互的“數字鍵盤”和放置數字方塊的方格,調整自然特征模板,使得整個交互場景完整地顯示在窗口中,此時點擊屏幕上的固定場景按鈕固定交互對象。在整個交互過程中要確保攝像頭位置不變,如圖13(b)所示,固定場景后,用戶可以撤走自然特征模板,此時通過移動虛擬觸筆到數字鍵盤附近,且通過虛擬觸控筆觸碰數字鍵盤中的某個方塊,真實模擬了現實場景中手移物體的多方位視觸覺感官體驗。在整個練習模式中,用戶可以自主選擇想要移動的數字方塊的個數,圖13(c)是練習結束時的場景。

本文實驗主要使用一本書作為自然特征標識物,用戶也可以選取日常生活中一些彩色圖像物體作為自然特征模板。這不僅為用戶提供了自主選擇標識物進行虛擬注冊,也為用戶提供參與系統(tǒng)開發(fā)的樂趣,進一步提升了用戶的訓練積極性。在此項實驗中選擇常見的商品包裝盒進行模板替換,在此基礎上增加自然場景中物品數量,增加場景的復雜性。實驗結果表明,基于自然特征的增強現實不受場景約束,可以很好地滿足實驗的注冊效果。實驗注冊了虛擬桌面、茶壺、黑色圓餅和綠色蘋果,用戶通過觸覺設備控制虛擬觸控筆與虛擬對象進行交互。拾取訓練項目難度較大,有效鍛煉了手指的捏和握的能力,實驗結果如圖14 所示。

在拾取訓練的交互場景中,另給觸覺設備增加了無力反饋、恒力和彈性力反饋的條件來完成拾取訓練,不同的反饋條件豐富了此訓練的趣味性。本文實驗采用彈性力反饋來進行拾取訓練,圖14(a)展示了商品包裝盒初始化場景,圖14(b)展示了用戶通過虛擬觸控筆與虛擬桌面上物體進行交互操作場景。當觸控筆從墨水池取出時,虛擬觸控筆接觸虛擬桌面或虛擬物體時可以明顯感受到來自虛擬物體的作用力,此時表明觸控筆筆端已接觸桌面或者虛擬物體,與此同時按下觸筆上的按鈕可以選擇并移動虛擬對象,用戶可以明顯感受到實時的反饋力,而釋放按鈕后,則放置虛擬對象,圖14(c)展示了將虛擬黑色餅干拾取到桌面外的最終場景。

圖14 拾取訓練的交互場景

為了充分驗證實驗的可行性,邀請10 名學生參與到實驗中,其中6 名男生,4 名女生,年齡在22～25 歲。圖15 是邀請一名同學在全局視角下進行視觸覺交互的場景。每位被試者依次完成拾取訓練項目,所有被試者隨機參與訓練項目,在完成訓練項目后,被試者填寫一份用于評價系統(tǒng)可行性的問卷調查,每位被試者對訓練進行打分(0～10 分)。評分標準如下:1.易于理解;2.場景的真實性;3.趣味性;4.易于操作;5.訓練難度;6.經濟成本;7.力反饋真實性;8.交互性。拾取訓練評分直方圖和訓練平均時間曲線圖分別如圖16 和圖17 所示。

圖15 全局視角下的交互場景

圖16 拾取訓練問卷評分

圖17 拾取訓練平均時間

由上圖評分結果可知,視觸覺增強現實系統(tǒng)的訓練項目交互方式易于理解,且交互過程趣味性十足,所有的被試者都具有較高的積極性,并盡力去完成指定的任務。對被試者而言,因為選擇的反饋力模式不同,所需要的時間也不同。通過直方圖和曲線圖可以清晰地看出,在此訓練項目中,彈力模式下的完成時間是最長的,這主要是因為系統(tǒng)設置的彈性系數較大,產生的反饋力較大。另外,從圖中發(fā)現,恒力模式下完成項目所需的時間與無力模式下完成項目的時間較為相近,這主要是因為設置的恒力系數較小。在整個訓練過程中,熟悉交互場景的被試所需要的訓練時間較短。由此可見,被試者可以通過重復的訓練提升完成訓練項目的效率,經過多名同學實驗證明此算法的可行性與趣味性。

3.2 算法的實時性和準確性分析

本文的視觸覺增強現實算法在增強現實環(huán)境搭建上采用的是ORB 算法,對目標進行實時檢測;采用KLT 算法對場景中目標進行實時跟蹤注冊,引入6-DOF 實現姿態(tài)旋轉(ORB+KLT)實現視觸覺融合的交互操作。軟件開發(fā)平臺為Visual Studio release x64 下執(zhí)行編譯。本文通過對ORB+BF(Brute Force)、ORB +FREAK +BF、SURF +KLT 幾種經典算法和本文的算法進行特征點檢測和匹配進行實時性和準確率比較。通過采集前400 幀圖像,分別對第50 幀、100 幀、250 幀、350 幀和400 幀進行采樣,對圖像實時運行的幀率和正確姿態(tài)注冊的圖像數目進行分析。實時性的對比采用對虛擬物體注冊過程耗時作為參考指標,準確率的單位采用正確姿態(tài)注冊的百分比。此處所提正確姿態(tài)注冊是指特征點匹配的準確對數和虛擬觸控筆準確注冊在真實觸控筆上,實驗數據結果如表3 和表4 所示。

表3 各算法的實時性分析(單位為ms)

表4 各算法注冊的準確率分析

從表中數據分析,使用ORB 結合KLT 算法三維注冊方法在不同幀數條件下平均耗時相比于基于SURF 和ORB 結合BF 算法的三維注冊方法運算時間均縮短了,且本文算法注冊的準確率明顯高于其他算法。這是由于KLT 算法能夠有效、快速響應場景的快速變化,實時地比較圖像序列中上一幀與當前幀在時域上的對應關系,以準確計算出兩幀圖像之間的運動模式及姿態(tài)。使用SURF 結合算法雖然可以提高注冊結果的準確性,但隨著圖像幀增大,算法迭代次數增大,實時性有所減低,注冊失敗率增大。這是因為算法本身時間復雜度高,所損耗的時間相比ORB 算法遠遠大出一個級別。實驗結果表明,本文算法具有良好的實時性、可行性和準確性。

3.3 誤差分析

3.3.1 系統(tǒng)誤差

在視觸覺空間轉換過程中,由于視觸覺空間的工作區(qū)并不是完全相同的,其中觸覺和視覺的工作區(qū)間如圖18 所示,所以需要對觸覺空間進行縮放和旋轉操作,實現觸覺空間與視覺活動空間的匹配。

圖18 視觸覺空間差異圖

即視覺坐標系和觸覺坐標系之間存在一定的系統(tǒng)誤差。觸覺設備的真實測量值經過模型視圖變換過后出現偏差,在X、Y和Z軸上的系統(tǒng)誤差如表5所示。

表5 視觸覺空間的系統(tǒng)誤差

最后通過視口變換、投影變換和模型視圖變換設置虛擬觸筆的尺寸以適應視口的大小。

3.3.2 視觸覺空間轉換誤差分析

本文根據文獻[20]的誤差量化模型可以獲得觸筆真實位置的誤差與虛擬視覺環(huán)境坐標系中的注冊位置進行誤差分析。根據誤差度量模型可知,誤差來自于模型視圖轉換過程,在Z軸上的注冊誤差在5.7 mm;同時因為結果缺少深度信息,無法完全地對觸筆的虛擬化注冊,也造成了無法處理手部與虛擬觸筆之間的遮擋關系。

當觸筆繞Y軸旋轉超過±100 °,因誤差積累時,虛擬觸筆與真實觸筆的位置會出現偏差,導致真實觸筆暴露的情況,所以本文使用視覺補償的方法消除偏移量,即使用放大虛擬觸筆完成視覺遮擋的注冊效果。

4 結論

本文介紹了基于ORB 和KLT 搭建的視觸覺增強現實環(huán)境,并且為提升交互操作的真實性,提出了一種具有6-DOF 的視觸覺融合算法,該算法成功地將觸覺設備的運動姿態(tài)融入到視覺空間轉換中,使得用戶在通過力觸覺設備與對象交互時獲得更加自然、真實的交互體驗。實現效果顯示,6-DOF 的視觸覺融合算法可提升用戶操作的沉浸感和真實感。未來的工作還需要對視觸覺增強現實技術做進一步的優(yōu)化和改進,尤其在反饋力的建模場景中,還需要對虛擬對象設置多重物理屬性,以及利用雙手與觸覺設備搭建更加直觀的視觸覺增強現實訓練系統(tǒng),使模擬交互場景更加真實。此外本文沒有解決虛實遮擋問題,所以還需要處理真實對象和虛擬對象之間的遮擋與碰撞等問題,使交互運動更加真實自然。