視觸覺融合的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)方法

劉 佳，郭 斌，張晶晶，閆 冬

南京信息工程大學(xué) 自動(dòng)化學(xué)院，B-DAT&CICAEET，南京210044

增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）是由虛擬現(xiàn)實(shí)（Virtual Reality，VR）技術(shù)發(fā)展而延伸出來(lái)的研究領(lǐng)域[1]，它突破了虛擬現(xiàn)實(shí)只能構(gòu)建虛擬場(chǎng)景的局限，借助視覺技術(shù)和計(jì)算機(jī)圖形學(xué)將計(jì)算機(jī)生成的虛擬環(huán)境與用戶周圍的真實(shí)環(huán)境融為一體[2]，達(dá)到虛實(shí)結(jié)合的目的，呈現(xiàn)給用戶一個(gè)感官真實(shí)的新環(huán)境[3]。增強(qiáng)現(xiàn)實(shí)的關(guān)鍵技術(shù)有三維跟蹤注冊(cè)技術(shù)，虛實(shí)融合顯示技術(shù)和人機(jī)交互技術(shù)[4]。其中三維注冊(cè)技術(shù)是增強(qiáng)現(xiàn)實(shí)系統(tǒng)的核心，是衡量增強(qiáng)現(xiàn)實(shí)系統(tǒng)性能優(yōu)劣的重要指標(biāo)[5-6]。目前，基于計(jì)算機(jī)視覺的增強(qiáng)現(xiàn)實(shí)注冊(cè)方法有基于無(wú)標(biāo)識(shí)的和基于標(biāo)識(shí)的[7-8]?；跇?biāo)識(shí)的方法可以使用ARToolkit開發(fā)平臺(tái)，它使用模板匹配技術(shù)[9]，計(jì)算精度高且效果穩(wěn)定。在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，交互技術(shù)滿足了人們?cè)谔摂M和現(xiàn)實(shí)世界自然交互的愿望[10]。早期的AR研究中，用戶只能通過(guò)顯示設(shè)備觀看虛實(shí)效果，沒有太多與虛擬對(duì)象的交互[11]。但隨著計(jì)算機(jī)性能的提高，僅“顯示”的增強(qiáng)現(xiàn)實(shí)場(chǎng)景不再能滿足用戶的需求，多種交互技術(shù)在AR系統(tǒng)中應(yīng)用。目前，增強(qiáng)現(xiàn)實(shí)中人機(jī)交互技術(shù)主要分為四類，分別為基本命令式交互、雙手交互、多通道交互和特殊工具交互。人自身具有多種感官感知功能，可以將觸覺、聽覺、力反饋等作為輸出，實(shí)現(xiàn)多通道的增強(qiáng)現(xiàn)實(shí)交互[12]。在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中加入觸覺感知，構(gòu)建視觸覺增強(qiáng)現(xiàn)實(shí)系統(tǒng)（Visuo-Haptic Augmented Reality，VHAR）[13]，這主要運(yùn)用了多通道交互方式。VHAR的理念主要是將增強(qiáng)現(xiàn)實(shí)技術(shù)與觸覺相結(jié)合，滿足用戶在增強(qiáng)現(xiàn)實(shí)環(huán)境中看到并觸摸虛擬對(duì)象的需求，實(shí)現(xiàn)與虛擬對(duì)象的觸覺交互。目前常用的觸覺交互設(shè)備有力反饋手控器、數(shù)據(jù)手套等。Geomagic Touch[14]是業(yè)界最廣泛配置的專業(yè)力反饋裝置，可在用戶手中施加力反饋，使用戶在操縱屏幕上的3D對(duì)象時(shí)能夠感受虛擬對(duì)象并產(chǎn)生逼真的觸摸感。觸覺設(shè)備可用于多種應(yīng)用[15-16]，如手術(shù)模擬、醫(yī)療培訓(xùn)、科學(xué)可視化以及盲人和視障人士的輔助技術(shù)等，如圖1所示。

圖1 觸覺設(shè)備應(yīng)用場(chǎng)景

本文提出了一種視觸覺融合的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)方法。視觸覺融合的類型可以分為共址定位和非共定位[17]。共址定位指將觸覺設(shè)備集成到增強(qiáng)現(xiàn)實(shí)環(huán)境中，觸覺交互點(diǎn)與三維場(chǎng)景中的接觸點(diǎn)在視覺上重合；非共定位指用一個(gè)虛擬代理表示觸覺交互點(diǎn)，用戶通過(guò)操控觸覺設(shè)備的觸控筆實(shí)現(xiàn)用虛擬代理移動(dòng)虛擬對(duì)象。本文提出的算法針對(duì)非共定位的視觸覺融合，采用基于標(biāo)識(shí)的跟蹤注冊(cè)技術(shù)，將虛擬對(duì)象與虛擬代理融入到真實(shí)環(huán)境中。同時(shí)對(duì)觸覺環(huán)境進(jìn)行力觸覺渲染，給虛擬對(duì)象賦予材料屬性，提供給用戶真實(shí)的反饋力，提高用戶與虛擬對(duì)象交互時(shí)的真實(shí)感與沉浸感。

1 相關(guān)工作

視觸覺增強(qiáng)現(xiàn)實(shí)作為一個(gè)新興的技術(shù)已經(jīng)有了一些研究。一些研究使用傳統(tǒng)的基于屏幕的顯示[18-19]，還有一些研究使用光學(xué)透視式或視頻透視式的頭盔顯示器（HMDs）[20]。Harders等人[21-22]提出了一種高精度的視覺與觸覺融合的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，在該系統(tǒng)中，使用外部跟蹤器對(duì)目標(biāo)進(jìn)行跟蹤，并且連接到觸控筆進(jìn)行校準(zhǔn)。該系統(tǒng)包含了觸覺設(shè)備和頭戴式顯示器，并將其應(yīng)用在娛樂(lè)方面。

視觸覺增強(qiáng)現(xiàn)實(shí)技術(shù)被廣泛地應(yīng)用于醫(yī)療康復(fù)領(lǐng)域。Alamri等人[23]提出了一種適用于腦卒中患者損傷的康復(fù)系統(tǒng)。該系統(tǒng)不需要治療師監(jiān)督，患者自主完成康復(fù)訓(xùn)練，此外該系統(tǒng)實(shí)時(shí)記錄患者手部的運(yùn)動(dòng)軌跡以評(píng)估訓(xùn)練效果。Vidrios-Serrano等人[24]提出了一種機(jī)器人輔助治療上肢功能的系統(tǒng)。該系統(tǒng)將機(jī)器人裝置與AR環(huán)境結(jié)合創(chuàng)建了用于康復(fù)治療的觸覺平臺(tái)，為患者提供了額外的動(dòng)力?；颊咴诟惺艿揭曈X和觸覺刺激的同時(shí)，系統(tǒng)可以跟蹤患者的行為，記錄患者的交互信息。

視觸覺增強(qiáng)現(xiàn)實(shí)技術(shù)也可以應(yīng)用于教育和娛樂(lè)等方面。Huang等人[25]采用基于標(biāo)識(shí)的注冊(cè)在屏幕中顯示虛擬對(duì)象，用戶可以通過(guò)觸覺設(shè)備直接感受到該對(duì)象的存在并觸摸該物體。目前，該研究可以與增強(qiáng)現(xiàn)實(shí)中的電子書相結(jié)合，利用觸覺設(shè)備，用戶不僅可以欣賞他們觀看的內(nèi)容，還可以觸摸到產(chǎn)生的3D對(duì)象，給用戶帶來(lái)較好的感知體驗(yàn)，使得教學(xué)材料更加豐富，更加有趣。

將增強(qiáng)現(xiàn)實(shí)與觸覺相結(jié)合，能夠給用戶帶來(lái)更多真實(shí)感，使用戶以更自然的方式與虛擬對(duì)象進(jìn)行交互。三維注冊(cè)是實(shí)現(xiàn)視觸覺融合的關(guān)鍵。Sandor等人[13]提出了VHMR系統(tǒng)的一種簡(jiǎn)單的注冊(cè)方法，并使用雙手動(dòng)交互技術(shù)創(chuàng)建了一個(gè)繪畫應(yīng)用程序。Aleotti等人[26]提出了一種基于模型的注冊(cè)方法，利用激光掃描儀獲取距離數(shù)據(jù)，計(jì)算目標(biāo)的三維特征，在數(shù)據(jù)集中匹配三維模型。Harders等人[22]提出了動(dòng)態(tài)注冊(cè)的方法。通過(guò)紅外光學(xué)跟蹤蹤器對(duì)附著在觸覺設(shè)備上的標(biāo)識(shí)進(jìn)行識(shí)別，采用基于視覺的跟蹤方法，得到觸覺設(shè)備在世界坐標(biāo)系下的位置。其他定位方法[27-28]為實(shí)現(xiàn)設(shè)備和真實(shí)世界的精確定位確定了觸覺裝置的運(yùn)動(dòng)參數(shù)。

2 算法組成

視觸覺增強(qiáng)現(xiàn)實(shí)系統(tǒng)可分為兩部分：增強(qiáng)現(xiàn)實(shí)和觸覺交互。其中需要解決的問(wèn)題為攝像頭和觸覺設(shè)備的標(biāo)定、三維注冊(cè)以及力觸覺渲染[29]。相比于傳統(tǒng)的增強(qiáng)現(xiàn)實(shí)應(yīng)用，視觸覺增強(qiáng)現(xiàn)實(shí)系統(tǒng)增加了一個(gè)視覺到觸覺的變換。

2.1 標(biāo)定

圖2 攝像頭與觸覺設(shè)備的工作空間

本文設(shè)計(jì)的視觸覺增強(qiáng)現(xiàn)實(shí)系統(tǒng)中涉及到攝像機(jī)與Geomagic Touch這兩個(gè)設(shè)備，需要對(duì)攝像機(jī)和觸覺設(shè)備進(jìn)行標(biāo)定。攝像機(jī)與觸覺設(shè)備的工作空間存在差異，如圖2所示。攝像機(jī)的工作空間呈錐體，范圍較大；而觸覺設(shè)備的工作空間呈立方體，觸筆移動(dòng)范圍有限。如果放大觸覺設(shè)備的工作空間使它適應(yīng)攝像機(jī)，觸覺設(shè)備的坐標(biāo)將不容易設(shè)置。

攝像機(jī)標(biāo)定是為確定空間物體表面某點(diǎn)的三維幾何位置與其在圖像中對(duì)應(yīng)點(diǎn)之間的相互關(guān)系，以此建立攝像機(jī)成像幾何模型，重構(gòu)三維場(chǎng)景。本文使用Zhang的方法[30]進(jìn)行標(biāo)定，標(biāo)定板是一塊黑白方塊間隔組成的棋盤，采集不同方位棋盤的圖像，利用采集圖像特征點(diǎn)之間的對(duì)應(yīng)關(guān)系求解出攝像機(jī)的內(nèi)參，再根據(jù)單應(yīng)性矩陣計(jì)算攝像機(jī)的外參。該方法避免了傳統(tǒng)方法設(shè)備要求高、操作繁瑣的缺點(diǎn)，又比自標(biāo)定方法精度高，符合桌面視覺系統(tǒng)的標(biāo)定要求。為了獲取準(zhǔn)確的觸覺設(shè)備坐標(biāo)，防止機(jī)械臂發(fā)生偏離導(dǎo)致坐標(biāo)變換后視覺場(chǎng)景出現(xiàn)偏移，對(duì)觸覺設(shè)備進(jìn)行校準(zhǔn)。觸覺設(shè)備的校準(zhǔn)有三種類型：編碼器硬件校準(zhǔn)、墨水池（inkwell）校準(zhǔn)和自動(dòng)校準(zhǔn)。本文對(duì)觸覺設(shè)備進(jìn)行墨水池校準(zhǔn)，提示用戶將觸覺設(shè)備的探針?lè)湃肽赝瓿尚?zhǔn)。

2.2 三維注冊(cè)

為了實(shí)現(xiàn)與虛擬對(duì)象的觸覺交互，需要解決視覺與觸覺坐標(biāo)的三維配準(zhǔn)問(wèn)題，保證真實(shí)環(huán)境、觸覺設(shè)備以及虛擬對(duì)象之間的幾何一致性。本文提出的視觸覺增強(qiáng)現(xiàn)實(shí)三維注冊(cè)算法中，將標(biāo)識(shí)坐標(biāo)系作為世界坐標(biāo)系，同時(shí)，搭建觸覺環(huán)境，在標(biāo)識(shí)位置上繪制并渲染虛擬對(duì)象以及虛擬代理，并將最終的三維效果圖顯示在屏幕中。在增強(qiáng)現(xiàn)實(shí)環(huán)境下實(shí)現(xiàn)視觸覺融合，需要協(xié)調(diào)好攝像機(jī)、觸覺設(shè)備空間、標(biāo)識(shí)和屏幕坐標(biāo)之間的位置關(guān)系。通過(guò)對(duì)坐標(biāo)系進(jìn)行平移和旋轉(zhuǎn)變換，使得各個(gè)坐標(biāo)系相匹配。圖3為視觸覺增強(qiáng)現(xiàn)實(shí)中各坐標(biāo)的關(guān)系圖，其中涉及到幾個(gè)坐標(biāo)系統(tǒng)。

圖3 坐標(biāo)系之間的關(guān)系

2.2.1 增強(qiáng)現(xiàn)實(shí)中的三維注冊(cè)

增強(qiáng)現(xiàn)實(shí)的最終目的是實(shí)現(xiàn)虛擬對(duì)象與真實(shí)場(chǎng)景的融合，要實(shí)現(xiàn)這一目標(biāo)，需要結(jié)合顯示技術(shù)以及虛擬對(duì)象與真實(shí)環(huán)境的相對(duì)位置。注冊(cè)過(guò)程就是實(shí)現(xiàn)虛擬對(duì)象放置在真實(shí)環(huán)境中正確位置上的過(guò)程。本文中增強(qiáng)現(xiàn)實(shí)系統(tǒng)的搭建在ARToolkit平臺(tái)上開發(fā)并且采用基于標(biāo)識(shí)的跟蹤注冊(cè)方法。基于標(biāo)識(shí)的三維注冊(cè)方法的原理是給定模板圖片，計(jì)算模板的特征點(diǎn)，通過(guò)攝像頭讀取場(chǎng)景中標(biāo)識(shí)的信息，通過(guò)計(jì)算機(jī)視覺的相關(guān)算法識(shí)別并提取標(biāo)識(shí)的輪廓，找出攝像頭相對(duì)于標(biāo)識(shí)的位置和方向，從而準(zhǔn)確地進(jìn)行三維定位。

假設(shè)標(biāo)識(shí)坐標(biāo)系中一點(diǎn)的坐標(biāo)為(Xw,Yw,Zw)T，其在圖像坐標(biāo)系對(duì)應(yīng)的投影點(diǎn)的坐標(biāo)為(u,v)，根據(jù)標(biāo)識(shí)到攝像頭坐標(biāo)系的變換和攝像頭到圖像坐標(biāo)系的變換可以推導(dǎo)出標(biāo)識(shí)上一點(diǎn)與對(duì)應(yīng)投影點(diǎn)之間的關(guān)系，如式（1）：

式中，dx和dy為每個(gè)像素點(diǎn)在圖像坐標(biāo)系的x軸、y軸方向上的物理尺寸；(u0,v0)為圖像坐標(biāo)系的原點(diǎn)在像素坐標(biāo)系上的坐標(biāo)，f為攝像機(jī)焦距；由于只與攝像頭的內(nèi)部參數(shù)有關(guān)，稱這些參數(shù)為攝像頭內(nèi)參，K0是攝像頭的內(nèi)參矩陣。R為繞三個(gè)坐標(biāo)軸的旋轉(zhuǎn)矩陣，T為三維平移向量，用來(lái)表示標(biāo)識(shí)坐標(biāo)系與攝像頭坐標(biāo)系之間的相對(duì)位姿；P0是由旋轉(zhuǎn)矩陣和平移向量組成的攝像頭的外參矩陣，該矩陣表示世界坐標(biāo)系和攝像頭坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。可以通過(guò)攝像頭標(biāo)定得到內(nèi)參和外參，就能夠知道標(biāo)識(shí)在攝像頭中的位置和方向，進(jìn)而將虛擬對(duì)象注冊(cè)到標(biāo)識(shí)中。

2.2.2 觸覺環(huán)境中的三維注冊(cè)

在虛擬環(huán)境中加入觸覺感知，需要通過(guò)觸覺設(shè)備提供力反饋。實(shí)現(xiàn)虛擬環(huán)境中的觸覺交互，需要將觸覺環(huán)境疊加到虛擬環(huán)境中，即實(shí)現(xiàn)觸覺設(shè)備坐標(biāo)系與屏幕坐標(biāo)系之間的配準(zhǔn)。首先建立觸覺設(shè)備工作空間與圖像場(chǎng)景的映射關(guān)系，然后通過(guò)坐標(biāo)變換關(guān)系實(shí)現(xiàn)觸覺設(shè)備到屏幕坐標(biāo)系之間的變換。

圖4 觸覺工作空間到圖形場(chǎng)景的映射

圖4描述了觸覺設(shè)備工作空間到圖形場(chǎng)景的映射關(guān)系。其中對(duì)象坐標(biāo)為虛擬對(duì)象的本地坐標(biāo)，通過(guò)模型變換將虛擬對(duì)象映射到世界坐標(biāo)系，世界坐標(biāo)系是圖形場(chǎng)景的全局參照系；通過(guò)視圖變換將世界坐標(biāo)轉(zhuǎn)換為視圖坐標(biāo)，視圖坐標(biāo)是虛擬攝像頭的本地坐標(biāo)；有了視圖坐標(biāo)后需將其投影到裁剪坐標(biāo)；最后，將裁剪坐標(biāo)通過(guò)視口變換轉(zhuǎn)換為屏幕坐標(biāo)顯示到屏幕上。觸覺坐標(biāo)是工作空間的父坐標(biāo)系統(tǒng)。觸覺坐標(biāo)系表示從工作空間到獨(dú)立于進(jìn)一步的工作空間轉(zhuǎn)換的視圖坐標(biāo)系的基本映射，工作空間坐標(biāo)是觸覺設(shè)備的本地坐標(biāo)。

虛擬環(huán)境中圖形場(chǎng)景的建立由OpenGL完成，它將繪制的三維虛擬對(duì)象呈現(xiàn)在屏幕上。OpenGL主要有兩個(gè)矩陣，模型視圖矩陣和投影矩陣。模型視圖矩陣，定義了虛擬對(duì)象所在的世界坐標(biāo)系到虛擬攝像頭坐標(biāo)系的轉(zhuǎn)換。

將觸覺環(huán)境疊加到虛擬環(huán)境中，主要原理如下。假設(shè)視圖坐標(biāo)系中的一點(diǎn)為(Xv,Yv,Zv)T，與之對(duì)應(yīng)的觸覺坐標(biāo)系中的點(diǎn)的坐標(biāo)為(xt,yt,zt)T，工作空間中的點(diǎn)的坐標(biāo)為(Xt,Yt,Zt)T，視圖坐標(biāo)系與觸覺坐標(biāo)系之間的關(guān)系如下：

其中，A4×4實(shí)現(xiàn)了將映射的工作空間定向到視圖坐標(biāo)中的目標(biāo)，可以通過(guò)平移使得工作空間的最近部分與映射目標(biāo)的最近部分配準(zhǔn)。使得視圖空間中所有可見的虛擬對(duì)象都可觸摸，為了方便可將其設(shè)為單位矩陣。因此，觸覺-工作空間矩陣實(shí)際上定義了工作空間到視圖坐標(biāo)系之間的映射。

由于工作空間的差異，觸覺工作空間受到觸覺設(shè)備的限制，觸覺設(shè)備的實(shí)際位置和觸覺虛擬代理在屏幕上顯示的位置不同，為了將觸覺設(shè)備的虛擬代理在屏幕中正確顯示，需要將觸覺設(shè)備坐標(biāo)系轉(zhuǎn)換到視圖坐標(biāo)系，變換關(guān)系如下：

其中，B4×4定義了觸覺坐標(biāo)系相對(duì)于視圖坐標(biāo)系的旋轉(zhuǎn)和平移。

2.2.3 視觸覺融合的三維注冊(cè)

實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)環(huán)境與觸覺環(huán)境的融合，只需將增強(qiáng)現(xiàn)實(shí)環(huán)境下的標(biāo)識(shí)坐標(biāo)系和觸覺環(huán)境下的觸覺工作空間坐標(biāo)系對(duì)準(zhǔn)同一個(gè)攝像頭坐標(biāo)系。

在增強(qiáng)現(xiàn)實(shí)中，當(dāng)標(biāo)識(shí)旋轉(zhuǎn)或平移時(shí)，用變換矩陣將標(biāo)識(shí)坐標(biāo)系轉(zhuǎn)換到攝像頭坐標(biāo)系，使它們的位置相對(duì)應(yīng)。攝像頭可以獲取標(biāo)識(shí)的位置信息，標(biāo)識(shí)將其位置轉(zhuǎn)換到屏幕上并顯示正確的圖像，齊次變換矩陣的公式為：

其中，Vc=[Xc Yc Zc]表示攝像頭坐標(biāo)系中的一點(diǎn)，Vm=[Xm YmZm]表示相對(duì)應(yīng)的標(biāo)識(shí)坐標(biāo)系中的點(diǎn)。

前面已經(jīng)討論了工作空間的問(wèn)題。觸覺設(shè)備的探針只能在有限的范圍內(nèi)移動(dòng)，相對(duì)于攝像頭的工作空間有明顯的區(qū)別。正是由于這種差異，使得觸覺設(shè)備的探針的實(shí)際位置和虛擬代理在屏幕上的位置不同。在這種情況下，當(dāng)虛擬光標(biāo)顯示在屏幕上時(shí)，很有可能坐標(biāo)系不配準(zhǔn)，需要以下轉(zhuǎn)換：

其中，Vt=[Xt Yt Zt]表示觸覺工作空間中的點(diǎn)。

根據(jù)上述三維注冊(cè)算法，實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)環(huán)境下視觸覺的融合。系統(tǒng)定義的用戶工作空間示意圖如圖5所示，其中藍(lán)色線框區(qū)域表示可以活動(dòng)的觸覺空間，灰色虛線表示標(biāo)識(shí)坐標(biāo)系所在的平面。

圖5 用戶工作空間示意圖

為了實(shí)現(xiàn)與虛擬對(duì)象的交互，需要可視化虛擬代理的位置，建立觸覺設(shè)備的探針與虛擬環(huán)境中的虛擬代理之間的映射關(guān)系，由于虛擬代理代替了觸覺設(shè)備的探針，觸覺設(shè)備不顯示在工作空間中。3D光標(biāo)是觸覺場(chǎng)景中虛擬代理的圖形表示。虛擬代理的大小需要與整個(gè)工作空間相適應(yīng)，根據(jù)場(chǎng)景中的虛擬對(duì)象的大小，提供合適的比例確定3D光標(biāo)的大小。通過(guò)透視投影可以使3D效果更具真實(shí)感。

透視投影的視域體類似于一個(gè)頂部和底部都被切除掉的棱椎，視野看起來(lái)像一個(gè)被切割的金字塔，以此模擬真實(shí)攝像頭通過(guò)透鏡所能觀察到的空間。它的特點(diǎn)是距離視點(diǎn)近的物體比較大，而距離遠(yuǎn)的物體比較小[31]。因此，當(dāng)繪制3D對(duì)象時(shí)，通過(guò)添加透視投影使呈現(xiàn)的對(duì)象更具真實(shí)感。透視投影矩陣[32]為：

其中，zNear為視點(diǎn)到近平面的距離，zFar為視點(diǎn)到遠(yuǎn)平面的距離，且都為正數(shù)，fovy為y方向的取景區(qū)域的角度，aspect為x方向的用來(lái)確定取景區(qū)域的高寬比。

2.3 力觸覺渲染

本文使用GeomagicTouch力反饋設(shè)備，這個(gè)設(shè)備看起來(lái)像一個(gè)小的機(jī)器人手臂，每個(gè)關(guān)節(jié)都有一個(gè)電機(jī)驅(qū)動(dòng)，它可以產(chǎn)生運(yùn)動(dòng)感覺信息與觸覺信息。通過(guò)對(duì)觸覺環(huán)境的渲染[33-35]，用戶可以觸摸并操控虛擬對(duì)象，觸覺設(shè)備通過(guò)內(nèi)部電機(jī)給用戶提供反饋力。本文中通過(guò)給虛擬對(duì)象添加材料屬性，將虛擬對(duì)象定為剛性物體，用戶在與虛擬對(duì)象進(jìn)行觸覺交互時(shí)，在視覺上光標(biāo)不會(huì)穿透其表面，使接觸更加可信。

本文采用God-Object力觸覺交互算法[36]，計(jì)算力反饋設(shè)備的交互點(diǎn)位置以及與虛擬物體交互時(shí)產(chǎn)生的力。當(dāng)與虛擬物體進(jìn)行觸覺交互時(shí)，實(shí)際的觸覺交互點(diǎn)位于虛擬物體內(nèi)部，即圖6中點(diǎn)1表示的位置。理想交互點(diǎn)位于虛擬物體的表面，God-Object算法的目的在于找到實(shí)際交互點(diǎn)到虛擬物體表面上距離最短的點(diǎn)，將此時(shí)虛擬物體表面上的點(diǎn)視為理想交互點(diǎn)，即圖中點(diǎn)2表示的位置。

圖6 God-object算法示意圖

God-Object算法通過(guò)對(duì)多個(gè)條件約束的多元函數(shù)求極值進(jìn)行優(yōu)化，從而得到理想交互點(diǎn)的位置。找到一組有效約束時(shí)，使用拉格朗日乘數(shù)法來(lái)確定新理想交互點(diǎn)的位置。公式（7）給出了在一個(gè)虛擬彈簧中的力量。

其中，x、y、z表示理想交互點(diǎn)的位置坐標(biāo)，xh、yh、zh表示觸覺交互點(diǎn)的位置坐標(biāo)。本文中有三個(gè)平面約束，理想交互點(diǎn)的新位置通過(guò)最小化公式（8）中的L求得：

當(dāng)找到新的理想交互點(diǎn)位置時(shí)，根據(jù)胡克定律計(jì)算出此時(shí)的交互接觸力。交互接觸力與反饋力是一對(duì)相互作用力，反饋力的公式為：

其中，k為彈簧系數(shù)，d為實(shí)際交互點(diǎn)與理想交互點(diǎn)之間的距離。

3 實(shí)驗(yàn)結(jié)果

3.1 實(shí)驗(yàn)軟硬件平臺(tái)

本文通過(guò)一臺(tái)PC機(jī)、一個(gè)顯示器、一個(gè)攝像頭和一個(gè)GeomagicTouch觸覺設(shè)備進(jìn)行注冊(cè)實(shí)驗(yàn)。觸覺設(shè)備具有6自由度位置姿態(tài)檢測(cè)和3自由度的力反饋功能，工作空間>160 mm（寬）×120 mm（高）×70 mm（深），位置精度約為0.055 mm，最大施力3.3 N。系統(tǒng)在VS2015環(huán)境中開發(fā)，使用ARToolkit和OpenHaptics工具包，實(shí)驗(yàn)中的攝像頭分辨率為640×480，運(yùn)行于2.4 GHz的電腦上。

3.2 系統(tǒng)實(shí)現(xiàn)

本文的增強(qiáng)現(xiàn)實(shí)環(huán)境在ARToolKit平臺(tái)上搭建，借助OpenHaptics工具包對(duì)觸覺環(huán)境進(jìn)行構(gòu)建，利用GeomagicTouch觸覺設(shè)備提供力反饋，根據(jù)上述三維注冊(cè)算法開發(fā)了一個(gè)視觸覺增強(qiáng)現(xiàn)實(shí)系統(tǒng)。

視觸覺增強(qiáng)現(xiàn)實(shí)系統(tǒng)主要是由操作者、一個(gè)力觸覺設(shè)備和增強(qiáng)現(xiàn)實(shí)環(huán)境組成，計(jì)算機(jī)將生成的虛擬環(huán)境注冊(cè)到真實(shí)場(chǎng)景中，形成虛實(shí)結(jié)合的一個(gè)增強(qiáng)現(xiàn)實(shí)環(huán)境，利用觸覺設(shè)備將觸覺融入增強(qiáng)現(xiàn)實(shí)環(huán)境，用戶可以在該場(chǎng)景下進(jìn)行觸覺交互。圖7說(shuō)明了一個(gè)視觸覺增強(qiáng)現(xiàn)實(shí)系統(tǒng)的基本框架，其中，X表示虛擬代理，S表示虛擬對(duì)象，F(xiàn)d表示計(jì)算的反饋力，F(xiàn)Y表示反饋給用戶的力。

圖7 視觸覺增強(qiáng)現(xiàn)實(shí)系統(tǒng)框架

首先采用張正友的棋盤標(biāo)定法對(duì)攝像頭進(jìn)行標(biāo)定，然后根據(jù)ARToolkit的工作流程，將虛擬對(duì)象和觸覺虛擬代理同時(shí)注冊(cè)到真實(shí)場(chǎng)景中。最后對(duì)觸覺環(huán)境進(jìn)行渲染，實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)環(huán)境下的視觸覺融合。用戶能夠在此環(huán)境下與虛擬對(duì)象進(jìn)行觸覺交互。實(shí)驗(yàn)場(chǎng)景圖如圖8所示。

圖8 實(shí)驗(yàn)場(chǎng)景圖

本文算法與其他算法的對(duì)比如表1所示。本文算法采用的是非共定位的視觸覺融合方法，與共址定位的方法相比，所需的外部設(shè)備比較簡(jiǎn)單，僅需要一個(gè)攝像頭即可。使用基于視覺的方法對(duì)虛擬物體進(jìn)行注冊(cè)，比基于模型的方法更加快速。與Huang的方法相比，增加了對(duì)虛擬對(duì)象的控制。與Aleotti的方法相比，沒有對(duì)虛擬物體間的位置進(jìn)行遮擋處理。

3.3 實(shí)驗(yàn)結(jié)果

圖9顯示了校準(zhǔn)和注冊(cè)后的示例環(huán)境。從攝像頭收集的圖像顯示了虛擬對(duì)象與虛擬代理同時(shí)注冊(cè)到現(xiàn)實(shí)環(huán)境中。其中藍(lán)色的錐形光標(biāo)表示觸覺虛擬代理，虛擬代理顯示的方向與真實(shí)環(huán)境中觸覺設(shè)備探針的方向保持一致。

表1 算法對(duì)比

圖9 視觸覺增強(qiáng)現(xiàn)實(shí)結(jié)果圖

給虛擬對(duì)象賦予觸覺的材質(zhì)屬性，設(shè)置虛擬對(duì)象的剛度、阻尼等。當(dāng)用戶手持觸覺設(shè)備的探針，用虛擬代理接觸虛擬對(duì)象時(shí)，只能觸碰到虛擬對(duì)象的表面，不能穿透虛擬對(duì)象。如圖10所示。

圖10 賦予虛擬對(duì)象材料屬性

當(dāng)虛擬光標(biāo)與虛擬對(duì)象發(fā)生碰撞時(shí)，用戶按下觸控筆上的按鈕，虛擬代理會(huì)附著在虛擬對(duì)象上，用戶操控觸覺設(shè)備的探針可以實(shí)現(xiàn)對(duì)虛擬對(duì)象的平移和旋轉(zhuǎn)，如圖11所示。

圖11 與虛擬對(duì)象的交互

由于標(biāo)識(shí)在真實(shí)場(chǎng)景中會(huì)帶來(lái)視覺障礙，影響用戶的沉浸感及真實(shí)感，對(duì)系統(tǒng)進(jìn)行改進(jìn)，在標(biāo)識(shí)移除后仍然能夠顯示虛擬物體并與之進(jìn)行交互。如圖12所示。

圖12 標(biāo)識(shí)移除后的場(chǎng)景圖

本文設(shè)計(jì)了一個(gè)組裝機(jī)器人的項(xiàng)目，該游戲體現(xiàn)了視觸覺融合的優(yōu)勢(shì)。在真實(shí)場(chǎng)景中注冊(cè)機(jī)器人的各個(gè)組成零件，給定機(jī)器人的效果圖，用戶手持探針抓取機(jī)器人的零件并按照效果圖進(jìn)行組裝。用戶在手持探針的過(guò)程中可以感受到觸覺設(shè)備持續(xù)提供的力。組裝機(jī)器人的界面如圖13所示。

圖13 組裝機(jī)器人項(xiàng)目

4 結(jié)束語(yǔ)

近年來(lái)，多感官交互在增強(qiáng)現(xiàn)實(shí)領(lǐng)域的研究越來(lái)越受研究者的重視。傳統(tǒng)的觸覺交互研究大多應(yīng)用在虛擬環(huán)境中，為了滿足用戶在真實(shí)環(huán)境中與虛擬物體之間的觸覺交互，提出了視觸覺增強(qiáng)現(xiàn)實(shí)三維注冊(cè)方法。為了使視觸覺增強(qiáng)現(xiàn)實(shí)環(huán)境更加準(zhǔn)確以及穩(wěn)定，需要保證視覺、觸覺的空間位置保持一致，將觸覺設(shè)備空間、標(biāo)識(shí)、攝像頭以及屏幕這四個(gè)坐標(biāo)系進(jìn)行配準(zhǔn)，協(xié)調(diào)好攝像頭、觸覺設(shè)備空間、標(biāo)識(shí)和屏幕坐標(biāo)之間的位置關(guān)系。將虛擬物體注冊(cè)到真實(shí)環(huán)境中，使虛擬對(duì)象更加貼合真實(shí)環(huán)境，加入觸覺感知，觸覺設(shè)備給用戶提供反饋力，使用戶體驗(yàn)更加真實(shí)，從而驗(yàn)證視觸覺增強(qiáng)現(xiàn)實(shí)系統(tǒng)的可行性。