面向高精度手工操作的增強(qiáng)現(xiàn)實(shí)指令設(shè)計(jì)

王卓,白曉亮*,,郭健,謝饒生,任志偉

(1. 西北工業(yè)大學(xué) 機(jī)電學(xué)院,西安 710072; 2. 北京空天技術(shù)研究所,北京 100074)

本文討論了如何利用AR指令來(lái)表示微操作,以提高手工操作的精度。增強(qiáng)現(xiàn)實(shí)(Augmented reality, AR)[1]是一種人機(jī)交互技術(shù),它利用計(jì)算機(jī)生成的視覺(jué)信息(即AR指令)覆蓋人類(lèi)的自然視覺(jué)感知。AR指令是指在AR界面上顯示的所有虛擬信息,如二維圖標(biāo)、文本、零部件三維模型、操作動(dòng)畫(huà)等,基于AR的手工裝配是AR技術(shù)的主要應(yīng)用之一。用戶手工操作的精度由AR指令控制。在這項(xiàng)工作中,特別關(guān)注的是AR指令對(duì)于裝配精度的描述能力,它使用一種面向用戶認(rèn)知的微操作視覺(jué)表達(dá)將幫助從熟練的用戶轉(zhuǎn)移到新手。以往的研究只討論AR指令對(duì)于裝配任務(wù)的一般性引導(dǎo),而回避了AR指令在引導(dǎo)手工操作精度方面的不足。因此,AR指令影響手工微操作精度的因素目前仍不清楚。

縱觀現(xiàn)有的AR指令可視化研究,影響AR指令對(duì)于手工操作的描述能力的因素有兩個(gè):引導(dǎo)方法的形象性和指令內(nèi)容的直觀性。指令內(nèi)容的具體性是指AR指令對(duì)于手工操作過(guò)程的描述性能。對(duì)于精度操作而言,如何把不易表達(dá)的微觀信息以具體的形式展示給用戶是認(rèn)知操作的直觀性主要關(guān)注的問(wèn)題。以往的AR指令設(shè)計(jì)中考慮了指令內(nèi)容的具體性。Oda等[2]將上下缸體的對(duì)接過(guò)程解釋為三條可控的顏色編碼線,以顯示兩者之間的孔位對(duì)應(yīng)關(guān)系。Radkowski等[3]將孔軸配合關(guān)系解釋為一組特定的圖形信息,以強(qiáng)化用戶對(duì)于該項(xiàng)微操作物理任務(wù)的理解。Tang等[4]將用戶的關(guān)節(jié)位置和角度描述了一種可控的扇形引導(dǎo),它很好地控制了用戶的手部運(yùn)動(dòng)精度。上述研究表明,盡管AR指令是一種很有前途的輔助工具,但仍有許多創(chuàng)新機(jī)會(huì)來(lái)克服其在精度操作引導(dǎo)方面的局限性。本研究旨在探討上述兩種因素對(duì)于AR指令表達(dá)效果的影響,從而提升指令對(duì)于高精度手工過(guò)程的描述能力。

1 基于AR的操作精度可視化

1.1 T-AR與M-AR

在AR領(lǐng)域中,傳統(tǒng)的指令可視化設(shè)計(jì)是指利用AR指令對(duì)用戶進(jìn)行中低精度引導(dǎo)的方法。目前80%以上的AR應(yīng)用均屬于此類(lèi),它們廣泛地應(yīng)用于裝配設(shè)計(jì)與規(guī)劃、裝配訓(xùn)練、裝配引導(dǎo)[5]等多個(gè)領(lǐng)域。傳統(tǒng)AR指令(Traditional AR;T-AR)是指利用二維圖形、文字、圖像、三維模型、動(dòng)畫(huà)等描述物理任務(wù)中涉及的零件狀態(tài)、裝配關(guān)系、裝配工藝等信息的一種視覺(jué)表達(dá)。MicroAR指令(Micro AR; M-AR)是傳統(tǒng)AR指令衍生的一種方法,它是指利用傳統(tǒng)AR指令的視覺(jué)元素描述高精度物理任務(wù)中設(shè)計(jì)的零件狀態(tài)、裝配關(guān)系、裝配工藝等信息的一種視覺(jué)表達(dá)。表1比較了兩類(lèi)指令在AR裝配方面的不同之處。

表1 T-AR與M-AR的比較

前述2種屬性是M-AR相比于T-AR的優(yōu)勢(shì)所在。然而,目前仍然有2個(gè)問(wèn)題阻礙了M-AR在手工裝配領(lǐng)域的發(fā)展。首先, AR指令無(wú)法對(duì)涉及手工裝配精度的任務(wù)進(jìn)行導(dǎo)航[8]。以往的AR指令利用AR動(dòng)畫(huà)向用戶展示手工裝配的操作細(xì)節(jié),然而這些動(dòng)畫(huà)信息只能表達(dá)物理任務(wù)的輪廓性信息,無(wú)法對(duì)物理任務(wù)中涉及的操作細(xì)節(jié)進(jìn)行實(shí)時(shí)引導(dǎo)。這限制了M-AR在手工精度操作中的應(yīng)用。其次, AR指令無(wú)法合理地表達(dá)手工操作精度[9-10]。現(xiàn)有的AR指令暫無(wú)展示裝配引導(dǎo)精度的能力,這很可能是限制M-AR在手工操作中廣泛應(yīng)用的首要原因。

1.2 面向操作精度的可視化設(shè)計(jì)

如圖1所示,通過(guò)設(shè)計(jì)一個(gè)安裝精密接插件的手工裝配任務(wù)。接插件與插座之間的精密安裝關(guān)系主要是通過(guò)如下3種AR指令設(shè)計(jì)來(lái)表達(dá)，如圖2所示。

圖1 手工精度裝配任務(wù)

圖2 M-AR指令的可視化設(shè)計(jì)

1) 第一種AR指令利用視覺(jué)信息表達(dá)邏輯約束信息。邏輯約束是用戶認(rèn)知與精度裝配在信息層次上的有機(jī)結(jié)合,將其接插件的針腳與插座的針孔之間的裝配關(guān)系轉(zhuǎn)化為2個(gè)十字標(biāo)識(shí)之間的距離約束。如圖2a)所示,視覺(jué)信息包括原位十字標(biāo)識(shí)、可控十字標(biāo)識(shí)、導(dǎo)航路徑、精度數(shù)值等視覺(jué)表示。

2) 第二種AR指令在第一種AR指令的基礎(chǔ)上添加了反映指令內(nèi)容的直觀性的視覺(jué)元素。如圖2b)所示,通過(guò)一個(gè)局部放大窗口來(lái)表達(dá)2個(gè)十字標(biāo)識(shí)之間的距離約束。其中,紅色十字標(biāo)識(shí)表示接插件的當(dāng)前位置,而綠色十字標(biāo)識(shí)表示插座的當(dāng)前位置。當(dāng)執(zhí)行手工精度裝配時(shí),2個(gè)十字標(biāo)識(shí)會(huì)靠的很近,此時(shí)局部放大窗口會(huì)將用戶以往無(wú)法看到的細(xì)節(jié)呈現(xiàn)出來(lái),以幫助用戶對(duì)接插件完成手工微調(diào)。

3) 第三種AR指令在第一種AR指令的基礎(chǔ)上添加了反映引導(dǎo)方法的形象性的視覺(jué)元素。如圖5所示,精度數(shù)值被轉(zhuǎn)化為一個(gè)邏輯值來(lái)表達(dá)2個(gè)十字標(biāo)識(shí)之間的準(zhǔn)確程度。其中,紅色“×”標(biāo)識(shí)表示兩者之間的距離約束關(guān)系不滿足精度要求,而綠色“√”標(biāo)識(shí)表示兩者之間的距離約束關(guān)系滿足精度要求。當(dāng)執(zhí)行手工精度裝配時(shí),2個(gè)標(biāo)識(shí)會(huì)依據(jù)手工操作的情況而實(shí)時(shí)的發(fā)生變化,用戶需要根據(jù)標(biāo)識(shí)的狀態(tài)來(lái)調(diào)整自己的手工操作方向。

2 系統(tǒng)設(shè)計(jì)與試驗(yàn)分析

2.1 系統(tǒng)設(shè)計(jì)

基于AR的精度裝配引導(dǎo)系統(tǒng)架構(gòu)如圖3所示。

圖3 基于AR的精度裝配引導(dǎo)系統(tǒng)

2.2 試驗(yàn)分析

在一個(gè)房間里放置了一個(gè)試驗(yàn)臺(tái),一邊有1個(gè)方形接插件,另一邊有一個(gè)圓柱形插座。方形接插件塞長(zhǎng)約1 500 mm,寬1 500 mm,高1 500 mm。插座的直徑約為3 300 mm,深度為2 800 mm。用戶將根據(jù)一臺(tái)投影儀提供的AR指令完成手工操作。

2.2.1 試驗(yàn)安排

擁有工學(xué)專(zhuān)業(yè)背景的25名機(jī)械專(zhuān)業(yè)的學(xué)生被邀請(qǐng)來(lái)參與這項(xiàng)研究。在試驗(yàn)開(kāi)始前,他們被告知,每一種AR指令都對(duì)應(yīng)于當(dāng)前接插件的安裝狀態(tài),他們的目標(biāo)是盡可能高效地完成該任務(wù),同時(shí)花費(fèi)盡可能多的時(shí)間來(lái)感覺(jué)所提供的指令被完全理解。此外,使用計(jì)時(shí)器記錄每個(gè)參與者完成每個(gè)任務(wù)所需的時(shí)間。此外,參與者還被要求完成一份調(diào)查問(wèn)卷,在調(diào)查問(wèn)卷中詢(xún)問(wèn)他們?cè)谕瓿裳芯壳昂髮?duì)任務(wù)的信心。此外,7點(diǎn)Likert量表(表2)[11]被用來(lái)記錄統(tǒng)計(jì)數(shù)據(jù)的置信水平。圖4所示為3種情況下的可視化接口。

表2 7點(diǎn)Likert量表問(wèn)卷

圖4 AR指令的可視化接口

2.2.2 試驗(yàn)結(jié)果

1) 任務(wù)時(shí)間

由統(tǒng)計(jì)數(shù)據(jù)可知,3類(lèi)可視化指令在裝配時(shí)間方面存在統(tǒng)計(jì)學(xué)意義上的顯著性差異,即后2種所設(shè)計(jì)的指令大幅度縮短了任務(wù)時(shí)間。在這些接口中,第三種時(shí)間最短,第一種時(shí)間最長(zhǎng)。

2) 用戶體驗(yàn)

此外,Cronbach′s alpha表明,Likert項(xiàng)之間的內(nèi)部一致性良好(α=0.804),排除了對(duì)可靠性有顯著影響的每個(gè)項(xiàng)(α從0.708 到0.804)。為了對(duì)利克特量表的結(jié)果進(jìn)行因子分析,采用弗里德曼檢驗(yàn)(α=0.05)來(lái)觀察2類(lèi)可視化指令在8個(gè)問(wèn)題上的排名是否有顯著差異。

結(jié)果顯示,參與者在所有項(xiàng)目上均顯著差異(Q1:χ2(2)=22.917,p=.008; Q2:χ2(2)=21.147,p=.009; Q3:χ2(2)=20.113,p=.004; Q4:χ2(2)=19.001,p<.001; Q5:χ2(2)=18.014,p=.002; Q6:χ2(2)=21.008, p<.001; Q7:χ2(2)=14.667,p<.001; Q8:χ2(2)=11.461,p<.001)。這表明,3個(gè)接口從上述多個(gè)方面影響了參與者的評(píng)分,也影響了參與者對(duì)視覺(jué)信息的感知質(zhì)量(Q1:享受,Q2:專(zhuān)注,Q3:自信,Q4:自然直觀,Q5:可行性,Q6:感覺(jué)高效,Q7:可用性,Q8:可理解性)。此外,每個(gè)項(xiàng)目的評(píng)分結(jié)果也被進(jìn)一步分析。在大多數(shù)情況下,第一類(lèi)AR指令的評(píng)級(jí)是最低的,第二種介于兩者之間,第三種AR指令的得分在大多數(shù)情況下是最高的。隨后,使用帶Wilcoxon符號(hào)的秩檢驗(yàn)和Bonferroni校正(α=.0167)對(duì)兩者進(jìn)行了成對(duì)比較。

秩檢驗(yàn)結(jié)果如表3所示,第一種的評(píng)分明顯低于第二種、第三種。而第二種在問(wèn)題1和問(wèn)題3上同第三種并沒(méi)有統(tǒng)計(jì)學(xué)意義上的差異。

表3 Wilcoxon評(píng)分問(wèn)題的秩檢驗(yàn)結(jié)果

2.2.3 試驗(yàn)討論

由任務(wù)時(shí)間的數(shù)據(jù)可知,后兩種AR指令比第一種AR指令提高了用戶的裝配效率。這表明,參與者這在精度裝配中更加偏愛(ài)于使經(jīng)過(guò)改進(jìn)的AR指令,因?yàn)樗鼈儗⑹止ぞ纫?guī)則很好地呈現(xiàn)了給了用戶。問(wèn)卷結(jié)果表明,后兩種AR指令比第一種指令在用戶體驗(yàn)相關(guān)問(wèn)題的回答有更顯著的影響,這從排名問(wèn)題中的Q1(享受)、Q2(專(zhuān)注)、Q3(自信)、Q4(自然直觀)可知。這證明了考慮2種因素的AR指令確實(shí)比第一種指令有更好的操作體驗(yàn)。此外,根據(jù)數(shù)據(jù),后兩種AR指令比第一種指令在輔助用戶相關(guān)問(wèn)題的回答有更顯著的影響,包括Q5(可行性)、Q6(有效性)、Q7(可用性)和Q8(可理解性)。這表明,考慮2種因素的AR指令能夠使用戶更好地掌握任務(wù)的核心內(nèi)容,了解當(dāng)前進(jìn)展。值得一提的是,第二種指令在用戶視覺(jué)體驗(yàn)性、意圖確信性這兩個(gè)方面并不優(yōu)于第三種指令,這表明,形象性和直觀性這2個(gè)因素不能評(píng)價(jià)這2個(gè)方面。

3 結(jié)論

本文針對(duì)手工精度裝配中裝配效率不高、用戶理解易出錯(cuò)等難題,在以往AR指令可視化設(shè)計(jì)的基礎(chǔ)上,提出了一種基于增強(qiáng)現(xiàn)實(shí)的新型裝配指令可視化設(shè)計(jì)。首先,給出了用于分析評(píng)價(jià)因素的可視化設(shè)計(jì)。而后,設(shè)計(jì)并實(shí)施了基于增強(qiáng)現(xiàn)實(shí)的裝配引導(dǎo)實(shí)驗(yàn),比較了3種測(cè)試指令在裝配時(shí)間、操作經(jīng)驗(yàn)方面的用戶性能。試驗(yàn)結(jié)果表明本文方法將引導(dǎo)方法的形象性、指令內(nèi)容的直觀性作為指令設(shè)計(jì)因素,能顯著提高精度裝配效率與用戶操作體驗(yàn)。