虛擬環(huán)境下的多維視覺幾何匹配方法研究

張 華,徐 亮，劉滿祿,2,張 靜,2 ，王 姮,張興宇

(1.西南科技大學(xué)信息工程學(xué)院，四川 綿陽 621010；2.中國科學(xué)技術(shù)大學(xué)信息科學(xué)技術(shù)學(xué)院，安徽 合肥 230026)

0 引言

虛擬裝配技術(shù)是常用的工程技能訓(xùn)練技術(shù)之一。在工業(yè)生產(chǎn)過程中，新員工的裝配技能訓(xùn)練需要消耗大量的工時(shí)。而虛擬裝配正是解決該類問題的有效途徑[1-5]。目前，虛擬裝配系統(tǒng)存在的問題有：①虛擬感知信息不足，操作者極易疲勞；②操作臨場感不強(qiáng)；③復(fù)雜操作環(huán)境中，操作對象視覺受限，致使操作效率降低。

針對上述問題，王念東等人提出了虛擬現(xiàn)實(shí)(virtual reality，VR)集成裝配系統(tǒng)，系統(tǒng)復(fù)雜，成本較高，不利于實(shí)現(xiàn)[6]。沈佳中等人提出了力覺虛擬裝配系統(tǒng)，盡管操作效率有所提升，但操作視覺較為單一，裝配中一旦有物體遮擋，操作者不能及時(shí)感知，極容易發(fā)生碰撞現(xiàn)象[7]。盧麗婷等人提出了單點(diǎn)式力反饋器的虛擬裝配[8]，通過力覺反饋技術(shù)，操作者可感受到操作對象外形，優(yōu)化了裝配性能，但仍未彌補(bǔ)視覺信息缺陷。

基于此，本文提出了一種多視角輔助虛擬裝配方法。根據(jù)虛擬空間操作任務(wù)與操作對象的復(fù)雜程度，適當(dāng)增加輔助視覺維數(shù)。通過增加操作視角，操作者在操作過程中可同時(shí)看到各個(gè)輔助視覺窗口信息，并實(shí)時(shí)修正裝配過程中出現(xiàn)的偏差，以此降低操作難度。

1 虛擬裝配系統(tǒng)

虛擬裝配系統(tǒng)的主端為力反饋裝置，從端為虛擬裝配環(huán)境。通過主從端之間的空間匹配關(guān)系，將操作主端的末點(diǎn)工具坐標(biāo)點(diǎn)映射至虛擬環(huán)境中，形成代理點(diǎn)。操作者通過操作主端，實(shí)現(xiàn)對從端虛代理點(diǎn)的位置和姿態(tài)控制。當(dāng)代理點(diǎn)影射至操作對象時(shí)，操作對象位置與姿態(tài)會(huì)隨代理點(diǎn)的變化而變化，實(shí)現(xiàn)對裝配對象的運(yùn)動(dòng)控制。系統(tǒng)框圖如圖1所示。

圖1 系統(tǒng)框圖 Fig.1 Block diagram of the system

2 視角空間匹配

2.1 視覺維數(shù)關(guān)系

虛擬裝配系統(tǒng)作為訓(xùn)練平臺(tái)，當(dāng)系統(tǒng)視角過多，系統(tǒng)顯得極其復(fù)雜，操作人員無法同時(shí)顧及過多的視角信息；當(dāng)視角太少，模擬訓(xùn)練裝配效率太低，操作者極易操作疲勞。因此，視角維數(shù)是判斷虛擬裝配系統(tǒng)好壞的關(guān)鍵。人的視野維數(shù)與裝配復(fù)雜度有著密切關(guān)系。視野維數(shù)由視野中的位置因素和視線因素所決定[9-10]。

2.2 空間關(guān)系匹配

在虛擬裝配系統(tǒng)中，虛擬工作空間的視覺錐體需要與實(shí)體工作空間進(jìn)行映射匹配，確保操作者有良好的視覺角度。Geomagic Touch設(shè)備工作空間[11]為扇形體，虛擬空間與之匹配時(shí)，為確保不出現(xiàn)盲區(qū)，需要將視椎體映射至操作空間中[12-14]。傳統(tǒng)裝配系統(tǒng)一般只有一個(gè)窗口?，F(xiàn)對系統(tǒng)進(jìn)行改進(jìn)，分別添加主視角、俯視角和左視角作為輔助窗口。在三維坐標(biāo)中，需要設(shè)定其中一個(gè)軸向比例，其余方向比例依據(jù)映射計(jì)算得到[15]。

2.2.1 主視角關(guān)系映射

在主視圖空間匹配中，視錐體與視覺角度相反。當(dāng)Z軸方向比例固定后，需根據(jù)X軸和Y軸的映射關(guān)系，求解出主視圖視椎體在操作空間對應(yīng)的比例系數(shù)，完成視錐體在操作空間中的匹配。主視角X軸方向映射關(guān)系如圖2所示。

圖2 主視角X軸方向映射關(guān)系圖 Fig.2 Mapping relation of the X-axis direction of the main viewing angle

在XOZ平面中：l1和l2分別為映射區(qū)前端和后端平面長；β為視錐體寬度方向視覺半角；L1和L2為視錐體遠(yuǎn)平面和近平面寬；dz為映射代理點(diǎn)沿Z軸方向微小距離。幾何關(guān)系為：

(1)

(2)

(3)

由式(1)～式(3)可得主視角X軸方向的比例系數(shù)：

(4)

主視角Y軸方向映射關(guān)系如圖3所示。

圖3 主視角Y軸方向映射關(guān)系圖 Fig.3 Mapping relation of the Y-axis direction of the main viewing angle

在YOZ平面中：s為工作空間映射區(qū)的高；γ為高度方向視覺半角；h1和h2為視錐體近端和遠(yuǎn)端裁剪面高。

映射幾何關(guān)系為：

(5)

(6)

由式(5)～式(7)可得主視角Y軸方向的比例系數(shù)：

(7)

當(dāng)kzx和kzy系數(shù)確定后，則完成了主視圖的視錐體與操作空間的映射匹配。

2.2.2 俯視角關(guān)系映射

在俯視圖匹配中，當(dāng)Y軸比例關(guān)系確定時(shí)，需通過求解出Z軸和X軸的對應(yīng)比例關(guān)系，完成左視圖的視錐體與操作空間的匹配。俯視角Z軸方向映射關(guān)系如圖4所示。

圖4 俯視角Z軸方向映射關(guān)系圖 Fig.4 Mapping relation of the Z-axis direction of the top viewing angle

在XOZ平面中：v為設(shè)備工作空間映射區(qū)的長度，β為長度方向視角視覺半角；L1和L2為視錐體近裁剪面和遠(yuǎn)裁剪面長度。映射幾何關(guān)系為：

(8)

(9)

由式(8)和式(9)可得俯視角Z軸方向的比例系數(shù) ：

(10)

俯視角X軸方向映射關(guān)系如圖5所示。

圖5 俯視角X軸方向映射關(guān)系圖 Fig.5 Mapping relation of the X-axis direction of the top viewing angle

在XOY平面中：f為設(shè)備工作空間映射區(qū)的寬度；γ為寬度方向視角半角；n1和n2為視錐體近裁剪面和遠(yuǎn)裁剪面寬度。幾何關(guān)系為：

(11)

(12)

由式(11)和式(12)可得俯視角X軸方向的比例系數(shù):

(13)

2.2.3 左視角關(guān)系映射

在俯視圖匹配中，X軸方向比例固定后，只需映射Y和Z軸的對應(yīng)比例關(guān)系，即可求出視椎體在操作空間的關(guān)系。左視角Y軸方向映射關(guān)系如圖6所示。

圖6 左視角Y軸方向映射關(guān)系圖 Fig.6 Mapping relation of the Y-axis direction of the left viewing angle

在XOY平面中：w1和w2為映射區(qū)前端和后端平面的長；β為視錐體長度方向的視角半角；L1和L2為視錐體近裁剪平面和遠(yuǎn)裁剪平面寬；dx為沿X軸方向位移。幾何關(guān)系為：

(14)

(15)

(16)

由式(14)～式(16)可得左視角Y方向的映射比例系數(shù)：

(17)

左視角Z軸方向映射關(guān)系如圖7所示。

在XOZ平面中：P為設(shè)備工作空間映射區(qū)的高；γ為高度方向的半視角；n1和n2為視錐體近裁剪面高和遠(yuǎn)裁剪寬。幾何關(guān)系為：

圖7 左視角Z軸方向映射關(guān)系圖 Fig.7 Mapping relation of the Z-axis direction of the left viewing angle

(18)

(19)

由式(18)和式(19)得左視角Z軸方向的映射比例系數(shù)：

(20)

3 力覺計(jì)算

在虛擬裝配系統(tǒng)中，代理點(diǎn)與虛擬物體接觸時(shí)產(chǎn)生虛擬力覺，計(jì)算機(jī)將力覺信息實(shí)時(shí)反饋至操作主端，操作者可感受到從端虛擬力。根據(jù)力覺信息和輔助窗口，操作者操作主端完成虛擬物體的拾取、移動(dòng)、旋轉(zhuǎn)、釋放等操作功能。在虛擬空間中，力覺產(chǎn)生的大小和方向與代理點(diǎn)和物體接觸的穿透深度和接觸位置有關(guān)。當(dāng)代理點(diǎn)穿入物體深度越大，產(chǎn)生力覺效果也就越明顯。

4 試驗(yàn)仿真與結(jié)果分析

為驗(yàn)證改進(jìn)后裝配系統(tǒng)的視覺效果和交互性能，采用力反饋設(shè)備與OpenGL圖形庫構(gòu)建虛擬仿真環(huán)境，計(jì)算機(jī)硬件環(huán)境為CPU酷睿i5-4590,3.30 GHz，顯卡為GTX960-4 GB。裝配模型為3Dmax 2015繪制，保存后綴為3DS文件供系統(tǒng)調(diào)用。選取了10名用戶，對傳統(tǒng)裝配系統(tǒng)和有輔助視覺系統(tǒng)進(jìn)行5次虛擬裝配訓(xùn)練試驗(yàn)。

試驗(yàn)完成后，用戶從視覺感知性能和操作性能，分別對兩種系統(tǒng)進(jìn)行評價(jià)并給出分?jǐn)?shù)，用戶評價(jià)分?jǐn)?shù)滿分為10分。平均分結(jié)果如表1所示。

表1 平均分結(jié)果Tab.1 Average result

由表1可以看出，具有輔助多維視覺虛擬裝配操作系統(tǒng)的性能要優(yōu)于傳統(tǒng)虛擬裝配系統(tǒng)，尤其是視覺顯示與沉浸感有了較明顯的提高。

分別記錄每位用戶在兩種系統(tǒng)下完成5次虛擬裝配時(shí)間，用戶完成任務(wù)時(shí)間如表2所示。

表2 用戶完成任務(wù)時(shí)間Tab.2 User completion task time s

由表2可以看出,較未改進(jìn)的單一窗口裝配系統(tǒng)，具有輔助多維視覺虛擬裝配操作系統(tǒng)的操作耗時(shí)間明顯縮短，最低可達(dá)37.0%，最高可達(dá)53.7%，表明多維視覺能夠解決視覺信息反饋不足的問題。試驗(yàn)過程中，對操作時(shí)間求取平均值，從而避免試驗(yàn)數(shù)據(jù)的偶然性。同時(shí)，10名用戶在相同的操作環(huán)境下的操作時(shí)間和相對節(jié)約時(shí)間不盡相同，這是由每個(gè)用戶在操作過程中學(xué)習(xí)的熟練程度不一樣所致。在多維視覺輔助下，系統(tǒng)的操作效率高。

5 結(jié)束語

本文著重研究了基于力反饋設(shè)備的虛擬裝配系統(tǒng)中輔助視覺實(shí)現(xiàn)方法，提出了多維視錐體與操作空間匹配的幾何方法，并設(shè)計(jì)了多維視覺輔助裝配系統(tǒng)。引入的多維輔助視角實(shí)現(xiàn)虛擬裝配輔助功能，解決了傳統(tǒng)虛擬訓(xùn)練系統(tǒng)在裝配過程中的視覺信息反饋不足的問題。

多名用戶在單一視覺裝配系統(tǒng)和多維視覺輔助裝配系統(tǒng)分別完成了試驗(yàn)。試驗(yàn)結(jié)果表明，所設(shè)計(jì)的多維視角輔助訓(xùn)練裝配系統(tǒng)較傳統(tǒng)單一視角裝配系統(tǒng)而言，能夠解決視覺信息反饋不足的問題，有效降低了訓(xùn)練者的操作難度，提高了訓(xùn)練者的操作效率，增強(qiáng)了系統(tǒng)交互性能。試驗(yàn)證明了多維視覺虛擬裝配操作系統(tǒng)的有效性、可行性。在下一步的研究工作中，應(yīng)進(jìn)一步優(yōu)化視覺匹配方法，盡量避免繁雜的幾何運(yùn)算，實(shí)現(xiàn)多維視覺系統(tǒng)快速的匹配。

參考文獻(xiàn):

[1] 王純祥,孫文磊,趙群,等. 面向虛擬現(xiàn)實(shí)技術(shù)的風(fēng)機(jī)裝配與風(fēng)場模擬[J]. 自動(dòng)化儀表,2012(10):56-58.

[2] 張曉朋. 虛擬儀器技術(shù)在智能家居監(jiān)控系統(tǒng)中的應(yīng)用與設(shè)計(jì)[J]. 自動(dòng)化儀表,2016(10):86-88.

[3] 覃亮，鄧德茹，馬麗欣，等. 虛擬裝配技術(shù)在化工仿真培訓(xùn)系統(tǒng)中的應(yīng)用研究[J]. 計(jì)算機(jī)與應(yīng)用化學(xué),2016(5):543-547.

[4] 羅仕鑒，龔蓉蓉，朱上上．面向用戶體驗(yàn)的手持移動(dòng)設(shè)備軟件界面設(shè)計(jì)[J]．計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2010,22(6):1033-1041.

[5] 王發(fā)麟，廖文和，郭宇，等. 線纜虛擬裝配關(guān)鍵技術(shù)研究現(xiàn)狀及其發(fā)展[J]. 中國機(jī)械工程,2016(6):839-851.

[6] 王念東,劉毅.面向虛擬裝配的VR與CAD系統(tǒng)信息集成技術(shù)[J].機(jī)械科學(xué)與技術(shù),2009,28(1):25-28.

[7] 潘仁宇，孫長樂，熊偉，等.虛擬裝配環(huán)境中碰撞檢測算法的研究綜述與展望[J].計(jì)算機(jī)科學(xué),2016,11(43):136-149.

[8] 盧麗婷，劉林.基于單點(diǎn)式力反饋器的虛擬裝配研究[J].圖學(xué)學(xué)報(bào)，2014,35(2):280-284.

[9] ATSUKO E,NORIAKI Y,TASUYA S.Automatic estimation of the ergonomisc sparameters of assemble operations [J]. CIRP Annals Manufacturing Technology,2013,62(1):13-16.

[10]戶艷，邵曉東，高巍.考慮人的因素的虛擬裝配引導(dǎo)方法[J].計(jì)算機(jī)集成制造系統(tǒng),2016,22(3):695-704.

[11]岳龍旺,王樹新,贠今天.顯微外科手術(shù)機(jī)器人協(xié)同工作空間分析[J].中國機(jī)械工程,2005,16(20):1851-1855.

[12]熊巍，王清輝，李靜蓉.面向虛擬裝配的層次化交互手勢技術(shù)[J].華南理工大學(xué)學(xué)報(bào),2016,44(1):78-84.

[13]XIA P,LOPES A,RESTIVO M.Design and implementation of ahaptic-based virtual assembly system[J].Assembly Automation,2011,31(4):369-384.

[14]吳亞峰，于復(fù)興.Unity3D游戲開發(fā)技術(shù)詳解與典型案例[M].北京：人民郵電出版社,2012:158-160.

[15]BRUNO F,ANGILICA A,COSCO F,et al.Reliable behaviour simulation of product interface in mixed reality [J].Engineering with Computers,2013,29(3):375-383.