基于Unity3D煤礦鉆機(jī)虛擬裝配培訓(xùn)系統(tǒng)開發(fā)

陳果，劉桂芹

基于Unity3D煤礦鉆機(jī)虛擬裝配培訓(xùn)系統(tǒng)開發(fā)

陳果，劉桂芹

（中煤科工集團(tuán)西安研究院有限公司，西安 710077）

改善當(dāng)前煤礦鉆機(jī)裝配培訓(xùn)可視化程度不高，培訓(xùn)質(zhì)量偏低的現(xiàn)狀。結(jié)合UG與3ds max三維動畫軟件各自建模優(yōu)勢，探討了三維模型重構(gòu)和烘焙紋理貼圖的處理方法，搭建模型結(jié)構(gòu)樹，采用C#語言編寫實(shí)現(xiàn)裝配系統(tǒng)的核心腳本，研究相關(guān)裝配動畫軌跡控制，設(shè)計(jì)不同的系統(tǒng)UI界面方案，并通過坐標(biāo)法和平均法對方案獲得不同受眾的權(quán)重評分進(jìn)行計(jì)算得到最優(yōu)方案。基于Unity3D虛擬引擎平臺，開發(fā)并實(shí)現(xiàn)了一套以第一人稱視角進(jìn)行的煤礦鉆機(jī)虛擬裝配培訓(xùn)系統(tǒng)。采用HTC VIVE Pro外接式頭戴設(shè)備對接系統(tǒng)調(diào)試運(yùn)行和最終發(fā)布，實(shí)現(xiàn)人機(jī)交互操作。虛擬裝配培訓(xùn)系統(tǒng)展現(xiàn)了完整的裝配流程，通過友好的人機(jī)交互給予受訓(xùn)人員新穎生動的教學(xué)體驗(yàn)，初步探索虛擬現(xiàn)實(shí)技術(shù)在煤礦鉆機(jī)智能化方向與遠(yuǎn)程交互控制的融合，并對鉆機(jī)的市場推廣應(yīng)用提供了新思路。

煤礦鉆機(jī)；虛擬裝配；三維模型重構(gòu)；全景漫游；交互仿真

虛擬裝配，是虛擬現(xiàn)實(shí)技術(shù)（VR）在機(jī)械產(chǎn)品設(shè)計(jì)范疇比較典型的應(yīng)用，將傳統(tǒng)的裝配流程方法通過計(jì)算機(jī)圖形輔助設(shè)計(jì)模擬虛擬場景，結(jié)合到虛擬現(xiàn)實(shí)中。虛擬裝配技術(shù)利用三維模型配合燈光和貼圖的表現(xiàn)逼真地展現(xiàn)產(chǎn)品外觀和內(nèi)部結(jié)構(gòu)，也模擬了產(chǎn)品的裝配過程[1-3]。同步對接虛擬現(xiàn)實(shí)頭戴式顯示設(shè)備，指導(dǎo)用戶進(jìn)行交互操作，帶給用戶一種身臨其境的高沉浸感。在交互操作體驗(yàn)的同時，也在進(jìn)一步驗(yàn)證產(chǎn)品本身設(shè)計(jì)的正確性和裝配工序的設(shè)計(jì)可行性。將虛擬現(xiàn)實(shí)技術(shù)應(yīng)用于煤礦機(jī)械生產(chǎn)裝配制造過程中，更好地為生產(chǎn)服務(wù)[4]。

近年來，國外TICHON等研發(fā)了煤礦工人安全培訓(xùn)的模擬演練，在一定程度上提高工人的安全意識[5-7]。國內(nèi)有許多高校、企業(yè)單位和研究機(jī)構(gòu)也在跟進(jìn)虛擬裝配技術(shù)的發(fā)展和研究。如馮桂珍等[8]構(gòu)建了減速器虛擬拆裝試驗(yàn)，發(fā)布了可應(yīng)用于移動平臺的APP，并將其用于教學(xué)；楊壹斌等[9]實(shí)現(xiàn)了以裝備瀏覽和維修仿真為核心的桌面式虛擬維修系統(tǒng)；陳敏捷[10]搭建了基于Andriod平臺的液壓虛擬實(shí)驗(yàn)系統(tǒng)，包含有液壓元件的拆裝聯(lián)系以及液壓回路與系統(tǒng)的展示。熊巍等[11]提出視點(diǎn)運(yùn)動控制策略，實(shí)現(xiàn)大型產(chǎn)品在虛擬裝配過程中，操縱者可以實(shí)時進(jìn)行場景漫游。

由此可見，國內(nèi)外許多高校與科研院所一直在探索虛擬裝配技術(shù)的發(fā)展，搭建了相關(guān)行業(yè)產(chǎn)品虛擬裝配系統(tǒng)，并能夠驗(yàn)證產(chǎn)品設(shè)計(jì)合理性與裝配流程的可行性[12]，但在煤礦機(jī)械領(lǐng)域的探索與應(yīng)用略有不足。文中以煤礦井下定向履帶鉆機(jī)為例，根據(jù)鉆機(jī)實(shí)際裝配流程參考，依托Unity 3D引擎平臺，結(jié)合C#編程語言，構(gòu)建了煤礦鉆機(jī)虛擬裝配培訓(xùn)系統(tǒng)。針對虛擬裝配培訓(xùn)系統(tǒng)的若干問題和方法進(jìn)行驗(yàn)證和研究，如闡述工程CAD/CAM軟件設(shè)計(jì)得到的三維模型轉(zhuǎn)換成構(gòu)建虛擬裝配平臺所需要的模型的方法；運(yùn)用三維動畫軟件進(jìn)行烘焙紋理貼圖處理；通過C#編程實(shí)現(xiàn)系統(tǒng)裝配流程設(shè)計(jì)，并以此為基礎(chǔ)，建立模型結(jié)構(gòu)樹、設(shè)計(jì)相關(guān)指令UI和培訓(xùn)系統(tǒng)界面布局等。最后搭載外接式頭戴設(shè)備，將此虛擬裝配培訓(xùn)系統(tǒng)應(yīng)用到工人裝配實(shí)訓(xùn)中，為下一步鉆機(jī)VR遠(yuǎn)程設(shè)備維修和交互協(xié)同控制研究奠定基礎(chǔ)。

1 鉆機(jī)裝配部件分析與劃分

在煤礦井下定向履帶鉆機(jī)裝配生產(chǎn)線上，根據(jù)實(shí)際裝配流程劃分，鉆機(jī)可以分為7個一級裝配部件，見圖1。鉆機(jī)主要由履帶車體、油箱、電機(jī)泵組、給進(jìn)裝置、操縱臺、穩(wěn)固油缸和踏板7個裝配模塊組成。其中，每個一級裝配部件分別由多個二級裝配部件組裝而成，二級裝配部件也由更多的三級子裝配組成。鉆機(jī)在設(shè)計(jì)階段，裝配級別在五級左右，層層劃分下來，零件的數(shù)量太多，為了簡化裝配流程，能夠更貼合現(xiàn)場裝配情況，此次鉆機(jī)虛擬裝配平臺展示的裝配級別限定在二級裝配，最終得到二級裝配部件有車體平臺、油箱、冷卻器、電機(jī)、泵、油缸、夾持器、動力頭、卡盤、踏板等24個。

根據(jù)裝配流程圖，采用自左向右的流程進(jìn)行裝配。首先，進(jìn)行履帶底盤與車體平臺的裝配；其次，開始各個模塊的零部件裝配；最后，分級組裝，由簡入繁，有利于提高生產(chǎn)一線工人對整機(jī)各模塊的熟悉程度。

2 虛擬裝配培訓(xùn)系統(tǒng)搭建

2.1 系統(tǒng)架構(gòu)

系統(tǒng)搭建之初，需要確定系統(tǒng)的設(shè)計(jì)目標(biāo)、功能模塊需求和系統(tǒng)內(nèi)部流程規(guī)劃等。見圖2，鉆機(jī)虛擬裝配培訓(xùn)系統(tǒng)根據(jù)功能需求，主要分為場景漫游、裝配順序、裝配工位和裝配判斷等。構(gòu)建了逼真的車間裝配環(huán)境與鉆機(jī)模型，配合虛擬現(xiàn)實(shí)頭戴式設(shè)備，實(shí)現(xiàn)場景漫游和鉆機(jī)全景展示。在開始裝配后，按照指定裝配順序進(jìn)行零部件選取，由零件裝配到部件裝配。在裝配不同零部件的時候，選擇的裝配工位也不同。在操作時，需要選擇正確的裝配工位進(jìn)行裝配，對所裝配的零部件進(jìn)行判斷，對不正確的裝配操作給出反饋顯示并糾正。

圖2 培訓(xùn)系統(tǒng)功能

2.2 開發(fā)過程

根據(jù)確定的設(shè)計(jì)目標(biāo)和功能需求，培訓(xùn)系統(tǒng)整個開發(fā)流程可以分為前期準(zhǔn)備、中期設(shè)計(jì)、后期測試3個階段。

前期準(zhǔn)備階段，主要是對生產(chǎn)裝配車間的素材整理，包括車間主要設(shè)備的布置、裝配場景照片、主要設(shè)備工作視頻、鉆機(jī)裝配工位的工具布置等。通過整合分析收集的圖片視頻素材，運(yùn)用3ds Max動畫制作軟件搭建貼合車間實(shí)際情況的虛擬車間三維模型。

中期設(shè)計(jì)階段，首先，重構(gòu)鉆機(jī)三維模型；其次，將鉆機(jī)模型合并到廠房模型中，調(diào)整至適當(dāng)大小與位置，并對整套模型進(jìn)行貼圖以及烘焙；再次，將模型導(dǎo)出并轉(zhuǎn)換成Unity3D軟件需要的格式，導(dǎo)入U(xiǎn)nity3D引擎中進(jìn)行虛擬裝配系統(tǒng)開發(fā)；最后，結(jié)合C#編程設(shè)計(jì)，開發(fā)相關(guān)控件以及設(shè)計(jì)系統(tǒng)UI界面。

后期測試階段，針對硬件與系統(tǒng)軟件進(jìn)行對接調(diào)試。其中，硬件包括虛擬現(xiàn)實(shí)頭戴式顯示眼鏡、定位器和操作手柄，在Unity3D引擎中直接運(yùn)行測試，進(jìn)行仿真和人機(jī)交互操作[13]。針對不合適或者錯誤的裝配操作和順序進(jìn)行及時調(diào)整。經(jīng)過不斷測試調(diào)整得到比較完善的裝配系統(tǒng)，最后對裝配系統(tǒng)進(jìn)行發(fā)布。

自然選擇理論其實(shí)很簡單。最適合環(huán)境的生物存活并繁殖后代，而那些不太適合環(huán)境（不能在環(huán)境中找到食物并繁殖后代）的生物將慢慢消失。這就是自然選擇和進(jìn)化理論。

2.3 三維建模與材質(zhì)處理

參考拍攝的圖片和視頻素材，預(yù)估合適比例尺寸，在3ds Max軟件中建立場景模型。雖然實(shí)際裝配車間環(huán)境分區(qū)存放機(jī)械零部件，但是在作業(yè)過程中由于臨時堆放零件及大量工人參與裝配和吊運(yùn)作業(yè)，車間環(huán)境就會顯得有些雜亂。因此，在軟件中建立車間場景模型時，抽取關(guān)鍵重要的模型信息，省略掉大部分雜亂區(qū)域，簡化車間模型內(nèi)容，保留裝配工位的相關(guān)模型。這樣有利于減少車間三維模型的點(diǎn)線面，在后期調(diào)試過程中，也能節(jié)省占用電腦運(yùn)行內(nèi)存，為加快調(diào)試進(jìn)程提供保障。

煤礦井下履帶鉆機(jī)模型應(yīng)該嚴(yán)格按照UG軟件鉆機(jī)模型的尺寸建立。由于動畫設(shè)計(jì)軟件無法提供精準(zhǔn)的參數(shù)化建模，也不存在裝配約束關(guān)系。在3ds Max軟件中設(shè)置與場景模型相同的系統(tǒng)單位比例，統(tǒng)一設(shè)置的單位為毫米。在UG三維建模軟件中建立并裝配鉆機(jī)模型，通過轉(zhuǎn)換成STEP格式后，導(dǎo)入到3ds Max軟件中。經(jīng)過轉(zhuǎn)換后導(dǎo)入的模型會出現(xiàn)一些破面、法線反向、個別零部件缺失等問題，則需要在保證鉆機(jī)模型外觀完整性的情況下，對導(dǎo)入后的模型進(jìn)行拓?fù)浠蛘咧亟?。另外，為了能得到更少的點(diǎn)線面，降低軟件運(yùn)行壓力?？梢赃m當(dāng)刪除掉在裝配過程中視覺上不可見的零部件，例如裝配油箱時不需要展現(xiàn)油箱內(nèi)部結(jié)構(gòu)，則可以去除掉內(nèi)部一些管路和擋板。鉆機(jī)模型見圖3。

圖3 鉆機(jī)模型

按照實(shí)際尺寸比例，整合場景模型與鉆機(jī)模型后，需要在場景中添加燈光照明。在車間模型外部添加日光源作為主光源，模擬真實(shí)太陽光照效果，透過窗戶照亮車間大部分空間。除此之外，參考照片與視頻素材，在場景模型頂部設(shè)置多處點(diǎn)光源，模擬燈管作為輔助光源，補(bǔ)亮整個車間場景。主輔光源相互作用，增加場景層次感，也讓模擬實(shí)際場景效果更加逼真。

3ds Max中材質(zhì)處理主要分為展UV貼圖和烘焙2個步驟，模型展UV后，賦予模型材質(zhì)。想要得到更優(yōu)的效果，需要配合燈光設(shè)置和調(diào)整相應(yīng)參數(shù)。烘焙貼圖紋理是指調(diào)整好燈光后，將貼圖紋理配合燈光產(chǎn)生的漫反射、凹凸法線、α通道、高光等光線效果生成模型貼圖本身[14-18]。烘焙得到的紋理貼圖將會自動取代原有的材質(zhì)貼圖，保存了光照信息，在后期渲染時可以節(jié)省很多CPU資源和計(jì)算光照渲染時間，同時也能保證較為真實(shí)的質(zhì)感。烘焙生成的紋理貼圖一般采用512像素*512像素尺寸，這種尺寸是綜合了文件大小、加載速度和渲染速度之后的較優(yōu)尺寸。

3 Unity3D虛擬開發(fā)

在虛擬裝配開發(fā)之前，需要導(dǎo)入相關(guān)模型。將三維模型導(dǎo)出FBX格式，再導(dǎo)入到Unity3D引擎軟件中。FBX格式的模型是三維軟件中通用格式，能夠保持模型完整性，以及坐標(biāo)、材質(zhì)紋理、貼圖和燈光等信息，可以應(yīng)用于現(xiàn)常用主流三維軟件中。

3.1 結(jié)構(gòu)樹設(shè)計(jì)

依據(jù)鉆機(jī)裝配部件分析與模塊劃分，鉆機(jī)的一級裝配劃分為7大模塊，二級裝配劃分為24個部件。在開發(fā)虛擬裝配時，首先要對這些部件的結(jié)構(gòu)層次進(jìn)行規(guī)劃，子層級零件跟隨父層級部件裝配運(yùn)動。例如，鉆機(jī)液壓卡盤作為父層級部件，其子層級包含了傳拉盤、傳扭盤、膠筒和卡盤體等許多子部件，這些子零件相互裝配完成后，會跟隨液壓卡盤裝配在回轉(zhuǎn)器上。在每個一級裝配的顯示框中，會以九宮格縮略圖和序號標(biāo)題的方式列出其包含的子零件。按照序號標(biāo)題順序，在每個子零件裝配完成后，零件縮略圖會蓋上“完成”的紅色印章，而沒有完成的子零件裝配依然會以縮略圖的形式表示。

3.2 裝配動畫軌跡控制

模擬車間裝配過程，實(shí)際可以簡化成從零件庫搬運(yùn)或者吊裝零部件到指定裝配工位進(jìn)行裝配，也就是裝配動畫軌跡。裝配軌跡一般會設(shè)置成4個基本控制點(diǎn)，即零件庫存放點(diǎn)位、吊裝起吊合適點(diǎn)位、裝配工位點(diǎn)位和最終裝配點(diǎn)位。為了減少模型量和降低內(nèi)存占有率，在系統(tǒng)中給所有零部件設(shè)置了同一個存放點(diǎn)位，即零部件“誕生地”。對“誕生地”進(jìn)行顏色與表現(xiàn)形式設(shè)計(jì)，盡量減少突兀，所有裝配零部件都將從此處出現(xiàn)，并吊裝至裝配工位。根據(jù)最終裝配點(diǎn)位的不同，對應(yīng)的后3個點(diǎn)位也有所不同，4個裝配軌跡控制點(diǎn)具體參數(shù)伴隨裝配進(jìn)度而變化，見圖4。

圖4 裝配動畫軌跡控制點(diǎn)

3.3 裝配工位設(shè)計(jì)

針對不同零部件的裝配位置不同，調(diào)整相應(yīng)裝配工位進(jìn)行裝配。在裝配培訓(xùn)時，若要及時選擇正確的裝配工位就需要給予工人較為醒目的工位提示。采用易見的藍(lán)色箭頭，設(shè)置成閃爍向下指示動畫，當(dāng)裝配工位有調(diào)整時，會以不停閃爍向下的藍(lán)色指示箭頭動畫形式，提醒工人在裝配該部件時，需要在此工位進(jìn)行裝配。在Unity3D中，根據(jù)世界坐標(biāo)來定位判斷第一人稱位置是否到達(dá)指示箭頭位置，運(yùn)用C#語言編寫判定腳本核心部分代碼段如下：

3.4 UGUI界面設(shè)計(jì)

系統(tǒng)界面UI在系統(tǒng)開發(fā)中占據(jù)重要地位。首先，UI界面要傳遞簡潔清晰的信息，使用戶在第一時間內(nèi)獲取重要的信息。其次，交互的操作要簡易不繁雜，繁雜重復(fù)的操作會造成不適的用戶體驗(yàn)。最后，UI界面色彩搭配也是直接影響系統(tǒng)交互體驗(yàn)的關(guān)鍵所在。Unity3D中UI設(shè)計(jì)，可依據(jù)軟件本身提供的UI基礎(chǔ)控件，編寫適合系統(tǒng)風(fēng)格的專有UI界面。UI基礎(chǔ)控件默認(rèn)以Canvas（畫布）為根類，參數(shù)設(shè)置包括Position（位置）、Rotation（旋轉(zhuǎn)）、Scale（縮放）和Anchors present（錨點(diǎn)）等。所有UGUI控件都必須在此根類上繪制，比如界面中的Text（文本）控件、Image（圖像）控件、和Button（按鈕）控件。按鈕被點(diǎn)擊后，會觸發(fā)下一條指令。

裝配系統(tǒng)UI界面在系統(tǒng)開發(fā)前期設(shè)計(jì)了2款風(fēng)格，見圖5。方案1：以藍(lán)色為基調(diào)，整體以暗藍(lán)色為畫板，適當(dāng)降低畫板透明度和亮度，添加科技感圖案作為背景裝飾，搭配亮藍(lán)色發(fā)光黑體文本和藍(lán)色按鈕框，上下用黃色發(fā)光條襯托其科技感。方案2：以灰色為基調(diào)，低調(diào)的灰色為主，搭配白色發(fā)光黑體文本與背景色對比，凸顯層次感。此2套UI風(fēng)格方案設(shè)計(jì)完成后，需要對其進(jìn)行評價(jià)，以選出適合煤礦鉆機(jī)VR虛擬裝配系統(tǒng)。選取“簡潔性”“表現(xiàn)性”“舒適感”和“科技感”4個關(guān)鍵字作為UI方案評價(jià)因素1、2、3和4；在鉆機(jī)產(chǎn)品設(shè)計(jì)者（用“”表示）、車間裝配工人（用“”表示）和鉆機(jī)操作者（用“”表示）范圍內(nèi)收集權(quán)重評分，分10組主觀評價(jià)者，每組包含設(shè)計(jì)者、工人和操作者3人，共計(jì)30人對UI方案的評價(jià)因素進(jìn)行評分，分值設(shè)在0～5分范圍內(nèi)，分值越高越具評選意向；根據(jù)坐標(biāo)法和平均法對其評分做出最后的評判。

圖5 裝配系統(tǒng)UI設(shè)計(jì)方案

坐標(biāo)法，是一種方便、快捷的評價(jià)方法，根據(jù)4種評價(jià)因素權(quán)重評分，計(jì)算由各評價(jià)因素權(quán)重評分分值映射于坐標(biāo)系上形成的圖形面積i，見圖6坐標(biāo)法得分面積，此面積作為總體評價(jià)權(quán)重評分。具體計(jì)算見式（1）：

i=(1+3)×(2+4)/2 (1)

圖6 坐標(biāo)法評價(jià)體系

項(xiàng)目組邀請了30名與煤礦鉆機(jī)相關(guān)的不同崗位的評分者，給出的評價(jià)因素權(quán)重評分部分結(jié)果見表1，每一名評分者通過坐標(biāo)法得到1個最終權(quán)重評分i，最終由平均法得到方案1和方案2的最終評選意向分值。根據(jù)最終評選意向分值得出的結(jié)果，選取方案1作為此次裝配系統(tǒng)UI界面最終方案。

表1 2種方案評分情況

Tab.1 The scoring situation of the two schemes

由于各個界面包含文字信息和按鈕數(shù)量不同，需要將Canvas（畫布）根類的Anchors Present（錨點(diǎn)）對齊模式改為居中對齊，自適應(yīng)子層級控件內(nèi)容。

4 硬件對接調(diào)試及系統(tǒng)發(fā)布

Unity3D虛擬開發(fā)完成后，即將發(fā)布的裝配系統(tǒng)需要與硬件設(shè)備進(jìn)行對接并調(diào)試。在硬件設(shè)備選擇上，此次裝配系統(tǒng)搭配了HTC Vive Pro外接式頭戴設(shè)備[19]，眼鏡為雙眼2 880*1 600分辨率，支持SteamVR2.0定位系統(tǒng)，配備了2臺有線雙模精準(zhǔn)定位器來定位眼鏡佩戴者的坐標(biāo)位置。同時，操作手柄在虛擬裝配系統(tǒng)中會以綠色激光線的形式表現(xiàn)出來，當(dāng)激光線出現(xiàn)在按鈕框上時，扣動手柄背面扳機(jī)，就可以選擇確定按鈕，即可進(jìn)行下一步動作指令，根據(jù)指定裝配順序，如此反復(fù)操作并完成鉆機(jī)的整套虛擬裝配。對接完硬件設(shè)備進(jìn)行虛擬裝配調(diào)試，及時調(diào)整不正確的裝配動作和順序，得到完善的虛擬裝配系統(tǒng)。最后對虛擬裝配系統(tǒng)進(jìn)行發(fā)布，分別發(fā)布適用于Windows、Mac、Linux系統(tǒng)，生成.exe文件。虛擬裝配系統(tǒng)在PC物理機(jī)端運(yùn)行培訓(xùn)，見圖7。

圖7 系統(tǒng)測試發(fā)布

虛擬裝配系統(tǒng)經(jīng)過不同場景實(shí)地測試后，也會表現(xiàn)出一些問題。由于VR外接式頭戴設(shè)備中，VR眼鏡與定位器基站之間是采用激光定位技術(shù)，由基站向所處環(huán)境空間中發(fā)出掃射的激光束，通過2個基站與感應(yīng)物之間的水平位置和高度感應(yīng)，形成角度插值計(jì)算，得到感應(yīng)物在定位器三維坐標(biāo)系中所處的相對位置。在室內(nèi)空曠環(huán)境下測試，需調(diào)整好定位器基站位置，并保持基站位置不變。眼鏡與基站之間不能出現(xiàn)任何物品的遮擋[20]，否則就會出現(xiàn)定位失敗的情況。還不能將定位器基站置于強(qiáng)光照射的地方，比如室外強(qiáng)太陽光、鐳射激光燈照射的條件下等，因?yàn)閺?qiáng)光會覆蓋掉定位器基站所發(fā)出的掃射激光束，從而使激光定位失效，造成基站無法定位到VR眼鏡與操作手柄的相對位置和動態(tài)捕捉。最后需要在系統(tǒng)中添加各個步驟的操作提示音效，使系統(tǒng)更加豐富飽滿，也能在極大程度上帶給用戶更宜人的交互與舒適的體驗(yàn)[21]。在提示音效的配合下，用戶生產(chǎn)裝配作業(yè)的準(zhǔn)確率在一定程度上會有不少提高，在保障安全生產(chǎn)的同時，也能提高生產(chǎn)效率。針對以上測試得到的一些問題表現(xiàn)，將會在后期跟進(jìn)設(shè)計(jì)中進(jìn)行優(yōu)化和調(diào)整。

5 結(jié)語

煤礦鉆機(jī)虛擬裝配系統(tǒng)以第一人物視角和全景模式給予使用者較為新穎和友好的交互方式，安全可靠的培訓(xùn)模式被使用者所接受，能夠在安全生產(chǎn)培訓(xùn)模式方面提供新的參考。同時，鉆機(jī)虛擬裝配系統(tǒng)參加了2020年9月在山西舉辦的第十九屆太原煤炭（能源）工業(yè)技術(shù)與裝備展覽會。在此次展覽會上，通過比較新穎真實(shí)的虛擬交互方式，讓參會人員親身體驗(yàn)了煤礦鉆機(jī)的裝配過程，對鉆機(jī)產(chǎn)品的加工生產(chǎn)和裝配也有初步的了解。在鉆機(jī)產(chǎn)品后期推廣可作為一種新的宣傳手段，力爭達(dá)到最好的推廣效果。

在體驗(yàn)的同時，也要對體驗(yàn)用戶進(jìn)行量化分?jǐn)?shù)考核。后期會在鉆機(jī)虛擬裝配系統(tǒng)中添加考核評分與數(shù)據(jù)庫的管理機(jī)制，根據(jù)培訓(xùn)結(jié)業(yè)考核所得分?jǐn)?shù)進(jìn)行等級劃分，并針對數(shù)據(jù)庫中記錄的考核中存在錯誤或者不合適的操作行為給出建議和改正措施，提高用戶在鉆機(jī)生產(chǎn)裝配過程中的安全警惕性，極力避免安全事故的發(fā)生。

虛擬現(xiàn)實(shí)技術(shù)與安全培訓(xùn)的融合，應(yīng)用到煤礦機(jī)械行業(yè)，在5G網(wǎng)絡(luò)低延時和高質(zhì)量通信技術(shù)支持下，可推進(jìn)實(shí)施VR技術(shù)的遠(yuǎn)程交互協(xié)同操作、設(shè)備維修指導(dǎo)、遠(yuǎn)程售后服務(wù)和故障診斷等關(guān)鍵技術(shù)。

[1] 王學(xué)文, 秦毅, 楊昕宇, 等. 采煤機(jī)虛擬現(xiàn)實(shí)裝配仿真系統(tǒng)研究[J]. 圖學(xué)學(xué)報(bào), 2015, 36(2): 268-273.

WANG Xue-wen, QIN Yi, YANG Xin-yu, et al. Study on Virtual Assembly Simulation System of Coal Shearer [J]. Journal of Graphics, 2015, 36(2): 268-273.

[2] 劉檢華, 寧汝新, 姚珺, 等. 面向產(chǎn)品全生命周期的虛擬裝配技術(shù)研究[J]. 計(jì)算機(jī)集成制造系統(tǒng), 2005, 11(10): 1430-1437.

LIU Jian-hua, NING Ru-xin, YAO Jun, et al. Research on Product Lifecycle-Oriented Virtual Assembly Tech-nology[J]. Computer Integrated Manufacturing Systems, 2005, 11(10): 1430-1437.

[3] 李建廣, 夏平均. 虛擬裝配技術(shù)研究現(xiàn)狀及其發(fā)展[J]. 航空制造技術(shù), 2010, 53(3): 34-38.

LI Jian-guang, XIA Ping-jun. Survey of Virtual Assembly and Its Perspective[J]. Aeronautical Manufacturing Technology, 2010, 53(3): 34-38.

[4] 謝嘉成, 王學(xué)文, 李祥, 等. 虛擬現(xiàn)實(shí)技術(shù)在煤礦領(lǐng)域的研究現(xiàn)狀及展望[J]. 煤炭科學(xué)技術(shù), 2019, 47(3): 53-59.

XIE Jia-cheng, WANG Xue-wen, LI Xiang, et al. Research Status and Prospect of Virtual Reality Technology in Field of Coal Mine[J]. Coal Science and Technology, 2019, 47(3): 53-59.

[5] JAYARAM S, CONNACHER H I, LYONS K W. Virtual Assembly Using Virtual Reality Techniques[J]. Computer-Aided Design, 1997, 29(8): 575-584.

[6] JUNG B, HOFFHENKE M, WACHSMUTH I. Virtual Assembly with Construction Kits[C] Proceedings of ASME Design Engineering Technical Conferences, Atlanta: 1998,4(3):4359-4363.

[7] TICHON J, BURGESS-LIMERICK R. A Review of Virtual Reality as a Medium for Safety Related Training in Mining[J]. Journal of Health&Safety Research& Practice, 2011, 3(1): 33-40.

[8] 馮桂珍, 池建斌, 邢海軍, 等. 基于Unity3D的減速器虛擬拆裝實(shí)驗(yàn)[J]. 圖學(xué)學(xué)報(bào), 2018, 39(2): 304-308.

FENG Gui-zhen, CHI Jian-bin, XING Hai-jun, et al. Reducer Virtual Disassembly and Assembly Experiment Based on Unity3D[J]. Journal of Graphics, 2018, 39(2): 304-308.

[9] 楊壹斌, 李敏, 解鴻文. 基于Unity3D的桌面式虛擬維修訓(xùn)練系統(tǒng)[J]. 計(jì)算機(jī)應(yīng)用, 2016, 36(S2): 125-128.

YANG Yi-bin, LI Min, XIE Hong-wen. Desktop Virtual Maintenance Training System Based on Unity3D[J]. Journal of Computer Applications, 2016, 36(S2): 125-128.

[10] 陳敏捷, 羊榮金, 沈孟鋒. 基于Android平臺的液壓虛擬實(shí)驗(yàn)系統(tǒng)設(shè)計(jì)[J]. 實(shí)驗(yàn)技術(shù)與管理, 2019, 36(11): 117-120.

CHEN Min-jie, YANG Rong-jin, SHEN Meng-feng. Design of Hydraulic Virtual Experiment System Based on Android Platform[J]. Experimental Technology and Management, 2019, 36(11): 117-120.

[11] 熊巍, 王清輝, 黃仲東, 等. 大型產(chǎn)品虛擬裝配環(huán)境的視點(diǎn)漫游技術(shù)[J]. 圖學(xué)學(xué)報(bào), 2015, 36(6): 937-943.

XIONG Wei, WANG Qing-hui, HUANG Zhong-dong, et al. Viewpoint Navigation Techniques for Virtual Assembly Environment of Large-Scale Products[J]. Journal of Graphics, 2015, 36(6): 937-943.

[12] 夏平均, 姚英學(xué). 虛擬裝配的研究綜述與分析(II)[J]. 哈爾濱工業(yè)大學(xué)學(xué)報(bào), 2008, 40(6): 942-947.

XIA Ping-jun, YAO Ying-xue. Survey and Analysis of Virtual assembly(II): Research Progress, typical Systems, shortcomings and Obstacles, future Work[J]. Journal of Harbin Institute of Technology, 2008, 40(6): 942-947.

[13] 谷學(xué)靜, 張彥鵬, 郭宇承, 等. 連鑄生產(chǎn)虛擬仿真系統(tǒng)設(shè)計(jì)及關(guān)鍵技術(shù)研究[J]. 實(shí)驗(yàn)技術(shù)與管理, 2020, 37(1): 122-125.

GU Xue-jing, ZHANG Yan-peng, GUO Yu-cheng, et al. Design and Key Technology Research of Virtual Simulation System for Continuous Casting Production[J]. Experimental Technology and Management, 2020, 37(1): 122-125.

[14] 王碩, 張健欽. 構(gòu)建三維城市模型中貼圖技術(shù)的研究與應(yīng)用[J]. 北京測繪, 2018, 32(2): 159-164.

WANG Shuo, ZHANG Jian-qin. Research and Application of Mapping Technology in Constructing Three- Dimensional Model of City[J]. Beijing Surveying and Mapping, 2018, 32(2): 159-164.

[15] 祁甲民, 馮蘭芳, 陳艷雷, 等. 逆向工程中三維建模模型紋理貼圖方法探究[J]. 制造業(yè)自動化, 2018, 40(5): 112-114.

QI Jia-min, FENG Lan-fang, CHEN Yan-lei, et al. Research on Texture Mapping Method of 3D Modeling Model in Reverse Engineering[J]. Manufacturing Auto-mation, 2018, 40(5): 112-114.

[16] 任帥, 王震, 徐振超, 等. 一種基于OBJ三維模型紋理貼圖的信息隱藏算法[J]. 北京郵電大學(xué)學(xué)報(bào), 2019, 42(1): 22-27.

REN Shuai, WANG Zhen, XU Zhen-chao, et al. Information Hiding Scheme Based on Texture Mapping of 3D Model in OBJ Format[J]. Journal of Beijing University of Posts and Telecommunications, 2019, 42(1): 22-27.

[17] 歐陽宏. 故宮古建筑三維數(shù)字化建模方法研究[J]. 北京聯(lián)合大學(xué)學(xué)報(bào)(自然科學(xué)版), 2015, 29(3): 10-14.

OUYANG Hong. Research on 3D Digital Modeling Method of Ancient Architecture in the Palace Museum[J]. Journal of Beijing Union University (Natural Sciences), 2015, 29(3): 10-14.

[18] 張文東, 孫文斌, 孫恒. 管柱工具圖例吸附于井眼軌跡的紋理貼圖方法[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2017, 27(6): 191-194.

ZHANG Wen-dong, SUN Wen-bin, SUN Heng. Texture Mapping Method with String Tool Figures Adsorbed on Well Trajectory[J]. Computer Technology and Development, 2017, 27(6): 191-194.

[19] 孫瑋伯, 呂健, 虞杰, 等. 基于HTC Vive的VR界面元素編碼研究[J]. 包裝工程, 2020, 41(10): 175-180.

SUN Wei-bo, LYU Jian, YU Jie, et al. VR Interface Element Coding Based on HTC Vive[J]. Packaging Engineering, 2020, 41(10): 175-180.

[20] 邵艷梅. VR眼鏡的視覺交互分析[J]. 自然辯證法研究, 2020, 36(5): 118-122.

SHAO Yan-mei. VR Glasses on Visual Interaction from Phenomenological Perspective[J]. Studies in Dialectics of Nature, 2020, 36(5): 118-122.

[21] 鄧海靜. 基于專業(yè)設(shè)計(jì)公司設(shè)計(jì)程序和人機(jī)交互技術(shù)的智能穿戴設(shè)備設(shè)計(jì)[J]. 工業(yè)設(shè)計(jì), 2017(8): 81-85.

DENG Hai-jing. Intelligent Wear Equipment Design Based on Professional Design Company Design Procedures and human-Computer Interaction Techniques[J]. Industrial Design, 2017(8): 81-85.

Development and Application of Virtual Assembly Training System of Mine Drilling Rig Based on Unity3D

CHEN Guo, LIU Gui-qin

(Xi'an Research Institute of China Coal Technology and Engineering Group, Xi'an 710077, China)

The work aims to improve the current situation of low visualization and low training quality of assembly training for coal mine drilling rig. Combined with the modeling advantages of UG and 3DS Max animation software, the 3d model reconstruction and texture mapping processing methods were discussed, and the model structure tree was built. Assembly system was achieved by c# language to write the core of the script and study the related assembly animation path control. Different UI interface schemes of the system were designed, and the optimal scheme was obtained by calculating the weight scores of different audiences through coordinate method and average method. Based on Unity3D virtual engine platform, a set of system for coal mine drilling rigs was developed and implemented from the perspective of the first person. The HTC VIVE Pro external headset was used to dock the system for debugging, operation and final release to realize the man-machine interaction operation. The research shows the complete assembly process of the mechanical assembly workshop, gives the trainees novel and vivid teaching experience through friendly man-machine interaction, and preliminarily explores the virtual reality technology in coal mine drilling rig intelligent direction interact with remote control. At the same time, it also provides a new method reference for the market promotion and application of coal mine drilling rig.

coal mine drilling rig; virtual assembly; three-dimensional model reconstruction; panoramic roaming; interactive simulation

TD421；TP391.9；TB472

A

1001-3563(2022)12-0106-07

10.19554/j.cnki.1001-3563.2022.12.011

2022–01–17

中國煤炭科工集團(tuán)有限公司科創(chuàng)資金專項(xiàng)項(xiàng)目（2018MS009）

陳果（1989—），男，碩士，助理研究員，主要研究方向?yàn)樘摂M現(xiàn)實(shí)與三維動畫。

責(zé)任編輯：陳作