數(shù)據(jù)驅(qū)動(dòng)下的工業(yè)設(shè)備虛擬仿真與遠(yuǎn)程操控技術(shù)研究

張旭輝，王妙云，張雨萌，杜昱陽，馬宏偉，毛清華，車 承 ，田鳳陽，王 鳳

(1.西安科技大學(xué)機(jī)械工程學(xué)院，陜西 西安 710054；2.陜西省煤礦機(jī)電設(shè)備智能監(jiān)測與控制創(chuàng)新團(tuán)隊(duì)，陜西 西安 710054；3.河北省帶式輸送機(jī)工程技術(shù)研究中心，河北 衡水 053020)

0 前言

虛擬現(xiàn)實(shí)技術(shù)(Virtual Reality，VR)被譽(yù)為21世紀(jì)人類在人機(jī)交互上需攻克的最后堡壘。從美國人Morton發(fā)明了第一臺(tái)VR設(shè)備至今，VR技術(shù)應(yīng)用經(jīng)歷三次浪潮。人類對(duì)以沉浸-交互-構(gòu)想為基本特性的VR技術(shù)始終衷情不舍。早期的VR技術(shù)平臺(tái)基于圖形工作站構(gòu)建，價(jià)格昂貴且技術(shù)復(fù)雜，只應(yīng)用在軍事方面和一些特殊領(lǐng)域。計(jì)算機(jī)技術(shù)發(fā)展為VR推廣創(chuàng)造了有利條件，目前VR技術(shù)已廣泛應(yīng)用于軍事、航空、教育、醫(yī)學(xué)、工業(yè)和娛樂等眾多領(lǐng)域。但是VR應(yīng)用領(lǐng)域主要還集中在游戲、娛樂、交互式媒體、旅游等方面，占到了80%左右，工程技術(shù)方面的應(yīng)用研究不足2%[1]。

1 虛擬現(xiàn)實(shí)技術(shù)在工程方面的應(yīng)用分析

近幾年國內(nèi)外學(xué)者將虛擬現(xiàn)實(shí)技術(shù)應(yīng)用于工程實(shí)踐作為研究的熱點(diǎn)。在醫(yī)療康復(fù)、腦機(jī)控制等具有多維信息融合和表達(dá)需求的研發(fā)方面進(jìn)展迅速。燕山大學(xué)謝平等人采集執(zhí)行不同手勢動(dòng)作對(duì)應(yīng)的腦電信號(hào)及表面肌電信號(hào)，基于肌電特征模式識(shí)別結(jié)果實(shí)現(xiàn)對(duì)虛擬場景及目標(biāo)的控制[2]。華東理工大學(xué)蔣婷婷基于觸覺設(shè)備Phantom Omni搭建觸覺交互系統(tǒng)，用H3D交互軟件創(chuàng)建虛擬環(huán)境應(yīng)用于中風(fēng)病人肢體功能康復(fù)，極大地調(diào)動(dòng)了患者的訓(xùn)練積極性[3]。北京服裝學(xué)院劉昊等利用Unreal Engine 4引擎設(shè)計(jì)了基于HTC VIVE的上肢康復(fù)訓(xùn)練方案，通過HTC VIVE的手持控制器與虛擬場景進(jìn)行人機(jī)交互，實(shí)現(xiàn)了上肢對(duì)虛擬現(xiàn)實(shí)場景中對(duì)象的控制，患者在無外力支持或在外骨骼康復(fù)機(jī)器人協(xié)助下進(jìn)行主動(dòng)康復(fù)訓(xùn)練，把康復(fù)訓(xùn)練、心理治療、信息反饋有機(jī)結(jié)合[4]。東南大學(xué)秦超龍?jiān)O(shè)計(jì)了一種下肢康復(fù)訓(xùn)練機(jī)器人，機(jī)器人具有力反饋輸出，利用Kinect攝像頭捕獲人體運(yùn)動(dòng)信息，將患者的體感信息作為系統(tǒng)輸入控制虛擬人物的同步運(yùn)動(dòng)與場景交互，采用基于OpenGL函數(shù)庫和基于Unity3D游戲引擎的方法開發(fā)了用于情景交互的虛擬場景，實(shí)現(xiàn)了康復(fù)訓(xùn)練過程中的同步交互[5]。天津大學(xué)孔麗文等人將腦-機(jī)接口技術(shù)與VR相結(jié)合，提出基于虛擬現(xiàn)實(shí)的腦-機(jī)接口，兼取兩者優(yōu)勢[6]。

危險(xiǎn)復(fù)雜環(huán)境下設(shè)備遠(yuǎn)程操控應(yīng)用方面也是虛擬現(xiàn)實(shí)技術(shù)研究的熱點(diǎn)。北京工業(yè)大學(xué)章朋田等人通過學(xué)習(xí)熟練焊工得到焊接電流和焊接速度的關(guān)系模型，應(yīng)用于構(gòu)建的人機(jī)協(xié)作焊接系統(tǒng)，彌補(bǔ)了初級(jí)焊工的技能[7]；魯麗彬采用Vega Prime開發(fā)船舶操縱控制的視景仿真平臺(tái),通過船舶操縱控制的三維姿態(tài)數(shù)據(jù)加載和程序控制,在視景仿真平臺(tái)上對(duì)船舶操縱控制進(jìn)行位置調(diào)整和參量優(yōu)化配置[8]。林康等人基于3DVIA Virtools開發(fā)了深水鉆機(jī)虛擬操作系統(tǒng)，實(shí)現(xiàn)了石油鉆井裝備的聯(lián)合作業(yè)流程仿真，用于控制程序的輔助測試,降低機(jī)電液聯(lián)調(diào)試驗(yàn)風(fēng)險(xiǎn)[9]；中國農(nóng)業(yè)大學(xué)翟志強(qiáng)研究基于虛擬現(xiàn)實(shí)技術(shù)的拖拉機(jī)雙目視覺導(dǎo)航試驗(yàn)方法[10]；劉忠凱構(gòu)建了基于Unity3D的裝甲車輛虛擬運(yùn)動(dòng)系統(tǒng)，通過C#編寫腳本,實(shí)現(xiàn)了裝甲車輛在場景中的運(yùn)動(dòng)與碰撞檢測算法[11]。

目前虛擬現(xiàn)實(shí)技術(shù)已成功應(yīng)用于設(shè)備操控方面，但是對(duì)基于虛擬環(huán)境的控制思路未形成統(tǒng)一認(rèn)識(shí)。西安科技大學(xué)張旭輝等人從煤礦井下自動(dòng)化工作面設(shè)備遠(yuǎn)程控制需求出發(fā)，提出一種“虛實(shí)同步、數(shù)據(jù)驅(qū)動(dòng)、遠(yuǎn)程干預(yù)、人機(jī)協(xié)作”的設(shè)備遠(yuǎn)程操控策略[12][13]，實(shí)現(xiàn)了監(jiān)測數(shù)據(jù)驅(qū)動(dòng)下的虛擬交互式設(shè)備遠(yuǎn)程操控，并在工業(yè)設(shè)備虛擬仿真與遠(yuǎn)程操控方面作了大量研究，涉及煤礦智能鉆機(jī)、智能懸臂式掘進(jìn)機(jī)、煤礦救援探測機(jī)器人和綜采工作面設(shè)備等方面的遠(yuǎn)程操控技術(shù)。

2 數(shù)據(jù)驅(qū)動(dòng)的工業(yè)設(shè)備遠(yuǎn)程操控系統(tǒng)

自動(dòng)化裝備本質(zhì)上是“數(shù)據(jù)驅(qū)動(dòng)”和軟件控制的工業(yè)裝備。數(shù)據(jù)驅(qū)動(dòng)的工業(yè)設(shè)備虛擬遠(yuǎn)程操控，關(guān)鍵在于將表征工業(yè)現(xiàn)場設(shè)備狀態(tài)、相互關(guān)系、環(huán)境變化等復(fù)雜多維信息數(shù)字化，借助VR/AR技術(shù)呈現(xiàn)多維空間，作為遠(yuǎn)程控制決策的依據(jù)，克服傳統(tǒng)遠(yuǎn)程控制依據(jù)數(shù)字、簡單圖形和監(jiān)控視頻表達(dá)的現(xiàn)場設(shè)備信息不完整、不直觀、決策難的問題。

數(shù)據(jù)驅(qū)動(dòng)的工業(yè)設(shè)備遠(yuǎn)程操控包括場景及設(shè)備虛擬模型構(gòu)建、工作面控制模型、顯示及控制模型的動(dòng)態(tài)修正、設(shè)備間防碰撞預(yù)警和遠(yuǎn)程操控等關(guān)鍵技術(shù)。本文以綜采工作面設(shè)備遠(yuǎn)程操控系統(tǒng)為研究對(duì)象，分析數(shù)據(jù)驅(qū)動(dòng)的工業(yè)設(shè)備遠(yuǎn)程操控的使能技術(shù)。

2.1 綜采工作面設(shè)備遠(yuǎn)程操控系統(tǒng)總體方案

煤礦井下開采環(huán)境惡劣、工況復(fù)雜，涉及多種設(shè)備耦合或干涉(支架、刮板機(jī))，依靠數(shù)字化、自動(dòng)化、智能化技術(shù)保障采煤機(jī)安全運(yùn)行，是目前綜采工作面自動(dòng)化開采面臨的首要問題。通過虛擬現(xiàn)實(shí)技術(shù)，使煤礦井下設(shè)備部分具備人的視覺、觸覺等功能，才有可能真正替代人實(shí)現(xiàn)少人甚至無人開采。

利用VR/AR技術(shù)在煤礦精準(zhǔn)開采及井下設(shè)備群多維信息整合方面的優(yōu)勢，張旭輝等人構(gòu)建了“人、機(jī)、環(huán)”有機(jī)交互的綜采工作面多維空間模型，實(shí)現(xiàn)了基于虛擬工作面的截割軌跡預(yù)測和三機(jī)“虛實(shí)同步、數(shù)據(jù)驅(qū)動(dòng)、遠(yuǎn)程干預(yù)、人機(jī)協(xié)作”的自動(dòng)控制策略，工作在順槽或地面的操作者通過觀測虛擬工作面中的設(shè)備群異常狀態(tài)，人工干預(yù)自動(dòng)截割作業(yè)過程，工作面變化及設(shè)備位姿等數(shù)據(jù)反饋到虛擬平臺(tái)，實(shí)時(shí)修正工作面和設(shè)備群位姿模型，保證人為干預(yù)決策的可靠性?？傮w思路如圖1所示。

圖1 煤礦虛擬工作面設(shè)備操控系統(tǒng)總體方案

2.2 場景及設(shè)備虛擬模型構(gòu)建方法

工作面煤層建模主要利用煤礦鉆孔數(shù)據(jù)、工作面煤巖界面開切眼數(shù)據(jù)和工作面運(yùn)輸巷與回風(fēng)巷順槽地質(zhì)數(shù)據(jù)，其中順槽地質(zhì)數(shù)據(jù)需要現(xiàn)場測量。鉆孔信息可清晰顯示所處煤層工作面測點(diǎn)的頂?shù)装逦恢靡约懊簩雍穸鹊?；利用采煤機(jī)位置和姿態(tài)傳感器獲取工作面煤巖界面開切眼數(shù)據(jù)；通過運(yùn)輸巷和回風(fēng)巷順槽工作面地質(zhì)圖紙獲取兩側(cè)煤巖數(shù)據(jù)信息。煤層工作面與巷道關(guān)系圖如圖2。

虛擬工作面設(shè)備及場景的構(gòu)建包括構(gòu)建三維模型、將模型倒入虛擬現(xiàn)實(shí)軟件中、設(shè)置交互邏輯三個(gè)主要環(huán)節(jié)。在建模軟件中根據(jù)綜采工作面設(shè)備的結(jié)構(gòu)及尺寸完成3D建模，在確保模型必要精確度和逼真度的同時(shí)，減少紋理精細(xì)度、降低細(xì)節(jié)等級(jí)并減少圖形復(fù)雜度以提高系統(tǒng)運(yùn)行效率。

2.3 虛擬工作面模型動(dòng)態(tài)修正方法

綜采設(shè)備在工作面運(yùn)行時(shí)，由于工作面底板起伏變化，綜采設(shè)備會(huì)有多種不同的工作位姿。因此，需根據(jù)綜采設(shè)備機(jī)身傳感器數(shù)據(jù)傳輸?shù)教摂M操控系統(tǒng)上位軟件，對(duì)虛擬模型的位姿進(jìn)行實(shí)時(shí)修正，從而實(shí)現(xiàn)綜采設(shè)備虛實(shí)同步控制。

2.4 工作面設(shè)備群間防碰撞檢測

為了實(shí)現(xiàn)工作面設(shè)備之間快速防碰撞預(yù)警，采用基于包圍盒技術(shù)的防碰撞檢測方法，建立采煤機(jī)滾筒與液壓支架防碰撞數(shù)學(xué)模型。由采煤機(jī)滾筒尺寸和液壓支架頂梁尺寸分別建立滾筒包圍盒和液壓支架包圍盒。根據(jù)建立的包圍盒防碰撞模型約束條件對(duì)采煤機(jī)與液壓支架進(jìn)行防碰撞檢測。通過對(duì)綜采設(shè)備模型的基本自由度的分析，運(yùn)用虛擬現(xiàn)實(shí)軟件的ODE 技術(shù)建立綜采設(shè)備物理防碰撞模型，如圖3 所示。

圖3 基于包裝盒的綜采設(shè)備物理防碰撞示意圖

2.5 遠(yuǎn)程操控平臺(tái)(人機(jī)交互)

人機(jī)交互實(shí)現(xiàn)綜采工作面設(shè)備遠(yuǎn)程操控原理如圖4所示，安放在順槽操控室或者地面遠(yuǎn)程監(jiān)控中心的控制臺(tái)發(fā)出控制指令，通過多通道數(shù)據(jù)采集卡采集遠(yuǎn)程操控臺(tái)上安裝的開關(guān)、手柄等指令。一路控制指令通過操控系統(tǒng)上位軟件發(fā)給下位機(jī)，下位機(jī)接收并控制工作面三機(jī)運(yùn)動(dòng)；另一路控制指令通過虛擬現(xiàn)實(shí)數(shù)據(jù)接口傳送到操控系統(tǒng)上位軟件，實(shí)現(xiàn)虛擬樣機(jī)與綜采設(shè)備“虛實(shí)同步”運(yùn)動(dòng)；采煤過程中工作面設(shè)備工況、位姿傳感器數(shù)據(jù)經(jīng)通訊接口傳輸?shù)竭h(yuǎn)程控制端，處理后存儲(chǔ)到數(shù)據(jù)庫，以此修正虛擬模型實(shí)現(xiàn)“數(shù)據(jù)驅(qū)動(dòng)”，遠(yuǎn)程操作人員根據(jù)實(shí)時(shí)修正的虛擬場景和設(shè)備群關(guān)系，“遠(yuǎn)程干預(yù)”自動(dòng)開采流程，結(jié)合碰撞檢測等功能，完成“人機(jī)協(xié)同”的綜采工作面設(shè)備群遠(yuǎn)程控制。

圖4 人機(jī)交互實(shí)現(xiàn)遠(yuǎn)程操控原理示意圖

3 數(shù)據(jù)驅(qū)動(dòng)的設(shè)備遠(yuǎn)程虛擬操控技術(shù)應(yīng)用

數(shù)據(jù)驅(qū)動(dòng)的設(shè)備遠(yuǎn)程虛擬操控技術(shù)在定向鉆機(jī)、智能掘進(jìn)、煤礦救援機(jī)器人和綜采工作面設(shè)備方面取得了一定進(jìn)展。不同設(shè)備由于功能和使用場合等因素，開發(fā)時(shí)對(duì)關(guān)鍵技術(shù)的關(guān)注度也是不一樣的。從模型復(fù)雜度(場景實(shí)時(shí)動(dòng)態(tài)或靜態(tài))、驅(qū)動(dòng)數(shù)據(jù)的類型(工況、位姿或性能參數(shù))、遠(yuǎn)程決策依據(jù)類型、遠(yuǎn)程控制數(shù)量等等方面進(jìn)行分析，可知定向鉆機(jī)在鉆進(jìn)施工時(shí)主要是觀測虛擬的管理壓力表和返液情況，周圍環(huán)境基本不變化；而智能掘進(jìn)、煤礦救援機(jī)器人和綜采工作面設(shè)備遠(yuǎn)程控制的首要條件是設(shè)備精確定位，否則構(gòu)建的虛擬場景及設(shè)備難以作為遠(yuǎn)程控制依據(jù)使用；同時(shí)按照施工過程變化，接收精確定位數(shù)據(jù)，完成控制模型和顯示模型的實(shí)時(shí)修正。

4 結(jié)束語

飛速發(fā)展的虛擬現(xiàn)實(shí)技術(shù)為其在工業(yè)領(lǐng)域的應(yīng)用提供了軟硬件方面的技術(shù)儲(chǔ)備。利用VR/AR在解決多維信息空間數(shù)據(jù)呈現(xiàn)方面的優(yōu)勢，建立融合人、設(shè)備、環(huán)境有機(jī)融合的多維空間，為實(shí)現(xiàn)復(fù)雜或危險(xiǎn)作業(yè)環(huán)境下的工業(yè)設(shè)備順利作業(yè)提供了可能?！疤搶?shí)同步、數(shù)據(jù)驅(qū)動(dòng)、遠(yuǎn)程干預(yù)、人機(jī)協(xié)作”的設(shè)備遠(yuǎn)程操控策略，可以實(shí)現(xiàn)監(jiān)測數(shù)據(jù)驅(qū)動(dòng)下的虛擬交互式設(shè)備遠(yuǎn)程操控，在煤礦定向鉆機(jī)、智能掘進(jìn)機(jī)、煤礦救援機(jī)器人和綜采工作面等設(shè)備虛擬操控的初步研究表明，該技術(shù)可以有效提高遠(yuǎn)程控制決策的可靠性和安全性，是實(shí)現(xiàn)少人或無人工作面截割控制的關(guān)鍵，在煤礦井下開采方面具有廣闊的應(yīng)用前景。