增強(qiáng)現(xiàn)實(shí)技術(shù)在裝配檢修中的應(yīng)用研究*

朱 標(biāo)

(1.中航華東光電有限公司，安徽 蕪湖 241000；2.安徽省現(xiàn)代顯示技術(shù)重點(diǎn)實(shí)驗(yàn)室，安徽 蕪湖 241000；3.國家特種顯示工程技術(shù)研究中心，安徽 蕪湖 241000；4.特種顯示國家工程實(shí)驗(yàn)室，安徽 蕪湖 241000)

0 引 言

增強(qiáng)現(xiàn)實(shí)(Augmented Reality，AR)技術(shù)是指將計(jì)算機(jī)構(gòu)建的虛擬對象和虛擬場景與人類真實(shí)感知的現(xiàn)實(shí)場景相疊加，達(dá)到虛實(shí)結(jié)合的目的，以提高用戶對真實(shí)世界的感知及交互體驗(yàn)。目前，增強(qiáng)現(xiàn)實(shí)技術(shù)普遍應(yīng)用于軍事裝備、動(dòng)感游戲、三維重建與工業(yè)生產(chǎn)等領(lǐng)域，其中工業(yè)生產(chǎn)作為國名經(jīng)濟(jì)發(fā)展中至關(guān)重要的一部分，同時(shí)產(chǎn)品的裝配檢修是工業(yè)生產(chǎn)過程中最重要的環(huán)節(jié)之一[1]，所以研究增強(qiáng)現(xiàn)實(shí)技術(shù)在產(chǎn)品的裝配檢修中的應(yīng)用是非常有意義價(jià)值的。目前，國內(nèi)很多企業(yè)開設(shè)了產(chǎn)品的裝配檢修技能的培訓(xùn)，但企業(yè)員工實(shí)際操作大多還是借助圖紙或教學(xué)視頻來實(shí)現(xiàn)裝配檢修，尤其是對于剛參加工作的新進(jìn)員工來說，圖紙或教學(xué)視頻并不能讓他們快速熟悉裝配檢修流程，就很可能出現(xiàn)誤操作而給企業(yè)帶來時(shí)間和經(jīng)濟(jì)上的損失，運(yùn)用增強(qiáng)現(xiàn)實(shí)技術(shù)指導(dǎo)新進(jìn)員工對產(chǎn)品進(jìn)行裝配檢修，能夠讓新進(jìn)員工快速熟悉和掌握該項(xiàng)工藝技能，大大提高了工作效率，降低了時(shí)間和經(jīng)濟(jì)成本。

隨著計(jì)算機(jī)處理水平的不斷提高，將工業(yè)生產(chǎn)的裝配檢修與增強(qiáng)現(xiàn)實(shí)技術(shù)相結(jié)合將會(huì)是一個(gè)新型行業(yè)，方式不僅能夠提高企業(yè)員工的工作效率和減少誤操作，也能給企業(yè)帶來更大的利潤空間，因此主要針對上述問題開發(fā)基于增強(qiáng)現(xiàn)實(shí)技術(shù)的裝配檢修系統(tǒng)，將增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用到工業(yè)生產(chǎn)的裝配檢修中，目的是提高了企業(yè)員工的裝配和檢修的效率和降低裝配和檢修的誤操作率。

1 國內(nèi)外發(fā)展現(xiàn)狀

增強(qiáng)現(xiàn)實(shí)技術(shù)作為當(dāng)今研究熱點(diǎn)方向之一，許多國內(nèi)外著名的企業(yè)與研究機(jī)構(gòu)都將其作為主要的研究方向。首先針對國外的研究情況，Wanger等[2]開發(fā)出能夠在掌上電腦上運(yùn)行的增強(qiáng)現(xiàn)實(shí)技術(shù)，通過利用ARToolKit開發(fā)包進(jìn)行開發(fā)，并且移植到計(jì)算機(jī)平臺(tái)。美國NASA噴氣推進(jìn)實(shí)驗(yàn)室利用虛擬現(xiàn)實(shí)三維引擎開發(fā)了火星探測車的模擬系統(tǒng)[3]。德國Bauhaus大學(xué)研究小組開發(fā)了一套基于增強(qiáng)現(xiàn)實(shí)的博物館導(dǎo)覽系統(tǒng)并移植到手機(jī)，在此基礎(chǔ)上利用藍(lán)牙裝置收發(fā)的信號(hào)來定位用戶實(shí)時(shí)的具體位置信息[4]。AIRBUSMilitary的Serván等[5]在飛機(jī)車間零件裝配中利用增強(qiáng)現(xiàn)實(shí)技術(shù)和工業(yè)數(shù)字樣機(jī)技術(shù)開發(fā)了相關(guān)項(xiàng)目，并證明了項(xiàng)目的可行性和實(shí)用性。

國內(nèi)增強(qiáng)現(xiàn)實(shí)技術(shù)相對國外發(fā)展起步較晚，研究稍少，但近幾年隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，增強(qiáng)現(xiàn)實(shí)技術(shù)在國內(nèi)掀起了一波高潮，并伴隨著巨大的商業(yè)價(jià)值和良好的發(fā)展?jié)摿6-9]，萬華根團(tuán)隊(duì)通過IVAS裝配系統(tǒng)搭建了一個(gè)可對零部件的選取、裝配的人機(jī)交互界面，不僅如此，系統(tǒng)還能有效地獲取零部件裝配的正確順序，隨著國內(nèi)增強(qiáng)現(xiàn)實(shí)技術(shù)不斷發(fā)展，帶動(dòng)了工業(yè)生產(chǎn)中基于增強(qiáng)現(xiàn)實(shí)技術(shù)的智能眼鏡的進(jìn)步，如國內(nèi)的亮亮視野的GLXSS Pro眼鏡主要應(yīng)用在醫(yī)療和安防領(lǐng)域，在醫(yī)療領(lǐng)域主要利用增強(qiáng)現(xiàn)實(shí)技術(shù)提升就診時(shí)間效率，在安防領(lǐng)域主要讓警務(wù)人員實(shí)時(shí)地獲得人臉識(shí)別信息，并將實(shí)時(shí)信息遠(yuǎn)程傳輸?shù)胶笈_(tái)服務(wù)器中進(jìn)行分析處理，并指導(dǎo)警務(wù)人員進(jìn)行下一步操作。

2 裝配檢修系統(tǒng)的總體設(shè)計(jì)

2.1 智能眼鏡的規(guī)格需求

目前國內(nèi)外基于增強(qiáng)現(xiàn)實(shí)技術(shù)的智能眼鏡眾多，都有各自的優(yōu)勢與成像技術(shù)，選擇愛普生BT-300智能眼鏡作為驗(yàn)證平臺(tái)，BT-300智能眼鏡的優(yōu)勢首先在于光學(xué)系統(tǒng)成像很清晰，不會(huì)出現(xiàn)重影的現(xiàn)象，然后結(jié)構(gòu)設(shè)計(jì)符合人機(jī)工學(xué)并且是雙目，不會(huì)使人產(chǎn)生疲勞感，最后其結(jié)構(gòu)輕巧便利，待機(jī)時(shí)間長。圖1為愛普生BT-300智能眼鏡的結(jié)構(gòu)圖，其基本規(guī)格參數(shù)如表1所示。

圖1 愛普生BT-300智能眼鏡的結(jié)構(gòu)圖

表1 愛普生BT-300智能眼鏡的基本規(guī)格參數(shù)

2.2 增強(qiáng)現(xiàn)實(shí)的主要技術(shù)

基于增強(qiáng)現(xiàn)實(shí)技術(shù)的裝配檢修系統(tǒng)主要包括5項(xiàng)關(guān)鍵技術(shù)，基于增強(qiáng)現(xiàn)實(shí)技術(shù)的裝配檢修系統(tǒng)的原理如圖2所示。

圖2 裝配檢修系統(tǒng)的原理圖

(1)虛擬對象的獲取。首先需要建立虛擬裝配場景及所需的虛擬三維模型，虛擬三維模型可以通過3dmax、Maya和SolidWorks等三維建模平臺(tái)建立而獲取。

(2)信息采集。通過智能眼鏡的攝像頭傳感器在真實(shí)場景中獲取相應(yīng)的視頻流數(shù)據(jù)。

(3)根據(jù)攝像頭參數(shù)并通過預(yù)先設(shè)定的識(shí)別標(biāo)記對象將三維的虛擬對象匹配到視頻流上的真實(shí)場景中，達(dá)到虛實(shí)結(jié)合的作用。

(4)當(dāng)虛擬對象與真實(shí)場景匹配完成之后，在此基礎(chǔ)上開發(fā)滿足操作人員需求的內(nèi)容，并將三維虛擬信息、真實(shí)場景信息及裝配檢修信息展示給操作人員。

(5)將最終的應(yīng)用程序移植到智能眼鏡上，目的是讓操作人員解放雙手并提供真實(shí)的交互體驗(yàn)和安全可靠的裝配檢修指導(dǎo)。

2.3 開發(fā)平臺(tái)的選擇

三維開發(fā)引擎有很多，包括Unity3D、UE4和Cryengine等，目前國內(nèi)外大多采用Unity3D引擎開發(fā)產(chǎn)品，該引擎開發(fā)效率高、開發(fā)周期短、人機(jī)交互性好與支持多種三維模型插件，引擎最大的優(yōu)勢在于該軟件支持多種平臺(tái)的發(fā)布，包括安卓、IOS、Mac和PC等。

對于虛擬三維模型的構(gòu)建主要是通過SolidWorks三維建模平臺(tái)，SolidWorks擁有多種模塊功能，并具有實(shí)體設(shè)計(jì)、曲面設(shè)計(jì)、模具設(shè)計(jì)、裝配體和動(dòng)畫等基礎(chǔ)功能，操作界面簡單明了，設(shè)計(jì)人員容易上手等優(yōu)勢[10]。

基于增強(qiáng)現(xiàn)實(shí)技術(shù)的裝配檢修系統(tǒng)通過SolidWorks軟件建立虛擬三維模型并將其導(dǎo)入到Unity3D引擎中作為虛實(shí)結(jié)合中“虛”的部分，并最終與真實(shí)場景相結(jié)合。

2.4 功能需求及整體框架的設(shè)計(jì)

根據(jù)企業(yè)的實(shí)際需要確定功能需求，通過增強(qiáng)現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)兩個(gè)方面操作，一是對型號(hào)產(chǎn)品的拆解與裝配，二是使用萬用表對電路主板的檢修操作以及線束線纜的排列，目的是給操作人員提供一定的指導(dǎo)和培訓(xùn)，因此，開發(fā)內(nèi)容應(yīng)滿足幾個(gè)基本需求:

(1)具有準(zhǔn)確的、真實(shí)的三維模型以及真實(shí)場景;

(2)具有旋轉(zhuǎn)、平移、流程步驟的選擇功能;

(3)對每一步的裝配檢修流程均給出文字或者動(dòng)畫提示;

(4)完成的應(yīng)用程序要能移植到移動(dòng)終端智能眼鏡中，供操作人員佩戴操作;

(5)具備掃描二維碼的功能。

在得到具體需求后，裝配檢修系統(tǒng)的整體框架可以設(shè)計(jì)成4個(gè)主要組成部分，裝配檢修系統(tǒng)的整體框架設(shè)計(jì)如圖3所示。

圖3 裝配檢修系統(tǒng)的整體框架設(shè)計(jì)圖

(1)三維模型的構(gòu)建。三維模型的構(gòu)建是增強(qiáng)現(xiàn)實(shí)技術(shù)很關(guān)鍵的一部分，主要是制作三維虛擬對象，包括裝配所需要的零部件，通過SolidWorks軟件將制作好的模型以3ds的格式導(dǎo)入到Unity3D軟件中，并模擬出真實(shí)的應(yīng)用場景。

(2)UI界面的交互。UI界面是一個(gè)產(chǎn)品較為關(guān)鍵的一部分，注冊跟蹤、鼠標(biāo)的拖拽、屏幕的觸控技術(shù)等，一個(gè)高效率的UI界面能夠給操作人員更為簡潔明了的操作，包括如何點(diǎn)擊事件，如何跳轉(zhuǎn)場景以及該應(yīng)用程序如何使用。通過UI界面以及整個(gè)虛擬裝配流程可以有效地向操作人員展示。

(3)應(yīng)用程序的移植。開發(fā)完的應(yīng)用程序需要移植到移動(dòng)平臺(tái)上，由于是應(yīng)用在工業(yè)生產(chǎn)上，所以最佳的移動(dòng)平臺(tái)是智能眼鏡，可以將智能眼鏡直接佩戴在頭上即可操作，避免手機(jī)、平板電腦等平臺(tái)不能脫離雙手的局限性。

(4)二維碼的識(shí)別。通過啟動(dòng)智能眼鏡的攝像頭掃描二維碼可以快速地進(jìn)入應(yīng)用程序，方便高效且安全可靠。

3 裝配檢修系統(tǒng)的驗(yàn)證

主要通過兩個(gè)實(shí)驗(yàn)來驗(yàn)證裝配檢修系統(tǒng)，實(shí)驗(yàn)一是對型號(hào)產(chǎn)品的拆解與裝配，對實(shí)驗(yàn)一的開發(fā)和設(shè)計(jì)流程進(jìn)行詳細(xì)介紹；實(shí)驗(yàn)二是使用萬用表對電路主板的檢修操作以及線束線纜的排列，實(shí)驗(yàn)二開發(fā)流程和實(shí)驗(yàn)一相同，不在闡述，僅給出實(shí)驗(yàn)結(jié)果。

3.1 UI界面設(shè)計(jì)

首先確定需求及功能，然后根據(jù)需要和功能進(jìn)行設(shè)計(jì)和開發(fā)，UI界面通過Unity3D中自帶的UGUI進(jìn)行開發(fā)，程序啟動(dòng)后出現(xiàn)啟動(dòng)畫面，啟動(dòng)畫面包含公司的標(biāo)志，以及相應(yīng)產(chǎn)品的基本介紹和功能說明，最后出現(xiàn)功能界面，功能界面包含3個(gè)功能按鈕，分別代表操作說明、培訓(xùn)指導(dǎo)和拆解組合。

3.2 功能設(shè)計(jì)

根據(jù)3.1節(jié)中生成功能界面，分別設(shè)計(jì)相對應(yīng)的功能，如圖4所示，圖4(a)-圖4(c)分別為單擊操作說明、培訓(xùn)指導(dǎo)及拆解/組合3個(gè)功能按鈕后將出現(xiàn)對應(yīng)的3個(gè)UI界面。其中操作說明UI畫面表示對產(chǎn)品的操作步驟進(jìn)行說明，使操作人員提前對產(chǎn)品操作有一個(gè)大概的了解；培訓(xùn)指導(dǎo)UI畫面是操作人員與產(chǎn)品進(jìn)行互動(dòng)的環(huán)節(jié)，操作人員根據(jù)裝配檢修系統(tǒng)指示進(jìn)行操作；拆解與組合UI畫面是以動(dòng)畫的形式向操作人員演示產(chǎn)品的拆解與組合的過程；3項(xiàng)功能UI界面都有返回功能界面的按鈕，相互之間可以切換，以利于操作人員更快熟悉裝配的工藝流程。

(a)操作說明

功能界面中3項(xiàng)功能之間互相補(bǔ)充，首先以文字與動(dòng)畫的相結(jié)合的方式向操作人員展示裝配工藝，然后在實(shí)際操作中又進(jìn)行一步步進(jìn)行指導(dǎo)，并進(jìn)行錯(cuò)誤提示，使裝配的錯(cuò)誤率達(dá)到最低，最后對整個(gè)裝配過程進(jìn)行記錄，為操作人員事后分析提供依據(jù)。

3.3 文件的打包與測試

在開發(fā)完應(yīng)用程序之后，需要將應(yīng)用程序移植到移動(dòng)終端，首先通過Unity3D打包成.apk文件，并移植到愛普生BT-300 AR智能眼鏡中進(jìn)行安裝，為操作人員進(jìn)行佩戴使用，根據(jù)使用反饋，裝配檢修系統(tǒng)為操作人員，特別是新進(jìn)人員提供便利和指導(dǎo)，減少了裝配出錯(cuò)率，提高了裝配效率，通過一段時(shí)間的數(shù)據(jù)統(tǒng)計(jì)，裝配百臺(tái)產(chǎn)品錯(cuò)誤率由之前的20.6%降低到12.5%，裝配百臺(tái)產(chǎn)品效率相比之前提升了10.3%。

實(shí)驗(yàn)二的演示效果圖如圖5和圖6所示，圖5展示了如何指導(dǎo)操作人員使用萬用表在電路板上進(jìn)行電路板端電壓以及主要零件間好壞的測試，圖6展示了線束裝配的仿真效果。根據(jù)操作人員的使用反饋，裝配檢修系統(tǒng)的最終的效果能夠滿足操作人員的需求，同時(shí)能夠無故障的長時(shí)間運(yùn)行，為設(shè)備產(chǎn)品的裝配和檢修提供一定的指導(dǎo)操作。

圖5 設(shè)備檢修的效果圖

圖6 線束裝配的效果圖

4 結(jié) 語

提出了基于增強(qiáng)現(xiàn)實(shí)技術(shù)的裝配檢修系統(tǒng)，首先對增強(qiáng)現(xiàn)實(shí)技術(shù)國內(nèi)外研究情況進(jìn)行調(diào)研，發(fā)現(xiàn)增強(qiáng)現(xiàn)實(shí)技術(shù)在工業(yè)生產(chǎn)特別是裝配檢修過程具有很好的輔助指導(dǎo)作用，然后結(jié)合企業(yè)新進(jìn)員工在效率低和出錯(cuò)率高方面的問題，開發(fā)了基于增強(qiáng)現(xiàn)實(shí)技術(shù)的裝配檢修系統(tǒng)；最后將裝配檢修系統(tǒng)移植到移動(dòng)終端，并使用兩個(gè)實(shí)驗(yàn)進(jìn)行驗(yàn)證，通過新進(jìn)員工的使用反饋，基于BT-300 AR智能眼鏡的裝配檢修系統(tǒng)具有較好的交互性和沉浸性，能夠讓新進(jìn)員工更好地了解企業(yè)產(chǎn)品的結(jié)構(gòu)和裝配檢修工藝，提高了裝配檢修的效率，降低了裝配檢修出錯(cuò)率，對實(shí)際操作具有一定的指導(dǎo)意義和輔助作用。

目前的增強(qiáng)現(xiàn)實(shí)技術(shù)雖然已快速發(fā)展，但仍有許多問題未解決，如虛實(shí)結(jié)合受環(huán)境的影響比較大等，只能在特定環(huán)境下使用，但隨著增強(qiáng)現(xiàn)實(shí)算法的不斷優(yōu)化和移動(dòng)終端設(shè)備的不斷升級(jí)與完善，增強(qiáng)現(xiàn)實(shí)類產(chǎn)品的普及是必然的趨勢。

參考文獻(xiàn)(References):

[1] 王博.中國機(jī)械制造行業(yè)現(xiàn)狀分析及未來發(fā)展趨勢[J].企業(yè)技術(shù)開發(fā),2013,32(21):9—10

WANG B.Analysis of the Current Situation and Future Development Trend of China’s Machinery Manufacturing Industry[J].Technological Development of Enterprise，2013，2(21):9—10(in Chinese)

[2] WAGNER D，SCHMALSTIEG D.ARTool Kit Plus for Pose Tracking on Mobilephones[C]//Proceedings of the 2nd IEEE Intl.Augmented Reality Toolkit Workshop，Tokyo,2003

[3] WANG J，BENNETT K J.A Virtual Reality Study on Santa Maria Crater on Mars[J].Virtual Reality，2013(12):105—106

[4] BRANS E，BROMBACH B，ZEIDLER T，et al.Enabling Mobile Phones to Support Large-Scale Museum Guidance[J].IEEE Multimedia，2007，14(2):16—25

[5] 王楚迪.移動(dòng)增強(qiáng)現(xiàn)實(shí)跟蹤注冊技術(shù)的研究與應(yīng)用[D].沈陽:沈陽工業(yè)大學(xué),2017

WANG C D.Research and Application of Mobile Augmented Reality’s Tracking and Registration Technology[D].Shenyang:Shenyang University of Technology,2017(in Chinese)

[6] 侯穎,許威威.增強(qiáng)現(xiàn)實(shí)技術(shù)綜述[J].計(jì)算機(jī)測量與控制,2017,25(2):1—22

HOU Y，XU W W.A Survey of Augmented Reality Technology[J].Computer Measurement & Control，2017,25(2):1—22(in Chinese)

[7] 慕競瑋.增強(qiáng)現(xiàn)實(shí)技術(shù)發(fā)展分析及預(yù)測[J].軟件導(dǎo)刊,2018,17(3):4—7

MU J W.Analysis and Prediction of Augmented Reality at Home and Abroad[J].Software Guide,2018,17(3):4—7(in Chinese)

[8] 周洋.增強(qiáng)現(xiàn)實(shí)技術(shù)(AR)在游戲上的運(yùn)用研究[J].無線互聯(lián)網(wǎng)科技,2016(7):114—115

ZHOU Y.Research on the Use of Augmented Reality(AR)in the Game[J].Wireless Internet Technology,2016(7):114—115(in Chinese)

[9] 周忠,周頤,肖江劍.虛擬現(xiàn)實(shí)增強(qiáng)技術(shù)綜述[J].中國科學(xué):信息科學(xué),2015,45(2):157—180

ZHOU Z,ZHOU Y,XIAO J J.Survey on Augmented Virtual Environment and Augmented Reality[J].Scientia Sinica Informationis，2015,45(2):157—180(in Chinese)

[10] 陳洪,馬欽,朱德海.基于Unity3D的交互式農(nóng)業(yè)仿真平臺(tái)研究[J].農(nóng)機(jī)化研究,2012，32(3):184—186

CHEN H，MA Q，ZHU D H.Research of Interactive Virtual Agriculture Simulation Platform Based on Unity3D[J].Journal of Agricultural Mechanization Research,2012，32(3):184—186(in Chinese)