基于增強現(xiàn)實技術(shù)的設(shè)備遠(yuǎn)程協(xié)同維修系統(tǒng)

陳睿澤 梁劍濤 惠博涵 任宇

摘要：傳統(tǒng)模式下的大型機械維修往往需要對維修工人耗費大量時間培訓(xùn)，維修時，工人仍需查閱厚重的維修指南。對于更為精密的設(shè)備，專家還需專赴現(xiàn)場進(jìn)行指導(dǎo)。本文介紹了一種通過增強現(xiàn)實（AR）技術(shù)構(gòu)建的維修指導(dǎo)平臺，適用于復(fù)雜機電裝備的遠(yuǎn)程指導(dǎo)裝配與維修。工作時，維修工人通過AR眼鏡等設(shè)備接受來自專家端的AR標(biāo)志及來自電子手冊的維修指導(dǎo)，以快速尋找到故障點并維修，減少傳統(tǒng)方式所需的人力物力及財力。

關(guān)鍵詞：增強現(xiàn)實;遠(yuǎn)程指導(dǎo);裝配維修

中圖分類號：TP391.9? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號：1674-957X（2021）10-0166-02

0  引言

增強現(xiàn)實（AR）技術(shù)借助計算機圖形圖像與數(shù)據(jù)交互技術(shù)，將虛擬信息實時映射到真實場景中，兩種信息相互補充，增加了人類感知真實場景的信息量與理解程度。將AR技術(shù)應(yīng)用于復(fù)雜裝備維修，可在一定程度上解決新型復(fù)雜裝備維修人員少、技術(shù)資料海量等問題，提高維修效率。

在維修業(yè)內(nèi)，無論是在技術(shù)培訓(xùn)中還是遠(yuǎn)程維修協(xié)作中，或是預(yù)覽產(chǎn)品構(gòu)型，AR技術(shù)的應(yīng)用前景正在日趨擴大。所以，我們欲結(jié)合AR眼鏡等硬件，配合軟件輔助，搭載成集遠(yuǎn)程技術(shù)指導(dǎo)、解放雙手的自然交互以及輔助決策的維修平臺。

1? 相關(guān)研究

2000年Fussell等[1，2]的研究表明基于實時視頻流的協(xié)同模式可以提高任務(wù)完成的效率。在此之后，結(jié)合投影儀和可穿戴AR設(shè)備的工作模式開始出現(xiàn)。2008年Desney[3]等人描述了遠(yuǎn)程交互方式的的效率性以及其評價方法，并通過實驗測試了不同交互方式的效率。2012年，John[4]等人試圖研究以機器人為中介的遠(yuǎn)程交互，研究表明，人類能夠理解遠(yuǎn)程機器人手勢，并且重要的是，可以將這些手勢與共同出現(xiàn)的語音相結(jié)合，論證了機器自主推送維修方案的可能性。Wang Peng[5]等又提出了一種基于投影儀的混合現(xiàn)實遠(yuǎn)程協(xié)作系統(tǒng)，該系統(tǒng)使遠(yuǎn)程用戶可以使用手勢和頭部指向協(xié)作完成物理任務(wù)，并驗證了其效率性。國內(nèi)的柳有權(quán)[6]等學(xué)者也設(shè)計了多種手勢指向使得遠(yuǎn)程協(xié)同維修更具直觀性。以上大量理論性的研究為此后AR遠(yuǎn)程協(xié)同交互的具體應(yīng)用打下了基礎(chǔ)。

在實際應(yīng)用領(lǐng)域，眾多國際先進(jìn)制造企業(yè)也已經(jīng)著手利用AR技術(shù)提高維修工作和技術(shù)培訓(xùn)的效率[7]。空客利用手持式的AR設(shè)備上的傳感器跟蹤使用者的運動和所處環(huán)境，在產(chǎn)品上顯示相關(guān)部件的3D模型以及相關(guān)數(shù)據(jù)和信息，幫助工程師順利完成施工和檢查。法荷航維修工程公司在所有維修人員培訓(xùn)中使用混合現(xiàn)實和虛擬現(xiàn)實技術(shù)，受訓(xùn)者只需要5天時間便可完成全部培訓(xùn)課程。

2? 本文方法

2.1 調(diào)研結(jié)果及分析

結(jié)合前期市場調(diào)研的反饋結(jié)果，我們總結(jié)出裝備的遠(yuǎn)程維修主要存在以下需求：①產(chǎn)品現(xiàn)場故障診斷困難，普通技術(shù)人員較難解決;②現(xiàn)場維護(hù)人員技能培訓(xùn)需要較長周期，且流動性大;③傳統(tǒng)產(chǎn)品使用手冊查閱難、搜索難、理解難;④產(chǎn)品故障現(xiàn)場經(jīng)常出現(xiàn)“小問題，大成本”的現(xiàn)象;⑤產(chǎn)品售后技術(shù)支持不及時，影響客戶滿意度及品牌形象;⑥技術(shù)專家的寶貴知識與經(jīng)驗較難保留和傳承。

根據(jù)以上結(jié)果，該平臺應(yīng)達(dá)到以下目標(biāo)：①使現(xiàn)場可視化：專家端可以以第一視角的方式看到工作現(xiàn)場，實時給予指導(dǎo)，降低錯誤率，同時也省去了專家往返兩地的時間與路費。②支持解放雙手的自然交互方式：現(xiàn)場操作人員頭戴AR眼鏡，通過凝視、手勢、語音方式與專家端交互。③支持輔助決策：針對設(shè)備的操作規(guī)程及維修步驟，制作基于AR的三維可視化的交互式電子手冊，系統(tǒng)會根據(jù)要求自動推送正確操作的流程。

2.2 系統(tǒng)結(jié)構(gòu)化設(shè)計

本平臺分為操作端、服務(wù)端以及專家端三模塊，并且整合了AR眼鏡等硬件設(shè)備實現(xiàn)遠(yuǎn)程提供技術(shù)指導(dǎo)和輔助決策，從而快捷、高效地進(jìn)行設(shè)備的遠(yuǎn)程維修指導(dǎo)，工業(yè)巡檢等工作。

2.3 操作端設(shè)計

操作端作為產(chǎn)品的前端，主要有數(shù)據(jù)采集和數(shù)據(jù)展示的功能。操作端采集第一人稱視頻，并與專家端雙方實時通話;接收專家發(fā)出的圈注、標(biāo)記?；?G通信的高速率、低延時，實時畫面較為流暢。

現(xiàn)場維修人員頭戴AR眼鏡通過凝視、手勢、語音方式與虛擬設(shè)備進(jìn)行交互，此操作也可在手機、平板上進(jìn)行。而且當(dāng)圖像識別匹配當(dāng)前有故障的零部件或故障點時，還可自動激活電子手冊專家?guī)熘信c當(dāng)前故障部件相關(guān)的操作、維修或保養(yǎng)方式的指導(dǎo)程序，進(jìn)行輔助決策。

AR智能眼鏡完全解放了裝配人員或維修人員的雙手，特別是做攀爬的維修作業(yè)時，使其集中精力完成任務(wù)，根據(jù)裝配人員或維修人員的需求，隨時將信息推送到眼前，從而提高工作效率。

2.3.1 數(shù)據(jù)采集

數(shù)據(jù)采集包括音視頻采集、音視頻處理和音視頻發(fā)送。通過操作端設(shè)備自帶的相機和麥克風(fēng)等追蹤用戶的聲音、動作和周圍環(huán)境，并利用聲網(wǎng)提供的軟件開發(fā)工具包（Agora Video SDK），調(diào)用其中函數(shù)并做處理，借助工具包中豐富的應(yīng)用程序編程接口（API）組合，運用視頻通話等接口，實現(xiàn)音視頻處理及發(fā)送。

2.3.2 數(shù)據(jù)展示

平臺集成聲網(wǎng)視頻會議SDK，通過Vuforia處理信息，在AR眼鏡中或者手機客戶端軟件內(nèi)顯示專家發(fā)送的三維標(biāo)注。每一次維修案例都是寶貴的經(jīng)驗，維修人員可以通過截屏以及錄屏等方式保存指導(dǎo)過程，并可以通過時間、故障類型、專家姓名等方式進(jìn)行檢索。此外，維修人員還可在操作端選定三維可視化的交互式電子手冊專家?guī)?，查看工作流程，在用戶進(jìn)行任務(wù)時，系統(tǒng)自動檢測用戶的每一步操作，并進(jìn)行步驟提示。

2.4 服務(wù)端設(shè)計

服務(wù)端是部署在服務(wù)器上的后臺管理軟件，為客戶端和專家端提供服務(wù)，如管理用戶ID，充當(dāng)數(shù)據(jù)轉(zhuǎn)發(fā)中介以及儲存電子手冊專家端信息等。

2.4.1 后臺管理服務(wù)

后臺管理系統(tǒng)最大的作用是對用戶進(jìn)行管理，其數(shù)據(jù)庫對每個用戶的使用情況進(jìn)行追蹤，實現(xiàn)用戶ID與動態(tài)ID綁定，建立用戶ID列表，并使用My SQL語言實現(xiàn)對用戶角色訪問權(quán)限的控制。

2.4.2 數(shù)據(jù)轉(zhuǎn)發(fā)

平臺集成Agora Video SDK中的Chat接口以及文檔、圖片發(fā)送等通道，同時也在Unity平臺上將Agora Video SDK和AR標(biāo)注的功能集成，從而形成數(shù)據(jù)傳輸服務(wù)器來實現(xiàn)技術(shù)人員和專家之間的實時視頻通話交流。

數(shù)據(jù)傳輸服務(wù)器是一種計算機實施的信息傳輸方法，包括在服務(wù)器上對選擇規(guī)則進(jìn)行評估，以便選擇數(shù)據(jù)流和確定數(shù)據(jù)流內(nèi)容。該方法還包括將數(shù)據(jù)流內(nèi)容送至另一個計算機以便向用戶呈現(xiàn)。

2.4.3 電子手冊專家?guī)?/p>

電子手冊專家?guī)熘С謱＜易灾鳂?gòu)建術(shù)語、圖片、視頻等維修知識庫?？捎蓪＜叶巳肟谏蟼?，在操作員進(jìn)行維修任務(wù)時，系統(tǒng)自動檢測用戶的每一步操作，并進(jìn)行步驟提示。

2.5 專家端設(shè)計

專家端是部署在移動設(shè)備及個人電腦上的專家指導(dǎo)客戶端軟件，可以由一位或多位技術(shù)專家參與遠(yuǎn)程指導(dǎo)技術(shù)。專家可以在專家端軟件界面看到來自操作端維修人員第一視角的視頻，通過實現(xiàn)凍屏標(biāo)注、三維標(biāo)注等功能指導(dǎo)維修人員參與維修。

專家端上可進(jìn)行凍屏標(biāo)注，進(jìn)行二維手勢交互，將標(biāo)注內(nèi)容采集保存后將其處理成若干個坐標(biāo)點發(fā)送至服務(wù)端。利用服務(wù)端中在Unity平臺上將Agora Video SDK和AR標(biāo)注的功能集成，通過手勢識別算法，結(jié)合操作端采集的三維空間信息，將繪制的線條轉(zhuǎn)化為相應(yīng)的動態(tài)三維標(biāo)識，再轉(zhuǎn)發(fā)到操作端設(shè)備上。區(qū)別于普通的二維標(biāo)識，該標(biāo)識具有三維信息，可從各個視角觀察。

3? 實驗與分析

為了驗證該平臺的確可以為使用者節(jié)省時間以及提供便利性，本文設(shè)計了智能小車裝配的實驗。

本實驗選取了五十位從未接觸過智能小車裝配的人員，平均分兩組參加實驗。一組通過該平臺由一位經(jīng)常進(jìn)行小車裝配的“專家”進(jìn)行遠(yuǎn)程指導(dǎo)，另一組作為對照組只提供紙質(zhì)版的裝配手冊，分別記錄兩組的裝配時間。在裝配完成之后，各組組員再分別從直觀性和便利性兩方面為兩組裝配指導(dǎo)方式進(jìn)行評分。

①將定時器插頭插入主板接收孔里。

②將定時器固定到指定位置。

③逆時針擰緊螺絲。

④將車輪固定至指定位置。

結(jié)果顯示，使用本文方法的人員平均裝配時長為237.8秒，直觀性平均分為7.6分，便利性平均分為7.6分;而使用傳統(tǒng)紙質(zhì)手冊的人員平均裝配時長達(dá)到303.4秒，直觀性與便利性平均分僅為3.8分與4.4分。

由實驗結(jié)果可知，在用戶反饋之中，無論是直觀性還是便利性，使用本平臺都要遠(yuǎn)優(yōu)于傳統(tǒng)紙質(zhì)書方法。另外，使用本文的方法可提高約22%的裝配效率。

4? 結(jié)語

本文根據(jù)前期調(diào)研，提出了一種基于增強現(xiàn)實技術(shù)的遠(yuǎn)程協(xié)同維修系統(tǒng)。使用時，操作端的維修工人可以通過AR眼鏡等設(shè)備收到來自專家端具有空間錨點功能的三維立體指導(dǎo)以及來自服務(wù)端自動推送的電子手冊專家?guī)觳襟E提示。較大程度地提高了效率以及直觀性和便利性。

未來平臺將繼續(xù)拓展電子手冊專家?guī)?，并向信息分享模式化的方向上進(jìn)步。計劃到達(dá)項目中期時，專家?guī)熘袑@得較大規(guī)模操作信息，可向外部租用或分享數(shù)據(jù)庫。到達(dá)項目后期，平臺將融入人工智能及深層思考技術(shù)，使平臺完全自主推送維修教程，無需專家加入。

參考文獻(xiàn)：

[1]FUSSELL SR， KRAUT RE， SIEGEL J. Coordination of communication： effects of shared visual context on collaborative work[C]//ACM conference on Computer Supported Cooperative Work. New York： ACM Press， 2000： 21-30.

[2]KRAUT RE， FUSSELL SR， SIEGEL J. Visual information as a conversational resource in collaborative physical tasks[J]. Human-Computer Interaction， 2003， 18（1-2）：13-49.

[3]Desney S. Tan，Darren Gergle， Regan Mandryk，Kori Inkpen，Melanie Kellar，Kirstie Hawkey， Mary Czerwinski. Using job-shop scheduling tasks for evaluating collocated collaboration[J]. Personal and Ubiquitous Computing， 2008， 12（3）.

[4]John-John Cabibihan，Wing-Chee So，Sujin Saj，Zhengchen Zhang. Telerobotic Pointing Gestures Shape Human Spatial Cognition[J]. International Journal of Social Robotics， 2012， 4（3）.

[5]Peng Wang， Shusheng Zhang， Xiaoliang Bai， Mark Billinghurst，Li Zhang， Shuxia Wang，Dechuan Han， Hao Lv，Yuxiang Yan. A gesture-and head-based multimodal interaction platform for MR remote collaboration[J]. The International Journal of Advanced Manufacturing Technology， 2019， 105（7-8）.

[6]柳有權(quán)，王愿超，徐琨，劉正雄，黃攀峰.基于混合現(xiàn)實的遠(yuǎn)程協(xié)同式裝配維修引導(dǎo)[J/OL].圖學(xué)學(xué)報：1-7[2021-03-29].

[7]Lindsay Bjerregaard，藍(lán)楠.VR/AR技術(shù)正在走進(jìn)MRO領(lǐng)域[J].航空維修與工程，2018（07）：28-29.