基于增強(qiáng)現(xiàn)實(shí)技術(shù)的設(shè)備遠(yuǎn)程協(xié)同維修系統(tǒng)

陳睿澤 梁劍濤 惠博涵 任宇

摘要：傳統(tǒng)模式下的大型機(jī)械維修往往需要對(duì)維修工人耗費(fèi)大量時(shí)間培訓(xùn)，維修時(shí)，工人仍需查閱厚重的維修指南。對(duì)于更為精密的設(shè)備，專(zhuān)家還需專(zhuān)赴現(xiàn)場(chǎng)進(jìn)行指導(dǎo)。本文介紹了一種通過(guò)增強(qiáng)現(xiàn)實(shí)（AR）技術(shù)構(gòu)建的維修指導(dǎo)平臺(tái)，適用于復(fù)雜機(jī)電裝備的遠(yuǎn)程指導(dǎo)裝配與維修。工作時(shí)，維修工人通過(guò)AR眼鏡等設(shè)備接受來(lái)自專(zhuān)家端的AR標(biāo)志及來(lái)自電子手冊(cè)的維修指導(dǎo)，以快速尋找到故障點(diǎn)并維修，減少傳統(tǒng)方式所需的人力物力及財(cái)力。

關(guān)鍵詞：增強(qiáng)現(xiàn)實(shí);遠(yuǎn)程指導(dǎo);裝配維修

中圖分類(lèi)號(hào)：TP391.9? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號(hào)：1674-957X（2021）10-0166-02

0  引言

增強(qiáng)現(xiàn)實(shí)（AR）技術(shù)借助計(jì)算機(jī)圖形圖像與數(shù)據(jù)交互技術(shù)，將虛擬信息實(shí)時(shí)映射到真實(shí)場(chǎng)景中，兩種信息相互補(bǔ)充，增加了人類(lèi)感知真實(shí)場(chǎng)景的信息量與理解程度。將AR技術(shù)應(yīng)用于復(fù)雜裝備維修，可在一定程度上解決新型復(fù)雜裝備維修人員少、技術(shù)資料海量等問(wèn)題，提高維修效率。

在維修業(yè)內(nèi)，無(wú)論是在技術(shù)培訓(xùn)中還是遠(yuǎn)程維修協(xié)作中，或是預(yù)覽產(chǎn)品構(gòu)型，AR技術(shù)的應(yīng)用前景正在日趨擴(kuò)大。所以，我們欲結(jié)合AR眼鏡等硬件，配合軟件輔助，搭載成集遠(yuǎn)程技術(shù)指導(dǎo)、解放雙手的自然交互以及輔助決策的維修平臺(tái)。

1? 相關(guān)研究

2000年Fussell等[1，2]的研究表明基于實(shí)時(shí)視頻流的協(xié)同模式可以提高任務(wù)完成的效率。在此之后，結(jié)合投影儀和可穿戴AR設(shè)備的工作模式開(kāi)始出現(xiàn)。2008年Desney[3]等人描述了遠(yuǎn)程交互方式的的效率性以及其評(píng)價(jià)方法，并通過(guò)實(shí)驗(yàn)測(cè)試了不同交互方式的效率。2012年，John[4]等人試圖研究以機(jī)器人為中介的遠(yuǎn)程交互，研究表明，人類(lèi)能夠理解遠(yuǎn)程機(jī)器人手勢(shì)，并且重要的是，可以將這些手勢(shì)與共同出現(xiàn)的語(yǔ)音相結(jié)合，論證了機(jī)器自主推送維修方案的可能性。Wang Peng[5]等又提出了一種基于投影儀的混合現(xiàn)實(shí)遠(yuǎn)程協(xié)作系統(tǒng)，該系統(tǒng)使遠(yuǎn)程用戶可以使用手勢(shì)和頭部指向協(xié)作完成物理任務(wù)，并驗(yàn)證了其效率性。國(guó)內(nèi)的柳有權(quán)[6]等學(xué)者也設(shè)計(jì)了多種手勢(shì)指向使得遠(yuǎn)程協(xié)同維修更具直觀性。以上大量理論性的研究為此后AR遠(yuǎn)程協(xié)同交互的具體應(yīng)用打下了基礎(chǔ)。

在實(shí)際應(yīng)用領(lǐng)域，眾多國(guó)際先進(jìn)制造企業(yè)也已經(jīng)著手利用AR技術(shù)提高維修工作和技術(shù)培訓(xùn)的效率[7]?？湛屠檬殖质降腁R設(shè)備上的傳感器跟蹤使用者的運(yùn)動(dòng)和所處環(huán)境，在產(chǎn)品上顯示相關(guān)部件的3D模型以及相關(guān)數(shù)據(jù)和信息，幫助工程師順利完成施工和檢查。法荷航維修工程公司在所有維修人員培訓(xùn)中使用混合現(xiàn)實(shí)和虛擬現(xiàn)實(shí)技術(shù)，受訓(xùn)者只需要5天時(shí)間便可完成全部培訓(xùn)課程。

2? 本文方法

2.1 調(diào)研結(jié)果及分析

結(jié)合前期市場(chǎng)調(diào)研的反饋結(jié)果，我們總結(jié)出裝備的遠(yuǎn)程維修主要存在以下需求：①產(chǎn)品現(xiàn)場(chǎng)故障診斷困難，普通技術(shù)人員較難解決;②現(xiàn)場(chǎng)維護(hù)人員技能培訓(xùn)需要較長(zhǎng)周期，且流動(dòng)性大;③傳統(tǒng)產(chǎn)品使用手冊(cè)查閱難、搜索難、理解難;④產(chǎn)品故障現(xiàn)場(chǎng)經(jīng)常出現(xiàn)“小問(wèn)題，大成本”的現(xiàn)象;⑤產(chǎn)品售后技術(shù)支持不及時(shí)，影響客戶滿意度及品牌形象;⑥技術(shù)專(zhuān)家的寶貴知識(shí)與經(jīng)驗(yàn)較難保留和傳承。

根據(jù)以上結(jié)果，該平臺(tái)應(yīng)達(dá)到以下目標(biāo)：①使現(xiàn)場(chǎng)可視化：專(zhuān)家端可以以第一視角的方式看到工作現(xiàn)場(chǎng)，實(shí)時(shí)給予指導(dǎo)，降低錯(cuò)誤率，同時(shí)也省去了專(zhuān)家往返兩地的時(shí)間與路費(fèi)。②支持解放雙手的自然交互方式：現(xiàn)場(chǎng)操作人員頭戴AR眼鏡，通過(guò)凝視、手勢(shì)、語(yǔ)音方式與專(zhuān)家端交互。③支持輔助決策：針對(duì)設(shè)備的操作規(guī)程及維修步驟，制作基于AR的三維可視化的交互式電子手冊(cè)，系統(tǒng)會(huì)根據(jù)要求自動(dòng)推送正確操作的流程。

2.2 系統(tǒng)結(jié)構(gòu)化設(shè)計(jì)

本平臺(tái)分為操作端、服務(wù)端以及專(zhuān)家端三模塊，并且整合了AR眼鏡等硬件設(shè)備實(shí)現(xiàn)遠(yuǎn)程提供技術(shù)指導(dǎo)和輔助決策，從而快捷、高效地進(jìn)行設(shè)備的遠(yuǎn)程維修指導(dǎo)，工業(yè)巡檢等工作。

2.3 操作端設(shè)計(jì)

操作端作為產(chǎn)品的前端，主要有數(shù)據(jù)采集和數(shù)據(jù)展示的功能。操作端采集第一人稱(chēng)視頻，并與專(zhuān)家端雙方實(shí)時(shí)通話;接收專(zhuān)家發(fā)出的圈注、標(biāo)記。基于5G通信的高速率、低延時(shí)，實(shí)時(shí)畫(huà)面較為流暢。

現(xiàn)場(chǎng)維修人員頭戴AR眼鏡通過(guò)凝視、手勢(shì)、語(yǔ)音方式與虛擬設(shè)備進(jìn)行交互，此操作也可在手機(jī)、平板上進(jìn)行。而且當(dāng)圖像識(shí)別匹配當(dāng)前有故障的零部件或故障點(diǎn)時(shí)，還可自動(dòng)激活電子手冊(cè)專(zhuān)家?guī)熘信c當(dāng)前故障部件相關(guān)的操作、維修或保養(yǎng)方式的指導(dǎo)程序，進(jìn)行輔助決策。

AR智能眼鏡完全解放了裝配人員或維修人員的雙手，特別是做攀爬的維修作業(yè)時(shí)，使其集中精力完成任務(wù)，根據(jù)裝配人員或維修人員的需求，隨時(shí)將信息推送到眼前，從而提高工作效率。

2.3.1 數(shù)據(jù)采集

數(shù)據(jù)采集包括音視頻采集、音視頻處理和音視頻發(fā)送。通過(guò)操作端設(shè)備自帶的相機(jī)和麥克風(fēng)等追蹤用戶的聲音、動(dòng)作和周?chē)h(huán)境，并利用聲網(wǎng)提供的軟件開(kāi)發(fā)工具包（Agora Video SDK），調(diào)用其中函數(shù)并做處理，借助工具包中豐富的應(yīng)用程序編程接口（API）組合，運(yùn)用視頻通話等接口，實(shí)現(xiàn)音視頻處理及發(fā)送。

2.3.2 數(shù)據(jù)展示

平臺(tái)集成聲網(wǎng)視頻會(huì)議SDK，通過(guò)Vuforia處理信息，在AR眼鏡中或者手機(jī)客戶端軟件內(nèi)顯示專(zhuān)家發(fā)送的三維標(biāo)注。每一次維修案例都是寶貴的經(jīng)驗(yàn)，維修人員可以通過(guò)截屏以及錄屏等方式保存指導(dǎo)過(guò)程，并可以通過(guò)時(shí)間、故障類(lèi)型、專(zhuān)家姓名等方式進(jìn)行檢索。此外，維修人員還可在操作端選定三維可視化的交互式電子手冊(cè)專(zhuān)家?guī)欤榭垂ぷ髁鞒?，在用戶進(jìn)行任務(wù)時(shí)，系統(tǒng)自動(dòng)檢測(cè)用戶的每一步操作，并進(jìn)行步驟提示。

2.4 服務(wù)端設(shè)計(jì)

服務(wù)端是部署在服務(wù)器上的后臺(tái)管理軟件，為客戶端和專(zhuān)家端提供服務(wù)，如管理用戶ID，充當(dāng)數(shù)據(jù)轉(zhuǎn)發(fā)中介以及儲(chǔ)存電子手冊(cè)專(zhuān)家端信息等。

2.4.1 后臺(tái)管理服務(wù)

后臺(tái)管理系統(tǒng)最大的作用是對(duì)用戶進(jìn)行管理，其數(shù)據(jù)庫(kù)對(duì)每個(gè)用戶的使用情況進(jìn)行追蹤，實(shí)現(xiàn)用戶ID與動(dòng)態(tài)ID綁定，建立用戶ID列表，并使用My SQL語(yǔ)言實(shí)現(xiàn)對(duì)用戶角色訪問(wèn)權(quán)限的控制。

2.4.2 數(shù)據(jù)轉(zhuǎn)發(fā)

平臺(tái)集成Agora Video SDK中的Chat接口以及文檔、圖片發(fā)送等通道，同時(shí)也在Unity平臺(tái)上將Agora Video SDK和AR標(biāo)注的功能集成，從而形成數(shù)據(jù)傳輸服務(wù)器來(lái)實(shí)現(xiàn)技術(shù)人員和專(zhuān)家之間的實(shí)時(shí)視頻通話交流。

數(shù)據(jù)傳輸服務(wù)器是一種計(jì)算機(jī)實(shí)施的信息傳輸方法，包括在服務(wù)器上對(duì)選擇規(guī)則進(jìn)行評(píng)估，以便選擇數(shù)據(jù)流和確定數(shù)據(jù)流內(nèi)容。該方法還包括將數(shù)據(jù)流內(nèi)容送至另一個(gè)計(jì)算機(jī)以便向用戶呈現(xiàn)。

2.4.3 電子手冊(cè)專(zhuān)家?guī)?/p>

電子手冊(cè)專(zhuān)家?guī)熘С謱?zhuān)家自主構(gòu)建術(shù)語(yǔ)、圖片、視頻等維修知識(shí)庫(kù)。可由專(zhuān)家端入口上傳，在操作員進(jìn)行維修任務(wù)時(shí)，系統(tǒng)自動(dòng)檢測(cè)用戶的每一步操作，并進(jìn)行步驟提示。

2.5 專(zhuān)家端設(shè)計(jì)

專(zhuān)家端是部署在移動(dòng)設(shè)備及個(gè)人電腦上的專(zhuān)家指導(dǎo)客戶端軟件，可以由一位或多位技術(shù)專(zhuān)家參與遠(yuǎn)程指導(dǎo)技術(shù)。專(zhuān)家可以在專(zhuān)家端軟件界面看到來(lái)自操作端維修人員第一視角的視頻，通過(guò)實(shí)現(xiàn)凍屏標(biāo)注、三維標(biāo)注等功能指導(dǎo)維修人員參與維修。

專(zhuān)家端上可進(jìn)行凍屏標(biāo)注，進(jìn)行二維手勢(shì)交互，將標(biāo)注內(nèi)容采集保存后將其處理成若干個(gè)坐標(biāo)點(diǎn)發(fā)送至服務(wù)端。利用服務(wù)端中在Unity平臺(tái)上將Agora Video SDK和AR標(biāo)注的功能集成，通過(guò)手勢(shì)識(shí)別算法，結(jié)合操作端采集的三維空間信息，將繪制的線條轉(zhuǎn)化為相應(yīng)的動(dòng)態(tài)三維標(biāo)識(shí)，再轉(zhuǎn)發(fā)到操作端設(shè)備上。區(qū)別于普通的二維標(biāo)識(shí)，該標(biāo)識(shí)具有三維信息，可從各個(gè)視角觀察。

3? 實(shí)驗(yàn)與分析

為了驗(yàn)證該平臺(tái)的確可以為使用者節(jié)省時(shí)間以及提供便利性，本文設(shè)計(jì)了智能小車(chē)裝配的實(shí)驗(yàn)。

本實(shí)驗(yàn)選取了五十位從未接觸過(guò)智能小車(chē)裝配的人員，平均分兩組參加實(shí)驗(yàn)。一組通過(guò)該平臺(tái)由一位經(jīng)常進(jìn)行小車(chē)裝配的“專(zhuān)家”進(jìn)行遠(yuǎn)程指導(dǎo)，另一組作為對(duì)照組只提供紙質(zhì)版的裝配手冊(cè)，分別記錄兩組的裝配時(shí)間。在裝配完成之后，各組組員再分別從直觀性和便利性兩方面為兩組裝配指導(dǎo)方式進(jìn)行評(píng)分。

①將定時(shí)器插頭插入主板接收孔里。

②將定時(shí)器固定到指定位置。

③逆時(shí)針擰緊螺絲。

④將車(chē)輪固定至指定位置。

結(jié)果顯示，使用本文方法的人員平均裝配時(shí)長(zhǎng)為237.8秒，直觀性平均分為7.6分，便利性平均分為7.6分;而使用傳統(tǒng)紙質(zhì)手冊(cè)的人員平均裝配時(shí)長(zhǎng)達(dá)到303.4秒，直觀性與便利性平均分僅為3.8分與4.4分。

由實(shí)驗(yàn)結(jié)果可知，在用戶反饋之中，無(wú)論是直觀性還是便利性，使用本平臺(tái)都要遠(yuǎn)優(yōu)于傳統(tǒng)紙質(zhì)書(shū)方法。另外，使用本文的方法可提高約22%的裝配效率。

4? 結(jié)語(yǔ)

本文根據(jù)前期調(diào)研，提出了一種基于增強(qiáng)現(xiàn)實(shí)技術(shù)的遠(yuǎn)程協(xié)同維修系統(tǒng)。使用時(shí)，操作端的維修工人可以通過(guò)AR眼鏡等設(shè)備收到來(lái)自專(zhuān)家端具有空間錨點(diǎn)功能的三維立體指導(dǎo)以及來(lái)自服務(wù)端自動(dòng)推送的電子手冊(cè)專(zhuān)家?guī)觳襟E提示。較大程度地提高了效率以及直觀性和便利性。

未來(lái)平臺(tái)將繼續(xù)拓展電子手冊(cè)專(zhuān)家?guī)?，并向信息分享模式化的方向上進(jìn)步。計(jì)劃到達(dá)項(xiàng)目中期時(shí)，專(zhuān)家?guī)熘袑@得較大規(guī)模操作信息，可向外部租用或分享數(shù)據(jù)庫(kù)。到達(dá)項(xiàng)目后期，平臺(tái)將融入人工智能及深層思考技術(shù)，使平臺(tái)完全自主推送維修教程，無(wú)需專(zhuān)家加入。

參考文獻(xiàn)：

[1]FUSSELL SR， KRAUT RE， SIEGEL J. Coordination of communication： effects of shared visual context on collaborative work[C]//ACM conference on Computer Supported Cooperative Work. New York： ACM Press， 2000： 21-30.

[2]KRAUT RE， FUSSELL SR， SIEGEL J. Visual information as a conversational resource in collaborative physical tasks[J]. Human-Computer Interaction， 2003， 18（1-2）：13-49.

[3]Desney S. Tan，Darren Gergle， Regan Mandryk，Kori Inkpen，Melanie Kellar，Kirstie Hawkey， Mary Czerwinski. Using job-shop scheduling tasks for evaluating collocated collaboration[J]. Personal and Ubiquitous Computing， 2008， 12（3）.

[4]John-John Cabibihan，Wing-Chee So，Sujin Saj，Zhengchen Zhang. Telerobotic Pointing Gestures Shape Human Spatial Cognition[J]. International Journal of Social Robotics， 2012， 4（3）.

[5]Peng Wang， Shusheng Zhang， Xiaoliang Bai， Mark Billinghurst，Li Zhang， Shuxia Wang，Dechuan Han， Hao Lv，Yuxiang Yan. A gesture-and head-based multimodal interaction platform for MR remote collaboration[J]. The International Journal of Advanced Manufacturing Technology， 2019， 105（7-8）.

[6]柳有權(quán)，王愿超，徐琨，劉正雄，黃攀峰.基于混合現(xiàn)實(shí)的遠(yuǎn)程協(xié)同式裝配維修引導(dǎo)[J/OL].圖學(xué)學(xué)報(bào)：1-7[2021-03-29].

[7]Lindsay Bjerregaard，藍(lán)楠.VR/AR技術(shù)正在走進(jìn)MRO領(lǐng)域[J].航空維修與工程，2018（07）：28-29.