基于AR 技術(shù)的工業(yè)控制交互的智能化協(xié)同應(yīng)用

沈 毅 李華明 吳 罡 焦 亮

（湖南中煙工業(yè)有限責(zé)任公司長(zhǎng)沙卷煙廠，湖南 長(zhǎng)沙410007）

1 概述

當(dāng)前煙草工業(yè)對(duì)煙機(jī)裝備的管理維護(hù)處于精耕細(xì)作的狀態(tài)，但對(duì)于信息化和信息化技術(shù)的融合運(yùn)用，依存在傳統(tǒng)制造和精益化制造的實(shí)施階段，處于廠家配套加現(xiàn)場(chǎng)調(diào)配維修等平臺(tái)的系統(tǒng)狀態(tài)，對(duì)現(xiàn)有MES 系統(tǒng)的改善和拓展，停留在穩(wěn)步探索的迭代階段。而面向行業(yè)未來(lái)裝備的實(shí)際保障需求，因?yàn)樵O(shè)備資產(chǎn)面臨跨專業(yè)、跨平臺(tái)融合智能單機(jī)協(xié)同的工業(yè)升級(jí)挑戰(zhàn)，包括無(wú)人操作、AI 協(xié)同[1]、大數(shù)據(jù)等研究的技術(shù)推進(jìn)，提供了煙草工業(yè)主要裝備維護(hù)改進(jìn)的優(yōu)化空間及可選方案，包括設(shè)備的遠(yuǎn)程管理和協(xié)助控制的可視化用途研究，為目前工業(yè)生產(chǎn)控制的進(jìn)一步診斷提供了拓展空間。

2 案例研究和存在問(wèn)題

德國(guó)西門子某工廠通過(guò)提出遠(yuǎn)程專家協(xié)助系統(tǒng)的優(yōu)化需求，研發(fā)了AR（Augmented Reality）遠(yuǎn)程標(biāo)準(zhǔn)化作業(yè)系統(tǒng)，通過(guò)使用AR 智能眼鏡傳輸數(shù)據(jù)，指導(dǎo)工程師進(jìn)行設(shè)備安裝、維保、檢修等工作，主要案例包括運(yùn)用AR、MR 遠(yuǎn)程專家系統(tǒng)實(shí)現(xiàn)的德國(guó)克虜伯電梯維修實(shí)例[2]。實(shí)際工作中，發(fā)現(xiàn)問(wèn)題在于AR 眼鏡選配環(huán)境的適應(yīng)性，眼鏡電池用量、可觀察視距與視野FOV、語(yǔ)音控制的噪音干擾等都有影響。

中船某工廠遠(yuǎn)程數(shù)據(jù)可視化監(jiān)控系統(tǒng)，利用虛擬現(xiàn)實(shí)及現(xiàn)場(chǎng)三維圖像采集技術(shù)[3]，以沉浸式虛擬現(xiàn)實(shí)的方式實(shí)現(xiàn)監(jiān)控工廠現(xiàn)場(chǎng)情況，便于用戶隨時(shí)隨地使用系統(tǒng)觀察廠房當(dāng)前環(huán)境。該系統(tǒng)實(shí)現(xiàn)了遠(yuǎn)程工作人員的作業(yè)監(jiān)控指揮、遠(yuǎn)程三維可視化數(shù)據(jù)的實(shí)時(shí)同步、遠(yuǎn)程協(xié)同作業(yè)等，及時(shí)性數(shù)據(jù)的獲取提升了車間作業(yè)的效率，降低車間人員的管理成本和專業(yè)資源投入。此案例不足在于，設(shè)備及產(chǎn)線的變化修護(hù)無(wú)法同步到監(jiān)控系統(tǒng)獲得遠(yuǎn)程信息的及時(shí)更新，缺乏移動(dòng)式便攜操作的靈活性和可控度。

湖南中煙某工廠由于集中采購(gòu)、設(shè)備利舊與發(fā)展階段的原因，其制絲、卷接和包裝、甚至于高架庫(kù)倉(cāng)儲(chǔ)等生產(chǎn)車間主力裝備，多年未曾批量更新，同時(shí)，該廠設(shè)備維修的一線技術(shù)人員普遍存在年齡偏高、面臨未來(lái)離退休交接班的調(diào)整。由此，企業(yè)面臨生產(chǎn)裝備和維護(hù)團(tuán)隊(duì)的更新瓶頸，提升主力裝備的持續(xù)平穩(wěn)，培養(yǎng)接班人的知識(shí)轉(zhuǎn)換和經(jīng)驗(yàn)積累，是企業(yè)制訂未來(lái)五年計(jì)劃重點(diǎn)攻關(guān)目標(biāo)的明確方向。

解決問(wèn)題的目標(biāo)方案，就是對(duì)于某廠用戶的終端需求，研發(fā)一款適用于便攜式系統(tǒng)，能夠運(yùn)行在智能眼鏡和平板電腦平臺(tái)上的AR app[4]，通過(guò)采用設(shè)備維修的若干新技術(shù)，構(gòu)建一個(gè)多功能集成前沿技術(shù)的AR 系統(tǒng)應(yīng)用，歸納問(wèn)題庫(kù)、答案庫(kù)的收集，培育維修人員和設(shè)備專家的經(jīng)驗(yàn)庫(kù)和知識(shí)庫(kù)，檢驗(yàn)遠(yuǎn)程專家的多方協(xié)同交互功能，是否滿足需要。

3 解決方案與效果分析

3.1 系統(tǒng)設(shè)計(jì)

系統(tǒng)交互設(shè)計(jì)，AR 遠(yuǎn)程專家系統(tǒng)的用戶，通過(guò)語(yǔ)音和指示實(shí)時(shí)指示相應(yīng)的表達(dá)目標(biāo)，在智能眼鏡端的移動(dòng)視野中發(fā)布指示圖標(biāo)，達(dá)到輔助雙方指示目標(biāo)的作用。

系統(tǒng)安全設(shè)計(jì)，確保遠(yuǎn)程操作被記錄，傳輸數(shù)據(jù)被安全加密，只能選擇VPN 或堡壘主機(jī)進(jìn)行認(rèn)證傳輸。設(shè)備維護(hù)的過(guò)程記錄，將作為車間用戶對(duì)某臺(tái)設(shè)備的維修記錄，進(jìn)入設(shè)備經(jīng)驗(yàn)庫(kù)予以保存使用。網(wǎng)絡(luò)訪問(wèn)通過(guò)云應(yīng)用進(jìn)行授權(quán)和處理，通過(guò)某工廠域控制內(nèi)網(wǎng)實(shí)現(xiàn)遠(yuǎn)程訪問(wèn)單點(diǎn)控制。確保專家在任何地方遠(yuǎn)程解決突發(fā)故障時(shí)，無(wú)須趕到現(xiàn)場(chǎng)。

系統(tǒng)功能設(shè)計(jì)，現(xiàn)場(chǎng)設(shè)備用戶或設(shè)備維修專家在AR app發(fā)起聯(lián)機(jī)遠(yuǎn)程協(xié)助的申請(qǐng)，通過(guò)AR 眼鏡或安卓平板電腦，操作APP 遠(yuǎn)程查驗(yàn)故障案例，提供人工干預(yù)的動(dòng)作指導(dǎo)，完成遠(yuǎn)程協(xié)助控制的共享交互操作，共同實(shí)現(xiàn)未識(shí)別故障的遠(yuǎn)程維修。

3.2 架構(gòu)設(shè)計(jì)

AR app 遠(yuǎn)程協(xié)助和交互控制功能分四類：（1）遠(yuǎn)程視頻通話：通過(guò)視頻了解現(xiàn)場(chǎng)的狀況，通過(guò)語(yǔ)音了解對(duì)方的需求并解決問(wèn)題；（2）遠(yuǎn)程指導(dǎo)：在遠(yuǎn)程端通過(guò)繪圖或者圖標(biāo)指引的方式，配合語(yǔ)音，指點(diǎn)現(xiàn)場(chǎng)員工操作并解決問(wèn)題；（3）繪圖或圖標(biāo)：引導(dǎo)雙方，確定重點(diǎn)，避免錯(cuò)誤理解；（4）遠(yuǎn)程專家會(huì)診：多專家遠(yuǎn)程會(huì)診故障，并提出相應(yīng)解決方法。本文AR-App 系統(tǒng)架構(gòu)設(shè)計(jì)原理如圖1。

圖1 AR app 智能化場(chǎng)景遠(yuǎn)程協(xié)同的系統(tǒng)架構(gòu)設(shè)計(jì)圖

3.3 設(shè)備操作運(yùn)行維護(hù)保養(yǎng)的遠(yuǎn)程協(xié)助服務(wù)功能設(shè)計(jì)

設(shè)備生態(tài)場(chǎng)景化維修：利用增強(qiáng)現(xiàn)實(shí)技術(shù)，將用戶維修過(guò)程中針對(duì)所有的零部件發(fā)生過(guò)的故障形成經(jīng)驗(yàn)庫(kù)，讓用戶通過(guò)現(xiàn)場(chǎng)戴上AR 眼鏡，在設(shè)備維修中，輔導(dǎo)維修工循序漸進(jìn)完成維修作業(yè)。

設(shè)備遠(yuǎn)程專家協(xié)助：通過(guò)流媒體技術(shù)將維修現(xiàn)場(chǎng)和非現(xiàn)場(chǎng)進(jìn)行實(shí)時(shí)音視頻互動(dòng)[5]，實(shí)現(xiàn)專家通過(guò)系統(tǒng)的遠(yuǎn)程指導(dǎo)操控、多人會(huì)診并實(shí)時(shí)輔助維修現(xiàn)場(chǎng)的具體維修工作。通過(guò)AR 增強(qiáng)現(xiàn)實(shí)技術(shù)，將具體操作步驟或者零部件操作維修方法推送給一線的設(shè)備維修工，輔助指導(dǎo)維修人員完成維護(hù)作業(yè)。AR-App 遠(yuǎn)程專家經(jīng)驗(yàn)庫(kù)錄入如圖2。

圖2 AR app 遠(yuǎn)程專家經(jīng)驗(yàn)庫(kù)操作界面圖

3.4 遠(yuǎn)程跨平臺(tái)多方視頻通話

3.4.1 網(wǎng)絡(luò)視頻框架。遠(yuǎn)程協(xié)助功能是實(shí)施遠(yuǎn)程通話和桌面分享等作用，根據(jù)當(dāng)前系統(tǒng)使用人員情況，系統(tǒng)利用P2P 打洞技術(shù)，并將所有底層的、復(fù)雜的、繁瑣的細(xì)節(jié)統(tǒng)一封裝，構(gòu)建安全接口，系統(tǒng)通過(guò)接口形成網(wǎng)絡(luò)視頻框架。用戶只要連接到系統(tǒng)服務(wù)器，將隨時(shí)可以訪問(wèn)任何一個(gè)在線用戶的多媒體設(shè)備。

圖3 智能工具端遠(yuǎn)程協(xié)助功能定制P2P 路由圖

（1）P2P 打洞技術(shù)原理。當(dāng)服務(wù)端之間相互通信時(shí)，網(wǎng)絡(luò)視頻框架會(huì)自動(dòng)進(jìn)行P2P 連接，如果P2P 通道能創(chuàng)建成功，該兩個(gè)客戶端之間的后續(xù)通信都經(jīng)過(guò)P2P 通道進(jìn)行。通過(guò)P2P 打洞技術(shù)，在帶寬一定的情況下，實(shí)現(xiàn)視頻音頻的高速傳輸。本文遠(yuǎn)程視頻P2P 路由原理如圖3。

（2）1 對(duì)1、1 對(duì)N、N 對(duì)N、N 對(duì)1 遠(yuǎn)程協(xié)助的功能。在系統(tǒng)中，每一個(gè)用戶都有Traveler 和User 雙重身份。當(dāng)用戶作為Traveler 時(shí)提供自身的桌面、攝像頭、話筒等多媒體，當(dāng)用戶作為User 時(shí)可以訪問(wèn)其他用戶的Traveler 功能[6]。

1 對(duì)1：當(dāng)2 個(gè)用戶同時(shí)開放自己自身的雙重身份，使用User 身份訪問(wèn)對(duì)方的Traveler 的時(shí)候就實(shí)現(xiàn)了1 對(duì)1 的遠(yuǎn)程協(xié)助；

1 對(duì)N：當(dāng)一個(gè)用戶只使用User 身份，訪問(wèn)其他用戶開放Traveler 身份，就實(shí)現(xiàn)了1 對(duì)N 的遠(yuǎn)程協(xié)助。

N 對(duì)N、N 對(duì)1 同理。本文1 對(duì)1、1 對(duì)N、N 對(duì)N、N 對(duì)1 遠(yuǎn)程協(xié)助的功能原理如圖4。

圖4 1 對(duì)1、1 對(duì)N、N 對(duì)N、N 對(duì)1 遠(yuǎn)程協(xié)助功能原理圖

3.4.2 遠(yuǎn)程協(xié)助實(shí)時(shí)空間點(diǎn)標(biāo)注。在實(shí)際通話過(guò)程中，語(yǔ)音的描述并不能快速定位到工程師所指示的位置，系統(tǒng)加入實(shí)時(shí)空間點(diǎn)標(biāo)注功能。在遠(yuǎn)程協(xié)助過(guò)程中，工程師點(diǎn)開空間點(diǎn)標(biāo)注功能并標(biāo)注具體位置，標(biāo)注數(shù)據(jù)就會(huì)發(fā)送給對(duì)方。本文AR-App遠(yuǎn)程協(xié)助實(shí)時(shí)標(biāo)注空間點(diǎn)功能如圖5。

圖5 遠(yuǎn)程專家協(xié)助實(shí)時(shí)空間點(diǎn)標(biāo)注功能效果展示圖

圖6 HoloLens 端視頻協(xié)助效果

3.4.3 HoloLens 端遠(yuǎn)程協(xié)助設(shè)計(jì)。AR 眼鏡端作為一個(gè)被動(dòng)接受的學(xué)習(xí)端，在操作過(guò)程中并不需要設(shè)計(jì)過(guò)多的操作手勢(shì)及命令，主要是接受遠(yuǎn)程工程師的指導(dǎo)意見，有效合理溝通。AR眼鏡端在聯(lián)網(wǎng)之后會(huì)自動(dòng)從服務(wù)器獲取遠(yuǎn)程工程師在線列表，通過(guò)P2P 技術(shù)直接與工程師端進(jìn)行數(shù)據(jù)通信，效果[7]如圖6。

3.4.4 移動(dòng)端/PC 端遠(yuǎn)程協(xié)助設(shè)計(jì)

移動(dòng)端/PC 端視頻協(xié)助，使得單方或多方遠(yuǎn)端專家可以通過(guò)PC、平板、手機(jī)多種形式接收遠(yuǎn)程支持請(qǐng)求。在遠(yuǎn)程專家端，專家可以利用快速查詢功能，快速在文件資料庫(kù)中調(diào)取需要的文件并發(fā)送到主叫方。本文AR-App 遠(yuǎn)程專家/視頻協(xié)助原理和效果引述如圖7。

圖7 AR-App 遠(yuǎn)程協(xié)助專家原理圖

3.5 故障經(jīng)驗(yàn)庫(kù)

故障庫(kù)收錄歷史設(shè)備故障及維修故障過(guò)程的信息，存管工程師多維度狀態(tài)的維修經(jīng)驗(yàn)，通過(guò)數(shù)據(jù)分析在設(shè)備正常運(yùn)轉(zhuǎn)的情況下判斷故障部位和故障原因，為未來(lái)狀態(tài)進(jìn)行預(yù)防維修提供依據(jù)，故障庫(kù)的運(yùn)行設(shè)計(jì)思路即與設(shè)備診斷的安全高效邏輯具備強(qiáng)相關(guān)性。

操作工根據(jù)機(jī)器的當(dāng)前故障，通過(guò)故障任務(wù)提交系統(tǒng)，拍攝當(dāng)前機(jī)器的故障部位的視頻，圖片等，并在圖上標(biāo)注出來(lái)故障部位，詳細(xì)填寫故障的可能原因、故障現(xiàn)象、故障名稱等。提交給故障維修人員，可指定維修工程師，可提交公共維修小組，由小組指派人員維修。操作人員實(shí)時(shí)查看當(dāng)前故障的解決進(jìn)度，關(guān)注追溯是否有人接受相關(guān)的任務(wù)，維修人員及設(shè)備配置情況等。AP app 故障任務(wù)系統(tǒng)的錄入功能設(shè)計(jì)如圖8。

圖8 AR-App 故障任務(wù)系統(tǒng)錄入流程

3.5.1 故障庫(kù)智能錄入

信息智能錄入：通過(guò)藍(lán)牙定位技術(shù)，判斷智能眼鏡端用戶所處機(jī)臺(tái)位置，每次遠(yuǎn)程協(xié)助結(jié)束時(shí)，只要被人工判定為一次有效通話，系統(tǒng)自動(dòng)讀取系統(tǒng)登陸用戶信息、系統(tǒng)時(shí)間、機(jī)臺(tái)位置、機(jī)臺(tái)數(shù)據(jù)等信息完成錄入。

智能語(yǔ)音管控輔助錄入：系統(tǒng)加入智能語(yǔ)音識(shí)別技術(shù)輔助簡(jiǎn)化錄入過(guò)程，用戶只需要語(yǔ)音描述，系統(tǒng)自動(dòng)匹配數(shù)據(jù)庫(kù)匹配專業(yè)詞匯，減少用戶錄入工作量，簡(jiǎn)化錄入過(guò)程。

3.5.2 故障庫(kù)定制服務(wù)

AI 技術(shù)具備學(xué)習(xí)訓(xùn)練能力，因故障庫(kù)存儲(chǔ)隨機(jī)倍增，AR app 提供用戶定制化服務(wù)。AI 模型自動(dòng)學(xué)習(xí)用戶的操作習(xí)慣和職業(yè)規(guī)律，為用戶提供不同的定制化歸集數(shù)據(jù)方案，預(yù)測(cè)用戶行為。用戶無(wú)須檢索或僅需輸入關(guān)鍵信息，快速感知設(shè)備維護(hù)所需的信息。AI 技術(shù)的運(yùn)用研發(fā)，減少設(shè)備運(yùn)維團(tuán)隊(duì)查找數(shù)據(jù)所消耗的時(shí)間，提高學(xué)習(xí)效率。

3.6 遠(yuǎn)程控制

AGV 小車具備自身零排放和全自動(dòng)化的主要特點(diǎn)[8]，是煙草工業(yè)生產(chǎn)過(guò)程中的自動(dòng)化運(yùn)輸機(jī)器人以及柔性生產(chǎn)的關(guān)鍵設(shè)備。

隨著工業(yè)制造升級(jí)的自動(dòng)化需求，對(duì)于AGV 要求高效和靈活，擔(dān)負(fù)更多自動(dòng)裝卸和搬運(yùn)任務(wù)。某工廠在生產(chǎn)現(xiàn)場(chǎng)研究改進(jìn)AGV 自動(dòng)物流小車，結(jié)合圖形圖像算法、空間掃描、三維重建、人工智能識(shí)別等技術(shù)的室內(nèi)空間定位系統(tǒng)，認(rèn)為在技術(shù)配置上可優(yōu)化導(dǎo)航設(shè)備，有效提升AGV 小車運(yùn)用的范圍，通過(guò)5G蜂窩移動(dòng)通信技術(shù)，利用高帶寬、低時(shí)延等特性，實(shí)現(xiàn)AGV 小車全棧控制的智能化應(yīng)用[9]。

3.6.1 AGV 遠(yuǎn)程控制示例

某工廠計(jì)劃在配送作業(yè)的優(yōu)化流程中，將AGV 小車改造成為“全能型配送員”，不受計(jì)劃行徑的約束，而是在用戶指定范圍內(nèi)自由行走，不需要?jiǎng)澏ㄋ鶎俨块T和工作區(qū)域。每一臺(tái)AGV 小車擁有自檢功能，只要用戶有需求進(jìn)行遠(yuǎn)程“下單”，每一臺(tái)AGV 小車自行完成條件判斷：“自身是否有搬運(yùn)任務(wù)”、“自身狀態(tài)能否完成搬運(yùn)距離”、“是否距離目標(biāo)點(diǎn)最近”、“任務(wù)優(yōu)先級(jí)是否最高”等，并選派最合適的一臺(tái)機(jī)器去執(zhí)行任務(wù)。

在此系列“配送“作業(yè)中，AGV 小車將自身傳感器數(shù)據(jù)通過(guò)5G 移動(dòng)蜂窩傳送給遠(yuǎn)程終端，遠(yuǎn)程終端把傳感器數(shù)據(jù)通過(guò)數(shù)字孿生技術(shù)進(jìn)行還原，反饋給用戶。用戶通過(guò)電腦端、移動(dòng)端、AR眼鏡等遠(yuǎn)程終端實(shí)時(shí)監(jiān)測(cè)到AGV 小車的行為，反饋一系列命令給AGV 小車而達(dá)到遠(yuǎn)程控制的目的，本文AR-App 手機(jī)端遠(yuǎn)程控制物流小車原理如圖9。

4 總結(jié)與展望

本文在智能眼鏡端/PC 平板端的AR app 定制化設(shè)計(jì)研發(fā)中，實(shí)現(xiàn)了某工廠圍繞“遠(yuǎn)程專家、物流小車AGV 改進(jìn)、經(jīng)驗(yàn)庫(kù)智能維修”等創(chuàng)新應(yīng)用的研究，經(jīng)過(guò)系統(tǒng)測(cè)評(píng)，該廠設(shè)備維修專家和一線操作員工，都能在兩類終端操作AR 支持的智能化應(yīng)用，遠(yuǎn)程控制實(shí)現(xiàn)設(shè)備故障部位的智能識(shí)別和經(jīng)驗(yàn)信息庫(kù)的整理提取，進(jìn)一步協(xié)助老員工經(jīng)驗(yàn)的轉(zhuǎn)移及保存，AR app 將維修現(xiàn)場(chǎng)和外地專家進(jìn)行實(shí)時(shí)音視頻互動(dòng)，支持遠(yuǎn)程專家指導(dǎo)、多人會(huì)診并實(shí)時(shí)輔助維修現(xiàn)場(chǎng)的具體維修工作，利用設(shè)備零部件的VR 拆裝功能實(shí)現(xiàn)用戶的輔助培訓(xùn)。未來(lái)在該工廠制造流程的智能維修場(chǎng)景，AGV 改造、遠(yuǎn)程交互智能化、員工輔助培訓(xùn)是最實(shí)用的示范功能。

由于智能眼鏡或平板電腦的硬件設(shè)備、計(jì)算性能的設(shè)計(jì)局限，本文的研究難點(diǎn)，體現(xiàn)在設(shè)備出廠限制、HoloLens 瓶頸、數(shù)據(jù)模型的智能分析、語(yǔ)音識(shí)別與操作等區(qū)域，如何破局？下一步，首先需要進(jìn)一步突破技術(shù)限制的難關(guān)，完善解決方案，聚焦關(guān)鍵技術(shù)及架構(gòu)設(shè)計(jì)。其次，智能化的目標(biāo)應(yīng)用，實(shí)現(xiàn)核心在于打通供應(yīng)鏈和生產(chǎn)系統(tǒng)之間的數(shù)據(jù)節(jié)點(diǎn)，讓數(shù)據(jù)運(yùn)行得到合理真實(shí)的數(shù)據(jù)匯總，形成AI 智能生態(tài)維修體系。最后，研究和推進(jìn)增強(qiáng)現(xiàn)實(shí)技術(shù)的意義，在于解放雙手，解放生產(chǎn)力，實(shí)現(xiàn)虛擬信息的增強(qiáng)可視化，提高現(xiàn)實(shí)社會(huì)的智能化應(yīng)用實(shí)例，實(shí)現(xiàn)對(duì)現(xiàn)實(shí)世界人機(jī)交互的多重輔助效果。