基于工業(yè)AR虛擬仿真的卷包裝備人機交互應(yīng)用

沈 毅,周 睿,李 誠,吳 罡

(湖南中煙工業(yè)有限責任公司長沙卷煙廠,湖南 長沙 410007)

1 引言

《中國制造2025-重點領(lǐng)域技術(shù)路線圖》將AR增強現(xiàn)實、可穿戴式裝備等技術(shù)應(yīng)用,列為智能制造核心領(lǐng)域的關(guān)鍵任務(wù)之一。工信部在“十四五”專項規(guī)劃中,將VR/AR終端的研發(fā)及產(chǎn)品化,作為加強推動5G/XR等關(guān)鍵技術(shù)應(yīng)用的重要抓手,進一步引導(dǎo)企業(yè)創(chuàng)新發(fā)展。近年來,湖南某工業(yè)公司持續(xù)推動制造技術(shù)向數(shù)字化轉(zhuǎn)型,增強核心競爭力。該公司長沙廠面向生產(chǎn)一線人機協(xié)作難題,開展增強現(xiàn)實AR、虛擬仿真等前沿創(chuàng)新技術(shù)的試點驗證。該廠結(jié)合易地技改規(guī)劃建設(shè)的先行先試工作,研發(fā)出該公司第一款工業(yè)AR APP,搭建了面向煙機設(shè)備管理與運維的移動化、跨平臺和多功能應(yīng)用,取得了AR技術(shù)在卷煙工業(yè)生產(chǎn)領(lǐng)域應(yīng)用場景的交互式體驗,能夠緩解從業(yè)人員老齡化、運行成本增長,以及通過傳統(tǒng)的技術(shù)方法改進難以獲得過去正常的效率增長與效益挖掘等癥狀。

本文以卷包車間某中速硬盒包裝機設(shè)備示例,通過虛擬仿真設(shè)備的運行狀態(tài)和零部件運維,感知模型的虛擬裝配,打破設(shè)備常態(tài)管理的思維和流程,在人機設(shè)計上引導(dǎo)用戶自然領(lǐng)悟到用法,實現(xiàn)多人同步多終端協(xié)作的人機交互協(xié)調(diào),搭載于安卓觸控平板電腦、穿戴式智能眼鏡的AR app,提升工廠生產(chǎn)制造流程的有效作業(yè)。

2 定義

增強現(xiàn)實技術(shù)(Augmented Reality Technique,AR),是在虛擬現(xiàn)實基礎(chǔ)上發(fā)展起來的新技術(shù),通過計算機系統(tǒng)提供的信息增加用戶對現(xiàn)實世界感知的技術(shù),并將計算機生成的虛擬物體、場景或系統(tǒng)提示信息疊加到真實場景中,實現(xiàn)對現(xiàn)實世界的增強[1]。這種技術(shù)將計算機生成的圖形與用戶在真實物理世界獲取的視覺信息組合在一起。

工業(yè)自動化領(lǐng)域?qū)⒃鰪姮F(xiàn)實、混合現(xiàn)實等適用在工業(yè)制造及其運營環(huán)境的技術(shù)應(yīng)用統(tǒng)一稱為“工業(yè)AR”,工業(yè)AR是工業(yè)智能領(lǐng)域的一個前沿研究分支,其落地是工業(yè)制造業(yè)IoT的運用方式,其特征是人工智能技術(shù)的發(fā)展趨勢[2]。

人機交互(Human-Computer Interaction,HCI)[3],是一門研究系統(tǒng)與用戶之間的交互關(guān)系的學(xué)問。自然人機交互技術(shù)是人機交互技術(shù)的一個主要研究方向,研究人和計算機之間如何用自然的方式進行交互,包括人到計算機和計算機到人的兩部分信息交換,是人工智能領(lǐng)域的一種外圍技術(shù),分類包括語音交互、體態(tài)語言交互、視覺交互等。用戶通過人機交互界面的設(shè)計實現(xiàn)系統(tǒng)交流和操作。

人機環(huán)境系統(tǒng)工程(MMESE),是研究在人、裝備和環(huán)境系統(tǒng)之間,實現(xiàn)最優(yōu)匹配的一個領(lǐng)域,涉及到信息的輸入、處理、輸出和控制,以及反饋,人機環(huán)境系統(tǒng)的整體設(shè)計,及其優(yōu)化等方面的研究,研究的目的,是整個系統(tǒng)的高效、安全、健康和敏捷等[4]。

3 案例分析和問題提出

2022年,美國發(fā)布關(guān)鍵和新興技術(shù)“CET清單”將“人機界面技術(shù)”主要定義為AR、VR和人機合作。2021年,歐盟委員會發(fā)布《面向未來的100項重大創(chuàng)新突破》報告,提出歐洲的AR專業(yè)應(yīng)用是交互式手冊,為操作機器的人提供現(xiàn)場指導(dǎo)。2020年,加拿大卡爾加里大學(xué)、Adobe Research和美國科羅拉多大學(xué)博爾德分校的研究團隊,開發(fā)了一種實現(xiàn)交互式動態(tài)草圖的新技術(shù),生成響應(yīng)性草圖、圖形和可視化效果的增強現(xiàn)實界面。2021年,寶武鋼鐵借助與亮風臺AR智能運維系統(tǒng),實現(xiàn)關(guān)聯(lián)設(shè)備的數(shù)字信息可視化、精準遠程協(xié)作與高效過程記錄管理,完成基于“作業(yè)現(xiàn)場”的信息交互能力提升。2021年,華菱湘鋼通過亮風臺AR眼鏡以及AR協(xié)作平臺HiLeia的凍屏、實時標注,克服疫情影響,與中德奧三地專家進行遠程無障礙溝通協(xié)作,實現(xiàn)跨國遠程裝配。但國內(nèi)目前缺乏在工業(yè)AR人機交互領(lǐng)域的關(guān)鍵技術(shù)創(chuàng)新,以及跨平臺生態(tài)的覆蓋難以落地等問題。本文通過調(diào)研工業(yè)AR技術(shù)的研發(fā)運用實例,分析人機交互適應(yīng)性情況與制造業(yè)應(yīng)用場景,期望有助于卷包設(shè)備的一線技術(shù)人員,解決技術(shù)應(yīng)用過程中所診斷出的問題,幫助技術(shù)人員傳遞和沉淀工作場所的知識經(jīng)驗。

4 基于工業(yè)AR的卷包裝備智能交互虛擬仿真系統(tǒng)

AR可通過多種不同方式來影響到實際使用者,最重要的是考慮滿足企業(yè)的真實需求。人機交互技術(shù)在本例中除了傳統(tǒng)的基本交互和圖形交互外,主要是語音交互、體感交互及視覺(腦機一體)交互等技術(shù),對交互技術(shù)的研究,與工業(yè)人工智能的系統(tǒng)進步關(guān)聯(lián)密切。

工業(yè)AR 系統(tǒng)規(guī)劃目標,是確保參與虛擬仿真和增強現(xiàn)實系統(tǒng)研究的人、設(shè)備、物料和環(huán)境正常運轉(zhuǎn),員工上機操作,拉通場地、設(shè)備和人員、數(shù)據(jù)的循環(huán),拉通公司MES、ERP系統(tǒng)正式對接,通過智能穿戴(計算機)[5]器材,采用語音、圖號、數(shù)據(jù)推送等輸入,發(fā)揮移動式便攜的作用,對照設(shè)備零部件的“三維幾何模型”空間數(shù)據(jù)信息,實現(xiàn)長沙廠設(shè)備零部件貨位和庫存的查詢功能,發(fā)揮遠程“虛擬機臺”的領(lǐng)用零部件功能。

開發(fā)協(xié)同裝配[6],實現(xiàn)多維信息的交互操作,打通,獲得零部件管理的業(yè)務(wù)渠道多人同步多終端協(xié)作的作業(yè)協(xié)調(diào),由于設(shè)備多維信息資源與人員經(jīng)驗技巧利用率偏低,流程制造業(yè)存在著資源與能源利用率偏低、輔導(dǎo)信息失真等痛點,需要定制化功能解決運維的痛點。設(shè)備零部件通過PC端進入ERP系統(tǒng)申報,通過有線網(wǎng)絡(luò)在固定工房現(xiàn)場操作,檢索庫存數(shù)據(jù)需要備件圖號,查詢平面圖紙耗時耗力。對于工廠如何選擇AR技術(shù)路徑、如何部署AR應(yīng)用方式、如何保障AR數(shù)據(jù)支持等,提出技術(shù)方案的設(shè)計、實施路徑的選點和技術(shù)驗證的示范。

4.1 系統(tǒng)分析

該廠聚焦的AR技術(shù)應(yīng)用場景,主要集中在包裝機設(shè)備生產(chǎn)與運行保障的“原理、裝配、培訓(xùn)、實操、維修”等輔助工序,以及卷包車間面向其裝備零部件的產(chǎn)品生命周期的虛擬化仿真研究。本文中的人機交互實質(zhì)上是人透過AR輔助工具與設(shè)備的程序化之間的融合互通,也是“人機環(huán)境系統(tǒng)工程”研究方向的一個重要分支。針對煙機的輔助維修和煙機的日常操作為任務(wù)核心進行研發(fā)

本文實例創(chuàng)新性的研發(fā)了一套基于煙草工業(yè)場景化維修輔助的多終端APP系統(tǒng),通過安卓平板、手機、穿戴式眼鏡,實現(xiàn)了WEB、平板、AR、VR眼鏡等多渠道展示及交互操作,工業(yè)AR APP主要包含智能維修、AR巡檢、虛擬維修、VR操作等核心模塊,系統(tǒng)設(shè)計步驟分析如下:

第一步:將現(xiàn)實世界中的生產(chǎn)設(shè)備數(shù)字化為3D模型后,對基于物理設(shè)備和設(shè)備信息現(xiàn)狀的運行、管理、維護和操作方式實現(xiàn)系統(tǒng)化的升維,為進一步實現(xiàn)空間虛擬環(huán)境和真實工作場景的疊加及智能調(diào)用奠定基礎(chǔ)[7]。

第二步:完成安卓端平板、眼鏡端智能眼鏡的二種OS載體和交互介質(zhì)的端對端APP功能開發(fā),實現(xiàn)AR/VR/MR的智能化應(yīng)用場景。

第三步:對接MES、ERP生產(chǎn)/管理系統(tǒng)的協(xié)議接口,實現(xiàn)“AR/VR/MR”在生產(chǎn)制造的智能輔助,完成數(shù)字化和信息化的打通,并形成遠程專家、經(jīng)驗庫等智能應(yīng)用的應(yīng)用對接。

采用Vuforia AR SDK+Uinty3d的技術(shù)路線實現(xiàn)一個完整的AR App產(chǎn)品,工業(yè)AR APP從零部件拆裝上升到了系統(tǒng)總成應(yīng)用,從AR/VR場景下的零部件輔助拆卸完善到拆裝,實現(xiàn)了基于HoloLens智能眼鏡的輔助生產(chǎn)維修過程指導(dǎo)、平板基于煙機的切片化智能掃描識別,語音交互、遠程專家、虛擬產(chǎn)線、設(shè)備維修過程的多種輔助(視頻、圖紙、說明書)工具支持,摸索了點檢、隨手拍、知識庫、經(jīng)驗庫、生產(chǎn)數(shù)據(jù)的MES系統(tǒng)接口等多項功能。AR多功能端到端,2D/3D零部件的模型構(gòu)建實現(xiàn)了基于增強現(xiàn)實系統(tǒng)的AR App安卓平板系統(tǒng)輔助、基于車間一線員工培訓(xùn)、設(shè)備維護和遠程輔助、智能語音等煙機設(shè)備AR操作指南等整體效果。本文實例涉及的工業(yè)AR技術(shù)輔助多功能場景應(yīng)用。

4.2 仿真建模

設(shè)備仿真建模,首先是零部件模型庫開發(fā):包括總成及零部件建模,并定義各零部件以及實現(xiàn)零部件之間的關(guān)聯(lián)邏輯;其次是模型優(yōu)化任務(wù):包括零部件模型的優(yōu)化、動畫和特效制作。面向仿真設(shè)備零部件的認知流程,首先是零部件參數(shù)庫:實現(xiàn)零部件參數(shù)庫,建立健全相關(guān)的模型名稱、零部件模型參數(shù)關(guān)系、功能內(nèi)容等相關(guān)信息,以便業(yè)務(wù)數(shù)據(jù)調(diào)取識別。其次是零部件認知界面與交互:彈出界面的布局設(shè)計與交互設(shè)計。

本文“中速機機型模型及關(guān)鍵零部件”的建模,基于雙目視覺的三維重建技術(shù)[10],針對圖像與環(huán)境的人眼視物,通過視差來獲取被測物體的深度信息,繼而實現(xiàn)三維重建,即利用雙目相機拍攝的圖像,將目標在圖像上的二維像素坐標轉(zhuǎn)化為三維世界坐標。雙目三維重建的工作流程主要包含4步,即雙目標定、圖像校正、立體匹配和三維重建,立體匹配是關(guān)鍵步驟[11]。

建模難點:制作襯托氛圍的模型引導(dǎo)用戶獲得高逼真和身臨其境的實踐感覺;模型設(shè)計需配合程序開發(fā)在Unity引擎實現(xiàn)動畫的制作;模型設(shè)計完成以后需要研制匹配模型的VR手勢。

4.3 關(guān)鍵技術(shù)

4.3.1 核心技術(shù)

利用物理模型、運行日志、故障記錄、傳感器更新等數(shù)據(jù),集成多物理量、多尺度、多概率的仿真過程,在虛擬空間中完成映射,促進反映設(shè)備相對運行過程中各零部件的維護實現(xiàn)過程,從而完成虛擬仿真的數(shù)字孿生[8]。

多機協(xié)同的集群化交互與控制技術(shù),具備遠程操控端的功能,實施人機交互裝置遠程遙控,完成任務(wù)指派和監(jiān)控,通過APP實施任務(wù)指派和監(jiān)控,應(yīng)用移動用戶端的AR APP設(shè)計。AR APP關(guān)鍵技術(shù)實現(xiàn)流程圖,如圖1所示。

圖1 安卓觸控平板系統(tǒng)依據(jù)圖號查廠家源圖的對照交互UI設(shè)計

圖1 AR APP關(guān)鍵技術(shù)實現(xiàn)流程圖

4.3.2 技術(shù)應(yīng)用

新一代空間定位技術(shù)減少虛擬定位識別位置的偏移量,使虛擬坐標和虛擬物體的設(shè)定更為精確,因此日常的巡檢工作,也可以通過AR技術(shù)來實現(xiàn)。管理人員事先在后臺設(shè)置觸發(fā)內(nèi)容,再用AR眼鏡實地部署觸發(fā)點,工作人員再戴上AR眼鏡,到達觸發(fā)點就可以隨時可以進行巡檢工作。對于巡檢結(jié)果的日常收集也變得更為簡單,出現(xiàn)問題可自行解決,系統(tǒng)也能提供解決方案,如果無法解決可以申請遠程技術(shù)支持或者通報給更高級的維修人員。

本文實例基于工業(yè)AR技術(shù)的虛擬仿真應(yīng)用設(shè)計,如表1所示。

表1 基于工業(yè)AR技術(shù)的虛擬仿真多功能人機交互應(yīng)用一覽表[9]

核心技術(shù)應(yīng)用包括四個主要功能點:

1)設(shè)備結(jié)構(gòu)零部件的拆裝

①運行展示:展示部件的運行流程效果。

②零部件拆卸裝配:展示零部件拆卸裝配的順序以及位置。

③零部件相關(guān)聯(lián)資料:提供原生產(chǎn)廠標準資料。

2)設(shè)備故障智能診斷

①通過AR掃描提供定制化分析與故障解決方案。

②通過MR眼鏡與Android平板終端引導(dǎo)每一個維修步驟。

3)智能管控

①系統(tǒng)功能語音快速調(diào)用。

②數(shù)據(jù)資料語音快速調(diào)用。

4)備件領(lǐng)料

系統(tǒng)打通ERP數(shù)據(jù)庫,開發(fā)備件領(lǐng)料查詢功能,將傳統(tǒng)的進入辦公室備件領(lǐng)料查詢查詢的方式或紙質(zhì)備件領(lǐng)料查詢方式變?yōu)橐苿釉O(shè)備備件領(lǐng)料查詢方式。

用戶手持移動終端,隨時隨地完成備件領(lǐng)料查詢。并且改進傳統(tǒng)備件編號查找對應(yīng)零部件的查詢方式,增加2類新的查詢方式:

1)用該機械的任一備件編號查找整張圖紙,通過圖紙可以獲取該機械的所有備件編號;

2)構(gòu)建三維仿真機械模型,直接點擊選擇零部件的三維模型可以直接查找對應(yīng)零部件信息。

本文實例支持一線員工即時應(yīng)用圖號查存檔圖紙的移動端設(shè)計,如圖1所示。

4.3.3 交互場景

AR識別虛擬零部件模型,通過Unity編程。用戶可以通過手指“拖拉拽”觸控屏幕或眼鏡觀察視野中的相應(yīng)部分,和模型產(chǎn)生敏捷、精細的交互操作。通過手勢指令、手指滑動、語音指令等交互信息的輸入,實現(xiàn)模型的各類動作包括旋轉(zhuǎn)、左右、伸縮和翻轉(zhuǎn)等。

多平臺開發(fā):Android端適應(yīng)Android平臺,Hololens端適應(yīng)Hololens2平臺,開發(fā)專用于Android、Hololens系統(tǒng)的插件以及交互設(shè)計;

設(shè)備零部件認知:零部件認知界面與交互,輸出界面的彈出布局設(shè)計與交互設(shè)計。

虛擬機臺交互手勢:A旋轉(zhuǎn),單指朝上下左右四個方位滑動控制虛擬機臺旋轉(zhuǎn)。B平移,單指按下虛擬機臺中心點進行拖拽移動虛擬機臺。C縮放,雙指向內(nèi)滑動縮小虛擬機臺,雙指向外滑動放大虛擬機臺。本文實例所研發(fā)的人機操作模型檢索功能,如圖2所示。

圖2 包裝機人機交互操作的模型虛擬仿真認識功能

AR技術(shù)應(yīng)用的實例化,在人與虛擬空間、物理世界之間,員工通過手柄、遙控器、外附手套到體感設(shè)備,輸入手勢、語音、眼神等信號,透過AR APP功能應(yīng)用的集合,實現(xiàn)在卷包車間現(xiàn)場的虛實操控、工控網(wǎng)的數(shù)據(jù)交互融合,零部件領(lǐng)料設(shè)計如圖3、圖4所示。

圖3 零部件領(lǐng)料檢索功能流程

圖4 零部件領(lǐng)料檢索功能設(shè)計框架圖

5 系統(tǒng)驗證與測評

2020年至今,長沙某廠AR APP系統(tǒng)上線迭代更新,經(jīng)過二年的試運行,該系統(tǒng)的各個模塊應(yīng)用進行了試運行測試及操作反饋。通過虛擬仿真和人機系統(tǒng)工程新技術(shù)的運用,革新工廠設(shè)備、工裝、工具等傳統(tǒng)的操作維護辦法,鼓勵設(shè)備技術(shù)人員學(xué)習(xí)創(chuàng)新,改良維修維護的運行管理機制,設(shè)備的虛擬裝配得到高質(zhì)量檢驗[12],實現(xiàn)狀態(tài)深度感知、設(shè)備保養(yǎng)合理的超前預(yù)測維護,提高了學(xué)習(xí)技能的效率,間接提升了制造的生產(chǎn)效率和產(chǎn)品質(zhì)量。

從車間一線人員體驗運用的直觀效果來看,主要針對①圖紙查詢工作量;②業(yè)務(wù)辦理的人工移動成本;③計算機的操作成本,包括備件查詢,標簽搜索等,減少了工作時間的消耗,提升了作業(yè)效率。增強2維/3維可視化資源的設(shè)計制作能力,創(chuàng)建生產(chǎn)線與設(shè)備線配套的崗位新員工培訓(xùn)的移動式智能頭盔輔助系統(tǒng)。

6 收益

卷煙行業(yè)專家評價,認為該系統(tǒng)整體增強了公司在行業(yè)內(nèi)2維/3維可視化資源的設(shè)計制作能力,對于湖南中煙工業(yè)技術(shù)創(chuàng)新數(shù)字化轉(zhuǎn)型所需求的新技術(shù)、新方法和新路徑,提供了預(yù)研方案和論證試點。長沙廠一線技術(shù)人員調(diào)查反饋,該系統(tǒng)促進了生產(chǎn)一線技師的操作反饋能力,可協(xié)助車間卷包工序提高人機協(xié)同的工作效率。

長沙某廠基于工業(yè)AR的卷包設(shè)備人機交互仿真系統(tǒng)的實施,為長沙易地技改項目規(guī)劃的智能制造規(guī)劃方案,提供了基于工業(yè)APP技術(shù)應(yīng)用的探索,獲得了寶貴的研發(fā)經(jīng)驗以及轉(zhuǎn)化知識,輸出了以“虛擬仿真技術(shù)融合卷接包裝備運維管理的多功能數(shù)字應(yīng)用[13]”、“以混合現(xiàn)實技術(shù)研發(fā)穿戴式雙目智能眼鏡的多維一體化感知”、“以虛擬現(xiàn)實技術(shù)開發(fā)GDX2包裝機設(shè)備操作訓(xùn)練流程及VR可視化教程”等課題軟成果和崗位人才。