基于多感知虛實(shí)融合技術(shù)的列車電氣設(shè)備引導(dǎo)維修系統(tǒng)

摘 要：隨著當(dāng)前軌道交通行業(yè)的迅猛發(fā)展，現(xiàn)行軌道車輛的檢修效率已逐漸顯現(xiàn)出其局限性。針對(duì)這一挑戰(zhàn)，該文深入探討混合現(xiàn)實(shí)設(shè)備及協(xié)同技術(shù)的理論基礎(chǔ)，并以某地鐵車型的受電弓設(shè)備為對(duì)象，參照實(shí)際檢修流程，以HoloLens 2作為硬件開發(fā)平臺(tái)，以Unity 3D引擎和MRTK庫組件為開發(fā)工具，研究并開發(fā)一套檢修輔助系統(tǒng)，實(shí)現(xiàn)混合現(xiàn)實(shí)協(xié)同檢修。目前，該檢修輔助系統(tǒng)已完成原型開發(fā)，隨著后續(xù)功能的進(jìn)一步優(yōu)化和完善，該系統(tǒng)有望為軌道交通的智慧運(yùn)維發(fā)展注入新的活力，推動(dòng)行業(yè)向更高效、更智能的方向邁進(jìn)。

關(guān)鍵詞：增強(qiáng)現(xiàn)實(shí)；虛擬訓(xùn)練；多人協(xié)同；列車電氣設(shè)備；引導(dǎo)維修系統(tǒng)

中圖分類號(hào)：TP391.9 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：2095-2945（2024）23-0026-06

Abstract： With the rapid development of the rail transit industry， the limitations of the current inspection and maintenance efficiency of rail vehicles have gradually emerged. In response to this challenge， this article deeply explores the theoretical basis of mixed reality devices and collaborative technologies， and takes the pantograph equipment of a subway model as the research object. By referring to the actual inspection and maintenance process， using HoloLens 2 as the hardware development platform， and Unity3D engine and MRTK library components as development tools， a maintenance assistance system is researched and developed， realizing mixed reality collaborative maintenance. Currently， the prototype of this maintenance assistance system has been completed. With the further optimization and improvement of subsequent functions， this system is expected to inject new vitality into the intelligent operation and maintenance development of rail transit， and promote the industry to move towards a more efficient and intelligent direction.

Keywords： Augmented Reality; virtual training; multiplayer collaboration; train electrical equipment; pilot maintenance system

近年來，機(jī)器人、人工智能、虛擬現(xiàn)實(shí)和5G等新技術(shù)不斷與工業(yè)相結(jié)合，產(chǎn)生了大量的人工智能機(jī)器，許多工廠已經(jīng)實(shí)現(xiàn)了無人化，解決了人才缺乏的問題，為軌道車輛維保困境提出了新的解決方案。

車輛維保工作中分2步走：檢和修。檢，即檢查故障、檢測(cè)功能。修，即處理故障、維修部件，使車輛功能正常。檢和修關(guān)鍵在于檢，修的過程大都以更換模塊進(jìn)行，檢則需要依靠工人的經(jīng)驗(yàn)。而新技術(shù)的出現(xiàn)如人工智能，為車輛檢提供了良好的解決方案，即利用人工智能模擬檢修專家的故障排查、故障判斷，再通過機(jī)器人或者人工的方式完成修的過程。

本文基于利用新技術(shù)的優(yōu)勢(shì)，結(jié)合傳統(tǒng)人工檢修的方式，提出基于多感知虛實(shí)融合技術(shù)的引導(dǎo)維修系統(tǒng)，將人工智能和混合現(xiàn)實(shí)技術(shù)相結(jié)合，智能化檢查故障、檢測(cè)功能，同時(shí)針對(duì)故障給出解決方案，人只需按照AI提供的解決方案進(jìn)行操作即可。大大降低了檢修工的入門門檻，同時(shí)，人工智能配合人雙重保障，保障檢修質(zhì)量，確保車輛的行車安全。

1 多感知虛實(shí)融合技術(shù)的電氣設(shè)備引導(dǎo)維修系統(tǒng)的關(guān)鍵技術(shù)

1.1 目標(biāo)檢測(cè)技術(shù)

在視覺分類的領(lǐng)域中，目標(biāo)檢測(cè)的基本任務(wù)可被分解為2個(gè)關(guān)鍵步驟：對(duì)象檢測(cè)和對(duì)象識(shí)別。這些步驟旨在從給定的圖像中識(shí)別出所有感興趣的目標(biāo)，并精確地確定其在圖像中的位置和大小。然而，目標(biāo)檢測(cè)面臨著諸多挑戰(zhàn)，主要源于不同物體所展現(xiàn)的多樣化外觀、形狀、姿態(tài)及成像時(shí)多變的光照強(qiáng)度和背景遮擋等因素。

在計(jì)算機(jī)視覺的研究范疇內(nèi)，目標(biāo)分類、目標(biāo)識(shí)別、目標(biāo)檢測(cè)和目標(biāo)分割構(gòu)成了4大基本問題。其中，目標(biāo)檢測(cè)因其復(fù)雜性和對(duì)系統(tǒng)性能的高要求，一直被視為最具挑戰(zhàn)性和亟待解決的核心問題之一。

針對(duì)目標(biāo)檢測(cè)，現(xiàn)有的方法主要可分為2大類：基于經(jīng)典手工特征和基于深度學(xué)習(xí)網(wǎng)絡(luò)卷積的自然特征。前者依賴于專家設(shè)計(jì)的特征描述符，而后者則通過深度學(xué)習(xí)模型自動(dòng)學(xué)習(xí)并提取圖像中的特征。這2種方法各有優(yōu)劣，并在不同的應(yīng)用場(chǎng)景中展現(xiàn)出了各自的獨(dú)特價(jià)值。

1.2 增強(qiáng)現(xiàn)實(shí)技術(shù)

在學(xué)術(shù)研究中，關(guān)于增強(qiáng)現(xiàn)實(shí)（AR）的定義存在多種闡釋，其中最為全面且被廣泛接受的有2種。第一種，Milgram等提出的定義中，將真實(shí)場(chǎng)景與虛擬場(chǎng)景視為2個(gè)相互獨(dú)立又相互聯(lián)系的實(shí)體，分別位于顯示的兩端?？拷鎸?shí)場(chǎng)景的一端被稱為增強(qiáng)現(xiàn)實(shí)，而靠近虛擬場(chǎng)景的一端則稱為增強(qiáng)虛擬，位于兩者之間的狀態(tài)則被稱為混合現(xiàn)實(shí)。

第二種，由Azuma提出，強(qiáng)調(diào)增強(qiáng)現(xiàn)實(shí)作為一種融合技術(shù)，其核心特性包括三維跟蹤技術(shù)、實(shí)時(shí)交互技術(shù)、虛實(shí)結(jié)合技術(shù)。這種定義著重于通過技術(shù)手段將多媒體信息疊加到真實(shí)環(huán)境中，從而創(chuàng)造出一種新型的交互體驗(yàn)。

在本文中將主要依據(jù)Azuma提出的定義，對(duì)增強(qiáng)現(xiàn)實(shí)的關(guān)鍵技術(shù)進(jìn)行深入探討，這些關(guān)鍵技術(shù)包括跟蹤注冊(cè)技術(shù)、三維顯示技術(shù)及人機(jī)交互技術(shù)等。這些技術(shù)共同構(gòu)成了增強(qiáng)現(xiàn)實(shí)技術(shù)的核心，為用戶提供了前所未有的沉浸式體驗(yàn)。

2 多感知虛實(shí)融合的電氣設(shè)備引導(dǎo)維修系統(tǒng)的設(shè)計(jì)與開發(fā)

2.1 多感知虛實(shí)融合的電氣設(shè)備引導(dǎo)維修系統(tǒng)的架構(gòu)設(shè)計(jì)

本文旨在研發(fā)一套智能引導(dǎo)維修系統(tǒng)，既可作為新員工崗位培訓(xùn)工具，也可在實(shí)際工作中降低檢修工人作業(yè)難度，依托人工智能和混合現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)智能化檢查故障、檢測(cè)功能。因此系統(tǒng)需具備復(fù)雜環(huán)境下空間定位能力、智能識(shí)別故障能力、自然交互能力及虛實(shí)融合引導(dǎo)能力。要實(shí)現(xiàn)以上功能，系統(tǒng)應(yīng)具備SLAM（即時(shí)定位與地圖構(gòu)建）模塊、故障智能識(shí)別模塊、基于多感知的虛實(shí)融合引導(dǎo)模塊及自然交互模塊。如圖1所示。

2.1.1 SLAM模塊

SLAM模塊主要完成對(duì)周邊環(huán)境進(jìn)行實(shí)時(shí)掃描搭建空間坐標(biāo)系，同時(shí)對(duì)目標(biāo)電氣設(shè)備進(jìn)行識(shí)別并跟蹤，實(shí)現(xiàn)電氣設(shè)備的空間定位。SLAM模塊主要包含2個(gè)部分：實(shí)時(shí)建圖和空間姿態(tài)。實(shí)時(shí)建圖通過激光雷達(dá)、CCD（電荷耦合組件）相機(jī)、紅外攝像頭采集周邊環(huán)境點(diǎn)云數(shù)據(jù)，經(jīng)過分析處理后，以系統(tǒng)設(shè)備所在位置為原點(diǎn)，構(gòu)建實(shí)況三維地圖。空間姿態(tài)通過IMU（慣性測(cè)量單元）計(jì)算自身的角動(dòng)量與CCD相機(jī)采集特征點(diǎn)估算自身坐標(biāo)位置，綜合計(jì)算后得到自身位置在實(shí)況三維地圖中的空間坐標(biāo)，從而及時(shí)更新地圖與自身坐標(biāo)，實(shí)現(xiàn)實(shí)時(shí)地圖構(gòu)建及定位功能。SLAM模塊框架圖如圖2所示。

2.1.2 故障智能識(shí)別模塊

故障智能識(shí)別模塊通過預(yù)訓(xùn)練好的基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型，將SLAM模塊獲取的點(diǎn)云數(shù)據(jù)信息及二維圖像信息，通過神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別判斷，準(zhǔn)確分辨出故障點(diǎn)、故障類別及處理方案。故障智能識(shí)別模塊架構(gòu)如圖3所示。

2.1.3 基于多感知的虛實(shí)融合引導(dǎo)模塊

本模塊主要實(shí)現(xiàn)虛擬模型的準(zhǔn)確實(shí)時(shí)渲染，實(shí)現(xiàn)虛擬模型實(shí)時(shí)疊加在真實(shí)設(shè)備之上，完成實(shí)時(shí)準(zhǔn)確的引導(dǎo)維修工作。如圖4所示。

模塊中利用SLAM模塊中的CCD相機(jī)及紅外攝像頭（深度相機(jī)）等傳感器計(jì)算出真實(shí)零件的空間坐標(biāo)，再根據(jù)SLAM模塊中計(jì)算得到的虛擬相機(jī)空間位置，通過坐標(biāo)變換，將虛擬零件（虛物）目標(biāo)位置與真實(shí)零件（實(shí)物）的空間位置疊加。通過將真實(shí)相機(jī)的外部參數(shù)直接應(yīng)用到虛擬相機(jī)上，確保了虛擬相機(jī)所拍攝的虛擬場(chǎng)景視野與真實(shí)相機(jī)捕捉到的真實(shí)裝配工作場(chǎng)景視野完全一致。這種方式保證了虛擬零件在虛擬場(chǎng)景圖像平面上的最終成像位置與真實(shí)零件在真實(shí)裝配環(huán)境圖像平面上的成像位置能夠精確對(duì)應(yīng)，從而實(shí)現(xiàn)了虛擬與現(xiàn)實(shí)的精確融合。

2.2 復(fù)雜場(chǎng)景下的實(shí)時(shí)建圖與定位

本文為更快開發(fā)系統(tǒng)，選取了HoloLens 2作為硬件設(shè)備，其自帶4個(gè)環(huán)境感知攝像頭，每個(gè)攝像頭的采集角度和位置是不同的，因此在同一時(shí)間采集目標(biāo)的空間位置姿態(tài)信息時(shí)，只要不是全部攝像頭被遮擋，那么空間位姿信息感知就不會(huì)受到影響。

2.2.1 特征點(diǎn)匹配算法

在特征點(diǎn)及其對(duì)應(yīng)的特征描述子提取后，需要對(duì)特征進(jìn)行對(duì)比分析和評(píng)估，用于判斷不同圖像之間的相似程度，并確定特征點(diǎn)之間的潛在關(guān)聯(lián)性和準(zhǔn)確的對(duì)應(yīng)關(guān)系。而特征點(diǎn)的配準(zhǔn)方式通常是采用比對(duì)特征點(diǎn)的距離實(shí)現(xiàn)的，常見的方式有歐式距離、漢明距離、馬氏距離等，本文采用馬氏距離作為配準(zhǔn)方法進(jìn)行測(cè)算。如圖5所示。

對(duì)于任意連續(xù)的2幅圖像，對(duì)其特征提取后得到2組算子，定義特征描述算子D1、D2為

2.2.2 相機(jī)位姿檢測(cè)識(shí)別

相機(jī)的位姿檢測(cè)主要任務(wù)是在相機(jī)移動(dòng)時(shí)，空間位置發(fā)生改變，其姿態(tài)會(huì)隨之改變，通過采集場(chǎng)景中連續(xù)捕獲的圖像信息推算出相機(jī)的當(dāng)前位置和姿態(tài)，并據(jù)此生成關(guān)鍵幀。為了避免相機(jī)在跟蹤過程中出現(xiàn)采集錯(cuò)誤和誤導(dǎo)姿態(tài)計(jì)算，就需要將這種情況計(jì)算在內(nèi)，相機(jī)的快速移動(dòng)會(huì)導(dǎo)致連續(xù)采集的圖像產(chǎn)生較大特征差異，而大量獲取圖像信息就會(huì)大幅降低特征提取和配準(zhǔn)的速度，使其之間缺乏可匹配的特征點(diǎn)，進(jìn)而導(dǎo)致位姿跟蹤失敗。在這種情況下，為了避免相機(jī)在陌生場(chǎng)景中只能實(shí)現(xiàn)局部定位和建模，因此，需要對(duì)相機(jī)的姿態(tài)和空間位置進(jìn)行重置，即重定位。

重定位是以關(guān)鍵幀圖像為基準(zhǔn)，采集的實(shí)時(shí)圖像與基準(zhǔn)持續(xù)匹配，直至找到與當(dāng)前圖像特征匹配度最高的關(guān)鍵幀，通過計(jì)算距離來重新定位相機(jī)的當(dāng)前位姿。

閉環(huán)檢測(cè)是通過比較當(dāng)前圖像與已記錄關(guān)鍵幀的空間位姿信息建立數(shù)學(xué)模型，在相機(jī)移動(dòng)過程中可減少計(jì)算累積誤差，不斷更新其位置和方向信息，確保在地圖構(gòu)建過程中，相機(jī)的空間運(yùn)動(dòng)軌跡不發(fā)生畸變，保障了運(yùn)動(dòng)一致性特征。

2.2.3 目標(biāo)空間定位方法

利用HoloLens 2自帶的SLAM模塊，通過Unity 3D進(jìn)行軟件開發(fā)，設(shè)計(jì)了一種利用視覺計(jì)算實(shí)現(xiàn)空間定位的方法，即通過射線檢測(cè)待測(cè)物體邊界框，通過計(jì)算位置差對(duì)待測(cè)物體進(jìn)行空間定位，定位流程如圖6所示。

具體做法為：①設(shè)定閾值。根據(jù)圖像種類進(jìn)行分類，計(jì)算出概率值，經(jīng)過對(duì)比過濾檢測(cè)識(shí)別并返回的預(yù)測(cè)結(jié)果，根據(jù)概率結(jié)果按照順序進(jìn)行排序，建立預(yù)測(cè)索引。②初始化。將承載對(duì)象作為待測(cè)目標(biāo)的父節(jié)點(diǎn)，對(duì)其進(jìn)行邊界框計(jì)算，將承載對(duì)象（Quad）先后進(jìn)行歸一化處理和加權(quán)處理，最終可得到局部坐標(biāo)VL。③調(diào)整坐標(biāo)。通過深度相機(jī)發(fā)射的射線獲取目標(biāo)對(duì)象的深度信息，通過對(duì)比計(jì)算優(yōu)化目標(biāo)在真實(shí)環(huán)境中的坐標(biāo)值，從而得到全局坐標(biāo)VG。④傳遞坐標(biāo)。將優(yōu)化后得到的全局坐標(biāo)VG經(jīng)過坐標(biāo)變換傳遞給Quad。

計(jì)算公式如下

2.3 人機(jī)交互設(shè)計(jì)

2.3.1 基于手勢(shì)的交互方法

手勢(shì)作為HoloLens 2的標(biāo)志性交互機(jī)制之一，其運(yùn)作原理核心在于通過內(nèi)置相機(jī)實(shí)時(shí)追蹤并捕獲用戶手勢(shì)的動(dòng)態(tài)變化。同時(shí)，凝視功能則作為用戶聚焦操作對(duì)象的手段，對(duì)于手勢(shì)識(shí)別而言，其決定了系統(tǒng)如何解讀和執(zhí)行相應(yīng)的操縱指令。HoloLens 2的檢測(cè)范圍最遠(yuǎn)可達(dá)10 m，且檢測(cè)精度達(dá)可1 cm。雖然精度很高，但要實(shí)現(xiàn)準(zhǔn)確識(shí)別手勢(shì)，也得確保手部動(dòng)作處于手勢(shì)識(shí)別區(qū)域內(nèi)，以保障HoloLens 2能夠有效識(shí)別和執(zhí)行用戶的手勢(shì)操作，否則，系統(tǒng)可能無法準(zhǔn)確捕捉和響應(yīng)用戶的意圖。HoloLens 2的手勢(shì)識(shí)別區(qū)域如圖7所示。

HoloLens 2自帶的手勢(shì)識(shí)別動(dòng)作有4種：爆炸手勢(shì)、空點(diǎn)、抓取和操縱。這些手勢(shì)提供了豐富的交互功能，使得操作者無須依靠鼠標(biāo)或鍵盤就能實(shí)現(xiàn)可靠的人機(jī)交互。手勢(shì)檢測(cè)流程如圖8所示。

2.3.2 基于語音的交互方法

語音識(shí)別技術(shù)作為增強(qiáng)現(xiàn)實(shí)（AR）系統(tǒng)中關(guān)鍵的交互方式之一，HoloLens 2設(shè)備集成了微軟（MS）的Cortana語音技術(shù)。在限定的、小尺度的詞庫范圍內(nèi)，該技術(shù)的識(shí)別效率表現(xiàn)優(yōu)異。然而，在真實(shí)使用過程中，因環(huán)境噪聲或其他干擾因素，會(huì)使得識(shí)別的魯棒性不理想。圖9詳細(xì)展示了該語音識(shí)別技術(shù)的基本交互使用步驟。

3 實(shí)踐案例

本文依托HoloLens 2作為基礎(chǔ)硬件，在此基礎(chǔ)上開發(fā)了應(yīng)用軟件系統(tǒng)。通過硬件與軟件配合完成問題設(shè)備的識(shí)別和檢修引導(dǎo)，實(shí)現(xiàn)軌道車輛檢修的智能化、精細(xì)化檢查，其中系統(tǒng)的硬件和軟件開發(fā)環(huán)境如下。

設(shè)備硬件：HoloLens2、Ipad2019。

軟件開發(fā)環(huán)境：開發(fā)框架為Spring 3.1.0+MyBatis+jQuery1.7.2+jqGrid 4.1.1+jQuery UI 1.8.19；數(shù)據(jù)庫為MySQL 5.0+；Web服務(wù)器為Tomcat；JDK環(huán)境為jdk7+；開發(fā)環(huán)境為IMYSQL：xamppr win32-1.7.7-VC9.7z；開發(fā)工具為springsource tool-suite-2.9.1. RELEASE-e3.7.2 win32. zip。

筆者經(jīng)過長時(shí)間開發(fā)已完成原型系統(tǒng)的搭建，并已開始投入教學(xué)使用，系統(tǒng)的部分演示效果如圖10所示。

4 結(jié)論

隨著新技術(shù)革命和產(chǎn)業(yè)革命的迅猛發(fā)展，給軌道交通行業(yè)帶來了深刻影響。尤其是空間增強(qiáng)現(xiàn)實(shí)技術(shù)的相關(guān)核心技術(shù)取得了顯著的進(jìn)步，展示出蓬勃的發(fā)展趨勢(shì)。本文結(jié)合將新技術(shù)與傳統(tǒng)檢修訓(xùn)練相互結(jié)合，借助空間增強(qiáng)現(xiàn)實(shí)技術(shù)提高學(xué)員在拆裝過程中的交互效率和訓(xùn)練效果。

本文針對(duì)檢修訓(xùn)練搭建了多人協(xié)同平臺(tái)，同時(shí)對(duì)訓(xùn)練系統(tǒng)中關(guān)鍵技術(shù)展開了深入研究。其中以訓(xùn)練中的交互方法進(jìn)行了一一論述，為軌道交通行業(yè)檢修訓(xùn)練方法提供了參考價(jià)值。

參考文獻(xiàn)：

[1] 趙迪，徐臻，胡立宏，等.基于特征識(shí)別的AR智能配合裝配研究[J].機(jī)械設(shè)計(jì)與制造，2022（10）：134-138.

[2] 楊雨樺.激光增強(qiáng)現(xiàn)實(shí)系統(tǒng)中全息光學(xué)元件的研究[D].合肥：中國科學(xué)技術(shù)大學(xué)，2023.

[3] 孫超，張明敏，李揚(yáng)，等.增強(qiáng)現(xiàn)實(shí)環(huán)境下的人手自然交互[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2011，23（4）：697-704.

[4] 張旭輝，張雨萌，王巖，等.融合數(shù)字孿生與混合現(xiàn)實(shí)技術(shù)的機(jī)電設(shè)備輔助維修方法[J].計(jì)算機(jī)集成制造系統(tǒng)，2021，27（8）：2187-2195.

[5] 王學(xué)文，劉曙光，王雪松，等.AR/VR融合驅(qū)動(dòng)的綜采工作面智能監(jiān)控關(guān)鍵技術(shù)研究與試驗(yàn)[J].煤炭學(xué)報(bào)，2022，47（2）：969-985.

[6] 羅志良.基于增強(qiáng)現(xiàn)實(shí)技術(shù)的智能輔助維修系統(tǒng)研究與實(shí)現(xiàn)[D].綿陽：西南科技大學(xué)，2023.

[7] 趙昕玥，何再興，劉振宇，等.基于增強(qiáng)現(xiàn)實(shí)的工程圖學(xué)裝配引導(dǎo)沉浸式教學(xué)實(shí)驗(yàn)平臺(tái)設(shè)計(jì)[J].實(shí)驗(yàn)技術(shù)與管理，2022，39（3）：195-199，213.

[8] 任闌珊.基于視覺和IMU的增強(qiáng)現(xiàn)實(shí)交互系統(tǒng)實(shí)現(xiàn)與應(yīng)用[D].北京：北京郵電大學(xué)，2023.

[9] 李智鵬.基于Unity3D引擎的空中戰(zhàn)機(jī)游戲設(shè)計(jì)與實(shí)現(xiàn)[D].長春：吉林大學(xué)，2016.

[10] 丁亞軍，應(yīng)治國，陳一民.基于增強(qiáng)現(xiàn)實(shí)的線上線下混合式教學(xué)系統(tǒng)的研究開發(fā)[J].計(jì)算機(jī)應(yīng)用與軟件，2022，39（7）：128-133，200.

基金項(xiàng)目：廣州鐵路職業(yè)技術(shù)學(xué)院大學(xué)生創(chuàng)新創(chuàng)業(yè)項(xiàng)目（2024CXCY004）

第一作者簡介：李愷（1990-），男，碩士，講師。研究方向?yàn)樘摂M現(xiàn)實(shí)，城市軌道交通車輛技術(shù)。