基于數(shù)字孿生與混合現(xiàn)實(shí)技術(shù)的機(jī)電設(shè)備輔助維修方法研究

摘 要：為提高機(jī)電設(shè)備輔助維修的質(zhì)量和效率，本文利用數(shù)字孿生與混合現(xiàn)實(shí)技術(shù)相結(jié)合的機(jī)電維修方法，設(shè)計(jì)了一套基于數(shù)字孿生與混合現(xiàn)實(shí)技術(shù)的機(jī)電設(shè)備輔助維修系統(tǒng)。本文概括了系統(tǒng)的總框架設(shè)計(jì)，對(duì)其硬件部分設(shè)計(jì)進(jìn)行了詳細(xì)介紹，并從維修環(huán)境感知、故障識(shí)別與匹配等方面詳細(xì)闡述了系統(tǒng)的軟件設(shè)計(jì)，最后對(duì)其進(jìn)行了試驗(yàn)驗(yàn)證。試驗(yàn)結(jié)果表明，該系統(tǒng)具有較高的準(zhǔn)確性和穩(wěn)定性，可為未來(lái)的智能制造和維護(hù)提供有力支持。

關(guān)鍵詞：數(shù)字孿生；混合現(xiàn)實(shí)；機(jī)電設(shè)備；輔助維修

中國(guó)分類號(hào)：TP 335" " 文獻(xiàn)標(biāo)志碼：A

隨著機(jī)電設(shè)備不斷發(fā)展，其故障維修已成為一個(gè)嚴(yán)峻的挑戰(zhàn)。本文將數(shù)字孿生技術(shù)與混合現(xiàn)實(shí)技術(shù)相結(jié)合，提出一種機(jī)電設(shè)備輔助維修方法，以改進(jìn)維修過(guò)程的效率和準(zhǔn)確性。數(shù)字孿生是一種先進(jìn)的技術(shù)，它將現(xiàn)實(shí)世界中的物理實(shí)體或系統(tǒng)通過(guò)數(shù)字模型進(jìn)行復(fù)制和仿真，以實(shí)現(xiàn)實(shí)時(shí)監(jiān)測(cè)、分析、優(yōu)化和預(yù)測(cè)的目的[1]?；旌犀F(xiàn)實(shí)技術(shù)是一種綜合了虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)的交互式技術(shù)[2]，旨在創(chuàng)造出融合擬和現(xiàn)實(shí)世界元素的沉浸式體驗(yàn)，使用戶能夠在真實(shí)環(huán)境中與虛擬對(duì)象或信息進(jìn)行實(shí)時(shí)互動(dòng)[3]。數(shù)字孿生與混合現(xiàn)實(shí)技術(shù)相結(jié)合有助于更好地理解數(shù)字孿生和混合現(xiàn)實(shí)技術(shù)的潛力，并為其在工業(yè)領(lǐng)域的廣泛應(yīng)用提供指導(dǎo)和啟發(fā)。

1 基于數(shù)字孿生與混合現(xiàn)實(shí)技術(shù)的機(jī)電設(shè)備輔助維修系統(tǒng)總框架設(shè)計(jì)

基于數(shù)字孿生與混合現(xiàn)實(shí)技術(shù)的機(jī)電設(shè)備輔助維修系統(tǒng)總框架圖如圖1所示。該系統(tǒng)由硬件平臺(tái)和軟件平臺(tái)組成，其中硬件平臺(tái)包括Microsoft Hololens 2頭戴顯示裝備、Intel Core i7-11700K服務(wù)器。Microsoft HoloLens 2為維修人員提供真實(shí)的虛擬場(chǎng)景，Intel Core i7-11700K服務(wù)器完成數(shù)據(jù)的存儲(chǔ)和計(jì)算等任務(wù)。軟件平臺(tái)包括維修環(huán)境感知模塊、故障識(shí)別與匹配模塊、故障維修指導(dǎo)模塊、虛擬環(huán)境注冊(cè)融合模塊以及人機(jī)交互模塊。維修環(huán)境感知模塊利用Microsoft HoloLens 2的傳感器采集維修環(huán)境的三維特征點(diǎn)等數(shù)據(jù)，搭建虛擬三維維修場(chǎng)景。故障識(shí)別與匹配模塊的傳感器檢查機(jī)電設(shè)備的故障信號(hào)，并將故障信號(hào)存入故障維修數(shù)據(jù)庫(kù)中的故障采集庫(kù)。將機(jī)電維修技術(shù)手冊(cè)輸入故障維修指導(dǎo)模塊。該模塊會(huì)根據(jù)機(jī)電維修技術(shù)手冊(cè)形成多種有效的機(jī)電維修指導(dǎo)方案，一并存入故障維修數(shù)據(jù)庫(kù)中，將故障維修數(shù)據(jù)庫(kù)中的故障信號(hào)與機(jī)電維修指導(dǎo)方案進(jìn)行匹配，然后利用HoloLens 2頭戴式顯示裝備虛擬維修操作指導(dǎo)環(huán)境，并呈現(xiàn)具體的維修指導(dǎo)方案。再由虛擬環(huán)境注冊(cè)融合模塊進(jìn)行數(shù)據(jù)還原，并將還原后的維修指導(dǎo)方案與真實(shí)的維修場(chǎng)景進(jìn)行注冊(cè)融合，在用戶交互界面實(shí)現(xiàn)人機(jī)虛擬交互。

2 軟件設(shè)計(jì)

2.1 維修環(huán)境感知模塊

維修人員打開(kāi)Microsoft HoloLens 2設(shè)備后，利用其慣性傳感器感知機(jī)電設(shè)備的方向，利用環(huán)境感知攝像頭實(shí)時(shí)捕捉維修場(chǎng)景，再利用深度攝像頭拍攝多張機(jī)電設(shè)備的深度圖像，從而進(jìn)行三維場(chǎng)景重建。

在建模過(guò)程中，維修人員利用Microsoft HoloLens 2獲取多個(gè)輸入幀的RGB圖像和深度圖，包括零散和分散的物理環(huán)境信息。為創(chuàng)建更全面的三維模型，需要將這些幀的信息整合在一起。模型融合是該過(guò)程的核心步驟。將每個(gè)輸入幀的RGB圖像和深度圖轉(zhuǎn)換成其他表達(dá)方式，然后將RGB圖像上的像素映射到三維世界中的坐標(biāo)點(diǎn)，為每個(gè)坐標(biāo)點(diǎn)匹配與RGB圖像相對(duì)應(yīng)的顏色值，以完成數(shù)據(jù)轉(zhuǎn)換。再將上述轉(zhuǎn)換后的數(shù)據(jù)整合到面元中，并將物體的何形狀和顏色信息結(jié)合起來(lái)，最后將物體模型中的各面元投影到深度圖像上，從而建立面元與物體表面的匹配關(guān)系。通過(guò)分析RGB圖像和深度圖，使系統(tǒng)理解物理環(huán)境的三維結(jié)構(gòu)，并將其表示為不規(guī)則的三角網(wǎng)格模型，從而重建維修環(huán)境三維場(chǎng)景。

2.2 故障識(shí)別與匹配模塊

故障識(shí)別與匹配模塊是機(jī)電設(shè)備輔助維修系統(tǒng)中的重要組成部分。該模塊利用傳感器采集故障數(shù)據(jù)，并通過(guò)數(shù)據(jù)分析和匹配，幫助維修人員準(zhǔn)確、快速地識(shí)別設(shè)備故障。

2.2.1 故障信號(hào)識(shí)別

在機(jī)電設(shè)備的組件上連接傳感器，利用傳感器采集機(jī)電設(shè)備的故障信號(hào)。利用去噪算法中的移動(dòng)平均濾波公式，將采集的故障信號(hào)進(jìn)行數(shù)據(jù)校對(duì)，如公式（1）所示。

（1）

式中：Y[n]是濾波后的信號(hào)；X[n]是原始信號(hào)；N是濾波窗口的大??；n是時(shí)間點(diǎn)；k是時(shí)間偏移的變量。

經(jīng)公式（1）校對(duì)后，可確保數(shù)據(jù)的準(zhǔn)確性和穩(wěn)定性。系統(tǒng)可實(shí)時(shí)監(jiān)控傳感器數(shù)據(jù)，并使用異常檢測(cè)算法的Z-得分檢測(cè)公式來(lái)識(shí)別故障信號(hào)，如公式（2）所示。

（2）

式中：Z是Z-得分；X是數(shù)據(jù)點(diǎn)的值；μ是數(shù)據(jù)集的均值；σ是數(shù)據(jù)集的標(biāo)準(zhǔn)差。

如果Z很大（正或負(fù)），則表示數(shù)據(jù)點(diǎn)與均值的偏差很大，是異常值，因此為故障信號(hào)。相反，如果Z接近于零，則表示數(shù)據(jù)點(diǎn)與均值的偏差很小，不是異常值，不是故障信號(hào)。

2.2.2 故障信號(hào)分類

利用特征提取中的互相關(guān)函數(shù)公式提取故障信號(hào)中不同故障類型的特征，如公式（3）所示。

（3）

式中：Rxy（T）是信號(hào)x和y之間在時(shí)間延遲T下的互相關(guān)函數(shù)；N是樣本數(shù)量；x（t）和（t）y分別是信號(hào)x和y在時(shí)刻t的值。

根據(jù)每個(gè)數(shù)據(jù)的特征，將故障類型標(biāo)簽劃分為機(jī)械故障數(shù)據(jù)和電氣故障數(shù)據(jù)，使每個(gè)數(shù)據(jù)樣本與相應(yīng)的故障類型關(guān)聯(lián)。

2.2.3 故障樹(shù)模型建立

基于故障信號(hào)分類的結(jié)果，將機(jī)械故障信號(hào)和電氣故障信號(hào)作為基本事件的來(lái)源，以構(gòu)建故障樹(shù)的底層。將性能下降作為頂事件，并將基本事件連接到頂事件，建立故障樹(shù)。通過(guò)分析故障樹(shù)，識(shí)別導(dǎo)致設(shè)備故障的根本原因和可能的故障模式。為每個(gè)故障模式分配一個(gè)故障ID號(hào)，用于標(biāo)識(shí)該事件，以便對(duì)故障進(jìn)行追蹤和管理。并將故障ID和相關(guān)信息記錄在故障數(shù)據(jù)庫(kù)中，以便隨時(shí)查找和檢索。

2.3 故障維修指導(dǎo)模塊

故障維修指導(dǎo)模塊是機(jī)電設(shè)備輔助維修系統(tǒng)中的關(guān)鍵組成部分，旨在為維修人員提供診斷和修復(fù)設(shè)備故障的指導(dǎo)和支持。利用上述步驟將采集的數(shù)據(jù)進(jìn)行數(shù)據(jù)整合，得到機(jī)電設(shè)備的數(shù)字孿生模型。通過(guò)數(shù)字孿生模型模擬機(jī)電設(shè)備的結(jié)構(gòu)、運(yùn)行和性能。再結(jié)合混合現(xiàn)實(shí)技術(shù)，儲(chǔ)存機(jī)電設(shè)備關(guān)鍵部位信息，并將故障識(shí)別碼與機(jī)電設(shè)備的每個(gè)關(guān)鍵部位進(jìn)行匹配，以創(chuàng)建維修指南，其中包括每個(gè)故障點(diǎn)對(duì)應(yīng)的修復(fù)流程，以指導(dǎo)維修人員執(zhí)行特定機(jī)電設(shè)備故障維修任務(wù)，并使維修人員能夠在虛擬環(huán)境中觀看機(jī)電設(shè)備的內(nèi)部結(jié)構(gòu)和工作原理，以更好地理解維修流程。將提前錄制的機(jī)電設(shè)備維修視頻存入維修歷史數(shù)據(jù)庫(kù)。維修人員通過(guò)觀看視頻來(lái)獲取關(guān)于設(shè)備維修的實(shí)際示例。同時(shí)，維修人員可以利用Microsoft HoloLens 2與專家遠(yuǎn)程進(jìn)行視頻對(duì)話，并通過(guò)Microsoft HoloLens 2的傳感器為專家提供機(jī)電設(shè)備的故障信號(hào)數(shù)據(jù)、歷史維修數(shù)據(jù)以及維修環(huán)境數(shù)據(jù)，與專家協(xié)同進(jìn)行機(jī)電設(shè)備的維修工作。

2.4 虛擬環(huán)境注冊(cè)融合模塊

虛擬環(huán)境注冊(cè)融合模塊是將虛擬信息（維修指導(dǎo)方案）與真實(shí)世界的物理環(huán)境（設(shè)備維修場(chǎng)景）進(jìn)行對(duì)齊和融合，以使維修人員能夠在實(shí)際工作中看到虛擬信息和真實(shí)物體，如圖2所示。

2.4.1 提取場(chǎng)景特征點(diǎn)

維修人員使用Microsoft HoloLens 2的RGB-D相機(jī)采集當(dāng)前幀的圖像，包括真實(shí)維修場(chǎng)景中的設(shè)備和環(huán)境。從數(shù)據(jù)庫(kù)中獲取預(yù)先存儲(chǔ)的基準(zhǔn)幀圖像，這些圖像代表虛擬維修指導(dǎo)方案的參考狀態(tài)。在當(dāng)前幀和基準(zhǔn)幀圖像中使用特征檢測(cè)算法中的高斯差分圖像計(jì)算公式來(lái)提取特征點(diǎn)的位置和描述子（描述特征點(diǎn)周圍區(qū)域的信息），如公式（4）所示。

D（x，y，σ）=L（x，y，σ+k）-L（x，y，σ） （4）

式中：D（x，y，σ）表示高斯差分圖像；L（x，y，σ）表示在尺度σ下的高斯模糊圖像；k是一個(gè)常數(shù)，用于選擇相鄰尺度層次。

2.4.2 匹配特征點(diǎn)

將當(dāng)前幀中的特征點(diǎn)描述子與基準(zhǔn)幀中的特征點(diǎn)描述子進(jìn)行比較，使用距離度量方法的歐氏距離計(jì)算公式來(lái)確定它們之間的相似性，如公式（5）所示。

（5）

式中：?Ai和Bi分別是向量?A和B中的元素；n是向量的維度。

根據(jù)計(jì)算結(jié)果，將虛擬環(huán)境中的特征點(diǎn)與相機(jī)圖像中的特征點(diǎn)進(jìn)行匹配。

2.4.3 估計(jì)修正姿態(tài)

建立特征點(diǎn)的對(duì)應(yīng)關(guān)系后，使用這些對(duì)應(yīng)關(guān)系來(lái)估計(jì)相機(jī)的姿態(tài)，即相機(jī)在空間中的位置和方向。通過(guò)求解相機(jī)的位移和旋轉(zhuǎn)變換來(lái)估計(jì)相機(jī)姿態(tài)，從而將虛擬對(duì)象對(duì)齊到真實(shí)世界。使用平移矢量公式計(jì)算相機(jī)的位移，如公式（6）所示。

T=[tx，ty，tz] （6）

式中：tx、ty、tz表示相機(jī)的平移在x、y和z方向上的位移。

通過(guò)公式（6）描述相機(jī)在三維空間中的位置變化，再使用四元數(shù)計(jì)算公式計(jì)算相機(jī)的旋轉(zhuǎn)變換，如公式（7）所示。

q=[qw，qx，qy，qz] （7）

式中：qw是四元數(shù)的是實(shí)部；qx、qy、qz是虛部。

結(jié)合公式（7）式即可估計(jì)相機(jī)姿態(tài)。然而，估計(jì)的相機(jī)姿態(tài)可能包括誤差，因此利用歐式距離誤差公式對(duì)其進(jìn)行修正，如公式（8）所示。

E（PVirtual，pReal）=|PVirtual-pReal| （8）

式中：E表示虛擬對(duì)象與真實(shí)世界之間的差異；PVirtual表示虛擬世界的坐標(biāo)；pReal表示真實(shí)世界的坐標(biāo)，修正相機(jī)姿態(tài)以確保虛擬對(duì)象與真實(shí)世界能準(zhǔn)確對(duì)齊。

2.4.4 確認(rèn)相機(jī)姿態(tài)

最后，將虛擬對(duì)象疊加到相機(jī)圖像中，觀察其在真實(shí)世界中的位置和外觀，確認(rèn)修正后的相機(jī)姿態(tài)是否滿足對(duì)齊要求。

2.4.5 疊加虛擬場(chǎng)景

系統(tǒng)使用估計(jì)的相機(jī)姿態(tài)，將虛擬維修指導(dǎo)方案疊加到當(dāng)前幀圖像中，以實(shí)現(xiàn)虛實(shí)融合顯示。虛擬場(chǎng)景會(huì)與真實(shí)維修場(chǎng)景相對(duì)應(yīng)，保持位置和方向一致。

2.4.6 融合顯示

虛實(shí)融合后的圖像將在Microsoft HoloLens 2顯示器上呈現(xiàn)給維修人員。維修人員會(huì)看到虛擬維修指導(dǎo)方案與真實(shí)維修場(chǎng)景無(wú)縫融合在一起，得到實(shí)時(shí)的輔助信息和指導(dǎo)。

3 測(cè)試試驗(yàn)

3.1 試驗(yàn)準(zhǔn)備

為檢測(cè)基于數(shù)字孿生與混合現(xiàn)實(shí)技術(shù)的機(jī)電設(shè)備輔助維修系統(tǒng)的實(shí)用性及有效性，對(duì)機(jī)電設(shè)備輔助維修系統(tǒng)進(jìn)行模擬測(cè)試。選用MG730型電牽引采煤機(jī)搖臂傳動(dòng)系統(tǒng)的齒輪故障為維修對(duì)象，選用2048×1080HD Microsoft HoloLens2的頭戴式顯示設(shè)備，立體全息顯示，水平視場(chǎng)角為52度，垂直視場(chǎng)角為40度，提供維修設(shè)備的虛擬維修場(chǎng)景。計(jì)算機(jī)處理器為Intel Core i7-11700K，8核心，16線程，基頻3.6GHz，最大睿頻5.0GHz。

3.2 試驗(yàn)結(jié)果

本文試驗(yàn)對(duì)系統(tǒng)的維修準(zhǔn)確度和系統(tǒng)界面的清晰度、對(duì)齊精度、系統(tǒng)崩潰次數(shù)和平均響應(yīng)時(shí)間進(jìn)行測(cè)試，所得試驗(yàn)結(jié)果見(jiàn)表1。

試驗(yàn)數(shù)據(jù)表明，系統(tǒng)在不同維修任務(wù)下的準(zhǔn)確性為98%～99%，表明系統(tǒng)在識(shí)別和處理維修任務(wù)方面具有較高的準(zhǔn)確性，維修人員可以根據(jù)系統(tǒng)提供的信息來(lái)執(zhí)行任務(wù)。清晰度評(píng)分為8～9，表明系統(tǒng)可提供相對(duì)清晰的虛擬維修場(chǎng)景信息，清晰的虛擬信息能幫助維修人員更好地理解維修任務(wù)的細(xì)節(jié)。對(duì)齊精度對(duì)混合現(xiàn)實(shí)系統(tǒng)非常重要，它影響了虛擬對(duì)象在真實(shí)場(chǎng)景中的位置和姿態(tài)。系統(tǒng)的對(duì)齊精度為2mm～5mm，表明虛擬對(duì)象與真實(shí)世界的對(duì)齊相對(duì)精確，可為維修人員提供高度準(zhǔn)確的虛擬和現(xiàn)實(shí)世界的融合體驗(yàn)，提高機(jī)電設(shè)備維修的精準(zhǔn)度。系統(tǒng)在所有測(cè)試中崩潰次數(shù)為0，表明系統(tǒng)在穩(wěn)定性方面表現(xiàn)良好。系統(tǒng)的平均響應(yīng)時(shí)間為0.4s～0.7s，表明系統(tǒng)能夠在較短時(shí)間內(nèi)響應(yīng)用戶的操作，響應(yīng)時(shí)間短可提高維修任務(wù)的效率。

基于數(shù)字孿生與混合現(xiàn)實(shí)技術(shù)的機(jī)電設(shè)備輔助維修系統(tǒng)在性能方面表現(xiàn)良好，具有較高的準(zhǔn)確性、清晰度、對(duì)齊精度和穩(wěn)定性，同時(shí)響應(yīng)迅速。這些性能特點(diǎn)使該系統(tǒng)成為一個(gè)良好的機(jī)電設(shè)備維修工具，可支持維修人員執(zhí)行復(fù)雜的機(jī)電設(shè)備維修任務(wù)。

4 結(jié)語(yǔ)

針對(duì)機(jī)電設(shè)備維修過(guò)程中遇到的困難，本文提出了數(shù)字孿生和混合現(xiàn)實(shí)技術(shù)相融合的維修方法，設(shè)計(jì)了基于數(shù)字孿生和混合現(xiàn)實(shí)技術(shù)的機(jī)電設(shè)備輔助維修系統(tǒng)，并詳細(xì)介紹了該系統(tǒng)的總框架設(shè)計(jì)、硬件設(shè)計(jì)以及軟件設(shè)計(jì)，包括維修環(huán)境感知模塊、故障識(shí)別與匹配模塊等關(guān)鍵組成部分。試驗(yàn)數(shù)據(jù)驗(yàn)證了該系統(tǒng)的實(shí)用性和有效性。希望相關(guān)技術(shù)人員繼續(xù)對(duì)該領(lǐng)域進(jìn)行深入探討，以充分發(fā)揮數(shù)字孿生和混合現(xiàn)實(shí)技術(shù)的潛力，并解決相關(guān)的技術(shù)和應(yīng)用問(wèn)題。相信不久的將來(lái)，數(shù)字孿生與混合現(xiàn)實(shí)技術(shù)能廣泛應(yīng)用于工業(yè)領(lǐng)域中，為提高工作效率、提供更好的用戶體驗(yàn)和促進(jìn)技術(shù)創(chuàng)新做出更大貢獻(xiàn)。

參考文獻(xiàn)

[1]張旭輝，張雨萌，王巖，等.融合數(shù)字孿生與混合現(xiàn)實(shí)技術(shù)的機(jī)電設(shè)備輔助維修方法[J].計(jì)算機(jī)集成制造系統(tǒng)，2021，27（8）：2187-2195.

[2]鐘珂珂，洪海波，宋倩，等.增強(qiáng)現(xiàn)實(shí)與數(shù)字孿生混合驅(qū)動(dòng)的航天復(fù)雜裝備維修輔助技術(shù)研究[J].軍民兩用技術(shù)與產(chǎn)品，2023（4）：5-10.

[3]朱金達(dá)，陳佳輝，秦志英，等.基于虛擬現(xiàn)實(shí)與數(shù)字孿生技術(shù)的自行火炮輔助維修系統(tǒng)[J].數(shù)字印刷，2022（6）：117-127.

作者簡(jiǎn)介：孫藝凌（1988-），女，江蘇連云港人，本科，講師，研究方向?yàn)榧庸ぶ圃祛悺?/p>

電子郵箱：280584924@qq.com。