MR 混合現(xiàn)實技術在機電工程中的探索應用

王方笛

（中國空空導彈研究院 河南省洛陽市 471003）

結合現(xiàn)實世界和虛擬世界的視覺體驗是混合現(xiàn)實（MR）技術，它利用計算機數(shù)據(jù)處理能力將虛擬數(shù)字數(shù)據(jù)疊加在現(xiàn)實世界環(huán)境中來連接現(xiàn)實世界和虛擬世界。隨著技術不斷迭代更新，應用在各行各業(yè)，已經(jīng)形成產(chǎn)業(yè)化趨勢?？臻g定位結合人機交互全息投影與傳感技術混合現(xiàn)實技術已實現(xiàn)。用戶不僅可以感知現(xiàn)實世界中的物理事物，又能獲取有關虛擬數(shù)字世界中事物的信息，并實現(xiàn)現(xiàn)實世界和虛擬世界之間的實時交互。BIM 的全稱是Building Information Modeling，是整個生命周期工程項目或其組成部分物理特征、功能性能及管理模式的共享數(shù)字化表達，是集建設工程項目的設計、建造和運營全過程進行管理和優(yōu)化的過程、方法和技術。BIM 是數(shù)字技術在 AEC（Architec-ture, Engineering &Construction）行業(yè)中的直接表達，在施工前先用電腦進行模擬，盡可能多地發(fā)現(xiàn)設計、施工和組織協(xié)調方面的問題。BIM 技術正在引發(fā)建設行業(yè)的深刻變革，也為建設管理提供了新的范式。其相關工作和項目的生命周期信息及其重要價值如下：提供有關項目決策的基本信息，精心制作的項目，多層次設計建筑信息模型已經(jīng)替代了建筑行業(yè)的二維模型。展示創(chuàng)造性建筑技能的知識，并提高所有類型的建筑工程的性能。 即構造數(shù)據(jù)類型中的數(shù)據(jù)與用戶頁面的鏈接方式相同,使信息處理系統(tǒng)的創(chuàng)建能夠在現(xiàn)實世界中運行的數(shù)字知識。同時，BIM 在建筑行業(yè)的技術知名度是基于混合技術實現(xiàn)的。目前，使用混合技術的研究越來越廣泛。雖然現(xiàn)在大多數(shù)學者只使用 AR+BIM 來研究建筑工程，但MR是實時的、可視化程度更高的技術，并且比AR 更具交互性。建筑數(shù)據(jù)模型的好處可以體現(xiàn)模型的實用價值，更好地模擬建筑數(shù)據(jù)。因此，有必要結合MR+BIM 技術深入研究建設數(shù)據(jù)庫工程。

1 運用混合現(xiàn)實（MR）技術的優(yōu)勢

1.1 MR技術的特點

混合現(xiàn)實（MR）技術屬于數(shù)字感知技術，是由多倫多大學教授史蒂夫曼提出的介導現(xiàn)實技術實現(xiàn)的。通過呈現(xiàn)真實世界的虛擬場景數(shù)據(jù)，可以在用戶、真實世界和虛擬世界之間設置數(shù)據(jù)交互反饋回路，使得用戶的體驗感更加的強烈，并且對世界有個新的認知。

MR 技術類似于增強現(xiàn)實（AR），兩者都是用一半的現(xiàn)實世界和一半的虛擬圖像來表示，但傳統(tǒng)的AR 技術是利用棱鏡透鏡的原理，將真實圖像折射顯示出來。角度沒有VR（ViRtual Reality）那么大，整體清晰度也備受影響。 MR聯(lián)合了 AR 和 VR 技術的優(yōu)點和強項。未來，AR 技術可能會更好地體現(xiàn)在智能硬件上。另一方面，MR 技術具有靈活度高、機器與人和系統(tǒng)之間連接緊密、反饋信息能力強等優(yōu)勢，使其成為各行各業(yè)日益智能的工具，作為提供重要信息和信息的手段。

MR 技術最明顯的優(yōu)點之一就是可以達到瞬時通信，實時為用戶展示與交流實物信息，通過利用人工智能和大數(shù)據(jù)這兩種技術手段即可實現(xiàn)這項功能，如建立數(shù)據(jù)庫的條件是通過在人與設備之間的聲紋識別、手勢控制、虛擬視覺與現(xiàn)實相交互等功能的實現(xiàn)，再加上底層的人工智能系統(tǒng)輔助收集數(shù)據(jù)并分析處理后存儲。而對形成的信息模型進行分析則需要用到人工智能算法，如機器學習與學習算法。當參與者越多時，收集到的數(shù)據(jù)信息量較大，形成的數(shù)據(jù)模型也較為復雜，此時若要快速做出響應，就需要采用機器學習、大數(shù)據(jù)和更頂尖的設備進行運算處理相應的數(shù)據(jù)模型。在MR 技術與人工智能相結合后，再通過大數(shù)據(jù)的收集、分析以及科學的預測，可以在混合現(xiàn)實技術展示效果中對預設的混合數(shù)字信息模型進行移動、大小比例變化和全方位展示等操作，其過程相當流暢。

我國在《中華人民共和國國民經(jīng)濟和社會發(fā)展第十四個五年規(guī)劃和2035 年遠景目標綱要》中對發(fā)展壯大戰(zhàn)略性新興產(chǎn)業(yè)提出相關要求及重要指示，在構建產(chǎn)業(yè)體系新支柱中聚焦新一代信息技術、在前瞻謀劃未來產(chǎn)業(yè)中組織在類腦智能等領域孵化與快速布局。以混合現(xiàn)實技術、人工智能為基礎的人機協(xié)同、BIM 以及智能管控系統(tǒng)等，為此項技術的進步提供了新的動力支持。

1.2 MR比VR和AR優(yōu)勢更加的明顯

與AR 和VR 相比，MR 技術可以將用戶吸引到虛實結合的視覺體驗中。用戶不僅可以體驗現(xiàn)實世界,虛擬世界中也有實物的信息。數(shù)字世界中的信息使現(xiàn)實世界和虛擬世界之間的實時交互成為可能。并且MR 技術的進展已成熟化。還可以在可移動存儲介質中裝備小型計算機，讓用戶在使用過程中可以更方便的移動。雖然MR 技術和AR 技術并沒有太大的區(qū)別，然而，在呈現(xiàn)信息方面，MR 技術效果更好，為用戶提供了更真實的體驗。這是因為MR 技術的虛擬數(shù)字數(shù)據(jù)也為用戶提供了實時信息。也就是說，MR 技術是AR和VR 技術優(yōu)勢的集合，在許多領域中優(yōu)勢都是更加的明顯。

1.3 MR技術在建筑工程中的應用要點

要實現(xiàn)建筑工程中的數(shù)據(jù)生成，首先需要創(chuàng)建一個軟件類別。其次，支持創(chuàng)建需要強大的硬件平臺。與使用AR 技術和VR 技術所對應設備相比，MR 設備具有可視化程度高、機器與人和系統(tǒng)之間連接緊密、反饋信息能力強等優(yōu)勢。成熟化程度高的MR 技術為建筑工程帶來更多的效益。主要應用點在三個方面：

（1）MR 呈現(xiàn)的虛擬數(shù)據(jù)清晰明了，便于直觀顯示，用3D 投影替代2D 顯示。

（2）設計效果在建立工程圖的同時就可以展示，有利于專業(yè)人士交流和推廣設計信息,提高工作效率。

（3）建筑工程領域中一個強大的生產(chǎn)力工具是MR 設備運算水平，它利用MR 設備對收集的各類信息進行快速分析處理后再輸入更新。

當項目剛剛開始時需要一個建筑信息模型來創(chuàng)建項目資源，統(tǒng)一收集所有信息，既可以保證數(shù)據(jù)的一致性，也可以給保證建筑數(shù)據(jù)模型中包含所有項目信息，解決管理封閉數(shù)據(jù)問題使所有參與者在整個項目中用相同的工程資源。并且所有重要的信息部門都可以收到實時信息，包括信息交換和共享成果，提高項目進度，消除傳統(tǒng)數(shù)據(jù)交換與應用系統(tǒng)數(shù)據(jù)分離之間的不平衡。

協(xié)作辦公室使用 BIM 信息技術來提高基于協(xié)作設計建設項目的性能和質量。協(xié)作數(shù)據(jù)和信息辦公室在一個集中的集成平臺上運作，所有參與者都在一個平臺上設計項目。避免集成平臺建設項目中的重復，并與真實世界建筑3D 模型虛擬數(shù)據(jù)進行交互。及時協(xié)調工程項目設計，優(yōu)化設計風格后，采用BIM 信息技術進行數(shù)據(jù)綁定和邏輯整合。從建筑數(shù)據(jù)的3D 模型生成的圖形和文本數(shù)據(jù)與模型相關聯(lián)。此外，模型數(shù)據(jù)的更改會影響相關數(shù)據(jù)的更新。例如在項目規(guī)劃過程中，創(chuàng)建與模型相關的對象，當對象發(fā)生數(shù)據(jù)改變時，相關信息也會發(fā)生變化。參數(shù)和相關的設計數(shù)據(jù)來自每個學科的統(tǒng)一數(shù)據(jù)模型。當相關信息出現(xiàn)改變時，相關信息將相應更新，可避免多次反復輸入數(shù)據(jù)，減少低層次勞動力的重復。

在施工交底階段通過掃碼定位或者兩點定位的方式，將BIM 模型定位。疊加現(xiàn)實建筑空間中。利用定位后的BIM模型，在現(xiàn)場起到可視化的施工交底作用。

在遠程監(jiān)管過程中結合工程現(xiàn)場的監(jiān)控攝像頭，管理人員和施工人員不用到現(xiàn)場也能輕松了解現(xiàn)場施工狀況，輔助遠程監(jiān)管和進度比對。

在管控進度方面可將施工計劃關聯(lián)到BIM 模型上，通過BIM 模型反映的計劃與現(xiàn)場實際進度比對，并將現(xiàn)場進度反饋的結果（施工中，已完工的狀態(tài)）記錄和反饋，利用BIM 模型實現(xiàn)計劃于實際完工情況的比對、查看、統(tǒng)計、和提醒。

在驗收階段通過定位疊加后的BIM 模型，可視化的與現(xiàn)場施工情況進行比對，起到利用模型校對施工質量的作用。配合驗收反饋功能，將比對后的結果，利用通知流程發(fā)送給對應用戶，實現(xiàn)驗收問題的創(chuàng)建、通知、查看、反饋。

在工程項目中使用BIM 技術進行厘米級定位，將BIM模型疊加在施工工地與項目現(xiàn)場，為施工和驗收環(huán)節(jié)提供可視化的參考和指導。因為BIM 技術提供的不僅僅是老式的建筑項目，相應地調整建筑類型，加快進度并節(jié)省資金利用建筑編輯的BIM 專業(yè)知識，實現(xiàn)集成的視覺集成和圖像模擬管理。BIM 技術展示效果后可與所有項目利益相關者進行良好的溝通，降低建設工程成本和項目運作成本。提高施工計劃的效率，改善時間和資金短缺問題。

1.4 MR在機電設備電力建設及維修中的應用

制造技術的發(fā)展日新月異，各種機電設備的設計思路、工藝方法及制造過程越來越復雜，因此，對設備的運行維護工作提出新的要求。隨著計算機技術的不斷迭代，機電設備的運行維護需要突破的關口是如何利用人工智能機混合現(xiàn)實技術輔助、指導維修者對機電設備的整體狀態(tài)進行準確判別。在機電設備安裝初期預設重要管路、儀表、接插件及開關的監(jiān)測點，方便后續(xù)加裝各類傳感器輔助監(jiān)測，再基于深度學習開發(fā)機電設備運行狀態(tài)檢測技術，通過多方位拍攝，形成圖像數(shù)據(jù)庫，根據(jù)圖像識別、分類，最后合并獲取目標檢測結果。目前，意大利空軍基于Hololens 開發(fā)了用于維修的C41 系統(tǒng)，專家可通過網(wǎng)絡對維修人員進行遠程指導維修。

傳統(tǒng)的技術維修手段依托于專業(yè)的維修人員，其中存在技術升級后維修人員知識儲備未更新的情況。隨著科技的進步與發(fā)展，電力系統(tǒng)在不斷迭代升級，與此同時要求管理、維護電力系統(tǒng)的工作人員的專業(yè)素質達到新的層次。對工作人員知識水平也要與電力系統(tǒng)的快速迭代相契合，可利用混合現(xiàn)實技術為電力系統(tǒng)的工作人員分析電力系統(tǒng)的整體物理結構進行信息標注，增強工作人員、虛擬世界和現(xiàn)實世界的交互感，再以模擬仿真的方式完成對搭載電力系統(tǒng)的設備拆解和組裝，使工作人員可以更深入地熟知各類搭載電力系統(tǒng)的設備的整體物理結構和工作原理等，工作人員可以不斷模擬仿真，從而理論結合實際更扎實地掌握安全規(guī)章制度，熟悉操作手段，提高工作人員操作的熟練度，降低電力系統(tǒng)檢修、維護的難度，提升工作效率。

利用混合現(xiàn)實技術預設仿真不同類型的電力故障，工作人員通過分析，找出其中的核心要素，從而掌握不同類型電力故障的處理方式，能使工作人員在實際工作中對電力故障的類型、原因、可能發(fā)生故障的位置進行迅速的判斷，并根據(jù)智能運維設備快速解決突發(fā)的故障情況。簡單來說，利用混合現(xiàn)實技術對真實或預想的電力故障進行仿真模擬，并要求多名工作人員利用可視化設備的互聯(lián)互動功能，同時進入搭載電力系統(tǒng)設備的突發(fā)狀況現(xiàn)場中，通過全方位、人機協(xié)同對故障進行快速處理，加強工作人員的多層次聯(lián)動工作能力，使不同部門、不同崗位的工作人員能在故障突發(fā)的同時和解決過程中，可以在確保相關人員安全的大前提下，盡可能地降低電力故障帶來的風險和損失。

在電力系統(tǒng)中還可利用混合現(xiàn)實技術整理綜合設備資源數(shù)據(jù)，運行維護人員在現(xiàn)場設備上映射投影整個電力信息資源，在電力系統(tǒng)中通過手勢這種交互性強的動作進行便捷性展示。通過在電力系統(tǒng)中應用該技術，可推動構建三維電力信息資源模型，使工作人員能在工作中依靠智能化通訊設備完成資源梳理、定位、調度等工作，提高設備運行維護效率。

1.5 MR+BIM技術綜合效益

BIM 技術在建筑領域得到充分應用。讓建筑行業(yè)更有利可圖、更智能。并以此為基礎，也為各種高科技提供了更便捷的應用領域。結合混合現(xiàn)實MR 技術和BIM 技術，可以帶來充滿科幻色彩的體驗。MR 技術強大的人機交互能力可以抵消BIM 模型與工地對接的困難。MR+BIM 技術可用于主動解決潛在問題。實現(xiàn)數(shù)據(jù)全互聯(lián)信息數(shù)據(jù)，更貼合現(xiàn)實施工現(xiàn)場，旨在減少或消除施工現(xiàn)場數(shù)據(jù)傳輸錯誤設計，確保施工現(xiàn)場信息的完整表示，BIM+MR 平臺的建立可以有效指導現(xiàn)場施工，全景式逼真的施工模擬。在狹小的空間內實現(xiàn)多領域、層次感強、同平臺施工，使機電工程施工達到更安全、更準確的要求。通過優(yōu)化計劃并進行現(xiàn)場仿真、技術把控和安全要求落實等，以加快項目進度。

AR 技術對于復雜的施工環(huán)境無法進行很好的處理。這是因為這項技術只能處理物理世界中的虛擬數(shù)字數(shù)據(jù)。人與計算機之間沒有實時交互。通過基于AR 和BIM 技術的現(xiàn)場檢查和施工環(huán)境分析。編制了一套全面的、可實施的現(xiàn)場操作說明。首先，虛擬的數(shù)字量顯示在MR 設備上。它在現(xiàn)實世界中工作，并實現(xiàn)人與設備之間的同步交互。然后，在施工期間，每個技術人員和技能人員都佩戴一個與小型 BIM數(shù)據(jù)庫相對應的 MR 套件。每個技術人員和技能人員都可以在數(shù)據(jù)庫中捕捉和比較虛擬數(shù)據(jù)，并在現(xiàn)場隨時查看施工狀態(tài)。數(shù)據(jù)庫中的虛擬數(shù)據(jù)隨著場地的建設情況而變化，使得現(xiàn)實世界與虛擬世界的發(fā)生了交互。MR 設備不僅可以接收虛擬數(shù)字量，也可以收集信息后再分析處理更新，展示了MR 設備成熟度高的交互水平。維護重要的項目數(shù)據(jù)并使用MR+BIM 工具是數(shù)據(jù)生成的主要目標。在項目的運維階段，建筑信息建模技術將工程師從繁瑣的數(shù)據(jù)手冊中解放出來，在模型中以直觀的三維格式顯示信息，幫助開發(fā)運營管理和維修工作。但是，由于產(chǎn)生的虛擬數(shù)據(jù)量過多，仍然無法實現(xiàn)虛擬數(shù)據(jù)與現(xiàn)實世界的機器與人和系統(tǒng)之間連接緊密。此外，虛擬數(shù)據(jù)存在的問題也無法直觀地表現(xiàn)出來。這使得該技術在工程操作和維護中不太常用。這表明 MR 設備實際上是模型數(shù)據(jù)、操作和維護數(shù)據(jù)以及現(xiàn)實世界進行信息交流的一條通道。

2 MR+BIM技術在機電工程安裝中的說明

使用MR+BIM 技術進行機電部署的流程示意圖如圖1所示。在BIM 建模的基礎上，應用MR 技術聯(lián)合AI 系統(tǒng)分析整理大數(shù)據(jù)，可以識別規(guī)劃任務和建設支持等功能，在施工現(xiàn)場進行人與設備智能識別，人與設備進行數(shù)據(jù)交流操作，以保證各種應用的運行，操作過程清晰明了，現(xiàn)場與管控中心實時溝通。

圖1： MR+BIM 整體流程

2.1 MR+BIM機電模型的創(chuàng)建

首先根據(jù)施工流程創(chuàng)建一個BIM 機電模型，在Revit 中將二維CAD 模型修改為三個3D 圖形，然后對Revit 端生成的模型數(shù)據(jù)進行掃描、替換、合并和包裝，整理后生成數(shù)據(jù)文件,并將其存儲為應用可以識別的格式。

將上面發(fā)送的數(shù)據(jù)文件上傳到云端，使用微軟Hololens2工具創(chuàng)建BIM+MR 平臺應用，并集成到可視化管理數(shù)據(jù)庫中進行數(shù)據(jù)匹配，相互展示，最終創(chuàng)建一個完整的模型。

圖2 顯示了制冷機房的 BIM 模型。可以看出，MR+BIM 技術在現(xiàn)場開發(fā)的可視化模型具有優(yōu)秀的人機系統(tǒng)和溝通能力。

圖2： MR+BIM 可視化機電模型

2.2 MR+BIM應用要素分析

在建設機電工程之前，應根據(jù)項目進度進行項目規(guī)劃，視覺輔助，使施工工作可以在施工現(xiàn)場自然進行。并且基于一個清晰的模型，它能夠識別成熟的原則，并在模型中融入內置的專業(yè)知識，從而提供更多關于施工關鍵點的質量改進和完成后更好的驗收的信息。在站點的特定位置使用視覺模型可以教授建筑技能和管理人員知識。工程設計水平與提交本課程的內容是強交互性，輔導員能夠將實時交流與匹配工作相結合，從而提高特定級別的學習技巧和能力。

定位后，MR+BIM 技術可用于施工輔助設備，如檢測輔助設備，可測量現(xiàn)場電氣設備與管道的水平和垂直距離，并可實時拍攝和記錄。監(jiān)督建設質量和戰(zhàn)略方向，并為建設提供實踐指導。通過逐步實施，模型可以根據(jù)位置實時顯示在施工現(xiàn)場，可以預覽設備的位置，為設備設施的安裝提供支持。如安裝軸對應位置信息、移動設備相對位置、實時測量距離等。

在項目工程建設的前期、中期、后期及工程應用前可采用聲、光、電等多媒體技術對整個項目進行數(shù)字化信息采集，形成一個數(shù)據(jù)庫。這個數(shù)據(jù)庫可以通過混合現(xiàn)實技術對項目工程的設計、建設、使用讓用戶體驗達到一個新的高度。在展示項目工程相關信息的同時，展示形式上也可以變得各式各樣，為項目工程提出了更多的施展空間，通過混合現(xiàn)實技術可以打破現(xiàn)場空間的桎梏，將數(shù)據(jù)庫中可展示的數(shù)字化信息全方位的提供給用戶觀摩欣賞，這樣的應用技術帶來的不僅僅是用戶視覺體驗的提升，也從另一個方面滿足了用戶對整個項目全流程建設的好奇心，這對用戶以及潛在客戶群體來說無論是認知層面，還是觀賞質量都起到了積極地提升，因此混合現(xiàn)實技術數(shù)據(jù)庫的搭建對項目工程施工方也對用戶以及潛在客戶群體都具有重要意義。

通過應用在現(xiàn)實世界的新技術，智能協(xié)作成為可能?；旌霞軜嫷膶崟r溝通，現(xiàn)場遇到問題后的遠程技術溝通，并且可以在項目施工現(xiàn)場和管控中心同步信息，實現(xiàn)更好的發(fā)展。

3 結語

目前，在現(xiàn)實世界和內部建設項目中使用MR+BIM 技術的案例還很少，還處于早期研究階段。本文將新技術應用于工程環(huán)境中，引導和支持機電建設，取得了良好的性能效果，滿足了多項關鍵要求。但受限于建設者的現(xiàn)代研發(fā)技術、樓宇管理者的認可、軟硬件的融合，使用量仍有很大的提升空間需要提升。未來，隨著地下電力基礎設施的合法化，這項新技術將繼續(xù)用于創(chuàng)新和開發(fā)更好的運營條件。隨著高性能案例數(shù)量的逐步增加，公眾接受能力的不斷提升，以及科技的進一步發(fā)展，MR+BIM 技術將對機電基礎設施建設產(chǎn)生重大影響，并將在未來提供新的機械化，自動化平臺，促進更好的發(fā)展和進步。