基于混合現(xiàn)實與案例推演技術(shù)的移動可視化檢修決策支持系統(tǒng)

鄭利龍，李秉展

(西南交通大學土木工程學院，四川成都 610000)

隨著MR(Mixed Reality)技術(shù)的興起，移動檢修變得更加直接、有效。傳統(tǒng)建筑維護需要由有經(jīng)驗的和經(jīng)過長期訓練的專家來進行，并且維護成本高、效率低。隨著新技術(shù)的發(fā)展，研究人員逐漸開始整合各項新技術(shù)用于建筑維護。據(jù)統(tǒng)計，絕大部分有關(guān)建筑維護管理研究的文章加入了信息技術(shù)的內(nèi)容，認為該類技術(shù)使得研究更有價值和意義，且研究者認為，其中的混合現(xiàn)實技術(shù)在設(shè)備管理中將會發(fā)揮出更大的作用[1]。MR技術(shù)是通過將計算機生成的虛擬物體或信息和真實環(huán)境實時疊加在一起，給用戶呈現(xiàn)一個感官效果真實、場景信息豐富的情境。這種虛擬零件和真實零件共存的特點，可以為用戶在復雜的建筑維護和檢修中提供一種更靈活、直觀的方法，從而使得非熟練工人也能夠正確地進行建筑維護與檢修，達到縮短建筑維護周期、提高檢修效率、降低維護成本的目標。

MR用于建筑維護的研究已不新穎，然而很少有將其融入BIM和知識管理的研究。本研究提出整合BIM、MR與CBR算法，集成智能的云端決策支持系統(tǒng)。通過基于CBR技術(shù)的云端決策支持系統(tǒng)，可提高檢修推薦方案的有效性。CBR作為人工智能發(fā)展較為成熟的一個分支，它是一種基于過去的實際經(jīng)驗或經(jīng)歷的推理。研究通過多專業(yè)整合的BIM知識模型為基礎(chǔ)，打通CBR數(shù)據(jù)庫與模型底層數(shù)據(jù)庫的數(shù)據(jù)接口，通過云端連接MR系統(tǒng)，形成可視化檢修決策支持系統(tǒng)。檢修人員一旦發(fā)現(xiàn)建筑設(shè)備故障后，可通過開發(fā)的MR移動端APP掃描設(shè)備二維碼，云端輸入故障描述檢索CBR案例庫，系統(tǒng)通過問題屬性遍歷知識庫按匹配相似程度反饋故障原因，并提供檢修決策支持。維修人員使用后可對系統(tǒng)推薦方案作評價，作為數(shù)據(jù)回饋，反饋系統(tǒng)自我學習，提高決策推薦的準確性。

1 移動可視化檢修決策支持系統(tǒng)架構(gòu)

1.1 決策支持算法

1.1.1 CBR案例推理

CBR是人工智能發(fā)展較為成熟的一個分支，它是一種基于過去的實際經(jīng)驗或經(jīng)歷的推理。對基于案例的推理來說，求解一個問題的結(jié)論是從記憶里或案例庫中找到與當前問題最相關(guān)的案例，然后對該案例做必要的改動以適合當前需解決的問題?！鞍咐笔侵敢郧暗木唧w情況，累積案件結(jié)合適當?shù)慕M織結(jié)構(gòu)構(gòu)成案例庫。

CBR的使用是指一組活動，一個循環(huán)。CBR循環(huán)包括檢索，重用，修訂和保留的四個子階段[2]。遇到新問題時，將新問題通過案例描述輸入CBR系統(tǒng)；系統(tǒng)會檢索出與目標案例最匹配的案例，若有與目標案例情況一致的源案例，則將其解決方案直接提交給用戶；若沒有則根據(jù)目標案例的情況對相似案例的解決方案進行調(diào)整和修改，若用戶滿意則將新的解決方案提交給用戶，若不滿意則需要繼續(xù)對解決方案進行調(diào)整和修改；對用戶滿意的解決方案進行評價和學習，并將其保存到案例庫中。從這個意義上講，CBR是一個自我學習的系統(tǒng)[3]。

1.1.2 案例檢索算法

文中描述的案例檢索算法來源于Kolodner[4]，這個算法確定案例之間的相似性和確認案例之間的相似值。

(1)

確定一組合適的權(quán)重對檢索結(jié)果至關(guān)重要。通常簡單地向用戶呈現(xiàn)關(guān)鍵因子列表，并要求分配數(shù)字權(quán)重，該權(quán)重反映了它們相對于其他屬性對該屬性的重要性。然后可以在上面的公式中直接使用這些權(quán)重來檢索最相似的案例。在該研究中，權(quán)重是基于描述原因和故障癥狀之間的相關(guān)性的相關(guān)矩陣來確定的。假設(shè)一個系統(tǒng)有m個原因和n個癥狀，我們構(gòu)造一個相關(guān)矩陣。

(2)

aij代表故障表征j發(fā)生故障i的可能性?？赡苄杂?，3和5量化，分別表示低，中和高。為了獲得合理的相關(guān)值，同時避免主觀因素的影響，通過模糊評價將專家意見結(jié)合起來是獲得這些數(shù)值的可行途徑。本文我們使用AHP(層次分析法)算法，利用模糊運算匯集專家意見。

基于相關(guān)矩陣，可以定義各種故障類型的權(quán)重為：

(3)

這里，加權(quán)值根據(jù)故障類型而變化。它們根據(jù)真實的故障表征描述每個故障的癥狀屬性。

1.2 系統(tǒng)架構(gòu)

本文中系統(tǒng)數(shù)據(jù)架構(gòu)整體分為兩部分：界面端的應(yīng)用層和后臺數(shù)據(jù)基礎(chǔ)。數(shù)據(jù)基礎(chǔ)包括CBR維護知識庫以及BIM的模型數(shù)據(jù)，其中知識層和模型層的數(shù)據(jù)串接通過關(guān)聯(lián)層實現(xiàn)，IFC協(xié)議通過給模型添加屬性的方式將維護知識庫綁定在BIM模型對應(yīng)元件ID上，生成帶知識的BIM模型，又可稱“建筑知識模型”。在數(shù)據(jù)基礎(chǔ)上，將帶知識的模型通過Vuforia SDK工具在MR應(yīng)用層中可視化顯示，并通過網(wǎng)絡(luò)web連接MR平臺層與CBR知識庫，進行文本的交互。系統(tǒng)架構(gòu)見圖1。

圖1 系統(tǒng)架構(gòu)

1.2.1 BIM與CBR的數(shù)據(jù)聯(lián)通

為了將CBR知識模塊添加到BIM模塊上，附加參數(shù)用于BIM模型中表示知識案例屬性是必須的(本研究BIM環(huán)境為Autodesk Revit)。Revit中表示建筑元素屬性的參數(shù)有兩種：實例和類型參數(shù)。對于本研究在BIM元件上存儲知識，需添加自定義實例參數(shù)。本研究通過在項目中對建筑元件進行族編輯，在族中選擇參數(shù)屬性添加實例參數(shù)，所涉及參數(shù)有5個大類，分別為：Problem description，Symptoms，F(xiàn)ault source，Cause，Solution。

在BIM元件上添加了一組參數(shù)，這些參數(shù)表示要從維護信息中提取的案例信息。維護案例與構(gòu)建元素相關(guān)聯(lián)的參數(shù)也包括建筑的細節(jié)和分類，其自身定義的建筑屬性也需要成為BIM環(huán)境上傳的構(gòu)建模型的一部分。如圖2所示，CBR模塊允許用戶創(chuàng)建知識案例，在這個過程中，用戶可以將維護案例添加到已存儲的BIM元件中。用戶可以提交一個建筑元素編號以檢索存儲在元素中的詳細信息，同時可以對應(yīng)插入新知識案例的詳情。在存儲時，BIM元素和維護案例都有各自獨一無二的ID來區(qū)分，來保證多個案例存儲在一個元件中時不至于混亂，導致檢索錯誤。IFC作為一個信息交換的標準格式，包含了許多建筑過程的圖紙信息與工程資料信息，它涉及項目元素的層次結(jié)構(gòu)關(guān)系、幾何和屬性。系統(tǒng)通過IFC協(xié)議在對應(yīng)元素ID上按照實例參數(shù)綁定相應(yīng)知識后，BIM模塊與CBR模塊就可以進行實時交互，互聯(lián)互通。新案例通過前端輸入與CBR案例庫比對學習后，不斷精煉，對于保留的新案例在CBR庫中更新后在BIM模塊也可以相應(yīng)得更新其屬性參數(shù)信息。

圖2 CBR與BIM數(shù)據(jù)互聯(lián)

1.2.2 BIM與MR的數(shù)據(jù)聯(lián)通

實現(xiàn)CBR知識庫與BIM模塊的數(shù)據(jù)融合后，要想可視化移動顯示模型支持維護決策，需將帶知識的BIM模型與MR模塊的數(shù)據(jù)交接打通。MR的工作原理為：生成以空間位置為區(qū)別的二維碼，其中存有模型相關(guān)信息，利用攝像機識別并讀取已知二維碼定位點的相對位置，通過一系列的矩陣計算得到真實環(huán)境中參照點與虛擬環(huán)境中坐標的映射關(guān)系，然后在標記上描繪出3D物體，最終顯示虛擬物體與真實場景的疊加。通過將融入了知識的BIM模型儲存為FBX格式，再導入Unity，利用其中的Vuforia SDK，實現(xiàn)BIM模型的MR顯示。通過在移動端開發(fā)對應(yīng)的APP，維修人員只需通過APP掃描房間內(nèi)的二維碼，完成簡單的定位操作，便可查看真實尺寸的BIM模型與模型對應(yīng)的維護知識庫。通過MR系統(tǒng)的聯(lián)網(wǎng)功能，可通過Web讓用戶與后臺數(shù)據(jù)庫進行文本的實時交互。

本研究在MR系統(tǒng)的基礎(chǔ)上集成運用了Unity和SQL技術(shù)，系統(tǒng)與SQL數(shù)據(jù)庫相關(guān)聯(lián)，能夠做到信息的交互與更新。通過研究集成運用Unity和SQL技術(shù)有效實現(xiàn)建筑信息屬性查詢和建筑維護決策支持這兩個功能，方便用戶在建筑維護與檢修中與計算機進行實時交互，達到降低維護過程中的成本、提高維護檢修效率的目的。MR與BIM數(shù)據(jù)交換架構(gòu)圖見圖3。

圖3 MR與BIM數(shù)據(jù)交換架構(gòu)

2 案例應(yīng)用

2.1 項目簡介

本研究以某學校新建教學樓為例。該項目位于四川省成都市，用于學校教學與辦公，另外還設(shè)有實驗室、計算機機房等?？偨ㄖ娣e為76 300 m2，其中地上建筑面積59 400 m2，地下建筑面積16 900 m2。建筑高度為75.35 m，為一類公共建筑。

該項目模型使用歐特克平臺Revit軟件進行搭建，模型分為建筑、結(jié)構(gòu)、機電三個部分。模型在搭建過程中將各建筑構(gòu)件的CBR案例通過實例參數(shù)對應(yīng)融入構(gòu)件屬性中(圖4)。本研究以空調(diào)系統(tǒng)為例來說明研究方法的可行性。

圖4 模型實例屬性錄入

2.2 案例描述

本項目載體采用的空調(diào)類型為風管式空調(diào)機，研究通過采訪咨詢空調(diào)維護專家意見，總結(jié)歸納可能的空調(diào)故障源有：(1)F1：壓縮機故障；(2)F2：冷凝水排水管故障；(3)F3：過濾網(wǎng)故障；(4)F4：送風百葉故障；(5)F5：加濕器故障；(6)F6：風機故障；(7)F7：風道調(diào)節(jié)閥故障；(8)F8：加熱器故障。

接下來需要定義故障表征。故障表征的描述通常是不規(guī)則的和非結(jié)構(gòu)化的。根據(jù)空調(diào)工作原理及專家意見，將空調(diào)故障表征屬性定義如下：(1)S1：漏水；(2)S2：加濕不良；(3)S3：供冷量不足；(4)S4：噪聲/震動；(5)S5：異物吹出；(6)S6：風量??；(7)S7：不制熱。

將這些相關(guān)的異常情況癥狀分為三級0級、1級和2級，分別代表正常、輕微和嚴重。比如現(xiàn)在維護人員發(fā)現(xiàn)一個問題：室內(nèi)溫度降不下來，直接感知是它的供冷量不足，相對風量也較小，所以對應(yīng)的故障表征供冷量不足應(yīng)該選擇2級，風量小應(yīng)該是1級。

案例庫中的每個案例描述一個特定的情況，所有的情況都是相互獨立的。案例結(jié)構(gòu)包括五個主要部分：Problem description，Symptoms，F(xiàn)ault source，Cause，Solution。假設(shè)案例庫中有一案例：Case1，Problem description：制冷效果差，風量?。籗ymptoms：(1)S1：漏水：Normal；(2)S2：加濕不良：Normal；(3)S3：供冷量不足：Critical；(4)S4：噪聲/震動：Slight；(5)S5：異物吹出：Normal；(6)S6：風量?。篠light；(7)S7：不制熱：Normal；Fault Sources：壓縮機；Cause：壓縮機故障；Solution：檢修或更換壓縮機。

現(xiàn)在，維護出現(xiàn)一個新問題。對問題的故障表征的觀察如下，對于感知到的故障表征，并不需要包括所有的表征。這個新問題所觀察到的故障表征是：New Case，Problem description：室內(nèi)溫度降不下來； Symptoms：(1)S1：漏水：Normal；(2)S2：加濕不良：Normal；(3)S3：供冷量不足：Critical；(4)S4：噪聲/震動：Normal；(5)S5：異物吹出：Normal；(6)S6：風量?。篠light；(7)S7：不制熱：Normal。

2.3 相似度計算

根據(jù)前述對于故障發(fā)生可能性的定義，將對應(yīng)故障源發(fā)生相關(guān)故障表征的可能性用1，3，5三個層級來區(qū)分。這個例子的故障相關(guān)矩陣為：

各種不同故障源的權(quán)重可通過式(3)計算，案例相似度可通過下列公式計算：

表1 案例相似度計算結(jié)果

2.4 案例學習

系統(tǒng)將對應(yīng)案例的解決方法按案例匹配度從高到低提交給用戶。選擇過程和結(jié)果最為相似的解決方案，維護人員對新的故障問題進行討論，若所推薦的方案確實解決了該問題，使用后提交反饋意見，系統(tǒng)對用戶滿意的解決方案進行評價和學習，并將解決方案與對應(yīng)新的問題存儲進案例庫中。

2.5 系統(tǒng)應(yīng)用

用戶在維護過程中，通過MR移動端APP掃描設(shè)備上的二維碼，MR界面將調(diào)出設(shè)備模型，將移動端朝下重置定位信息，從而精確定義設(shè)備位置和零件。并可分別點選故障設(shè)備查詢其構(gòu)建屬性(圖5)。

調(diào)閱設(shè)備后維修人員可直觀感知設(shè)備結(jié)構(gòu)，以輔助檢修決策?；贑BR云端智能決策系統(tǒng)，維護人員即使沒有相關(guān)專業(yè)知識，也可做到精準檢修，通過點選設(shè)備，系統(tǒng)彈框輸入故障描述與對應(yīng)的故障表征，進行云端(圖6)。系統(tǒng)將遍歷CBR案例庫按相似度推薦檢修方案(圖7)。維修人員根據(jù)系統(tǒng)推薦詳細方案檢修后作出使用反饋。系統(tǒng)將對反饋的數(shù)據(jù)自我學習，提高決策推薦的準確性。

圖5 BIM+MR互動式應(yīng)用程序

圖6 故障問題描述

圖7 系統(tǒng)案例推薦

3 結(jié)束語

本研究探索BIM、MR和CBR算法的數(shù)據(jù)整合方式，通過打通三者數(shù)據(jù)接口，集成智能云端決策支持系統(tǒng)。系統(tǒng)以多專業(yè)整合的BIM知識模型為基礎(chǔ)，通過IFC協(xié)議云端整合BIM數(shù)據(jù)庫與CBR庫的串接；開發(fā)MR移動端應(yīng)用程序，將BIM模型通過MR的方式可視化呈現(xiàn)；基于云端平臺，實現(xiàn)了MR網(wǎng)頁端與CBR數(shù)據(jù)庫的數(shù)據(jù)交流。并以實際案例驗證了系統(tǒng)的可行性。