基于BIM與機器學習的建筑智能巡檢眼鏡研究

楊雅鈞 石軒潞 唐禧妍 靳曉勇 許 鎮(zhèn)

(北京科技大學，北京 100083)

引言

隨著經濟不斷發(fā)展，建筑的設計與施工愈來愈復雜多樣，施工過后的定時檢查是保障施工構件安全與穩(wěn)定的重要途徑，因此，建筑巡檢至關重要。然而，現(xiàn)代建筑巡檢的設備儀器大多仍停留在水平儀、超聲波測厚儀等需要人工操作的儀器上，在攜帶上十分不便，并且人工造成的誤差無法避免。因此，亟需提升檢查儀器的便攜程度。

BIM技術與云、大數(shù)據(jù)、物聯(lián)網等技術不斷結合、創(chuàng)新，住建部在《2016-2020建筑業(yè)信息化發(fā)展綱要》中明確指出“十三五”時期，全面提高建筑業(yè)信息化水平，著力增強BIM、大數(shù)據(jù)、智能化、移動通訊、云計算、物聯(lián)網等信息技術集成應用能力[1，2]。如今已有新一代的建筑智能巡檢程序。黃國[3]等人設計了基于AR智能眼鏡的變電站可視化巡檢平臺，實現(xiàn)了巡檢定位以及巡檢路徑規(guī)劃設計，提高了巡檢精度問題。徐寶軍[4]等人研發(fā)了一套基于BIM技術的變電站機器人智能巡檢系統(tǒng)，實現(xiàn)了機器人巡檢過程和巡檢結果的三維展示，以及巡檢結果協(xié)同多源數(shù)據(jù)和歷史數(shù)據(jù)的智能診斷，為運行人員提供了更直觀、智能的技術支持。

本研究基于機器學習與BIM的建筑信息提取程序，利用樹莓派為硬件載體，有機、完整地進行相互結合，整合調節(jié)，設計出便攜式建筑智能巡檢眼鏡。

1 研究背景

1.1 BIM技術

近年來，BIM(Building Information Model)在我國已經得到了一定的發(fā)展，逐漸得到行內認可和政府支持。智慧化、數(shù)字化已成一種發(fā)展趨勢，BIM技術因其實用性、高效性，已在建設項目各階段成熟運用[5]。BIM技術可以提高建筑信息集成化，在施工過程中，使施工方更輕松掌握施工進度，以及檢驗查收施工成果。在BIM應用中，構件定位并獲取實時信息的需求較強烈。

Revit是目前使用最廣泛的BIM建模軟件之一，Dynamo作為一種可視化編程的開源式插件，可與之進行交互。Dynamo可以在Revit中充分進行參數(shù)化設計，無需編寫代碼，僅僅通過節(jié)點就可以輕松創(chuàng)建模型或實現(xiàn)自動化處理[6，7]。如圖1所示，Dynamo與Revit交互時，每一個坐標都可以表示在Dynamo中。當Revit被讀取關聯(lián)信息時，通過預定義功能節(jié)點，形成Dynamo模型，再通過數(shù)據(jù)驅動就可以創(chuàng)建或修改Revit的三維模型[8]。通過Revit與Dynamo交互可以對建筑構件信息快速進行大批量操作，實時提取建筑信息，操作簡單，方便快捷。

圖1 Dynamo與Revit交互示意圖

1.2 機器學習

人工智能是計算機科學的一個分支，包括機器人、語言識別、圖像識別等[9，10]。近些年來，得益于我國科學技術的發(fā)展，人工智能正在逐步走入人們的生活，土木工程行業(yè)與人工智能的聯(lián)系也變得更加密切。

機器學習的發(fā)展在很大程度上需要與人工智能結合地進行研究。人工智能用于生成行動，機器學習用于預測事物。隨著機器學習的發(fā)展，該領域出現(xiàn)了很多分支，如深度學習。它以人工神經網絡為架構，對數(shù)據(jù)進行表征學習[11]。

要使深度學習到達一定的精度不僅需要優(yōu)秀的算法、大量的數(shù)據(jù)集，還需要強大的計算機性能。因此可以使用遷移學習的方法微調一個已訓練好的模型，以最佳網絡模型為基礎，訓練出所需的模型應用。不僅可以提高準確率，還可以減少對數(shù)據(jù)集的依賴以及對計算機性能的要求。

通過智能識別算法進行反復訓練，對于視線所及的工程構件進行智能識別，對于其特征與類型進行分類輸入。結合計算機智能圖像識別的算法和技術，實現(xiàn)在復雜的巡檢環(huán)境下正確識別各種建筑構件。

1.3 樹莓派

樹莓派(Raspberry Pi)是一種小型電腦，它在本質上是一款基于ARM的微型電腦主板，以SD或MicroSD卡為內存硬盤。卡片上的所有部件全部整合在一張僅比信用卡稍大的主板上，具備所有計算機的基本功能，只需接通顯示器和鍵盤，就能執(zhí)行如電子表格、文字處理等功能[12]。將機器學習、樹莓派和云計算有機地結合在一起，可以低成本完成工作中一些重復性的簡單工作。因此，選用樹莓派作為硬件載體，小巧的樹莓派微型計算機為便攜式計算提供了便利，基于Linux系統(tǒng)和各種豐富的接口，也可以在樹莓派上進行機器學習預測圖像的功能，便于移動檢測各種目標。

2 智能巡檢技術

2.1 總體架構

本研究綜合了BIM、機器學習技術，成果適用于土木工程行業(yè)。圖2為基于BIM的智能巡檢眼鏡總體架構。以樹莓派作為硬件載體，在其上進行主機設置，生成源代碼后編寫相關Python程序即可應用。采用機器學習技術，建立模型并大量訓練模型，實現(xiàn)建筑構件的智能識別。識別出的構件結果，再利用BIM技術提取出的構件信息比對，最終實現(xiàn)巡檢內容。

圖2 總體架構

2.2 建筑構件識別

2.2.1 模型建立

為實現(xiàn)建筑構件識別，網上已有許多訓練好的模型，如GoogLeNet、AlexNet、ResNet-50、Inception-v3、Inception-resnet-v2、VGG16/19等，因此可以利用現(xiàn)有的深度學習網絡進行遷移學習，生成解決問題的模型，這樣所需數(shù)據(jù)集較小，對計算機的性能要求不高，且具有一定的準確率保障。

本研究主要對已有的深度學習模型進行微調[13]，主要流程包括三個方面：特征提取、采用預訓練模型的結構以及訓練特定層、凍結其他層。

2.2.2 模型訓練

(1)加載數(shù)據(jù)

將收集的新圖像加載為圖像數(shù)據(jù)進行存儲。將數(shù)據(jù)分為訓練集和測試集，70%的圖像用于訓練，30%的圖像用于測試。

(2)加載預訓練模型

加載預訓練的GoogLeNet模型，使用analysisNetwork功能可以顯示網絡架構的交互式可視化效果以及有關網絡層的詳細信息，如圖3所示。GoogLeNet一共有144層，且訓練了1 000個分類，而本項目預計分類為六個，需在最后輸出層進行修改。

網絡的Layers屬性的第一個元素是圖像輸入層，對于GoogLeNet網絡，此層需要大小為224×224×3的輸入圖像。

圖3 網絡架構可視化

(3)替換最終層

網絡的卷積層提取圖像特征，最后可學習層和最終分類層將其用于對輸入圖像進行分類。GoogLeNet中的“l(fā)oss3”和輸出層，可以將特征信息結合起來。在該網絡中提取到類概率、損耗值、和預測的標簽，用訓練好的網絡做特征提取。使用findLayersToReplace功能自動替換兩層的名稱。

將連接層替換為新的全連接層，其中輸出數(shù)量等于新數(shù)據(jù)集中類的數(shù)量[14]。在分類層指定網絡的輸出類別，用沒有類別標簽的新圖層替換分類圖層。利用trainNetwork功能在訓練時自動設置圖層的輸出類別。最后，檢查新層是否正確連接，繪制新層圖并放大網絡的最后一層。

(4)凍結初始層

網絡準備好后在新的圖像集上進行訓練。通過將層中的學習率設置為0來“凍結”網絡中較早層的權重，凍結多個初始層的權重可以顯著加快網絡訓練速度[15]，并且新做的數(shù)據(jù)集很小，因此凍結較早的網絡層也可以防止這些層過度適應新數(shù)據(jù)集。

使用freezeWeights將GoogLeNet中前10層的學習率設置為0。使用支持功能createLgraphUsingConnections以原始順序重新連接所有層。新的層圖包含相同的層，但較早層的學習率設置為0。

(5)訓練網絡

網絡需要大小為224×224×3的輸入圖像，但是圖像數(shù)據(jù)存儲區(qū)中的圖像具有不同的尺寸。利用增強圖像數(shù)據(jù)存儲區(qū)來自動調整訓練圖像的大小。數(shù)據(jù)增強有助于防止網絡過度擬合，并且可以更加有效地記住訓練圖像的確切細節(jié)。

指定訓練選項時，將InitialLearnRate設置為較小的值可以減慢尚未凍結的傳輸層的學習。增加最后一個可學習層因子，可以加快新層的學習速度。通過設置在新層中快速學習，在中間層中學習速度較慢，而在較早的凍結層中則沒有學習。

指定要訓練的輪數(shù)，進行新的訓練。指定驗證數(shù)據(jù)，每輪計算一次驗證準確性。使用GPU訓練可以加快學習速度，也可以用CPU算，默認用GPU，如沒有將會使用CPU訓練，由于本文數(shù)據(jù)集很小因此訓練的很快。如圖4所示，訓練過程中，驗證準確率隨輪數(shù)變化，經過六輪訓練，結果驗證準確率為99.67%。最后生成模型并將其部署到樹莓派和移動設備上。

圖4 訓練結果

2.3 建筑信息提取

本研究基于Autodesk Revit平臺開發(fā)了建筑構件信息提取程序。通過提取BIM模型中的建筑工程信息，可以大幅提高建筑工程的信息集成化程度，提供了一個直觀便建的工程信息交換與共享的方式[16]。該程序可用于施工單位將新建建筑與所提取工程信息作對比，以加快施工進度，或對已有建筑進行驗收核查，應用十分廣泛。

圖5 算法流程

程序基于Revit軟件與Dynamo可視化編程，程序算法流程如圖5所示。首先，采用Select Model Elements節(jié)點對所提取構件的圖元或建筑部分進行選擇。然后，在code block中輸入所需的項目參數(shù)，用List create節(jié)點將導出信息形成列表。最后使用Element.GetParameterValueByName節(jié)點將輸入端的相關信息提取出來，以參數(shù)的名稱作為列表名稱，將數(shù)據(jù)導出為Excel表格。

2.4 智能巡檢眼鏡

本研究的硬件部分選擇了樹莓派連接傳輸結果。樹莓派具有成本低、性能穩(wěn)定、可擴展性強等特點，本身具有一定的計算能力。通過3D打印定制眼鏡框，用軟排線連接魚眼攝像頭和樹莓派后固定在鏡框上。使用魚眼攝像頭實時地將視頻流傳分輸?shù)斤@示屏上，結合相關算法，分析比對相應數(shù)據(jù)并將所得結果傳到顯示屏上。

2.4.1 樹莓派環(huán)境配置

首先對主機進行設置，配置Raspbian9.0和Docker，并使用Docker創(chuàng)建虛擬Linux開發(fā)環(huán)境； 第二步為生成所需的源代碼，下載TensorFlow源代碼，使用Git克隆TensorFlow； 第三步基于源代碼構建環(huán)境，編寫Python程序，交叉編譯TensorFlow源代碼，從而構建一個基于ARMv7 NEON指令的Python pip包。配置流程如圖6所示。

2.4.2 機器學習

在樹莓派上進行深度學習，首先收集訓練集，該步驟由人工完成，根據(jù)構件類型收集所需的圖片； 其次訓練模型，基于深度學習的遷移學習，得到分類預測模型； 再次部署模型，將訓練好的模型部署到樹莓派上，最后預測新圖像，通過樹莓派的攝像頭模塊，拍攝一張照片，用部署的模型進行預測。機器學習流程如圖7所示。

3 應用實例

3.1 內容實物

基于樹莓派的建筑智能巡檢眼鏡如圖8所示。眼鏡采用3D打印人體工學鏡架，構造簡單，旨在以較少的零件達到其作用。運用3D打印技術，使眼鏡鏡架更符合人體工學審美及舒適程度，從而保證巡檢人員在巡檢過程中佩戴該設備的良好體驗。利用前方的微型攝像頭進行數(shù)據(jù)采集，可支撐分析系統(tǒng)進行圖像識別及分析，最終得到準確的識別結果。

智能巡檢眼鏡具有信息輸入端口、輸出端口，可實時接入實景圖像數(shù)據(jù)，集成微型信息處理系統(tǒng)，包含識別模塊與信息反饋模塊，可用于接收當前實景圖像數(shù)據(jù)。通過機器學習智能識別建筑構件，連接BIM建筑信息數(shù)據(jù)庫分析當前建筑構件的全生命周期維度信息并實時反饋輸出數(shù)據(jù)信息，為巡檢人員提供便捷的作業(yè)方式，并提升處理巡檢問題的及時性。

圖6 樹莓派環(huán)境配置流程

圖7 深度學習工作流程

圖8 建筑智能巡檢AR眼鏡

3.2 案例分析

本案例選擇在某11層建筑物內進行，其第4層房間及第8層房間的應用過程介紹如下：

(1)建筑構件識別。首先對第4層房間進行檢測。檢測過程中，檢測人員頭戴設備，面向需要檢測的實物。樹莓派攝像頭拍攝實物內容，通過遠程視頻平臺同步播放，檢測內容見圖9。甲方和施工方可基于此開展實時的信息交流，在提高了建筑工程交流質量效率的同時，降低了由于缺乏檢測信息或信息冗雜引發(fā)的不良影響。相應的檢測內容識別結果如圖10所示，攝像頭捕捉到的構件是門的概率為0.81，可以確定該建筑構件類別為門，識別結果無誤。

圖9 同步實時檢測

圖10 4層構件識別 圖11 8層構件識別

(2)構件信息提取。應用智能巡檢眼鏡，對第8層房間構件的識別結果如圖11所示，結果表明智能巡檢眼鏡再次準確識別了結構構件類型。進入Dynamo后，運用構件識別程序進行構件信息提取，如圖12所示。最終生成構件信息表，如表1所示。提取到的構件信息與實物構件比對結果表明，信息提取無誤，基于Dynamo的建筑信息提取模塊可準確提取構件信息，為巡檢人員實時提供有效的檢測數(shù)據(jù)。

案例分析結果表明，基于BIM與機器學習的建筑智能巡檢眼鏡，可迅速準確地識別建筑構建并提取構建信息，實現(xiàn)了預期功能。相較于人工識別紀錄，人工測量分析的傳統(tǒng)巡檢方式，本文方法可以大幅提升巡檢效率，是一次BIM技術與人工智能相融合的成功嘗試。

圖12 Dynamo信息提取

表1 構件信息提取結果

4 結論

隨著人工智能的迅猛發(fā)展，土木工程與人工智能結合應用成為了土木專業(yè)重要的研究方向。而便攜式建筑智能巡檢眼鏡的設計是打破這一行業(yè)艱難壁壘的創(chuàng)新，對土木工程業(yè)發(fā)展具有重大意義。本研究基于機器學習與BIM的建筑信息提取程序，利用樹莓派為硬件載體，有機、完整地進行相互結合，整合調節(jié)，設計出便攜式建筑智能巡檢眼鏡。主要結論如下：

(1)基于機器學習的建筑構件識別程序識別結果準確，提高了建筑工程交流質量效率的同時，降低了由于缺乏檢測信息或信息冗雜引發(fā)的不良影響。

(2)基于Dynamo可視化編程方法的建筑信息提取模塊可快速準確的提取建筑構件信息，為建筑巡檢實時提供有效的數(shù)據(jù)信息。在兩組實際應用案例中可準確完成預期功能，大幅提升了建筑巡檢效率。

(3)以樹莓派為硬件載體設計建筑智能巡檢眼鏡，成本低、便攜性高、性能穩(wěn)定、可擴展性強。今后可再添加多種傳感器，在巡檢中更智能快捷地檢測各種數(shù)據(jù)，為傳統(tǒng)巡檢提供新的方向。