基于深度學習三維重建技術的建筑施工進度管理自動化系統構建

蘇陽,毛超,郭鵬飛

（重慶大學 管理科學與房地產學院，重慶 400045）

建筑工程施工進度管理貫穿施工的全生命周期，是保證施工項目中人工、材料和機械設備有序運轉的基礎[1]。然而，建筑項目的日益復雜化、巨大化，以及當前建筑施工進度管理的實際操作仍主要依賴傳統的人工管理方式等原因，導致施工進度管理效率低，造成工期延誤，產生成本超支及法律糾紛問題[2]。這一問題在發(fā)展中國家尤為嚴重，如2017 年沙特市政和農村事務部（MOMRA）公布的數據，約75%的公共建設項目超過了計劃時間[3]，而在尼日利亞、埃及、馬來西亞等國家，有約70%的建設項目工期延誤[4-6]。在中國，盡管建設工程進度很快，但卻并不是完全建立在對建筑施工進度的高效管理基礎上，而是主要通過增加勞動強度來實現[7-8]。因此，在智能建造時代背景下，如何高效實現建筑施工進度自動化監(jiān)控，提高施工進度，管理效率是一個亟待解決的問題。

1 研究背景

針對建筑施工進度自動化管理，已有學者結合各類技術進行了大量研究，然而已有研究難以滿足復雜的建筑施工管理實踐需求。已有研究主要集中在3 個方面：基于BIM（Building Information Modeling）技術的管理方式[9-10]、基于RFID 技術與BIM 相結合的管理方式[11-12]以及結合三維重建技術的Scan to BIM 管理方式[13-15]。如在進度管理方面，基于無人機搭載LiDAR 技術并結合BIM 技術，劉莎莎[16]進行了建筑施工進度的研究，實現了建筑施工現場室外進度自動監(jiān)控。Pu?ko 等[17]提出了一種通過移動激光雷達重建技術和BIM-4D 技術獲得的點云數據來識別已執(zhí)行的施工現場工作與計劃工作之間的偏差?，F有建筑施工進度自動化管理方式存在兩個方面的缺陷：其一，過高的設備依賴性造成管理成本高昂，如LiDAR 造價普遍上萬美金，傾斜攝影法所需的無人機造價高昂且在使用期間還需支付較高的維護成本，導致難以在實際管理過程中應用[18-20]。其二，自動化可操作性較差導致自動化水平較低，如LiDAR 的使用對現場環(huán)境有較高要求[21]，而傾斜攝影法需要經過訓練的無人機專業(yè)人員操作、需要在特定航道工作且在實際操作中要考慮避障等復雜問題[22-23]，需要較高程度的人工參與。近年來，深度學習等人工智能技術在建筑工程領域逐漸體現出強大的生產力[24-25]，而結合人工智能技術的低成本、自動化、智能化的能夠適用于建筑施工現場環(huán)境的建筑施工進度管理方式尚待研究。

因此，筆者提出基于深度學習三維重建技術的建筑施工進度協同管理系統，并對該系統的有效性及實用性進行了案例研究。

2 基于深度學習三維重建技術的建筑施工進度協同管理系統搭建

為實現具備實時性、便捷性及經濟性的建筑施工進度自動化管理，基于智能建造領域已有的建筑施工進度自動化管理框架提出了基于深度學習三維重建技術的建筑施工進度協同管理系統框架，如圖1 所示，并對系統核心部分三維重建深度學習模型搭建以及系統運行流程進行了描述。

圖1 基于深度學習三維重建技術的建筑施工進度協同管理系統框架（DLR-P）Fig.1 Framework of the collaborative management system for construction progress based on deep learning 3D reconstruction technology（DLR-P）

2.1 系統框架

基于深度學習三維重建技術的建筑施工進度協同管理系統框架由以下4 個部分組成管理閉環(huán)。

1）施工現場信息。建筑施工現場信息作為框架的基礎數據，為管理閉環(huán)提供管理數據依據，系統采用高速攝像機傳感器對建筑施工現場進度三維信息進行采集，隨后再通過三維重建深度學習模型實現施工現場進度的數字化模型構建。

2）施工進度三維重建模型。以施工現場實時采集到的多視圖圖片、相機內參、相機外參及數據匹配信息為基礎，通過特征提取、構造代價匹配、深度估計優(yōu)化及點云模型融合等技術流程獲得建筑施工現場的實際三維點云模型。

3）理想BIM 施工進度模型。即建筑項目施工進行前由設計單位、施工單位及業(yè)主共同制定的預期BIM 施工進度模型（既4D BIM 模型），其中既包括施工過程中的三維信息，也包含施工過程中施工進度隨時間進程展開的進度信息。這一部分信息在施工開始前已經制定完備，在施工進程中，通過該模型與2）中所獲得的點云模型進行交叉對比，獲得施工進度差異信息，進而生成相應的施工現場資源調整意見。

4）施工現場資源信息。建筑施工進程中，現場管理人員基于3）過程中生成的施工現場資源調整意見，組織現場人工、材料、機械等資源進行響應，以實現對于現場進度的調節(jié)目的，并在調節(jié)后動態(tài)調整理想BIM 施工進度模型，以滿足總體進度需求。

2.2 三維重建深度學習模型

三維重建深度學習模型是系統的核心部分。DLR-P 系統所使用的深度學習模型為Yaoyao 等[26]提出的MVSNet。該方法為近年來提出的經典三維重建方法，在取得良好重建效果的同時，也被作為基礎模型，延伸發(fā)展出了一系列深度學習模型[27-30]。

模型原理：MVSNet 是一種監(jiān)督學習的方法，以一個參考影像和多張原始影像為輸入，從而得到參考影像深度圖的一種端到端的深度學習框架。網絡首先提取圖像的深度特征，然后通過可微分投影變換構造3D 的代價體，再通過正則化輸出一個3D的概率體，再沿深度方向求取深度期望，獲得參考影像的深度圖。最終將不同空間位置的深度信息相融合，從而構造出物體的表面三維模型信息。

模型結構：如圖2 所示，按照其功能，MVSNet主要包括特征提取、構造匹配代價、深度估計與優(yōu)化3 個部分。其中，1）特征提取：指通過神經網絡提取的影像特征。經過視角選擇之后，將已經配對的若干張圖像即參考圖像和候選集輸入網絡模型，利用一個8 層的二維卷積神經網絡提取立體像對的深度特征，輸出32 通道的特征圖。為防止輸入的圖像被降采樣后語義信息的丟失，臨近像素之間的語義信息已經被編碼到此32 通道的特征中，并且各個圖像提取過程的網絡權值共享。2）構造匹配代價：該模型利用平面掃描算法[30]構造參考圖像的匹配代價。在特征提取過程后，每張圖像可獲得一個對應的特征圖，根據先驗的經驗深度范圍，對于參考圖像以其主光軸方向進行掃描，將參考圖像按照某一深度間隔從最小深度至最大深度進行映射，可得到一個處于不同深度間隔的相機錐體，如圖2 所示。將候選集中的特征圖映射到該相機錐體中，通過投影變換,若干張圖像可形成對應個數的特征體，這個特征體就是匹配代價的表示。最后，通過構造一個由長、寬與參考影圖像長、寬一樣的代價圖在深度方向連接而成的三維結構作為代價體，實現MVSNet 的代價累積。3）深度估計與優(yōu)化：MVSNet 的深度估計是通過深度神經網絡直接學習得到的。網絡訓練方法為輸入代價體和對應的深度圖真值，利用SoftMax 函數回歸每一個像素在深度θ處的概率值，以此完成從代價到深度值的學習過程。最終模型生成的深度圖與RGB 圖像即可融合為點云模型。

圖2 MVSNet 模型結構示意圖[24]Fig.2 Model structure of the MVSNet[24]

模型訓練：為使該模型適用于建筑施工現場場景，通過遷移學習方式對原始模型進行針對建筑施工各類場景重建的訓練。模型訓練過程中除采用包含圖像數據、相機參數、匹配數據共計10 000 余項數據在內的主流三維重建數據集DTU[31]數據集外，還針對選取部分建筑施工現場場景進行訓練，最終獲得適用于建筑施工現場場景的三維重建模型。

2.3 DLR-P 系統運行流程

基于深度學習三維重建技術的建筑施工進度協同管理系統的主要運行步驟如下：

1）理想BIM 模型搭建。在運行DLR-P 系統前，應就工程項目任務目標、工程特點及項目環(huán)境等條件搭建施工項目的BIM 模型。模型應包含項目的三維信息、預期進度信息、預期成本信息、人工需求信息、材料出入場信息、機械設備需求信息等。

2）協同系統搭建。系統搭建主要包括信息采集模塊和后臺處理模塊兩部分。信息采集模塊指需根據不同項目要求，將相機傳感器安置在施工現場所需位置，若干傳感器組成陣列，對各類施工現場進度管控目標進行實時外觀數據采集。后臺處理模塊包括由高性能計算機組構成的數據處理部分和由高清顯示器組成的進度管理圖形化部分。上述兩個模塊間由無線局域網絡連接，實現通信。

3）系統運行。確保系統各部分搭建完成后，將系統各部分鏈接在同一局域網環(huán)境下，設置圖像傳感器抓取角度和抓取周期。隨著施工進度發(fā)展，確保系統實時運行及傳感器組能夠抓取到不同適宜角度的目標圖像。

施工現場采集到的圖像數據由無線網絡傳入后臺，首先利用Colmap 軟件進行稀疏重建計算相機位姿匹配信息等數據，隨后通過MVSNet 三維重建深度學習模型，生成對應場景的點云模型。系統后臺將點云模型導入Revit 軟件，與BIM 理想模型進行尺寸對比，根據施工進度點云模型與理想BIM 模型進度計劃對比計算，最終系統在圖形化顯示器中輸出當前進度進展情況及相應的施工現場調控意見。

4）施工進度調整。根據DLR-P 系統輸出的調控意見，現場管理人員對施工現場各相關工序的人員安排、材料進出及機械設備使用等進行統一調配，優(yōu)化施工進度管理。

5）模型調整。將現場進行的人員安排、材料進出及機械設備使用等主動調節(jié)信息輸入到理想BIM 模型中，根據工期、成本等項目要求，對后續(xù)項目施工工作進行調整優(yōu)化，形成系統內信息的及時反饋閉環(huán)。

3 案例分析

3.1 案例背景

為驗證提出的DLR-P 系統的可行性，在重慶市巴南區(qū)某建筑施工項目現場進行實地驗證。該項目為民用住宅類項目，建設面積50 000 m2，建設周期2.5 a，總投資21 億元人民幣。

3.2 案例研究設計

為便于研究與試驗實施，選取外墻腳手架施工、外墻防護網施工、外墻涂料施工3 項常見施工工序進行研究。具體案例試驗流程如圖3 所示。

圖3 案例實驗流程Fig.3 Case study process

系統布置：首先按照工程與其建設目標搭建理想BIM 模型，隨后將圖像傳感器布置在目標位置并搭建DLR-P 系統處理后臺及系統總控制臺。

模型對比：將理想BIM 模型轉換為點云形式，并利用點云配準技術與系統生成的施工現場實際點云模型進行工序交叉比對。通過面積、體積等指標確定項目施工現場進度是否與預期進度相同，隨后輸出工序比對結果到總控制臺進行處理。

施工計劃調整：根據工序對比結果，以項目流水施工為原則對施工人員、施工材料以及施工機械進行重新配置，形成新的施工計劃，并將計劃信息傳回系統總控制臺。

現場資源響應：根據系統總控制臺的調度意見，現場施工人員、材料和施工機械進行響應，實現建筑施工現場進度與理想進度的協同管理，并將調整后的理想BIM 模型信息反饋至系統總控制臺，形成管理閉環(huán)。

3.3 運行結果

基于系統高速攝像頭對建筑工程施工現場實時場景各角度圖像數據的采集（如圖4 所示），DLRP 系統對項目施工現場的實時場景進行自動分析，并分別全自動獲得3 項施工工序的以點云模型為展現形式的實際進度情況，如圖5 所示。通過點云模型與BIM 理想模型點云進行數據交叉對比，自動算得實際施工進度與預期理想進度的直接差異。

圖5 DLR-P 系統運行結果Fig.5 Operation results of DLR-P system

進度對比。通過將轉化為點云格式的理想BIM 模型（含三維信息、施工進度及成本計劃信息）與基于深度學習的三維重建技術自動識別的工程現場實際三維點云模型進行對比，得出施工現場進度相對各項計劃的差異，如表1 所示。在此基礎上，DLR-P 系統對施工現場計劃自動進行調整，以適應總工期進度需求，并根據工程量與工期自動提供現場人工、材料及機械資源響應意見。

表1 進度計劃差異及響應Table 1 Schedule difference and response

運行速度。為實現建筑工程DLR-P 系統的實時自動化管理，對各類場景的三維重建過程所消耗的時間進行記錄，如表2 所示。運行速度是指從高速相機獲取圖像的時刻開始，直至系統輸出最終點云模型時刻為止所需的時間。然而，由于三維重建過程主要涉及稀疏重建和稠密重建兩部分，其各自消耗的時間與重建相關圖像數量、圖像分辨率、系統后臺算力及圖像的復雜程度等眾多因素相關，因此，案例研究中所記錄的系統運行速度僅代表相關場景三維重建所需的平均速度。

參試品種（系）播量均為525萬粒/hm2，但是通過田間考種結果表明：最終產量較高的品種（系）保苗數均較高，甘啤6號保苗474萬株/hm2，居所有參試品種（系）第二位；墾啤6號保苗552萬株/hm2，居所有參試品種（系）第一位；產量最低的甘啤4號保苗321萬株/hm2，居所有參試品種（系）第七位。試驗結果表明：不同品種對春旱的抗性不同造成單位面積保苗數差異顯著，最終導致產量結果與單位面積保苗數成正相關關系。

表2 DLR-P 系統三維重建運行速度Table 2 3D reconstruction running speed of DLR-P system

運行成本。如表3 所示，DLR-P 系統實現了無需人工的全自動施工進度管控，主要運行成本由系統后臺和系統傳感器兩部分硬件成本組成，其硬件設備成本僅33 000 元。而以無人機方法為基礎的管理方式實現硬件成本約為370 000 元，基于手持LiDAR 設備的實現方式則成本更高，約為820 000元。案例研究過程中，僅對項目的部分施工內容進行了研究，因此，若對項目整體進行管控，則DLR-P系統的布設成本較以上數據更高，原因主要是由于攝像頭傳感器數量的增加。然而，相對其他兩種進度管理實現方式，本文所提出的DLR-P 系統仍具有顯著成本優(yōu)勢。

表3 基于三維重建技術的施工進度管理方式成本對比Table 3 Cost comparison of construction schedule management methods based on 3D reconstruction technology

3.4 討論

在對DLR-P 系統的案例研究過程中，基于深度學習三維重建技術的建筑施工進度協同管理方式展現出三點顯著優(yōu)勢。

1）自動高效。相較于傳統建筑施工現場依賴人工巡場的施工進度管理方式，本文提出的管理方式極大地提升了管理效率，實現了全過程無人化運行，從而在降低現場管理人員勞動強度的同時，實現了更加客觀的現場進度監(jiān)控，摒除了人工管理過程中的各類影響因素。

2）成本經濟。相較于目前已有的“無人機+BIM”和“LiDAR+BIM”的自動化管理方式，本文提出的管理方式極大地壓縮了系統布置所需的成本，具有更高的推廣價值和實用價值。此外，在低廉的系統自身成本控制的同時，該方法還能夠從節(jié)約人工成本、降低施工進度因素導致的返工浪費及優(yōu)化人員、材料、機械進場配置等角度提升建筑施工項目的經濟效益。

3）應用便捷。建筑施工項目的進度管理是一項貫穿于項目施工全階段的工作，具有長期性和動態(tài)性兩個重要特征，因此，實現進度管理的自動化、智能化方式必須能夠適用于在各類變化的施工場景中展開工作。相較于基于無人機或LiDAR 設備的方式，以高速攝像頭為數據采集方式的自動化進度管控系統更加便于使用。在項目進度管控過程中，無需訓練無人機操作人員以及為避免碰撞而設置復雜的循行路線，也無需考慮現場特殊位置無法架設掃描儀器的限制，極大解放系統信息采集能力的同時，最大程度降低了進度管理工作對于各項施工工序的影響。

1）精度不足。提出的施工進度管理方式其技術基礎是通過深度學習模型對自然光線條件下同一物體在不同視角中的視覺深度推測構建三維模型實現的。因此，相對于LiDAR 等激光掃描設備，受光照條件等影響，該方法的數據基礎具有較大的不確定性。在案例研究過程中，以該方法獲得的點云模型能夠實現對于較大尺寸場景的重建工作，但對于細節(jié)眾多而復雜且特征區(qū)別對比不強的場景（如鋼筋綁扎場景）重建效果較差，因而限制了其在更加復雜場景中的應用潛力。如圖6 所示，相對較大尺寸的外立面防護網及尺寸適中的門洞模板重建工作，鋼筋綁扎工作的重建效果明顯不足。

圖6 基于DLR-P 的不同尺度對象三維重建效果Fig.6 3D reconstruction results of different scale objects based on DLR-P

2）重建速度較慢。建筑施工現場時刻處于動態(tài)變化過程中，為合理高效地對項目施工進度進行控制與優(yōu)化，管理方式應具備快速重建的能力。然而，限制于算力條件等因素，在案例研究過程中，該方法平均重建用時61 s，未能符合實時重建效果的需求。在實際應用過程中，系統所實現的重建已能夠滿足基礎施工進度管理需求，但面對規(guī)模更大、更加精細化、更加復雜化的施工進度管理任務時，重建速度仍需進一步提升。針對這一限制點，解決的路徑主要有兩個方向：其一，從硬件角度考慮，發(fā)展具有更加強大算力的方式；其二，優(yōu)化重建模型，降低權重參數數量，以獲得更好的輕量化模型。

4 結論

基于深度學習框架建立了基于深度學習三維重建技術的建筑施工進度協同管理系統，且通過工程案例分析，驗證了DLR-P 系統的可行性，通過對比不同環(huán)境條件，得到以下主要結論：

1）基于深度學習的三維重建技術能夠適用于建筑施工現場的實時進度管理工作，結合BIM 技術能夠實現對于建筑施工項目現場進度的自動化、智能化管理。相較基于LiDAR 激光掃描技術或無人機傾斜攝影等技術實現的建筑施工進度自動化管理，該方法更加適合工程實際應用，具有更強的現場施工條件適用性，且能夠與目前施工現場實踐中已有的智能化傳感器有效融合，具有較好的工程實踐前景。

2）在建筑施工進度管理工作中，基于深度學習的三維重建技術體現出良好的經濟性。相對目前主流研究中的無人機方法或激光雷達方法等，由于僅需高速攝像頭作為傳感器采集數據，在設備成本、操作人工成本及現場配合成本等方面具有顯著優(yōu)勢。建筑施工進度的自動化、智能化管理貫穿施工全周期，該方法的經濟性特征能夠較好地滿足施工管理單位成本敏感的特征。

3）雖然基于深度學習的三維重建技術在建筑施工進度管理工作中表現出良好的使用前景，但重建精度問題對其使用潛力造成了較大影響。尤其在對于精細尺寸場景的重建過程中，該方法表現出明顯偏高的重建損失，且耗時較長。若無相應場景的技術改進，在建筑施工現場進度管理工作中則無法實現對于細致小尺寸場景的有效管理，同時也無法在該場景下擴展到其他管理實踐領域中。