基于圖像分割與軌跡追蹤的室內(nèi)飾面施工進(jìn)度智能評估方法

盧昱杰　仲濤　魏偉　陳雋

摘要：施工進(jìn)度是工程項(xiàng)目管理的關(guān)鍵組成部分，傳統(tǒng)的進(jìn)度管理多依靠人工巡檢，耗時(shí)費(fèi)力且無法保障進(jìn)度評估的時(shí)效性。為了實(shí)現(xiàn)施工進(jìn)度的自動化、高效化監(jiān)管，針對室內(nèi)施工濕作業(yè)鋪貼場景，提出一套智能化進(jìn)度追蹤與評估框架，基于改進(jìn)的Mask R-CNN深度學(xué)習(xí)框架，自動提取室內(nèi)墻面和地面的瓷磚鋪貼進(jìn)度，基于相機(jī)軌跡追蹤算法，將整個(gè)施工層的大范圍施工進(jìn)度識別結(jié)果映射至BIM可視化模型，為施工數(shù)字孿生奠定基礎(chǔ)。在上海市某高層建筑項(xiàng)目中進(jìn)行實(shí)例研究，實(shí)現(xiàn)了施工圖像的高精度分割，驗(yàn)證了研究框架的可行性。該框架不僅適用于室內(nèi)瓷磚鋪貼，也適用于抹灰、刷涂等室內(nèi)裝修工程。

關(guān)鍵詞：建筑信息模型；計(jì)算機(jī)視覺；室內(nèi)施工；施工進(jìn)度；圖像分割；軌跡追蹤

中圖分類號：TU767；TU17? ? ?文獻(xiàn)標(biāo)志碼：A? ? ?文章編號：2096-6717（2024）01-0163-10

Intelligent evaluation method of indoor finishing construction progress based on image segmentation and positional tracking

LU Yujiea，b，c， ZHONG Taoa， WEI Weia， CHEN Juna

（a. College of Civil Engineering； b. Key Laboratory of Performance Evolution and Control for Engineering Structures of Ministry of Education； c. Shanghai Research Institute of Intelligent Science and Technology， Tongji University， Shanghai 200092， P. R. China）

Abstract： Construction progress is a key part of project management. Traditional progress management mostly relies on manual inspection， which is time-consuming and can not guarantee the progress evaluation. In order to automatically and efficiently monitor construction progress， this article proposed an intelligent framework for indoor construction progress evaluation. This framework can automatically extract the tile laying progress of indoor wall and ground based on the improved Mask R-CNN， and map the progress results to the BIM for visualization using camera tracking algorithm. The framework was successfully applied in a building project in Shanghai with a high precision of image segmentation， verifying the feasibility of the presented framework. This study provides theoretical and practical reference for the automated progress tracking and unmanned construction progress supervision of indoor continuous space.

Keywords： building information model （BIM）， computer version， indoor construction， construction progress； image segmentation； positional tracking

工程項(xiàng)目的進(jìn)度監(jiān)控有助于項(xiàng)目管理人員及時(shí)發(fā)現(xiàn)并校正進(jìn)度偏差，直接影響項(xiàng)目的成本和經(jīng)濟(jì)效益[1-2]。傳統(tǒng)的進(jìn)度監(jiān)控方式多為人工巡檢與填表，耗費(fèi)大量工作時(shí)間，且無法保障進(jìn)度評估的時(shí)效性，難以滿足現(xiàn)階段工程項(xiàng)目高效管理的需求。室內(nèi)施工流程繁雜，工序間關(guān)聯(lián)性強(qiáng)，每一道工序的施工進(jìn)程都將直接影響總體進(jìn)度。此外，室內(nèi)環(huán)境存在構(gòu)件堆積、視線遮擋等問題，需要花費(fèi)更多的時(shí)間和人力用于進(jìn)度管理。將AI技術(shù)應(yīng)用于室內(nèi)進(jìn)度監(jiān)控，可以非人工監(jiān)督方式實(shí)時(shí)獲取進(jìn)度信息，并動態(tài)更新與集成至BIM模型，為施工數(shù)字孿生奠定基礎(chǔ)。同時(shí)，還可通過動態(tài)測量施工量用于效率計(jì)算，滿足日益重要的施工精細(xì)化管理要求，對提升進(jìn)度管理效率意義重大[3]。室內(nèi)施工包含多道工序，瓷磚鋪貼以膩?zhàn)?、抹灰施工為基礎(chǔ)，對施工技術(shù)要求很高，最后一道工序的施工進(jìn)程對總進(jìn)度監(jiān)控影響重大。因此，筆者以瓷磚鋪貼為例針對室內(nèi)施工的智能化監(jiān)控展開研究。

目前，施工進(jìn)度自動化監(jiān)控方式主要包括3種方式：1）基于傳感器布設(shè)的進(jìn)度管理；2）基于點(diǎn)云三維重建的進(jìn)度管理；3）基于圖像處理與分析的進(jìn)度管理。第1種方式通過綁定施工構(gòu)件與相應(yīng)的二維碼或RFID標(biāo)簽實(shí)現(xiàn)構(gòu)件級別的進(jìn)度追蹤，大大降低了進(jìn)度管理人員的工作量[4-5]。但在室內(nèi)環(huán)境中構(gòu)件數(shù)量種類繁多，人為設(shè)置標(biāo)簽較為耗時(shí)且存在丟失、遺漏的風(fēng)險(xiǎn)。第2種方式則是通過傾斜攝影或激光掃描等方式重建現(xiàn)場的三維模型，并從三維模型中獲取更直觀更豐富的場景信息[6-7]，但由于室內(nèi)場景復(fù)雜、多遮擋的特點(diǎn)，點(diǎn)云數(shù)據(jù)獲取不便，且處理過程耗時(shí)過長，對于室內(nèi)進(jìn)度監(jiān)控而言時(shí)效性過差。相比之下，近年來，基于計(jì)算機(jī)視覺（CV）[8-9]的施工進(jìn)度監(jiān)控方法得到廣泛應(yīng)用，其數(shù)據(jù)獲取便利、信息處理速度快等[10]，能夠從圖像中快速提取豐富的室內(nèi)場景信息，時(shí)效性強(qiáng)且應(yīng)用成本較低，將其應(yīng)用于室內(nèi)進(jìn)度監(jiān)控具有獨(dú)特優(yōu)勢?，F(xiàn)階段基于計(jì)算機(jī)視覺的室內(nèi)施工進(jìn)度監(jiān)控方法主要包括定性評價(jià)和定量計(jì)算兩種，定性進(jìn)度評價(jià)主要是通過提取圖像中對象的材料、紋理等特征[11-13]或通過檢測工人活動[14-15]來推斷施工所處階段；定量進(jìn)度計(jì)算則主要通過計(jì)算施工完成面積等方式確定進(jìn)度完成比例[12]。例如Deng等[16]通過邊緣檢測的方法確定地面已鋪貼瓷磚部分的邊界線，并通過提前標(biāo)定的方式校正圖片從而準(zhǔn)確計(jì)算出瓷磚鋪貼面積與進(jìn)度。

然而，現(xiàn)階段基于圖像識別的室內(nèi)進(jìn)度定量化計(jì)算方法僅能通過安裝固定攝像頭監(jiān)控有限區(qū)域的施工進(jìn)度[17]，無法通過一套設(shè)備實(shí)現(xiàn)整個(gè)施工層的大范圍施工進(jìn)度監(jiān)控，且無法同時(shí)獲取墻面和地面在內(nèi)的整體鋪貼進(jìn)度。筆者以室內(nèi)瓷磚鋪貼場景為例，提出了一套室內(nèi)連續(xù)空間施工進(jìn)度智能評估框架，該框架基于語義分割與圖像軌跡追蹤算法自動獲取墻面和地面的整體鋪貼進(jìn)度，最終在BIM模型中實(shí)現(xiàn)進(jìn)度信息集成與可視化。

1 室內(nèi)施工進(jìn)度自動化識別框架

1.1 整體框架

室內(nèi)連續(xù)空間施工進(jìn)度智能評估框架（如圖1所示）主要分為3個(gè)步驟：1）圖像預(yù)處理，即對獲取的墻面與地面的圖像進(jìn)行自動畸變校正；2）圖像分割與進(jìn)度計(jì)算，即基于改進(jìn)的Mask R-CNN算法獲取已鋪貼與未鋪貼部分面積，并計(jì)算進(jìn)度完成百分比；3）進(jìn)度映射與可視化，將上述獲取的進(jìn)度結(jié)果映射至BIM模型，實(shí)現(xiàn)進(jìn)度可視化。

1.2 數(shù)據(jù)預(yù)處理

實(shí)際墻面和地面多為矩形平面，但由于拍攝角度及鏡頭畸變等因素影響，相機(jī)拍攝的圖片存在透視畸變，造成圖像處理和進(jìn)度計(jì)算誤差。因此，基于Canny算子與Hough變換提出一種圖像校正方法，自動消除圖像畸變。

該方法主要分為3個(gè)步驟：1）直線檢測?；贑anny算子和Hough變換算法得到圖像中的特征邊緣直線，如圖2（b）所示。2）直線篩選與角點(diǎn)計(jì)算。以水平線為0°，先根據(jù)特征直線的角度將其分為近似豎直線（角度為60°～120°）與近似水平線（角度為-30°～30°）；取整幅圖像4條邊界線的中點(diǎn)，分別計(jì)算近似豎直線與左右邊中點(diǎn)的距離以及近似水平線與上下邊中點(diǎn)的距離，此時(shí)，距4邊中點(diǎn)最近的4條直線即為地面（或墻面）的邊界線，其余直線均是邊界線內(nèi)部的特征線；最后，求出邊界線的交點(diǎn)作為角點(diǎn)，如圖2（c）所示。3）圖像畸變校正。第1步，獲得校正后圖像的角點(diǎn)坐標(biāo)，即首先設(shè)定圖2（c）中左上角點(diǎn)的校正后坐標(biāo)為（0，0），由于校正后地面（墻面）為矩形，將矩形的長（l）設(shè)定為原圖中四邊形上下兩條邊長度的平均值，寬（w）為四邊形左右兩條邊長度的平均值，即可得到右上、左下、右下角點(diǎn)的校正后坐標(biāo)為（l，0）、（0，w）、（l，w）；第2步，基于上述得到的4組對應(yīng)角點(diǎn)坐標(biāo)，由RANSAC算法獲取圖像變換的參數(shù)矩陣F，從而將變形圖像校正為正視圖像。需要明確的是：針對地面面積過大，相機(jī)視野覆蓋不全的情況，算法在地面中間位置選定某一參照點(diǎn)，將其劃分為兩個(gè)矩形獨(dú)立拍攝，最終合并計(jì)算施工進(jìn)度。

1.3 圖像分割與進(jìn)度獲取

在研究場景中，存在3類主要對象，即瓷磚、混凝土（墻面未鋪貼瓷磚部分所用材料）、砂漿（地面未鋪貼瓷磚部分所用材料）。應(yīng)用圖像分割算法對3類識別對象進(jìn)行分割，通過掩碼計(jì)算來獲取瓷磚鋪貼進(jìn)度。常用的分割算法包括DeepMask[18]、YOLACT[19]、Mask R-CNN[20]等。前兩種算法并不適用于重疊對象的分割，相較之下，Mask R-CNN算法對有重疊、邊界不明確的對象分割效果較好[21]。由于在研究場景中，地面上常有砂漿桶、錘子等物體遮擋、重疊，且瓷磚邊界處常有散落的水泥砂漿使得邊界不清晰，因此，選用Mask R-CNN算法對墻面及地面的圖像進(jìn)行實(shí)例分割。

Mask R-CNN算法由FPN （Feature Pyramid Networks）提取圖像特征，并由RPN （Region Proposal Networks）結(jié)合圖像特征提出多個(gè)RoI （Regions of Interest）。在此基礎(chǔ)上，并行完成3個(gè)子任務(wù)，即區(qū)域分類、邊界框回歸和像素分割，分別得到實(shí)例的類別、準(zhǔn)確的邊界框及掩碼，最終由不同顏色的掩碼表征不同的實(shí)例對象（如圖3所示）。同時(shí)，此算法創(chuàng)新性地提出ROI Align連接層，應(yīng)用線性插值法來減少前向傳播過程中的誤差，并根據(jù)式（1）來進(jìn)行反向傳播，提高了掩碼預(yù)測的準(zhǔn)確性。

式中：P表示整施工層的瓷磚鋪貼進(jìn)度;i為施工層內(nèi)房間序號；S為實(shí)際面積；p為像素?cái)?shù)（像素面積）；右上角標(biāo)表示對象類別。

1.4 軌跡追蹤與BIM映射

依照圖4所示步驟確定拍攝對象和對應(yīng)的BIM模型構(gòu)件之間的映射關(guān)系，從而將施工進(jìn)度結(jié)果集成至BIM模型：1）相機(jī)軌跡追蹤。將相機(jī)的拍攝路徑起點(diǎn)設(shè)定為BIM模型的原點(diǎn)坐標(biāo)，手持相機(jī)持續(xù)拍攝墻面與地面。在此過程中基于Positional tracking算法（PT算法）來自動提取相機(jī)在移動路徑上的坐標(biāo)信息（x1，y1，z1）與角度信息（α，β，θ）；2）區(qū)分墻面與地面對象。根據(jù)俯仰角β的大小來區(qū)分拍攝對象為墻面還是地面，當(dāng)-30°≤β≤90°時(shí)表示相機(jī)平視，拍攝墻面；當(dāng)-90°≤β≤-30°時(shí)表示相機(jī)完全俯視，拍攝地面；3）二維圖片的三維模型映射。當(dāng)拍攝墻面對象時(shí)，采用俯視平面坐標(biāo)系，墻構(gòu)件端點(diǎn)坐標(biāo)和構(gòu)件ID可在BIM模型中通過Revit API獲取。根據(jù)已知的相機(jī)平面坐標(biāo)（x1，y1）與水平角θ能夠得到準(zhǔn)確的平面視線方程，并求出該方程與墻線方程的交點(diǎn)。距離相機(jī)位置最近的交點(diǎn)所在的墻即為相機(jī)拍攝的構(gòu)件，同時(shí)可以確定該構(gòu)件在BIM模型中的ID。當(dāng)拍攝地面對象時(shí)，采用空間坐標(biāo)系，由已知的相機(jī)坐標(biāo)（x1，y1，z1）與角度信息（α，β，θ）等參數(shù)可以得到準(zhǔn)確的空間視線方程，此視線將與地面相交并可求得交點(diǎn)坐標(biāo)，由于在BIM模型中每個(gè)房間地面的邊界信息和ID已知（通過Revit API獲?。虼?，交點(diǎn)所在的構(gòu)件即為相機(jī)所拍攝的地面，同時(shí)可以確定其在BIM模型中的ID。

在獲得所拍攝對象的施工進(jìn)度和構(gòu)件ID后，應(yīng)用Revit API插件在BIM模型中通過構(gòu)件ID進(jìn)行遍歷，找到唯一的墻面或地面構(gòu)件并導(dǎo)入進(jìn)度信息。在構(gòu)件的屬性欄中將自動顯示進(jìn)度完成百分比，同時(shí)在三維視圖中將根據(jù)構(gòu)件進(jìn)度情況給構(gòu)件外觀賦予不同顏色進(jìn)行區(qū)分。

2 Mask R-CNN算法改進(jìn)與提升

在深度神經(jīng)網(wǎng)絡(luò)算法中，超參數(shù)和損失函數(shù)是影響算法效果的兩個(gè)重要因素，其中，超參數(shù)直接影響算法的訓(xùn)練收斂過程，對模型性能有直接影響，而損失函數(shù)則決定了模型優(yōu)化的方向，因?yàn)閮?yōu)化目標(biāo)就是減小損失。因此，為提升模型分割精度，本研究針對本場景下數(shù)據(jù)特征單一、類別不平衡的特點(diǎn)從超參數(shù)優(yōu)化和損失函數(shù)優(yōu)化這兩方面對Mask R-CNN算法進(jìn)行了如下改進(jìn)與提升，如圖5所示。

2.1 超參數(shù)優(yōu)化

由于數(shù)據(jù)集的數(shù)據(jù)量不足、特征單一，在未經(jīng)超參優(yōu)化的情況下易發(fā)生難以收斂或過擬合問題，因此，對于算法的收斂性能要求更高。分割算法常見的超參優(yōu)化器包括SGD、Adagrad和Adam等。Mask R-CNN默認(rèn)采用SGD優(yōu)化器，其在數(shù)據(jù)特征單一的情況下易使得參數(shù)收斂到近似的局部極小值[22]且收斂速度偏慢，使得模型難以得到有效更新。Adagrad優(yōu)化器相較于SGD優(yōu)化器在參數(shù)空間平緩的方向上梯度下降更快，不易在局部收斂，在眾多小數(shù)據(jù)量的數(shù)據(jù)集上表現(xiàn)更優(yōu)[23]，這恰好契合研究的需求。但Adagrad優(yōu)化器可能使得學(xué)習(xí)率下降過快，訓(xùn)練后期無法更新。而相比于Adagrad優(yōu)化器，Adam優(yōu)化器采用更優(yōu)的自適應(yīng)步長的優(yōu)化策略，在訓(xùn)練后期仍保持較好的更新效率，這大大提高了算法收斂的速度[24]。

因此，應(yīng)用3種優(yōu)化器分別進(jìn)行試驗(yàn)，并以Mask R-CNN算法的默認(rèn)參數(shù)實(shí)驗(yàn)為基準(zhǔn)實(shí)驗(yàn)（baseline），結(jié)果顯示（見表1），Adagrad優(yōu)化器在學(xué)習(xí)率為2.5×10-4時(shí)，模型表現(xiàn)低于基準(zhǔn)實(shí)驗(yàn)，原因?yàn)楹笃趯W(xué)習(xí)率過小，模型參數(shù)無法進(jìn)一步更新，導(dǎo)致模型表現(xiàn)不佳。對于Adam優(yōu)化器而言，在學(xué)習(xí)率為2.5×10-3時(shí)，由于學(xué)習(xí)率過大，訓(xùn)練前期產(chǎn)生梯度爆炸現(xiàn)象，算法無法收斂；而在學(xué)習(xí)率為2.5×10-4時(shí)，模型的收斂速度和收斂效果得到了良好平衡，最終在試驗(yàn)6中達(dá)到mAP75為97.7%的分割精度，相較于基準(zhǔn)提高了3.1%。

2.2 損失函數(shù)優(yōu)化

Mask R-CNN算法的損失函數(shù)由3部分組成，即分類任務(wù)的損失值Loss_cls、邊界框回歸任務(wù)的損失值Loss_bbox、掩碼分割任務(wù)的損失值Loss_mask。由于研究通過掩碼計(jì)算得到具體鋪貼進(jìn)度，掩碼分割任務(wù)的損失函數(shù)形式是影響分割精度和進(jìn)度計(jì)算的關(guān)鍵因素。當(dāng)前實(shí)例分割任務(wù)中，常用的損失函數(shù)形式包括CE Loss（如式（3））、IoU Loss（如式（4））、Dice Loss（如式（5））等。

Mask R-CNN 默認(rèn)采用CE Loss作為損失函數(shù)，其平等考慮每個(gè)像素點(diǎn)的分割效果[25]，適用于識別對象尺寸適中，且不同類別大小一致的情況。而研究數(shù)據(jù)集中瓷磚占整張圖片的像素比例較大，相比于瓷磚的像素點(diǎn)總數(shù)，邊界處像素點(diǎn)數(shù)量過少，對損失函數(shù)的影響過小，容易導(dǎo)致邊界分割精度降低。同時(shí)，相對于瓷磚，混凝土（砂漿）占整張圖片的像素比較小，存在類別不平衡的問題，影響整體分割精度。IoU Loss充分考慮到預(yù)測掩碼和真實(shí)掩碼間的重疊度，放大了對象邊緣像素點(diǎn)的影響，理論上將使得邊界回歸更準(zhǔn)確[26]。Dice Loss除考慮重疊度外，更進(jìn)一步針對類別不平衡問題，加強(qiáng)了對圖片數(shù)量少的困難樣本（研究中為混凝土與砂漿）的懲罰力度，使得算法更側(cè)重于對困難樣本的訓(xùn)練，從而使得整體精度得以平衡與提升[27]。

因此，分別采用IoU Loss和Dice Loss進(jìn)行試驗(yàn)（如表1所示），然而試驗(yàn)7模型表現(xiàn)不佳，原因?yàn)樵谟?xùn)練前期預(yù)測邊界框準(zhǔn)確度低，與真實(shí)標(biāo)簽的重疊較小甚至無重疊，這使得模型參數(shù)無法更新[26]。試驗(yàn)8的mAP75達(dá)到了98.6%，相較于基準(zhǔn)模型提升了4%，取得最高精度。

3 案例研究與算法驗(yàn)證

3.1 案例介紹與數(shù)據(jù)收集

將上述自動化進(jìn)度評估框架在上海閔行區(qū)浦江某建筑工地（如圖6）進(jìn)行了實(shí)地測試與應(yīng)用。此項(xiàng)目為高層住宅項(xiàng)目，其中，12號樓為16層框架剪力墻結(jié)構(gòu)，現(xiàn)場測試時(shí)9～16層正處于瓷磚鋪貼階段，因此，對12號樓第10層整層的瓷磚鋪貼進(jìn)度進(jìn)行了評估。

采用的硬件設(shè)備為Zed 2雙目深度傳感相機(jī)（如圖7），相較于市面上其余深度相機(jī)，該相機(jī)的精度較高且支持算法的二次開發(fā)。此相機(jī)感光尺寸為175 mm×30 mm×33 mm （6.89"×1.18"×1.3"），深度范圍為0.2～20 m，景深場最大尺寸為110°（H）×70°（V）×120°（D），契合數(shù)據(jù)收集的硬件需求。

最終，收集到912張圖像，均用labelme軟件進(jìn)行標(biāo)注，并按照7：2：1比例將數(shù)據(jù)隨機(jī)劃分為訓(xùn)練集（638張）、驗(yàn)證集（184張）和測試集（90張）。

3.2 Mask R-CNN算法驗(yàn)證

采用一塊RTX3090顯卡進(jìn)行訓(xùn)練，深度學(xué)習(xí)基本環(huán)境配置為cuda11.1+cudnn8.0+pytorch-gpu1.8.0+numpy1.21.0。Mask R-CNN算法應(yīng)用了在MS-COCO數(shù)據(jù)集上預(yù)訓(xùn)練的Resnet-101做特征提取網(wǎng)絡(luò)，基本參數(shù)設(shè)置如下：采用Adam優(yōu)化器，恒定學(xué)習(xí)率為2.5e-4，batch size為4，共訓(xùn)練100epoch，其余設(shè)置均采用默認(rèn)參數(shù)[20]。

Mask R-CNN算法應(yīng)用效果如圖8所示。其中，損失函數(shù)變化曲線和準(zhǔn)確率變化曲線表征了模型的收斂效果與總體準(zhǔn)確率，其中，在第3 000次迭代（iter）后，損失函數(shù)曲線波動趨于穩(wěn)定，最終穩(wěn)定在0.1左右，并且在驗(yàn)證集上的最終準(zhǔn)確率達(dá)到了99.5%。同時(shí)，采用實(shí)例分割任務(wù)常用的評價(jià)指標(biāo)mean Average Precision （mAP）來表征模型在各類別對象上的平均檢測性能。在實(shí)例分割任務(wù)中，當(dāng)實(shí)例預(yù)測掩碼與其真實(shí)掩碼的交并比IoU大于閾值時(shí)（0.5與0.75為圖像分割常用的IoU閾值），認(rèn)為該實(shí)例為正確樣本，并以此計(jì)算整個(gè)測試集的精確度。最終模型在90張測試集的mAP50、mAP75分別達(dá)到99.5%、98.6%。

3.3 PT算法驗(yàn)證

通過設(shè)置校準(zhǔn)點(diǎn)的方式來驗(yàn)證PT算法的準(zhǔn)確度。如圖9所示，測試者手持Zed 2相機(jī)從原點(diǎn)出發(fā)，依次經(jīng)過3個(gè)校準(zhǔn)點(diǎn)，并最終回到原點(diǎn)。此3個(gè)校準(zhǔn)點(diǎn)在路徑長度上均勻分布，且均位于門框中心或房間中心，因此，可獲得其在BIM坐標(biāo)系下的實(shí)際坐標(biāo)。同時(shí)，基于PT算法求，3個(gè)點(diǎn)的預(yù)測坐標(biāo)。通過計(jì)算實(shí)際坐標(biāo)和預(yù)測坐標(biāo)的相對距離，以及起點(diǎn)和終點(diǎn)坐標(biāo)的相對距離，可知實(shí)時(shí)預(yù)測路徑上平面坐標(biāo)的最大偏差為60.82 mm。由于在室內(nèi)場景下，目標(biāo)對象即墻面和地面的長寬尺寸均大于3 m，最大平面坐標(biāo)偏差僅占其2%，可忽略不計(jì)。

3.4 進(jìn)度評估與BIM信息集成

基于室內(nèi)連續(xù)空間施工進(jìn)度智能評估框架，對12號樓第10層整層的瓷磚鋪貼進(jìn)度進(jìn)行評估。

1）圖像分割結(jié)果可視化

針對墻面、地面兩類對象，表2展示了原始圖像、畸變校正、圖像分割、進(jìn)度計(jì)算4個(gè)過程的可視化結(jié)果以及圖像分割的真實(shí)標(biāo)簽（ground truth）。其中，兩墻面的鋪貼進(jìn)度分別為69%、40%（鋪貼施工中），兩地面的鋪貼進(jìn)度分別為81%、30%（施工鋪貼中）。

2）BIM模型信息集成與可視化

該項(xiàng)目僅有衛(wèi)生間的墻面和地面，廚房墻面與陽臺地面需要瓷磚鋪貼，經(jīng)統(tǒng)計(jì)第10層共有27面墻和50塊地面參與計(jì)算。應(yīng)用提出的框架，該項(xiàng)目第10層墻面瓷磚鋪貼總面積為360.47 m2，已完成鋪貼面積為313.61 m2，整層施工進(jìn)度為87%。地面瓷磚鋪貼總面積為109.10 m2，已完成鋪貼面積為80.73 m2，整層施工進(jìn)度為74%。詳細(xì)的構(gòu)件屬性及拍攝參數(shù)如表3所示。同時(shí)，在BIM模型通過顏色編碼對第10層的瓷磚鋪貼進(jìn)行了可視化進(jìn)度展示（如圖10所示），其中，未施工、施工中、施工完的對象分別以綠、黃、紅三色表示。同時(shí)，在構(gòu)件屬性欄中可以獲取每個(gè)構(gòu)件的進(jìn)度完成信息。

4 結(jié)論

施工進(jìn)度監(jiān)控是工程項(xiàng)目管理的重要組成部分，傳統(tǒng)的施工進(jìn)度管理人為主觀性強(qiáng)，自動化程度低。室內(nèi)施工由于復(fù)雜的構(gòu)件堆積和視線遮擋，其進(jìn)度管理將耗費(fèi)更多的時(shí)間和成本。以室內(nèi)墻面地面瓷磚鋪貼為例，提出一套室內(nèi)連續(xù)空間施工進(jìn)度智能評估框架。基于改進(jìn)的Mask R-CNN算法自動獲取施工進(jìn)度百分比，并基于圖像軌跡追蹤算法將進(jìn)度信息集成至BIM模型，為施工數(shù)字孿生奠定基礎(chǔ)。該框架在上海某高層建筑項(xiàng)目中進(jìn)行了實(shí)地測試與應(yīng)用，實(shí)現(xiàn)圖像高精度分割（mAP為98.6%），驗(yàn)證了框架的可行性。相對于現(xiàn)有的室內(nèi)飾面施工進(jìn)度評估框架[17]僅能通過安裝固定攝像頭監(jiān)控相機(jī)所在房間的地面鋪貼進(jìn)度。該框架可通過一套可穿戴設(shè)備實(shí)現(xiàn)整個(gè)施工層的大范圍施工進(jìn)度監(jiān)控，且同時(shí)獲取墻面和地面在內(nèi)的整體鋪貼進(jìn)度，在進(jìn)度監(jiān)控面積和應(yīng)用范圍方面得以拓展和提升。該框架不僅適用于室內(nèi)瓷磚鋪貼，針對抹灰、刷涂等室內(nèi)裝修工程同樣具有普適性。本文具備如下兩點(diǎn)創(chuàng)新性貢獻(xiàn)：

1）提出了一套連續(xù)空間室內(nèi)瓷磚鋪貼進(jìn)度自動化評估框架。通過圖片畸變校正、瓷磚像素分割與掩碼計(jì)算，自動獲取量化的進(jìn)度信息并更新集成到BIM模型。

2）提出了一種基于圖像軌跡追蹤技術(shù)的室內(nèi)移動拍攝方法，用于自動區(qū)分與同步計(jì)算水平（地面）與豎向（墻面）瓷磚鋪貼的進(jìn)度，實(shí)現(xiàn)整個(gè)施工層的大范圍施工進(jìn)度監(jiān)控。

研究仍存在以下局限性：

1）數(shù)據(jù)集包含瓷磚僅包含白色瓷磚，在未來工作中需要擴(kuò)大數(shù)據(jù)集的瓷磚類別，并建立抹灰、刷涂等多類型施工工序數(shù)據(jù)集以提高框架的遷移性。

2）圖像采集目前采用可穿戴設(shè)備巡檢，未來可在綜合考慮技術(shù)成熟度與成本問題的基礎(chǔ)上，結(jié)合室內(nèi)導(dǎo)航設(shè)備實(shí)現(xiàn)自動化更高的進(jìn)度巡檢。

參考文獻(xiàn)

[1]? LI X， XU J， ZHANG Q. Research on construction schedule management based on BIM technology [J]. Procedia Engineering， 2017， 174： 657-667.

[2]? 李勇. 施工進(jìn)度BIM可靠性預(yù)測方法[J]. 土木建筑與環(huán)境工程， 2014， 36（4）： 51-56.

LI Y. Analysis on predictive methods of BIM based on construction schedule reliability [J]. Journal of Civil， Architectural ＆ Environmental Engineering， 2014， 36（4）： 51-56. （in Chinese）

[3]? KAYHANI N， ZHAO W D， MCCABE B， et al. Tag-based visual-inertial localization of unmanned aerial vehicles in indoor construction environments using an on-manifold extended Kalman filter [J]. Automation in Construction， 2022， 135： 104112.

[4]? SHAHI A， SAFA M， HAAS C T， et al. Data fusion process management for automated construction progress estimation [J]. Journal of Computing in Civil Engineering， 2015， 29（6）： 04014098.

[5]? KIM C， KIM H， RYU J， et al. Ubiquitous sensor network for construction material monitoring [J]. Journal of Construction Engineering and Management， 2011， 137（2）： 158-165.

[6]? GOLPARVAR-FARD M， PE?A-MORA F， SAVARESE S. Automated progress monitoring using unordered daily construction photographs and IFC-based building information models [J]. Journal of Computing in Civil Engineering， 2015， 29（1）： 04014025.

[7]? KIM S， KIM S， LEE D E. Sustainable application of hybrid point cloud and BIM method for tracking construction progress [J]. Sustainability， 2020， 12（10）： 4106.

[8]? 黃仁， 馮阿瑞. 基于Ncut的自適應(yīng)圖像分割方法[J]. 土木建筑與環(huán)境工程， 2013， 35（Sup2）： 107-110.

HUANG R， FENG A R. Adaptive image segmentation method based on Ncut [J]. Journal of Civil， Architectural ＆ Environmental Engineering， 2013， 35（Sup2）： 107-110. （in Chinese）

[9]? 舒江鵬， 李俊， 馬亥波， 等. 基于特征金字塔網(wǎng)絡(luò)的超大尺寸圖像裂縫識別檢測方法[J]. 土木與環(huán)境工程學(xué)報(bào)（中英文）， 2022， 44（3）： 29-36.

SHU J P， LI J， MA H B， et al. Crack detection method based on feature pyramid network for super large-scale images [J]. Journal of Civil and Environmental Engineering， 2022， 44（3）： 29-36. （in Chinese）

[10]? REJA V K， VARGHESE K， HA Q P. Computer vision-based construction progress monitoring [J]. Automation in Construction， 2022， 138： 104245.

[11]? MAHAMI H， GHASSEMI N， DARBANDY M T， et al. Material recognition for automated progress monitoring using deep learning methods [EB/OL]. 2020： arXiv： 2006.16344. https：//arxiv.org/abs/2006.16344.

[12]? HUI L D， PARK M， BRILAKIS I. Automated brick counting for fa?ade construction progress estimation [J]. Journal of Computing in Civil Engineering， 2015， 29（6）： 04014091.

[13]? KROPP C， KOCH C， K?NIG M. Drywall state detection in image data for automatic indoor progress monitoring [C]//2014 International Conference on Computing in Civil and Building Engineering. June 23-25， 2014， Orlando， Florida， USA. Reston， VA， USA： American Society of Civil Engineers， 2014： 347-354.

[14]? HAMLEDARI H， MCCABE B， DAVARI S. Automated computer vision-based detection of components of under-construction indoor partitions [J]. Automation in Construction， 2017， 74： 78-94.

[15]? ASADI K， HAN K. Real-time image-to-BIM registration using perspective alignment for automated construction monitoring [C]//Construction Research Congress 2018. April 2-4， 2018， New Orleans， Louisiana. Reston， VA， USA： American Society of Civil Engineers， 2018： 388-397.

[16]? DENG Y C， HAO H， HAN L， et al. Automatic indoor progress monitoring using BIM and computer vision[C]// 2017.

[17]? DENG H， HONG H， LUO D H， et al. Automatic indoor construction process monitoring for tiles based on BIM and computer vision [J]. Journal of Construction Engineering and Management， 2020， 146（1）： 04019095.

[18]? PINHEIRO P O， COLLOBERT R， DOLLAR P. Learning to segment object candidates [EB/OL]. 2015： arXiv： 1506.06204. https：//arxiv.org/abs/1506.06204.

[19]? BOLYA D， ZHOU C， XIAO F Y， et al. YOLACT： Real-time instance segmentation [C]//2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Seoul， Korea （South）. IEEE， 2019： 9156-9165.

[20]? HE K M， GKIOXARI G， DOLLáR P， et al. Mask R-CNN [C]//2017 IEEE International Conference on Computer Vision. Venice， Italy. IEEE， 2017： 2980-2988.

[21]? ZHANG Q H， CHANG X N， BIAN S B. Vehicle-damage-detection segmentation algorithm based on improved mask RCNN [J]. IEEE Access， 2020， 8： 6997-7004.

[22]? ALLEN-ZHU Z Y. Natasha 2： Faster non-convex optimization than SGD [C]// NIPS'18： Proceedings of the 32nd International Conference on Neural Information Processing Systems December 2018： 2680-2691

[23]? LYDIA A， FRANCIS S. Adagrad-An optimizer for stochastic gradient descent [J]. International Journal of Information Security， 2019， 6（5）： 566-568.

[24]? BOCK S， GOPPOLD J， WEI? M. An improvement of the convergence proof of the ADAM-Optimizer [EB/OL]. 2018： arXiv： 1804.10587. https：//arxiv.org/abs/1804.10587.

[25]? POLAT G， ERGENC I， KANI H T， et al. Class distance weighted cross-entropy loss for ulcerative colitis severity estimation [EB/OL]. 2022： arXiv： 2202.05167. https：//arxiv.org/abs/2202.05167.

[26]? ZHENG Z H， WANG P， LIU W， et al. Distance-IoU loss： Faster and better learning for bounding box regression [J]. Proceedings of the AAAI Conference on Artificial Intelligence， 2020， 34（7）： 12993-13000.

[27]? MILLETARI F， NAVAB N， AHMADI S A. V-net： Fully convolutional neural networks for volumetric medical image segmentation [C]//2016 Fourth International Conference on 3D Vision （3DV）. Stanford， CA， USA. IEEE， 2016： 565-571.

（編輯? 胡玲）

DOI： 10.11835/j.issn.2096-6717.2022.076

收稿日期：2022?04?19

基金項(xiàng)目：國家自然科學(xué)基金（52078374）

作者簡介：盧昱杰（1985- ），男，教授，博士生導(dǎo)師，主要從事智能建造、低碳建造與工程管理等研究，E-mail：lu6@#edu.cn。

通信作者：魏偉（通信作者），男，博士生，E-mail：weiw@#edu.cn。

Received： 2022?04?19

Foundation item： National Natural Science Foundation of China （No. 52078374）

Author brief： LU Yujie （1985- ）， professor， doctorial supervisor， main research interests： intelligent construction， low-carbon construction and engineering management， E-mail： lu6@#edu.cn.

corresponding author：WEI Wei （corresponding author）， PhD candidate， E-mail： weiw@#edu.cn.