基于圖像分割與軌跡追蹤的室內(nèi)飾面施工進(jìn)度智能評(píng)估方法

盧昱杰 ,仲濤 ,魏偉 ,陳雋

（同濟(jì)大學(xué) a.土木工程學(xué)院；b.工程結(jié)構(gòu)性能演化與控制教育部重點(diǎn)實(shí)驗(yàn)室；c.上海智能科學(xué)與技術(shù)研究院，上海 200092）

工程項(xiàng)目的進(jìn)度監(jiān)控有助于項(xiàng)目管理人員及時(shí)發(fā)現(xiàn)并校正進(jìn)度偏差，直接影響項(xiàng)目的成本和經(jīng)濟(jì)效益[1-2]。傳統(tǒng)的進(jìn)度監(jiān)控方式多為人工巡檢與填表，耗費(fèi)大量工作時(shí)間，且無(wú)法保障進(jìn)度評(píng)估的時(shí)效性，難以滿足現(xiàn)階段工程項(xiàng)目高效管理的需求。室內(nèi)施工流程繁雜，工序間關(guān)聯(lián)性強(qiáng)，每一道工序的施工進(jìn)程都將直接影響總體進(jìn)度。此外，室內(nèi)環(huán)境存在構(gòu)件堆積、視線遮擋等問(wèn)題，需要花費(fèi)更多的時(shí)間和人力用于進(jìn)度管理。將AI 技術(shù)應(yīng)用于室內(nèi)進(jìn)度監(jiān)控，可以非人工監(jiān)督方式實(shí)時(shí)獲取進(jìn)度信息，并動(dòng)態(tài)更新與集成至BIM 模型，為施工數(shù)字孿生奠定基礎(chǔ)。同時(shí)，還可通過(guò)動(dòng)態(tài)測(cè)量施工量用于效率計(jì)算，滿足日益重要的施工精細(xì)化管理要求，對(duì)提升進(jìn)度管理效率意義重大[3]。室內(nèi)施工包含多道工序，瓷磚鋪貼以膩?zhàn)?、抹灰施工為基礎(chǔ)，對(duì)施工技術(shù)要求很高，最后一道工序的施工進(jìn)程對(duì)總進(jìn)度監(jiān)控影響重大。因此，筆者以瓷磚鋪貼為例針對(duì)室內(nèi)施工的智能化監(jiān)控展開(kāi)研究。

目前，施工進(jìn)度自動(dòng)化監(jiān)控方式主要包括3 種方式：1）基于傳感器布設(shè)的進(jìn)度管理；2）基于點(diǎn)云三維重建的進(jìn)度管理；3）基于圖像處理與分析的進(jìn)度管理。第1 種方式通過(guò)綁定施工構(gòu)件與相應(yīng)的二維碼或RFID 標(biāo)簽實(shí)現(xiàn)構(gòu)件級(jí)別的進(jìn)度追蹤，大大降低了進(jìn)度管理人員的工作量[4-5]。但在室內(nèi)環(huán)境中構(gòu)件數(shù)量種類繁多，人為設(shè)置標(biāo)簽較為耗時(shí)且存在丟失、遺漏的風(fēng)險(xiǎn)。第2 種方式則是通過(guò)傾斜攝影或激光掃描等方式重建現(xiàn)場(chǎng)的三維模型，并從三維模型中獲取更直觀更豐富的場(chǎng)景信息[6-7]，但由于室內(nèi)場(chǎng)景復(fù)雜、多遮擋的特點(diǎn)，點(diǎn)云數(shù)據(jù)獲取不便，且處理過(guò)程耗時(shí)過(guò)長(zhǎng)，對(duì)于室內(nèi)進(jìn)度監(jiān)控而言時(shí)效性過(guò)差。相比之下，近年來(lái)，基于計(jì)算機(jī)視覺(jué)(CV)[8-9]的施工進(jìn)度監(jiān)控方法得到廣泛應(yīng)用，其數(shù)據(jù)獲取便利、信息處理速度快等[10]，能夠從圖像中快速提取豐富的室內(nèi)場(chǎng)景信息，時(shí)效性強(qiáng)且應(yīng)用成本較低，將其應(yīng)用于室內(nèi)進(jìn)度監(jiān)控具有獨(dú)特優(yōu)勢(shì)?，F(xiàn)階段基于計(jì)算機(jī)視覺(jué)的室內(nèi)施工進(jìn)度監(jiān)控方法主要包括定性評(píng)價(jià)和定量計(jì)算兩種，定性進(jìn)度評(píng)價(jià)主要是通過(guò)提取圖像中對(duì)象的材料、紋理等特征[11-13]或通過(guò)檢測(cè)工人活動(dòng)[14-15]來(lái)推斷施工所處階段；定量進(jìn)度計(jì)算則主要通過(guò)計(jì)算施工完成面積等方式確定進(jìn)度完成比例[12]。例如Deng 等[16]通過(guò)邊緣檢測(cè)的方法確定地面已鋪貼瓷磚部分的邊界線，并通過(guò)提前標(biāo)定的方式校正圖片從而準(zhǔn)確計(jì)算出瓷磚鋪貼面積與進(jìn)度。

然而，現(xiàn)階段基于圖像識(shí)別的室內(nèi)進(jìn)度定量化計(jì)算方法僅能通過(guò)安裝固定攝像頭監(jiān)控有限區(qū)域的施工進(jìn)度[17]，無(wú)法通過(guò)一套設(shè)備實(shí)現(xiàn)整個(gè)施工層的大范圍施工進(jìn)度監(jiān)控，且無(wú)法同時(shí)獲取墻面和地面在內(nèi)的整體鋪貼進(jìn)度。筆者以室內(nèi)瓷磚鋪貼場(chǎng)景為例，提出了一套室內(nèi)連續(xù)空間施工進(jìn)度智能評(píng)估框架，該框架基于語(yǔ)義分割與圖像軌跡追蹤算法自動(dòng)獲取墻面和地面的整體鋪貼進(jìn)度，最終在BIM模型中實(shí)現(xiàn)進(jìn)度信息集成與可視化。

1 室內(nèi)施工進(jìn)度自動(dòng)化識(shí)別框架

1.1 整體框架

室內(nèi)連續(xù)空間施工進(jìn)度智能評(píng)估框架（如圖1所示）主要分為3 個(gè)步驟：1）圖像預(yù)處理，即對(duì)獲取的墻面與地面的圖像進(jìn)行自動(dòng)畸變校正；2）圖像分割與進(jìn)度計(jì)算，即基于改進(jìn)的Mask R-CNN 算法獲取已鋪貼與未鋪貼部分面積，并計(jì)算進(jìn)度完成百分比；3）進(jìn)度映射與可視化，將上述獲取的進(jìn)度結(jié)果映射至BIM 模型，實(shí)現(xiàn)進(jìn)度可視化。

圖1 技術(shù)路線Fig.1 Overall framework

1.2 數(shù)據(jù)預(yù)處理

實(shí)際墻面和地面多為矩形平面，但由于拍攝角度及鏡頭畸變等因素影響，相機(jī)拍攝的圖片存在透視畸變，造成圖像處理和進(jìn)度計(jì)算誤差。因此，基于Canny 算子與Hough 變換提出一種圖像校正方法，自動(dòng)消除圖像畸變。

該方法主要分為3 個(gè)步驟：1）直線檢測(cè)?；贑anny 算子和Hough 變換算法得到圖像中的特征邊緣直線，如圖2(b)所示。2）直線篩選與角點(diǎn)計(jì)算。以水平線為0°，先根據(jù)特征直線的角度將其分為近似豎直線（角度為60°～120°）與近似水平線（角度為-30°～30°）；取整幅圖像4 條邊界線的中點(diǎn)，分別計(jì)算近似豎直線與左右邊中點(diǎn)的距離以及近似水平線與上下邊中點(diǎn)的距離，此時(shí)，距4 邊中點(diǎn)最近的4條直線即為地面（或墻面）的邊界線，其余直線均是邊界線內(nèi)部的特征線；最后，求出邊界線的交點(diǎn)作為角點(diǎn)，如圖2（c）所示。3）圖像畸變校正。第1 步，獲得校正后圖像的角點(diǎn)坐標(biāo)，即首先設(shè)定圖2（c）中左上角點(diǎn)的校正后坐標(biāo)為(0,0)，由于校正后地面（墻面）為矩形，將矩形的長(zhǎng)（l）設(shè)定為原圖中四邊形上下兩條邊長(zhǎng)度的平均值，寬(w)為四邊形左右兩條邊長(zhǎng)度的平均值，即可得到右上、左下、右下角點(diǎn)的校正后坐標(biāo)為(l,0)、(0,w)、(l,w)；第2 步，基于上述得到的4 組對(duì)應(yīng)角點(diǎn)坐標(biāo)，由RANSAC 算法獲取圖像變換的參數(shù)矩陣F，從而將變形圖像校正為正視圖像。需要明確的是：針對(duì)地面面積過(guò)大，相機(jī)視野覆蓋不全的情況，算法在地面中間位置選定某一參照點(diǎn)，將其劃分為兩個(gè)矩形獨(dú)立拍攝，最終合并計(jì)算施工進(jìn)度。

圖2 圖像畸變校正算法Fig.2 Image distortion correction algorithm

1.3 圖像分割與進(jìn)度獲取

在研究場(chǎng)景中，存在3 類主要對(duì)象，即瓷磚、混凝土（墻面未鋪貼瓷磚部分所用材料）、砂漿（地面未鋪貼瓷磚部分所用材料）。應(yīng)用圖像分割算法對(duì)3 類識(shí)別對(duì)象進(jìn)行分割，通過(guò)掩碼計(jì)算來(lái)獲取瓷磚鋪貼進(jìn)度。常用的分割算法包括DeepMask[18]、YOLACT[19]、Mask R-CNN[20]等。前兩種算法并不適用于重疊對(duì)象的分割，相較之下，Mask R-CNN 算法對(duì)有重疊、邊界不明確的對(duì)象分割效果較好[21]。由于在研究場(chǎng)景中，地面上常有砂漿桶、錘子等物體遮擋、重疊，且瓷磚邊界處常有散落的水泥砂漿使得邊界不清晰，因此，選用Mask R-CNN 算法對(duì)墻面及地面的圖像進(jìn)行實(shí)例分割。

Mask R-CNN 算法由FPN (Feature Pyramid Networks) 提取圖像特征，并由RPN (Region Proposal Networks)結(jié)合圖像特征提出多個(gè)RoI(Regions of Interest)。在此基礎(chǔ)上，并行完成3 個(gè)子任務(wù)，即區(qū)域分類、邊界框回歸和像素分割，分別得到實(shí)例的類別、準(zhǔn)確的邊界框及掩碼，最終由不同顏色的掩碼表征不同的實(shí)例對(duì)象（如圖3 所示）。同時(shí)，此算法創(chuàng)新性地提出ROI Align 連接層，應(yīng)用線性插值法來(lái)減少前向傳播過(guò)程中的誤差，并根據(jù)式（1）來(lái)進(jìn)行反向傳播，提高了掩碼預(yù)測(cè)的準(zhǔn)確性。

圖3 Mask R-CNN 網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Mask R-CNN structure

式中：L為損失函數(shù)；xi為在ROI Align 計(jì)算前的原特征圖上的像素點(diǎn)；yrj為經(jīng)ROI Align 計(jì)算后第r個(gè)候選區(qū)域的第j個(gè)點(diǎn)，與yrj對(duì)應(yīng)的在原特征圖上的點(diǎn)記為xrj；Δh和Δw為xi與xrj橫縱坐標(biāo)的差值。當(dāng)xrj與xi在原特征圖上的歐式距離小于1，yrj的誤差將會(huì)反向傳播給xi。

基于圖像分割的結(jié)果，通過(guò)掩碼計(jì)算來(lái)獲得施工進(jìn)度百分比（如式（2）所示），每面墻或每塊地面的瓷磚鋪貼進(jìn)度百分比為“已完成鋪貼的瓷磚面積/墻面或地面面積”。在獲取到每面墻的施工進(jìn)度后，可通過(guò)“某施工層已完成鋪貼的瓷磚總面積/某施工層墻面或地面面積”來(lái)計(jì)算某施工層墻面或地面的進(jìn)度完成百分比。

式中：P表示整施工層的瓷磚鋪貼進(jìn)度;i為施工層內(nèi)房間序號(hào)；S為實(shí)際面積；p為像素?cái)?shù)（像素面積）；右上角標(biāo)表示對(duì)象類別。

1.4 軌跡追蹤與BIM 映射

依照?qǐng)D4 所示步驟確定拍攝對(duì)象和對(duì)應(yīng)的BIM模型構(gòu)件之間的映射關(guān)系，從而將施工進(jìn)度結(jié)果集成至BIM 模型：1）相機(jī)軌跡追蹤。將相機(jī)的拍攝路徑起點(diǎn)設(shè)定為BIM 模型的原點(diǎn)坐標(biāo)，手持相機(jī)持續(xù)拍攝墻面與地面。在此過(guò)程中基于Positional tracking 算法（PT 算法）來(lái)自動(dòng)提取相機(jī)在移動(dòng)路徑上的坐標(biāo)信息(x1,y1,z1)與角度信息(α,β,θ)；2）區(qū)分墻面與地面對(duì)象。根據(jù)俯仰角β 的大小來(lái)區(qū)分拍攝對(duì)象為墻面還是地面，當(dāng)-30°≤β≤90°時(shí)表示相機(jī)平視，拍攝墻面；當(dāng)-90°≤β≤-30°時(shí)表示相機(jī)完全俯視，拍攝地面；3）二維圖片的三維模型映射。當(dāng)拍攝墻面對(duì)象時(shí)，采用俯視平面坐標(biāo)系，墻構(gòu)件端點(diǎn)坐標(biāo)和構(gòu)件ID 可在BIM 模型中通過(guò)Revit API獲取。根據(jù)已知的相機(jī)平面坐標(biāo)(x1,y1)與水平角θ能夠得到準(zhǔn)確的平面視線方程，并求出該方程與墻線方程的交點(diǎn)。距離相機(jī)位置最近的交點(diǎn)所在的墻即為相機(jī)拍攝的構(gòu)件，同時(shí)可以確定該構(gòu)件在BIM 模型中的ID。當(dāng)拍攝地面對(duì)象時(shí)，采用空間坐標(biāo)系，由已知的相機(jī)坐標(biāo)(x1,y1,z1)與角度信息(α,β,θ)等參數(shù)可以得到準(zhǔn)確的空間視線方程，此視線將與地面相交并可求得交點(diǎn)坐標(biāo)，由于在BIM 模型中每個(gè)房間地面的邊界信息和ID 已知（通過(guò)Revit API 獲?。?，因此，交點(diǎn)所在的構(gòu)件即為相機(jī)所拍攝的地面，同時(shí)可以確定其在BIM 模型中的ID。

圖4 數(shù)據(jù)集成與進(jìn)度更新Fig.4 Data integration and progress update

在獲得所拍攝對(duì)象的施工進(jìn)度和構(gòu)件ID 后，應(yīng)用Revit API 插件在BIM 模型中通過(guò)構(gòu)件ID 進(jìn)行遍歷，找到唯一的墻面或地面構(gòu)件并導(dǎo)入進(jìn)度信息。在構(gòu)件的屬性欄中將自動(dòng)顯示進(jìn)度完成百分比，同時(shí)在三維視圖中將根據(jù)構(gòu)件進(jìn)度情況給構(gòu)件外觀賦予不同顏色進(jìn)行區(qū)分。

2 Mask R-CNN 算法改進(jìn)與提升

在深度神經(jīng)網(wǎng)絡(luò)算法中，超參數(shù)和損失函數(shù)是影響算法效果的兩個(gè)重要因素，其中，超參數(shù)直接影響算法的訓(xùn)練收斂過(guò)程，對(duì)模型性能有直接影響，而損失函數(shù)則決定了模型優(yōu)化的方向，因?yàn)閮?yōu)化目標(biāo)就是減小損失。因此，為提升模型分割精度，本研究針對(duì)本場(chǎng)景下數(shù)據(jù)特征單一、類別不平衡的特點(diǎn)從超參數(shù)優(yōu)化和損失函數(shù)優(yōu)化這兩方面對(duì)Mask RCNN 算法進(jìn)行了如下改進(jìn)與提升，如圖5 所示。

圖5 算法改進(jìn)試驗(yàn)流程圖Fig.5 Flow chart of algorithm improvement

2.1 超參數(shù)優(yōu)化

由于數(shù)據(jù)集的數(shù)據(jù)量不足、特征單一，在未經(jīng)超參優(yōu)化的情況下易發(fā)生難以收斂或過(guò)擬合問(wèn)題，因此，對(duì)于算法的收斂性能要求更高。分割算法常見(jiàn)的超參優(yōu)化器包括SGD、Adagrad 和Adam 等。Mask R-CNN 默認(rèn)采用SGD 優(yōu)化器，其在數(shù)據(jù)特征單一的情況下易使得參數(shù)收斂到近似的局部極小值[22]且收斂速度偏慢，使得模型難以得到有效更新。Adagrad 優(yōu)化器相較于SGD 優(yōu)化器在參數(shù)空間平緩的方向上梯度下降更快，不易在局部收斂，在眾多小數(shù)據(jù)量的數(shù)據(jù)集上表現(xiàn)更優(yōu)[23]，這恰好契合研究的需求。但Adagrad 優(yōu)化器可能使得學(xué)習(xí)率下降過(guò)快，訓(xùn)練后期無(wú)法更新。而相比于Adagrad 優(yōu)化器，Adam 優(yōu)化器采用更優(yōu)的自適應(yīng)步長(zhǎng)的優(yōu)化策略，在訓(xùn)練后期仍保持較好的更新效率，這大大提高了算法收斂的速度[24]。

因此，應(yīng)用3 種優(yōu)化器分別進(jìn)行試驗(yàn)，并以Mask R-CNN 算法的默認(rèn)參數(shù)實(shí)驗(yàn)為基準(zhǔn)實(shí)驗(yàn)(baseline)，結(jié)果顯示（見(jiàn)表1），Adagrad 優(yōu)化器在學(xué)習(xí)率為2.5×10-4時(shí)，模型表現(xiàn)低于基準(zhǔn)實(shí)驗(yàn)，原因?yàn)楹笃趯W(xué)習(xí)率過(guò)小，模型參數(shù)無(wú)法進(jìn)一步更新，導(dǎo)致模型表現(xiàn)不佳。對(duì)于Adam 優(yōu)化器而言，在學(xué)習(xí)率為2.5×10-3時(shí)，由于學(xué)習(xí)率過(guò)大，訓(xùn)練前期產(chǎn)生梯度爆炸現(xiàn)象，算法無(wú)法收斂；而在學(xué)習(xí)率為2.5×10-4時(shí)，模型的收斂速度和收斂效果得到了良好平衡，最終在試驗(yàn)6 中達(dá)到mAP75為97.7%的分割精度，相較于基準(zhǔn)提高了3.1%。

表1 Mask R-CNN 算法提升效果Table 1 The improvement of Mask R-CNN algorithm

2.2 損失函數(shù)優(yōu)化

Mask R-CNN 算法的損失函數(shù)由3 部分組成，即分類任務(wù)的損失值Loss_cls、邊界框回歸任務(wù)的損失值Loss_bbox、掩碼分割任務(wù)的損失值Loss_mask。由于研究通過(guò)掩碼計(jì)算得到具體鋪貼進(jìn)度，掩碼分割任務(wù)的損失函數(shù)形式是影響分割精度和進(jìn)度計(jì)算的關(guān)鍵因素。當(dāng)前實(shí)例分割任務(wù)中，常用的損失函數(shù)形式包括CE Loss（如式（3））、IoU Loss（如式（4））、Dice Loss（如式（5））等。

式中：N為圖像中像素?cái)?shù)；m為圖像中的預(yù)測(cè)類別數(shù)；yij分別為第i個(gè)像素屬于第j個(gè)類別的真實(shí)值和預(yù)測(cè)概率。

Mask R-CNN 默認(rèn)采用CE Loss 作為損失函數(shù)，其平等考慮每個(gè)像素點(diǎn)的分割效果[25]，適用于識(shí)別對(duì)象尺寸適中，且不同類別大小一致的情況。而研究數(shù)據(jù)集中瓷磚占整張圖片的像素比例較大，相比于瓷磚的像素點(diǎn)總數(shù)，邊界處像素點(diǎn)數(shù)量過(guò)少，對(duì)損失函數(shù)的影響過(guò)小，容易導(dǎo)致邊界分割精度降低。同時(shí)，相對(duì)于瓷磚，混凝土（砂漿）占整張圖片的像素比較小，存在類別不平衡的問(wèn)題，影響整體分割精度。IoU Loss 充分考慮到預(yù)測(cè)掩碼和真實(shí)掩碼間的重疊度，放大了對(duì)象邊緣像素點(diǎn)的影響，理論上將使得邊界回歸更準(zhǔn)確[26]。Dice Loss 除考慮重疊度外，更進(jìn)一步針對(duì)類別不平衡問(wèn)題，加強(qiáng)了對(duì)圖片數(shù)量少的困難樣本（研究中為混凝土與砂漿）的懲罰力度，使得算法更側(cè)重于對(duì)困難樣本的訓(xùn)練，從而使得整體精度得以平衡與提升[27]。

因此，分別采用IoU Loss 和Dice Loss 進(jìn)行試驗(yàn)（如表1 所示），然而試驗(yàn)7 模型表現(xiàn)不佳，原因?yàn)樵谟?xùn)練前期預(yù)測(cè)邊界框準(zhǔn)確度低，與真實(shí)標(biāo)簽的重疊較小甚至無(wú)重疊，這使得模型參數(shù)無(wú)法更新[26]。試驗(yàn)8 的mAP75達(dá)到了98.6%，相較于基準(zhǔn)模型提升了4%，取得最高精度。

3 案例研究與算法驗(yàn)證

3.1 案例介紹與數(shù)據(jù)收集

將上述自動(dòng)化進(jìn)度評(píng)估框架在上海閔行區(qū)浦江某建筑工地（如圖6）進(jìn)行了實(shí)地測(cè)試與應(yīng)用。此項(xiàng)目為高層住宅項(xiàng)目，其中，12 號(hào)樓為16 層框架剪力墻結(jié)構(gòu)，現(xiàn)場(chǎng)測(cè)試時(shí)9～16 層正處于瓷磚鋪貼階段，因此，對(duì)12 號(hào)樓第10 層整層的瓷磚鋪貼進(jìn)度進(jìn)行了評(píng)估。

圖6 工地現(xiàn)場(chǎng)實(shí)景圖與BIM 模型Fig.6 Construction site and BIM model

采用的硬件設(shè)備為Zed 2 雙目深度傳感相機(jī)（如圖7），相較于市面上其余深度相機(jī)，該相機(jī)的精度較高且支持算法的二次開(kāi)發(fā)。此相機(jī)感光尺寸為175 mm×30 mm×33 mm (6.89"×1.18"×1.3")，深度范圍為0.2～20 m，景深場(chǎng)最大尺寸為110°(H)×70°(V)×120°(D)，契合數(shù)據(jù)收集的硬件需求。

圖7 Zed 2 相機(jī)及相關(guān)參數(shù)Fig.7 Zed 2 camera and related parameters

最終，收集到912 張圖像，均用labelme 軟件進(jìn)行標(biāo)注，并按照7:2:1 比例將數(shù)據(jù)隨機(jī)劃分為訓(xùn)練集（638 張）、驗(yàn)證集（184 張）和測(cè)試集（90 張）。

3.2 Mask R-CNN 算法驗(yàn)證

采用一塊RTX3090 顯卡進(jìn)行訓(xùn)練，深度學(xué)習(xí)基本環(huán)境配置為 cuda11.1+cudnn8.0+pytorchgpu1.8.0+numpy1.21.0。Mask R-CNN 算法應(yīng)用了在MS-COCO 數(shù)據(jù)集上預(yù)訓(xùn)練的Resnet-101 做特征提取網(wǎng)絡(luò)，基本參數(shù)設(shè)置如下：采用Adam 優(yōu)化器，恒定學(xué)習(xí)率為2.5e-4，batch size 為4，共訓(xùn)練100epoch，其余設(shè)置均采用默認(rèn)參數(shù)[20]。

Mask R-CNN 算法應(yīng)用效果如圖8 所示。其中，損失函數(shù)變化曲線和準(zhǔn)確率變化曲線表征了模型的收斂效果與總體準(zhǔn)確率，其中，在第3 000 次迭代(iter)后，損失函數(shù)曲線波動(dòng)趨于穩(wěn)定，最終穩(wěn)定在0.1 左右，并且在驗(yàn)證集上的最終準(zhǔn)確率達(dá)到了99.5%。同時(shí)，采用實(shí)例分割任務(wù)常用的評(píng)價(jià)指標(biāo)mean Average Precision (mAP)來(lái)表征模型在各類別對(duì)象上的平均檢測(cè)性能。在實(shí)例分割任務(wù)中，當(dāng)實(shí)例預(yù)測(cè)掩碼與其真實(shí)掩碼的交并比IoU 大于閾值時(shí)（0.5 與0.75 為圖像分割常用的IoU 閾值），認(rèn)為該實(shí)例為正確樣本，并以此計(jì)算整個(gè)測(cè)試集的精確度。最終模型在90 張測(cè)試集的mAP50、mAP75分別達(dá)到99.5%、98.6%。

圖8 Mask R-CNN 算法結(jié)果Fig.8 The results of Mask R-CNN algorithm

3.3 PT 算法驗(yàn)證

通過(guò)設(shè)置校準(zhǔn)點(diǎn)的方式來(lái)驗(yàn)證PT 算法的準(zhǔn)確度。如圖9 所示，測(cè)試者手持Zed 2 相機(jī)從原點(diǎn)出發(fā)，依次經(jīng)過(guò)3 個(gè)校準(zhǔn)點(diǎn)，并最終回到原點(diǎn)。此3 個(gè)校準(zhǔn)點(diǎn)在路徑長(zhǎng)度上均勻分布，且均位于門(mén)框中心或房間中心，因此，可獲得其在BIM 坐標(biāo)系下的實(shí)際坐標(biāo)。同時(shí)，基于PT 算法求，3 個(gè)點(diǎn)的預(yù)測(cè)坐標(biāo)。通過(guò)計(jì)算實(shí)際坐標(biāo)和預(yù)測(cè)坐標(biāo)的相對(duì)距離，以及起點(diǎn)和終點(diǎn)坐標(biāo)的相對(duì)距離，可知實(shí)時(shí)預(yù)測(cè)路徑上平面坐標(biāo)的最大偏差為60.82 mm。由于在室內(nèi)場(chǎng)景下，目標(biāo)對(duì)象即墻面和地面的長(zhǎng)寬尺寸均大于3 m，最大平面坐標(biāo)偏差僅占其2%，可忽略不計(jì)。

圖9 PT 算法效果驗(yàn)證Fig.9 Validation of PT algorithm

3.4 進(jìn)度評(píng)估與BIM 信息集成

基于室內(nèi)連續(xù)空間施工進(jìn)度智能評(píng)估框架，對(duì)12 號(hào)樓第10 層整層的瓷磚鋪貼進(jìn)度進(jìn)行評(píng)估。

1）圖像分割結(jié)果可視化

針對(duì)墻面、地面兩類對(duì)象，表2 展示了原始圖像、畸變校正、圖像分割、進(jìn)度計(jì)算4 個(gè)過(guò)程的可視化結(jié)果以及圖像分割的真實(shí)標(biāo)簽（ground truth）。其中，兩墻面的鋪貼進(jìn)度分別為69%、40%（鋪貼施工中），兩地面的鋪貼進(jìn)度分別為81%、30%（施工鋪貼中）。

表2 鋪貼進(jìn)度評(píng)估可視化結(jié)果Table 2 Visual results of paving progress assessment

2）BIM 模型信息集成與可視化

該項(xiàng)目?jī)H有衛(wèi)生間的墻面和地面，廚房墻面與陽(yáng)臺(tái)地面需要瓷磚鋪貼，經(jīng)統(tǒng)計(jì)第10 層共有27 面墻和50 塊地面參與計(jì)算。應(yīng)用提出的框架，該項(xiàng)目第10 層墻面瓷磚鋪貼總面積為360.47 m2，已完成鋪貼面積為313.61 m2，整層施工進(jìn)度為87%。地面瓷磚鋪貼總面積為109.10 m2，已完成鋪貼面積為80.73 m2，整層施工進(jìn)度為74%。詳細(xì)的構(gòu)件屬性及拍攝參數(shù)如表3 所示。同時(shí)，在BIM 模型通過(guò)顏色編碼對(duì)第10 層的瓷磚鋪貼進(jìn)行了可視化進(jìn)度展示（如圖10 所示），其中，未施工、施工中、施工完的對(duì)象分別以綠、黃、紅三色表示。同時(shí)，在構(gòu)件屬性欄中可以獲取每個(gè)構(gòu)件的進(jìn)度完成信息。

圖10 BIM 模型進(jìn)度可視化結(jié)果Fig.10 Progress visualization in BIM model

4 結(jié)論

施工進(jìn)度監(jiān)控是工程項(xiàng)目管理的重要組成部分，傳統(tǒng)的施工進(jìn)度管理人為主觀性強(qiáng)，自動(dòng)化程度低。室內(nèi)施工由于復(fù)雜的構(gòu)件堆積和視線遮擋，其進(jìn)度管理將耗費(fèi)更多的時(shí)間和成本。以室內(nèi)墻面地面瓷磚鋪貼為例，提出一套室內(nèi)連續(xù)空間施工進(jìn)度智能評(píng)估框架?；诟倪M(jìn)的Mask R-CNN 算法自動(dòng)獲取施工進(jìn)度百分比，并基于圖像軌跡追蹤算法將進(jìn)度信息集成至BIM 模型，為施工數(shù)字孿生奠定基礎(chǔ)。該框架在上海某高層建筑項(xiàng)目中進(jìn)行了實(shí)地測(cè)試與應(yīng)用，實(shí)現(xiàn)圖像高精度分割（mAP 為98.6%），驗(yàn)證了框架的可行性。相對(duì)于現(xiàn)有的室內(nèi)飾面施工進(jìn)度評(píng)估框架[17]僅能通過(guò)安裝固定攝像頭監(jiān)控相機(jī)所在房間的地面鋪貼進(jìn)度。該框架可通過(guò)一套可穿戴設(shè)備實(shí)現(xiàn)整個(gè)施工層的大范圍施工進(jìn)度監(jiān)控，且同時(shí)獲取墻面和地面在內(nèi)的整體鋪貼進(jìn)度，在進(jìn)度監(jiān)控面積和應(yīng)用范圍方面得以拓展和提升。該框架不僅適用于室內(nèi)瓷磚鋪貼，針對(duì)抹灰、刷涂等室內(nèi)裝修工程同樣具有普適性。本文具備如下兩點(diǎn)創(chuàng)新性貢獻(xiàn)：

1）提出了一套連續(xù)空間室內(nèi)瓷磚鋪貼進(jìn)度自動(dòng)化評(píng)估框架。通過(guò)圖片畸變校正、瓷磚像素分割與掩碼計(jì)算，自動(dòng)獲取量化的進(jìn)度信息并更新集成到BIM 模型。

2）提出了一種基于圖像軌跡追蹤技術(shù)的室內(nèi)移動(dòng)拍攝方法，用于自動(dòng)區(qū)分與同步計(jì)算水平（地面）與豎向（墻面）瓷磚鋪貼的進(jìn)度，實(shí)現(xiàn)整個(gè)施工層的大范圍施工進(jìn)度監(jiān)控。

研究仍存在以下局限性：

1）數(shù)據(jù)集包含瓷磚僅包含白色瓷磚，在未來(lái)工作中需要擴(kuò)大數(shù)據(jù)集的瓷磚類別，并建立抹灰、刷涂等多類型施工工序數(shù)據(jù)集以提高框架的遷移性。

2）圖像采集目前采用可穿戴設(shè)備巡檢，未來(lái)可在綜合考慮技術(shù)成熟度與成本問(wèn)題的基礎(chǔ)上，結(jié)合室內(nèi)導(dǎo)航設(shè)備實(shí)現(xiàn)自動(dòng)化更高的進(jìn)度巡檢。