基于數(shù)字圖像處理技術(shù)的建筑預(yù)埋件無人化識別技術(shù)*

吳杭姿,韓立芳,楊 燕,黃青隆

(中國建筑第八工程局有限公司,上海 200122)

0 引言

經(jīng)過改革開放四十多年的發(fā)展,我國的土木工程建設(shè)逐漸從小型化、簡單化向大型化、復(fù)雜化轉(zhuǎn)變,所面對的施工項目普遍具有工程量大、結(jié)構(gòu)復(fù)雜的特點。龐大、復(fù)雜的工程除了增加建設(shè)單位的施工難度外,也給建成后的施工質(zhì)量把控帶來諸多挑戰(zhàn)。

為保證項目的施工質(zhì)量,施工質(zhì)量檢查是必不可少的一個環(huán)節(jié)。在眾多施工質(zhì)量檢查中,由于預(yù)埋件的施工質(zhì)量直接影響建筑工程的施工進(jìn)度、結(jié)構(gòu)安全和建筑使用,因此對預(yù)埋件的位置及數(shù)量需牢牢把控[1]。與鋼板、螺栓、連接埋件等結(jié)構(gòu)預(yù)埋件不同,線盒、接線管等建筑預(yù)埋件雖對結(jié)構(gòu)安全影響較小,但其少安、錯安將對建筑的使用功能產(chǎn)生較大影響,因此施工過程中需對相關(guān)埋件的數(shù)量、位置等進(jìn)行檢查。

但隨著當(dāng)前施工項目規(guī)模的逐漸變大,建筑預(yù)埋件數(shù)量多、位置分散成為常態(tài),這導(dǎo)致傳統(tǒng)人工檢查耗時費力、效率低下。與此同時,隨著計算機(jī)技術(shù)的快速發(fā)展,數(shù)字圖像處理技術(shù)憑借其高效、準(zhǔn)確、非接觸等優(yōu)勢,被廣泛應(yīng)用于構(gòu)件特征識別[2]、構(gòu)件表面缺陷識別[3]、混凝土裂縫檢測[4]、結(jié)構(gòu)損傷檢測[5-6]等無人化、非接觸檢測中,并且都取得了較好效果。這為采用數(shù)字圖像處理技術(shù)進(jìn)行建筑預(yù)埋件識別和統(tǒng)計提供了思路。

同時,在眾多圖像處理技術(shù)中,卷積神經(jīng)網(wǎng)絡(luò)可快速捕獲圖片的局部特征,在數(shù)字圖像識別領(lǐng)域具有準(zhǔn)確率高、識別速度快等優(yōu)勢,大力推動了數(shù)字圖像處理技術(shù)在橋梁工程[7]、混凝土工程[8]、隧道工程[9]等土木工程領(lǐng)域的應(yīng)用。

基于此,本文提出了一種基于數(shù)字圖像處理技術(shù)的建筑預(yù)埋件識別方法,采用卷積神經(jīng)網(wǎng)絡(luò)建立了建筑預(yù)埋件識別模型。經(jīng)實際應(yīng)用表明,該模型可快速從待檢對象的圖像或視頻影像中完成對建筑預(yù)埋件特征的分析與統(tǒng)計,實現(xiàn)建筑預(yù)埋件的高效、無人化檢查。

1 樣本準(zhǔn)備

1.1 采集過程

在本文研究中,主要針對建筑常見的預(yù)埋件進(jìn)行識別,如開關(guān)預(yù)埋盒、電控箱預(yù)埋盒、空調(diào)洞口管等,并對識別數(shù)量進(jìn)行統(tǒng)計。

因此,為了更好地對建立的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,本文從不同項目中收集了共600張建筑預(yù)埋件圖像,埋件具體形式如圖1所示。

圖1 典型建筑預(yù)埋件

1.2 圖片預(yù)處理

針對所采集的預(yù)埋件圖片,采用Mosaic方法進(jìn)行數(shù)據(jù)增強(qiáng),以此進(jìn)一步擴(kuò)大樣本中涵蓋的預(yù)埋件特征。Mosaic數(shù)據(jù)增強(qiáng)算法通過將多張圖片按一定比例組合成一張圖片,實現(xiàn)模型在更小范圍內(nèi)識別目標(biāo)的目的。

本文根據(jù)Mosaic數(shù)據(jù)增強(qiáng)算法,將4張任意大小的目標(biāo)圖片,經(jīng)隨機(jī)裁剪、縮放后拼接為一張圖片,具體步驟如圖2所示。

圖2 Mosaic數(shù)據(jù)增強(qiáng)算法

該方法主要包括以下4步:①確定待拼接圖像大小,并隨機(jī)確定一個圖片拼接基準(zhǔn)點坐標(biāo)(xc,yc);②隨機(jī)選取4張圖片,并根據(jù)基準(zhǔn)點進(jìn)行切割,分別經(jīng)過適當(dāng)?shù)某叽缯{(diào)整和比例縮放后,放置在指定尺寸大圖的左上、右上、左下、右下位置;③根據(jù)每張圖片的尺寸變換方式,將映射關(guān)系對應(yīng)到圖片標(biāo)簽上;④依據(jù)指定的橫縱坐標(biāo)對大圖進(jìn)行拼接。處理超過邊界的檢測框坐標(biāo)。

采用Mosaic數(shù)據(jù)增強(qiáng)算法后,可增加數(shù)據(jù)多樣性、增大樣本總量,同時增強(qiáng)模型魯棒性,混合多張具有不同語義信息的圖片,可讓模型檢測超出常規(guī)語境的目標(biāo)。

2 建筑預(yù)埋件識別模型搭建

2.1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搭建

卷積神經(jīng)網(wǎng)絡(luò)的主要構(gòu)成部件包括輸入層、卷積層、激活層、池化層、全連接層、輸出層等,是人工智能發(fā)展的最新成果之一,能很好地解決以圖像識別為代表的復(fù)雜感知任務(wù)。

根據(jù)識別目標(biāo),構(gòu)建如圖3所示卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),圖中表示特征圖跳躍相加,表示特征圖跳躍拼接,不同子模塊的相關(guān)信息如表1所示。

表1 子模塊相關(guān)信息

圖3 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

在上述卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上,圖片數(shù)據(jù)首先經(jīng)主干網(wǎng)絡(luò)7次采樣,隨后對采樣進(jìn)行特征融合,最后卷積輸出32倍下采樣的特征圖,具體內(nèi)容為30×22網(wǎng)格及不同網(wǎng)格內(nèi)的預(yù)測信息(5+c):x,y→w,h→confidence→C1,C2,…,Cn。其中,x,y為網(wǎng)格中心的橫坐標(biāo)和縱坐標(biāo)(以該網(wǎng)格左上角為原點,并標(biāo)準(zhǔn)化),w,h為檢測框?qū)挾群烷L度(標(biāo)準(zhǔn)化后取對數(shù)),confidence為該網(wǎng)格存在物體的置信度,C1,C2,…,Cn為不同物體類別存在性所對應(yīng)的標(biāo)簽(存在該目標(biāo)為1,不存在為0)。

在搭建上述卷積神經(jīng)網(wǎng)絡(luò)后,采用所形成的圖片樣本對模型進(jìn)行訓(xùn)練。在訓(xùn)練過程中,考慮坐標(biāo)損失Econtrol、置信度損失Econ和計算分類損失Eclass,并將三者之和作為最終的模型訓(xùn)練收斂性判別,即損失函數(shù)Loss。Loss的計算公式如式(1)所示,其中坐標(biāo)損失采用IoU(交并比)計算,置信度損失采用MSE(均值平方差)計算,分類損失采用Focal計算。

Loss=Econtrol+Econ+Eclass=

[1-api(c)]·bpi(c)γ·ln[1-bpi(c)]}

(1)

最終,將經(jīng)過預(yù)處理的圖片輸入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,通過20個迭代輪次,模型的損失函數(shù)Loss趨于穩(wěn)定,預(yù)測準(zhǔn)確率可達(dá)到98%。

2.2 預(yù)埋件識別

通過攝影、攝像設(shè)備獲取待測對象圖片,進(jìn)一步應(yīng)用上述訓(xùn)練得到的建筑預(yù)埋件識別模型可實現(xiàn)對建筑預(yù)埋件的識別。具體過程包括圖片前處理、卷積神經(jīng)網(wǎng)絡(luò)預(yù)測輸出、識別結(jié)果后處理。

首先,獲得待檢測圖片或?qū)崟r視頻的單幀圖片后,對圖片進(jìn)行前處理。具體地,需將圖片調(diào)整為灰度圖,并將圖片長、寬尺寸(像素)調(diào)整為128的倍數(shù),同時將像素值標(biāo)準(zhǔn)化。

其次,將述處理后的圖片數(shù)據(jù)輸入所搭建的卷積神經(jīng)網(wǎng)絡(luò)模型,最終經(jīng)神經(jīng)網(wǎng)絡(luò)計算輸出30×22網(wǎng)格及對應(yīng)的網(wǎng)格內(nèi)的預(yù)測信息(5+c)。

最后,基于上述卷積神經(jīng)網(wǎng)絡(luò)模型的輸出結(jié)果,遍歷每個網(wǎng)格,去除置信度較低的結(jié)果,對剩余結(jié)果進(jìn)行NSM(非極大值抑制)去重,最終將去重后的結(jié)果(預(yù)測框)繪制在原圖作為預(yù)埋件的位置警示,實現(xiàn)預(yù)埋件識別及顯示的目標(biāo)。

3 建筑預(yù)埋件的無人化識別技術(shù)

本文通過配置相關(guān)的機(jī)器視覺元件、移動設(shè)備及終端顯示設(shè)備,形成了1臺可移動式建筑預(yù)埋件識別機(jī)器人(見圖4)。

圖4 基于建筑預(yù)埋件識別模型的可移動式機(jī)器人

為保證機(jī)器人的自主行走,機(jī)器人的行走機(jī)構(gòu)采用精準(zhǔn)控制的四輪差速驅(qū)動控制方式。該控制方式通過性強(qiáng)、轉(zhuǎn)彎半徑小、越障能力強(qiáng),可保證設(shè)備在一般室內(nèi)環(huán)境穿梭自如,其中4個輪子可獨立控制轉(zhuǎn)速,并配置獨立懸掛以減小設(shè)備振動。具體行走機(jī)構(gòu)如圖5所示。同時,為實現(xiàn)設(shè)備測量過程中的自主導(dǎo)航、自動避障,在機(jī)器人中嵌入了基于地圖信息的激光雷達(dá)導(dǎo)航技術(shù)。機(jī)器人內(nèi)部配備的導(dǎo)航模塊可接收路線信息,然后以二維激光雷達(dá)作為主傳感器,在特定的硬件平臺上,自動控制安有輪驅(qū)裝備的機(jī)器人沿既定導(dǎo)航路線行走,到達(dá)指定任務(wù)定位點;之后通過任務(wù)調(diào)度模塊通知外部設(shè)備執(zhí)行測量任務(wù)。在機(jī)器人行走過程中,激光雷達(dá)實時探測周圍的障礙物信息,生成規(guī)避動態(tài)障礙物的路徑或緊急避障的速度指令。在上述硬件配置下,機(jī)器人即可實現(xiàn)自主行走。

圖5 機(jī)器人行走底盤

基于此,將建筑預(yù)埋件識別模型內(nèi)嵌至機(jī)器人內(nèi),通過機(jī)器人配備的面陣3D相機(jī)采集待檢測工程的圖像信息,然后利用卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行識別和定位。當(dāng)識別模型識別到預(yù)埋件后,將采用即時拍照條留存的方式進(jìn)行孔洞位置的記錄,待測量項目結(jié)束后通過留存的圖像信息匯總最終的埋件數(shù)量,實現(xiàn)建筑預(yù)埋件的無人化識別。

4 應(yīng)用與驗證

進(jìn)一步地,本文將上述機(jī)器人應(yīng)用于實際項目中,以此驗證機(jī)器人對建筑預(yù)埋件的識別效果,進(jìn)而評判建筑預(yù)埋件識別模型的有效性。

本文將上述裝備應(yīng)用于海鹽縣理工學(xué)校職教中心項目。該項目占地面積約342 352m2,項目包括中職園區(qū)、高職園區(qū)、競技體育場館,效果如圖6所示。

圖6 項目效果

在該項目中,室內(nèi)裝修工程量較大,安裝的開關(guān)預(yù)埋件數(shù)量較大,這意味著預(yù)埋件檢查工作量較大。因此,在此背景下,將本文基于數(shù)字圖像處理技術(shù)的建筑預(yù)埋件無人化識別技術(shù)應(yīng)用于該項目。此次應(yīng)用中,主要圍繞項目中建筑形式標(biāo)準(zhǔn)的宿舍樓開展,其中宿舍樓主體已完成施工,進(jìn)入室內(nèi)裝飾階段,且墻內(nèi)預(yù)埋件暫未進(jìn)行處理。

應(yīng)用時,將項目待測場景的工程圖紙上傳至機(jī)器人,并自動執(zhí)行任務(wù)規(guī)劃。隨后利用機(jī)器人的自動行駛功能,實現(xiàn)了對待測項目不同墻體的無人化檢測目標(biāo),實際檢測過程及檢測結(jié)果如圖7～9所示。由圖8可看出,本建筑預(yù)埋件識別技術(shù)可針對機(jī)器人采集的圖像信息對預(yù)埋件進(jìn)行有效識別并對位置進(jìn)行標(biāo)識(圖中綠色方框);同時,如圖9所示,對于系統(tǒng)識別出的預(yù)埋件位置及數(shù)量,該技術(shù)可直接在交互終端予以反饋(圖中文字信息,預(yù)埋件:1)。

圖7 墻體預(yù)埋件無人化檢測過程

圖8 墻體預(yù)埋件檢測結(jié)果

圖9 交互終端與識別數(shù)量統(tǒng)計

經(jīng)應(yīng)用表明,本建筑預(yù)埋件識別技術(shù)可有效識別埋件,同時通過內(nèi)嵌的預(yù)埋件統(tǒng)計模塊可實現(xiàn)對預(yù)埋件數(shù)量的自動化統(tǒng)計。整個識別過程快速、自動,無須人為參與,大大減少了預(yù)埋件檢查工作量。

5 結(jié)語

當(dāng)前施工項目規(guī)模逐漸變大,導(dǎo)致施工現(xiàn)場建筑預(yù)埋件數(shù)量大幅度增多、位置分散。上述背景導(dǎo)致施工質(zhì)量檢查過程中,人工檢查耗時費力、效率低下。為此,本文提出了基于數(shù)字圖像處理技術(shù)的建筑預(yù)埋件無人化識別技術(shù)。在技術(shù)形成過程中,首先通過搭建并訓(xùn)練形成了建筑預(yù)埋件識別的卷積神經(jīng)網(wǎng)絡(luò)模型,隨后開發(fā)了一款可移動式機(jī)器人,并將預(yù)埋件識別模型內(nèi)嵌其中,實現(xiàn)了對建筑預(yù)埋件的無人化識別。經(jīng)實際應(yīng)用檢驗,建筑預(yù)埋件無人化識別技術(shù)可有效實現(xiàn)對建筑場景中預(yù)埋件的檢測,并實現(xiàn)對預(yù)埋件數(shù)量的自動化統(tǒng)計,大大提高了預(yù)埋件安裝的質(zhì)量檢測效率。