基于改進(jìn)Mask R-CNN 與雙目視覺的智能配筋檢測

魏翠婷，趙唯堅(jiān),2，孫博超,2，劉蕓怡

(1.浙江大學(xué) 建筑工程學(xué)院，浙江 杭州 310058；2.浙江大學(xué) 平衡建筑研究中心，浙江 杭州 310028)

鋼筋混凝土結(jié)構(gòu)由于其取材容易、可塑性強(qiáng)、材料受力合理、施工工藝簡單、造價(jià)低等優(yōu)點(diǎn)，是目前工程結(jié)構(gòu)中應(yīng)用最廣泛的結(jié)構(gòu)形式.在結(jié)構(gòu)設(shè)計(jì)過程中，通過控制鋼筋直徑和間距來保障構(gòu)件的承載力.在混凝土澆筑前，須對(duì)鋼筋隱蔽工程進(jìn)行驗(yàn)收，校核鋼筋綁扎規(guī)格、數(shù)量、間距是否符合設(shè)計(jì)要求.傳統(tǒng)鋼筋配筋檢測主要依靠人工測量的方法，檢測范圍和精度易受到限制，現(xiàn)場檢測作業(yè)過程中存在較多的安全隱患.在勞動(dòng)力短缺、從業(yè)人員老齡化嚴(yán)重的背景下，傳統(tǒng)的鋼筋配筋檢測方法亟須向智能化轉(zhuǎn)型.

基于傳統(tǒng)數(shù)字圖像處理技術(shù)的鋼筋檢測方法[1]易受光照、背景、遮擋等因素影響，無法滿足實(shí)際工程的精度要求.隨著激光掃描設(shè)備和技術(shù)的發(fā)展，基于三維點(diǎn)云的高精度測量方法已廣泛應(yīng)用于土木工程領(lǐng)域.Kim 等[2-3]使用地面激光掃描儀獲取三維點(diǎn)云，對(duì)鋼筋直徑、間距和混凝土保護(hù)層厚度進(jìn)行質(zhì)量評(píng)估，但由于激光掃描設(shè)備價(jià)格昂貴、數(shù)據(jù)采集耗時(shí)、計(jì)算過程繁瑣等原因，該方法在實(shí)際應(yīng)用中受到限制.

近年來，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測與實(shí)例分割算法得到大量應(yīng)用，Yang 等[4]通過UNet 解決道路信息抽取問題，實(shí)現(xiàn)道路檢測及其中心線的估計(jì).Pan 等[5]利用DeepLabV3+識(shí)別鋼材缺陷，并進(jìn)行精準(zhǔn)的分類及定位.Li 等[6]將PSPNet 應(yīng)用到混凝土多損傷檢測中，有效地提高了分割精度.此外,目標(biāo)檢測與實(shí)例分割算法被用于預(yù)制構(gòu)件識(shí)別[7]、鋼筋綁扎網(wǎng)點(diǎn)定位[8-9]、鋼筋截面計(jì)數(shù)[10-11]等場景，主要分為基于候選區(qū)域和基于回歸思想的2 類算法.以更快的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（faster region with convolutional neural network,Faster R-CNN）[12]為代表的基于候選區(qū)域的目標(biāo)檢測算法，采用2 階結(jié)構(gòu)，先生成候選區(qū)域，再進(jìn)行精細(xì)的分類與回歸，能夠顯著地提升檢測精度.Mask R-CNN 是由He 等[13]提出的實(shí)例分割算法，在Faster R-CNN 的基礎(chǔ)上改進(jìn)而得，通過輸出目標(biāo)的矩形邊界框和像素級(jí)掩膜，實(shí)現(xiàn)了高效的物體檢測和高質(zhì)量的實(shí)例分割.Zhao 等[14]利用Mask R-CNN 提取遙感圖像中的建筑物，結(jié)合幾何特征正則化邊緣的輪廓線.Kim 等[15]提出混凝土結(jié)構(gòu)裂縫評(píng)估的方法，該方法通過Mask R-CNN識(shí)別裂縫，對(duì)掩膜進(jìn)行形態(tài)學(xué)處理，進(jìn)一步量化裂縫寬度.Xu 等[16]使用改進(jìn)的Mask R-CNN 算法，檢測隧道表面缺陷，在混凝土剝落及液體滲漏的情況下展現(xiàn)出良好的預(yù)測性能.Nie 等[17]提出Mask R-CNN+Soft-NMS 模型，通過引入柔性非極大值抑制，提高對(duì)船舶檢測的魯棒性.

Mask R-CNN 具備強(qiáng)大的特征提取能力，由于傳輸路徑較長，會(huì)引起底層特征信息丟失的問題，將影響檢測與分割的精度.本文通過在Mask R-CNN 網(wǎng)絡(luò)的基礎(chǔ)上加入自下而上的注意力機(jī)制路徑，提出Mask R-CNN+CA-SA 模型，以提高鋼筋邊界框與掩膜的預(yù)測精度.基于鋼筋預(yù)測結(jié)果，通過使用雙目視覺技術(shù)，計(jì)算鋼筋直徑與間距，實(shí)現(xiàn)智能配筋檢測，在鋼筋隱蔽工程中輔助工作人員進(jìn)行質(zhì)量驗(yàn)收.

1 研究方法

1.1 Mask R-CNN 算法

如圖1 所示，Mask R-CNN 的網(wǎng)絡(luò)結(jié)構(gòu)包含特征提取模塊、候選區(qū)域（region proposal network，RPN）模塊、感興趣區(qū)域（region of interest，ROI）對(duì)齊模塊和3 條輸出分支.特征提取模塊采用基于殘差網(wǎng)絡(luò)（residual network，ResNet）的特征金字塔網(wǎng)絡(luò)（feature pyramid network，F(xiàn)PN）結(jié)構(gòu)，獲取特征圖.RPN 模塊負(fù)責(zé)提取候選框，針對(duì)特征圖上的每一點(diǎn)生成強(qiáng)先驗(yàn)的錨點(diǎn)框后，利用1×1 卷積得到的分類得分和邊界框回歸量，篩選出一組較好的候選框，輸入后續(xù)的ROI 對(duì)齊模塊.為了滿足全卷積網(wǎng)絡(luò)對(duì)輸入特征的要求，ROI 對(duì)齊模塊將ResNet-FPN 生成的特征圖和RPN 篩選出的候選框變換到相同維度.將ROI 對(duì)齊模塊得到的特征輸入全連接層，在分類和邊界框回歸分支分別輸出物體的預(yù)測類別得分與邊界框回歸量.多次的卷積與池化操作造成特征圖分辨率逐漸減小，掩膜分支利用反卷積操作來提升分辨率，獲得物體像素級(jí)別的掩膜，完成檢測與分割任務(wù).

圖1 Mask R-CNN 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of Mask R-CNN

1.2 改進(jìn)的Mask R-CNN 算法

特征提取網(wǎng)絡(luò)ResNet-FPN 是多層特征融合的結(jié)構(gòu).該結(jié)構(gòu)將淺層和深層特征進(jìn)行融合，使提取到的特征圖同時(shí)具備強(qiáng)空間信息和強(qiáng)語義信息，在小物體檢測領(lǐng)域具有突出優(yōu)勢.在特征融合的過程中，最高層特征通過FPN 自上而下的傳播路徑向底層傳播后，丟失了主要特征，且相鄰層間特征融合時(shí)未考慮語義信息間的差異，降低了多尺度特征的提取能力.針對(duì)底層特征信息丟失的問題，路徑聚合網(wǎng)絡(luò)（path aggregation network,PANet）[18]使用自下而上的結(jié)構(gòu)，縮短底層與最高特征層之間的傳播路徑，豐富高層的空間信息，增強(qiáng)特征層的定位能力.Huang 等[19]通過在特征金字塔中增加橫向連接支路，將底層特征層信息補(bǔ)充到后續(xù)網(wǎng)絡(luò)中.Li 等[20]利用基于增強(qiáng)單發(fā)多框探測器（single shot multibox detector,SSD）的特征金字塔模型，以非線性的方式融合各層特征.

注意力機(jī)制（attention mechanism，AM）[21]因其良好的性能，被廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域，例如圖像分類[22]、人臉識(shí)別[23-24]、關(guān)鍵點(diǎn)檢測[25]、三維視覺[26]等.AM 的基本思想是對(duì)各輸入特征分配權(quán)重系數(shù)，通過權(quán)重系數(shù)表示對(duì)該特征的關(guān)注程度，具體可以分為通道注意力（channel attention，CA）、空間注意力（spatial attention，SA）和混合注意力3 類.

通道注意力機(jī)制CA 模塊的結(jié)構(gòu)如圖2 所示，將高為H、寬為W、通道數(shù)為C 的特征圖輸入全局平均池化層，對(duì)其空間維度W 和H 進(jìn)行壓縮，C 保持不變，便于后續(xù)的網(wǎng)絡(luò)學(xué)習(xí)通道特征.對(duì)1×1×C 維度的特征圖進(jìn)行卷積操作，并經(jīng)過softmax 處理后獲得歸一化序列.該序列即為通道注意力機(jī)制權(quán)重，與輸入特征圖按通道維度對(duì)應(yīng)相乘，獲得最終的輸出特征圖.

圖2 通道注意力機(jī)制Fig.2 Channel attention mechanism

空間注意力機(jī)制SA 模塊的結(jié)構(gòu)如圖3 所示，為了獲得特征圖中目標(biāo)的位置特征，對(duì)特征圖進(jìn)行1×1 卷積和softmax 處理，將通道維度壓縮為單位1，并保持高、寬不變，獲得H×W 的矩陣.該矩陣即為空間注意力機(jī)制權(quán)重，反映特征圖中對(duì)應(yīng)像素點(diǎn)位置信息的重要程度.將輸入特征圖與該權(quán)重矩陣相乘，可以起到放大重要特征、弱化背景信息的作用.

圖3 空間注意力機(jī)制Fig.3 Spatial attention mechanism

由于鋼筋邊緣帶有縱肋和橫肋，為了保證Mask R-CNN 網(wǎng)絡(luò)對(duì)邊緣細(xì)節(jié)的預(yù)測精度，借鑒PANet 的網(wǎng)絡(luò)結(jié)構(gòu)，在ResNet-FPN 模塊中增加自下而上的傳播路徑，并嵌入通道注意力和空間注意力結(jié)合的CA-SA 模塊.加強(qiáng)淺層與深層特征的融合，避免鋼筋邊緣細(xì)節(jié)信息的丟失；調(diào)整特征提取的重點(diǎn)，突出高目標(biāo)響應(yīng)通道和目標(biāo)像素點(diǎn)，提高M(jìn)ask R-CNN 網(wǎng)絡(luò)的鋼筋檢測與分割準(zhǔn)確度.

自下而上注意力機(jī)制路徑的結(jié)構(gòu)如圖4 所示，最左側(cè)部分采用ResNet 網(wǎng)絡(luò)結(jié)構(gòu)，獲取{C1，C2，C3，C4，C5}特征圖.在C5 的基礎(chǔ)上，通過1×1 卷積及通道數(shù)下采樣操作生成P5 特征圖，采用2 倍最近鄰上采樣放大特征圖分辨率后，與C4 逐元素相加，以生成P4 特征圖.為了獲取自下而上路徑中的{N2，N3，N4，N5}特征圖，將P2 的特征信息傳入N2，再對(duì)N2 進(jìn)行3×3 卷積將高、寬下采樣至P3 尺寸，與P3 逐元素相加后，輸入CASA 模塊來得到N3.依此類推，N4 和N5 可在P4 和P5 特征圖上對(duì)應(yīng)提取.通過將該自下而上的注意力機(jī)制路徑鑲嵌到Mask R-CNN 模型中，形成改進(jìn)的Mask R-CNN 模型，即Mask R-CNN+CA-SA 模型.

圖4 自下而上的注意力機(jī)制路徑Fig.4 Bottom-up path with attention mechanism module

1.3 雙目視覺技術(shù)

雙目視覺是計(jì)算機(jī)視覺的重要領(lǐng)域，通過左右目相機(jī)來模擬人類視覺系統(tǒng)，結(jié)合透視投影、三角測量和特征點(diǎn)匹配原理獲取景深信息，計(jì)算物體相對(duì)于相機(jī)的三維空間坐標(biāo).由于設(shè)備簡便、效率高、成本低等優(yōu)勢，雙目立體視覺技術(shù)被廣泛應(yīng)用于自動(dòng)駕駛[27]、遙感技術(shù)[28]、目標(biāo)識(shí)別[29-30]、三維重建[31]等領(lǐng)域.

采用英特爾RealSense 深度相機(jī)設(shè)備，從左到右依次內(nèi)置了RGB 相機(jī)、左紅外相機(jī)、紅外點(diǎn)陣投射器和右紅外相機(jī).左、右紅外相機(jī)基于雙目立體視覺原理測量深度，紅外點(diǎn)陣投射器用于為物體增加結(jié)構(gòu)光編碼圖案，RGB 相機(jī)用于采集彩色圖像.RealSense 相機(jī)的深度測量原理如圖5 所示.圖中，基線b 表示左、右紅外相機(jī)軸線中心的連線，f 為相機(jī)焦距.在理想情況下，左、右紅外相機(jī)光軸相互平行，對(duì)于空間中任一點(diǎn)P（x，y，z），z 為距離相機(jī)坐標(biāo)平面的垂直深度，其在左、右成像平面投影點(diǎn)的坐標(biāo)分別為（xl，yl）、（xr，yr）.兩投影點(diǎn)的視差d 等于xl與xr之差，如下所示：

圖5 RealSense 相機(jī)的深度測量原理圖Fig.5 Schematic diagram for depth measurement by RealSense

利用計(jì)算出的d、b 和f，根據(jù)三角測量原理即可求出點(diǎn)P 距離相機(jī)的深度z，如下所示：

在求出深度z 后，通過相機(jī)內(nèi)參矩陣將像素坐標(biāo)系轉(zhuǎn)換至相機(jī)坐標(biāo)系，利用（xl，yl）的像素坐標(biāo)計(jì)算出點(diǎn)P 的x、y 坐標(biāo)值.若已知RealSense 深度相機(jī)獲取的任意兩點(diǎn)（x1，y1，z1）、（x2，y2，z2），則根據(jù)下式可以求出兩點(diǎn)間的距離：

將提出的Mask R-CNN+CA-SA 模型與雙目視覺技術(shù)結(jié)合，Mask R-CNN+CA-SA 模型負(fù)責(zé)對(duì)鋼筋進(jìn)行識(shí)別，雙目視覺技術(shù)則用于計(jì)算鋼筋直徑與間距，實(shí)現(xiàn)鋼筋的智能檢測.

1.4 基于改進(jìn)Mask R-CNN 的智能配筋檢測方法

如圖6 所示為智能配筋檢測方法的流程示意圖，主要分為深度相機(jī)數(shù)據(jù)采集、鋼筋識(shí)別、鋼筋直徑與間距計(jì)算3 部分，坐標(biāo)轉(zhuǎn)換作為鋼筋尺寸計(jì)算的輔助環(huán)節(jié).使用深度相機(jī)對(duì)鋼筋的RGB 和深度圖像進(jìn)行采集，其中RGB 圖用于反映鋼筋的色彩與紋理信息，深度圖用于存儲(chǔ)像素點(diǎn)的深度信息z.利用在鋼筋數(shù)據(jù)集上充分訓(xùn)練的Mask RCNN+CA-SA 模型，對(duì)輸入的RGB 圖進(jìn)行鋼筋識(shí)別，獲取鋼筋邊界框與掩膜的預(yù)測結(jié)果.利用掩膜提取鋼筋邊緣與中線對(duì)應(yīng)點(diǎn)對(duì)的像素坐標(biāo)集合，作為鋼筋直徑與間距計(jì)算的平面依據(jù).將深度圖傳入坐標(biāo)轉(zhuǎn)換部分，通過深度圖與RGB 圖對(duì)齊的方法，獲取各像素點(diǎn)的深度坐標(biāo)z.結(jié)合相機(jī)內(nèi)參矩陣計(jì)算出鋼筋直徑與間距對(duì)應(yīng)點(diǎn)對(duì)的空間坐標(biāo)，分別代入式（3），可以獲得實(shí)際的鋼筋直徑與間距.

圖6 智能配筋檢測方法的實(shí)現(xiàn)流程Fig.6 Flow chart of intelligent rebar inspection method

2 改進(jìn)的Mask R-CNN 模型訓(xùn)練

2.1 鋼筋數(shù)據(jù)集

Mask R-CNN 是實(shí)例分割的通用網(wǎng)絡(luò)，利用改進(jìn)的Mask R-CNN 實(shí)現(xiàn)鋼筋這一特定對(duì)象的識(shí)別，須預(yù)先在鋼筋數(shù)據(jù)集上進(jìn)行訓(xùn)練.數(shù)據(jù)集包括訓(xùn)練集與測試集2 個(gè)部分.在訓(xùn)練集中，鋼筋圖片與標(biāo)簽分別作為輸入和輸出傳入Mask R-CNN+CA-SA 網(wǎng)絡(luò)，用于計(jì)算鋼筋實(shí)例分割模型的權(quán)重參數(shù).在測試集中，鋼筋圖片輸入訓(xùn)練好的模型進(jìn)行鋼筋檢測與分割，對(duì)結(jié)果進(jìn)行損失和評(píng)價(jià)指標(biāo)計(jì)算，用于對(duì)下一訓(xùn)練步的權(quán)重參數(shù)進(jìn)行調(diào)整.直至訓(xùn)練結(jié)束，保留最優(yōu)評(píng)價(jià)指標(biāo)對(duì)應(yīng)的權(quán)重參數(shù)，用于智能配筋檢測方法的鋼筋邊界框與掩膜預(yù)測.

2.1.1 數(shù)據(jù)標(biāo)注 由于目前沒有公開的鋼筋數(shù)據(jù)集，使用照相機(jī)設(shè)備采集鋼筋的原始圖片.部分?jǐn)?shù)據(jù)集圖片如圖7 所示，拍攝對(duì)象為帶肋鋼筋組成的單雙層鋼筋網(wǎng).為了增加數(shù)據(jù)集的多樣性，拍攝過程中考慮影響檢測和尺寸計(jì)算精度的因素，圖7（a）、（b）反映背景復(fù)雜程度的差異，圖7（c）、（d）體現(xiàn)背景與鋼筋顏色差距的大小，圖7（e）、（f）分別為產(chǎn)生鋼筋倒影和反光點(diǎn)的情況.

圖7 部分?jǐn)?shù)據(jù)集圖片F(xiàn)ig.7 Partial pictures in dataset

在采集好鋼筋原始圖片后，為了獲得鋼筋的掩膜標(biāo)簽，使用開源標(biāo)注軟件Labelme 進(jìn)行人工標(biāo)注.以多邊形勾勒出鋼筋實(shí)例的邊緣，該多邊形對(duì)應(yīng)的圍合區(qū)域即為鋼筋掩膜.將標(biāo)注數(shù)據(jù)以json 文件格式進(jìn)行存儲(chǔ).為了將較多的數(shù)據(jù)用于模型性能的測試，按照7∶3 的比例隨機(jī)劃分為訓(xùn)練集和測試集.

2.1.2 數(shù)據(jù)增強(qiáng) 初始采集圖像共計(jì)有300 張，為了提高模型的泛化性能，同時(shí)降低數(shù)據(jù)間的相似程度，采用混合數(shù)據(jù)增強(qiáng)的方式對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)增，包括圖片平移、翻轉(zhuǎn)、仿射變換等幾何變換方式以及調(diào)整亮度、對(duì)比度、增加高斯噪聲等像素變換方式.如圖8（a）所示為數(shù)據(jù)集的原始圖片，經(jīng)過水平翻轉(zhuǎn)及對(duì)比度調(diào)整得到圖8（b），經(jīng)過裁剪放大及高斯噪聲處理得到圖8（c）.數(shù)據(jù)集擴(kuò)增后進(jìn)一步篩除相似度過高的圖像，最終保留3 450張，滿足神經(jīng)網(wǎng)絡(luò)訓(xùn)練對(duì)數(shù)據(jù)量的要求.

圖8 數(shù)據(jù)增強(qiáng)示意圖Fig.8 Schematic diagram of data enhancement

2.2 模型訓(xùn)練

使用Ubuntu18.04 操作系統(tǒng)、Intel(R)Xeon(R)E5-2678 v3 @ 2.50 GHz CPU、NVIDIA GeForce RTX 2080 Ti 顯卡作為模型訓(xùn)練的軟硬件條件.選用ResNet101作為主干特征提取網(wǎng)絡(luò)，基于遷移學(xué)習(xí)的思想，訓(xùn)練時(shí)進(jìn)一步加載ResNet101 的預(yù)訓(xùn)練權(quán)重對(duì)超參數(shù)進(jìn)行初始化，有助于加快訓(xùn)練的收斂速度，提升模型性能.采用隨機(jī)梯度下降方法作為優(yōu)化器，更新模型參數(shù)，動(dòng)量為0.9，權(quán)重衰減因子為0.000 1.設(shè)置訓(xùn)練批次大小為4，總訓(xùn)練輪次為50，初始學(xué)習(xí)率為0.000 5.

2.2.1 模型評(píng)價(jià)指標(biāo) 對(duì)于Mask R-CNN 網(wǎng)絡(luò)，目標(biāo)檢測的準(zhǔn)確率對(duì)實(shí)例分割的精度會(huì)有一定的影響，采用精確率P（precision）和F1分?jǐn)?shù)作為該部分的評(píng)價(jià)指標(biāo).P 為模型預(yù)測出的目標(biāo)中屬于正確預(yù)測的比例，召回率R（Recall）為所有真值目標(biāo)中被預(yù)測為正樣本的比例，F(xiàn)1為P 和R 的調(diào)和平均數(shù)，公式如下：

式中：TP為實(shí)際目標(biāo)為鋼筋且被正確預(yù)測為鋼筋的數(shù)量，F(xiàn)P為實(shí)際目標(biāo)為背景但被錯(cuò)誤預(yù)測為鋼筋的數(shù)量，F(xiàn)N為實(shí)際目標(biāo)為鋼筋但被錯(cuò)誤預(yù)測為背景的數(shù)量.

采用平均交并比（mean intersection over union，mIoU）、Dice 損失和全類平均精確率（mean average precision，mAP）作為模型分割性能的評(píng)價(jià)指標(biāo).mIoU 為不同類別的預(yù)測掩膜與目標(biāo)掩膜重疊比例的均值.Dice 損失表示預(yù)測掩膜與目標(biāo)掩膜之間的相似度.平均精確率（average precision，AP）為置信度閾值下P-R 曲線與坐標(biāo)軸圍合區(qū)域的面積，對(duì)物體類別N 求平均，得到全類平均精確率（mean average precision，mAP），公式如下所示.

為了綜合反映模型性能，采用COCO 數(shù)據(jù)集定義的方法計(jì)算mAP 指標(biāo)，即使用不同交并比閾值（0.5:0.05:0.95）下mAP 的平均值表示，當(dāng)大于設(shè)定的交并比閾值時(shí)認(rèn)為該預(yù)測結(jié)果為正樣本.

2.2.2 訓(xùn)練結(jié)果與分析 為了驗(yàn)證模型的有效性，采用相同的超參數(shù)設(shè)置，將提出的Mask RCNN+CA-SA 模型與Mask R-CNN+Soft-NMS、Mask R-CNN 基礎(chǔ)網(wǎng)絡(luò)、U-Net、DeepLabV3+及PSPNet進(jìn)行比較.如表1 所示為各模型性能的對(duì)比結(jié)果.Mask R-CNN+CA-SA 模型的P 為93.89%，F(xiàn)1分?jǐn)?shù)為94.97%，mIoU 為89.03%，Dice 損失為12.26%，mAP 為87.62%，相對(duì)于其他分割模型性能最為優(yōu)異，其中較Mask R-CNN 基礎(chǔ)網(wǎng)絡(luò)的P、F1分?jǐn)?shù)、mIoU 和mAP 分別提高了3.56%、2.54%、2.60%和2.47%，Dice 損失降低了1.14%.

表1 不同模型的評(píng)價(jià)指標(biāo)對(duì)比Tab.1 Evaluation index comparison of different models%

在各指標(biāo)中，F(xiàn)1分?jǐn)?shù)和mAP 能夠更綜合地評(píng)價(jià)模型性能.如圖9 所示為Mask R-CNN+CA-SA、Mask R-CNN 基礎(chǔ)網(wǎng)絡(luò)的F1和mAP 曲線.圖中，E 為訓(xùn)練輪次.2 項(xiàng)指標(biāo)在前10 個(gè)訓(xùn)練輪次內(nèi)顯著增加，第30 個(gè)訓(xùn)練輪次后趨于穩(wěn)定.Mask RCNN+CA-SA 從初始階段即可改善鋼筋掩膜的分割精度，模型整體性能呈現(xiàn)穩(wěn)步提升的趨勢.利用Mask R-CNN+CA-SA 模型進(jìn)行鋼筋檢測，結(jié)果如圖10 所示，得到鋼筋的矩形邊界框、區(qū)域掩膜、類別標(biāo)簽與置信度信息.

圖9 不同模型的F1 和mAP 曲線Fig.9 F1 and mAP curves of different models

圖10 基于Mask R-CNN+CA-SA 模型的鋼筋檢測結(jié)果Fig.10 Inspection result of rebars based on Mask R-CNN +CA-SA model

3 雙目視覺配筋檢測

在Mask R-CNN+CA-SA 模型訓(xùn)練完成后，可以根據(jù)RealSense 提供的開源SDK 框架，按照數(shù)據(jù)采集、鋼筋識(shí)別、鋼筋直徑與間距計(jì)算的流程，開發(fā)雙目視覺配筋檢測方法.

在數(shù)據(jù)采集前，為了獲取準(zhǔn)確的深度測量數(shù)據(jù)，使用英特爾官方給出的標(biāo)定工具對(duì)Real-Sense 深度相機(jī)設(shè)備的內(nèi)、外參數(shù)進(jìn)行標(biāo)定.以最左側(cè)的RGB 相機(jī)為世界坐標(biāo)系原點(diǎn)，相機(jī)內(nèi)參矩陣、旋轉(zhuǎn)矩陣和平移矩陣的標(biāo)定結(jié)果如表2 所示.

表2 內(nèi)、外參數(shù)的標(biāo)定結(jié)果Tab.2 Calibration result of intrinsic and extrinsic parameters

為了使深度誤差小于2%，將RealSense 相機(jī)和采集對(duì)象的距離控制在0～2 m.調(diào)用上述標(biāo)定好的內(nèi)、外參數(shù)，通過SDK 的深度成像模塊對(duì)左、右紅外相機(jī)的圖像進(jìn)行特征點(diǎn)匹配，根據(jù)左、右成像圖片的視差計(jì)算對(duì)應(yīng)像素點(diǎn)的深度，形成深度圖.

如圖11（a）、（b）所示為深度相機(jī)采集的鋼筋RGB 和深度圖像數(shù)據(jù).原始深度圖通過灰度來表征單一的深度信息，為了體現(xiàn)深度之間的差異，加強(qiáng)可視化效果，圖11（b）在原始深度圖的基礎(chǔ)上進(jìn)行了色彩渲染，圖像底部呈深色為距離相機(jī)較近的區(qū)域.將鋼筋RGB 圖輸入訓(xùn)練好的Mask R-CNN+CA-SA 模型中，檢測結(jié)果如圖11（c）所示.可以看出，鋼筋表面銹蝕及地面倒影未對(duì)模型預(yù)測造成干擾，鋼筋主體掩膜完整.由于模型預(yù)測順序具有隨機(jī)性，為了提高配筋檢測的效率和可操作性，按照自上而下、從左到右的順序，重新對(duì)鋼筋掩膜進(jìn)行排序.將單根鋼筋的掩膜圖像進(jìn)行二值化處理，利用邊緣檢測算法提取掩膜的邊緣和中線坐標(biāo)，通過k 近鄰算法計(jì)算得到各掩膜中線的法向量.如圖11（d）所示，沿法向量方向向掩膜兩側(cè)邊緣、相鄰掩膜中線延伸，提取邊緣和中線的對(duì)應(yīng)點(diǎn)對(duì)像素坐標(biāo).將圖11（a）、（b）的信息進(jìn)行對(duì)齊，獲得邊緣和中線對(duì)應(yīng)點(diǎn)對(duì)的空間坐標(biāo)，計(jì)算出各根鋼筋的直徑與間距后，將數(shù)據(jù)存儲(chǔ)在對(duì)應(yīng)編號(hào)的信息元組中進(jìn)行輸出.

圖11 配筋檢測的輸入與輸出數(shù)據(jù)Fig.11 Input and output data of rebar inspection

4 配筋檢測試驗(yàn)與評(píng)估

為了驗(yàn)證智能配筋檢測方法的準(zhǔn)確性，在試驗(yàn)室環(huán)境下搭建一單層鋼筋網(wǎng)，利用智能配筋檢測方法計(jì)算直徑與間距，與人工測量結(jié)果對(duì)比.

如圖11（a）所示為單層鋼筋網(wǎng)的基本組成情況，沿縱向和橫向分別配置6 根鋼筋，采用焊接的方式對(duì)網(wǎng)點(diǎn)進(jìn)行固定，左、右兩端設(shè)置的35 mm 高墊木則用于鋼筋網(wǎng)的抬高.為了說明智能配筋檢測方法的適用范圍，直徑與間距分別設(shè)置小、中、大3 種尺寸，從鋼筋網(wǎng)中心到兩端邊緣，直徑對(duì)稱地由10 mm 遞增至16 mm 和20 mm；間距設(shè)計(jì)值包含100、150 和200 mm，但由于存在制作誤差，鋼筋間距真實(shí)值利用人工測量的方法進(jìn)一步確定.

如圖11（d）所示，每根鋼筋分別選取20 組邊緣對(duì)應(yīng)點(diǎn)對(duì)，利用20 組數(shù)據(jù)的均值作為直徑的檢測值，選取60 段的網(wǎng)點(diǎn)位置計(jì)算鋼筋間距.智能配筋檢測的可視化結(jié)果如圖12 所示，圖12（a）為鋼筋直徑與間距對(duì)應(yīng)的位置編號(hào)，縱、橫向分別用y 和x 表示，并按照自上而下、從左到右的順序賦予1～6 的標(biāo)號(hào).如圖12（b）所示為直徑與間距的檢測值，分別用方框在原位進(jìn)行標(biāo)注.

圖12 配筋檢測可視化結(jié)果Fig.12 Visualization results of rebar inspection

鋼筋直徑的檢測結(jié)果如表3 所示.表中，Dn為公稱直徑，D 為直徑檢測值，Eda為直徑的絕對(duì)誤差，Edr為直徑的相對(duì)誤差.絕對(duì)誤差為0～1.7 mm，相對(duì)誤差基本控制在0～10%.智能配筋檢測方法在小直徑鋼筋檢測方面同樣具有較好的效果，y4 位置誤差最小為0.3 mm.對(duì)于工程中使用的各類規(guī)格的鋼筋，22 mm 及以下鋼筋公稱直徑以2 mm 遞減，22 mm 以上分為25、28、32、36、40、50 mm，相鄰型號(hào)的鋼筋公稱直徑最小相差3 mm，最大相差10 mm.為了確保工作人員在鋼筋隱蔽工程驗(yàn)收中不會(huì)對(duì)鋼筋直徑作出誤判，須將智能配筋檢測方法的鋼筋直徑允許誤差控制在0～1.0 mm.在檢測結(jié)果中，x5、x6、y3 和y5 位置的鋼筋絕對(duì)誤差均超過1 mm，會(huì)使工作人員將直徑分別誤判為14、22、12 和14 mm，不滿足實(shí)際工程的精度要求.

表3 鋼筋直徑檢測結(jié)果Tab.3 Inspection results of rebar diameter

如表4 所示為鋼筋間距的檢測結(jié)果.表中，鋼筋間距真實(shí)值為通過人工卷尺測量獲得的數(shù)據(jù)，Sr為鋼筋間距的真實(shí)值，S 為鋼筋間距的檢測值，Esa為間距的絕對(duì)誤差，Esr為間距的相對(duì)誤差.絕對(duì)誤差均小于4 mm，且約有1/2 的鋼筋間距誤差可以保持在0～1.0 mm.相對(duì)誤差基本控制在0～3%，最大相對(duì)誤差對(duì)應(yīng)的位置編號(hào)為x2-5，檢測值大于真實(shí)值3.2%.根據(jù)GB50204—2015《混凝土結(jié)構(gòu)工程施工質(zhì)量驗(yàn)收規(guī)范》5.5.3 條[32]可知，鋼筋間距的安裝誤差須控制在0～20 mm，試驗(yàn)中鋼筋間距的絕對(duì)誤差均遠(yuǎn)小于規(guī)定的允許偏差，滿足規(guī)范對(duì)間距檢測精度的要求.

表4 鋼筋間距檢測結(jié)果Tab.4 Inspection results of rebar spacing

為了驗(yàn)證所提方法的可行性與實(shí)際可操作性，在復(fù)雜背景下對(duì)梯板鋼筋網(wǎng)進(jìn)行識(shí)別與檢測，結(jié)果如圖13 所示.可以看出，在復(fù)雜環(huán)境背景下，所有鋼筋均能被準(zhǔn)確識(shí)別.鋼筋直徑和上層鋼筋間距的最大絕對(duì)誤差位置被放大標(biāo)記，其中，直徑最大絕對(duì)誤差處的檢測值為9.1 mm，相較于公稱直徑小0.9 mm；間距最大絕對(duì)誤差處的檢測值為201.8 mm，相較于真實(shí)值大1.8 mm，兩者均滿足工程實(shí)際所需的精度要求.

圖13 復(fù)雜背景配筋檢測結(jié)果Fig.13 Rebar inspection results in complex background

綜上所述，智能配筋檢測方法對(duì)鋼筋直徑的檢測精度偏低，但在鋼筋間距檢測方面能夠達(dá)到理想的高精度效果.誤差產(chǎn)生的原因如下.1）較大的直徑與間距誤差主要分布在鋼筋網(wǎng)的邊緣位置，這些誤差主要受深度圖分辨率的影響，Real-Sense 相機(jī)提供的深度圖最大分辨率僅為1 280 像素×720 像素，在與RGB 圖對(duì)齊的過程中容易出現(xiàn)圖像邊緣對(duì)齊精度下降的問題，導(dǎo)致邊緣像素點(diǎn)匹配到錯(cuò)誤的深度信息.該問題可以通過提高深度相機(jī)的像素得到解決.2）鋼筋表面帶有縱肋和橫肋，公稱直徑無法全面衡量鋼筋截面的尺寸分布情況，且鋼筋掩膜與鋼筋肋部的鋸齒狀邊緣未完全貼合，導(dǎo)致提取的對(duì)應(yīng)點(diǎn)對(duì)存在偏差，從而加大鋼筋直徑檢測的誤差.對(duì)于不同直徑的鋼筋，其公稱直徑屬性、檢測方法及其影響因素尚需進(jìn)一步的研究.

5 結(jié) 論

（1）通過在自建的包含3 450 張圖片的鋼筋數(shù)據(jù)集上進(jìn)行訓(xùn)練，Mask R-CNN+CA-SA 相較于Mask R-CNN 基礎(chǔ)網(wǎng)絡(luò)的F1分?jǐn)?shù)和mAP 分別增加了2.54%和2.47%，表明Mask R-CNN+CA-SA 模型能夠有效提高鋼筋邊界框與掩膜預(yù)測的準(zhǔn)確率.

（2）使用單層鋼筋網(wǎng)試驗(yàn)和復(fù)雜背景測試，對(duì)提出的智能配筋檢測方法進(jìn)行驗(yàn)證.結(jié)果表明，鋼筋直徑的檢測精度偏低，絕對(duì)誤差為0～1.7 mm，需要進(jìn)一步提高.鋼筋間距的檢測精度較高，絕對(duì)誤差均小于4.0 mm，滿足規(guī)范驗(yàn)收的精度要求.智能配筋檢測方法在實(shí)際應(yīng)用中具有較強(qiáng)的可操作性.

（3）深度圖分辨率過低導(dǎo)致圖像邊緣對(duì)齊精度下降，以及掩膜未貼合鋼筋鋸齒狀邊緣是造成智能配筋檢測方法誤差的主要原因.今后須進(jìn)一步提升圖像分辨率及掩膜精度，通過擴(kuò)充數(shù)據(jù)集增強(qiáng)智能配筋檢測方法的魯棒性，將其應(yīng)用到更復(fù)雜的場景中.