基于卷積神經(jīng)網(wǎng)絡(luò)的預(yù)制疊合板多目標智能化檢測方法

姚剛 ,廖港 ,楊陽 ,李青澤 ,魏伏佳

（1.重慶大學(xué) 山地城鎮(zhèn)建設(shè)與新技術(shù)教育部重點實驗室；土木工程學(xué)院，重慶 400045；2.中機中聯(lián)工程有限公司，重慶 400050）

近年來，裝配式建筑發(fā)展迅速，2016 年中國新開工裝配式建筑面積1.1×109m2，2020 年增長至6.3×109m2[1]，年平均增長率55.4%。預(yù)制構(gòu)件作為裝配式建筑的基本部件，其生產(chǎn)過程中的質(zhì)量控制對提高裝配式建筑質(zhì)量具有重要意義[2-4]。預(yù)制疊合板作為目前使用廣泛的預(yù)制構(gòu)件，構(gòu)造簡單，施工便捷，被廣泛應(yīng)用于各類裝配式住宅體系[5-7]。

裝配式建筑施工過程中，尺寸不合格的預(yù)制疊合板需返廠，不僅造成材料浪費、成本增加，還直接影響現(xiàn)場安裝進度[8]。目前，預(yù)制構(gòu)件廠進行預(yù)制疊合板尺寸檢測主要采用人工鋼尺抽查的方法，人工投入量大，檢測速度及精度低，存在漏檢的現(xiàn)象。因此，發(fā)展非接觸式預(yù)制疊合板智能化檢測方法，對于加快速度、提高精度及降低成本具有重要的現(xiàn)實意義。在非接觸式檢測上，已有部分學(xué)者使用激光掃描技術(shù)來檢測構(gòu)件尺寸[9-11]，并通過實際項目建立檢測與評估系統(tǒng)[12]。激光掃描由于需要后期處理數(shù)據(jù)并生成影像圖，檢測結(jié)果反饋較慢，且對于移動目標檢測效果不佳，在工業(yè)化的流水線生產(chǎn)中應(yīng)用受限。

基于計算機視覺，有學(xué)者通過Canny 邊緣檢測算子開展成品預(yù)制構(gòu)件的尺寸檢測研究[13]，實現(xiàn)大尺度構(gòu)件的尺寸檢測，但是，在實際操作中需要人工設(shè)定閾值，泛化能力較低，且對于邊緣較為模糊的小尺度構(gòu)件檢測精度受限。隨著人工智能技術(shù)的發(fā)展，智能化檢測方法在土木工程領(lǐng)域獲得廣泛應(yīng)用[14-15]。其中，卷積神經(jīng)網(wǎng)絡(luò)通過大量的訓(xùn)練數(shù)據(jù)提取待檢測目標的深層次特征，并采用多尺度特征融合的結(jié)構(gòu)以適應(yīng)不同尺度的檢測目標，具備強大的特征提取能力及泛化能力[16]。有學(xué)者借助卷積神經(jīng)網(wǎng)絡(luò)算法，通過優(yōu)化VGG16 識別網(wǎng)絡(luò)研究建筑物門窗等構(gòu)件的分類問題[17]，通過DeepLabv3+語義分割算法實現(xiàn)像素級別的混凝土構(gòu)件表觀裂縫檢測[18-20]與氣泡缺陷檢測[21]。目前，智能化檢測的研究大多針對使用階段的構(gòu)件，進行健康監(jiān)測及損傷檢查[22]，針對生產(chǎn)過程中的預(yù)制構(gòu)件進行尺寸檢測的研究較少。

筆者基于卷積神經(jīng)網(wǎng)絡(luò)算法，研究生產(chǎn)流水線上預(yù)制構(gòu)件的數(shù)量及尺寸檢測。以預(yù)制疊合板為例，進行混凝土底板數(shù)量和尺寸、預(yù)埋件數(shù)量和坐標，以及彎折方向不合格的外伸鋼筋檢測研究，并以固定磁盒作為基準參照物進行尺寸檢測誤差分析，實現(xiàn)非接觸式預(yù)制疊合板多目標智能化檢測，降低預(yù)制構(gòu)件廠的人工成本，提高檢測精度，加快檢測速度。

1 預(yù)制疊合板多目標檢測系統(tǒng)

1.1 多目標檢測系統(tǒng)原理

目標檢測技術(shù)發(fā)展較迅速，其主要目的是在圖像中精確標定被檢測物體的類別及位置[23]。而多目標檢測技術(shù)主要是針對圖像中存在多個待檢測目標的情況，需要提取不同目標的外觀、尺寸等特征，將其嚴格地與背景或其他目標分離開來。相較于單一目標檢測，多目標檢測存在不同目標間互相干擾、遮擋等問題，檢測過程中的參數(shù)規(guī)模大，對硬件要求高[24]。

借助智能化檢測的手段，通過圖像實現(xiàn)對生產(chǎn)線上所有預(yù)制疊合板的多目標檢測，提高構(gòu)件生產(chǎn)合格率。多目標檢測內(nèi)容包括：預(yù)制疊合板底板、預(yù)埋線盒及不合格外伸鋼筋3 類。通過設(shè)計預(yù)制疊合板多目標檢測系統(tǒng)，并引入基準參照物，進行預(yù)制疊合板尺寸檢測誤差分析，實現(xiàn)在生產(chǎn)過程中檢測混凝土底板數(shù)量和尺寸，預(yù)埋線盒數(shù)量和坐標，以及外伸鋼筋的彎折方向，實現(xiàn)多目標智能化檢測。預(yù)制疊合板多目標檢測系統(tǒng)原理如圖1 所示。

圖1 預(yù)制疊合板多目標檢測系統(tǒng)原理Fig.1 Principle of multi-target detection system for prefabricated laminated board

1.2 基于卷積神經(jīng)網(wǎng)絡(luò)的目標檢測算法

基于卷積神經(jīng)網(wǎng)絡(luò)的目標檢測算法相比人工構(gòu)造特征的傳統(tǒng)目標檢測算法，可以自動提取特征，具有泛化能力強、魯棒性強的優(yōu)點。常見的基于卷積神經(jīng)網(wǎng)絡(luò)的目標檢測算法有兩類，基于候選區(qū)域與基于回歸的目標檢測算法[25]?；诤蜻x區(qū)域的目標檢測算法通過在圖像樣本中生成待檢測候選區(qū)域，隨后對待檢測區(qū)域中的目標進行特征提取并加以識別，以R-CNN(Region with CNN features)[26]、SPP-Net(Spatial Pyramid Pooling)[27]等系列為代表，目標檢測精度較高，但需計算候選區(qū)域，檢測速度較慢?；诨貧w的目標檢測算法通過直接對圖像進行全局處理，避免候選區(qū)域的計算過程，檢測速度大大提升，以YOLO(You Only Look Once)[28]、SSD(Single Shot Multibox Detector)[29]等系列為代表，在對檢測速度有要求的領(lǐng)域（如實時監(jiān)測）獲得廣泛應(yīng)用。

其中，YOLO 系列作為兼顧檢測速度與精度的目標檢測算法，可以實現(xiàn)輕量化、多尺度的目標檢測。YOLOv5 作為該系列最新的目標檢測算法模型，與上一版本相比，大幅提高了檢測速度，在基準數(shù)據(jù)集下圖像推理速度最快達到140fps（每秒處理140 幀圖像）[30]，可以滿足預(yù)制構(gòu)件廠流水生產(chǎn)線上對預(yù)制疊合板檢測速度的要求。因此，基于YOLOv5 算法，建立預(yù)制疊合板多目標檢測系統(tǒng)，圖2 所示為其網(wǎng)絡(luò)模型結(jié)構(gòu)。

圖2 YOLOv5 網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.2 YOLOv5 network model structure

神經(jīng)網(wǎng)絡(luò)的輸入圖像經(jīng)過Input、Backbone、Neck、Prediction 4 個模塊后得到預(yù)測錨框，錨框標示出待檢測目標（預(yù)制疊合板底板、預(yù)埋PVC 線盒及外伸鋼筋）的類別及位置。

Input 模塊主要對輸入的圖像進行預(yù)處理，本研究中原始圖像像素為5 472×3 648，預(yù)處理階段通過letterbox 方法對輸入圖像自適應(yīng)添加最少的黑邊，并將尺寸縮放為640×640，大幅減少計算量，提高檢測速度。

Backbone 模塊通過Focus 結(jié)構(gòu)進行切片操作，將640×640×3 的輸入圖像轉(zhuǎn)換為320×320×12的特征圖，并經(jīng)過卷積操作得到320×320×64 的特征圖。隨后通過CSP 結(jié)構(gòu)對權(quán)重參數(shù)的梯度變化情況進行傳遞。Neck 模塊部分通過上采樣的方式，融合傳輸不同層次特征圖的信息，并通過構(gòu)造特征金字塔自上而下地提取強語義特征，將其傳送至Prediction 模塊。Prediction 模塊作為算法網(wǎng)絡(luò)的輸出端，采用LGIoU作為預(yù)測錨框的損失函數(shù)，其數(shù)學(xué)表達式為

式中：AC為預(yù)測錨框與真實錨框的最小外包面積，I為預(yù)測錨框與真實錨框的交集，U為預(yù)測錨框與真實錨框的并集，如圖3 所示。

圖3 交并比Fig.3 Intersection of union

LGIoU損失函數(shù)通過增強神經(jīng)網(wǎng)絡(luò)對于不同錨框相交尺度的判斷方式，解決預(yù)測錨框與真實錨框不重合的優(yōu)化問題，提高損失函數(shù)的收斂性能，提升模型的檢測速度。

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中，當(dāng)預(yù)測錨框與真實錨框的交并比大于規(guī)定閾值（通常取0.5）時，認為該檢測結(jié)果是正樣本，反之為負樣本。訓(xùn)練結(jié)束后，通過統(tǒng)計檢測結(jié)果的正、負樣本數(shù)量，通過混淆矩陣計算精度與召回率，并將其作為判斷訓(xùn)練效果的主要依據(jù)，混淆矩陣如表1 所示。

表1 混淆矩陣Table 1 Confusion matrix

精度P為判斷檢測準確率的依據(jù)，其數(shù)學(xué)表達式為

式中：TP 檢測結(jié)果為正樣本，同時，其真實的標簽也為正樣本，檢測正確；FP 檢測結(jié)果為正樣本，但是真實的標簽為負樣本，出現(xiàn)檢測錯誤。

召回率R為判斷查全率的依據(jù)，其數(shù)學(xué)表達式為

式中：FN 真實標簽為正樣本，但是檢測結(jié)果為負樣本，表示出現(xiàn)漏檢。

在實際檢測過程中，往往同時包含多類檢測目標，因此，常采用平均精度PA作為全部檢測目標在數(shù)據(jù)集上檢測精度的判斷依據(jù)，其數(shù)學(xué)表達式為

式中：C代表測試集中的樣本類別數(shù)；Pj為第j類目標檢測過程中平均精確度，使用精度-召回率曲線的面積進行計算，等式右側(cè)為其積分表達形式。

1.3 圖像采集系統(tǒng)設(shè)計

預(yù)制疊合板的出廠尺寸檢查形式為人工鋼尺抽查，內(nèi)容包括混凝土底板尺寸、預(yù)埋件位置及外伸鋼筋彎折方向。經(jīng)抽樣檢查不合格的預(yù)制疊合板需銷毀，并重新下料生產(chǎn)，造成人力物力的浪費。

借助卷積神經(jīng)網(wǎng)絡(luò)算法，通過圖像實現(xiàn)對預(yù)制疊合板的非接觸式尺寸檢測，避免傳統(tǒng)的接觸式鋼尺檢測對生產(chǎn)流水線的影響。研究過程中，針對預(yù)制構(gòu)件廠生產(chǎn)流水線的實際條件，設(shè)計圖像采集系統(tǒng)。圖像采集系統(tǒng)如圖4 所示，由支架、云臺、工業(yè)相機、光源及圖像檢測終端組成。傳送系統(tǒng)通過電動機驅(qū)動的滾輪運輸模臺，模臺攜帶預(yù)制疊合板通過支架下方，兩臺LED 光源設(shè)備提供穩(wěn)定的環(huán)境光照亮預(yù)制疊合板的細部構(gòu)造。三維云臺具備角度、俯仰的姿態(tài)調(diào)整功能，為工業(yè)相機提供靈活、穩(wěn)定的拍攝條件。工業(yè)相機對通過的預(yù)制疊合板進行圖像采集，并將圖像傳送至檢測終端。

圖像采集系統(tǒng)設(shè)計過程中，為保證獲取所需圖像的全部特征信息，需計算工業(yè)相機拍攝高度。工業(yè)相機焦距f計算公式為

式中：焦距f為16 mm；D為工業(yè)相機至預(yù)制疊合板的距離；L、W為預(yù)制疊合板實際長度和寬度，最大為3 500、2 800 mm；l、w為工業(yè)相機感光元件的長度和寬度，分別為12.8、9.6 mm。為保證疊合板全部處于拍攝范圍內(nèi)，考慮預(yù)制疊合板放置方向的最不利情況，即預(yù)制疊合板長度方向沿感光元件的寬度方向放置，并在兩側(cè)各預(yù)留500 mm 余量，預(yù)制疊合板距地面高度h為500 mm。由此計算工業(yè)相機拍攝高度H

經(jīng)調(diào)焦及拍攝測試，確定工業(yè)相機拍攝高度H為8 000 mm。采集得到518 張預(yù)制疊合板圖像，單張圖像分辨率5 472×3 648，采集圖片時，盡量保證每塊疊合板位于圖片中央位置，使得成像清晰無暗角。部分圖像如圖5 所示，圖5（a）為單張圖片包含一塊疊合板，圖5（b）為單張圖像同時包含兩塊疊合板。研究過程中，通過增加圖片中目標數(shù)量，可以增強神經(jīng)網(wǎng)絡(luò)在復(fù)雜環(huán)境下的檢測效果。

2 基于卷積神經(jīng)網(wǎng)絡(luò)的多目標識別

2.1 圖像樣本數(shù)據(jù)集建立

為了增強神經(jīng)網(wǎng)絡(luò)的泛化能力，防止出現(xiàn)訓(xùn)練過擬合的現(xiàn)象，考慮對原始圖像進行樣本擴充。研究過程中通過Opencv 組件對圖像進行旋轉(zhuǎn)、水平翻轉(zhuǎn)、噪聲擾動和顏色轉(zhuǎn)換，以提高神經(jīng)網(wǎng)絡(luò)對不同方向、不同光線下預(yù)制疊合板圖像的適應(yīng)性，如圖6所示。518 張預(yù)制疊合板圖像經(jīng)過樣本擴充，得到總數(shù)為2 072 張圖像的數(shù)據(jù)集，其中共包括預(yù)制疊合板3 156 塊，預(yù)埋PVC 線盒6 284 個。

圖6 圖像數(shù)據(jù)集樣本擴充Fig.6 Sample expansion of image date set

由于外伸鋼筋在豎向平面內(nèi)進行彎折，若產(chǎn)生過大平面外彎折，則視為不合格外伸鋼筋。為統(tǒng)一外伸鋼筋平面外彎折的評價標準，通過BIM 系列軟件Autodesk Revit 對預(yù)制疊合板進行建模，并使用Revit 軟件的圖像渲染引擎模擬拍攝時的幾何投影關(guān)系，如圖7（a）、（b）所示。邊緣處的外伸鋼筋在拍攝投影過程中會由于拍攝偏角產(chǎn)生平面外的彎折，且鋼筋位置越偏離畫面中央，平面外彎折程度越明顯。預(yù)制疊合板長邊尺寸為L，故在標注過程中，取模擬圖像中距離畫面中央L/2 處外伸鋼筋的彎折程度為合格標準。在示例中L最大為3 500 mm，取L/2=1 750 mm 處的外伸鋼筋為合格標準，大于該彎折程度的，判斷為不合格外伸鋼筋，需對其進行標注，如圖7（c）所示。

圖7 外伸鋼筋BIM 模擬Fig.7 BIM simulation of overhanging steel bars

使用標注軟件labelme 對待檢測目標進行標注，包括預(yù)制疊合板底板、預(yù)埋PVC 線盒及不合格外伸鋼筋，如圖8 所示。為保證后期預(yù)埋PVC 線盒定位精確，圖8 中針對預(yù)埋PVC 線盒中部的八角盒部分進行標注。

圖8 待檢測目標標注Fig.8 The label of the target to be detected

2.2 訓(xùn)練過程及結(jié)果分析

為了保證訓(xùn)練過程中數(shù)據(jù)分布的一致性，避免因數(shù)據(jù)劃分引入偏差而對最終結(jié)果產(chǎn)生影響，將2 072張原始圖片按照70%與30%的比例隨機劃分為訓(xùn)練集與測試集。其中訓(xùn)練集用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)各層的權(quán)重參數(shù)，測試集用于測試訓(xùn)練結(jié)果的準確性。采用Ubuntu 操作系統(tǒng)，Intel(R) Xeon(R) Gold 6142 @ 2.60 GHz CPU，Tesla V100-FHHL-16 G 顯卡進行訓(xùn)練。通過預(yù)訓(xùn)練進行超參數(shù)調(diào)整，以加快模型訓(xùn)練速度，最終選擇訓(xùn)練批次大小為32，學(xué)習(xí)率0.001，最大迭代次數(shù)7 000 次。

使用TensorBoard 獲得迭代訓(xùn)練日志，繪制訓(xùn)練過程中損失函數(shù)曲線如圖9（a）所示，平均精度曲線如圖9（b）所示。

圖9 訓(xùn)練損失函數(shù)及精度曲線Fig.9 Loss function and average precision curve

迭代到1 000 次后，損失函數(shù)開始呈現(xiàn)收斂趨勢，迭代至7 000 次時，損失函數(shù)曲線已不再明顯波動，損失函數(shù)值穩(wěn)定在0.13 左右。預(yù)制疊合板底板平均精度穩(wěn)定在99.10%，預(yù)埋線盒平均精度穩(wěn)定在98.00%，彎折方向不合格的外伸鋼筋平均精度穩(wěn)定在87.20%。隨著權(quán)重參數(shù)的迭代，損失函數(shù)與平均精度不再變化，保存神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中實際最優(yōu)的權(quán)重參數(shù)。

使用最優(yōu)權(quán)重參數(shù)對測試集圖像進行測試，單張圖像檢測時間少于40 ms，且可以實現(xiàn)30 fps 的視頻檢測，滿足預(yù)制構(gòu)件廠生產(chǎn)流水線檢測的速度需求。圖像檢測結(jié)果如圖10 所示，預(yù)制疊合板混凝土底板及預(yù)埋PVC 線盒檢測效果好，錨框可以精確地表示混凝土底板及預(yù)埋PVC 線盒的數(shù)量及位置，且在一張圖像同時包含兩塊疊合板的情況下，也可以順利完成檢測。測試集上多目標檢測平均精度為94.10%，召回率為96.40%。其中，預(yù)制疊合板底板平均精度達到99.60%，預(yù)埋線盒平均精度97.20%，彎折方向不合格的外伸鋼筋平均精度83.20%。測試集的結(jié)果表明，通過訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)對預(yù)制疊合板檢測具有速度快，精度高的優(yōu)勢。

圖10 多目標檢測結(jié)果Fig.10 Multi-target detection results

3 預(yù)制疊合板尺寸檢測結(jié)果分析

3.1 基準參照物選取

固定磁盒在預(yù)制構(gòu)件的生產(chǎn)過程中被用于固定模具，其型號尺寸統(tǒng)一，通用性強，是預(yù)制構(gòu)件生產(chǎn)過程中的必要組件，如圖11 所示。以固定磁盒作為基準參照物，計算預(yù)制疊合板的混凝土底板尺寸和預(yù)埋PVC 線盒的坐標信息，并進行尺寸檢測誤差分析。

圖11 SX-1000B 固定磁盒Fig.11 SX-1000B fixed magnetic box

使用Camera Measure 作為測量工具，從不同的圖像中選取100 個靠近畫面中央且無遮擋的固定磁盒，測量其長邊尺寸，如圖12 所示。

圖12 Camera Measure 測量過程Fig.12 Camera Measure measurement process

對測量結(jié)果繪制箱型圖，如圖13 所示，固定磁盒在圖片中的最小測量值為226.042 px，最大值為226.992 px，平均值為226.487 px。實際長度與像素長度的轉(zhuǎn)換系數(shù)D計算公式為

圖13 固定磁盒測量結(jié)果Fig.13 Fixed magnetic box measurement results

式中：lr為固定磁盒標準長邊的實際長度；lm為固定磁盒在圖像中的平均像素長度。根據(jù)固定磁盒型號，其實際長度lr為200 mm，像素長度lm為226.487px。則轉(zhuǎn)換系數(shù)D為0.883。通過選取固定磁盒作為基準參照物，實現(xiàn)圖片尺寸到實際尺寸的檢測誤差分析。

3.2 尺寸檢測誤差分析

利用Opencv 模塊加載預(yù)制疊合板檢測網(wǎng)絡(luò)，對圖像進一步處理得到各檢測目標的錨框尺寸及中心點坐標，信息提取過程如圖14 所示。

圖14 檢測錨框信息提取過程Fig.14 Anchor frame information extraction process

將檢測數(shù)據(jù)通過轉(zhuǎn)換系數(shù)D進行尺寸檢測數(shù)據(jù)分析，得到最終的混凝土底板尺寸和預(yù)埋PVC 線盒的坐標信息，并計算誤差。其中，預(yù)制疊合板底板尺寸檢測誤差ρd考慮長寬方向相對誤差

式中：L、W為長度及寬度方向的尺寸，ΔL;ΔW為長度及寬度方向的絕對誤差值。設(shè)定預(yù)制疊合板底板最左上角頂點為坐標原點，圖像水平為x軸，豎向為y軸，預(yù)埋PVC 線盒坐標檢測誤差ρh為實際坐標至檢測坐標的距離

式中：Δx、Δy為預(yù)埋線盒坐標的絕對誤差值。隨機選取100 塊預(yù)制疊合板底板，測量其實際尺寸，并按照式（8）計算混凝土底板尺寸檢測誤差ρd，結(jié)果如圖15（a）所示。選取的疊合板中包含預(yù)埋PVC 線盒186 個，通過測量其實際坐標，按照式（9）計算預(yù)埋線盒坐標檢測誤差ρh，如圖15（b）所示。

圖15 疊合板檢測誤差結(jié)果Fig.15 Inspection error result of laminated board

通過預(yù)制疊合板混凝土底板尺寸及預(yù)埋線盒坐標檢測誤差分析，混凝土底板尺寸檢測平均誤差0.53%，最大誤差0.68%；預(yù)埋PVC 線盒坐標檢測平均誤差11.90 mm，最大誤差15.61 mm。

4 結(jié)論

結(jié)合預(yù)制構(gòu)件廠的實際生產(chǎn)需求，通過YOLOv5 目標檢測算法，實現(xiàn)了基于卷積神經(jīng)網(wǎng)絡(luò)的預(yù)制疊合板多目標智能化檢測。

1）在預(yù)制疊合板生產(chǎn)線上建立了預(yù)制構(gòu)件多目標檢測系統(tǒng)，可以在混凝土初凝前發(fā)現(xiàn)不合格預(yù)制疊合板構(gòu)件，并及時進行處理，提高構(gòu)件的合格率，避免二次生產(chǎn)造成的材料、人力浪費。

2）通過拍攝圖像實現(xiàn)了多目標同時檢測，單張圖像即可完成混凝土底板數(shù)量及尺寸檢測，預(yù)埋線盒數(shù)量及坐標檢測，彎折方向不合格的外伸鋼筋檢測。檢測速度快，單張圖像檢測時間少于40 ms，可以滿足生產(chǎn)流水線實時檢測需求。

3）以固定磁盒作為基準參照物進行檢測誤差分析，可以在降低訓(xùn)練數(shù)據(jù)集參數(shù)規(guī)模的工況下保持較高的識別精度。

4）混凝土底板、預(yù)埋PVC 線盒、外伸鋼筋等3種目標的識別精度上，對混凝土底板識別最精準。其中底板數(shù)量檢測平均精度99.60%，尺寸檢測平均誤差0.53%；預(yù)埋PVC 線盒數(shù)量檢測平均精度97.20%，坐標檢測平均誤差11.90 mm；彎折方向不合格的外伸鋼筋檢測平均精度83.20%。