基于輕量卷積神經網絡的鋼筋交點識別算法

鳳若成FENG Ruo-cheng

（中鐵九局集團有限公司，沈陽 110005）

0 引言

在建筑行業(yè)中，大型橋墩承臺和橋面板的平面鋼筋，工作面積廣，勞動強度大，鋼筋綁扎工序需大量勞動力進行手動完成。盡管近年來在建筑機器人領域取得了許多成就，但仍然缺乏適用于施工現場的鋼筋綁扎機器人。CARDNO 等[1]提出了Tybot 鋼筋綁扎機器人，通過二維碼標簽識別定位鋼筋。但二維碼標簽識別方法在復雜的施工現場中極易因雜物產生誤差例如電線、工具等，并且無法判斷鋼筋綁扎的狀態(tài)，易發(fā)生重復綁扎的情況。使用機器視覺可以獲得更豐富的圖像信息，并具有更好的容錯性，且不受主觀因素的影響，檢測效率高。因此機器視覺技術在目標檢測與識別領域應用廣泛，何成等[2]基于機器視覺檢測灌裝液體藥品的質量；蔣慶等[3]基于機器視覺設計了空瓶圖像檢測系統；任少斌等[4]基于機器視覺進行了微小陶瓷基材檢測系統研究；汪晨曦等[5]基于機器視覺提出了軌枕裂紋識別方法，董國梁等[6]提出了基于深度學習的鋼筋綁扎機器人目標識別定位方法，但僅基于實驗室條件下的演示平臺,并非適用于施工現場的小型移動式機器人。可見，機器視覺并未應用于施工現場的鋼筋交點的識別上，其難點在于傳統卷積神經網絡難以在低算力可移動平臺實現精準識別。本文從鋼筋綁扎實際需求出發(fā)，提出基于輕量卷積神經網絡的鋼筋交點識別算法，滿足小型移動式機器人對鋼筋交叉點位置識別及綁扎狀態(tài)判斷的需求。

1 算法介紹

1.1 YOLOv5 算法

YOLOv5 是一種廣泛使用的用于目標檢測的卷積神經網絡模型[7]，YOLOv5 網絡包括輸入端、主干網絡、頸部網絡和輸出端四部分。主干網絡主要實現特征提取的功能；頸部網絡進一步將主干層與檢測層進行特征融合，能使模型獲取更加豐富的特征信息。該算法的核心思想就是將整張圖作為網絡的輸入，將輸入的圖像分為若干網格，目標判定和目標識別兩個步驟合二為一，可直接在輸出層給出預測框的位置和預測框所屬的類別，同步完成圖像特征識別與分類。與RCNN 等兩階段目標檢測算法相比較，其運行速度更快，可直接檢測鋼筋綁扎交點和施工現場的障礙物，并且高精度工業(yè)相機輸出的圖像可代替兩階段目標檢測方法中的生成候選區(qū)域（Region proposals）分割的圖像，因此，選取YOLOv5 作為本方法的基準模型。

1.2 輕量卷積網絡Ghost 模塊

小型移動式機器人受算力限制，YOLOv5 的識別速度不能保證現場長時間安全穩(wěn)定運行的需求。Ghost 模塊可以用更少的參數生成更多的特征圖[8]。從卷積神經網絡的理論上分析，特征層中充足或者冗余的信息總是可以保證對輸入數據的全面理解，而且特征層之間有很多是相似的，這些相似的特征層就像彼此的幻象（Ghost）?？紤]到特征層中冗余的信息可能是一個成功模型的重要組成部分，在設計輕量化模型時并沒有試圖去除這些冗余，而是用更低成本的計算量來獲取它們，使用Ghost 模塊可以大大減少模型的參數量并且降低模型的運算難度。

Ghost 模塊首先使用一個卷積運算把輸入映射到本征特征圖，然后對本征特征圖使用深度可分離卷積得到Ghost 特征圖，并且將本征特征圖和Ghost 特征圖在通道維度上拼接，得到最后的輸出。Ghost 模塊及基于Ghost 模塊的殘差結構如圖1 所示，其中BN 表示批標準化層，Silu表示Silu 激活函數。

圖1 使用的Ghost 模塊組合的殘差結構

最終建立的Ghost-YOLOv5 網絡結構如圖2 所示，其中Input 表示輸入，GBL 表示如圖1 所示的基于Ghost 的殘差模塊，Upsample 表示圖片上采樣，Concat 表示特征融合。

圖2 Ghost-YOLOv5 網絡結構

2 實驗

2.1 模型訓練環(huán)境

使用Ghost-YOLOv5 算法進行訓練，基礎模型為YOLOv5m，實驗數據來源于施工現場收集的大型承臺、橋面板鋼筋圖，共294 張，訓練環(huán)境為Windows10 操作系統，Python3.8，深度學習框架PyTorch1.12，采用GPU 加速，GPU 型號為英偉達RTX3090，CUDA 版本11.3.1，epochs=1000，Batch-Size=16，過擬合后停止訓練，從數據集中取10%圖片作為測試集。

2.2 模型驗證

為評估Ghost-YOLOv5 模型的性能，觀察了以下五個性能指標的表現，包括：定位損失（box_loss）、置信度損失（obj_loss）、精度（Precision）、召回率（Recall）和平均精度均值（mAP）。他們的定義如式（1）-式（5）所示：

其中定位損失表示預測框與標定框之間的誤差，I 代表預測框與標定框的交面積，U 表示預測框與標定框的并面積，IoU 代表I 和U 的比值，Ac表示預測框與標定框的最小外接矩形面積。置信度損失計算網絡的置信，用來衡量模型預測值和真實值不一樣的程度，其中tn為真實值，pn為模型預測值。精度是模型找對的待綁扎點/模型找出的所有待綁扎點，其中TP 代表被模型預測為正類的正樣本、FP 代表被模型預測為正類的負樣本。召回率表示模型找對的待綁扎點/所有本應該被找對的待綁扎點，其中FN代表被模型預測為負類的正樣本。平均精度均值衡量的是訓練出的模型在所有類別上（待綁扎點、已綁扎點）的好壞。mAP_0.5 代表兩類直接求平均，mAP_0.5：0.95 表示在不同IoU 閾值（從0.5 到0.95，步長為0.05）上的平均mAP。不同算法迭代1000 次后的實驗結果如圖3 和表1所示。

表1 Ghost-YOLOv5 訓練結果

圖3 Ghost-YOLOv5 訓練過程

可以看出，精度（Precision）、召回率（Recall）、平均精度均值（mAP_0.5:0.95）等各項關鍵指標均表明Ghost-YOLOv5 算法可以滿足機器人對鋼筋交點識別的要求。

2.3 部署測試

將訓練好的模型部署在NVIDIA Jetson Nano 上，測試其運行狀態(tài)。實驗結果表明，檢測程序在不同光影條件下的可靠性和檢測速度均滿足綁扎要求，改進后的Ghost-YOLOv5 可運行在小型低算力平臺上。見圖4。

圖4 Ghost-YOLOv5 檢測結果

3 結論

為解決小型移動式鋼筋綁扎機器人鋼筋交點識別問題，本文設計了一種輕量型改進Ghost-YOLOv5 鋼筋交點識別算法，充分的實驗驗證表明，Ghost-YOLOv5 算法可應用于低算力小型移動式鋼筋綁扎機器人的鋼筋交點識別，為建筑行業(yè)的智能化升級提供了參考。