基于機(jī)器視覺識別的預(yù)制構(gòu)件生產(chǎn)模臺定位追蹤技術(shù)研究

趙育聽 （安徽建工北城工業(yè)有限公司，安徽 合肥 231100）

1 概述

在碳達(dá)峰、碳中和雙碳政策的背景下，裝配式建筑迎來了更好的發(fā)展勢頭。PC預(yù)制疊合板作為裝配式建材的重要組成部分，在裝配式建筑發(fā)展歷程中占據(jù)重要的作用。隨著智能制造和工業(yè)互聯(lián)網(wǎng)的強(qiáng)勢發(fā)展，PC預(yù)制構(gòu)件工廠的智能化水平提升也成為了必須解決的問題。其中模臺在預(yù)制混凝土構(gòu)件生產(chǎn)中起著重要的作用，混凝土構(gòu)件的澆筑、振搗、趕平、養(yǎng)護(hù)、運(yùn)輸?shù)热a(chǎn)過程中各道工序都離不開模臺的承載。因此模臺的定位環(huán)節(jié)對于生產(chǎn)線的順暢進(jìn)行和節(jié)拍控制十分重要。目前常用的技術(shù)手段是采用RFID技術(shù)進(jìn)行定位，但該方案存在電子標(biāo)簽經(jīng)過養(yǎng)護(hù)窯后容易失效、RFID閱讀器維護(hù)成本高等缺點(diǎn)，對于后期的管控和業(yè)務(wù)運(yùn)營影響較大。為了解決上述問題，需要對預(yù)制構(gòu)件生產(chǎn)模臺的定位追蹤進(jìn)行技術(shù)研究。

2 系統(tǒng)的總體方案

2.1 整體設(shè)計(jì)階段

2.1.1 研究方法

鑒于運(yùn)用RFID電子標(biāo)簽進(jìn)行模臺識別極易受混凝土構(gòu)件生產(chǎn)線現(xiàn)場的金屬、高濕、粉塵等復(fù)雜環(huán)境因素干擾，導(dǎo)致穩(wěn)定性和準(zhǔn)確性不高，本方法擬采用基于機(jī)器視覺技術(shù)的識別方法進(jìn)行數(shù)據(jù)采集。機(jī)器視覺技術(shù)是一門涉及人工智能、計(jì)算機(jī)科學(xué)、圖像處理、模式識別等諸多領(lǐng)域的交叉學(xué)科。機(jī)器視覺主要用計(jì)算機(jī)技術(shù)和工業(yè)相機(jī)模擬人類的視覺功能，從圖像中提取信息并進(jìn)行處理應(yīng)用。

本方法識別對象主要是針對模臺上的銘牌標(biāo)簽，通過高清夜視攝像頭對銘牌標(biāo)簽拍攝圖像進(jìn)行數(shù)據(jù)采集。相對于RFID技術(shù)，機(jī)器視覺更適合預(yù)制工廠的工作環(huán)境，圖像信號的采集過程不受生產(chǎn)線現(xiàn)場環(huán)境中金屬和水汽等干擾因素的影響，圖像識別模塊中添加模糊復(fù)原模塊能夠大大降低模臺移動(dòng)、振動(dòng)以及現(xiàn)場粉塵等干擾因素的影響，工業(yè)相機(jī)的保護(hù)罩和LED補(bǔ)光燈的設(shè)置也有效剔除了車間燈光的干擾，使之能夠穩(wěn)定獲取較高質(zhì)量的模臺數(shù)字標(biāo)識圖像，同時(shí)工作過程無需人工介入，速度快、效率高、準(zhǔn)確率高、穩(wěn)定性強(qiáng)，可以確保預(yù)制混凝土構(gòu)件生產(chǎn)線的順暢進(jìn)行，大大提高了生產(chǎn)效率。

基于機(jī)器視覺技術(shù)識別方法的PC構(gòu)件生產(chǎn)數(shù)字化展示系統(tǒng)包括硬件和軟件兩部分，見圖1。

圖1 PC構(gòu)件生產(chǎn)數(shù)字化展示系統(tǒng)整體設(shè)計(jì)方案

2.1.2 系統(tǒng)的硬件方案

基于人工智能的PC構(gòu)件生產(chǎn)數(shù)字化展示系統(tǒng)硬件部分較為簡單，主要為在生產(chǎn)線更關(guān)鍵位置部署常規(guī)網(wǎng)絡(luò)監(jiān)控?cái)z像頭即可，硬件設(shè)計(jì)（部署）方案如圖2所示。

圖2 PC構(gòu)件生產(chǎn)數(shù)字化展示系統(tǒng)硬件部署方案

2.1.3 系統(tǒng)的軟件方案

在軟件部分，考慮到銘牌標(biāo)簽?zāi)p，現(xiàn)場光線不穩(wěn)定，攝像頭拍攝角度多和振動(dòng)過程混凝土漿液濺出等情況，本方案利用人工智能技術(shù)進(jìn)行模臺編號識別，在保證識別速度的同時(shí)，進(jìn)一步提高了識別的準(zhǔn)確率。同時(shí)，本系統(tǒng)還通過HTTP、OPCUA等數(shù)據(jù)通信標(biāo)準(zhǔn)，與工廠現(xiàn)有系統(tǒng)打通，將模臺的編號，模臺停留時(shí)間等信息及時(shí)上報(bào)，從而達(dá)到數(shù)字化展示的效果。

PC構(gòu)件生產(chǎn)數(shù)字化展示系統(tǒng)的軟件部分由以下3個(gè)部分組成。

①標(biāo)簽識別子系統(tǒng)：該子系統(tǒng)主要利用人工智能技術(shù)，針對攝像頭獲取的畫面進(jìn)行標(biāo)簽識別，同時(shí)針對攝像頭偏移進(jìn)行檢測，當(dāng)攝像頭偏移初始位置時(shí)，進(jìn)行報(bào)警提醒。

硬件清單 表1

②后臺服務(wù)子系統(tǒng)：該子系統(tǒng)通過RTSP協(xié)議解析攝像頭中的畫面，提供給標(biāo)簽識別子系統(tǒng)進(jìn)行標(biāo)簽識別，同時(shí)，獲取模臺編號以及對模臺停留時(shí)長進(jìn)行統(tǒng)計(jì)分析。在得到以上信息后，將數(shù)據(jù)上報(bào)至用戶ERP系統(tǒng)。

③交互展示子系統(tǒng)：該子系統(tǒng)主要與后臺服務(wù)進(jìn)行信息交互，從而在頁面上實(shí)時(shí)展示模臺的位置、標(biāo)號、停留時(shí)長等信息。以及在攝像頭出現(xiàn)異常進(jìn)行告警提醒。

圖3 PC構(gòu)件生產(chǎn)數(shù)字化展示系統(tǒng)流程圖

2.1.3.1 標(biāo)簽識別子系統(tǒng)

本系統(tǒng)中，圖像預(yù)處理子系統(tǒng)主要包括以下2個(gè)功能。

①智能標(biāo)簽識別功能：該功能為本系統(tǒng)的核心功能，針對后臺服務(wù)子系統(tǒng)解碼出的圖片，采用人工智能算法進(jìn)行標(biāo)簽的定位與識別，相比于常規(guī)的機(jī)器視覺OCR文本識別方式，具體有穩(wěn)定性高、檢測速度快、識別準(zhǔn)確率高等特點(diǎn)。

②攝像頭偏移檢測功能：由于攝像頭未牢固固定，可能會存在攝像頭偏移的情況，從而無法拍攝到產(chǎn)線上的標(biāo)簽，針對此情況，定時(shí)將攝像頭的畫面與初始畫面進(jìn)行對比分析，如果存在偏移，則進(jìn)行提示。

圖4 標(biāo)簽識別結(jié)果樣例圖

2.1.3.2 后臺服務(wù)子系統(tǒng)

本系統(tǒng)中，后臺服務(wù)子系統(tǒng)主要包括以下7個(gè)功能。

①視頻流解碼功能：本方案中，包含19路安防監(jiān)控?cái)z像頭，視頻流格式為RTSP協(xié)議，本功能主要為多路視頻進(jìn)行解碼操作，從而獲取攝像頭的實(shí)時(shí)畫面。

②攝像頭異常檢測功能：由于接入的攝像頭路數(shù)較多，且會存在網(wǎng)絡(luò)不穩(wěn)定的情況，為了保證系統(tǒng)的可靠性，需要對攝像頭進(jìn)行在線實(shí)時(shí)監(jiān)測，當(dāng)攝像頭離線時(shí)，進(jìn)行異常提醒。

③多路視頻綜合調(diào)度功能：由于不同工位的攝像頭拍攝角度不同，在模臺運(yùn)行過程中，標(biāo)簽的可視時(shí)間不一致，因此為了滿足系統(tǒng)要求，節(jié)約硬件資源，需要對不同點(diǎn)位的視頻進(jìn)行靈活解碼，以獲取不同頻率的圖像數(shù)據(jù)，同時(shí)還需要多路視頻識別出的標(biāo)簽進(jìn)行邏輯判斷，記錄模臺運(yùn)動(dòng)過程，從而實(shí)現(xiàn)模臺實(shí)時(shí)定位的功能。

④模臺信息獲取功能：在識別了模臺編號后，還需要與工廠現(xiàn)有的ERP系統(tǒng)進(jìn)行交互，獲取模臺上模具信息。

⑤模臺停留時(shí)長統(tǒng)計(jì)功能：根據(jù)模臺進(jìn)入工位的時(shí)間以及離開工位的時(shí)間，對模臺停留時(shí)長進(jìn)行統(tǒng)計(jì)分析。

⑥標(biāo)簽識別結(jié)果上報(bào)功能：針對模臺的實(shí)時(shí)位置，停留時(shí)長，模臺上模具信息等信息，與工廠現(xiàn)有系統(tǒng)打通，進(jìn)行實(shí)時(shí)上報(bào)，以實(shí)現(xiàn)模臺信息數(shù)字化。

⑦異常信息警告上報(bào)功能：針對攝像頭離線、攝像頭視角偏移這兩種異常情況進(jìn)行上報(bào)，將異常信息提交給交互展示子系統(tǒng)，用于異常信息告警。

2.1.3.3 交互展示子系統(tǒng)

交互展示子系統(tǒng)主要包括以下2個(gè)功能。

①模臺信息實(shí)時(shí)展示功能：根據(jù)后端服務(wù)子系統(tǒng)提供的模臺信息，進(jìn)行可視化實(shí)時(shí)展示，展示內(nèi)容包括：模臺編號、停留時(shí)間、模臺所在工位、當(dāng)前時(shí)間等。

②異常信息提示功能：根據(jù)后端服務(wù)子系統(tǒng)提供的異常信息進(jìn)行告警，告警內(nèi)容包括：攝像頭斷開連接；攝像頭拍攝畫面偏移。

圖5 PC構(gòu)件生產(chǎn)數(shù)字化展示系統(tǒng)交互頁面

3 關(guān)鍵技術(shù)

3.1 人工智能標(biāo)簽識別算法

本方案中，關(guān)于缺陷檢測擬采用One-stage方式的目標(biāo)檢測網(wǎng)絡(luò)來實(shí)現(xiàn)。擬采用的目標(biāo)檢測網(wǎng)絡(luò)模型拓?fù)鋱D，如圖6所示。

圖6 目標(biāo)檢測算法網(wǎng)絡(luò)結(jié)構(gòu)圖

從圖6可以看出，網(wǎng)絡(luò)結(jié)構(gòu)分為In?put、Backbone、Neck、Prediction 四個(gè)部分。

①Input。該部分包括的處理過程：Mosaic數(shù)據(jù)增強(qiáng)；自適應(yīng)錨框計(jì)算；自適應(yīng)圖片縮放。

②Backbone。該部分包含的結(jié)構(gòu)：Focus結(jié)構(gòu)（圖7），假設(shè)原始608*608*3的圖像輸入Focus結(jié)構(gòu)，采用切片操作，先變成304*304*12的特征圖，再經(jīng)過一次32個(gè)卷積核的卷積操作，最終變成304*304*32的特征圖；CSP結(jié)構(gòu)（圖8），在目標(biāo)檢測問題中，使用CSPNet作為Backbone帶來的提升比較大，可以有效增強(qiáng)CNN的學(xué)習(xí)能力，同時(shí)也降低了計(jì)算量。

圖7 Focus結(jié)構(gòu)圖

圖8 CSP網(wǎng)絡(luò)結(jié)構(gòu)圖

圖9 Neck網(wǎng)絡(luò)示意圖

③Neck結(jié)構(gòu)。本算法中的Neck結(jié)構(gòu)中，采用FPN+PAN的結(jié)構(gòu)，加強(qiáng)網(wǎng)絡(luò)特征融合的能力。

④Prediction。在最后的輸出端，處理步驟為：

在目標(biāo)檢測等領(lǐng)域，需要對預(yù)測邊框（pre BBox）與實(shí)際標(biāo)注邊框（ground truth BBox）進(jìn)行對比，計(jì)算損失。在該算法中，采用GIOU_Loss做Bounding box的損失函數(shù)。在目標(biāo)檢測的后處理過程中，針對很多目標(biāo)框的篩選，通常需要nms操作。因?yàn)镃IOU_Loss中包含影響因子v，涉及groudtruth的信息，而測試推理時(shí)，是沒有g(shù)roundtruth的。在本算法中采用加權(quán)nms的方式。

圖10 IoU與GIoU損失計(jì)算示例

4 結(jié)語

本研究基于機(jī)器視覺識別的預(yù)制構(gòu)件生產(chǎn)模臺定位追蹤技術(shù)研究，通過機(jī)器視覺技術(shù)來對PC構(gòu)件生產(chǎn)線模臺定位追蹤技術(shù)進(jìn)行研究?？梢越档湍Ｅ_移動(dòng)、振動(dòng)和現(xiàn)場粉塵等干擾因素的影響，減少人工操作，提高預(yù)制構(gòu)件生產(chǎn)效率、降低生產(chǎn)成本，提升企業(yè)競爭力和增強(qiáng)企業(yè)形象。