基于全卷積的缺陷智能檢測(cè)技術(shù)在沖壓線上的應(yīng)用研究

文／趙兵，王傳英，王冬·濟(jì)南二機(jī)床集團(tuán)有限公司

汽車沖壓生產(chǎn)正在向高速、高效、智能化方向發(fā)展，同時(shí)大型高速全自動(dòng)沖壓線實(shí)現(xiàn)的最大難題在于成形零件的質(zhì)量缺陷檢測(cè)，因成形零件規(guī)格大、曲面復(fù)雜等因素，該問(wèn)題是大型高速?zèng)_壓生產(chǎn)線實(shí)現(xiàn)全自動(dòng)生產(chǎn)的最后一項(xiàng)技術(shù)難題。通過(guò)開(kāi)展基于全卷積網(wǎng)絡(luò)的單階段多尺度缺陷檢測(cè)算法研究，實(shí)現(xiàn)了成形零件外觀質(zhì)量缺陷檢測(cè)的自學(xué)習(xí)智能算法，基于已有質(zhì)量缺陷的特征，通過(guò)自學(xué)習(xí)的方式實(shí)現(xiàn)沖壓線成形零件的質(zhì)量檢測(cè)，對(duì)于降低沖壓生產(chǎn)線人工檢測(cè)的勞動(dòng)強(qiáng)度、提高檢測(cè)效率，提高沖壓生產(chǎn)線的自動(dòng)化、智能化水平具有十分重要的意義。

汽車產(chǎn)業(yè)作為國(guó)民經(jīng)濟(jì)的重要支柱之一，一直以高度自動(dòng)化、智能化引領(lǐng)制造業(yè)的發(fā)展，為貫徹“中國(guó)制造2025”及“ 雙碳”戰(zhàn)略，汽車產(chǎn)業(yè)逐漸向“低碳”方向發(fā)展，這也引起了大多數(shù)車企在不降低安全性能的前提下，走向汽車輕量化的方向?；诟邚?qiáng)度鋼、鋁合金、激光拼焊板等材料可有效降低汽車車身重量，該類型材料的應(yīng)用范圍持續(xù)擴(kuò)大，由于該類型材料在沖壓成形過(guò)程中容易產(chǎn)生破裂、起皺、回彈等缺陷，故對(duì)汽車覆蓋件沖壓生產(chǎn)線線尾質(zhì)檢工作人員提出了更高的要求。

現(xiàn)狀概述

目前而言，大型汽車覆蓋件的整線生產(chǎn)已實(shí)現(xiàn)全自動(dòng)化，而線尾成形零件的質(zhì)量缺陷檢測(cè)依然依賴人工質(zhì)檢方式，由于人工質(zhì)檢受光照強(qiáng)度、個(gè)人經(jīng)驗(yàn)等多種因素的影響，難以實(shí)現(xiàn)真實(shí)客觀的質(zhì)量評(píng)價(jià)，且長(zhǎng)時(shí)間高強(qiáng)度的質(zhì)檢工作對(duì)員工而言容易產(chǎn)生疲勞，不利于成形零件的質(zhì)量管控。目前國(guó)外對(duì)成形零件的缺陷質(zhì)檢的研發(fā)工作走在世界前列，相關(guān)概念性產(chǎn)品已在德國(guó)寶馬工廠進(jìn)行了技術(shù)驗(yàn)證，而我國(guó)在此方面還處于技術(shù)探索階段，閆丹丹等人提出一種基于R-FCN 深層卷積神經(jīng)網(wǎng)絡(luò)的缺陷檢測(cè)方法，用于小型金屬?zèng)_壓件的表面質(zhì)量缺陷檢測(cè)；南昌大學(xué)于江豪提出基于殘差神經(jīng)網(wǎng)絡(luò)的檢測(cè)方法，設(shè)計(jì)開(kāi)發(fā)一套檢測(cè)異形件的工具，可用于實(shí)現(xiàn)小型金屬?zèng)_壓件表面的質(zhì)量缺陷檢測(cè)；山東科技大學(xué)孫永鵬等人開(kāi)發(fā)基于YOLOv4 算法對(duì)沖壓線缺陷檢測(cè)進(jìn)行研究，可以有效提高檢測(cè)速率與檢測(cè)精度；北京理工大學(xué)張騰基于灰度值變換等技術(shù)，開(kāi)發(fā)出汽車覆蓋件質(zhì)量缺陷檢測(cè)系統(tǒng)，實(shí)現(xiàn)了針對(duì)汽車沖壓件容易發(fā)生的四種缺陷進(jìn)行圖像處理及缺陷識(shí)別。

而前述的缺陷檢測(cè)技術(shù)應(yīng)用于小型沖壓件，如電池板等小規(guī)格、平板類成形件，這與汽車覆蓋件相比區(qū)別在于：⑴汽車覆蓋件一般為包含曲率變化復(fù)雜的曲面，其反光特性復(fù)雜，導(dǎo)致缺陷不明顯，難以精確辨識(shí)；⑵汽車車身覆蓋件尺寸大，一個(gè)工業(yè)相機(jī)一次只能采集其局部圖像，高生產(chǎn)節(jié)拍的沖壓線對(duì)圖像處理的效率要求較高，難以實(shí)現(xiàn)在線缺陷檢測(cè)。

得益于“中國(guó)制造2025”的技術(shù)推動(dòng)，自動(dòng)化、智能化、信息化技術(shù)逐漸被應(yīng)用到促進(jìn)產(chǎn)業(yè)變革，其中視覺(jué)技術(shù)作為人工智能領(lǐng)域重要組成部分，已越來(lái)越多地被用于解決工業(yè)檢測(cè)領(lǐng)域內(nèi)的實(shí)際問(wèn)題。基于視覺(jué)技術(shù)的智能檢測(cè)可有效避免人工檢測(cè)的弊端，實(shí)現(xiàn)數(shù)字化、智能化、高精度生產(chǎn)，如廣汽乘用車有限公司的李馳等人基于沖壓質(zhì)量模板匹配視覺(jué)檢測(cè)技術(shù)，實(shí)現(xiàn)沖壓件質(zhì)量缺陷的在線檢測(cè)應(yīng)用，但前述相關(guān)技術(shù)僅應(yīng)用于機(jī)器人沖壓生產(chǎn)線上，對(duì)于大型高速?zèng)_壓生產(chǎn)線的技術(shù)應(yīng)用研究還較為匱乏。

基于全卷積的缺陷智能檢測(cè)技術(shù)的應(yīng)用研究

汽車車身沖壓件表面缺陷檢測(cè)硬件平臺(tái)搭建

⑴多相機(jī)拍攝系統(tǒng)。

針對(duì)汽車覆蓋件成形零件的尺寸、缺陷的特點(diǎn)，考慮到?jīng)_壓線線尾布局的限制，設(shè)計(jì)適用于沖壓線線尾質(zhì)檢的多相機(jī)拍攝系統(tǒng)，通過(guò)多視野同步分析完成大面積工件表面全覆蓋式檢測(cè)。如圖1 所示，該系統(tǒng)主要由24 個(gè)工業(yè)相機(jī)及鏡頭組構(gòu)成，通過(guò)對(duì)汽車車身成形零件相關(guān)參數(shù)范圍的評(píng)估分析，得到相應(yīng)相機(jī)、鏡頭參數(shù)。

圖1 多相機(jī)拍攝系統(tǒng)結(jié)構(gòu)圖

該支架系統(tǒng)的設(shè)計(jì)要求為：

1)不能對(duì)沖壓產(chǎn)線正常生產(chǎn)造成阻擋與影響。

2)不能與沖壓線尾質(zhì)檢人員站位產(chǎn)生沖突。

3)不受壓力機(jī)振動(dòng)影響。

4)間距、高度、相機(jī)掛點(diǎn)需可調(diào)節(jié)。

⑵光電傳感器同步觸發(fā)拍攝系統(tǒng)。

為實(shí)現(xiàn)自動(dòng)檢測(cè)需求，需在工件經(jīng)過(guò)拍攝區(qū)域時(shí)完成自動(dòng)圖像采集。為實(shí)現(xiàn)多相機(jī)同時(shí)拍攝的目的，設(shè)計(jì)了基于光電傳感器的同步觸發(fā)拍攝系統(tǒng)，該系統(tǒng)主要包含兩個(gè)模塊：光電傳感器模塊和輸入輸出模塊。

如圖2 所示，采用了NPN 系列光電傳感器，通過(guò)調(diào)整傳感器靈敏度值，使傳感器可正確區(qū)分傳送帶材質(zhì)和工件金屬材質(zhì)，達(dá)到感應(yīng)到經(jīng)過(guò)工件并向系統(tǒng)發(fā)出抓拍信號(hào)的目的。

圖2 NPN 系列光電傳感器

具體工作流程為：工件進(jìn)入傳感器檢測(cè)范圍→傳感器感應(yīng)到工件，紅燈亮起→工件離開(kāi)傳感器檢測(cè)范圍，進(jìn)入拍攝區(qū)域→傳感器紅燈熄滅，向輸入輸出模塊發(fā)射電信號(hào)，觸發(fā)24 個(gè)工業(yè)相機(jī)同時(shí)拍攝。

基于深度學(xué)習(xí)的汽車外覆蓋件表面缺陷檢測(cè)技術(shù)研究

⑴曲線檢測(cè)數(shù)據(jù)庫(kù)搭建。

基于深度學(xué)習(xí)的缺陷檢測(cè)算法，為了調(diào)試采集了出現(xiàn)在汽車外覆蓋件表面上的缺陷信息，初步構(gòu)建了基于外覆蓋件的缺陷圖像數(shù)據(jù)庫(kù)。該實(shí)驗(yàn)數(shù)據(jù)庫(kù)包含劃傷、麻點(diǎn)、壓傷三類常見(jiàn)缺陷，總數(shù)據(jù)量為1200份并按8:2 劃分為訓(xùn)練集與驗(yàn)證集。圖3 為實(shí)際采集的缺陷數(shù)據(jù)庫(kù)實(shí)例。

圖3 缺陷數(shù)據(jù)庫(kù)實(shí)例

⑵基于高分辨率特征的快速區(qū)域生成缺陷檢測(cè)網(wǎng)絡(luò)。

基于高分辨率特征表示的快速區(qū)域生成缺陷檢測(cè)網(wǎng)絡(luò)，包括高分辨率缺陷特征提取子網(wǎng)絡(luò)、缺陷特征金字塔子網(wǎng)絡(luò)以及缺陷定位與識(shí)別子網(wǎng)絡(luò)等三部分。圖4 為基于高分辨率特征表示的快速區(qū)域生成缺陷檢測(cè)網(wǎng)絡(luò)的整體流程。

圖4 基于高分辨率特征的快速區(qū)域生成缺陷檢測(cè)網(wǎng)絡(luò)

高分辨率缺陷特征提取子網(wǎng)絡(luò)包括缺陷尺度平衡模塊以及多尺度缺陷特征生成模塊。缺陷特征金字塔基于提取的高分辨率特征表示，生成用于后續(xù)缺陷定位和識(shí)別任務(wù)的多尺度特征金字塔表示；缺陷定位與識(shí)別子網(wǎng)絡(luò)包括缺陷區(qū)域提取模塊、缺陷特征區(qū)域?qū)R模塊、缺陷檢測(cè)頭模塊、檢測(cè)后處理模塊。

⑶高分辨率缺陷特征提取子網(wǎng)絡(luò)。

汽車外覆蓋件高分辨率缺陷特征提取是后續(xù)缺陷定位任務(wù)和缺陷識(shí)別任務(wù)的基石?？紤]到數(shù)據(jù)采集過(guò)程中的不確定性，工業(yè)相機(jī)所采集的數(shù)據(jù)往往包含大量的噪聲以及陰影等；此外，缺陷具有占比小、分布廣等特點(diǎn)，進(jìn)一步加劇了特征提取的難度。為了從實(shí)時(shí)采集的圖像中精確提取缺陷的魯棒特征，提出了基于高分辨率表示的缺陷特征提取子網(wǎng)絡(luò)。

基于高分辨率表示的缺陷特征提取子網(wǎng)絡(luò)，利用本地CPU 批量讀取采集圖片作為子網(wǎng)絡(luò)的輸入，通過(guò)缺陷尺度平衡模塊以及多尺度缺陷特征生成模塊輸出4 組不同分辨率、不同深度的缺陷特征圖并作為后續(xù)特征融合的輸入。缺陷尺度平衡模塊通過(guò)一組特定的卷積層、歸一化層以及激活函數(shù)層，對(duì)輸入缺陷圖像進(jìn)行尺度降維的同時(shí)提取淺層特征。

多尺度缺陷特征生成模塊基于4 個(gè)階段的特征提取，通過(guò)建立低分辨率特征圖以及對(duì)低分辨率缺陷特征進(jìn)行不斷的上采樣以獲得更高精度的特征圖。此外，該模塊定義了高低分辨率特征圖之間的信息交互，允許不同分辨率特征圖之間進(jìn)行特征融合互補(bǔ)，緩解了現(xiàn)有特征提取子網(wǎng)絡(luò)存在的多層特征圖語(yǔ)義信息和細(xì)節(jié)信息不一致的問(wèn)題。

⑷缺陷檢測(cè)網(wǎng)絡(luò)訓(xùn)練。

基于高分辨率特征表示的快速區(qū)域生成的缺陷檢測(cè)，需要大量的標(biāo)注缺陷數(shù)據(jù)集。標(biāo)注主要包括圖像中缺陷位置信息與類別信息：位置信息用一個(gè)矩形框表示，得到矩形框的中心點(diǎn)坐標(biāo)和長(zhǎng)寬；類別信息則為缺陷類別的名字，如壓傷、凸點(diǎn)、劃傷等。依托于Labeling 的批量標(biāo)注功能，對(duì)收集到的數(shù)據(jù)集進(jìn)行標(biāo)注，圖5 展示了部分標(biāo)注樣例。

圖5 標(biāo)注實(shí)例

基于全卷積網(wǎng)絡(luò)的單階段多尺度缺陷檢測(cè)算法

⑴基于殘差網(wǎng)絡(luò)的缺陷特征提取模塊。

算法使用殘差網(wǎng)絡(luò)進(jìn)行缺陷特征提取，殘差網(wǎng)絡(luò)主要由卷積層、最大池化層和殘差連接組成。殘差模塊結(jié)構(gòu)如圖6 所示，由于該結(jié)構(gòu)的存在，網(wǎng)絡(luò)通過(guò)學(xué)習(xí)殘差部分有效避免了梯度消失或爆炸的現(xiàn)象，提高了網(wǎng)絡(luò)學(xué)習(xí)缺陷特征的穩(wěn)定性。

圖6 殘差結(jié)構(gòu)示意圖

基于不同深度殘差網(wǎng)絡(luò)參數(shù)特性，網(wǎng)絡(luò)學(xué)習(xí)到的淺層特征中包含了缺陷定位及細(xì)節(jié)信息，而高層特征中包含了缺陷類別信息，不同層次的缺陷特征將共同用于后續(xù)缺陷檢測(cè)。

⑵基于多尺度特征的缺陷分類與定位模塊。

由于不同層級(jí)特征包含不同尺度缺陷信息，為檢測(cè)出各語(yǔ)義層次的不同缺陷，設(shè)計(jì)了五個(gè)檢測(cè)分支，所有檢測(cè)分支共享檢測(cè)頭參數(shù)。檢測(cè)頭包含分類、中心點(diǎn)度量和邊框回歸三個(gè)分支，分別用于缺陷分類，去掉遠(yuǎn)離缺陷中心點(diǎn)的低質(zhì)量定位框和定位邊框坐標(biāo)回歸，其流程如圖7 所示。

圖7 缺陷分類與定位模塊

⑶基于非極大值抑制的后處理模塊。

為去掉冗余缺陷定位框，提出了基于非極大值抑制(NMS)的后處理模塊，分類分支將賦予每個(gè)定位框一個(gè)類別置信度分?jǐn)?shù)，即每個(gè)定位框?qū)儆谀骋活惾毕莸母怕?，非極大值抑制算法將根據(jù)這些概率值進(jìn)行，主要流程為：

1)對(duì)于每一類缺陷，首先去掉類別置信度分?jǐn)?shù)小于分類閾值的定位框；

2)將所有定位框進(jìn)行排序，選擇該類得分最高的定位框；

3)去掉與最高分定位框的交并比(IOU)大于要求閾值的定位框；

4)從剩下的定位框中繼續(xù)選擇一個(gè)最高分的定位框，去掉與其交并比大于交并比閾值的定位框；

5)對(duì)其他類別重復(fù)以上過(guò)程，找到所有定位框；

6)根據(jù)剩下的定位框的類別置信度分?jǐn)?shù)和類別顏色在原圖畫出預(yù)測(cè)結(jié)果，如圖8 所示。

圖8 非極大值抑制算法

汽車覆蓋件表面缺陷檢測(cè)軟件設(shè)計(jì)

我們的軟件系統(tǒng)主要分為三個(gè)子模塊：圖像采集及參數(shù)調(diào)試模塊、缺陷檢測(cè)模塊和數(shù)據(jù)更新及模型訓(xùn)練模塊。軟件基于深度學(xué)習(xí)技術(shù)開(kāi)發(fā)了汽車覆蓋件表面缺陷檢測(cè)系統(tǒng)，該系統(tǒng)在PyCharm 平臺(tái)下，通過(guò)PyQt5 完成了用戶交互界面開(kāi)發(fā)，采用了Python 編程語(yǔ)言。并基于Tensorflow、Keras、Pytorch 框架開(kāi)發(fā)了Faster-RCNN、YOLO、FCOS 等缺陷檢測(cè)算法，實(shí)現(xiàn)了快速、高精度的缺陷檢測(cè)與定位任務(wù)。

⑴圖像采集及參數(shù)調(diào)試模塊。

該模塊在采集初期用于調(diào)整各工業(yè)相機(jī)采集圖片的曝光時(shí)間、銳化程度、圖片對(duì)比度及色度，以適應(yīng)不同光照及生產(chǎn)環(huán)境。該模塊通過(guò)調(diào)取大恒水星工業(yè)相機(jī)(MER-1070-10GM)Python 開(kāi)發(fā)接口，定制了采集控制、圖像處理、相機(jī)控制等各項(xiàng)參數(shù)，實(shí)現(xiàn)了默認(rèn)、手動(dòng)調(diào)整兩種模式，如圖9 所示。

圖9 圖像采集及參數(shù)調(diào)整模塊

⑵缺陷檢測(cè)模塊。

該模塊通過(guò)讀取每一個(gè)相機(jī)拍攝的圖片進(jìn)行實(shí)時(shí)缺陷檢測(cè)與檢測(cè)報(bào)告生成。選擇合適檢測(cè)算法之后，可以根據(jù)產(chǎn)線具體情況設(shè)置手動(dòng)和自動(dòng)檢測(cè)兩種模式，其界面如圖10 所示。

圖10 相機(jī)采集及缺陷檢測(cè)模塊

⑶數(shù)據(jù)更新及模型訓(xùn)練模塊。

該模塊用于檢測(cè)模型迭代優(yōu)化，完成了數(shù)據(jù)更新標(biāo)注與模型在線訓(xùn)練兩大功能。針對(duì)模型訓(xùn)練實(shí)現(xiàn)了不同算法(Faster-RCNN、YOLO等)、不同參數(shù)配置(優(yōu)化器、學(xué)習(xí)率、訓(xùn)練迭代次數(shù)等)下的動(dòng)態(tài)訓(xùn)練，并生成訓(xùn)練日志以及可視化訓(xùn)練損失曲線與驗(yàn)證精度曲線。針對(duì)數(shù)據(jù)更新標(biāo)注，實(shí)現(xiàn)了讀取標(biāo)注單張圖片以及批量標(biāo)注的功能，如圖11 所示。

圖11 數(shù)據(jù)更新及模型訓(xùn)練模塊

項(xiàng)目應(yīng)用驗(yàn)證

該技術(shù)以國(guó)內(nèi)某主流汽車制造企業(yè)的PSL4-6900-5000-2500 大型高速自動(dòng)沖壓線為驗(yàn)證對(duì)象，在該沖壓線線尾布置成形工件質(zhì)量缺陷智能檢測(cè)系統(tǒng)，經(jīng)過(guò)近一年的生產(chǎn)驗(yàn)證，實(shí)現(xiàn)了所有成形零件的全部自動(dòng)智能檢測(cè)，有效提高了質(zhì)檢效率、缺陷檢出率，解決了人工抽檢率低，質(zhì)檢效果存在較大的人為主觀因素等問(wèn)題，取得了良好的示范應(yīng)用效果，其實(shí)際應(yīng)用場(chǎng)景如圖12 所示。

圖12 沖壓線覆蓋件智能質(zhì)檢系統(tǒng)應(yīng)用場(chǎng)景

該缺陷智能檢測(cè)系統(tǒng)在實(shí)際生產(chǎn)驗(yàn)證及長(zhǎng)時(shí)間運(yùn)行時(shí)，依然存在一些待優(yōu)化的部分，如核心算法獨(dú)立自主，可以根據(jù)需求優(yōu)化升級(jí)。但目前而言，針對(duì)整線高速生產(chǎn)一模四件時(shí)，其檢測(cè)的穩(wěn)定性有待提高；軟件封裝方面需要與整線控制系統(tǒng)進(jìn)行整合，以提高其操作便捷性等。