基于深度學習的雙目視覺汽車壓盤裝配生產(chǎn)線研究

高 丹，李維維，張洪國

（唐山工業(yè)職業(yè)技術學院，河北 唐山 063299）

0 引言

近年來，汽車工業(yè)不斷發(fā)展，“中國智造”“工業(yè)4.0”的提出使我國的汽車工業(yè)進入一個自動化生產(chǎn)時代，自動化生產(chǎn)線生產(chǎn)速度的提高，對汽車組裝件的質量也提出更高的要求，缺陷檢測則是組裝工件質量檢測的首要環(huán)節(jié)，同時影響著汽車的質量，因此對汽車變速箱組裝件進行快速、準確的檢測對于現(xiàn)代汽車工業(yè)具有十分重要的意義。汽車變速箱壓盤組裝件是由壓盤、膜片彈簧、離合器外殼、支承環(huán)構成，4種工件的形狀不同、材料各異，每種工件缺陷的復雜性和多樣性給缺陷特征提取和識別帶了很大困難。傳統(tǒng)的人工目視抽檢是依據(jù)人工生產(chǎn)經(jīng)驗來估算裝配工件的質量，比如壓盤鑄造件表面是否有凹陷（縮陷）、氣泡、裂痕（裂紋）、砂眼，膜片彈簧圓孔和間隙是否合格，離合器外殼圓孔的大小是否合格，支承環(huán)是否發(fā)生了形變，這已經(jīng)不能滿足現(xiàn)代汽車工業(yè)生產(chǎn)的需要，這就造成了可能會發(fā)生檢測缺陷誤判，難以滿足高速的檢測要求。本文針對實際生產(chǎn)汽車離合器壓盤裝配生產(chǎn)線遇到的實際問題深入的對各個組裝件的缺陷進行分析與研究，通過雙目視覺攝像機采集的圖像建立立體檢測模型，實現(xiàn)非接觸、高可靠地獲取工件缺陷的數(shù)據(jù)，降低了生產(chǎn)節(jié)拍，符合汽車工件缺陷檢測國際標準，實現(xiàn)快速有效的檢測。

1 基于深度學習的變速箱壓盤組件缺陷檢測算法

基于深度學習算法的變速箱壓盤組件缺陷檢測工作過程的關鍵技術在于提取工件缺陷特征和采用了深度學習的分類器。

1.1 工件缺陷ReliefF特征算法

由圖1所示，汽車離合器由離合器壓盤、離合器外殼、離合器膜片彈簧、支承環(huán)構成。離合器壓盤是一個金屬圓盤，由離合器外殼、支撐環(huán)、離合器膜片彈簧組成，可以隨著汽車發(fā)動機旋轉，并把動力傳遞給變速箱。為了保證汽車壓盤的性能，生產(chǎn)線對汽車離合器壓盤各個組裝工件的材料成分、組織結構、拉伸強度等均有著較為嚴格的要求，需要對各種工件嚴格檢測，辯別缺陷工件，避免誤檢、漏檢，保證組裝后的汽車離合器質量。

圖1 離合器組裝工件

根據(jù)組件特點，本文采用穩(wěn)定性、魯棒性以及可擴展性都表現(xiàn)較好的ReliefF算法用于提取圖像的ReliefF特征來實現(xiàn)圖像匹配，重新組合了特征關聯(lián)性，并對圖像的缺陷分類進行了評估。

本文通過ReliefF算法獲取最優(yōu)圖像缺陷特征。假設特征為N維，每個維度的特征進行組合，計算呈現(xiàn)指數(shù)型，導致運算時間較長。因此，為了縮短運算時間，提高算法的運算效率，本算法在算法特征選取方面挑選所有特征中的最優(yōu)表現(xiàn)者，選取具有關系密切的其他特征作為其關聯(lián)特征。

具體步驟概括如下：第1步，在多個圖像樣本中，用ReliefF算法挑選樣本特征，按照特征的重要性賦予權重，并對權重的值迭代循環(huán)更新，重新排序找出最大權重的特征及其相關的特征，再進行聯(lián)合評估，計算如公式（1）

需通過差異系統(tǒng)判斷缺陷之間的關聯(lián)性，分別計算A(i，j)向量和B(i，j)向量的余弦，再計算d(A，B，i，j)作為差異系數(shù)，如公式(2)

其中，i，j代表特征維度序號，A和B表示試樣號。A(i，j)和B(i，j)是試樣A和B分別在特征維度i和j上的聯(lián)合特征對對應的二維矢量，其構成需要更新的特征對。

若數(shù)據(jù)是非連續(xù)離散型，函數(shù)通常定義為：

數(shù)據(jù)為連續(xù)型時：

上式中max(p)，min(p)分別是p的最大值和最小值。

式（6）中，diff(A,R1,R2)表示在特征A上樣本R1與樣本R2的之間的差，特征A可以為連續(xù)或離散兩種情況，若A為連續(xù)則如式（7）所示，否則如式（8）所示：

其中，Rj類標簽由class(Rj)，類C中最相近關系樣本由M(C)，C類目標樣本數(shù)比例由P(C)表示。

1.2 基于改進卷積神經(jīng)網(wǎng)絡(GNN)的壓盤立體匹配算法

由于現(xiàn)場采集的圖像數(shù)據(jù)較多，根據(jù)企業(yè)精益化生產(chǎn)對離合器的質量要求本文選擇縮小型CNN實現(xiàn)工件缺陷識別。卷積神經(jīng)網(wǎng)絡(GNN)是最類似于人的視覺神經(jīng)的算法，采用模擬了人的視覺神經(jīng)的方式，單個神經(jīng)元只能對某種特定的圖像特征產(chǎn)生響應，比如橫向或者縱向的邊緣，神經(jīng)元構成一層，在層數(shù)足夠多后，就可以獲取足夠豐富的特征。傳統(tǒng)卷積神經(jīng)網(wǎng)絡由包含數(shù)據(jù)輸入層、卷積計算層、激活層、池化層、全連接層構成。

卷積神經(jīng)網(wǎng)絡結構決定該算法耗時較長，為了解決該問題，本文提出了改進型卷積神經(jīng)網(wǎng)絡(GNN)壓盤缺陷識別算法，在原始的卷積神經(jīng)網(wǎng)絡(GNN)加以改進，將卷積層進行批歸一化，加快模型的收斂速度，從而使得訓練深層網(wǎng)絡模型更加容易和穩(wěn)定，另外在連接層采用了逐層縮小的五層連接層，尺寸分別為640、512、384、256、128,每個采集的立體模型可以降低匹配時間達到20%左右。

圖2 改進卷積神經(jīng)網(wǎng)絡算法流程圖

1.3 圖像分類器的構建步驟

本文采用ReliefF對采集的工件圖像進行特征處理，選擇裝配工件表面圖像的最有效的缺陷特征形成特征向量，將ReliefF算法選取到的特征作為神經(jīng)網(wǎng)絡輸入，通過專家知識對圖像類別進行標記，作為輸出，將采集工件的訓練樣本組成樣本集，同時建立分類器。綜合上述圖像分類步驟可知，深度學習算法的圖像分類原理如圖3所示。

圖3 深度學習算法的圖像分類圖

2 實驗結果分析

本研究中的組裝工件表面缺陷庫來自唐山曹妃甸合心機器人系統(tǒng)集成有限公司。本研究對生產(chǎn)線組件中的4種分裝零件壓盤鑄造件表面是否有凹陷（縮陷）、氣泡、裂痕（裂紋）、砂眼，膜片彈簧圓孔和間隙缺陷，離合器外殼圓孔的大小缺陷，支承環(huán)的形變?nèi)毕蓊愋瓦M行了整理和歸檔，并通過旋轉、平移、縮放和剪切的方式對樣本庫進行了擴充，將每種缺陷圖像選擇5幅作為測試樣本，缺陷樣本庫共1 000張樣本圖像作為訓練樣本。

圖4 不同算法識別率比較分析

CNN為90%左右，改進型CNN的圖像分類達到98%左右，正確率最高，5次實驗顯示進行分類后的結果與目標結果完全吻合。可見縮小型CNN網(wǎng)絡訓練效果良好主要由于縮小型CNN在逼近能力和學習速度上有更強的優(yōu)勢，網(wǎng)絡最后收斂于樣本量積聚較多的優(yōu)化回歸面，預測效果也較好。實驗結果驗證了縮小型CNN的優(yōu)越性。

深度學習算法與其它方法的圖像分類時間（秒,s）對比結果如表1所示。

表1 CNN算法與其它方法的圖像分類時間對比

從上表可以得出改進型CNN算法圖像分類時間明顯少于CNN算法，體現(xiàn)了其學習速度快的特點，提高了工件缺陷檢測的效率。

3 汽車壓盤組件缺陷檢測系統(tǒng)設計

3.1 汽車壓盤組件缺陷檢測系統(tǒng)構成

系統(tǒng)主要由圖像采集模塊、圖像處理模塊、主控模塊、工業(yè)機器人等部分組成。以壓盤組裝工件為檢測對象，將位置各異、種類不同的工件用托盤擺放在傳送帶上，當工件傳送至相機采集位置，氣缸升起，工業(yè)相機開始采集圖像；系統(tǒng)通過采集的圖像分辯工件的種類，計算機調用學習過的工件模型，進行對比，分辯出工件的種類，同時計算機要將采集到的工件與沒有缺陷的工件對比；通過相機對表面圖像進行連續(xù)掃描采集、分析、處理，將數(shù)據(jù)實時傳輸給系統(tǒng)的主控模塊中的PLC；主控制模塊將信息傳給工業(yè)機器人，工業(yè)機器人執(zhí)行瑕疵件分揀和正常工件裝配操作。

3.2 缺陷檢測系統(tǒng)硬件設計

系統(tǒng)選取輸出1280x720分辨率的深度畫面，普通的視頻傳輸畫面可以達到90fps的Intel RealSense D435雙目攝像機，具有硬件觸發(fā)采集功能。RealSense D435提供全局快門感應器和更大的鏡頭，USB3.0接口，可通過USB供電，支持I/O輸入或輸出, 捕捉最遠距離可以達到10m，深度視野為69.4°×42.5°×77°。光源采用FLVFS74W四面可調光源及光源架。圖像處理計算機為第九代英特爾 酷睿TMi3-9100處理器，1.0TB機械硬盤，8GB內(nèi)存，GTX1050—6G顯卡，工業(yè)機器人選取載重量為7KG的ABB2400等設備組成。

3.3 缺陷檢測系統(tǒng)觸摸屏軟件設計

系統(tǒng)的軟件設計應用人機界面友好的觸摸屏程序判斷出缺陷件時，出現(xiàn)缺陷產(chǎn)品報警界面，觸摸屏的下方會彈出當前檢測工件的類型、缺陷名稱并且有紅色小燈閃爍，檢測人員根據(jù)提示點擊信息查看工件的生產(chǎn)信息統(tǒng)計界面，如果工件正常，進入下一步工序，進行裝配。

圖5 觸摸屏界面

3.4 系統(tǒng)通訊網(wǎng)絡

汽車離合器壓盤組件缺陷檢測系統(tǒng)通訊網(wǎng)絡拓撲圖如圖6所示，工業(yè)相機通過USB3.0通信接口與圖像處理計算機連接，工業(yè)相機通過USB線將采集的工件圖像數(shù)據(jù)傳送給圖像處理計算機。圖像處理計算機進行圖像信息處理，獲取工件是否存在產(chǎn)品缺陷，將處理結果送PLC控制器控制工業(yè)機器人完成工件的分撿。PLC獲得工件檢測信息，依據(jù)是否為缺陷件，觸發(fā)工業(yè)機器人將缺陷件抓取放入缺陷件傳送帶，將符合產(chǎn)品裝配要求的工件抓取放入裝配站工件傳送帶。

觸摸屏、上位機、PLC控制器和工業(yè)機器人之間采用Profinet以態(tài)網(wǎng)連接。PLC控制器負責實現(xiàn)管理整個系統(tǒng)的聯(lián)動運行。觸摸屏負責缺陷檢測系統(tǒng)運行控制、運行參數(shù)設定，以及系統(tǒng)運行、報警和提示信息顯示等。工業(yè)機器人接收PLC的控制信號，完成工件的分撿工作。

4 結論

本文針對自動化生產(chǎn)線工業(yè)機器人視覺檢測工件缺陷漏檢、誤檢、耗時長、現(xiàn)場適應性和智能化差問題，采用ReliefF特征選擇算法并考慮了特征之間的關聯(lián)性，采用雙目視覺攝像機提取多個類型工件的立體圖像，并對不同維度特征之間的相關性和冗余性進行排序，從而得到最優(yōu)特征子集。研究引入深度學習算法的改進型CNN卷積神經(jīng)網(wǎng)絡來建立圖像分類器，對1 000個缺陷工件圖像進行訓練，檢測100個樣本，并與CNN卷積神經(jīng)網(wǎng)絡算法對比，結果表明壓盤組件缺陷檢測系統(tǒng)可以在更短的時間內(nèi)準確性達到98.1%，同時識別的平均時間大幅度降低，具有較高的實際應用價值和推廣作用。