基于卷積神經(jīng)網(wǎng)絡(luò)的自動(dòng)壓鉚對(duì)位系統(tǒng)

連志強(qiáng) ，柯躍前 ，劉偉斌

（1.福州大學(xué) 機(jī)械工程及自動(dòng)化學(xué)院，福州 350108；2.泉州師范學(xué)院物理與信息工程學(xué)院，泉州 362000；3.泉州華創(chuàng)智能科技有限公司，泉州 362000）

0 引言

壓鉚是指采用沖壓設(shè)備將螺紋件（螺釘或螺母）牢固地鉚接在圓孔上的一種工藝（如圖1所示）。鈑金件在加工中常采用壓鉚工藝在其上預(yù)埋螺紋件，便于機(jī)械緊固連接。由于螺紋件的規(guī)格不一，目前多采用人工定位鉚接點(diǎn)（圓心），并根據(jù)孔徑大小的不同手動(dòng)切換壓鉚螺紋件，這樣不僅效率低且成本高。隨著智能制造技術(shù)的推廣，急需研制出一套能自動(dòng)識(shí)別不同類型圓孔，并引導(dǎo)壓鉚設(shè)備自動(dòng)壓鉚的自動(dòng)對(duì)位機(jī)器識(shí)別系統(tǒng)。

圖1 螺紋件壓鉚示意圖

現(xiàn)有的圓孔識(shí)別算法有斑點(diǎn)面積分類法[1]、基于邊緣檢測(cè)的最小二乘法[2,3]、邊緣三維點(diǎn)云提取法[4]等。幾種算法的原理不同，用途不一。斑點(diǎn)面積分類算法采用形態(tài)學(xué)提取孔徑內(nèi)斑點(diǎn)信息，并設(shè)定不同的高低閾值以達(dá)到分類目的，但需預(yù)先設(shè)定閾值，且無法適應(yīng)畸變圓孔的分類；基于邊緣檢測(cè)的最小二乘法通過提取邊界信息后利用最小二乘法擬合，但存在邊界投影畸變，對(duì)變形圓孔測(cè)量誤差較大；基于邊緣三維點(diǎn)云提取法通過獲取邊緣三維點(diǎn)進(jìn)行圓擬合，但在檢測(cè)翹曲、變形面上的圓孔時(shí)反應(yīng)過慢，效率太低。

圖2 燈具鈑金件圖紙

圖2所示為本設(shè)計(jì)中批量生產(chǎn)的鈑金件之一——燈具鈑金件，圖中φ4.2、φ5.5分別為M3、M4螺紋件在壓鉚之前預(yù)留的圓孔。因鈑金件受力不均容易引起翹曲、變形等現(xiàn)象，現(xiàn)有算法支持下的機(jī)器視覺系統(tǒng)對(duì)圓孔進(jìn)行分類識(shí)別時(shí)，圓孔易出現(xiàn)成像畸變（如表1所示），導(dǎo)致機(jī)器判斷困難或分類錯(cuò)誤，從而使壓鉚設(shè)備停壓或壓錯(cuò)螺紋件。

表1 缺陷圓孔圖像

近年來，AlexNet（一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)）[5]在ImageNet（一個(gè)用于視覺對(duì)象識(shí)別軟件研究的大型可視化數(shù)據(jù)庫(kù)）競(jìng)賽上表現(xiàn)優(yōu)異，卷積神經(jīng)網(wǎng)絡(luò)逐漸被人們所關(guān)注。卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò)，具有較強(qiáng)的表征學(xué)習(xí)能力。國(guó)外在醫(yī)學(xué)檢驗(yàn)、機(jī)械故障診斷及語義分類等領(lǐng)域的應(yīng)用日趨成熟[6～8]。國(guó)內(nèi)相關(guān)學(xué)者也正密切關(guān)注該領(lǐng)域的技術(shù)發(fā)展，如溫州大學(xué)智能信息系統(tǒng)研究所的趙漢理[9]提出了基于卷積神經(jīng)網(wǎng)絡(luò)的雙行車牌分割算法，有效地提高了雙行車牌識(shí)別準(zhǔn)確率；北方民族大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院的白靜[10]在針對(duì)三維模型多視圖分類中有益信息淹沒和混淆的問題，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)和投票機(jī)制的三維模型分類檢索算法，有效提升了分類性能。本文首先采用了基于卷積神經(jīng)網(wǎng)絡(luò)的方法對(duì)兩種圓孔的分類識(shí)別進(jìn)行了研究，其次結(jié)合常用的幾何位置識(shí)別算法——基于霍夫變換圓心定位算法，設(shè)計(jì)了一種自動(dòng)壓鉚對(duì)位系統(tǒng)。

1 自動(dòng)壓鉚對(duì)位系統(tǒng)總體方案設(shè)計(jì)

自動(dòng)壓鉚系統(tǒng)示意圖如圖3所示，包括圖像采集系統(tǒng)（光源、鏡頭及相機(jī)等）、圖像處理系統(tǒng)、送料機(jī)器人和壓鉚設(shè)備等。系統(tǒng)工作流程圖如圖4所示。

圖3 自動(dòng)壓鉚對(duì)位系統(tǒng)示意圖

圖4 自動(dòng)壓鉚對(duì)位系統(tǒng)工作流程圖

2 算法結(jié)構(gòu)及原理介紹

2.1 卷積神經(jīng)網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)

本文在Inception V3（一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)名為Inception的3.0版本）[11]框架上進(jìn)行了修改。相比其他網(wǎng)絡(luò)，它更好的利用了內(nèi)部的計(jì)算資源，網(wǎng)絡(luò)深度有所增加，且引入的卷積分解有效提升了效率。

如表2所示，網(wǎng)絡(luò)內(nèi)含6個(gè)卷積層[12]、2個(gè)池化層[13]、三個(gè)不同種類的Inception（此神經(jīng)網(wǎng)絡(luò)的核心組成單元）模塊、Relu（Rectified Linear Unit，指線性整流函數(shù)）激活函數(shù)[14]、BN層（Batch Normalization，指批量歸一化）[15]、2個(gè)全連接層和softmax（歸一化指數(shù)函數(shù)）分類器等。其中卷積層均采用3×3的卷積核，第一、第五層步長(zhǎng)為2，其余步長(zhǎng)為1。而池化層分別采用3×3和8×8的卷積核，對(duì)應(yīng)步長(zhǎng)為2，1。

表2 網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)

2.2 網(wǎng)絡(luò)末端分類器

本設(shè)計(jì)重新構(gòu)建了網(wǎng)絡(luò)末端的全連接層，使Softmax分類器輸出2個(gè)分類，并重新訓(xùn)練了新全連接層參數(shù)。網(wǎng)絡(luò)末端采用交叉熵作為代價(jià)函數(shù)。

2.2.1 Softmax分類器原理

Softmax為歸一化指數(shù)函數(shù)，在多分類場(chǎng)景中，softmax分類器應(yīng)用十分廣泛。它能把輸入數(shù)據(jù)映射為0～1之間的實(shí)數(shù)，并且實(shí)數(shù)和為1。softmax輸出每個(gè)分類被取到的概率。

2.2.2 交叉熵函數(shù)原理

交叉熵是衡量人工神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)值與實(shí)際值的一種方式，神經(jīng)網(wǎng)絡(luò)離線訓(xùn)練目的是使其值越小越好。采用交叉熵函數(shù)作為代價(jià)函數(shù)有效提升了權(quán)重和偏置的更新速度，其函數(shù)表達(dá)式為：

式(2)中，C表示代價(jià)函數(shù)，v表示神經(jīng)元期望輸出值，m表示實(shí)際輸出值，求和是在所有輸入數(shù)據(jù)x（像素值向量）上進(jìn)行的。

2.3 Hough 變換圓檢測(cè)原理

Hough（霍夫）變換[16]在圖像處理中主要用于幾何形狀的識(shí)別?；诨舴蜃儞Q的圓檢測(cè)是目前廣為應(yīng)用的方法之一，其可靠性高，對(duì)帶有變形、殘缺及不連續(xù)邊緣等有良好的適應(yīng)性。

已知圓的一般方程為：

則在極坐標(biāo)下圓的方程為：

式中：（a，b）為圓心，r為半徑。

圓的一般方程映射到極坐標(biāo)空間中為一條曲線。同一圓上的若干點(diǎn)在極坐標(biāo)空間中表現(xiàn)為若干條空間曲線在某一點(diǎn)相交。故同一個(gè)圓上的點(diǎn)映射在極坐標(biāo)空間里的曲線必定相交于同一點(diǎn)。最后，通過圓半徑信息，便可檢測(cè)出原坐標(biāo)系的圓心坐標(biāo)。

3 算法設(shè)計(jì)流程

如圖5所示，首先卷積神經(jīng)網(wǎng)絡(luò)將圓孔分類后，引導(dǎo)壓鉚設(shè)備切換壓鉚螺紋件；其次霍夫變換圓檢測(cè)算法根據(jù)卷積網(wǎng)絡(luò)分類的孔徑信息，識(shí)別出圓心坐標(biāo)（鉚接點(diǎn)）。

圖5 算法設(shè)計(jì)流程圖

3.1 卷積神經(jīng)網(wǎng)絡(luò)離線訓(xùn)練參數(shù)設(shè)置

本設(shè)計(jì)在Tensorflow環(huán)境下對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行了1萬多次迭代訓(xùn)練。其中訓(xùn)練集圖片160張，測(cè)試集圖片40張（φ4.2、φ5.5正常圓孔、缺陷圓孔1與缺陷圓孔2的比例均約為3:1:1）。設(shè)置初始學(xué)習(xí)率為0.001，學(xué)習(xí)率衰減因子為0.8，衰減周期為10，批次大小為8。實(shí)驗(yàn)過程中，損失值在0.60上下波動(dòng)時(shí)，將學(xué)習(xí)速率衰減因子調(diào)整為0.9，批次大小調(diào)整為5。

3.2 卷積神經(jīng)網(wǎng)絡(luò)圓孔分類效果

為驗(yàn)證卷積神經(jīng)網(wǎng)絡(luò)對(duì)φ4.2、φ5.5圓孔的分類性能，本文分別采用多種方法對(duì)相同的圓孔數(shù)據(jù)集各進(jìn)行了100次分類實(shí)驗(yàn)，實(shí)驗(yàn)數(shù)據(jù)如表3所示。

表3 不同算法圓孔分類實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)表

由表3可得，不同算法圓孔分類成功率如表4所示。

表4 不同算法圓孔分類實(shí)驗(yàn)成功率統(tǒng)計(jì)表

由此可見，本文方法有明顯優(yōu)勢(shì)，能有效識(shí)別畸變圓孔。

圖6所示為測(cè)試集分類準(zhǔn)確率變化情況。通過對(duì)比可以發(fā)現(xiàn)訓(xùn)練前期準(zhǔn)確率不到50%，經(jīng)訓(xùn)練后，準(zhǔn)確率上升為97%，進(jìn)一步驗(yàn)證了上述實(shí)驗(yàn)結(jié)果。

圖6 測(cè)試集分類準(zhǔn)確率的變化情況

由圖7可知，在網(wǎng)絡(luò)的訓(xùn)練過程中交叉熵?fù)p失值不斷下降。經(jīng)15000次迭代訓(xùn)練后交叉熵?fù)p失始終處于0.58以下，已相對(duì)收斂，應(yīng)停止訓(xùn)練。

圖7 訓(xùn)練前后期交叉熵?fù)p失值的變化情況

圖8所示為輸出參數(shù)直方圖，顏色越淺，迭代步數(shù)越多。對(duì)比前后參數(shù)可知：網(wǎng)絡(luò)末端的權(quán)重參數(shù)值分布良好，訓(xùn)練前期網(wǎng)絡(luò)誤差不會(huì)在后期放大，模型穩(wěn)定性較好。

圖8 訓(xùn)練前后期神經(jīng)網(wǎng)絡(luò)模型輸出參數(shù)直方圖

3.3 霍夫變換鉚接點(diǎn)檢測(cè)效果

霍夫變換圓檢測(cè)算法在收到卷積神經(jīng)網(wǎng)絡(luò)發(fā)出的孔徑信息后便開始定位鉚接點(diǎn)。經(jīng)現(xiàn)場(chǎng)測(cè)試發(fā)現(xiàn)：該算法能準(zhǔn)確輸出鉚接點(diǎn)，解決了現(xiàn)有算法所面對(duì)的困難。如圖9所示，十字交叉點(diǎn)即表示該缺陷圓孔的圓心。坐標(biāo)分別為（932.422，500.086）、（56.177，189.977）。

圖9 本文算法檢測(cè)畸變圓孔位置效果圖

為驗(yàn)證此算法的穩(wěn)定性和優(yōu)越性，本文采用多種算法分別對(duì)φ4.2、φ5.5各進(jìn)行100次鉚接點(diǎn)識(shí)別測(cè)試。其中包含φ4.2、φ5.5正常圓孔鈑金件各60個(gè)，缺陷圓孔鈑金件各40個(gè)，實(shí)驗(yàn)數(shù)據(jù)如表5所示。

表5 不同算法鉚接點(diǎn)識(shí)別實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)表

4 實(shí)驗(yàn)結(jié)果分析

經(jīng)多次實(shí)驗(yàn)測(cè)試，不同算法鉚接點(diǎn)識(shí)別成功率及算法平均每次耗時(shí)如表6所示。

表6 不同算法鉚接點(diǎn)識(shí)別成功率統(tǒng)計(jì)表

由表6得，現(xiàn)有算法識(shí)別成功率普遍不高?；谶吘壢S點(diǎn)云提取法雖然表現(xiàn)出相對(duì)較高的成功率，但耗時(shí)長(zhǎng)，影響效率。而本文方法成功率高，耗時(shí)短，有效提升了自動(dòng)壓鉚對(duì)位系統(tǒng)的可靠性和穩(wěn)定性。

根據(jù)自動(dòng)壓鉚對(duì)位系統(tǒng)需求，基于LabVIEW與Opencv編寫了人-機(jī)交互界面。軟件界面如圖10所示。點(diǎn)擊“運(yùn)行”便觸發(fā)相機(jī)工作與算法運(yùn)行，待檢測(cè)到圓孔信息，并識(shí)別出鉚接點(diǎn)后，機(jī)器人自動(dòng)將圓孔移至壓鉚處。同時(shí)，系統(tǒng)觸發(fā)相應(yīng)指令，使對(duì)應(yīng)的壓鉚螺紋件進(jìn)入指定位置，實(shí)現(xiàn)自動(dòng)對(duì)位壓鉚。

圖10 自動(dòng)壓鉚對(duì)位系統(tǒng)人機(jī)操作界面

5 結(jié)語

為實(shí)現(xiàn)壓鉚工藝自動(dòng)化，本文依次使用了基于卷積神經(jīng)網(wǎng)絡(luò)和基于霍夫變換的圓檢測(cè)算法，設(shè)計(jì)了一種自動(dòng)壓鉚對(duì)位系統(tǒng)。該系統(tǒng)能準(zhǔn)確識(shí)別鉚接點(diǎn)，自動(dòng)將相應(yīng)規(guī)格的壓鉚螺紋件鉚接在圓孔上。通過卷積神經(jīng)網(wǎng)絡(luò)在提取圖像特征方面的優(yōu)越性，有效的提取了圓孔的數(shù)據(jù)特征，解決了畸變圓孔圖像識(shí)別困難及分類錯(cuò)誤的問題?？紤]圓孔邊緣翹曲變形的特點(diǎn)，采用了霍夫變換圓檢測(cè)算法，提高了鉚接點(diǎn)的識(shí)別成功率和效率。試驗(yàn)表明自動(dòng)壓鉚對(duì)位系統(tǒng)有效替代了人工壓鉚，降低企業(yè)生產(chǎn)成本的同時(shí)也提升了效率。