基于U-Net網(wǎng)絡(luò)的柱面透鏡視覺(jué)定位策略

陳逢軍 呂繼陽(yáng) 胡 天 梁小生

1.湖南大學(xué)機(jī)械與運(yùn)載工程學(xué)院，長(zhǎng)沙，410082 2.湖南艾凱瑞斯智能科技有限公司，長(zhǎng)沙，410205 3.湖南戴斯光電有限公司，長(zhǎng)沙，410600

0 引言

柱面透鏡在光學(xué)儀器[1]、紅外成像、傳感器[2]、全息系統(tǒng)[3-4]等領(lǐng)域具有廣泛的應(yīng)用，基于其精密的光學(xué)性能，能實(shí)現(xiàn)對(duì)光線的聚焦、成像、傳輸?shù)饶芰?，在眾多行業(yè)起著至關(guān)重要的作用。柱面透鏡多為光學(xué)玻璃材質(zhì)，生產(chǎn)過(guò)程復(fù)雜，需要擺盤(pán)、拋光[5]等多道工序才能制造出符合標(biāo)準(zhǔn)的成品，對(duì)其尺寸公差、厚度公差、面形、偏心差等要求較高，通過(guò)整套加工工藝生產(chǎn)得到的產(chǎn)品良率往往較低。在所有工藝中，擺盤(pán)工藝對(duì)產(chǎn)品良率結(jié)果的影響較大，人工擺盤(pán)方法定位難以獲得較好的成品良率且作業(yè)耗時(shí)較長(zhǎng)，無(wú)法進(jìn)行批量化生產(chǎn)。

國(guó)內(nèi)外研究者圍繞工業(yè)場(chǎng)景的工件視覺(jué)應(yīng)用進(jìn)行了大量的研究，并且在各領(lǐng)域已取得較大的進(jìn)展和商業(yè)價(jià)值。工業(yè)場(chǎng)景中的缺陷檢測(cè)[6-7]、表面測(cè)量[8]、交通運(yùn)輸[9]、航空航天[10]、工業(yè)自動(dòng)化[11]等方面均有相應(yīng)的學(xué)者針對(duì)特定對(duì)象做出了研究成果。CHEN等[12]通過(guò)建立圖像金字塔進(jìn)行分層搜索以提高圖像的搜索速度，利用霍夫變換進(jìn)行角度粗定位，利用相應(yīng)角度的模板圖像進(jìn)行精定位，對(duì)半導(dǎo)體工件進(jìn)行高精度定位以實(shí)現(xiàn)自動(dòng)劃片。

在透明件領(lǐng)域，由于其特殊的光學(xué)特性往往難以獲得較為良好的視覺(jué)圖像，需要設(shè)計(jì)相應(yīng)的視覺(jué)系統(tǒng)以及合適的圖像處理方法來(lái)對(duì)其進(jìn)行定位及缺陷檢測(cè)。鄧捷等[13]提出一種基于灰度及幾何特征的微晶玻璃氣泡檢測(cè)算法，能夠有效地提取玻璃缺陷特征。ZHONG等[14]基于Blob分析方法對(duì)LED芯片進(jìn)行模板匹配定位，該算法對(duì)光照具有一定的魯棒性，對(duì)視野內(nèi)的LED芯片可以達(dá)到較高的識(shí)別精度和效率。柱面透鏡作為典型的透明件，其柱面定位安裝要求高，在人工擺盤(pán)過(guò)程中難以精準(zhǔn)進(jìn)行定位和擺放。

近年來(lái)計(jì)算機(jī)視覺(jué)算法的研究得到了較快的發(fā)展，越來(lái)越多的深度學(xué)習(xí)算法[15]被應(yīng)用于各類(lèi)工業(yè)場(chǎng)景中[16-17]。深度學(xué)習(xí)算法具有優(yōu)異的實(shí)時(shí)性[18]、適應(yīng)性和高精度，在視覺(jué)定位和分類(lèi)方面具有較大的優(yōu)勢(shì)，在圖像分割進(jìn)行工件定位方面也有著廣泛的應(yīng)用。U-Net[19]網(wǎng)絡(luò)作為卷積神經(jīng)網(wǎng)絡(luò)的一種高效分割目標(biāo)的網(wǎng)絡(luò)模型，其圖像分割能力強(qiáng)大而逐漸被應(yīng)用于各種場(chǎng)景。李瀟凡等[20]通過(guò)建立U-Net深度學(xué)習(xí)模型對(duì)大型浮藻類(lèi)漂浮物數(shù)據(jù)進(jìn)行特征提取，實(shí)現(xiàn)了端對(duì)端、像素對(duì)像素的分割識(shí)別。李連偉等[21]利用被動(dòng)毫米波成像與可見(jiàn)光成像的優(yōu)勢(shì)互補(bǔ)，通過(guò)建立U-Net分割網(wǎng)絡(luò)，提出了人體安檢隱匿違禁物的高性能實(shí)時(shí)檢測(cè)算法。鑒于U-Net網(wǎng)絡(luò)優(yōu)異的分割能力，可以對(duì)柱面透鏡成像進(jìn)行特征提取和融合以實(shí)現(xiàn)像素級(jí)精準(zhǔn)定位。

因此，為提高柱面透鏡擺盤(pán)工序的自動(dòng)化程度，并實(shí)現(xiàn)對(duì)工件的識(shí)別與定位，進(jìn)而提高柱面透鏡的產(chǎn)品良率和批量化生產(chǎn)能力，本文設(shè)計(jì)了適用于柱面透鏡擺盤(pán)工序的視覺(jué)定位策略。首先，使用模板匹配和Blob分析兩種視覺(jué)算法作為前期定位方法采集多種產(chǎn)品型號(hào)的原圖，利用高精度模板匹配定位數(shù)據(jù)生成的分割圖像作為標(biāo)注，通過(guò)U-Net網(wǎng)絡(luò)對(duì)不同環(huán)境下的產(chǎn)品數(shù)據(jù)進(jìn)行訓(xùn)練，提取柱面透鏡的視覺(jué)定位圖像特征，對(duì)產(chǎn)品擺盤(pán)過(guò)程中不同型號(hào)的產(chǎn)品在各種環(huán)境下的位置信息進(jìn)行視覺(jué)定位。

1 視覺(jué)擺盤(pán)工藝分析

柱面透鏡的形狀如圖1a所示，其參數(shù)包括曲率R、高度H、母線長(zhǎng)L、焦距F等，制造柱面透鏡的材料包括光學(xué)玻璃、熔石英等，柱面透鏡的實(shí)物如圖1b所示，圖中為光學(xué)玻璃材質(zhì)的平凸柱面透鏡。

柱面透鏡的擺盤(pán)工藝流程如圖1c所示，其工序可大致分為：噴漆、裝盒、吸料、視覺(jué)定位、放料等。具體工藝過(guò)程為：對(duì)前序工藝生產(chǎn)的毛料進(jìn)行柱面保護(hù)漆噴涂，將柱面覆蓋保護(hù)漆的工件裝進(jìn)型號(hào)匹配的納料盒中，Scara機(jī)器人對(duì)上料區(qū)納料盒中的工件進(jìn)行吸料操作后移至視覺(jué)單元進(jìn)行取像定位，經(jīng)過(guò)計(jì)算將工件移至工件型號(hào)對(duì)應(yīng)擺放花型的機(jī)器人坐標(biāo)點(diǎn)位，待到達(dá)指定點(diǎn)位后進(jìn)行放料操作，放料動(dòng)作結(jié)束后圓盤(pán)表面的熔融態(tài)蠟層會(huì)對(duì)工件進(jìn)行固定，待所有工件放料結(jié)束后蠟層凝固并進(jìn)行后續(xù)工藝。其中，吸嘴通過(guò)真空氣流產(chǎn)生的負(fù)壓吸附于柱面透鏡平面?zhèn)?，視覺(jué)定位需對(duì)凸面?zhèn)冗M(jìn)行圖像獲取，最終將凸面?zhèn)确胖迷趫A盤(pán)的蠟層上。工藝過(guò)程中最為關(guān)鍵的步驟是視覺(jué)定位，如果無(wú)法獲取準(zhǔn)確的工件位置信息，在擺盤(pán)放料時(shí)會(huì)發(fā)生擺放位置錯(cuò)亂或重疊的現(xiàn)象，導(dǎo)致工件在圓盤(pán)上的位置不均勻、不對(duì)稱(chēng)或出現(xiàn)工件損壞的情況發(fā)生，因此，擺盤(pán)過(guò)程中的視覺(jué)定位效果成為決定擺盤(pán)系統(tǒng)性能的關(guān)鍵影響因素，也是擺盤(pán)系統(tǒng)研究的重點(diǎn)所在。

2 基于U-Net的擺盤(pán)系統(tǒng)定位模型

2.1 數(shù)據(jù)描述

以某公司生產(chǎn)的多種型號(hào)柱面透鏡為研究對(duì)象，研究數(shù)據(jù)來(lái)源于柱面透鏡擺盤(pán)系統(tǒng)前期作業(yè)過(guò)程中保存的工件原圖和位置信息。對(duì)于不同型號(hào)的柱面透鏡，其曲率R、高度H、母線長(zhǎng)L差異較大，工業(yè)相機(jī)成像效果不盡相同，如圖2所示。在取像較好的情況下，圖像主要由工件、吸嘴和其他干擾組成，工件邊緣清晰，與背景對(duì)比度較大。但由于工業(yè)場(chǎng)景復(fù)雜，經(jīng)常會(huì)有其他異常情況的存在，如邊界模糊、吸料失敗、異常光照、工件歪斜、內(nèi)部條紋、取像異常、窄邊工件等影響成像效果。對(duì)于成像效果較好的圖像應(yīng)以較為精準(zhǔn)的圖像處理算法對(duì)其進(jìn)行高精度定位以作為正樣本，對(duì)于成像效果較差但工件明顯的圖像應(yīng)采用LabelMe軟件標(biāo)注的方式進(jìn)行定位分割以提高數(shù)據(jù)集的魯棒性，對(duì)于取像異常或吸料失敗的圖像應(yīng)作為負(fù)樣本以應(yīng)對(duì)相應(yīng)的實(shí)際異常情況。

圖2 柱面透鏡圖像數(shù)據(jù)分析Fig.2 Cylindrical lens image data analysis

2.2 數(shù)據(jù)集生成

2.2.1構(gòu)建思路

根據(jù)現(xiàn)場(chǎng)工業(yè)相機(jī)拍攝所得圖片與傳統(tǒng)圖像處理方法進(jìn)行比較分析可知，采用Blob分析和模板匹配方法能夠較快完成算法的實(shí)現(xiàn)與部署。以上述兩種算法對(duì)不同型號(hào)和各種環(huán)境下的工件圖片進(jìn)行原圖保存操作，當(dāng)圖片數(shù)據(jù)量足以保證數(shù)據(jù)集訓(xùn)練和驗(yàn)證使用時(shí)，對(duì)Blob分析和模板匹配進(jìn)行比較選取了定位更為精準(zhǔn)的高精度模板匹配方法，獲得工件中心在圖像中的像素坐標(biāo)X、Y，并得出工件的旋轉(zhuǎn)角度θ，以及圖像中工件的高度H、母線長(zhǎng)L，生成背景為黑色、工件為白色的二值化掩膜，從而制作出柱面透鏡數(shù)據(jù)集的原圖和標(biāo)注。之后進(jìn)行圖3所示的數(shù)據(jù)集清洗操作，對(duì)原圖和標(biāo)注進(jìn)行減法操作，由于正常標(biāo)注在“標(biāo)注-原圖”圖片集中表現(xiàn)為僅存在圖3b中所示的邊緣誤差，因此能夠容易找出圖3a中錯(cuò)誤分割的標(biāo)注，并在“原圖-標(biāo)注”對(duì)應(yīng)圖片進(jìn)行檢查，發(fā)現(xiàn)原圖和標(biāo)注中工件角度和位置差異較大，則在數(shù)據(jù)集中剔除后使用LabelMe軟件進(jìn)行標(biāo)注并替換。對(duì)7843張“標(biāo)注-原圖”圖片集進(jìn)行檢查發(fā)現(xiàn)，僅有7張為異常標(biāo)注，錯(cuò)誤率為0.08%，表明采用高精度模板匹配能夠?qū)崿F(xiàn)高精度、高魯棒性標(biāo)注，并且能夠顯著減小數(shù)據(jù)標(biāo)注的工作量。

(a)異常標(biāo)注

2.2.2Blob分析

Blob分析是對(duì)圖像中相同像素的連通域進(jìn)行劃分，每個(gè)連通域?yàn)橐粋€(gè)Blob，該算法能夠?qū)⒛繕?biāo)從背景中分離出來(lái)，還可以計(jì)算出Blob的數(shù)量，并根據(jù)各Blob的像素?cái)?shù)量計(jì)算出目標(biāo)的數(shù)量、位置、矩形度、圓形度、方向和大小。Blob分析的處理過(guò)程針對(duì)圖像整體進(jìn)行操作，與基于像素的算法相比處理速度顯著提高。

Blob分析視覺(jué)定位流程如圖4所示，首先對(duì)相機(jī)采集的原圖進(jìn)行亮度校正操作以區(qū)分工件與吸嘴等干擾信息，選擇合適的閾值對(duì)圖像進(jìn)行分割得到二值化圖像，采用面積篩選的方式去除所有其他非工件信息僅保留工件分割圖像，將分割好的工件Blob進(jìn)行坐標(biāo)、角度等信息的輸出保存。

圖4 Blob分析視覺(jué)定位流程Fig.4 Blob analytics visual positioning process

2.2.3模板匹配

模板匹配是視覺(jué)定位中一種常用的處理方法，其目的在于在原圖中尋找與模板圖最為相似的部分。模板匹配可以分為基于灰度值和基于形狀特征的模板匹配，其中基于灰度值的模板匹配無(wú)法對(duì)角度變化的工件進(jìn)行有效定位，所以本研究采用基于形狀特征的模板匹配方法，其流程如圖5a所示，首先對(duì)相機(jī)圖像進(jìn)行濾波處理以減少噪聲干擾，利用圖像銳化使工件與背景邊界分開(kāi)，利用開(kāi)操作形態(tài)學(xué)處理消除小物體，去除工件與吸嘴邊界處的雜物干擾，對(duì)工件邊緣進(jìn)行平滑且不改變其面積，對(duì)處理后的圖像進(jìn)行高精度特征匹配以獲取其坐標(biāo)、角度等數(shù)據(jù)，通過(guò)腳本編輯后以通信的方式發(fā)送數(shù)據(jù)?；谔卣鞯母呔饶０迤ヅ涠ㄎ环椒ㄈ鐖D5b所示，首先在某一型號(hào)工件中成像效果較好的原圖上進(jìn)行模板的建立，由此獲得其邊界特征的模板數(shù)據(jù)，利用該模板數(shù)據(jù)對(duì)相同型號(hào)工件實(shí)際作業(yè)過(guò)程中的相機(jī)圖像進(jìn)行匹配定位，得到該工件的像素坐標(biāo)、角度等數(shù)據(jù)。

(a)定位流程

2.3 U-Net卷積神經(jīng)網(wǎng)絡(luò)

2.3.1特征提取

U-Net網(wǎng)絡(luò)模型結(jié)構(gòu)如圖6所示，其結(jié)構(gòu)分為特征提取的下采樣過(guò)程和特征融合的上采樣過(guò)程，整體形狀為“U”形。

圖6 U-Net網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.6 U-Net network model structure

特征提取階段通過(guò)卷積核對(duì)輸入圖片的像素?cái)?shù)據(jù)進(jìn)行卷積操作，通過(guò)卷積層和最大池化層組合的方式實(shí)現(xiàn)特征提取，其中卷積過(guò)程如下：

(1)

U-Net卷積層的計(jì)算示意圖見(jiàn)圖7，卷積核與輸入矩陣中相同大小的區(qū)域進(jìn)行一對(duì)一相乘后求和得到輸出值，并以設(shè)定步長(zhǎng)值進(jìn)行從左到右、從上到下的滑動(dòng)直至完成整個(gè)輸入矩陣的卷積計(jì)算得到所有輸出值。在U-Net網(wǎng)絡(luò)中沒(méi)有對(duì)輸入張量進(jìn)行零填充，所以每進(jìn)行一次卷積操作，輸出矩陣的大小都會(huì)減少兩位。

圖7 U-Net卷積過(guò)程Fig.7 U-Net convolution process

U-Net網(wǎng)絡(luò)中每進(jìn)行一次卷積操作之后都會(huì)采用一個(gè)激活函數(shù)，如果不使用激活函數(shù)則神經(jīng)網(wǎng)絡(luò)的每層只做線性變換，多層疊加之后仍是線性變換，所以需要激活函數(shù)提高卷積操作之后模型對(duì)柱面透鏡特征的提取能力。常見(jiàn)的非線性激活函數(shù)有sigmoid函數(shù)、tanh函數(shù)、修正線性單元(rectified linear unit，ReLU)等。在U-Net網(wǎng)絡(luò)中則選用ReLU作為卷積層的激活函數(shù)，ReLU可以解決梯度消失的問(wèn)題，并具有更快的收斂速度，計(jì)算速度更快，其表達(dá)式如下：

ReLU(x)=max(x,0)

(2)

最大池化層設(shè)置在每?jī)蓪泳矸e層后，其目的在于進(jìn)行下采樣操作，對(duì)數(shù)據(jù)進(jìn)行壓縮操作且不會(huì)破壞數(shù)據(jù)特征，并提取柱面透鏡的特征。U-Net的最大池化層的計(jì)算過(guò)程如圖8所示，最大池化層的卷積核尺寸為2×2，步長(zhǎng)為2。

圖8 U-Net最大池化層Fig.8 U-Net maximum pooling layer

上述最大池化過(guò)程的表達(dá)式如下：

yij=max(xi,j,xi,j+1,xi+1,j,xi+1,j+1)

(3)

式中，y為輸出值；x為輸入值。

2.3.2特征融合

特征融合階段首先對(duì)下采樣結(jié)束后最底部張量進(jìn)行上采樣操作，U-Net上采樣過(guò)程如圖9所示，通過(guò)在輸入特征矩陣中完成最鄰近插值后進(jìn)行卷積，卷積后輸出的特征矩陣將變大，因此圖片尺寸將會(huì)變大。

圖9 U-Net上采樣層Fig.9 U-Net upsampling layer

上采樣過(guò)程進(jìn)行深層特征信息提取，在上采樣的過(guò)程中柱面透鏡的圖片通道數(shù)將會(huì)減半。上采樣操作結(jié)束后，需要進(jìn)行拼接操作，將左邊的淺層信息與右邊的深層特征進(jìn)行融合，但由于卷積層使得圖像大小發(fā)生變化，因此在進(jìn)行拼接操作之前需要對(duì)左邊的圖片進(jìn)行剪裁至右邊的大小后進(jìn)行拼接，隨后進(jìn)行兩次ReLU卷積操作。

2.3.3特征圖生成

在所有上采樣操作完成后會(huì)進(jìn)行一次卷積核大小為1×1的卷積操作，該操作的目的在于對(duì)原圖中的像素做分類(lèi)操作，會(huì)得到最后的兩張分別代表二分類(lèi)得分的權(quán)值圖，并以此作為Softmax函數(shù)的輸入，計(jì)算出概率較大的Softmax后計(jì)算損失值進(jìn)行反向傳播計(jì)算。Softmax函數(shù)的定義如下：

(4)

其中，zc為第c個(gè)節(jié)點(diǎn)的輸出值；C為輸出節(jié)點(diǎn)的個(gè)數(shù)(分類(lèi)個(gè)數(shù))，在柱面透鏡U-Net網(wǎng)絡(luò)中輸出節(jié)點(diǎn)的分類(lèi)個(gè)數(shù)為2。

2.4 網(wǎng)絡(luò)模型參數(shù)及結(jié)構(gòu)

前期工作采集的數(shù)據(jù)集如表1所示，由于六種型號(hào)的產(chǎn)品生產(chǎn)單量不同，故無(wú)法保證其數(shù)量完全一致，各產(chǎn)品圖像成像效果大致相同，將所有產(chǎn)品型號(hào)工件進(jìn)行混合后，將以總數(shù)量共7843組數(shù)據(jù)的80%為訓(xùn)練集、20%為測(cè)試集作為數(shù)據(jù)集分布進(jìn)行模型訓(xùn)練。

表1 數(shù)據(jù)集分布

本研究所使用的視覺(jué)定位模型基于Python語(yǔ)言實(shí)現(xiàn)，利用Pytorch深度學(xué)習(xí)框架搭建U-Net網(wǎng)絡(luò)模型。

特征提取階段將大小為1920×1200×1的輸入圖片調(diào)整至512×512×1，經(jīng)過(guò)兩次卷積核個(gè)數(shù)為64、大小為3×3、卷積步長(zhǎng)為1×1、激活函數(shù)為ReLU的卷積層，接著經(jīng)過(guò)一次大小2×2、步長(zhǎng)2×2的最大池化層，至此圖像大小相對(duì)最大池化層之前減半并作為下一次下采樣組合的輸入量；之后分別進(jìn)行卷積核個(gè)數(shù)為128、256、512的兩次卷積操作和池化操作得到底層特征。

特征融合階段將上述底層特征進(jìn)行兩次卷積核個(gè)數(shù)為1024的卷積操作，再進(jìn)行一次上采樣操作后圖片大小翻倍、通道減半，將深層信息與對(duì)應(yīng)的淺層信息進(jìn)行拼接后作為下一次上采樣組合的輸入量，之后分別進(jìn)行核個(gè)數(shù)為512、256、128的兩次卷積操作和上采樣操作。最后進(jìn)行兩次核個(gè)數(shù)為64的卷積操作，接著經(jīng)過(guò)一次1×1的卷積層將64通道的特征向量轉(zhuǎn)換為二分類(lèi)結(jié)果，并進(jìn)行反向傳播和參數(shù)更新。

3 柱面透鏡視覺(jué)定位分析

3.1 U-Net網(wǎng)絡(luò)訓(xùn)練參數(shù)對(duì)比

由于網(wǎng)絡(luò)模型設(shè)計(jì)為二分類(lèi)問(wèn)題，對(duì)數(shù)據(jù)集從0開(kāi)始訓(xùn)練效果會(huì)很差，特征提取效果不明顯，因此使用VGG網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)。訓(xùn)練的迭代次數(shù)共設(shè)置為100次，前50次進(jìn)行凍結(jié)訓(xùn)練，后50次進(jìn)行解凍訓(xùn)練。由于凍結(jié)階段模型調(diào)整的參數(shù)個(gè)數(shù)較少，故將學(xué)習(xí)率(learning rato, LR)設(shè)置得相對(duì)較大以跳出局部最優(yōu)解，解凍階段模型主干不再被凍結(jié)，調(diào)整的參數(shù)較多，將學(xué)習(xí)率設(shè)置為初始訓(xùn)練時(shí)的1/10，從而保證模型訓(xùn)練的穩(wěn)定性。

由于學(xué)習(xí)率會(huì)在較大程度上影響模型的精度和訓(xùn)練效率，因此在不同學(xué)習(xí)率下對(duì)模型進(jìn)行了訓(xùn)練比較，以優(yōu)化器Adam進(jìn)行模型訓(xùn)練。并使用真實(shí)值與預(yù)測(cè)值的DiceLoss損失函數(shù)對(duì)訓(xùn)練過(guò)程中的情況進(jìn)行評(píng)價(jià)，其表達(dá)式為

(5)

式中，X為輸出圖片像素預(yù)測(cè)值矩陣；Y為數(shù)據(jù)圖片像素實(shí)際值矩陣(由0或1表示)。

在訓(xùn)練的過(guò)程中，根據(jù)損失值隨著訓(xùn)練次數(shù)的變化情況判斷不同學(xué)習(xí)率下的訓(xùn)練效率和收斂性。各學(xué)習(xí)率在訓(xùn)練集和驗(yàn)證集上的損失變化如圖10所示，其中實(shí)線為實(shí)際變化曲線，虛線為對(duì)應(yīng)的平滑曲線，1～6表示學(xué)習(xí)率序號(hào)。由圖10a可以看出，當(dāng)學(xué)習(xí)率設(shè)置過(guò)小時(shí)，模型將陷入局部最優(yōu)解而達(dá)不到全局最優(yōu)，模型學(xué)習(xí)效果不夠?qū)е聼o(wú)法準(zhǔn)確預(yù)測(cè)新樣本而使損失值較大；當(dāng)學(xué)習(xí)率設(shè)置過(guò)大時(shí)會(huì)導(dǎo)致凍結(jié)階段權(quán)重更新較快，但在解凍階段會(huì)發(fā)生損失值突變，最終同樣導(dǎo)致較差的結(jié)果。當(dāng)學(xué)習(xí)率RL設(shè)置為0.0001時(shí)可以獲得最好的損失值變化曲線，凍結(jié)階段損失值下降最快，在第10次訓(xùn)練時(shí)曲線收斂并且在解凍階段沒(méi)有發(fā)生較大變化。由圖10b可知，學(xué)習(xí)率RL為0.0001時(shí)在驗(yàn)證集上損失值收斂所使用的訓(xùn)練次數(shù)最少，在第15次訓(xùn)練后曲線不再發(fā)生抖動(dòng)的現(xiàn)象，而其他學(xué)習(xí)率下的驗(yàn)證集損失值曲線則抖動(dòng)較為嚴(yán)重，直至第60次訓(xùn)練后才逐漸收斂。綜合分析可知，當(dāng)學(xué)習(xí)率RL設(shè)置為0.0001時(shí)模型收斂速度最快，曲線最穩(wěn)定且收斂值最小。

(a)訓(xùn)練集損失值對(duì)比

為進(jìn)一步驗(yàn)證最優(yōu)學(xué)習(xí)率下訓(xùn)練效果最好，對(duì)6組學(xué)習(xí)率經(jīng)過(guò)100次訓(xùn)練后的模型使用平均交并比(mean intersection over union，mIoU)和平均像素準(zhǔn)確度(mean pixel accuracy，mPA)評(píng)價(jià)指標(biāo)進(jìn)行對(duì)比分析，結(jié)果如圖11所示。其中，學(xué)習(xí)率序號(hào)與圖10中一致，可以發(fā)現(xiàn)當(dāng)學(xué)習(xí)率為0.0001時(shí)，mIoU和mPA均為最優(yōu)，因此最優(yōu)學(xué)習(xí)率得到了驗(yàn)證。

圖11 不同學(xué)習(xí)率的評(píng)價(jià)指標(biāo)對(duì)比Fig.11 Evaluation indicators of different learning rates

3.2 視覺(jué)定位精度對(duì)比分析

為驗(yàn)證模型訓(xùn)練結(jié)果的實(shí)際效果，選取了6種型號(hào)產(chǎn)品各50張與數(shù)據(jù)集不重復(fù)的新數(shù)據(jù)圖片作為視覺(jué)定位精度驗(yàn)證數(shù)據(jù)。

由于在數(shù)據(jù)清洗的過(guò)程中發(fā)現(xiàn)高精度模板匹配的定位結(jié)果的精度和穩(wěn)定性較好，因此將其作為實(shí)際值，而將U-Net網(wǎng)絡(luò)分割定位數(shù)據(jù)作為預(yù)測(cè)值，并為體現(xiàn)策略研究的必要性，將Blob分析定位數(shù)據(jù)作為對(duì)照組進(jìn)行坐標(biāo)X、Y的結(jié)果比較，其結(jié)果如圖12所示。由6種型號(hào)產(chǎn)品的實(shí)際對(duì)比可以看出，U-Net網(wǎng)絡(luò)定位坐標(biāo)值分布在模板匹配曲線上，Blob分析定位坐標(biāo)值較多點(diǎn)距離模板匹配曲線較遠(yuǎn)。U-Net網(wǎng)絡(luò)視覺(jué)定位結(jié)果與高精度模板匹配的X、Y坐標(biāo)定位誤差在1 pixel以內(nèi)，而B(niǎo)lob分析誤差變化較大，其最低誤差與U-Net網(wǎng)絡(luò)定位的最低誤差接近，最高誤差接近20 pixel，比較可知U-Net網(wǎng)絡(luò)的定位精度高于Blob分析的定位精度，對(duì)光照、產(chǎn)品型號(hào)等影響因素具有較強(qiáng)的魯棒性，模型的定位精度和魯棒性得到了驗(yàn)證。

(a)R3.15 (b)R5.94

由于在視覺(jué)定位過(guò)程中涉及工件主軸的角度定位，需要準(zhǔn)確評(píng)價(jià)模型的角度定位性能，故引入均方根誤差(root mean square error，RMSE)作為角度定位的評(píng)價(jià)指標(biāo)，RMSE值VRMSE越小定位精度越高，其表達(dá)式如下：

(6)

式中，yk為第k張圖片中工件的實(shí)際主軸角度值；f(xk)為第k張圖片中工件的定位主軸角度值；n為圖片的數(shù)量。

對(duì)6組型號(hào)圖片進(jìn)行測(cè)試，對(duì)比Blob分析、U-Net網(wǎng)絡(luò)與高精度模板匹配的角度定位數(shù)據(jù)獲得的RMSE值,如表2所示，可以看出，與Blob分析相比，U-Net網(wǎng)絡(luò)模型的RMSE值整體較小，處于0.02～0.05范圍內(nèi)，而B(niǎo)lob分析的RMSE值最小約為0.07，最大約為0.84，變化范圍較大，定位精度及穩(wěn)定性較差，Blob分析的RMSE值為U-Net網(wǎng)絡(luò)RMSE值的3倍以上。由于在擺盤(pán)過(guò)程中視覺(jué)定位的結(jié)果最終轉(zhuǎn)換為機(jī)器人末端的坐標(biāo)點(diǎn)，RMSE值較小則表明角度定位精度較高，在實(shí)際擺盤(pán)下料動(dòng)作中不會(huì)出現(xiàn)因工件重疊等而導(dǎo)致?lián)p壞或產(chǎn)品不良率較大的情況，因此U-Net模型的角度定位性能更好。

表2 不同型號(hào)產(chǎn)品角度RMSE對(duì)比

4 柱面透鏡擺盤(pán)定位系統(tǒng)性能分析

利用視覺(jué)定位策略結(jié)合柱面透鏡擺盤(pán)工藝及特點(diǎn)，開(kāi)發(fā)了柱面透鏡視覺(jué)擺盤(pán)系統(tǒng)，實(shí)現(xiàn)了柱面透鏡的自動(dòng)化擺盤(pán)作業(yè)，柱面透鏡擺盤(pán)系統(tǒng)的硬件組成如圖13所示。工控機(jī)作為主要協(xié)同單元和人機(jī)交互單元，連接和控制其他硬件的工作。上位相機(jī)和下位相機(jī)通過(guò)TCP/IP通信與工控機(jī)進(jìn)行數(shù)據(jù)交互，機(jī)器人控制器通過(guò)modbusTCP協(xié)議與上位機(jī)通信。

圖13 柱面透鏡擺盤(pán)系統(tǒng)硬件組成Fig.13 Cylindrical lens plating systemhardware composition

上位視覺(jué)單元的組成為：上位相機(jī)、鏡頭、環(huán)形光源，用于對(duì)上料區(qū)納料盒中的工件進(jìn)行粗定位，保證機(jī)器人末端能夠移至需要吸料的工件點(diǎn)位處，但在吸取的過(guò)程中由于末端吸嘴工具在吸取的過(guò)程中會(huì)發(fā)生工件偏移而導(dǎo)致工件中心與吸嘴中心難以重合，所以需要下位視覺(jué)單元對(duì)工件進(jìn)行精定位。下位視覺(jué)單元的組成為：下位相機(jī)、鏡頭、條形光、同軸光，由于柱面透鏡自身的特性，僅使用同軸光無(wú)法保證所有情況下的工件完全顯示為亮白色，會(huì)有工件部分區(qū)域難以區(qū)分的情況，而采取條形光與同軸光結(jié)合的方式能夠?qū)⒐ぜ^好地與背景區(qū)分。

圖14 柱面透鏡偏心合格率Fig.14 Cylindrical lens eccentric pass rate

為驗(yàn)證柱面透鏡視覺(jué)定位擺盤(pán)系統(tǒng)在實(shí)際工廠環(huán)境下的性能，對(duì)人工擺盤(pán)和系統(tǒng)擺盤(pán)進(jìn)行了相關(guān)數(shù)據(jù)的采集。柱面透鏡生產(chǎn)過(guò)程中對(duì)產(chǎn)品良率結(jié)果影響最為重要的是偏心合格率，產(chǎn)品偏心過(guò)大會(huì)導(dǎo)致對(duì)光線的折射發(fā)生偏移，進(jìn)而導(dǎo)致未來(lái)使用柱面透鏡的產(chǎn)品性能不達(dá)標(biāo)。對(duì)系統(tǒng)使用前后的24個(gè)月份進(jìn)行偏心合格率的數(shù)據(jù)對(duì)比，其結(jié)果如圖14所示，其中1～10月為人工擺盤(pán)方式，各型號(hào)產(chǎn)品月平均生產(chǎn)量為4000顆左右，11～12月為系統(tǒng)開(kāi)發(fā)前期，各型號(hào)產(chǎn)品月平均生產(chǎn)量為15 000顆左右，13～24月為系統(tǒng)穩(wěn)定期，各型號(hào)產(chǎn)品月平均生產(chǎn)量為30 000顆左右。可以看出，柱面透鏡視覺(jué)定位擺盤(pán)系統(tǒng)相對(duì)于人工擺盤(pán)來(lái)說(shuō)偏心合格率由原有的50%～80%區(qū)間(不可控狀態(tài))穩(wěn)定提高至95%以上，效果較為顯著。

擺盤(pán)工藝對(duì)柱面透鏡整體制造工藝有較為重要的影響，為探究視覺(jué)定位擺盤(pán)系統(tǒng)對(duì)柱面透鏡生產(chǎn)的合格率提升效果，對(duì)擺盤(pán)工藝后的半成品合格率和整體工藝之后的成品合格率進(jìn)行生產(chǎn)品質(zhì)總結(jié)分析，其結(jié)果如圖15所示。在人工擺盤(pán)時(shí)期，半成品合格率處于70%左右，成品合格率處于50%～60%區(qū)間，將近一半的產(chǎn)品為不良品，導(dǎo)致生產(chǎn)成本的增加；使用擺盤(pán)系統(tǒng)代替人工方式后，半成品合格率將近100%，成品合格率最高能夠達(dá)到90%，表明擺盤(pán)工藝對(duì)柱面透鏡的產(chǎn)品合格率影響較大，系統(tǒng)的性能得到驗(yàn)證。

圖15 柱面透鏡生產(chǎn)合格率Fig.15 Cylindrical lens production pass rate

圖16 柱面透鏡擺盤(pán)工藝耗時(shí)對(duì)比Fig.16 Cylindrical lens plating process time-consuming comparison

為進(jìn)一步驗(yàn)證系統(tǒng)的批量生產(chǎn)能力，將系統(tǒng)耗時(shí)與人工耗時(shí)進(jìn)行對(duì)比以驗(yàn)證系統(tǒng)的生產(chǎn)效率。如圖16所示，對(duì)五種擺盤(pán)花型數(shù)量的單盤(pán)作業(yè)耗時(shí)進(jìn)行了統(tǒng)計(jì)分析，從圖中可以看出，系統(tǒng)耗時(shí)隨著花型數(shù)量的增加呈現(xiàn)線性增長(zhǎng)趨勢(shì)，而人工作業(yè)耗時(shí)隨著花型數(shù)量的增加呈現(xiàn)非線性增加，其原因在于人工方式對(duì)花型數(shù)量越多的擺盤(pán)需要進(jìn)行更多次調(diào)整才能使柱面透鏡處于較為理想的狀態(tài)，而系統(tǒng)擺盤(pán)則能夠在單次放料動(dòng)作后達(dá)到理想狀態(tài)。系統(tǒng)耗時(shí)相較于人工耗時(shí)顯著縮短，僅僅為人工耗時(shí)的1/5左右，批量化生產(chǎn)能力得到驗(yàn)證。

5 結(jié)論

(1)基于U-Net網(wǎng)絡(luò)的柱面透鏡視覺(jué)定位策略，利用定位精度較高的數(shù)據(jù)信息建立數(shù)據(jù)集，利用VGG作為主干網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)，能夠簡(jiǎn)化系統(tǒng)視覺(jué)定位操作，適應(yīng)不同環(huán)境下的多型號(hào)柱面透鏡產(chǎn)品。

(2)U-Net網(wǎng)絡(luò)模型的參數(shù)對(duì)其精度和穩(wěn)定性影響較大，采用合適的學(xué)習(xí)率等參數(shù)能夠使定位精度和穩(wěn)定性提高，文中通過(guò)對(duì)不同學(xué)習(xí)率的損失值進(jìn)行對(duì)比選取了最優(yōu)參數(shù)。

(3)基于U-Net網(wǎng)絡(luò)的柱面透鏡視覺(jué)擺盤(pán)系統(tǒng)相較于人工方式，在偏心良率、合格率、耗時(shí)等方面均有較大程度的提高，證明了系統(tǒng)的性能和生產(chǎn)效率。