面向機(jī)械分揀系統(tǒng)的電子元件自動識別算法

潘美蓮，陳 潔，陳贛浪

（1.廣州工程技術(shù)職業(yè)學(xué)院信息工程學(xué)院，廣東廣州 510000；2.華南師范大學(xué)軟件學(xué)院，廣東佛山 528225）

1 引言

現(xiàn)今家電產(chǎn)業(yè)發(fā)展迅速，產(chǎn)品的更新迭代速度也隨之加快，造成大量廢棄家電產(chǎn)品的堆積。為了避免資源浪費(fèi)，組件級別的電子廢物管理正引起研究人員的關(guān)注[1]。在組件級別進(jìn)行電子廢物管理的方法之一是促進(jìn)再利用。重復(fù)使用電子元件有助于減少電子廢物。由于手工分揀的效率較低，機(jī)械化分揀電子器件的研發(fā)與應(yīng)用成為主流趨勢。

在相關(guān)研究中，文獻(xiàn)[2]設(shè)計(jì)了一種插件元器件分揀機(jī)器人系統(tǒng)，采用了改進(jìn)的自適應(yīng)閾值的Canny算子提取了目標(biāo)的邊緣信息，利用采用SURF算法進(jìn)行二進(jìn)制元件描述，實(shí)現(xiàn)了器件分揀。文獻(xiàn)[3]設(shè)計(jì)了基于樹莓派的元器件檢測系統(tǒng)，在電路板圖像預(yù)處理的基礎(chǔ)上讀取坐標(biāo)文件，通過霍夫變換檢測圖像定位點(diǎn)，再采用圖像分割方法提取器件表面文字，完成了電子元件的識別。但器件圖像灰度值沿半徑方向的分布識別精度有待完善。文獻(xiàn)[4]提出了一種利用轉(zhuǎn)移學(xué)習(xí)和深度卷積神經(jīng)網(wǎng)絡(luò)對電子樣機(jī)上的分立元件和表面貼裝元件進(jìn)行分類的方法。使用這種方法提供了便捷的部署，實(shí)現(xiàn)了電子器件分類，但在分類精度上有待提高。

針對上述問題，為了進(jìn)一步提高電子元件的機(jī)械分揀效率，提出了一種利用監(jiān)督式機(jī)器學(xué)習(xí)識別電子元件參數(shù)的方法。通過分割圖像和標(biāo)記色號，來修正圖像的灰度形態(tài)，計(jì)算坐標(biāo)系，來獲得圖像具體坐標(biāo)系與電子元件邊緣輪廓。

最后引用核分類器改進(jìn)監(jiān)督式機(jī)器學(xué)習(xí)中的度量學(xué)習(xí)模型，以提高大規(guī)模電子元件識別效率，融合拉格朗日乘子計(jì)算圖像坐標(biāo)點(diǎn)，完成對電子元件的自動識別。

2 監(jiān)督式機(jī)器學(xué)習(xí)下電子元件自動識別

2.1 電子元件圖像灰度形態(tài)學(xué)修正

在機(jī)械分揀的過程中，準(zhǔn)確識別電子元件是精準(zhǔn)分類的前提。在進(jìn)行電子元件圖像自動識別之前，為了可以獲得更好的效果，需要突出圖像內(nèi)預(yù)識別物體的特征，需要對圖像進(jìn)行預(yù)處理。這里預(yù)處理的流程即：通過光照增強(qiáng)圖像的色彩對比度，隨后將圖像灰度化處理，并將光照不均勻的位置校正，統(tǒng)一化圖像背景成黑色。同時電子元件的特征非常復(fù)雜，其主色大多數(shù)是黑色，中心部位存在少量的白色標(biāo)記，其反面主色大多數(shù)是白色，且邊緣較短。因?yàn)橐R別的圖像內(nèi)存在數(shù)量較多的電子元件，所以在識別前，需要將圖像內(nèi)的電子元件進(jìn)行灰度形態(tài)學(xué)校正，以此刪除可能對后續(xù)識別產(chǎn)生影響的特征，凸顯電子元件的邊緣特征?；叶刃螒B(tài)學(xué)，是一種圖像分析學(xué)，其中較為常見的就是開操作，這種操作是一種膨脹與腐蝕算法相融合的算法，開操作能夠?qū)D像的邊緣輪廓變得更為平滑且突出，同時還能夠分離不同物體之間存在的細(xì)小連接。

開操作需要憑借架構(gòu)元素B以及圖像A作為基礎(chǔ)運(yùn)行條件，在開始運(yùn)行時，需要將上述兩種條件轉(zhuǎn)換成A ?B，其定義如下所示：

開操作首先需要對圖像進(jìn)行腐蝕，然后對腐蝕結(jié)果，通過相同的架構(gòu)元素進(jìn)行膨脹。由于電子元件的架構(gòu)算子存在旋轉(zhuǎn)不變性，因此需要將架構(gòu)元素?cái)M定為A ?B=(AΘB)⊕B。

2.2 電子元件圖像坐標(biāo)系計(jì)算

通過分揀系統(tǒng)的攝像機(jī)標(biāo)定電子元件的四種坐標(biāo)系，以下就是對四種坐標(biāo)系的詳細(xì)介紹以及參數(shù)求解。

（1）圖像坐標(biāo)系

圖像坐標(biāo)系位于電子元件參數(shù)圖像的左上角，其初始點(diǎn)即像素的直接坐標(biāo)u?v。

（2）成像平面坐標(biāo)系

攝像機(jī)拍攝得到的圖像會構(gòu)成成像平面坐標(biāo)系，該坐標(biāo)系的初始點(diǎn)o1就是攝像機(jī)光軸中心的主點(diǎn)，并且該坐標(biāo)系的x、y軸與圖像坐標(biāo)系的u、v軸為平行狀態(tài)，那么把這兩種坐標(biāo)系的點(diǎn)進(jìn)行轉(zhuǎn)換能夠得到：

式中：dx—電子元件元件沿著x單元尺寸；dy—y方向的單元尺寸。

為了使之后的坐標(biāo)轉(zhuǎn)換更為便捷，把式（2）轉(zhuǎn)換成齊次方程即：

（3）攝像機(jī)坐標(biāo)系

攝像機(jī)坐標(biāo)系的初始點(diǎn)Oc位于光軸的中心處，其與成像坐標(biāo)系呈平行狀態(tài)。圖像坐標(biāo)系以及攝像機(jī)坐標(biāo)系的點(diǎn)進(jìn)行轉(zhuǎn)換能夠獲得：

將該坐標(biāo)轉(zhuǎn)換為齊次坐標(biāo)即：

（4）機(jī)器坐標(biāo)系

機(jī)器坐標(biāo)系即根據(jù)現(xiàn)場實(shí)際狀況構(gòu)建的坐標(biāo)系，在電子元件拍攝的過程內(nèi)，構(gòu)建的機(jī)器坐標(biāo)系為OWXWYWZW，XW軸以及攝像機(jī)坐標(biāo)系的Yc軸、攝像機(jī)坐標(biāo)系的Xc軸均呈現(xiàn)平行狀態(tài)，圖像左下角即機(jī)器坐標(biāo)系的初始點(diǎn)，把分揀系統(tǒng)中攝像機(jī)坐標(biāo)系和機(jī)器坐標(biāo)系的點(diǎn)進(jìn)行轉(zhuǎn)換能夠得到：

式中：Q—機(jī)器坐標(biāo)點(diǎn)；Q()Xc，Yc，Zc—攝像機(jī)坐標(biāo)系；R—旋轉(zhuǎn)矩陣；t—平移向量。

式（7）代表旋轉(zhuǎn)矩陣R的描述公式：

為了便于理解旋轉(zhuǎn)矩陣，這里將三維空間的旋轉(zhuǎn)分解轉(zhuǎn)換成分別圍繞Xc，Yc，Zc軸的二維旋轉(zhuǎn)。

利用歐拉角α，β，γ描述繞x，y，z軸的逆時針旋轉(zhuǎn)數(shù)值［5］，這三個坐標(biāo)旋轉(zhuǎn)矩陣分別是Rx(α)，Ry(β)與Rz(γ)獲得，如式（8）～式（10）所示。

2.3 電子元件參數(shù)圖像的像素邊緣檢測

2.3.1 基于二次多項(xiàng)式差值算法的粗檢測

憑借多項(xiàng)式差值公式，擬定坐標(biāo)系點(diǎn)集為：

在n=2 時，x處的差值即二次多項(xiàng)式差值，擬定已知總量為3。

假如式（12）是導(dǎo)數(shù)曲線［6］，那么邊緣處的曲線就能夠被描述成0，在獲得邊緣點(diǎn)集后，如果(x，y)確定為邊緣點(diǎn)，就在X軸方向刪除取臨近的兩種邊緣點(diǎn)(x?1，y)與(x+1，y)，把三點(diǎn)梯度幅值g(x，y)，g(x?1，y)，g(x+1，y)引入式（12）內(nèi)［7］，然后對其進(jìn)行求導(dǎo)，就能夠得到X軸像素邊緣的位置x，同理，能夠獲得Y軸像素邊緣位置y，如式（13）所示。

使用刪除檢測方法時，存在一個先決條件即：g0>g?1同時g0>g1，其保證了梯度幅值在區(qū)間中存在極大值，也就是說在圖像的某區(qū)域存在像素邊緣位置。

2.3.2 基于高斯曲線擬合法的細(xì)檢測高斯曲線描述式即：

在使用高斯曲線擬合邊緣導(dǎo)數(shù)曲線的時候，高斯曲線頂點(diǎn)坐標(biāo)確定了像素邊緣。

直接通過式（15）難以運(yùn)算，因此對其兩側(cè)同時取對數(shù)為：

式（15）能夠描述成一種二次多項(xiàng)式，1nf(x)=ax2+bx+c，憑借二次多項(xiàng)式插值方程，利用基于梯度方向的運(yùn)算方法[8]，能夠得到像素的具體位置如下：

2.4 監(jiān)督式機(jī)器學(xué)習(xí)圖像識別

2.4.1 度量學(xué)習(xí)模型

度量學(xué)習(xí)模型即監(jiān)督式機(jī)器學(xué)習(xí)算法內(nèi)的一種，度量學(xué)習(xí)的任務(wù)就是學(xué)習(xí)一個度量兩種樣本xi與xj內(nèi)的相似度函數(shù)d(xi，xj)，同時滿足以下條件：

（1）三角不等式：d(xi，xj)+d(xj，xk)≥d(xi，xk)；

（2）非負(fù)性：d(xi，xj)≥0；

（3）對稱性：d(xi，xj)=d(xj，xi)；

（4）可區(qū)別性：d(xi，xj)=0 ?xi=xj。

度量兩種樣本之間距離的算法有很多，當(dāng)前較為常見的即馬氏距離[9]，馬氏距離定義如下：

式中：xi—訓(xùn)練的樣本；M—度量矩陣，同時M需要擬定成半正定矩陣。在M代表單位矩陣時，馬氏距離會轉(zhuǎn)變成歐式距離。因?yàn)镸被擬定成半正定矩陣，那么該矩陣內(nèi)就會具有矩陣L，其滿足M=LTL，所以，式（17）也能夠被描述成：

從式（18）能夠得知，兩種樣本xi與xj之間的馬氏距離等同于Lxi與Lxj之間的歐式距離。

2.4.2 改進(jìn)度量學(xué)習(xí)模型

當(dāng)前的度量學(xué)習(xí)在很大程度上決定了當(dāng)前識別結(jié)果是否精確，而度量學(xué)習(xí)在解決大規(guī)模問題上存在效率低下的問題。因此這里引用核分類器[10]來優(yōu)化對大規(guī)模元件識別時度量學(xué)習(xí)效率較低的問題，同時依靠改進(jìn)后的度量學(xué)習(xí)實(shí)現(xiàn)對電子元件參數(shù)圖像的自動識別。通過二步貪心算法進(jìn)行度量學(xué)習(xí)，首先，剔除半正定約束，利用Frobenius范數(shù)對M進(jìn)行正則化處理，并依靠鉸鏈損失當(dāng)作間隔損失項(xiàng)，所以，基于電子元件參數(shù)圖像能夠通過核分類器完成度量學(xué)習(xí)。

式中：‖·‖F(xiàn)—范數(shù)，因?yàn)樯鲜鰡栴}不易計(jì)算。所以融入拉格朗日函數(shù)即：

式中：a1，β1—拉格朗日乘子；ξ—正則化項(xiàng)；M—單位矩陣；b—線性函數(shù)，由于其在運(yùn)算M，b以及ξ時偏導(dǎo)數(shù)會等于0，所以需要把原始的電子元件參數(shù)圖像識別問題，轉(zhuǎn)換成對偶問題，即：

通過式（23）～式（25）的計(jì)算公式，對電子元件參數(shù)圖像的像素坐標(biāo)點(diǎn)進(jìn)行計(jì)算，就能夠完成對電子元件參數(shù)圖像的自動識別。

3 實(shí)驗(yàn)分析

為了證明所提方法的實(shí)用性，進(jìn)行實(shí)驗(yàn)，仿真實(shí)驗(yàn)平臺為MatlabR2019b。選擇電子元件數(shù)據(jù)庫用數(shù)據(jù)集作為實(shí)驗(yàn)樣本，其中包括電阻器、電感器、電容器、二極管等元件，每種元件的數(shù)量及用于訓(xùn)練與測試的數(shù)量，如表1所示。

表1 數(shù)據(jù)集劃分Tab.1 Dataset Division

首先在數(shù)據(jù)庫中隨機(jī)挑選6幅電子元件圖像，并依照名稱對應(yīng)標(biāo)記序號：貼片電阻（1#），貼片網(wǎng)絡(luò)電阻（2#），單層陶瓷電容（3#），BGA器件（4#），二極管（5#），三極管（6#）。通過所提算法對該圖像進(jìn)行識別，其識別結(jié)果，如圖1所示。

圖1 電子元件圖像識別結(jié)果Fig.1 Electronic Element Image Identification

通過圖1能夠看出，所提方法能夠在復(fù)雜的電氣器件內(nèi)，有效剔除所有不相關(guān)部分，精準(zhǔn)識別出所有微小的電子元件，并且元件輪廓清晰。這是因?yàn)樗岱椒〞揽慷味囗?xiàng)式差值與高斯曲線擬合法對電子元件圖像進(jìn)行預(yù)識別目標(biāo)的像素邊緣輪廓識別，以提高后續(xù)識別結(jié)果的質(zhì)量。

使用所提方法對圖1的識別結(jié)果進(jìn)行數(shù)值測試，擬定實(shí)驗(yàn)參數(shù)為，監(jiān)督式機(jī)器學(xué)習(xí)的學(xué)習(xí)次數(shù)為20、30、50，測試的迭代上限即300。表1中，迭代次數(shù)與計(jì)算時間此時都是算法運(yùn)行10之后的平均結(jié)果，如表2所示。

表2 電子元件圖像數(shù)值測試結(jié)果Tab.2 Numerical Test Results of Electronic Component Images

通過表2能夠看出，隨著擬定機(jī)器學(xué)習(xí)次數(shù)的逐漸提升，計(jì)算時間也會隨之增加，但算法的迭代次數(shù)會慢慢降低，算法的精確判斷率隨之增高，從這點(diǎn)能夠看出，所提算法的識別精確性也是較高的。

為了進(jìn)一步證明所提方法的優(yōu)越性，基于上述實(shí)驗(yàn)環(huán)境，通過所提方法、文獻(xiàn)[3]方法、文獻(xiàn)[4]方法對電子元件參數(shù)圖像的灰度值沿半徑方向的分布進(jìn)行識別，并與事先擬定的結(jié)果進(jìn)行對比，對比結(jié)果，如圖2所示。

圖2 電子元件沿半徑方向的灰度分布對比結(jié)果Fig.2 Comparison Results of Gray Scale Distribution of Small Electronic Elements Along the Radius

通過圖2能夠看出，文獻(xiàn)[3]方法和文獻(xiàn)[4]方法與事先擬定的結(jié)果存在較大的差別，且灰度值變化趨勢與擬定結(jié)果相差較大。而所提方法識別結(jié)果與事先擬定的灰度分布結(jié)果相近，且灰度值的變化趨勢與擬定結(jié)果相同。這是因?yàn)樗岱椒〞揽繕?biāo)記特征修正圖像灰度形態(tài)，計(jì)算圖像的所有坐標(biāo)，以此明確電子元件的具體位置以及大致輪廓，為后續(xù)的識別提供依據(jù)，以此提升識別結(jié)果的精確度。

4 結(jié)論

為了提升電子元件機(jī)械分揀效率，提出了一種利用監(jiān)督式機(jī)器學(xué)習(xí)的電子元件圖像自動識別算法。該方法通過灰度形態(tài)學(xué)以及度量學(xué)習(xí)模型，能夠完成精準(zhǔn)地參數(shù)圖像自動識別。但所提方法的識別結(jié)果無法精確到0.01mm，此外因?yàn)榄h(huán)境與條件的限制，所提方法針對的都是圖像內(nèi)靜止的電子元件，并不能對視頻或生產(chǎn)線內(nèi)的電子元件進(jìn)行動態(tài)識別。因此，下一步需要研究的課題即：使用更為精密的圖像采集算法，提升圖像采集的效果，提高圖像的清晰度與圖像質(zhì)量，使算法能夠連續(xù)地自動化處理動態(tài)電子元件參數(shù)圖像的識別。