應(yīng)用于機器裝配的多目標視覺識別與分類系統(tǒng)

方祝平，張 博，王 曦，鄧安寧，陳海棠

（1.成都工業(yè)學(xué)院 自動化與電氣工程學(xué)院，成都 611700；2.中國工程物理研究院，綿陽 621900）

0 引言

精密儀器的性能提升和尺寸減小使得其內(nèi)部結(jié)構(gòu)日趨復(fù)雜，造成傳統(tǒng)的人工裝配方式在效率、成本、可靠性等方面面臨嚴峻挑戰(zhàn)。因此，自動化裝配正逐漸成為精密儀器生產(chǎn)制造的重要手段，并廣泛應(yīng)用于航空航天、國防科技等重大領(lǐng)域。近年來，將機器視覺與機器臂相結(jié)合的視覺裝配技術(shù)憑借其在靈活性和兼容性上的優(yōu)勢引起了學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注。在裝配過程中，對于零配件的視覺識別和分類是其中的首要環(huán)節(jié)，也是關(guān)鍵步驟之一。

目前，國內(nèi)外學(xué)者在視覺識別領(lǐng)域已經(jīng)開展了大量研究。陳超等人將識別算法應(yīng)用于集裝箱箱號的識別[1]。李芯等人將模板匹配技術(shù)和SVM（Support Vector Machine）算法結(jié)合在一起進行目標檢測[2]。惠紀莊等人利用SURF（Speeded Up Robust Features）提取特征點，采用BRISK（Binary Robust Invariant Scalable Keypoints）算法對目標工件進行描述并計算其與特征的相似度，再利用MSAC（M-Estimate Sample Consensus）算法進行二次匹配來實現(xiàn)對目標工件的識別[3]。司小婷等人研究了基于視覺的零件特征識別與分類研究，總結(jié)出多種可行的識別方法[4]。

以上研究顯示視覺識別技術(shù)已經(jīng)較為成熟，并且開始獲得一些實際應(yīng)用。然而，這些研究全是基于單一目標進行，即每次識別都只針對一種物體。實際上，在進行視覺裝配時，機器可能會面臨更為復(fù)雜的作業(yè)要求，例如在未經(jīng)分類的零件中按特定順序進行抓取，多部機器協(xié)同操作同時獲取多種零件，以及在大量微納尺寸零件中篩選出特定目標。由此可見，針對視覺識別技術(shù)在多目標環(huán)境下的適用性和有效性展開相關(guān)研究是有一定必要性的。

本文基于圖像處理和模板匹配方法搭建了一套針對多目標環(huán)境的視覺識別系統(tǒng)，實現(xiàn)了不同特征零件的同步識別和分類，并著重分析了形貌、尺寸、間距以及光照等因素對于識別效果的影響，為多目標識別系統(tǒng)的進一步研究提供了一定的思路和基礎(chǔ)。

1 算法模型

1.1 圖像預(yù)處理

在圖像的采集、數(shù)字化和傳輸過程中，由于受到環(huán)境條件（如光照強度、光照均勻度、拍攝角度）、設(shè)備性能和隨機干擾的影響，相機獲取的原始圖像可能會出現(xiàn)影像模糊、對比度差、混入噪聲等問題，通常無法直接使用。因此，在視覺識別前需進行預(yù)處理以消除圖像中的無關(guān)信息，恢復(fù)有關(guān)信息并增強其可檢測性，從而提升特征提取、匹配和識別的效果[5]。在本文的預(yù)處理過程中，首先通過灰度變換增強識別目標與圖片背景間的對比度，然后通過濾波算法去除干擾點，最后采用邊緣檢測算法提取目標物體的幾何邊緣。

1.2 模板匹配算法

1.2.1 圖像灰度化

通過計算模板與圖像的相似度，在感興趣區(qū)域T內(nèi)對模板圖像進行平移，模板移動至某一特定位置的相似性度量S如下所示，用于表征圖像與模板的差異程度：

其中T為感興趣區(qū)域，t（a，b）為模板圖像，f（r+a，c+b）為移動至模板區(qū)域的灰度值。計算模板與圖像之間灰度差值的絕對值求和S'及平方求和S''：

其中，n為模板感興趣區(qū)域的像素數(shù)量。當光線發(fā)生線性變化時，同樣會引起灰度值變化，從而導(dǎo)致識別出錯。因此，為防止線性光照變化的影響，采用如下歸一化互相關(guān)函數(shù)形式：

其中，mt和為模板所有像素點灰度值的平均值和方差，mf（r，c）與（r，c）為平移至當前位置圖像所有像素點灰度值的平均值和方差[6]。

1.2.2 金字塔算法

在金字塔算法中，圖像按照分辨率高低不同被堆疊成多層結(jié)構(gòu)，從上至下圖像分辨率逐漸升高。模板匹配過程從最上層低分辨率圖像開始[7]，以兩個圖像之間的平方歐氏距離作為相似性度量，其計算公式如下[8,9]：

其中，ω（x，y）為模板圖像函數(shù)，K、L為模板圖像長度和寬度，f（i，j）為目標圖像函數(shù)，M、N為目標圖像長度和寬度。將式(5)展開后，表示模板的總能量，為恒定值。如果假設(shè)目標圖像的像素和顏色強度分布也是均勻的，那么同樣可以近似認為保持不變。因此，目標圖像與模板在（i，j）點重疊時的相似程度可表示為：

循環(huán)掃描目標圖像中所有可能的（i，j）點即獲得可能的匹配結(jié)果。然而，如果圖像能量隨位置發(fā)生變化，則會出現(xiàn)匹配失敗。通過計算歸一化相關(guān)項可解決以上問題：

2 實驗平臺

2.1 視覺檢測系統(tǒng)

本研究所用視覺識別系統(tǒng)由圖像采集裝置和計算機控制系統(tǒng)兩部分組成。其中，圖像采集裝置主要由CCD相機、相機支架以及LED線性光源等部件組成，其核心參數(shù)如表1所示。

2.2 上位機軟件

本研究基于NI公司推出的LabVIEW程序開發(fā)環(huán)境進行上位機軟件開發(fā)[10]，其工作流程如圖1所示。在開始識別前，需先對識別目標的模板圖像進行創(chuàng)建與學(xué)習(xí)，并保存學(xué)習(xí)后的模板圖像以供調(diào)用。識別時，先對實時采集圖像進行預(yù)處理，再使用金字塔灰度算法將識別目標的模板圖像與實時采集圖像進行匹配，如匹配成功則返回相關(guān)信息，如中心坐標、旋轉(zhuǎn)角度、外框尺寸等。針對多個識別目標，程序采用并行方式進行匹配，從而實現(xiàn)了多目標的同步識別和分類，有效提升了程序執(zhí)行效率和速度。

圖1 視覺檢測系統(tǒng)上位機軟件工作流程圖

3 實驗與結(jié)果

3.1 實驗方法

如表2所示，本研究使用A、B、C、D四類零件作為識別目標，其中A類零件共有四種尺寸。實驗時，首先對多種零件的隨機組合進行檢測，以驗證系統(tǒng)實現(xiàn)多目標識別和分類的可行性和可靠性，然后分別研究形貌、尺寸、間距、光照等變量對于視覺識別效果的影響。每一組識別實驗需對不少于1000張圖像進行測試，同時記錄識別度和尺寸誤差等計算結(jié)果。

表2 不同類型零件的標號、模板圖片以及外徑尺寸

3.2 結(jié)果分析

圖2展示了不同類型零件混合放置時的識別和分類效果。其中，矩形框表示該零件匹配成功，而矩形框的顏色則用于區(qū)分零件的類型。可以看出，本文研發(fā)的視覺識別系統(tǒng)不僅能夠識別各種零件，還可以有效地進行分組，基本實現(xiàn)了多目標的同步識別與分類。進一步研究發(fā)現(xiàn)，多目標場景下不同類型零件的識別效果存在較大差異，如圖3所示。在五種不同類型的零件中，A3類零件的識別率最高達到96.74%，比識別率最低的D類零件高出2.46%。我們認為，識別率的不同可能與零件的形貌、尺寸或者間距有關(guān)，因此本文接下來將從這幾個方面對該問題展開討論。

圖2 多類型零件混合放置時的視覺識別與分類效果

圖3 多類型零件混合放置時系統(tǒng)對不同類型零件的識別率統(tǒng)計

3.2.1 形貌

為了進一步研究形貌對識別率的影響，選取A3、B、C、D四種尺寸相同但形貌不同的零件進行了對比實驗。如圖5實驗結(jié)果顯示，A3、B和C三種零件的識別率依次降低，但差別較小不到0.6%；相對地，D零件的識別率則遠低于其他三種零件僅為94.4%。通過觀察表1中的模板圖片可以發(fā)現(xiàn)，與其余三種零件相比，D零件構(gòu)成元素多，孔徑尺寸小，同時整體對稱性程度較低，導(dǎo)致在匹配過程中需要更多特征點和更清晰的輪廓[11]。因此，對于此類零件應(yīng)將模板匹配與其他方法如神經(jīng)網(wǎng)絡(luò)結(jié)合使用以提高目標識別率[12]。另一方面，從圖4還可以看出，零件尺寸的測量誤差與其形貌結(jié)構(gòu)沒有明顯的相關(guān)性，基本穩(wěn)定在0.02mm～0.04mm之間。

圖4 零件形貌對系統(tǒng)識別率和尺寸測量誤差的影響

3.2.2 尺寸

選取A1、A2、A3、A4四種形貌相同但尺寸不同的零件進行對比實驗，以進一步分析識別率與零件尺寸的關(guān)系。由圖5可以看出，對于形貌相同的零件，機器識別率隨著零件尺寸的增加而升高。例如，4.3mm零件的識別率僅為96.13%，而14.36mm零件的識別率則達到97.14%。出現(xiàn)以上現(xiàn)象的原因可能與物體光照情況有 關(guān)[13]。當尺寸較大時，零件表面光照更加均勻，形貌輪廓更加清晰，有利于提高匹配精度，從而達到更好的識別效果。此外，與形貌實驗類似，零件尺寸的測量誤差位于0.02mm～0.04mm之間，并且與尺寸大小沒有明顯相關(guān)性。

圖5 零件尺寸對系統(tǒng)識別率和尺寸測量誤差的影響

3.2.3 間距

圖6所示是不同間隔距離下系統(tǒng)對零件的識別率變化情況。如圖所示，在平均間距不足1個像素點時，零件識別率仍能達到81%以上，且隨著間隔距離的增大而逐漸增大。在平均間距增大至80個像素點之前，識別率呈現(xiàn)出近似線性的快速增長，而此后增長逐漸變緩并趨于穩(wěn)定。由此可見，盡管間距減小會導(dǎo)致相鄰零件的邊緣不夠清晰，但基于金字塔算法的模板識別技術(shù)在一定程度上仍然能夠?qū)α慵M行區(qū)分。然而，確保零件間保持合理間距對于提升視覺系統(tǒng)的識別準確性非常重要，且此間距值針對不同視覺系統(tǒng)或樣品集有所不同，應(yīng)通過類似的實驗進行確定。

圖6 相鄰零件平均間距對系統(tǒng)識別率的影響

3.2.4 光源

至此為止，以上三組實驗均在自然光環(huán)境下開展，為進一步探討光照條件對識別效果的影響，本文在線性光源環(huán)境下重復(fù)了以上三組實驗，并與前述結(jié)果進行對比分析。如圖7所示，線性光源下零件識別率與形貌、尺寸、間距的相關(guān)性不變，但光照環(huán)境的優(yōu)化明顯改善了識別效果，使系統(tǒng)識別率提升了0.5%～2%。識別率的提升主要是由于線性光源照射下零件表面的光亮度更加均勻且可控，合理的對比度有助于圖像的灰度化和目標提取，同時更加清晰的輪廓線條有利于特征參數(shù)的提取。此外，對于在此前實驗中識別率相對較低的樣本集，如結(jié)構(gòu)復(fù)雜的零件或相互間距較小的零件，線性光源的使用對識別率的提升效果更為明顯。因此可以預(yù)計，進一步優(yōu)化光源亮度和照射角度有望進一步改善本文所設(shè)計檢測系統(tǒng)的各項性能。

圖7 自然光源和線性光源下系統(tǒng)識別率的比較

4 結(jié)語

本文設(shè)計了一種基于機器視覺的多目標同步識別與分類系統(tǒng)，以提升復(fù)雜場景下機器裝配的效率、靈活性以及自由度。該系統(tǒng)首先對采集圖像進行灰度化、濾波、邊緣提取等處理，然后采用灰度值與金字塔算法進行模板匹配，進而完成多種目標的識別、分類以及坐標計算。本文選取了形貌、尺寸各不相同的七種零件對系統(tǒng)性能進行研究，每一組實驗需對不少于1000張圖像進行測試。實驗結(jié)果表明，在未經(jīng)優(yōu)化的情況下，系統(tǒng)對多種零件同步識別的準確率分布在94%～97%之間，且與零件特征高度相關(guān)。進一步研究顯示，零件的結(jié)構(gòu)、孔徑以及對稱度對識別效果影響很大，結(jié)構(gòu)簡單、對稱度高的零件識別率較高。同樣地，零件尺寸和間距的增大亦有助于提升識別率。此外，合理地選擇光源能夠有效改善系統(tǒng)性能，穩(wěn)定、均勻的線光源被證明可使識別率提升0.5%～2%。綜上所述，本文所設(shè)計視覺檢測系統(tǒng)基本實現(xiàn)了多目標的識別與分類，優(yōu)化改善空間較大，未來有望輔助自動組裝設(shè)備在多目標環(huán)境下執(zhí)行復(fù)雜任務(wù)。