基于機(jī)器視覺的汽車零部件自動(dòng)分揀系統(tǒng)設(shè)計(jì)

賈科

（長(zhǎng)春一汽車國(guó)際物流有限公司，長(zhǎng)春 130000）

主題詞：機(jī)器人 機(jī)器視覺 自動(dòng)分揀

1 前言

在“中國(guó)制造2025”的背景下，各大企業(yè)都在以智能制造為主線踐行轉(zhuǎn)型升級(jí)之路。智能化工廠是智能制造的核心之一，其基礎(chǔ)是工廠各環(huán)節(jié)實(shí)現(xiàn)高級(jí)自動(dòng)化，并在此基礎(chǔ)上實(shí)現(xiàn)智能化組網(wǎng)和數(shù)據(jù)交互[1]。但目前企業(yè)生產(chǎn)物流中的汽車零部件存儲(chǔ)倉(cāng)庫的零部件分包并沒有實(shí)現(xiàn)高級(jí)自動(dòng)化[2]，這是由于種類繁雜的零部件在正式進(jìn)入生產(chǎn)線前，訂單提前準(zhǔn)備期較短、轉(zhuǎn)換包裝任務(wù)工作量不統(tǒng)一，多以人工進(jìn)行汽車零部件的轉(zhuǎn)換包裝分揀操作。這類轉(zhuǎn)換包裝操作存在勞動(dòng)強(qiáng)度大、勞動(dòng)成本高、勞動(dòng)密集程度高、差錯(cuò)率居高不下、人員因素不可控的問題[3]。因此迫切需要在汽車零部件轉(zhuǎn)換包裝分揀類物流環(huán)節(jié)中采用自動(dòng)化技術(shù)。采用自動(dòng)化分揀技術(shù)更有利于保障零部件訂單及時(shí)、精確配送和物流成本的控制。郭曉輝和Amin Nasiri 進(jìn)行了自動(dòng)分揀系統(tǒng)和基于機(jī)器視覺深度學(xué)習(xí)的自動(dòng)分揀研究項(xiàng)目，這些項(xiàng)目結(jié)論表明自動(dòng)分揀系統(tǒng)的生產(chǎn)效率可提高50%[4-5]，這為“智慧物流支撐智能化工廠”這一目標(biāo)的實(shí)現(xiàn)奠定了關(guān)鍵技術(shù)基礎(chǔ)。

為了規(guī)避汽車產(chǎn)前零部件需要通過人工轉(zhuǎn)換包裝、分揀，在操作過程中勞動(dòng)重復(fù)性高、勞動(dòng)強(qiáng)度大、人工成本高的缺點(diǎn)，提升效率，降低成本，現(xiàn)以本系統(tǒng)方案為例，簡(jiǎn)述基于機(jī)器視覺的汽車零部件自動(dòng)分揀系統(tǒng)設(shè)計(jì)。

2 系統(tǒng)方案設(shè)計(jì)

2.1 系統(tǒng)總體組成

本系統(tǒng)的構(gòu)成主要可分為3部分。

(1)工業(yè)機(jī)器人

(2)抓取裝置

(3)視覺識(shí)別裝置

具體構(gòu)成如圖1所示。

圖1 系統(tǒng)整體構(gòu)成

該系統(tǒng)采用的是標(biāo)準(zhǔn)6 自由度工業(yè)機(jī)器人，能夠應(yīng)用于通用的工業(yè)現(xiàn)場(chǎng)。抓取裝置采用通用吸盤，適用于金屬及非金屬汽車零部件，能夠完成無序排列的抓取操作。視覺識(shí)別裝置的任務(wù)是完成零部件的識(shí)別及完成6軸機(jī)器人在正式抓取汽車零部件前的引導(dǎo)工作。視覺識(shí)別裝置的集成控制系統(tǒng)可分成3部分，分別是：

(1)機(jī)器人通訊

(2)抓取裝置

(3)控制及視覺圖像處理

該系統(tǒng)的空間布局如圖2所示。

圖2 系統(tǒng)空間布局

2.2 系統(tǒng)方案論證

本系統(tǒng)在集成過程中曾制定過3套不同的集成實(shí)施方案，通過對(duì)生產(chǎn)效率、生產(chǎn)成本、人工成本、開發(fā)難易程度4個(gè)維度進(jìn)行分析與充分討論，找出最優(yōu)方案，如表1所示。

（1）方案1 是本系統(tǒng)最終的實(shí)施方案，依靠機(jī)器視覺分揀和目前市場(chǎng)上已十分成熟的視覺開發(fā)軟件開發(fā)；

（2）方案2 依靠機(jī)器視覺分揀和自主開發(fā)的視覺軟件開發(fā)；

（3）方案3 采用的是機(jī)器視覺結(jié)合非工業(yè)機(jī)器人的方案。

3 種方案各有優(yōu)劣，方案1 是采用購(gòu)買成熟軟件產(chǎn)品并在此基礎(chǔ)上進(jìn)行2次開發(fā)的方式，因此項(xiàng)目實(shí)施的速度較快，適合于對(duì)人工效率提升要求較為迫切、且對(duì)項(xiàng)目實(shí)施的時(shí)間周期要求較為嚴(yán)格的企業(yè)；方案2適合自身具備較強(qiáng)軟件開發(fā)能力、且對(duì)項(xiàng)目實(shí)施周期較為寬容的企業(yè)；方案3中由于采用了已定型的產(chǎn)品，并直接應(yīng)用于生產(chǎn)不進(jìn)行任何修改，因此適用于對(duì)項(xiàng)目實(shí)施速度有嚴(yán)格要求，但是對(duì)于人工效率提升方面要求不高、揀選零件單一、未來2次開發(fā)困難的企業(yè)。

通過方案論證，方案1的綜合指標(biāo)最優(yōu)，最適合本案例的企業(yè)環(huán)境。

表1 方案論證

在視覺設(shè)備選型方面，2D 視覺設(shè)備與3D 視覺設(shè)備可達(dá)到的圖像信息采集效果相同，但是2者在圖像采集、圖像信息采集后的數(shù)據(jù)處理以及軟件系統(tǒng)2次開發(fā)升級(jí)方面存在較大差異。

在硬件投資方面，2D設(shè)備由于只能對(duì)平面上物體的輪廓進(jìn)行識(shí)別，無法測(cè)量與被觀察物體之間的距離信息。但在實(shí)際的零件抓取過程中，系統(tǒng)需要確定被抓取零件與視覺設(shè)備之間的3維數(shù)據(jù)，以便確定零件位置與當(dāng)時(shí)的擺放姿態(tài)，進(jìn)而引導(dǎo)自動(dòng)化設(shè)備進(jìn)行抓取操作。為達(dá)到理想效果，需要將2D 設(shè)備與其他設(shè)備進(jìn)行配合使用。因?yàn)?D 視覺設(shè)備制造工藝簡(jiǎn)單，應(yīng)用技術(shù)的復(fù)雜程度較低，因此在硬件采購(gòu)方面較為便宜，其采購(gòu)成本大約是3D視覺設(shè)備的50%。但由于2D設(shè)備在對(duì)汽車零部件距離判斷方面的缺陷，在具體應(yīng)用的環(huán)境中還需要配合1 套距離測(cè)量設(shè)備一同應(yīng)用，以此實(shí)現(xiàn)對(duì)抓取零件的距離測(cè)量及對(duì)零件當(dāng)前擺放姿態(tài)的實(shí)時(shí)判斷。綜合對(duì)比以上2種硬件的當(dāng)前市場(chǎng)價(jià)格，2D視覺設(shè)備+測(cè)距設(shè)備的采購(gòu)總成本大約為3D視覺設(shè)備的60%～65%。

在軟件開發(fā)方面，3D 視覺設(shè)備在數(shù)據(jù)處理、接口調(diào)用方面均有較為成熟的基礎(chǔ)算法與調(diào)用機(jī)制，因此僅需在現(xiàn)有程序基礎(chǔ)上進(jìn)行簡(jiǎn)單的2次開發(fā)與程序升級(jí)操作，即可滿足汽車產(chǎn)前零部件領(lǐng)域的零件抓取操作的技術(shù)要求，可節(jié)約大量的開發(fā)成本。2D視覺設(shè)備在汽車產(chǎn)前零部件方面目前存在的成熟的算法較少，如需將其使用在汽車產(chǎn)前零部件領(lǐng)域則需要大量的程序開發(fā)以及設(shè)備調(diào)試操作，系統(tǒng)開發(fā)成本較高。

在對(duì)數(shù)據(jù)的處理速度方面，配套3D 視覺設(shè)備的基礎(chǔ)算法、接口程序、調(diào)用機(jī)制目前在市場(chǎng)上均已實(shí)現(xiàn)了高度的集成化，可以直接進(jìn)行程序復(fù)用。但配套2D視覺設(shè)備的相關(guān)程序均較為分散，集成化程度低，因此在進(jìn)行數(shù)字圖像處理的速度方面，3D設(shè)備占有較為明顯的應(yīng)用優(yōu)勢(shì)。

綜合以上各種因素，選擇3D 視覺設(shè)備進(jìn)行應(yīng)用是目前的最優(yōu)方案（如表2所示）。

表2 設(shè)備選型

3 視覺識(shí)別裝置的核心技術(shù)

本系統(tǒng)視覺識(shí)別裝置采用Halcon 軟件完成圖像處理，該軟件包具有成熟的圖像處理算法，并采用IDS雙目視覺識(shí)別設(shè)備與計(jì)算機(jī)系統(tǒng)組成視覺識(shí)別裝置的硬件平臺(tái)?；贖Develop 的開發(fā)環(huán)境能夠兼容Windows 操作系統(tǒng)，利用HDevelop 的開發(fā)環(huán)境，并選用其標(biāo)準(zhǔn)程序算法作為開發(fā)基礎(chǔ)，開發(fā)后程序的輸出數(shù)據(jù)可以通過Windows操作系統(tǒng)向后端的6軸機(jī)器人的控制系統(tǒng)進(jìn)行輸出。

3.1 基于Halcon的零件識(shí)別

本系統(tǒng)的核心技術(shù)是基于視覺的零部件識(shí)別，識(shí)別過程主要可以分為2個(gè)過程，首先是獲得要抓取零部件的模板，即首先通過訓(xùn)練使系統(tǒng)明確執(zhí)行任務(wù)的抓取目標(biāo)；然后當(dāng)系統(tǒng)明確模板后進(jìn)行在線的目標(biāo)匹配，在眾多的目標(biāo)中獲取要抓取的零件。

3.1.1 零件離線建模

獲取零件模板可通過離線建模的方式完成。如圖3為零件實(shí)物圖，其離線建模過程是首先讀取零件的點(diǎn)云模型，并通過圖像分割將識(shí)別目標(biāo)與背景圖像進(jìn)行分離，然后將感興趣區(qū)域生成零件的表面點(diǎn)云模板。

通過視覺識(shí)別設(shè)備采集模型點(diǎn)云數(shù)據(jù)，將采集得到的數(shù)據(jù)利用threshold算子去除場(chǎng)景背景，該步驟可以加速后續(xù)的處理速度。然后利用reduce_domain 算子提取得到目標(biāo)識(shí)別定位過程中的感興趣區(qū)域。最后利用create_surface_model 算子生成模型的表面模板如圖4所示。

圖3 零件實(shí)物

圖4 零件點(diǎn)云模板

3.1.2 零件在線檢測(cè)

通過視覺識(shí)別設(shè)備拍照獲零件所處環(huán)境的圖片如圖5 所示。本次試驗(yàn)放入1 種干擾零件，用以說明模板匹配的效果，首先是通過在線拍照獲取零件的點(diǎn)云圖像，移除背景圖像其效果如圖6所示，其主要目的是為了提高零件表面點(diǎn)云模板的速度和魯棒性。

圖5 零件及背景

圖6 零件點(diǎn)云效果

3.1.3 外部光污染干擾的去除

通過深度相機(jī)實(shí)時(shí)采集場(chǎng)景點(diǎn)云數(shù)據(jù)并去除背景。在實(shí)際使用過程中，存在外部的干擾光源可能會(huì)使圖像的成像背景產(chǎn)生干擾，這些干擾光源主要來自于建筑物室內(nèi)原有的照明系統(tǒng)、工藝車輛在途徑操作區(qū)域時(shí)的車燈光以及外部的自然可見光。這些外部光污染可能會(huì)使采集到的零件圖像背景產(chǎn)生模糊、混沌的效果，進(jìn)而導(dǎo)致零件邊緣輪廓模糊、不易捕捉零件形狀。針對(duì)此種情況，在軟件處理時(shí)采用深度相機(jī)實(shí)時(shí)采集并去除背景的方式，即數(shù)據(jù)庫在初次記錄某種零件信息時(shí)，會(huì)首先對(duì)此種零件的外形進(jìn)行多種角度（左視圖、右視圖、正面視圖、背面視圖、俯視圖、仰視圖及部分含有一定偏離視角的視圖共10種以上）的拍攝，并將拍攝的形狀信息錄入數(shù)據(jù)庫系統(tǒng)中。機(jī)器視覺系統(tǒng)在進(jìn)行圖像采集時(shí)也會(huì)利用自帶的強(qiáng)光源近距離對(duì)零件進(jìn)行打光。由于各種光源打在金屬零件表面所形成的點(diǎn)云與空曠背景中形成的點(diǎn)云存在較大差別，因此系統(tǒng)對(duì)形成的點(diǎn)云分布形狀進(jìn)行記錄并去除其余背景圖像僅保留此點(diǎn)云形狀。則在此過程中可有效去除由外接光源引起的干擾，再利用find_surface_model 算子完成對(duì)表面模板和場(chǎng)景點(diǎn)云之間的相互配準(zhǔn)，將視覺識(shí)別設(shè)備到場(chǎng)景點(diǎn)云表面的距離作為篩選條件如圖7所示

圖7 優(yōu)先抓取零件點(diǎn)云效果

如以上系統(tǒng)在實(shí)際使用中處于相對(duì)獨(dú)立的區(qū)域且能夠遠(yuǎn)離干擾光源，其成像效果將會(huì)更好。

3.2 建立視覺識(shí)別設(shè)備與機(jī)器人的空間關(guān)系

通過圖像處理，系統(tǒng)會(huì)得出某一零件的優(yōu)先抓取位置，但是這個(gè)位置是視覺識(shí)別設(shè)備中的位置，工業(yè)機(jī)器人并不知道這個(gè)參數(shù)的具體含義，因?yàn)橐曈X識(shí)別設(shè)備和機(jī)器人所處的參考系不同，所以需要建立視覺識(shí)別設(shè)備與機(jī)器人的關(guān)系模型。

目前，通常采用手眼標(biāo)定的方式完成視覺識(shí)別設(shè)備與機(jī)器人末端的關(guān)系的建立。其具體過程如圖8所示，其中的手眼標(biāo)定算法[6]在市場(chǎng)上已比較成熟，精確度較高，實(shí)現(xiàn)過程簡(jiǎn)單。完成標(biāo)定后機(jī)器人即可獲知抓取目標(biāo)零件的擺放姿態(tài)與位置信息。

圖8 視覺識(shí)別設(shè)備與機(jī)器人手眼標(biāo)定過程

4 抓取裝置、機(jī)器人與系統(tǒng)集成

4.1 抓取裝置設(shè)計(jì)

本系統(tǒng)所選用的抓取裝置是工業(yè)吸盤，通過計(jì)算機(jī)系統(tǒng)控制繼電器的通斷，間接控制吸盤進(jìn)行吸取或者關(guān)斷吸取。氣源將氣體通過電磁閥輸送給真空發(fā)生器，真空發(fā)生器連接工業(yè)吸盤，在真空作用下，吸盤即可吸取零件。由于電磁閥不能夠與計(jì)算機(jī)系統(tǒng)直接連接，因此需要通過繼電器進(jìn)行驅(qū)動(dòng)，其工作原理如圖9所示。

圖9 抓取裝置工作原理

本系統(tǒng)抓取裝置設(shè)計(jì)時(shí)充分考慮應(yīng)用場(chǎng)景的切換，在此建議采用工業(yè)吸盤作為抓取設(shè)備，其應(yīng)用靈活，可根據(jù)零件大小切換吸盤尺寸，而且不用更改氣路和電路連接系統(tǒng)，在實(shí)際應(yīng)用中成功率極高（幾乎可達(dá)100%），吸盤測(cè)試效果如圖10所示。

圖10 抓取裝置效果

4.2 機(jī)器人與系統(tǒng)連接

工業(yè)機(jī)器人通過標(biāo)準(zhǔn)的Ethernet/IP 通訊協(xié)議能夠?qū)崿F(xiàn)與計(jì)算機(jī)系統(tǒng)的“無縫銜接”。機(jī)器人僅需獲得從計(jì)算機(jī)系統(tǒng)中傳輸過來的坐標(biāo)參數(shù)和邏輯指令。機(jī)器人的運(yùn)動(dòng)軌跡則由機(jī)器人本體控制系統(tǒng)利用之前傳輸過來的坐標(biāo)參數(shù)和邏輯指令計(jì)算出最優(yōu)抓取路徑然后對(duì)抓取設(shè)備進(jìn)行控制，自動(dòng)分揀系統(tǒng)如圖11所示。

圖11 自動(dòng)分揀系統(tǒng)

5 結(jié)論

隨著汽車工業(yè)自動(dòng)化技術(shù)逐漸成熟，汽車零部件物流環(huán)節(jié)過程中的“使用自動(dòng)化機(jī)器設(shè)備替換人工操作”這一趨勢(shì)勢(shì)必成為汽車產(chǎn)前零部件行業(yè)領(lǐng)域內(nèi)的共識(shí)。在此系統(tǒng)建設(shè)中集成了多項(xiàng)工業(yè)技術(shù)手段。基于工業(yè)機(jī)器人與機(jī)器視覺系統(tǒng)相集成的應(yīng)用也將為工廠后續(xù)的非標(biāo)準(zhǔn)開發(fā)提供硬件平臺(tái)，達(dá)到一次投入多次應(yīng)用的效果，能夠有效控制生產(chǎn)成本與物流成本，減少人員的重復(fù)性及高強(qiáng)度操作，提高生產(chǎn)效率，有益效果突出。同時(shí)也與我國(guó)工信部提出的企業(yè)“兩化融合”戰(zhàn)略方針、推動(dòng)傳統(tǒng)行業(yè)企業(yè)轉(zhuǎn)型升級(jí)這一目的相一致。

本系統(tǒng)是基于企業(yè)現(xiàn)有需求進(jìn)行設(shè)計(jì)，能夠?qū)崿F(xiàn)本系統(tǒng)的功能目標(biāo)。未來在本系統(tǒng)基礎(chǔ)上可繼續(xù)開發(fā)網(wǎng)絡(luò)互聯(lián)接口，與汽車制造主機(jī)廠中控中心進(jìn)行組網(wǎng)開發(fā)，奠定了智慧工廠的平臺(tái)基礎(chǔ)。