基于機器視覺與RobotStudio的餅干包裝生產(chǎn)線仿真

郝瑞林 ，周利杰 ，蔡國慶 ，劉 輝 ，孫迎建

（1.滄州市工業(yè)機械手控制與可靠性技術(shù)創(chuàng)新中心，河北滄州 061001；2.河北省工業(yè)機械手控制與可靠性技術(shù)創(chuàng)新中心，河北滄州 061001；3.河北水利電力學(xué)院 機械工程系，河北滄州 061001）

0 引言

針對餅干包裝生產(chǎn)線上包裝盒由于位置、角度不一致導(dǎo)致裝箱困難問題，首先要變無序為有序，通過機器視覺技術(shù)可識別物體的位置、角度、類別、顏色、缺陷等信息，利用這些信息可將復(fù)雜多變的情況歸類處理，實現(xiàn)預(yù)期目標［1-5］。得到位置、角度信息后，機器人便可對產(chǎn)品進行智能抓取。在生產(chǎn)線上調(diào)試費時費力不經(jīng)濟，可先通過軟件仿真調(diào)試。RobotStudio是ABB機器人仿真軟件，在食品、藥品、汽車等生產(chǎn)線上均有應(yīng)用，可仿真分揀、上下料、碼垛、焊接等工作，實現(xiàn)建模、仿真、編程等基本功能，模擬真實環(huán)境，配置機器人周邊設(shè)備［6-11］。本文基于機器視覺和RobotStudio軟件設(shè)計餅干包裝自動生產(chǎn)線仿真系統(tǒng)，可將無序放置的盒裝餅干智能抓取且有序裝箱［12-13］。

1 創(chuàng)建仿真模型

離線編程是機器人系統(tǒng)投資回報最大化的最佳方式。相較于并聯(lián)機器人，串聯(lián)機器人具有更大的工作空間、更加靈活的翻轉(zhuǎn)角度。本文選用負載3 kg的ABB串聯(lián)機器人IRB120_3_58_G_01，簡稱IRB120。首先在Solidworks軟件中創(chuàng)建機器人的末端鎖緊器、吸盤等部件的3D模型，然后將其導(dǎo)入RobotStudio軟件。將包裝生產(chǎn)線所有設(shè)備及原料進行布局，如圖1所示。

圖1 餅干包裝生產(chǎn)線仿真模型Fig.1 Simulation Model of Biscuit Packaging Production Line

2 生產(chǎn)線仿真設(shè)計

2.1 生產(chǎn)線工作任務(wù)

生產(chǎn)線計劃將一條傳送帶上3盒不同位置和角度的餅干，通過視覺識別自動放置到另一條傳送帶的箱子中。具體步驟如下：（1）200×50×50 mm的盒裝餅干在盒傳送帶上運輸時，呈現(xiàn)位置和角度均隨機的不規(guī)則情況，末端傳感器在檢測到盒裝餅干時，使盒傳送帶停止；（2）餅干箱可容納3盒餅干，且均勻地由箱傳送帶運輸，箱傳送帶傳感器在檢測到箱子到達時停止；（3）在盒傳送帶、箱傳送帶全部停止后，由工業(yè)相機對盒裝餅干進行拍照，檢測盒裝餅干的中心位置（x，y）及偏離角度a，通過socket通訊將數(shù)據(jù)傳送給機器人；（4）機器人接到信息后，通過對示教點的偏移指令用吸盤抓取餅干，并在提升過程中將餅干盒旋轉(zhuǎn)至裝箱角度，同時，盒傳送帶將后續(xù)餅干傳送到末端，待抓??；（5）機器人按照次序放置第1盒餅干，放好后機器人末端提升100 mm，待下一次抓取，若后續(xù)餅干到達，則與抓放第1盒餅干過程相似，即拍照—抓取—放置，如此循環(huán)；（6）在放好第3盒餅干后，箱傳送帶末端傳感器強制失效一段時間，則箱傳送帶運動，后續(xù)餅干箱到達后立即停止，再裝箱直至MES下達的任務(wù)結(jié)束停止。

2.2 串聯(lián)機器人運動規(guī)劃

依據(jù)生產(chǎn)線任務(wù)，對串聯(lián)機器人IRB120的運動軌跡進行規(guī)劃設(shè)計。末端執(zhí)行器為小型膠底吸盤，工具中心點TCP設(shè)置在吸盤末端圓心處。機器人運動規(guī)劃路徑如圖2所示，“●”表示吸盤TCP經(jīng)過的位置點，“→”表示吸盤TCP運動的軌跡。在放置點pPut1、pPut2、pPut3和拾取點pPick的正上方100 mm處分別設(shè)置1個點，使得運動更加順暢、無磕碰。機器人初始位置位于pHome點，通過拍照計算盒裝餅干中心點（即pPick點）和偏移角度，后經(jīng)過a→b→c將盒裝餅干從pPick點拾起，根據(jù)次序不同分別放置在3個不同放置點 pPut1、pPut2、pPut3，放置結(jié)束后通過g1/g2/g3返回pHome點。待3盒餅干全部裝箱后，仍返回pHome點等待指令。

圖2 機器人餅干裝箱路徑規(guī)劃Fig.2 Path Planning of Biscuit Packing Robot

3 Smart組件設(shè)計與制作

Smart組件是RobotStudio用來制作動畫的重要工具。在餅干包裝生產(chǎn)線中，傳送帶起止、傳感器觸發(fā)、定時器間隔、餅干盒的隨機擺放等都需要Smart組件進行仿真，實現(xiàn)各設(shè)備邏輯之間的配合。工作站中設(shè)計4個Smart組件，分別是鎖緊塊、吸盤組件、盒傳送帶和箱傳送帶。

3.1 鎖緊塊Smart組件

鎖緊塊Smart組件用于連接機器人第6軸法蘭與末端執(zhí)行器，便于機器人更換吸盤組件或夾持組件等末端執(zhí)行器。在實際應(yīng)用中，如遇生產(chǎn)線換線情況，在鎖緊塊上只需按下氣動開關(guān)便可手動更換末端工具，無需拆除、鎖緊螺絲等繁瑣步驟。要實現(xiàn)該功能，鎖緊塊Smart組件中需添加線傳感器（LineSensor）、獲取父對象（GetParent）、安裝（Attacher）、拆除（Detacher）、邏輯非門（Logicgate）、鎖緊動作（Posemover）、松開動作（Posemover_2）等7個子組件。LineSensor用于檢測是否接觸到末端執(zhí)行器，其SensedPart（圓塊）通過GetParent找到吸盤組件。吸盤組件可通過Posemover或Posemover_2安裝到鎖緊塊或從鎖緊塊拆除。鎖緊塊Smart組件設(shè)置輸入信號Di1，用于激活LineSensor。

3.2 吸盤Smart組件

吸盤Smart組件用于吸附盒裝餅干，安裝在鎖緊塊Smart組件上，包含線傳感器（LineSensor1）、安裝（Attacher）、拆除（Detacher）和邏輯非門（Logicgate）等子組件。其中LineSensor1用于檢測吸盤是否接觸到盒裝餅干，再通過Attacher和Detacher進行盒裝餅干的吸附和放置。各子組件之間的屬性連接如表1所示。

表1 吸盤Smart組件屬性連接表Tab.1 Property connection table of suction cup smart components

吸盤Smart組件設(shè)置輸入信號Di2，用于激活LineSensor1。各子組件之間信號連接如表2所示。

表2 吸盤Smart組件信號連接表Tab.2 Signal Connection Table of Suction Cup Smart Components

3.3 盒傳送帶Smart組件

盒傳送帶Smart組件用于運輸盒裝餅干，并仿真隨機擺放餅干盒的位置及角度，包括定時器（Timer）、源（Source）、隊列（Queue）、面?zhèn)鞲衅鳎≒laneSensor）、邏輯非門（LogicGate）、線性移動（LinearMover）、3個隨機數(shù)（Random）、2個向量轉(zhuǎn)換（VectorConverter）和3個表達式（Expression）等子組件。定時器負責(zé)觸發(fā)，可仿真每個餅干盒放到傳送帶的時間間隔。Source可設(shè)置復(fù)制后的餅干盒位置Position與角度Orientation，分別由 3維數(shù)組表示：位置數(shù)組［x，y，z］中 z始終為0.8 m，x和y坐標由Random隨機數(shù)經(jīng)過轉(zhuǎn)換后得到；角度數(shù)組［Rx，Ry，Rz］中只有 Rz（繞 z軸轉(zhuǎn)過角度）變化，通過Random隨機數(shù)使其變化。仿真得到x波動范圍為20 mm，y波動范圍為40 mm，角度波動范圍為360°。PlaneSensor設(shè)置在傳送帶末端，若檢測到餅干盒到達，則盒傳送帶停止。LinearMover可仿真?zhèn)魉蛶衔锲芬苿拥姆较蚝退俣?。各子組件之間的屬性連接如表3所示。

表3 盒傳送帶Smart組件屬性連接表Tab.3 Property Connection Table of Case Conveyor Belt Smart Components

盒傳送帶Smart組件設(shè)置輸出信號（biscuit_ready），表示餅干盒傳送到位，使得傳送帶停止。各子組件之間信號連接如表4所示。

表4 盒傳送帶Smart組件信號連接表Tab.4 Signal Connection Table of Case Conveyor Belt Smart Components

3.4 箱傳送帶Smart組件

箱傳送帶Smart組件用于運輸箱子，包括定時器（Timer_2）、源（Source_2）、隊列（Queue_2）、面?zhèn)鞲衅鳎≒laneSensor_2）、邏輯非門（LogicGate_2）和線性移動（LinearMover_2）等子組件。定時器負責(zé)觸發(fā)，可仿真每個餅干箱放到傳送帶的時間間隔。Source_2可復(fù)制餅干箱源源不斷地輸出。LinearMover_2可仿真?zhèn)魉蛶衔锲芬苿拥姆较蚝退俣?。各子組件之間的屬性連接如表5所示。

表5 箱傳送帶Smart組件屬性連接表Tab.5 Property Connection Table of Box Conveyor Belt Smart Components

箱傳送帶Smart組件設(shè)置輸出信號（box_ready），表示餅干箱傳送到位，使得傳送帶停止。各子組件之間信號連接如表6所示。

表6 箱傳送帶Smart組件信號連接表Tab.6 Signal Connection Table of Box Conveyor Belt Smart Components

4 機器視覺識別

機器視覺部分基于?？低昖isionMaster平臺實現(xiàn)，識別任務(wù)為計算餅干盒中心點位置（x，y）和擺放角度a，并把 x、y、a發(fā)送給機器人。以盒裝餅干作為樣本，方案分4步實施，包括圖像源、快速特征匹配、格式化和發(fā)送數(shù)據(jù)。圖像源使用本地灰度圖像，像素格式MONO8。快速特征匹配需要創(chuàng)建特征模板，導(dǎo)入一張0°的盒裝餅干圖片，框出輪廓作識別模板，可得出任意圖片盒裝餅干上表面中心點x和y坐標、偏移角度等數(shù)據(jù)。格式化模塊可將匹配結(jié)果以字符串格式排列起來，具體數(shù)據(jù)格式為“＜2快速特征匹配.匹配點 x（%1.3f）＞［0］；＜2 快速特征匹配 .匹配點y（%1.3f）＞［0］；＜2 快速特征匹配 .角度（%1.3f）＞［0］；”，即x坐標、y坐標、角度之間以“；”隔開，以便機器人接收信息后解碼。發(fā)送數(shù)據(jù)設(shè)置通信設(shè)備“TCP客戶端0”，發(fā)送數(shù)據(jù)選擇“3格式化.格式化結(jié)果［］”。在通信管理中設(shè)置TCP客戶端0目標端口8000，打開Socket Tool監(jiān)聽8000端口可接收VisionMaster發(fā)送數(shù)據(jù)。圖3為6張盒裝餅干在傳送帶上的照片，計算可得到數(shù)據(jù)：（a）925.915；423.006；22.132；（b）976.519；406.725；-30.359；（c）927.618；422.206；11.451；（d）1031.800；309.349；-11.424；（e）967.905；550.991；15.368；（f）889.998；345.288；21.433。位置坐標和角度均已計算得出，下一步需根據(jù)現(xiàn)場情況進行相機標定，對得到數(shù)據(jù)進行坐標變換，以確定機器人運動到盒裝餅干的上表面中心位置點。

圖3 隨機擺放的盒裝餅干照片F(xiàn)ig.3 Randomly Placed Packed Biscuits

5 程序編寫

根據(jù)任務(wù)要求，先對機器人控制器進行I/O配置，后通過工作站邏輯設(shè)置，將所有Smart組件之間的信號組成網(wǎng)絡(luò)，最后完成離線程序的編寫。假設(shè)工廠MES系統(tǒng)安排的生產(chǎn)任務(wù)為10箱餅干，生產(chǎn)線仿真流程如圖4所示。

圖4 餅干包裝生產(chǎn)線流程圖Fig.4 Flow Chart of Biscuit Packaging Production Line

根據(jù)流程圖，工作站邏輯需要將各Smart組件的信號I/O連接起來。工作站需要檢測盒、箱是否傳送到位，即數(shù)字輸入信號di3、di4；同時要有2個數(shù)字輸出信號，do1負責(zé)打開或關(guān)閉吸盤吸氣，box_move負責(zé)打開或關(guān)閉箱傳送帶上的面?zhèn)鞲衅?。工作站邏輯信號連接如表7所示。

表7 工作站邏輯信號連接表Tab.7 Signal Connection Table of Workstation Logic

基于以上設(shè)置，通過Socket通信功能接收相機傳來數(shù)據(jù)，通過拆解字符方式，分別獲得當(dāng)前餅干盒距離已存位置點pPick的偏移坐標（x1，y1）和需旋轉(zhuǎn)的角度b，通過偏移指令對機器人末端進行編程運動規(guī)劃。為了簡化主程序，打包初始化（init）、拆解字（DecodeData）、旋轉(zhuǎn)（rotZ）等3個子程序，使得主程序框架更加清晰。

6 仿真與優(yōu)化

對餅干包裝生產(chǎn)線進行仿真，餅干盒與餅干箱全部傳送到位后，生產(chǎn)線開始拍照、計算偏移信息，機器人在抓取餅干盒后，盒傳送帶立即將后續(xù)餅干盒以設(shè)定速度繼續(xù)傳送，直到第2盒餅干到位。待3盒餅干都放置到餅干箱中后，箱傳送帶開始以設(shè)定速度傳送，直到下一只箱被感知為止。仿真過程完全實現(xiàn)既定目標，吸盤抓取餅干和裝箱過程實現(xiàn)100%準備率。假設(shè)盒傳送帶和箱傳送帶運動速度均為200 mm/s，盒裝餅干每4 s投放1盒，箱每6 s投放1只，開始仿真運行，裝箱10只的總時間為211.213 s。為縮短生產(chǎn)時間，可盡量降低pHome位置點高度，縮短盒裝餅干投放間隔時間為2 s，縮短箱投放間隔時間為3 s，縮短裝箱完畢后等待時間為1.2 s，裝箱10只的總時間可縮短至150.239 s。根據(jù)需要調(diào)整各參數(shù)，直至滿足生產(chǎn)需要為止。

7 結(jié)語

基于機器視覺與RobotStudio軟件進行生產(chǎn)線仿真，可在不停產(chǎn)情況下任意調(diào)整參數(shù)，根據(jù)生產(chǎn)需求優(yōu)化生產(chǎn)線至最合理狀態(tài)。生產(chǎn)線結(jié)合機器視覺自動抓取隨機擺放的餅干盒，省掉人工整理環(huán)節(jié)，降低人工環(huán)節(jié)出錯率，提高自動化程度。若需進一步縮短生產(chǎn)時間，可考慮從生產(chǎn)線跟蹤方向上研究機器人的運動規(guī)劃。