基于機(jī)器視覺的瓦楞紙壓制送料機(jī)器人的控制

陳 賢 夏建春

（常州紡織服裝職業(yè)技術(shù)學(xué)院，江蘇常州，213164）

瓦楞紙是一種通過瓦楞壓制機(jī)形成的波紋形紙片[1]，已經(jīng)有100多年的歷史，由于價(jià)格便宜、用途廣泛、制作簡(jiǎn)易、且能回收甚至重復(fù)利用，使其得到了廣泛應(yīng)用，本文的瓦楞紙應(yīng)用于制作濕簾，是濕簾的重要組成部分[2]。

濕簾瓦楞紙的生產(chǎn)工藝一般包括上漿、干燥、壓制瓦楞、定型、上膠、固化、切片、修磨、去味等[3-4]。在整個(gè)生產(chǎn)過程中，自動(dòng)化水平還不夠，在上漿、干燥等工序，生產(chǎn)對(duì)象可以成批進(jìn)行加工和上下料，但是在壓制瓦楞工序中，由于生產(chǎn)濕簾工藝的要求，不同品種瓦楞紙生產(chǎn)的瓦楞的角度是不同的，需要人工進(jìn)行干預(yù)及操作。圖1為工人現(xiàn)場(chǎng)操作。在紙板切割完成后，操作人員需要根據(jù)濕簾對(duì)瓦楞角度的要求，將紙板調(diào)整好角度送入瓦楞壓制機(jī)中。為了實(shí)現(xiàn)可靠的生產(chǎn)，一般操作人員會(huì)拿一個(gè)靠鐵塊作為角度基準(zhǔn)。雖然這種操作方式簡(jiǎn)單方便，但是操作人員的操作重復(fù)機(jī)械，因此往往操作也變得隨意散漫，造成產(chǎn)品質(zhì)量的不穩(wěn)定，實(shí)現(xiàn)自動(dòng)化的送料操作也成為必然需求[5]。

在實(shí)際生產(chǎn)中，對(duì)板型材料的輸送應(yīng)用研究，許多工程技術(shù)人員作出了很多貢獻(xiàn)。李麗閣等人[6]設(shè)計(jì)了一種紙板吸取機(jī)構(gòu)和輸送機(jī)構(gòu)，將包裝紙板的輸送速度提高到80只/min。高強(qiáng)等人[7]對(duì)服裝布料等軟性材料進(jìn)行上料機(jī)器人的研究，主要探討了布匹的邊緣定位算法；汪瑞良[8]設(shè)計(jì)了光伏電池生產(chǎn)中的玻璃上料機(jī)器人；蔣磊等人[9]針對(duì)輸電線纜輸送問題的機(jī)器人的應(yīng)用進(jìn)行研究。但是這些研究有的偏重于機(jī)械本體的設(shè)計(jì)，有的研究偏重于對(duì)圖像處理算法的研究，對(duì)在實(shí)際生產(chǎn)環(huán)境下的機(jī)器人引導(dǎo)方法研究還不夠深入。因此本文從實(shí)際生產(chǎn)角度研究和探討如何使用機(jī)器人代替人工正確引導(dǎo)紙板進(jìn)入壓輥機(jī)。

圖1 工人現(xiàn)場(chǎng)操作Fig.1 Field operation

1 瓦楞壓制的紙板運(yùn)行軌跡規(guī)劃

當(dāng)紙板被切紙機(jī)切割以后，紙板的位置是無法確定的，但是瓦楞紙壓制出的瓦楞角度需要保持恒定。因此，壓輥壓制紙板的位置需要保證恒定。操作人員需要將紙板移動(dòng)到基準(zhǔn)位置，然后將紙板送入壓輥進(jìn)行瓦楞的壓制。為了實(shí)現(xiàn)將紙板自動(dòng)送入壓輥，需要實(shí)現(xiàn)機(jī)器人輸送紙板的運(yùn)行軌跡模擬工人的動(dòng)作軌跡。機(jī)器人位置固定，但紙板的位置并不固定。機(jī)器人抓取紙板時(shí)，紙板在機(jī)器人坐標(biāo)系中的位置也成為隨機(jī)狀態(tài)，這就需要視覺來確定紙板在坐標(biāo)系中的位置。

圖2為紙板運(yùn)行軌跡規(guī)劃圖。從圖2可以看出，紙板上標(biāo)號(hào)1、2、3、4是表示紙板移動(dòng)的4個(gè)位置。1號(hào)位置是切紙機(jī)切紙動(dòng)作完成后紙板的位置，在這個(gè)位置上機(jī)器人采用固定姿態(tài)進(jìn)行抓紙；2號(hào)位置為機(jī)器人將紙板移動(dòng)到的拍照位置；在這個(gè)位置上，相機(jī)獲得紙板的紙尖圖片；3號(hào)位置為機(jī)器人將紙板調(diào)整好的姿態(tài)位置；4號(hào)位置為機(jī)器人送紙進(jìn)入壓輥的位置。

圖2 紙板運(yùn)行軌跡規(guī)劃圖Fig.2 Running track of paperboard

4個(gè)位置是機(jī)器人模擬人工進(jìn)行的動(dòng)作，需要達(dá)到的效果為：

（1）切紙機(jī)將紙板切割成2100 mm×1200 mm尺寸的規(guī)格，機(jī)器人抓紙；

（2）機(jī)器人將紙板移動(dòng)至拍照位置；

（3）機(jī)器人將紙板調(diào)整好姿態(tài)；

（4）將紙板送入壓輥。

2 控制系統(tǒng)

2.1 控制系統(tǒng)硬件組成

為實(shí)現(xiàn)模擬工人將壓制紙板送入壓輥的操作過程，本文采用工控機(jī)作為控制核心，PLC控制壓制紙的切刀和瓦楞壓制機(jī)，工控機(jī)與PLC之間通過RS485接口進(jìn)行通信，通過ModbusRTU協(xié)議作為數(shù)據(jù)通信協(xié)議，用來傳遞機(jī)器人當(dāng)前工作狀態(tài)、切紙機(jī)的工作狀態(tài)，根據(jù)工作狀態(tài)控制工作節(jié)奏。工控機(jī)通過以太網(wǎng)接口控制著機(jī)器人和工業(yè)相機(jī)。工業(yè)相機(jī)采集圖像數(shù)據(jù)，工控機(jī)得到數(shù)據(jù)，預(yù)測(cè)機(jī)器人的運(yùn)行姿態(tài)，驅(qū)動(dòng)機(jī)器人模擬工人的操作動(dòng)作。圖3為自動(dòng)送紙系統(tǒng)架構(gòu)圖，工控機(jī)采用研華610L型PC機(jī)，PLC采用匯川H3U型PLC，工業(yè)相機(jī)采用Basler aca2500-14gc，機(jī)器人采用國(guó)機(jī)智能的SR1700型工業(yè)機(jī)器人。

圖3 自動(dòng)送紙系統(tǒng)架構(gòu)圖Fig.3 Automatic paper feeding system

2.2 控制流程

在生產(chǎn)中工控機(jī)控制著整個(gè)生產(chǎn)節(jié)奏，根據(jù)控制要求，平均5～6 s完成一個(gè)動(dòng)作節(jié)拍。圖4為系統(tǒng)工作流程。圖5為現(xiàn)場(chǎng)實(shí)際生產(chǎn)圖。系統(tǒng)啟動(dòng)后，工控機(jī)就進(jìn)入控制狀態(tài)，首先通知切紙機(jī)進(jìn)行蓄紙，當(dāng)達(dá)到規(guī)定長(zhǎng)度時(shí)，進(jìn)行切紙。切紙動(dòng)作完成后，啟動(dòng)機(jī)器人進(jìn)行抓紙，將紙板移動(dòng)到拍照位置進(jìn)行圖像采集。根據(jù)圖像得到位置數(shù)據(jù)，進(jìn)行機(jī)器人姿態(tài)位置的預(yù)測(cè)。得到預(yù)測(cè)數(shù)據(jù)后，調(diào)整機(jī)器人的姿態(tài)，進(jìn)行上料動(dòng)作。機(jī)器人上料完成后，回位等待下一個(gè)切紙動(dòng)作。

圖4 系統(tǒng)工作流程Fig.4 Workflow of the system

圖5 現(xiàn)場(chǎng)實(shí)際生產(chǎn)圖Fig.5 Actual production

3 機(jī)器人的姿態(tài)預(yù)測(cè)

3.1 機(jī)器人的姿態(tài)預(yù)測(cè)模型

為了引導(dǎo)機(jī)器人的運(yùn)行，系統(tǒng)需要根據(jù)拍照得到的圖像數(shù)據(jù)預(yù)測(cè)出機(jī)器人需要行走的姿態(tài)數(shù)據(jù)。

機(jī)器人的姿態(tài)可以用5種不同的坐標(biāo)系進(jìn)行描述。①世界坐標(biāo)系；②關(guān)節(jié)坐標(biāo)系；③直角坐標(biāo)系；④工具坐標(biāo)系；⑤用戶坐標(biāo)系。本文的預(yù)測(cè)模型采用直角坐標(biāo)系。

圖6 機(jī)器人采用的坐標(biāo)系Fig.6 Robot coordinate system

機(jī)器人的姿態(tài)用一維向量表示[X,Y,Z,A,B,C]。由于機(jī)器人對(duì)紙板的操作只有3個(gè)自由度，因此機(jī)器人的姿態(tài)可以表示為[X,Y,A]，分別對(duì)應(yīng)于操作平面方向以及紙板的旋轉(zhuǎn)。本文采用基準(zhǔn)加偏差的方式得到預(yù)測(cè)模型，首先需要確定基準(zhǔn)紙板的基準(zhǔn)軌跡，其基本過程如下：①將瓦楞壓制紙板移動(dòng)到拍照點(diǎn)處，進(jìn)行圖像采集。記錄下紙尖坐標(biāo)以及機(jī)械手末端坐標(biāo)，在后續(xù)采集數(shù)據(jù)時(shí)保持機(jī)械手的坐標(biāo)不變；②將紙板移動(dòng)到調(diào)姿位置，記錄下機(jī)器人坐標(biāo)；③將紙板移動(dòng)到壓輥入紙位，記錄下機(jī)器人坐標(biāo)。得到基準(zhǔn)的數(shù)據(jù)后，建立線性預(yù)測(cè)模型見式（1）。

式中，[X,Y,A]為實(shí)際機(jī)器人姿態(tài)的位置；[X′,Y′,A′]為基準(zhǔn)機(jī)器人的姿態(tài)數(shù)據(jù)；b為偏差值，該值為調(diào)姿位置狀態(tài)下，實(shí)際紙板與基準(zhǔn)紙板的偏差，該值需要根據(jù)實(shí)際紙尖圖像數(shù)據(jù)與基準(zhǔn)圖像數(shù)據(jù)的偏差計(jì)算出來。基本計(jì)算程序如下：

計(jì)算程序在labview2014版得到了驗(yàn)證。

3.2 圖像定位算法

在預(yù)測(cè)模型中，最關(guān)鍵的數(shù)據(jù)是紙尖的圖像數(shù)據(jù)。預(yù)測(cè)模型需要知道紙尖在機(jī)器人世界坐標(biāo)系中的坐標(biāo)數(shù)據(jù)，因此需要進(jìn)行圖像定位。圖像定位首先需要做的是將圖像坐標(biāo)系和機(jī)器人坐標(biāo)系進(jìn)行統(tǒng)一，也稱為手眼標(biāo)定。在這個(gè)方面，許多文獻(xiàn)都進(jìn)行了比較詳細(xì)的闡述[10-12]。在手眼標(biāo)定完成后，就需要確定紙板紙尖在圖像中的位置。圖7為紙板紙尖圖像，圖8為紙尖定位流程圖。

圖7 紙板紙尖圖像Fig.7 Paperboard tip image

圖8 紙尖定位流程圖Fig.8 Location flowchart

由于現(xiàn)場(chǎng)環(huán)境的限制，不能取得效果非常好的圖像。本文采用直方圖均衡和圖像增強(qiáng)提高圖像的辨析度。由于紙板的特殊形狀，本文根據(jù)形狀特征匹配[13]搜索紙板紙尖在圖像中的基本位置。當(dāng)搜索到紙尖在圖像中的基本位置后，為得到更加精確的定位，找到紙尖附近的紙板邊緣，得到邊緣點(diǎn)的位置坐標(biāo)，根據(jù)最小二乘法擬合成2條邊緣直線。得到邊緣直線方程后，計(jì)算出邊緣直線與圖像X軸的坐標(biāo)以及2條直線交點(diǎn)的位置數(shù)據(jù)。通過這樣的算法可以得到紙板紙尖在圖像中比較精確的位置。

這種算法對(duì)紙板具有一定要求，在正常工作狀態(tài)，紙板沒有飄起，同時(shí)紙板的濕度控制在正常范圍，那么定位精度可以控制得比較高。在實(shí)際操作中，如果紙板的紙尖有翹起等狀態(tài)，對(duì)紙尖的定位精度有影響。

3.3 仿射變換匹配對(duì)紙尖的初定位

在圖8的紙尖定位流程中，模板形狀匹配關(guān)系到紙尖在整個(gè)圖像中的基本定位。但是，瓦楞紙壓制工序之前是剪切工序，紙板會(huì)根據(jù)工藝要求被剪切成不同的角度。當(dāng)紙板在操作臺(tái)面上運(yùn)行時(shí)，不同剪切角度的紙板在相機(jī)中呈現(xiàn)的圖像有一定區(qū)別。圖9為剪角不同的2種紙板，圖9(a)剪角大于圖9(b)的剪角。如果用圖9(a)圖像作為模板對(duì)圖9(b)進(jìn)行匹配搜索，可能存在目標(biāo)找不到或者出現(xiàn)匹配位置偏移的問題。

圖9 剪角不同的兩種紙板Fig.9 Two kinds of paperboard with different cutting angle

在照相機(jī)拍攝目標(biāo)物體時(shí)，從物方三維空間坐標(biāo)系到像方二維平面坐標(biāo)系的投影存在著映射關(guān)系。為了實(shí)現(xiàn)場(chǎng)景重構(gòu)、場(chǎng)景識(shí)別，往往需要對(duì)獲得的圖像進(jìn)行仿射糾正。岳娟等人[14]從逆仿射變換出發(fā)，對(duì)原圖進(jìn)行仿射形變糾正，估計(jì)出對(duì)應(yīng)的正射圖像。肖雄武等人[15]通過估算影像的相機(jī)軸定向參數(shù)計(jì)算出初始仿射矩陣，通過逆仿射變換得到糾正影像，對(duì)糾正影像進(jìn)行匹配。這些研究人員的研究是基于圖10的相機(jī)物體仿射成像模型。

圖10 仿射成像模型Fig.10 Affine model

從圖10的模型可以得到式（2）。

式中，v為像方平面；u為物方平面；A計(jì)算見式（3）～式（4）。

式中，t為傾斜度；（θ，φ）為相機(jī)光軸定向，分別為相機(jī)的緯度、經(jīng)度；ψ為相機(jī)繞其光軸旋轉(zhuǎn)的角度；λ為尺度縮放倍數(shù)[14]。

從圖2可以看出，在操作平臺(tái)中的相機(jī)為固定位置。在相機(jī)固定的條件下，獲得的圖像質(zhì)量能夠保持一致。但由于工藝問題導(dǎo)致紙板剪角有較大的差別，下面將不同剪角的紙板看做是對(duì)模板紙板的不同θ角的畸變。以v0為模板圖像，v′0為目標(biāo)圖像中映射圖像，存在關(guān)系見式（5）。

由于相機(jī)固定，在進(jìn)行圖像形狀特征搜索時(shí)λ=1，ψ=0，因此A表達(dá)為式（6）。

通過調(diào)整參數(shù)t、φ，在圖像中進(jìn)行形狀匹配的搜索，實(shí)現(xiàn)對(duì)紙尖形狀的初定位。

4 試驗(yàn)與分析

（1）試驗(yàn)平臺(tái)：瓦楞紙生產(chǎn)線。

（2）軟件環(huán)境：操作環(huán)境采用Win732位，界面編程采用Labview2014，軟件算法采用VS2010+Opencv3.4.1。

（3）測(cè)量工具：采用數(shù)顯角度尺，角度分辨率0.05°，長(zhǎng)度分辨率0.5 mm。用于測(cè)量距離偏差和角度偏差。

（4）試驗(yàn)過程：為了驗(yàn)證整個(gè)系統(tǒng)在實(shí)際生產(chǎn)中的穩(wěn)定性和可靠性，在實(shí)際生產(chǎn)之前，需要對(duì)系統(tǒng)的運(yùn)行進(jìn)行試驗(yàn)。首先將壓輥機(jī)停機(jī)，并將系統(tǒng)的運(yùn)行過程如圖2所示分解成4步，在系統(tǒng)運(yùn)行到第4步送紙時(shí)暫停，取紙尖點(diǎn)位置與靠鐵基準(zhǔn)用測(cè)量工具測(cè)量長(zhǎng)度，用量角器測(cè)量紙板邊緣與基準(zhǔn)線之間的夾角角度。圖11為試驗(yàn)停機(jī)圖。

圖11 試驗(yàn)停機(jī)圖Fig.11 Machine halt for experiment

表1為試驗(yàn)結(jié)果分析表。試驗(yàn)共進(jìn)行9次，為了驗(yàn)證紙尖翹起的引導(dǎo)效果，在第8次和第9次試驗(yàn)中將紙尖人為折彎成不同狀態(tài)。

從表1可知，在紙板質(zhì)量穩(wěn)定的情況下，系統(tǒng)能夠穩(wěn)定可靠地引導(dǎo)紙板進(jìn)入壓輥機(jī)。如果沒有人工干預(yù)，很難在有限次數(shù)的試驗(yàn)中驗(yàn)證系統(tǒng)對(duì)紙板異常狀態(tài)的處理效果。第8次試驗(yàn)采用人工方式模擬紙尖輕微飄起，系統(tǒng)能夠找到紙尖，但是位置有偏離，可以得到基本合格的產(chǎn)品。第9次試驗(yàn)?zāi)M紙尖翹起角度較大的狀態(tài)，系統(tǒng)認(rèn)為沒有找到紙板，將本次操作判為不合格，機(jī)器人停機(jī)、報(bào)警。

表1 試驗(yàn)結(jié)果分析表Table 1 Analysis table of experiment results

5 結(jié)論

本研究采用機(jī)器視覺引導(dǎo)機(jī)器人進(jìn)行瓦楞紙的生產(chǎn)，在實(shí)際生產(chǎn)中取得了良好的效果。在正常工作情況下，系統(tǒng)取得的效果較好。但是由于生產(chǎn)的影響因素非常多，紙板的情況也較復(fù)雜；如果紙尖飄起，紙板的上料位置誤差可控制在5 mm以內(nèi)，角度可控制在2°以內(nèi)，取得較好的生產(chǎn)效果。但是系統(tǒng)相對(duì)于人工，工作的柔性還不夠，需要對(duì)預(yù)測(cè)模型進(jìn)行進(jìn)一步的改進(jìn)，使之能夠滿足紙板飄起或者紙尖翹起等工作異常狀態(tài)。