基于線激光掃描的鞋底點膠路徑規(guī)劃方法

曹 蘭

基于線激光掃描的鞋底點膠路徑規(guī)劃方法

曹 蘭

（漳州職業(yè)技術(shù)學(xué)院電子信息學(xué)院，福建，漳州 363000）

以三維視覺檢測速度快、機器人噴膠效率高和通用性強等特點，提出了一種基于線激光掃描的鞋底點膠路徑規(guī)劃方法。首先，利用線激光掃描鞋底工件，通過全局高度閥值來分離出鞋底信息。其次，采用法向量的偏置算法提取鞋底的邊緣輪廓，且對輪廓曲線進行最小二乘法多項式的平滑處理。最后，運用手眼標(biāo)定變換矩陣將獲取的軌跡坐標(biāo)轉(zhuǎn)換為點膠機器人的運動坐標(biāo)，以自動生成點膠機器人運動軌跡線。實驗表明，采用的點膠機器人運動軌跡規(guī)劃方法實現(xiàn)了鞋底點膠自動化，具有一定的工業(yè)應(yīng)用價值。

4點標(biāo)定；線激光；偏置算法；平滑處理

0 引言

鞋底涂膠是所有制鞋不可或缺的工序，涂膠質(zhì)量好壞事關(guān)成品鞋質(zhì)量。由于人工噴涂方式不一，傳統(tǒng)手工涂膠很難保證涂膠量的均勻程度和穩(wěn)定的質(zhì)量，而且近距離觸碰膠水嚴(yán)重影響了操作人員的健康，并對環(huán)境造成污染。因此，自動化鞋底涂膠工藝具有重大意義。本研究針對鞋底智能點膠系統(tǒng)開發(fā)的關(guān)鍵技術(shù)[1]，利用線激光輪廓傳感器和四軸機器人實現(xiàn)了鞋底自動噴膠平臺，重點研究了智能點膠機器人運動軌跡的規(guī)劃。

在本道制鞋工序中，點膠機器人的作業(yè)對象是各種不同類型的鞋底，意味著有各種不規(guī)則的曲面，機器人點膠運動軌跡需按需調(diào)整。因此，點膠機器人運動軌跡的規(guī)劃是本道工序的重點。

賈明峰等采用算法分割圖像，算子提取鞋底邊緣三維輪廓曲線，用插值平滑處理所得曲線[2]；趙云創(chuàng)新研究了有最小厚度約束的點膠機器人運動軌跡[3]；丁度坤等研究了基于遺傳算法的圖像閾值分割方法，并用數(shù)學(xué)形態(tài)學(xué)處理圖像[4]；江婧等使用算法以及連接策略生成鞋底噴膠路徑[5]；晉文科等提出基于算法的七關(guān)節(jié)冗余來生成點膠機器人運動軌跡[6]；馬利等提出模糊信息（邊緣輪廓銳度信息）特征估計,實現(xiàn)圖像的邊緣提取[7]；孫美衛(wèi)等分析鞋底數(shù)據(jù)信息特征，創(chuàng)新研究出了雙邊極大值約束控制的算法[8]。

國際上等人針對鞋類行業(yè)的柔性膠合工藝,設(shè)計了一種視覺引導(dǎo)的機器人系統(tǒng)，提出了一種能夠在機器人框架和視覺系統(tǒng)框架之間轉(zhuǎn)換坐標(biāo)的校準(zhǔn)程序，提出基于平面二維物體和三維物體兩種點膠路徑規(guī)劃技術(shù)[9]。等人在機器人機械臂跟蹤三維曲線輪廓的任務(wù)空間軌跡規(guī)劃中，為了使機器人適應(yīng)更復(fù)雜的任務(wù)，改進了點對點路徑規(guī)劃方法，研究多個節(jié)點的路徑規(guī)劃，提出了一種基于路徑規(guī)劃方法。這種路徑規(guī)劃方法通過確定中速和時間，允許機器人通過任務(wù)空間中的多個點移動，以滿足初、末節(jié)的速度條件。為了優(yōu)化機器人的運動，提出了一種時間尺度法，分別使實際機器人的速度和加速度的物理最大值與規(guī)劃軌跡的差值最小[10]。

1 鞋機運動系統(tǒng)設(shè)計

1.1 系統(tǒng)結(jié)構(gòu)設(shè)計

圖1為鞋機運動系統(tǒng)設(shè)計圖。本系統(tǒng)由流水線平臺、線激光輪廓傳感器、點膠機器人及工控機等組成，能自動規(guī)劃鞋底邊緣曲線，生成點膠路徑，實現(xiàn)點膠機器人自動點膠。適用于不同鞋型自動點膠的要求[11-12]。圖2為系統(tǒng)實物圖。

圖1 鞋底點膠設(shè)計圖

基于線性激光輪廓傳感器的鞋機運動系統(tǒng)是一條閉合的橢圓形自動流水平臺，線性激光輪廓傳感器和視覺機器人緊靠傳送帶。首先用4點標(biāo)定法進行系統(tǒng)的手眼標(biāo)定，確定機器人與相機的轉(zhuǎn)換矩陣。系統(tǒng)運行時，用線性激光掃描鞋底的表面，經(jīng)計算機選擇合適的算法擬合鞋底的輪廓，通過轉(zhuǎn)換矩陣轉(zhuǎn)換為點膠機器人的運動坐標(biāo)，通過千兆網(wǎng)連接工控機，導(dǎo)入運動坐標(biāo)，控制機器人完成噴膠任務(wù)。

圖2 系統(tǒng)實物圖

線性激光輪廓傳感器選用公司的，其激光線輪廓點數(shù)為640，測量范圍為400mm,支持最新的版固件測量工具，方便采集3D數(shù)據(jù)。本系統(tǒng)滿足線性激光輪廓傳感器的應(yīng)用條件而實現(xiàn)激光線掃鞋底，實時采集掃描圖片，采用適當(dāng)算法規(guī)劃鞋底輪廓路徑，并控制的4軸機器人實現(xiàn)點膠動作。

1.2 工作流程

如圖3所示，本系統(tǒng)在第一次運行時，操作者需將標(biāo)定版置于線激光傳感器下面的平臺上，標(biāo)定系統(tǒng)。之后再運行時，圖2中所示的定位裝置循環(huán)觸發(fā)線激光傳感器進行激光線掃描鞋底工件，采集鞋底圖像至電腦終端。計算機通過適當(dāng)算法處理所得圖像提取鞋底輪廓并進行平滑優(yōu)化處理，得到鞋底邊緣輪廓坐標(biāo)，并轉(zhuǎn)換為機器人的點膠運動坐標(biāo)?？刂茩C器人執(zhí)行運動坐標(biāo)實現(xiàn)點膠工作。

圖3 系統(tǒng)工作流程圖

1.3 系統(tǒng)的手眼標(biāo)定

線激光傳感器在相機坐標(biāo)系下掃描鞋底采集圖像，控制機器人運動的坐標(biāo)點都是基于機器人坐標(biāo)系的。系統(tǒng)的手眼標(biāo)定可以確定兩個坐標(biāo)系的轉(zhuǎn)換矩陣。本系統(tǒng)采用4點標(biāo)定，

令機器人的基坐標(biāo)系為，相機坐標(biāo)系為，機器人執(zhí)行器端坐標(biāo)為，根據(jù)位姿變換關(guān)系，有：

(1)式展開，得：

(2)式中左右最后一列可得等式：

圖4 4點標(biāo)定版

實驗時，相機坐標(biāo)系下標(biāo)定板上的標(biāo)定點可以通過圖像處理進行定位（表1）。采用示教法可以定位機器人執(zhí)行器末端四個標(biāo)定點的坐標(biāo)如圖4所示。調(diào)用算子即可獲得其轉(zhuǎn)換矩陣。

表1 機器人坐標(biāo)系下標(biāo)定板坐標(biāo)

Table 1 Calibration board coordinates under the robot coordinate system

ABCD X -143.210155.750153.564 -145.310 Y352.991347.878238.373243.420 Z-120.392-119.324-120.176-120.786

2 鞋底點膠路徑規(guī)劃方法

2.1 閥值分割

在實際應(yīng)用中，工件通常有如圖5所示的兩種邊緣輪廓。單邊緣是指內(nèi)部沒有其他子邊緣，如圖5()所示；反之就是嵌套邊緣，如圖5()所示。若是嵌套邊緣，還可繼續(xù)劃分為外邊緣和內(nèi)邊緣[14]。根據(jù)鞋底點膠實際情況，鞋底點云數(shù)據(jù)擬合針對的便是嵌套邊緣。

圖5 邊緣類型

本系統(tǒng)使用的軟件是Halcon17，它提供了極為豐富的算子，方便實現(xiàn)各類算法。鞋底邊緣提取，采用全局閥值圖像分割算法，實現(xiàn)步驟：

1）讀取鞋模原圖圖6()得灰度圖6()。

2）利用( )算子對高度進行全局閥值分割，最小灰度值為17.507，最大灰度值為100，處理后的圖像如圖6()所示。

3）利用( )算子填充區(qū)域中的孔洞部分，得到圖像6()。

4）利用( )算子平滑處理圖6()圖腳跟右邊邊緣肉眼可見的區(qū)域干擾信號。取值為3.5，平滑后的圖像如圖6()。

(a)鞋模原圖；(b)二值化處理后的灰度圖；(c)高度閥值處理后的鞋模圖；(d) 對(c)填充處理；(e)對(d)圖下半部分平滑毛刺處理

2.2 二值形態(tài)學(xué)處理

圖像的二值形態(tài)學(xué)處理，是基于數(shù)據(jù)集合的概念，能將圖像信息進行簡單分類，去除不太相關(guān)的數(shù)據(jù)信息，保持圖像信息的基本輪廓特征，并能實現(xiàn)數(shù)據(jù)并行處理?；镜亩敌螒B(tài)學(xué)運算有腐蝕、膨脹、開運算和閉運算。本系統(tǒng)中采用先膨脹后腐蝕即閉運算處理圖6()中鞋底外的殘留干擾信號。

(a)開運算處理；(b)腐蝕處理；(c)圖7(a)和圖7(b)點云數(shù)據(jù)差

本系統(tǒng)采用二值形態(tài)學(xué)處理的實現(xiàn)步驟是：

1）利用( )算子剔除圖6()輪廓外毛刺，參數(shù)取值為78，平滑后的圖像如7()。

2）利用( )算子進一步對圖7()進行腐蝕操作，參數(shù)取值為15，處理后的圖像為圖7()。

3）利用( ) 算子取圖7()和圖7()數(shù)據(jù)集的差值，得到鞋底的輪廓框架圖7()。

2.3 鞋底邊緣輪廓提取

在鞋底邊緣曲線提取過程中，采用基于法向量的偏置算法處理鞋底的數(shù)據(jù)信息，提取鞋底的邊緣輪廓，生成機器人運動軌跡曲線。鞋底輪廓曲線為[15]：

偏置處理后曲線為：

設(shè)置偏置的距離，對輪廓曲線上的每個數(shù)據(jù)點及兩個相鄰點進行分段處理，可近似求得曲線上每個點對應(yīng)的法線。由(7)和 (8) 式可得鞋底輪廓。

(a) 法向量偏置算法提取的鞋底邊緣輪廓；(b) 取點最小二乘法多項式擬合； (c) 平滑處理后的鞋底邊緣輪廓

圖8 鞋底邊緣輪廓提取

Fig.8 Edge contour extraction of shoe sole

上述偏置算法提取到的鞋底邊緣輪廓線還有細(xì)微的波動，如圖8()，設(shè)置特定長度，選取鞋底邊緣輪廓線上的個行列坐標(biāo)交叉點，采用最小二乘法多項式對波動曲線進行擬合8()[16-18]，平滑處理后的鞋底邊緣輪廓如圖8()。

2.4 點膠機器人運動坐標(biāo)

通過分解圖像，得到鞋底邊緣輪廓的三維圖如圖9所示。將輪廓線上的三維坐標(biāo)通過手眼標(biāo)定轉(zhuǎn)換矩陣轉(zhuǎn)換成點膠機器人的運動坐標(biāo)，如圖10，即完成點膠機器人的路徑規(guī)劃。圖10擬合的機器人運動坐標(biāo)曲線見圖11。

圖9 邊緣提取后的鞋底三維圖

圖10 機器人部分運動坐標(biāo)

圖11 機器人運動坐標(biāo)擬合的曲線

3 機器人點膠實驗

在進行點膠實驗時，設(shè)置線激光傳感器機械手IP地址，使相機連接機械手，讀取手眼標(biāo)定矩陣。線激光傳感器掃描鞋底，采集圖像，獲取鞋模輪廓參數(shù)，提取輪廓點坐標(biāo)，并轉(zhuǎn)換為機器人運動坐標(biāo)，發(fā)送給機器人進行點膠。由于線激光傳感器與機器人之間有一定的距離差，線激光傳感器掃描之后，要延時5.6 s機器人再開始運行。在進行點膠實驗時，調(diào)整鞋模在實驗平臺的前后左右位置，進行20次點膠實驗。旋轉(zhuǎn)鞋模180度，對調(diào)鞋跟和鞋尖位置，再次調(diào)整鞋模在實驗平臺的前后左右位置，進行20次點膠實驗。通過實驗可以看到，機器人每次在不到4s時間就可以準(zhǔn)確完成鞋底點膠工作，完成率為100%。

圖12 機器人點膠實驗

4 結(jié)論

搭建基于線激光輪廓傳感器的鞋底自動點膠平臺，機器人末端為模擬點膠裝置，圖2所示的定位裝置可以暫停和啟動控制流水平臺，可用于實現(xiàn)靜態(tài)下鞋模點膠操作。同時，當(dāng)前方鞋模正在點膠時，相機下方的鞋模靜止于等待狀態(tài)。實際測試結(jié)果顯示，本法采用的點膠機器人運動軌跡規(guī)劃方法實現(xiàn)了鞋底點膠自動化，具有一定的工業(yè)應(yīng)用價值。為了進一步改善系統(tǒng)性能，將繼續(xù)研究新的運算量小、更準(zhǔn)確獲得邊緣信息的算法，達(dá)到更優(yōu)的控制效果。

[1] 沈飛.制鞋涂膠設(shè)備設(shè)計及關(guān)鍵工位研究[D].杭州:浙江工業(yè)大學(xué),2016.

[2] 賈明峰,胡國清,呂成志.基于圖像處理的自動噴膠系統(tǒng)的研究[J].制造業(yè)自動化,2017,39(6):116-119.

[3] 趙云.基于自由曲面的工業(yè)機器人噴涂軌跡規(guī)劃及仿真技術(shù)研究[D].武漢:武漢工程大學(xué),2017.

[4] 丁度坤,舒雨峰,謝存禧,等.機器視覺在鞋機運動軌跡識別中的應(yīng)用研究[J].機械設(shè)計與制造,2018(2): 257-262.

[5] 江婧,劉利剛.鞋膠噴涂的路徑生成與優(yōu)化[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2020,32(5) :830-836.

[6] 晉文科,張華,劉滿祿.基于NURBS算法的冗余機械臂軌跡規(guī)劃[J].科學(xué)技術(shù)與工程,2014,14(28):226-230.

[7] 馬利,李晶皎,馬技,等.一種應(yīng)用輪廓銳度的單視點圖像深度信息提取算法[J].小型微型計算機系統(tǒng),2016,37(2):316-320.

[8] 孫美衛(wèi).基于K最近鄰的3D鞋底噴膠路徑規(guī)劃方法[J].齊齊哈爾大學(xué)學(xué)報:自然科學(xué)版,2020,36(5):21-25.

[9] Kim J, Jin M L, Sang H,et al Y.Task space trajectory planning for robot manipulators to follow 3-D curved contours[J].Electronics,2020,9(9):1424.

[10] Pagano S, Russo R, Savino S. A vision guided robotic system for flexible gluing process in thefootwear industry[J].Robotics and omputer-Integrated ufacturing, 2020,C(65):101965-101965.

[11] 孟飛武.面向制鞋涂膠的SCARA機器人結(jié)構(gòu)設(shè)計與研究[D].淮南:安徽理工大學(xué),2015.

[12] 郭震冬,黃亮,顧正東,等.三維激光掃描技術(shù)在古建筑測量中的應(yīng)用[J].智能城市,2019(18):1-2.

[13] 翟敬梅,黃錦洲,劉坤.雙目視覺下基于邊緣特征的機器人作業(yè)環(huán)境檢測方法[J].華南理工大學(xué)學(xué)報:自然科學(xué)版,2018,46(3):1-7.

[14] 黃登紅,周忠發(fā),吳躍,等.基于無人機可見光影像的高原丘陵盆地區(qū)山藥植株識別[J].熱帶地理,2019,39(4):571-582.

[15] 吳拱星.智能噴膠機器人的姿態(tài)控制與軌跡規(guī)劃[J].中原工學(xué)院學(xué)報,2019,30(4):45-48,54.

[16] 張帆.圖像處理中曲線曲面擬合問題研究[D].濟南:山東大學(xué),2015.

[17] 劉俊.移動最小二乘散點曲線曲面擬合與插值的研究[D]. 杭州:浙江大學(xué),2011.

[18] 王紅平,史明.基于改進移動最小二乘法的數(shù)據(jù)擬合[J].組合機床與自動化加工技術(shù),2021(3):9-13.

PATH PLANNING MESHOD FOR SHOE SOLE DISPENSING BASED ON LINE LASER SCANNING

CAO Lan

（Electronic Information Department, Zhangzhou Institute of Technologe, Zhangzhou, Fujian 363000, China）

Based on faster speed of 3D visual measurement and high efficiency of robot spraying and strong commonality, this paper presents the line laser scanning path method of shoe sole dispensing. Firstly, a line laser sensor was used to scan the sole artifacts to get the sole information through the global height threshold. Secondly, using the offset algorithm of the normal vector the edge contour of the sole was extracted, and the contour curve was smoothed by least square polynomial. Finally, the transformation matrix of a hand-eye calibration was used to convert the coordinates of a acquired trajectory into the motion coordinates of the dispensing robot, which automatically generate the motion trajectory of the dispensing robot. It showed that the trajectory planning method of dispensing robot realized the automation of sole dispensing and had certain industrial application value.

4-point calibration; line laser; bias algorithm; smoothing

1674-8085（2022）04-0064-06

TP241.2

A

10.3969/j.issn.1674-8085.2022.04.010

2021-09-14；

2022-03-03

國家自然科學(xué)基金項目 (62001199); 福建省中青年教師教育科研項目(科技類JAT191419，科技類JAT171100)

曹 蘭（1982-），女，湖北天門人，講師，碩士，主要從事人工智能，機器視覺研究(E-mail:157621421@qq.com).