采用雙目視覺的織物曲面接縫提取與縫合路徑規(guī)劃

李金鐘， 王天琪， 何俊杰， 李亮玉， 侯仰強

(天津工業(yè)大學(xué) 天津市現(xiàn)代機電裝備技術(shù)重點實驗室， 天津 300387)

采用雙目視覺的織物曲面接縫提取與縫合路徑規(guī)劃

李金鐘， 王天琪， 何俊杰， 李亮玉， 侯仰強

(天津工業(yè)大學(xué) 天津市現(xiàn)代機電裝備技術(shù)重點實驗室， 天津 300387)

針對曲面織物的接縫自動提取及縫合路徑規(guī)劃問題，提出一種基于雙目視覺的接縫自動識別方法。結(jié)合縫合預(yù)制件的三維點云與二維圖像之間的空間位置轉(zhuǎn)換關(guān)系，得到預(yù)制件二維圖像中接縫在三維點云中的映射；進一步采用基于弗萊納-雪列矢量的路徑規(guī)劃方法，對縫合路徑上各位置的弗萊納-雪列(Frenet-Serret)矢量進行計算，求出機器人末端執(zhí)行器的位姿，利用MatLab對機器人的縫合路徑進行仿真。實驗結(jié)果表明：該方法能夠精確快速地對接縫的空間位置進行定位，解決了自動縫合過程中縫合路徑尋找困難、精度不高等問題，并可快速地對機器人縫合路徑進行規(guī)劃。

曲面織物； 雙目視覺； 接縫位置； 弗萊納-雪列矢量； 縫合路徑規(guī)劃

傳統(tǒng)的點云處理方法是基于曲率的[1]，該方法需對視覺系統(tǒng)獲得的三維點云進行較精確地處理。一方面，織物表面形狀的凹凸影響接縫的提取效果；另一方面，實際縫合過程中，由于織物三維特征的多樣性，采用針對某一特征建立的算法具有一定局限性，因此織物的點云處理是一個復(fù)雜且耗時的過程。相對于點云處理技術(shù)而言，對二維圖像的處理具有技術(shù)上的相對靈活性，圖像處理是對攝像機獲取的像素圖像進行處理的技術(shù)，其理論已經(jīng)相對成熟，針對不同問題有多種圖像處理算法；并且正確的打光技術(shù)，能獲得較好的二維圖像，具有實驗與工業(yè)上的可控性，因此，結(jié)合二維圖像的處理技術(shù)對接縫進行提取是一種比較實用且高效的方法。雙目視覺系統(tǒng)是機器視覺的重要分支之一[2]，是對攝像機從不同角度獲取的物體圖像進行處理從而計算出物體三維坐標(biāo)的技術(shù)[3]，該技術(shù)從二維圖像信息中提取三維圖形信息，是對信息融合技術(shù)很好的體現(xiàn)。本文旨在利用雙目視覺系統(tǒng)將二維圖像信息與三維點云信息相融合來獲取接縫信息，對接縫位置進行快速精確求解。

1 接縫空間坐標(biāo)提取

雙目視覺系統(tǒng)是通過計算空間點在2幅圖像中的視差獲得該點的三維坐標(biāo)。工作流程包括圖像采集、攝像機標(biāo)定、圖像預(yù)處理、特征匹配、三維重建等。其中攝像機標(biāo)定是系統(tǒng)工作的基礎(chǔ)；標(biāo)定的精確與否，直接決定了三維重建的精度。為精確快速地對攝像機進行標(biāo)定，前人總結(jié)了幾種標(biāo)定方法，主要包括：傳統(tǒng)攝像機標(biāo)定方法、相機自標(biāo)定方法、主動視覺相機標(biāo)定方法等[4]；Tsai的RAC標(biāo)定方法[5]是傳統(tǒng)標(biāo)定方法的一種，該方法標(biāo)定過程分為2步：第1步，在徑向一致的約束條件下，通過矩陣變換來求得相機的外參數(shù)旋轉(zhuǎn)矩陣R和平移矩陣T；第2步，在只考慮相機徑向畸變的情況下，將相機的畸變模型引入到計算過程中，求得攝像機的內(nèi)部參數(shù)。RAC標(biāo)定方法得出的相機內(nèi)外參數(shù)如表1所示。

表1 Tsai標(biāo)定法獲得的參數(shù)

相機是基于小孔成像原理成像的[6]，如圖1所示小孔成像模型。O代表光心，xuouyu是相機成像平面；物體上的光線經(jīng)成像平面匯聚于光心。位于同一條射線上的點與二維圖像平面上的點相對應(yīng)，其對應(yīng)關(guān)系為

(1)

式中：f為相機焦距；XC、YC、ZC為相機坐標(biāo)系中的坐標(biāo)；xc、yc為相機圖像坐標(biāo)。

注：圖中下腳標(biāo)表示相應(yīng)的坐標(biāo)系：w表示世界坐標(biāo)；c表示相機圖像坐標(biāo)；u表示像素坐標(biāo)。圖1 攝像機成像模型Fig.1 Camera image model

由于現(xiàn)實情況下存在誤差，引入誤差因子θ可得式(2)：

(2)

則存在如下對應(yīng)關(guān)系：

(3)

攝像機徑向畸變模型可由式(4)、(5)得出：

(4)

(5)

將畸變因素引入式(3)中可得：

(6)

式中：r為圖像中心到像素點的距離。

(7)

式(6)、(7)相連可得：

(8)

在實際求解過程中常常獲得的是物點在世界坐標(biāo)系中的坐標(biāo)，由表1可知，在攝像機標(biāo)定過程中可得知由世界坐標(biāo)系到攝像機坐標(biāo)系轉(zhuǎn)換的外參矩陣；因此以通過矩陣變換得出圖像像素坐標(biāo)與世界坐標(biāo)的轉(zhuǎn)換關(guān)系。

已知

(9)

式中：p為像素坐標(biāo)；PW為世界坐標(biāo)；Mi為內(nèi)參矩陣；Mε為外參矩陣。

p=MiPC

(10)

其中PC為攝像機坐標(biāo)系點的坐標(biāo)；即

(11)

展開得

(12)

其中

展開成方程組的形式

(13)

可得如下關(guān)系：

通過式(14)即可將二維圖像信息與三維圖形信息結(jié)合求得接縫在世界坐標(biāo)系中的位置，式中所用參數(shù)在攝像機標(biāo)定時均已求出；ε1、ε2根據(jù)實情況給出；由于所采集的點云是物體的外表面，求解的結(jié)果是射線與物體外表面的交點，不存在得到多個對應(yīng)解的情況。

2 縫合路徑軌跡規(guī)劃

織物的縫合質(zhì)量除了與縫合位置的尋找精度有關(guān)外，還與縫合的路徑有極大的關(guān)系；本文采用了弗萊納-雪列[7](Frenet-Serret)矢量方法進行路徑規(guī)劃。弗萊納矢量描述了曲線的切向、法向、副法方向之間的關(guān)系[8]。該路徑規(guī)劃方法如下。

獲得的接縫三維空間點經(jīng)曲線擬合可表示成參數(shù)的形式；其曲線參數(shù)方程可由式(15)表示：

(15)

曲線上任意一點構(gòu)造一組相互垂直的單位矢量，如圖2所示。

圖2 空間曲線的弗萊納-雪列矢量Fig.2 Frenet-Serret column vectors of space curve

圖中：et、en、eb、分別為曲線上任意一點構(gòu)成的切向、法向和次法線單位矢量。

(16)

(17)

(18)

這里r′表示dr/ds，r″表示d2r/ds2；s為該曲線上點的弧長。式中：

(19)

(20)

(21)

(22)

(23)

由式(15) ～ (23)得知空間曲線的弗萊納-雪列的3個矢量；即而確定機器人末端執(zhí)行器的中心坐標(biāo)及位姿。當(dāng)機器人跟蹤一個連續(xù)軌跡時，關(guān)節(jié)角的計算是通過末端執(zhí)行器的一組連續(xù)位姿來實現(xiàn)的[9]。實際上，連續(xù)軌跡是通過沿連續(xù)軌跡的一組足夠靠近的位姿樣本來描述的，因此在機器人實際路徑規(guī)劃過程中需要將所擬合的曲線實體離散為一系列的點，然后對各點所對應(yīng)位置的位姿進行求解，從而得到機器人不同位置的位姿。

3 試驗結(jié)果與分析

3.1 二維圖像的處理

圖像處理包括圖像變換、圖像增強、圖像復(fù)原、圖像分割、小波變換[10-11]等技術(shù)；其中圖像分割技術(shù)是近年來研究的熱點，是模式識別的基礎(chǔ)；在理論研究和實踐應(yīng)用中都得到了廣泛的重視。

本文實驗采用厚度為5 mm玻璃纖維織物作為實驗材料，如圖3所示。對CCD攝像機獲得的二維圖像利用MatLab進行圖像增強、二值化、圖像分割、邊緣提取等來獲得接縫中心點坐標(biāo)。

圖3 織物二維圖像Fig.3 Two-dimensional image of fabric

對圖像進行處理獲得的接縫中心點像素坐標(biāo)如圖4所示。

圖4 接縫圖像像素坐標(biāo)Fig.4 Image pixel coordinates of seam

3.2 三維接縫點的獲取

本文實驗通過三維掃描儀器CPOSmini獲得織物的三維點云，如圖5所示。織物點云表面凹凸不平，情況復(fù)雜，一個區(qū)域與另一個區(qū)域邊界測量點的法向矢量或曲率存在突變，因此，基于曲率的接縫提取方法對點云的處理有很高的要求；對于實際應(yīng)用中快速性、精確性的要求難以得到滿足。本文提出的結(jié)合二維圖像對接縫位置進行提取能夠很好地滿足工業(yè)上的需求。

圖5 三維點云Fig.5 Three-dimensional points cloud

在得知接縫的二維圖像像素坐標(biāo)與三維點云的基礎(chǔ)上由式(14)可得出接縫在點云中具體位置，而在實際縫合過程中，縫合位置相對于接縫的位置有一定的偏移；通過一定的偏移方法即可實現(xiàn)縫合位置的定位；定位后的縫合位置處點云如圖6所示。

圖6 接縫三維坐標(biāo)Fig.6 Three-dimensional coordinates of seam

對所獲取的點進行曲線擬合得方程如下：

x=3.362×10-7t4-2.081×10-4t3+ 2.463×10-2t2+1.839t-56.09

y=-2.666×10-6t4+5.033×10-4t3- 4.176×10-3t2-1.935t+68.6

z=-9.244×10-7t4+2.149×10-4t3- 9.142×10-3t2-1.135×10-2t-19.08

機器人縫合過程中不同位置的位姿可通過對參數(shù)t進行賦值求得；本文實驗對曲線上30個位置的坐標(biāo)進行求解，結(jié)果如表2所示。

表2 曲線離散點

對表2中各點所代表的位置進行弗萊納-雪列矢量求解，序號為1的點處的位姿矩陣O如式(24)所示；求得每個點的三維雪列矢量即可得知工具坐標(biāo)位姿；對縫合路徑規(guī)劃如圖7所示。

(24)

圖7 縫合路徑規(guī)劃Fig.7 Stitching path planning

該方法在得到縫合軌跡方程后，通過計算得出機器人末端執(zhí)行器的位姿，進而指導(dǎo)縫合機器人對織物進行縫合操作；實現(xiàn)縫合過程的自動化與智能化。

4 結(jié)束語

1)本文針對織物接縫的智能縫合問題，提出了融合二維圖像與三維圖形信息的接縫提取方法，解決了傳統(tǒng)接縫求取方法通用性差、求解過程容易受干擾等問題。

2)采用了基于弗萊納-雪列(Frenet-Serret)矢量的方法，精確快速地對機器人縫合過程中末端操作器的位姿進行求解。

[1] 馬驪溟, 徐毅, 李澤湘. 基于高斯曲率極值點的散亂點云數(shù)據(jù)特征點提取[J]. 系統(tǒng)仿真學(xué)報，2008(9):2341-2344. MA Limin,XU Yi, LI Zexiang. Extracting feature points for scattered points based on gauss curvature extreme point[J].Journal of System Simul Ation, 2008(9):2341-2344.

[2] 羅桂娥. 雙目立體視覺深度感知與三維重建若干問題研究[D].長沙:中南大學(xué),2012:23. LUO Guie. Some issues of depth perception and three dimention reconstruction from binocular stereo vision[D]. Changsha:Central South University， 2012:23.

[3] 全燕鳴,黎淑梅,麥青群. 基于雙目視覺的工件尺寸在機三維測量[J]. 光學(xué)精密工程,2013(4):1054-1061. QUAN Yanming,LI Shumei,MAI Qingqun.On-machine 3D measurement of workplace dimensions based on binocular vision[J].Optics and Precision Engineering.2013(4):1054-1061.

[4] 邱茂林,馬頌德,李毅. 計算機視覺中攝像機定標(biāo)綜述[J]. 自動化學(xué)報,2000(1):47-59. QIU Maolin,MA Songde,LI Yi. Overview of camera calibration for computer vision[J]. Acta Automatic Sinica, 2000(1):47-59.

[5] 李鵬,王軍寧. 攝像機標(biāo)定方法綜述[J]. 山西電子技術(shù),2007(4):77-79. LI Peng,WANG Junning. Overview of camera calibration methods[J]. Shanxi Electronic Technology,2007(4): 77-79.

[6] BOGUSLAW Cyganek. An Introduction to 3D Computer Vision Techniques and Algorithms[M]. Germany: Wiley, 2009:15-40.

[7] BINI D, DE FELICE F, JANTZEN R T. Absolute and relative frenet-serret frames and Fermi-walker trans-port [J].Classical and Quantum Gravity, 1999, 16:2105-0124.

[8] ARREAGA G, CAPOVILLA R, GUVEN J. Frenet-serret dynamics[J].Classical and Quantum-Gravity, 2001,18:5065-5083.

[9] JORGE Angeles. Fundamentals of Robotic Mechanical Systems[M]. New York: Springer Verlag New York Inc, 2002:351-386.

[10] 王愛民,沈蘭蓀. 圖像分割研究綜述[J]. 測控技術(shù)，2000(5):1-6,16. WANG Aimin, SHEN Lanquan. Study surveys on image segmentation[J]. Measurement & Control Technology, 2000(5):1-6,16.

[11] 殷明. 四元數(shù)小波變換理論及其在圖像處理中的應(yīng)用研究[D].合肥:合肥工業(yè)大學(xué),2012:27. YIN Ming. Research on quaternion wavelet transformation theory and its application in process-ing[D]. Hefei:Hefei University of Technology,2012:27.

Fabric curved surface seam extraction using binocular vision and stitching path planning

LI Jinzhong, WANG Tianqi, HE Junjie, LI Liangyu, HOU Yangqiang

(TianjinKeyLaboratoryofAdvancedMechatronicsEquipmentTechnology,TianjinPolytechnicUniversity,Tianjin300387,China)

Aiming at the seam automatic extraction and the stitching path planning of curve surface fabrics, a seam automatic recognition method based on binocular vision was proposed. Combining the spatial position conversion relation between three dimensional points cloud and the two dimensional image of a stitched prefabricated part, the map of the same in two dimensional image of the prefabricated part in the three dimensional points cloud was acquired. Furthermore, Frenet-Serret vectors in all positions of the stitching path were calculated by a path designing method based on Frenet-Serret vectors, the posture of a robot terminal was calculated, and the stitching path of the robot was simulated using MatLab. The experimental results show that the method can position the spatial positions of a seam accurately and quickly and solve the problems in the automatic stitching process on difficut stitching path search and low precision, and can also plan a stitching path of the robot quickly.

curve surface fabric; binocular vision; seam position; Frenet-Serret vector; stitching path planning

10.13475/j.fzxb.20160801505

2016-08-08

2017-05-04

國家自然科學(xué)基金資助項目(U1333128)； 天津市科技支撐計劃重點項目(15ZCZDGX00300)

李金鐘(1994—)，男，碩士生。主要研究方向為機器人視覺。王天琪，通信作者，E-mail: 4320304@qq.com。

TP 391.4； TP 242.2

A