基于無標(biāo)定視覺伺服的激光標(biāo)記自動跟蹤視頻引伸計控制系統(tǒng)設(shè)計

張立見，田秋紅，謝森棟，陳本永

（浙江理工大學(xué)精密測量技術(shù)實驗室，杭州310018）

基于無標(biāo)定視覺伺服的激光標(biāo)記自動跟蹤視頻引伸計控制系統(tǒng)設(shè)計

張立見，田秋紅，謝森棟，陳本永

（浙江理工大學(xué)精密測量技術(shù)實驗室，杭州310018）

本控制系統(tǒng)采用圖像雅克比矩陣在線辨識的方法，建立了激光標(biāo)記與試件標(biāo)記的實際距離，即激光標(biāo)記的跟蹤位移量到圖像空間跟蹤位移量的映射關(guān)系，不僅避免現(xiàn)有視頻引伸計的攝像機標(biāo)定環(huán)節(jié)，而且實現(xiàn)了激光標(biāo)記對試件標(biāo)記的精密全程跟蹤。通過低碳鋼和鑄鐵的拉伸實驗，分別實現(xiàn)跟蹤精度1.8μm/10 mm和0.9μm/ 2.5 mm，驗證了設(shè)計的控制系統(tǒng)的有效性和精確性。

視頻引伸計；激光標(biāo)記；攝像機標(biāo)定；圖像雅克比矩陣；無標(biāo)定視覺伺服

0 引 言

光電測量技術(shù)的發(fā)展及視覺圖像處理技術(shù)的不斷完善，為非接觸式視頻引伸計的研制奠定了堅實基礎(chǔ)。視頻引伸計一般在被測試件的上、下端口印制標(biāo)記，然后在拉伸過程中實時跟蹤上、下兩標(biāo)記的位移，根據(jù)兩者的位移之差計算形變量［1-5］。方菲等［6］提出了寬帶激光掃描技術(shù)與線陣CCD成像技術(shù)相結(jié)合方法實現(xiàn)材料在加載過程中徑縮點位置與徑縮量的在線測量。Zhang Ye-wei等［7］提出了一個固定平面上單攝像機測量模型，采用張正友標(biāo)定法［8］進(jìn)行標(biāo)定，做了半實物實驗驗證了利用相機標(biāo)定實現(xiàn)視頻引伸計高精度測量的可行性。Fauster等［9］提出了利用激光器產(chǎn)生兩束線結(jié)構(gòu)光射在特制的帶有圓孔標(biāo)定模板上，采用相應(yīng)的標(biāo)定算法實時標(biāo)定，經(jīng)圖像處理計算試件的形變量。由于CCD內(nèi)外參數(shù)未知，因此這些方法都需要設(shè)計攝像機標(biāo)定模板和標(biāo)定算法，且在重復(fù)實驗中攝像機位置、焦距等參數(shù)會改變，因此需重新標(biāo)定，這使得測量過程繁瑣復(fù)雜且引入誤差。因此，研究無標(biāo)定技術(shù)的高精度視頻引伸計具有重要的實際意義。

無標(biāo)定技術(shù)是指在不預(yù)先標(biāo)定攝像機和被測參數(shù)的情況下，直接通過圖像上的系統(tǒng)狀態(tài)誤差設(shè)計實際控制律，驅(qū)動被控對象運動，使系統(tǒng)誤差收斂到一個允許的誤差域內(nèi)［10］。本文設(shè)計了一種基于無標(biāo)定技術(shù)的激光標(biāo)記自動跟蹤視頻引伸計控制系統(tǒng)，描述了該系統(tǒng)結(jié)構(gòu)和測量原理，采用圖像雅克比矩陣方法［11］，動態(tài)建立了實際空間中激光標(biāo)記的跟蹤位移量到圖像空間跟蹤位移量的映射關(guān)系，構(gòu)建了基于視覺反饋的激光標(biāo)記自動跟蹤控制算法，并進(jìn)行實驗驗證。

1 系統(tǒng)結(jié)構(gòu)與測試方法

激光標(biāo)記自動跟蹤視頻引伸計的系統(tǒng)結(jié)構(gòu)包括激光標(biāo)記自動跟蹤系統(tǒng)和圖像處理系統(tǒng)，如圖1所示。激光標(biāo)記自動跟蹤系統(tǒng)由伺服電機、反射五棱鏡、控制器、CCD構(gòu)成。拉伸實驗中試件所受拉伸力垂直于水平面，因此即使激光標(biāo)記寬度在每個采樣時刻使激光標(biāo)記中心點橫坐標(biāo)產(chǎn)生變化，也不會對試件豎直方向的形變測量產(chǎn)生影響，故控制系統(tǒng)只需根據(jù)兩標(biāo)記中心點的縱坐標(biāo)之差制定控制律。經(jīng)圖像處理系統(tǒng)獲得試件標(biāo)記和激光標(biāo)記中心點在圖像空間中的像素坐標(biāo)為（x1，y1）和（x2，y2），縱坐標(biāo)之差ferror=y1-y2。上位機通過串口通信發(fā)送控制指令給控制器，驅(qū)動伺服電機旋轉(zhuǎn)，實現(xiàn)激光標(biāo)記以相應(yīng)速度對試件標(biāo)記的實時跟蹤。由于CCD成像模型是非線性的，導(dǎo)致激光標(biāo)記與試件標(biāo)記的實際距離變化到圖像特征距離變化的映射關(guān)系也是非線性，可見本控制系統(tǒng)是一個具有未建模動態(tài)的非線性系統(tǒng)控制問題。

圖1 激光標(biāo)記自動跟蹤視頻引伸計的結(jié)構(gòu)

本文設(shè)計了基于無標(biāo)定視覺伺服的激光標(biāo)記自動跟蹤引伸計控制系統(tǒng)，采用圖像雅克比矩陣在線辨識的方法，建立了實際空間中激光標(biāo)記的跟蹤位移量到圖像空間跟蹤位移量的映射關(guān)系。通過辨識出雅克比矩陣與兩標(biāo)記中心點像素距離差計算出控制量，控制伺服電機帶動五棱鏡旋轉(zhuǎn)，實現(xiàn)激光標(biāo)記對試件標(biāo)記的實時精密跟蹤，拉伸過程中的激光標(biāo)記位移量即為試件形變量。

2 激光標(biāo)記自動跟蹤控制建模

CCD固定在被測試樣標(biāo)記的正前方，記錄同一平面內(nèi)激光標(biāo)記與試件標(biāo)記的運動軌跡。由于兩者在同一個平面內(nèi)做二維運動，設(shè)激光標(biāo)記中心點在實際空間坐標(biāo)系下坐標(biāo)為（xw，yw，zw），激光標(biāo)記中心點在x-o-y平面運動空間坐標(biāo)為p=（xw，yw）。同時定義激光標(biāo)記中心點在固定攝像機圖像空間坐標(biāo)fg=（ug，vg）。因此，采用圖像雅克比矩陣建立了激光標(biāo)記中心點與試件標(biāo)記中心點的實際距離，即激光標(biāo)記的跟蹤位移量到圖像空間跟蹤位移量的映射關(guān)系：

式中：

J是攝像機觀察激光標(biāo)記運動的雅克比矩陣，它與激光標(biāo)記中心點的當(dāng)前位置和攝像機的內(nèi)外參數(shù)有關(guān)。采用針孔模型描述攝像機的成像投影關(guān)系［12］，即：

式中：（Xc，Yc，Zc）為激光標(biāo)記中心點在攝像機坐標(biāo)系中的坐標(biāo)，f為CCD的焦距。激光標(biāo)記實際運動空間坐標(biāo)到攝像機坐標(biāo)的變換關(guān)系式［13］如下：

由式（1）、（3）、（4）得公式（5）：

式中：（ug，vg）為圖像空間激光標(biāo)記中心點的橫、縱坐標(biāo)，f為CCD的焦距，Zc是激光標(biāo)記在攝像機空間的坐標(biāo)分量，ri，j（i=1，2，3；j=1，2）為攝像機外參數(shù)矩陣成員變量。

可見，在跟蹤過程中激光標(biāo)記運動會引起Zc，ug，vg的變化，從而J矩陣隨之變化，故需設(shè)計J矩陣的在線估計算法。本文采用卡爾曼濾波器實現(xiàn)對J的在線辨識。

定義觀察參數(shù)矢量x為一個四維矢量，包含雅克比矩陣J的全部參數(shù)，即：

系統(tǒng)狀態(tài)方程如下：

式中：ω（k）、ψ（k）分別為狀態(tài)噪聲和觀察噪聲，x（k）是系統(tǒng)的狀態(tài)變量，z（k）為激光標(biāo)記相鄰時刻的坐標(biāo)變化量，作為觀測變量。

建立卡爾曼濾波器遞推公式如下：

式中：R1、R2為噪聲方差陣，取R1=0.8·I4，R2= 0.8·I2，初始值取P（0）=106·I4（In為n維單位矩陣）。K（k+1）為卡爾曼增益混合因數(shù)矩陣，Q（k+ 1）為后驗估計協(xié)方差矩陣，P（k）為先驗估計協(xié)方差矩陣，H（k）為觀測模型矩陣，將真實狀態(tài)空間映射成觀測空間。

實驗中，x（k）作為卡爾曼濾波器的狀態(tài)輸入。實驗開始前，先記錄激光標(biāo)記的兩次線性無關(guān)的位移量為Δp1、Δp2，然后記下激光標(biāo)記在圖像空間中的位置變化量為Δf1，Δf2，計算出J矩陣初始值［］：使用?J（0）構(gòu)成?x（0）。即通過卡爾曼濾波器辨識得出每個采樣時刻的J（k），根據(jù)式（1）和圖像處理獲得試件標(biāo)記與激光標(biāo)記中心的位置差ferror。因此，求出兩標(biāo)記在實際運動空間的位置之差：perror=J-1·ferror。根據(jù)perror的縱坐標(biāo)分量控制伺服電機轉(zhuǎn)速，使激光標(biāo)記在一個采樣周期內(nèi)自動跟蹤試件標(biāo)記至兩者重合。

3 激光標(biāo)記自動跟蹤控制算法

基于無標(biāo)定視覺伺服的激光標(biāo)記自動跟蹤視頻引伸計控制系統(tǒng)如圖2所示。通過上述方法獲得圖像雅克比矩陣，根據(jù)CCD的反饋信息利用圖像雅克比矩陣計算控制量，控制伺服電機使激光標(biāo)記跟蹤至期望位置坐標(biāo)。跟蹤算法實現(xiàn)步驟如下。

a）通過圖像處理獲得第k與k-1時刻的試件標(biāo)記的坐標(biāo)根據(jù)公式（9）預(yù)估k+1時刻試件標(biāo)記中心點的圖像坐標(biāo)f#（k+1）=（u0（k+1），v0（k+ 1）），即為k時刻激光標(biāo)記的期望坐標(biāo)。同時獲取當(dāng)前k時刻激光標(biāo)記的圖像坐標(biāo)fg（k）=（ug（k），vg（k）），本系統(tǒng)中兩標(biāo)記中心點橫坐標(biāo)對系統(tǒng)誤差沒有影響，故系統(tǒng)誤差可表示為：

b）通過卡爾曼濾波器觀測出兩標(biāo)記位置關(guān)系的雅克比矩陣J（k）。

c）根據(jù)公式（1），等式兩邊左乘矩陣J（k）-1，根據(jù)公式（10）計算出激光標(biāo)記實際空間中的位移量。

d）根據(jù)公式（11）計算出Perror控制伺服電機轉(zhuǎn)速，帶動五棱鏡旋轉(zhuǎn)。使激光標(biāo)記在試件上掃描Perror位移量，實現(xiàn)激光標(biāo)記對試樣標(biāo)記的自動跟蹤。

圖2 激光標(biāo)記自動跟蹤引伸計的控制系統(tǒng)

4 實驗結(jié)果

為了驗證設(shè)計的激光標(biāo)記自動跟蹤視頻引伸計控制系統(tǒng)的可行性，搭建了如圖3所示的實驗裝置。CCD攝像機圖像分辨率ks為被測試件的直徑與試件直徑的像素個數(shù)的比值，本實驗中使用材料直徑D=10 mm，經(jīng)計算得圖像空間中材料直徑所占像素個數(shù)為65 pixel，可得CCD的分辨率為ks=0.15 mm/pixel。試驗機為濟南試金集團(tuán)WOW-100微機控制電子萬能試驗機，伺服電機采用三菱 HFKP13永磁交流伺服電機，通過不同頻率的脈沖串控制其轉(zhuǎn)速，電子齒輪參數(shù)設(shè)定為0.4，采用最大分辨率262 144脈沖/r，此時伺服電機的步距角為Δθ =5.5×10-4°。五棱鏡到試件的距離L=50cm，伺服電機轉(zhuǎn)動一步激光標(biāo)記在試件上掃描位移為4.7 μm，系統(tǒng)的采樣周期是60 ms。

圖3 激光標(biāo)記自動跟蹤視頻引伸計實驗系統(tǒng)

實驗前，激光標(biāo)記和試樣標(biāo)記中心點不重合，測得兩標(biāo)記中心點距離大約為10 mm。低碳鋼拉伸實驗中，取根據(jù)公式（8）可得雅克比矩陣的初始值：）。因此，初始階段ks的大小會影響圖像雅克比矩陣的準(zhǔn)確性，產(chǎn)生跟蹤誤差。但在此后的每個采樣時刻，系統(tǒng)會根據(jù)激光標(biāo)記的跟蹤運動信息，利用卡爾曼濾波器對圖像雅克比矩陣辨識獲得其準(zhǔn)確值，由ks帶來的跟蹤誤差在0.6 s內(nèi)被修正，從而實現(xiàn)激光標(biāo)記對試件標(biāo)記的精確跟蹤。

圖像空間中兩標(biāo)記中心點坐標(biāo)初始距離差為ferror（0）≈（0，10）T（pixel），取K=0.188激光標(biāo)記實際空間的跟蹤位移量為：Perror=?J（0）-1·ferror（0）·K≈9.97 mm。在每個采樣周期內(nèi)，利用卡爾曼濾波器更新雅克比矩陣，然后計算出激光標(biāo)記實際空間的跟蹤位移量，實現(xiàn)對試件標(biāo)記的全程精密跟蹤。拉伸過程中，如圖4（b）所示：曲線的第一個跳躍點取K=0.662，第二跳躍點取K=0.532，其它時刻取K=0.26。

圖4 低碳鋼拉伸激光標(biāo)記跟蹤曲線

如圖4所示，低碳鋼的形變量為10 mm左右；由圖4（a）所示激光標(biāo)記在初始跟蹤階段產(chǎn)生較小超調(diào)；由圖4（b）所示在整個跟蹤過程中除上述超調(diào)外其他時刻跟蹤性能良好，激光標(biāo)記的軌跡與試件標(biāo)記運動軌跡完全重合；如圖4（c）所示，初始時刻由于要求系統(tǒng)響應(yīng)速度快，因此會產(chǎn)生0.03 mm左右的超調(diào)誤差。跟蹤過程中除低碳鋼屈服和頸縮起始階段曲線波動之外，整個跟蹤過程誤差趨于0，圖像雅克比矩陣的在線估計準(zhǔn)確性較高。根據(jù)低碳鋼拉伸跟蹤誤差數(shù)據(jù)、標(biāo)準(zhǔn)差公式，計算出系統(tǒng)跟蹤精度為1.8μm/10 mm。

鑄鐵拉伸實驗中，兩標(biāo)記中心點距離大約為10 mm，雅克比矩陣的初始值與低碳鋼相同，圖像空間初始系統(tǒng)誤差約為10 pixel。初始時刻取K=0.187，得到的實際跟蹤量約為10 mm。其他時刻取K=0.40。跟蹤曲線如圖5所示。鑄鐵拉伸過程形變量為2.5 mm左右。在初始階段激光標(biāo)記能夠快速響應(yīng)跟蹤上試件標(biāo)記，且沒有明顯超調(diào)，整個跟蹤過程兩標(biāo)記重合。如圖5（c）所示，初始時刻由于要求系統(tǒng)響應(yīng)速度快，因此會產(chǎn)生0.009 mm左右的超調(diào)誤差，整個過程跟蹤誤差趨于0，圖像雅克比矩陣的在線估計準(zhǔn)確性較高。根據(jù)鑄鐵拉伸跟蹤誤差數(shù)據(jù)、標(biāo)準(zhǔn)差公式，計算出系統(tǒng)跟蹤精度為0.9μm/2.5 mm。

圖5 鑄鐵拉伸激光標(biāo)記跟蹤曲線

5 結(jié) 論

本文設(shè)計并實現(xiàn)了一種基于無標(biāo)定技術(shù)的激光標(biāo)記自動跟蹤視頻引伸計控制系統(tǒng)。在攝像機參數(shù)、試樣標(biāo)記和激光標(biāo)記運動與圖像中位置變化的映射關(guān)系、以及試件標(biāo)記的運動軌跡都是未知的情況下，系統(tǒng)采用了卡爾曼濾波器在線辨識圖像雅克比矩陣的方法，實現(xiàn)了激光標(biāo)記對試樣標(biāo)記的實時精密全程跟蹤，避免了視頻引伸計需對攝像機在線標(biāo)定的環(huán)節(jié)。用低碳鋼和鑄鐵材料的試樣對該控制系統(tǒng)進(jìn)行了實驗驗證，獲得了試樣拉伸形變量。

構(gòu)建的激光標(biāo)記自動跟蹤式視頻引伸計的控制系統(tǒng)，對實現(xiàn)視頻引伸計準(zhǔn)確、快捷地測量材料形變量具有重要意義，此外圖像雅克比矩陣需要在線實時更新與求逆，會存在矩陣的奇異性問題。文中通過選取優(yōu)良的初始值以及適當(dāng)改變觀測噪聲矩陣的方法，解決了圖像雅克比矩陣的奇異性問題，在以后的研究中將繼續(xù)完善與優(yōu)化，提高整個系統(tǒng)的跟蹤精度和穩(wěn)定性。

［1］王慶友，于涓匯，郭青德，等.利用線陣CCD非接觸測量材料變形量的方法［J］.光電工程，2002，29（4）：20-24.

［2］張 宇，王一丁，郭樹旭.提高引伸計測量精度的小波去噪方法研究［J］.光電子·激光，2006，17（8）：930-933.

［3］張新潔，謝哲東.用于精密位移測量的視頻引伸計系統(tǒng)的研究［J］.儀器儀表學(xué)報，2011，32（6）：61-65.

［4］張英杰.基于視頻圖像的應(yīng)變精密測量研究［D］.長春：吉林大學(xué)，2006：1-64.

［5］門廷武，李新軍，呂曉東.金屬拉伸試驗中基于刻線的非接觸實時應(yīng)變測量［J］.機械工程與自動化，2007（5）：83-85.

［6］方 菲，王紅平，曹國華.材料拉伸過程頸縮量非接觸檢測方法的研究［J］.長春理工大學(xué)學(xué)報，2004，27（3）：89-91.

［7］Zhang Y W，Zhou F Q，Wang S.Design and simulation of high-precision video extensometer based on camera calibration［C］//International Conference on Multimedia Technology.Hangzhou，2011：6295-6298.

［8］Zhang Z Y.A flexible new technique for camera calibration［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330-1334.

［9］Fauster E，Schalk P，OLeary P L.Evaluation and calibration methods for the application of a to video-extensometer tensile testing of polymer materials［C］//Conference on Machine Vision Applications in Industrial Inspection XIII，2005，5679：187-198.

［10］郭藍(lán)彬.基于圖像雅克比矩陣的無標(biāo)定工業(yè)機器人視覺伺服［D］.西安：西安理工大學(xué)，2006：1-51.

［11］Weiss L E.Dynamic sensor-based control of robots with visual feedback［J］.IEEE Journal of Robotics and Automation，1987，RA-3（5）：404-417.

［12］張劍清，潘 勵，王樹根.攝影測量學(xué)［M］.武漢：武漢大學(xué)出版社，2009：1-303.

［13］徐明飛.攝像機線性標(biāo)定方法［D］.長春：吉林大學(xué)，2009：1-48.

［14］馬建章.移動機器人的目標(biāo)識別與運動跟蹤［D］.天津：河北工業(yè)大學(xué)，2007：1-59.

Design of Control System of a Laser Mark Automatic Tracking Video Extensometer Based on Uncalibrated Visual Servoing

ZHANG Li-jian，TIAN Qiu-hong，XIESen-dong，CHEN Ben-yong
（Precision Measurement Laboratory，Zhejiang Sci-Tech University，Hangzhou 310018，China）

This control system uses image Jacobian matrix online identification method to establish the actual distance between laser mark and specimen mark，i.e.the mapping from laser mark tracking displacement to image space tracking displacement，which not only avoids camera calibration link of existing video extensometer，but also realizes whole process precision tracking of specimen mark by laser mark.In low-carbon steel and cast iron tensile tests，tracking precision 1.8μm/10 mm and 0.9μm/2.5 mm have been achieved respectively，which verifies the validity and precision of the designed control system.

video extensometer；laser mark；camera calibration；image Jacobian matrix；uncalibrated visual servoing

TH871

A

（責(zé)任編輯：康 鋒）

1673-3851（2014）03-0292-05

2013-12-02

國家自然科學(xué)基金項目資助（90923026）；浙江省自然科學(xué)基金項目資助（Y1110538）

張立見（1988-），男，山東濟寧人，碩士研究生，研究方向為計算機網(wǎng)絡(luò)技術(shù)。

田秋紅，電子郵箱：tianqiuhong@zstu.edu.cn