機器人帶電作業(yè)中的視覺定位與優(yōu)化策略

卞越洋，高曉科，張偉軍

(上海交通大學(xué)機械與動力工程學(xué)院，上海 200240)

0 引言

在電力作業(yè)中，一個重要內(nèi)容就是將電流從高壓線引流到各工廠、小區(qū)等用電場所。為了保證生產(chǎn)生活的不中斷，需要在帶電情況下完成作業(yè)，這對操作的精確性和安全性帶來了很大考驗。當前，操作員需要乘坐十幾米高的升降平臺，靠近高壓電線，近距離手動完成高壓帶電作業(yè)。在帶電情況下，人工操作十分危險，已有多起人員傷亡事故。因此，用機器人遠程作業(yè)成為一種緊迫的替代方案[1]。

另一方面，隨著經(jīng)濟發(fā)展和科技進步，機器人作業(yè)應(yīng)用在越來越多的場景中，尤其是在一些危險環(huán)境中，機器人技術(shù)的應(yīng)用有效降低了人員傷亡，提高了工作效率[2]。當前主流的做法是操作人員通過人眼觀察位置，遠程操作機器人，但人眼遠距離觀察，并不能得到較為精確的目標位置[3]。通過機器視覺技術(shù)，讓機器人自主定位目標，自動化完成作業(yè)，是未來發(fā)展的方向。

在引流作業(yè)場景下，需要將電流從10 kV的高壓電線上引導(dǎo)到跌落式熔斷器上。完成作業(yè)的前提是，精確識別出2個目標物體，即熔斷器和高壓線纜。為解決帶電作業(yè)場景下的熔斷器和線纜的識別問題，可以利用機器視覺技術(shù)，通過視覺算法，從相機圖像中識別出目標物體。通過相機參數(shù)的標定和坐標系之間的轉(zhuǎn)換，得到目標物體在空間中的位置，給作業(yè)機械臂提供定位指導(dǎo)，進而完成自動化作業(yè)的目標。

本文在形狀匹配算法的基礎(chǔ)上，提出了一種分塊和拼接策略，很大程度上解決了目標物體變形、遮擋等問題，提高了算法的準確率和魯棒性。

1 帶電作業(yè)機器人系統(tǒng)

本文設(shè)計的視覺輔助系統(tǒng)將應(yīng)用于高壓帶電作業(yè)機器人系統(tǒng)。帶電作業(yè)機器人系統(tǒng)主體是1個升降平臺，平臺上裝有3個機械臂，2個為作業(yè)機械臂，1個為視覺觀察臂，觀察臂上裝有深度相機。平臺上還裝有作業(yè)工具，包括自動剝線器、驗電筆和線夾等。作業(yè)臂負責(zé)進行帶電作業(yè)，其中一個裝有線夾，負責(zé)固定住線纜，防止晃動，另一個作業(yè)臂負責(zé)從工作臺上取放工具，完成剝線、引線。整體系統(tǒng)如圖1所示。

自主帶電作業(yè)主要分為2步：第1步，根據(jù)深度相機獲取到的圖像和視覺匹配算法，定位到熔斷器和線纜的精確位置，發(fā)送給作業(yè)機械臂；第2步，作業(yè)機械臂按照一定的順序從平臺取工具，并到指定位置完成剝線、引流等預(yù)設(shè)任務(wù)。本文主要研究熔斷器和線纜的定位問題。定位主要流程如圖2所示。

圖2 視覺定位整體流程

2 視覺算法設(shè)計

視覺算法的目標是自主識別出目標物體，在本文中為預(yù)設(shè)的熔斷器和線纜，并指明它們在空間中的坐標位置。因視覺系統(tǒng)涉及到世界坐標系、末端坐標系、相機坐標系和像素坐標系之間的轉(zhuǎn)換，所以要明確物體的空間位置，需要計算出坐標系之間的位置關(guān)系，可以利用相機標定來確定[4]。針對目標物體識別問題，本文基于形狀匹配算法來實現(xiàn)。

2.1 相機參數(shù)標定

標定是通過實驗的方法，計算出對相機參數(shù)的估計。相機參數(shù)包括內(nèi)參和外參。假設(shè)世界坐標系原點位于機器人的基座上，世界坐標系與機器人末端坐標系之間的轉(zhuǎn)換關(guān)系可由機器人的關(guān)節(jié)參數(shù)求得。利用相機內(nèi)參，可以求得相機坐標系、像素坐標系之間的轉(zhuǎn)換。設(shè)相機坐標中的點P坐標為(xc,yc,zc)，對應(yīng)的像素坐標為(u,v),轉(zhuǎn)換關(guān)系為

(1)

K稱為內(nèi)參矩陣；fx,fy為相機焦距；u0,v0為坐標原點偏置。內(nèi)參矩陣表征相機自身的特性，采用張正友標定法進行標定，將黑白棋盤標定板固定于1個平面上，從不同角度拍攝若干張圖像，檢測出棋盤格的角點，得到1組非線性方程組。應(yīng)用最小二乘法求出相機參數(shù)，并使用極大似然估計法提高精度。內(nèi)參標定只需進行1次。

外參矩陣確定了相機坐標系與末端坐標系之間的轉(zhuǎn)換關(guān)系，與相機安裝位置相關(guān)，需根據(jù)不同應(yīng)用場景分別標定。本文采用eye in hand標定方法[5]，將相機固定于機械臂末端，標定板固定于基座，如圖3所示。 標定過程中，標定板位置保持不變，多次移動機械臂，獲取標定板圖像。

圖3 手眼標定坐標系

本文使用Ensenso N35相機，采用halcon標定板，在機械臂不同位姿下拍攝15～20張圖片，通過計算求解出世界坐標系到相機坐標系的轉(zhuǎn)換矩陣T。該轉(zhuǎn)換矩陣保持不變，因此任意2次標定滿足關(guān)系式

(2)

由于相機與機械臂末端相對位置固定，即

(3)

因此，可變換得到關(guān)系式為

(4)

AX=XB

(5)

式(5)可通過Tsai-Lenz算法[6]求解X，通過標定得到相機坐標系與末端坐標系的轉(zhuǎn)換關(guān)系為

(6)

(xc,yc,zc)為相機坐標系中的1點；(xe,ye,ze)為末端坐標系中的對應(yīng)點。

2.2 形狀匹配原理

形狀匹配是模板匹配的1種，將梯度方向作為匹配特征，可以在光照強度變化、背景干擾較大的情況下取得較好的匹配效果[7]。首先選取需要識別的目標物體，即模板，使用目標物體上的1組特征點pi=(xi,yi)和其對應(yīng)的方向di=(cosθi,sinθi)來描述目標物體，其中θi為特征點的梯度方向。特征點和方向可由邊緣檢測、線段檢測算子來產(chǎn)生。在匹配時，將模板作為滑動窗口依次在當前圖像中平移，計算每次比對的相似性，相似性最高的位置即為目標物體所在位置。設(shè)(x,y)為圖像中1點的坐標，其中相似性計算公式為

(7)

e(x,y)+pi為待匹配圖像對應(yīng)位置處的梯度方向；n為所有特征點個數(shù)。相似性即為模板圖像與待匹配圖像對應(yīng)位置方向的余弦值的平均。

實際匹配過程中，通過打分的方式統(tǒng)計相似度。設(shè)相似度閾值為μ，對于C(x,y)≥μ，將該位置放入候選集合中，否則跳過。

設(shè)候選集合為S,利用非極大值抑制法(NMS)去除冗余的候選框，得到最終的匹配結(jié)果。

考慮到實際得到的圖像存在大小和角度的變化，創(chuàng)建模板時，還需要將模板分別進行旋轉(zhuǎn)和縮放處理。將模板以1°為步長，旋轉(zhuǎn)360°，形成360張模板，再將每個模板以0.1為步長，從0.8～1.2縮放，總共形成360×5=1 800張模板，對每張模板進行特征點梯度方向記錄。這樣，在實際匹配時，能滿足各個角度和一定范圍內(nèi)的縮放情況，達到較好的匹配效果。在匹配時，為了加快匹配速度，以達到實時性要求，采用了均勻選取特征點、圖像金字塔和梯度方向量化等加速方法[8]，在這里不展開討論。經(jīng)過加速過程，可以達到實時性的要求。經(jīng)測試，在100萬像素下，2 000個模板的提取特征過程耗時為60 ms，匹配過程耗時僅為15 ms。

3 定位優(yōu)化策略

形狀匹配算法在目標物體識別上取得了較好的效果。在實際匹配時，熔斷器和線纜都可能與訓(xùn)練時的形狀不完全相同。例如，拍攝時的視角變化導(dǎo)致成像變形，熔斷器各組件之間存在相對位移，線纜可能存在彎曲等。本文針對這類問題，提出了一種基于分塊和拼接的匹配算法，該算法通過“化整為零”的思想，將目標物體的識別轉(zhuǎn)化為特征塊的識別，再通過特征塊之間的相對位置進行拼接。這種算法在很大程度上避免了物體形變的問題，大大提高了算法的魯棒性和識別的準確率。

另一方面，形狀匹配算法在匹配時考慮旋轉(zhuǎn)和縮放因素，其角度和大小的采樣是離散的，因此帶來了一定的匹配誤差。本文采用最小二乘法進行優(yōu)化，在匹配結(jié)果附近，搜索最接近的實際邊緣點，可以將姿態(tài)估計的精度提高到亞像素級，提高了定位精度。

3.1 分塊與拼接策略

分塊與拼接匹配算法分為3個步驟:第1步，選取輪廓形狀特征明顯的特征塊，記錄形狀特征數(shù)據(jù)；第2步，基于形狀匹配原理，在待匹配圖像上定位出特征塊；第3步，將多個特征塊拼接，識別出完整的目標物體位置。

針對特征豐富、體積較大的物體，如本文中的熔斷器，選取多個特征塊。匹配時，在獲取到的圖像中分別匹配每個特征塊。

拼接時，考慮各特征塊之間的相對位置關(guān)系，如圖4所示。最接近原有位置關(guān)系的特征塊組合更可能是目標物體。

圖4 特征塊位置關(guān)系

假設(shè)有k個特征塊，每個特征塊都有1個候選集合Φ。取任意2個特征塊i,j,設(shè)圖像中i和j的中心距離為dij，相應(yīng)地，模板圖像中i和j的中心距離為di,j(s)。定義距離的平均變化率為

(8)

在每個特征塊的候選集合中選出1個特征塊，組成1種組合,式(8)表示該組合的平均距離變化率。

設(shè)每個特征塊的候選個數(shù)為φ1,φ2,…,φk,則共有φ1·φ2…φk種組合。對每種組合，計算平均變化率。平均變化率最小的組合作為匹配結(jié)果。

設(shè)定平均變化率閾值μ=0.2，若最小的變化率仍大于0.2，表示未識別到目標物體。

針對特征點較少，由單一特征塊組合而成的目標物體，如高壓線纜，選取重復(fù)部分作為特征塊，這里選取一小段線纜。拼接時，首尾相連的若干個小段線纜更可能來自1條長線纜，如圖5所示。

圖5 特征線纜拼接

匹配線纜之前，對深度圖像預(yù)處理，通過中值濾波和聚類的方式，去除環(huán)境噪聲。制作小段特征線纜時，根據(jù)所采用的線纜尺寸，設(shè)定50 mm寬度、250 mm長度的矩形作為特征，并記錄各個角度和不同尺寸下的模板數(shù)據(jù)。

設(shè)線纜直徑為D，任意小段線纜為A和B，方向向量為ρa和ρb，A與B之間距離為dab，判定規(guī)則為

(9)

滿足判定規(guī)則的任意2條小段線纜可看成是同一條線纜。由此對于識別到的所有小段線纜c1,c2，…，cn,可構(gòu)成1個鄰接矩陣A，即

(10)

利用圖理論知識，使用深度優(yōu)先搜索(DFS)，可得到若干條路徑，其中的最長路徑認為是識別到的線纜。

3.2 精度提高策略

在訓(xùn)練特征時，對模板特征進行了旋轉(zhuǎn)和縮放，記錄了不同角度和尺寸下的特征數(shù)據(jù)。由于角度和尺寸是離散取樣的，所以可能與實際情況有輕微偏差，造成誤差。為了提高精度，在特征匹配完成后，采用最小二乘法對特征點的位置進行優(yōu)化。通過邊緣檢測算子，提取到實際圖像中的邊緣點。對匹配得到的特征點，搜索距離其最近的邊緣點。由匹配到的1組點和實際的1組點的關(guān)系，求得變換矩陣。

設(shè)形狀匹配算法描述的目標物體為1組特征點pi=(xi,yi)，對應(yīng)方向為di=(cosθi,sinθi)，并設(shè)實際圖像中的對應(yīng)組特征點為qi，pi到qi的轉(zhuǎn)換矩陣為

(11)

x0,y0為平移量；θ0為旋轉(zhuǎn)量。

則最小二乘法的目標函數(shù)χ2可表示為

(12)

由最優(yōu)化理論可知，目標函數(shù)的最小值為

Tmin=-H-1χ2(T)

(13)

Tmin為目標函數(shù)取得最小值時T的取值；H為Hessian矩陣；χ2(T)為目標函數(shù)的梯度。通過數(shù)值迭代法可得到T的最優(yōu)解。此時，在T的變換下，能更加準確地找到實際特征點的位置，從而提高目標物體的位置精度。

4 實驗驗證與性能分析

本次實驗的機器人選用UR10，相機選用Ensenso N35雙目相機。

首先依據(jù)分塊匹配策略，熔斷器選擇3個特征塊分塊匹配，線纜截取小段線纜作為特征匹配，特征如圖6所示。

圖6 實驗選取的特征塊

訓(xùn)練完成后，開始進行實時匹配。相機將拍攝到的實時圖片傳回，算法程序?qū)崟r匹配，并將結(jié)果顯示在當前的程序上。從實驗結(jié)果可以看出，盡管每個特征塊都匹配到若干個候選圖形，但經(jīng)過分塊組合的策略，最終都能確定出目標物體的位置。圖7顯示的是實時匹配結(jié)果。

圖7 實時匹配結(jié)果

總體實驗結(jié)果表明，總體匹配成功率達99%以上，識別成功率高，且實時性好。因此在帶電作業(yè)機器人的實際應(yīng)用時，可以滿足工業(yè)需求。

為了衡量算法的重復(fù)匹配誤差，記錄了多次匹配的結(jié)果，以檢驗誤差的范圍。對線纜，記錄了5次實驗的結(jié)果，如圖8所示。其中，每次匹配得到的線纜由1組點集表示，點集中的每個點pi=(xi,yi,zi)表示小段線纜的中心位置。5次匹配得到的線纜如圖8a所示。取線纜相同位置作為衡量標準，5次實驗的方差為7.82 mm，誤差不超過6.00 mm。

圖8 多次匹配結(jié)果比較

對熔斷器，記錄了15次匹配結(jié)果，以幾何中心代表物體位置，如圖8b所示,方差為2.17 mm，匹配得到的誤差不超過7.00 mm。匹配精度在mm級別，達到了工程上的精度要求。

經(jīng)過實驗驗證，將視覺匹配算法得到的目標物體位置發(fā)送給作業(yè)機械臂，能夠精確地到達指定位置，并完成作業(yè)。

5 結(jié)束語

本文著眼于帶電作業(yè)機器人的視覺識別與定位問題，分析了相機標定原理，完成機器人內(nèi)參標定和手眼標定，實現(xiàn)在機器視覺中各坐標系之間的轉(zhuǎn)換?；谛螤钇ヅ渌惴ǎ岢隽朔謮K與拼接匹配策略，使視覺識別具有快速、準確和適應(yīng)性好的優(yōu)勢。通過最小二乘法和最優(yōu)化理論，減小了識別誤差，提高位置精度。針對帶電作業(yè)環(huán)境，以跌落式熔斷器和高壓線纜為目標物體，應(yīng)用本文算法，通過實驗驗證了該算法的可行性和優(yōu)越性。