基于隨機森林算法的氣動軟體機械臂視覺伺服

陳元杰 趙翰宇 何啟寧 陳彥希 彭江 江沛

doi：?10.11835/j.issn.1000-582X.2022.002

收稿日期：2021-12-10

網(wǎng)絡出版日期：2022-02-26

基金項目：中央高?；究蒲袠I(yè)務費科研平臺與成果培育專項（2020CDCGJX023）。

Foundation：Supported by the Fundamental Research Funds for the Central Universities （2020CDCGJX023）.

作者簡介：陳元杰（1996—），男，碩士研究生，主要從事機械臂視覺伺服、運動學模型研究，（E-mail）804830684@qq.com。

通信作者：江沛，男，副教授，博士生導師，（E-mail）Peijiang@cqu.edu.cn。

摘要：軟體機械臂具有靈活性和柔順性的特點，可在實現(xiàn)對位姿跟蹤的同時確保與環(huán)境交互的安全性，近年成為研究的熱點。但由于軟體機械臂材料變形是非線性的，其運動學建模的參數(shù)眾多且難以獲得準確值，使軟體機械臂實現(xiàn)運動學控制較為困難。為了補償軟體機械臂的不確定性，在現(xiàn)在視覺伺服的基礎(chǔ)上，提出一種基于歷史數(shù)據(jù)驅(qū)動的手眼視覺伺服新方法。該方法結(jié)合基于隨機森林算法的控制器來完成機械臂控制任務，通過對歷史數(shù)據(jù)聚類，基于隨機森林回歸模型建立軟體機械臂驅(qū)動狀態(tài)和末端圖像特征的逆映射，無須求解機械臂和攝像機的任何參數(shù)，即可快速獲取系統(tǒng)輸入變量。實驗結(jié)果表明，所提出的方法可以較好地實現(xiàn)預期控制目標。

關(guān)鍵詞：軟體機械臂控制；視覺伺服；隨機森林

中圖分類號：TP241.3 ?????????文獻標志碼：A ?????文章編號：1000-582X（2023）09-033-08

Visual servo control of pneumatic soft manipulator based on random forest algorithm

CHEN Yuanjie¹， ZHAO Hanyu¹， HE Qining²， CHEN Yanxi³， PENG Jiang⁴， JIANG Pei¹

（1. College of Mechanical Engineering， Chongqing University， Chongqing 400044， P. R. China; 2. Chongqing City Construction Development Co.， Ltd.， Chongqing 400025， P. R. China; 3. Chongqing Industry Polytechnic College， Chongqing 401120， P. R. China; 4. CCTEG Chongqing Research Institute， Chongqing 400042， P. R. China）

Abstract： The soft manipulator possesses dexterity and flexibility， ensuring safe interaction with the environment while accurately tracking position and posture. It has emerged as a prominent area of research in recent years. However， because the material deformation of the soft manipulator is nonlinear， its kinematic modeling parameters are numerous and it is difficult to obtain accurate values， these difficulties hinder the realization of kinematic control for the soft manipulator. To address the uncertainty of the soft manipulator， this paper proposes a new hand-eye visual servoing method driven by historical data， building upon the current visual servoing techniques. This method integrates a controller based on the random forest algorithm to accomplish the control tasks of the manipulator. By clustering historical data， an inverse mapping of the driving state of the soft manipulator and image characteristics is established using the random forest regression model. The system input variables are predicted quickly without the need to solve any parameters of the manipulator and camera. The experimental results show that the proposed method can better achieve the expected control objectives.

Keywords： soft robot control; visual-servo; random forest

與傳統(tǒng)的剛體機器臂相比，軟體機器臂擁有連續(xù)變形機體結(jié)構(gòu)，具有良好的運動能力和環(huán)境適應性，可高效完成抓握、攀爬等功能性動作，引起了研究人員的廣泛關(guān)注，在工業(yè)生產(chǎn)、醫(yī)療手術(shù)、救災探測、生活護理等方面具有廣闊應用前景。雖然軟體機械臂具有很多優(yōu)點，但由于軟體機械臂的柔性材料和驅(qū)動方式，給構(gòu)型和結(jié)構(gòu)設(shè)計、材料選取、力學建模與仿真帶來了挑戰(zhàn)，也給控制模型及控制系統(tǒng)設(shè)計提出了新的難題。

為實現(xiàn)軟體機械臂的精確控制，研究者們提出了很多對軟體機械臂進行近似建模的方法。Mahl等^[1]和Hildebrandt等^[2]運用連續(xù)曲率方法和拉格朗日方法建立了一種象鼻軟體機械臂的運動學和動力學模型；Webster等^[3]介紹了常用的軟體機械臂建模方法，假設(shè)軟體機械臂變形均勻?qū)ΨQ進行建模；Penning等^[4]結(jié)合位置傳感器實現(xiàn)軟體機械臂在自由空間中位姿的閉環(huán)控制；Luo等^[5]基于分段恒定曲率假設(shè)，通過曲率傳感器反饋實現(xiàn)對軟體機械蛇運動的控制；Wang等^[6]將軟體機械臂虛擬成剛性機械臂，基于動力學對其進行運動控制。其他的一些針對特定機械臂結(jié)構(gòu)的建模方法，如有限元方法^[7]、彈性桿理論^[8]等，在軟體機械臂模型控制中不常用。

數(shù)據(jù)驅(qū)動的無模型控制方法通過機器學習等方法建立感測數(shù)據(jù)與軟體機械臂運動的映射進行控制，可以在一定程度上避開軟體機械臂建模困難的問題。Thuruthel等^[9]使用神經(jīng)網(wǎng)絡建立了軟體機械臂的全局映射；Lee等^[10]提出了一種用于氣動軟體機械臂的在線加權(quán)學習控制器控制軟體機械臂追蹤3D軌跡。

除了通過上述方法建立精確的映射外，運用傳感器采集狀態(tài)信息用于控制反饋是提高控制精度的重要方法。視覺傳感器常與機械臂集成，很多學者對視覺伺服進行研究并提出了很多方法。Wang等^[11?14]提出深度無關(guān)雅可比矩陣，基于運動學模型，對拉線控制的軟體機械臂eye-in-hand視覺伺服進行研究；Xu等^[15]提出了一種基于動力學的水下環(huán)境軟體機械臂eye-in-hand視覺伺服控制方法；Fang等^[16]通過高斯回歸算法，設(shè)計在線學習控制器，實現(xiàn)了具有一定抗干擾能力的視覺伺服控制；Wang等^[17]融合圖像和光纖光柵傳感器提高運動估計的準確性，在手術(shù)機器人中實現(xiàn)更精確的運動跟蹤；Cao等^[18]基于神經(jīng)網(wǎng)絡用非線性模型近似柔性彎曲驅(qū)動器的動力學，跟蹤參考軌跡。

為了克服軟體機械臂建模及控制系統(tǒng)設(shè)計困難的問題，提出了一種基于機器學習的eye-in-hand視覺伺服控制方法，通過機器學習建立氣動軟體機械臂氣腔壓力與圖像映射關(guān)系，以圖像誤差為反饋，對氣動軟體機械臂狀態(tài)進行動態(tài)調(diào)整，從而對流體驅(qū)動的軟體機械臂進行視覺伺服控制。這種方法不需要求解機械臂和攝像機的任何參數(shù)，避開了相機標定和軟體機械臂建模困難和不精確的問題，實現(xiàn)軟體機械臂視覺伺服控制，具有較高的控制精度。

1控制策略

1.1任務空間的定義

Eye-in-hand視覺伺服控制方法需將攝像頭安裝在機械臂末端執(zhí)行器上。實現(xiàn)對軟體機械臂的控制，須先建立驅(qū)動空間、操作空間和任務空間的映射關(guān)系。

1.2圖像平面上的運動

相對于橫向移動，相機的軸向移動對特征點坐標識別影響很小，因為軸向運動主要導致被識別對象的縮放，而不是平移。因此，在具有合適幀率的情況下，圖像連續(xù)幀之間引起的深度變化對圖像處理的影響可忽略。在軟體機械臂連續(xù)運動的過程中，通過特征點圖像坐標和預期圖像軌跡，能夠連續(xù)地估計達到預期位置所需要的位移增量。

1.3基于隨機森林的控制方法

從圖像任務空間運動到驅(qū)動空間輸入的逆映射學習是一個回歸問題。隨機森林回歸是一種基于CART決策樹的集成回歸算法，可以解決軟體機械臂關(guān)節(jié)空間和攝像機標定甚至攝像機反饋的噪聲引起的參數(shù)不確定性。此外，通過聚類將任務空間分類加權(quán)，可以提高計算效率和預測的準確度。

1.3.1 CART決策樹

在控制任務中，可將目標變量看作連續(xù)變量，建立回歸樹，用均方誤差（mean-square error， MSE）或者平均絕對誤差（mean absolute error， MAE）進行屬性劃分。對于有M片葉子的回歸樹，最小化MSE公式為

決策樹算法所需訓練數(shù)據(jù)少、可靠性高，但易產(chǎn)生過于復雜的模型，對數(shù)據(jù)的泛化性能差，易產(chǎn)生過擬合現(xiàn)象，對數(shù)據(jù)微小變化的敏感度高，因此可采用基于決策樹的隨機森林算法。

1.3.2 隨機森林模型

隨機森林是決策樹的集成算法，在集成算法中利用裝袋的思想構(gòu)造多個獨立的決策樹，根據(jù)平均或多數(shù)表決原則決定集成評估器的結(jié)果，以降低數(shù)據(jù)過擬合風險。由于算法中加入了隨機過程，每個決策樹都有少量差異。合并各個樹的預測結(jié)果，以減少預測方差，提高預測性能。隨機森林生成的規(guī)則如下：

1）從原始訓練集中隨機發(fā)放回采樣訓練樣本，重復T次；

2）用這T個數(shù)據(jù)集，分別作為訓練集訓練T個CART樹模型；

3）若特征為M維，指定常數(shù)m，隨機從M維特征中選取m個子特征集，按照上述建立決策樹的方式獲得最佳分割；

4）將生成的T棵決策樹集成，構(gòu)成隨機森林；

5）由T棵樹預測結(jié)果的均值作為最終結(jié)果并輸出。

1.3.3 模型聚類

2實驗與分析

2.1實驗平臺

如圖3所示，軟體機械臂固定在基座上，一特征點固定在工作空間中。軟體機械臂由3根氣動肌肉組成，機械臂末端通過剛性基板固連在基座上?？諝馔ㄟ^與管段中心軸對齊的撓性管供應到氣動肌肉，不同的氣壓使氣動肌肉有不同的伸縮長度。3根氣動肌肉圍繞中心軸均勻排列，通過3根氣動肌肉的不同長度組合，可以實現(xiàn)機械臂的伸長和各個方向上的彎曲。

氣動肌肉由橡膠管、兩端剛性基板、外部編織網(wǎng)構(gòu)成，其內(nèi)部無任何剛性結(jié)構(gòu)，可以伸長和彎曲。氣動肌肉全長180 mm，直徑14 mm，壁厚2 mm，外部編織網(wǎng)角度約為70°，可在充氣后伸長。

3根氣動肌肉和基座連接盤中間留有直徑約為6 mm的間隙孔，中間嵌入工業(yè)內(nèi)窺鏡相機用以采集實時圖像并傳輸至上位機。相機鏡頭直徑5.5 mm，剛好穿過間隙和小孔，線材長2 m，幀率為30 FPS，采集圖像像素為640×480，鏡頭上帶有6個LED燈，可以補充光線，提高圖像質(zhì)量。

驅(qū)動系統(tǒng)由氣泵、3個電磁比例閥構(gòu)成。氣泵為無油空氣壓縮機，轉(zhuǎn)速1 380 r/min，公稱容積流量40 L/min，額定排氣壓力0.7 MPa。電磁比例閥為SMC公司ITV0030-3BS輕薄型空氣電子比例閥，壓力調(diào)節(jié)范圍0.001～0.5 MPa，輸出壓力分辨率為0.001 MPa。3個電磁比例閥分別與3根氣動肌肉相連控制其氣壓。

2.2模型訓練

2.3實驗結(jié)果與分析

通過2個控制任務檢測控制模型的性能。

1）單個點的追蹤：在640×480的圖像平面中，任意選擇目標點，通過隨機森林模型預測驅(qū)動變量，驅(qū)動軟體機械臂，使軟體機械臂末端相機圖像特征點到達目標點。圖像平面中，特征點運動軌跡如圖4所示，藍色圓圈為目標點位置（150，278），紅色為特征點運動軌跡。起始坐標位置為（312，217），追蹤過程迅速收斂，在3個控制循環(huán)內(nèi)便使追蹤誤差小于10像素點。

2）預期軌跡的運動：在640×480的圖像平面中，規(guī)劃一條預期目標軌跡，通過隨機森林模型預測驅(qū)動變量，驅(qū)動軟體機械臂，使軟體機械臂末端相機圖像特征點按照預期軌跡運動。圖像平面中，特征點運動軌跡如圖5（a）所示，藍色線條為規(guī)劃的正弦軌跡，紅色為特征點運動軌跡，軌跡跟蹤誤差如圖5（b）所示，按照預期軌跡運動過程中，最大跟蹤誤差為47像素，最小跟蹤誤差為1像素，平均誤差約為20像素，整個追蹤過程用時約27 s。

實驗結(jié)果表明，運用隨機森林模型近似的逆映射能夠準確地擬合輸入空間和任務空間的關(guān)系，并對到達預期目標位置的驅(qū)動變量進行準確的預測。實驗結(jié)果驗證了控制策略的有效性和隨機森林模型的準確性。

3結(jié)束語

為了克服軟體機械臂運動學建模困難和相機標定的問題，提出了一種基于隨機森林算法的氣動軟體機械臂視覺伺服方法。該方法基于歷史數(shù)據(jù)建立氣動軟體機械臂氣腔壓力與圖像映射關(guān)系，以圖像誤差為反饋，對氣動軟體機械臂狀態(tài)進行動態(tài)調(diào)整，從而實現(xiàn)對流體驅(qū)動的軟體機械臂視覺伺服控制。最后搭建了一個由3根氣動肌肉構(gòu)成的軟體機械臂實驗平臺，在此平臺上進行單個目標點和預期目標軌跡的追蹤控制。實驗結(jié)果表明軟體機械臂追蹤時反應迅速，追蹤平均誤差約為20像素，能夠達到預期精度，驗證了模型的準確性和有效性。

但是，目前的方法控制精度對歷史數(shù)據(jù)依賴度高，對環(huán)境變化適應性不強。在未來的工作中，將研究在線學習的算法進一步提高軟體機械臂追蹤的準確度和環(huán)境適應能力，同時探索一些更有挑戰(zhàn)性的動態(tài)控制任務。

參考文獻

［1］??Mahl T， Hildebrandt A， Sawodny O. A variable curvature continuum kinematics for kinematic control of the bionic handling assistant[J]. IEEE Transactions on Robotics， 2014， 30（4）： 935-949.

［2］??Falkenhahn V， Mahl T， Hildebrandt A， et al. Dynamic modeling of bellows-actuated continuum robots using the euler-lagrange formalism[J]. IEEE Transactions on Robotics， 2015， 31（6）： 1483-1496.

［3］??Webster R J， Jones B A. Design and kinematic modeling of constant curvature continuum robots： a review[J]. International Journal of Robotics Research， 2010， 29（13）： 1661-1683.

［4］??Penning R S， Jung J， Ferrier N J， et al. An evaluation of closed-loop control options for continuum manipulators[C]// IEEE International Conference on Robotics and Automation. IEEE， 2012： 5392-5397.

［5］??Luo M， Pan Y X， Skorina E H， et al. Slithering towards autonomy： a self-contained soft robotic snake platform with integrated curvature sensing[J]. Bioinspiration & Biomimetics， 2015， 10（5）：055001.

［6］??Wang C S， Frazelle C G， Wagner J R， et al. Dynamic control of multisection three-dimensional continuum manipulators based on virtual discrete-jointed robot models[J]. IEEE/ASME Transactions on Mechatronics， 2021， 26（2）： 777-788.

［7］??Till J， Bryson C E， Chung S， et al. Efficient computation of multiple coupled Cosserat rod models for real-time simulation and control of parallel continuum manipulators[C]// IEEE International Conference on Robotics & Automation. IEEE， 2015： 5067-5074.

［8］??Lee K H， Leong M， Chow M C W， et al. FEM-based soft robotic control framework for intracavitary navigation[C]// IEEE International Conference on Real-time Computing and Robotics. IEEE， 2018： 11-16.

［9］??Thuruthel T G， Falotico E， Manti M， et al. Learning closed loop kinematic controllers for continuum manipulators in unstructured environments[J]. Soft Robotics， 2017， 4（3）：285-296.

［10］??Lee K H， Fu D K C， Leong M C W， et al. Nonparametric online learning control for soft continuum robot： an enabling technique for effective endoscopic navigation[J]. Soft Robotics， 2017， 4（4）： 324-337.

［11］??Liu Y H， Wang H S， Wang C Y， et al. Uncalibrated visual servoing of robots using a depth-independent interaction matrix[J]. IEEE Transactions on Robotics， 2006， 22（4）： 804-817.

［12］??Wang H S， Chen W D， Yu X J， et al. Visual servo control of cable-driven soft robotic manipulator[C]// IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE， 2014： 57-62.

［13］??Wang H S， Yang B H， Liu Y T， et al. Visual servoing of soft robot manipulator in constrained environments with an adaptive controller[J]. ASME Transactions on Mechatronics， 2017， 22（1）： 41-50.

［14］??Xu F， Wang H S， Chen W D， et al. Visual servoing of a cable-driven soft robot manipulator with shape feature[J]. IEEE Robotics and Automation Letters， 2021， 6（3）： 4281-4288.

［15］??Xu F， Wang H S， Wang J C， et al. Underwater dynamic visual servoing for a soft robot arm with online distortion correction[J]. IEEE/ASME Transactions on Mechatronics， 2019， 24（3）： 979-989.

［16］??Fang G， Wang X M， Wang K， et al. Vision-based online learning kinematic control for soft robots using local Gaussian process regression[J]. IEEE Robotics and Automation Letters， 2019， 4（2）： 1194-1201.

［17］??Wang X M， Fang G， Wang K， et al. Eye-in-hand visual servoing enhanced with sparse strain measurement for soft continuum robots[J]. IEEE Robotics and Automation Letters， 2020， 5（2）： 2161-2168.

［18］??Cao Y， Huang J， Ru H G， et al. A visual servo-based predictive control with echo state Gaussian process for soft bending actuator[J]. IEEE/ASME Transactions on Mechatronics， 2021， 26（1）： 574-585.

［19］??Siciliano B， Khatib O. Springer handbook of robotics[M]. Berlin， Heidelberg： Springer Berlin Heidelberg， 2008.

［20］??Zelinsky A. Learning OpenCV-computer vision with the OpenCV library [J]. IEEE Robotics & Automation Magazine， 2009， 16（3）：100.

［21］??Suzuki S， Be K. Topological structural analysis of digitized binary images by border following[J]. Computer Vision， Graphics， and Image Processing， 1985， 30（1）： 32-46.

（編輯??詹燕平）