遙操作水下工程機器人觸覺可視化系統(tǒng)的研究

王振斌，李 笑，郭彥澤，李超偉

1 引言

人們在江河、港口中進行橋梁修筑、物體打撈等水下施工作業(yè)時，有必要使用遙操作水下工程機器人系統(tǒng)完成作業(yè)任務(wù)。為了提高其作業(yè)效率，需要將作業(yè)現(xiàn)場的圖像、運動、力和聲音等信息通過網(wǎng)絡(luò)傳遞給操作者，使操作者在視覺、運動覺、觸覺和聽覺上具有臨場感。但由于水下作業(yè)環(huán)境惡劣，如工程機器人作業(yè)時攪動泥沙造成河水混濁不清，攝像機獲取的圖像信息并不能準(zhǔn)確地反映工程機器人與目標(biāo)物體的位置和作用關(guān)系，且大量的圖像信息傳遞還存在網(wǎng)絡(luò)時延等問題。然而，若能將工程機器人手爪與目標(biāo)物體的觸覺信息在虛擬現(xiàn)實操作環(huán)境中可視化，不僅可使操作者保持一定的視覺臨場感，還可克服圖像信息傳遞的時延問題。因此，研究遙操作水下工程機器人的觸覺可視化技術(shù)具有重要的工程實際意義。

近年來，國內(nèi)外學(xué)者對機器人及其觸覺可視化技術(shù)開展了相關(guān)研究[1-9]。文獻[1]利用安裝在工業(yè)機器人末端上的PVDF觸覺傳感器掃描目標(biāo)物體獲取其輪廓高程數(shù)據(jù)，并與視頻圖像相融合構(gòu)造操作對象的三維可視化模型。但由于水下環(huán)境惡劣，視頻圖像失真，且觸覺傳感器所能感知的范圍有限，該方法僅適用于小型且形狀規(guī)則的目標(biāo)物體的建模。文獻[2]通過在工程機器人手爪上安裝的力傳感器和在關(guān)節(jié)處安裝的角位移傳感器，獲取手爪末端與海底接觸點的位置坐標(biāo)，并將這些坐標(biāo)用曲線連接顯示在虛擬現(xiàn)實操作環(huán)境中。該方法雖可顯示水下地形輪廓，但未能反映工程機器人與目標(biāo)物體之間的位置和作用關(guān)系。

針對以上問題，提出并設(shè)計一種遙操作水下工程機器人的觸覺可視化系統(tǒng)。采用SolidWorks建模與Opengl函數(shù)建模的混合建模方法及Denavit-Hartenberg（D-H）描述方法構(gòu)建虛擬工程機器人，利用工程機器人末端的力傳感器信號將手爪與目標(biāo)物體的觸覺信息顯示在虛擬現(xiàn)實操作環(huán)境中。該系統(tǒng)可實時顯示工程機器人的位姿、目標(biāo)物體物理特性及其與手爪之間的位置和作用關(guān)系，實驗證實了其有效性。

2 系統(tǒng)構(gòu)成

遙操作水下工程機器人觸覺可視化系統(tǒng)，如圖1所示。主要由力反饋手柄、遠端工控機、本地工控機、力傳感器、虛擬現(xiàn)實操作環(huán)境等組成。操作者操縱力反饋手柄控制工程機器人運動時，力反饋手柄控制指令也通過工控機傳遞給虛擬現(xiàn)實操作環(huán)境中的虛擬工程機器人，驅(qū)動其運動顯示工程機器人的運動狀態(tài)。當(dāng)手爪抓取或手爪末端觸碰目標(biāo)物體時，安裝于手爪內(nèi)側(cè)和末端處的力傳感器將檢測信號傳遞給遠端工控機進行處理，一方面使力反饋手柄桿產(chǎn)生扭矩給操作者以觸覺提示，另一方面通過串口傳遞給本地工控機控制的虛擬工程機器人，使手爪與目標(biāo)物體的觸覺信息顯示在虛擬現(xiàn)實操作環(huán)境中，給操作者以視覺提示。

圖1 遙操作水下工程機器人觸覺可視化系統(tǒng)Fig.1 The Haptic Visualization System of Teleoperated Underwater Construction Robot

3 幾何模型構(gòu)建

為了保證虛擬工程機器人能準(zhǔn)確反映工程機器人的位姿，二者之間的尺寸比例及各部分的形狀應(yīng)相同。由于需控制虛擬工程機器人在虛擬現(xiàn)實操作環(huán)境中運動，故根據(jù)工程機器人的自由度，將其拆分成若干部分，對各部分分別建模，然后組合成整體模型[10]。

該工程機器人通過四個伺服液壓缸的伸縮來調(diào)整手爪的位姿，針對其結(jié)構(gòu)與運動特點，采用SolidWorks建模與Opengl函數(shù)建模的混合建模方法構(gòu)建虛擬工程機器人幾何建模。

首先，用SolidWorks對基座、動臂、斗桿、回轉(zhuǎn)體、支撐桿、固定板、手爪連桿、上手爪和下手爪分別進行繪制，保存為STL格式的模型數(shù)據(jù)源文件，再分別導(dǎo)入3DMAX，導(dǎo)出為3ds格式的模型數(shù)據(jù)源文件。

然后，在VC++環(huán)境下，通過CLoad3DS（）專門類對9個3ds格式的模型數(shù)據(jù)源文件進行讀取，用OpenGL的平移、旋轉(zhuǎn)和縮放等坐標(biāo)變換對虛擬工程機器人進行組裝。組裝完成后利用Opengl自身函數(shù)，根據(jù)模塊相關(guān)關(guān)節(jié)點的坐標(biāo)值對液壓缸建模。最后，對其進行材質(zhì)、光照、紋理、反走樣等處理，使虛擬現(xiàn)實操作環(huán)境更加逼真。

4 運動學(xué)建模

采用D-H描述方法對虛擬工程機器人運動學(xué)建模。在每個連桿上固定一個參考坐標(biāo)系，建立起一個連桿和相對于上一個連桿的坐標(biāo)變換矩陣，將這些變換矩陣相乘即可得到手爪末端相對于基座的運動學(xué)方程。

4.1 坐標(biāo)系建立

為了使虛擬工程機器人與工程機器人動作保持同步，虛擬現(xiàn)實操作環(huán)境中的坐標(biāo)系應(yīng)與實際坐標(biāo)系一致。

虛擬工程機器人坐標(biāo)系，X0Y0Z0、X1Y1Z1、X2Y2Z2和 X3Y3Z3為回轉(zhuǎn)體、動臂、斗桿和上手爪關(guān)節(jié)坐標(biāo)系，X4Y4Z4為手爪末端坐標(biāo)系，如圖2所示。

圖2 虛擬工程機器人坐標(biāo)系Fig.2 The Coordinates of the Virtual Construction Robot

4.2 運動學(xué)方程

根據(jù)建立的坐標(biāo)系，用矩陣Ai描述連桿i相對連桿（i-1）之間的齊次坐標(biāo)變換，關(guān)系式為：

式中：θi—繞zi-1軸由xi-1軸轉(zhuǎn)向xi軸的關(guān)節(jié)轉(zhuǎn)角；Rot—旋轉(zhuǎn)齊次坐標(biāo)變換矩陣；Trans—平移齊次坐標(biāo)變換矩陣。

將虛擬工程機器人各關(guān)節(jié)連桿變換矩陣相乘，得其手爪末端的位姿矩陣：

展開并整理得：

式中：Si=sin（θi）；Ci=cos（θi）；Sij=sin（θi+θj）；Cij=cos（θi+θj）；li—各桿件長度。

4.3 運動學(xué)實現(xiàn)

利用Opengl的平移函數(shù)、旋轉(zhuǎn)函數(shù)與矩陣堆棧函數(shù)將導(dǎo)入虛擬現(xiàn)實操作環(huán)境的各模型移動到特定位置，且能使其繞各自關(guān)節(jié)坐標(biāo)軸旋轉(zhuǎn)。這樣便建立了虛擬工程機器人關(guān)節(jié)的運動繼承關(guān)系。

5 觸覺可視化設(shè)計

觸覺可視化方案是：在虛擬工程機器人的上、下手爪頂點之間建立目標(biāo)物體模型，當(dāng)工程機器人手爪抓到物體時，此模型在虛擬工程機器人上顯示，未抓到物體時，不顯示此模型。同理，在虛擬工程機器人手爪末端處建一個立方體模型。當(dāng)工程機器人手爪末端未碰到物體時，此模型在虛擬工程機器人上不顯示。碰到物體時，顯示此模型。同時把手爪末端與目標(biāo)物體接觸過點的坐標(biāo)保存在數(shù)組中，然后在虛擬現(xiàn)實操作環(huán)境中用線段依次連接這些坐標(biāo)來獲取目標(biāo)物體輪廓。

5.1 目標(biāo)物體建模

目標(biāo)物體模型是在虛擬工程機器人的上、下手爪頂點之間繪制的以手爪頂點連線為軸心的圓柱體，此圓柱體可隨著手爪的張開伸長和手爪的閉合縮短。這樣建立的模型可直觀的顯示目標(biāo)物體的大小，受力后變形量。

圖3 目標(biāo)物體三維模型Fig.3 The 3D Model of Target Object

目標(biāo)物體的三維模型，是利用旋轉(zhuǎn)矩陣在虛擬工程機器人的上、下手爪頂點 A（x1，y1，z1）與 B（x2，y2，z2）之間繪制的圓柱體模型，如圖3所示。首先調(diào)用Opengl的相關(guān)函數(shù)，在世界坐標(biāo)系原點處，沿著Y軸方向完成高等于A、B點之間距離的圓柱體繪制，然后旋轉(zhuǎn)此圓柱體使其軸心線與AB向量平行，最后平移此圓柱體到A、B點之間。在旋轉(zhuǎn)矩陣中，dir向量是AB向量的單位向量，將dir向量和Y軸單位向量叉乘得到side向量，然后把side向量單位化，最終side向量與dir向量叉乘得到up向量。其中旋轉(zhuǎn)矩陣m[4][4]公式為：

式中：side_x、side_y、side_z—side 向量在 x、y、z軸的坐標(biāo)值；up_x、up_y、up_z—up 向 量 在 x、y、z 軸 的 坐 標(biāo) 值 ；dir_x、dir_y、dir_z—dir向量在 x、y、z軸的坐標(biāo)值。

5.2 觸覺可視化實現(xiàn)

觸覺可視化實現(xiàn)流程圖，如圖4所示。當(dāng)工程機器人手爪抓住或碰到目標(biāo)物體時，力傳感器輸出的電壓信號大于閾值T，工控機通過Cserialport串口類傳遞字符信號1給虛擬工程機器人，使已建模型用 glPolygonMode（GL_FRONT_AND_BACK，GL_FILL）函數(shù)來渲染，以實現(xiàn)其顯示。未抓到或碰到目標(biāo)物體時，力傳感器輸出的電壓信號小于閾值T，工控機通過Cserialport串口類傳遞字符信號2給虛擬工程機器人，使已建模型用glPolygonMode（GL_FRONT_AND_BACK，GL_POINT）函數(shù)來渲染，以實現(xiàn)其隱藏。同時，當(dāng)工程機器人手爪末端碰到目標(biāo)物體時，保存手爪末端與目標(biāo)物體接觸點的坐標(biāo)到數(shù)組中，在虛擬現(xiàn)實操作環(huán)境中用線段依次連接可獲得目標(biāo)物體輪廓。

圖4 觸覺可視化流程圖Fig.4 The Flow Chart of Haptic Visualization

6 實驗研究

為了驗證所設(shè)計的觸覺可視化系統(tǒng)的有效性，對工程機器人抓取不同物體運動進行了大量實驗研究。實驗時操作者通過力反饋手柄調(diào)整工程機器人手爪的位姿來抓取物體。主要實驗儀器參數(shù)，如表1所示。

表1 主要實驗儀器及參數(shù)Tab.1 Main Experimental Instruments and Parameters

工程機器人作業(yè)現(xiàn)場與虛擬現(xiàn)實操作環(huán)境的對照圖，如圖5所示。手爪抓取磚塊的情況，如圖5（a）所示。抓取和抓壓輪胎的情況，如圖 5（b）、5（c）所示。手爪放下輪胎的情況，如圖 5（d）所示?？梢钥闯?，觸覺可視化系統(tǒng)能夠在虛擬現(xiàn)實操作環(huán)境中實時顯示目標(biāo)物體的大小與變形量，反映目標(biāo)物體的物理特性、手爪與目標(biāo)物體的作用關(guān)系。

圖5 工程機器人作業(yè)現(xiàn)場與虛擬現(xiàn)實操作環(huán)境Fig.5 The Working Spot and Virtual Reality Operation Environment of the Construction Robot

為了驗證所設(shè)計的觸覺可視化系統(tǒng)的可行性，利用該系統(tǒng)引導(dǎo)，對工程機器人抓取目標(biāo)物體運動進行了大量實驗研究。實驗時，操作者與工程機器人分處不同場地，在不可見工程機器人的情況下，僅依靠觸覺可視化系統(tǒng)引導(dǎo)操縱工程機器人。首先通過手柄控制工程機器人手爪觸碰到目標(biāo)物體，然后移動手爪獲得手爪末端與目標(biāo)物體的多個接觸點坐標(biāo)，由系統(tǒng)依次將這些點連接并顯示目標(biāo)物體的外形輪廓與位置，最后調(diào)整手爪位姿抓取物體。

圖6 工程機器人作業(yè)現(xiàn)場與觸覺可視化圖像Fig.6 The Working Spot of the Construction Robot and Haptic Visualization Image

在觸覺可視化系統(tǒng)引導(dǎo)下工程機器人作業(yè)現(xiàn)場與觸覺可視化圖像對照圖，如圖 6 所示。圖 6（a）、6（b）和 6（c）分別為手爪末端碰到目標(biāo)物體、獲取目標(biāo)物體輪廓和手爪抓取目標(biāo)物體的情況?？梢钥闯?，觸覺可視化系統(tǒng)在虛擬現(xiàn)實操作環(huán)境中能實時動態(tài)的顯示工程機器人的位姿、目標(biāo)物體的輪廓及其與手爪之間的位置和作用關(guān)系，實現(xiàn)了在無視頻圖像情況下工程機器人的遠程操作。

7 結(jié)束語

為解決遙操作水下工程機器人的視覺提示問題，設(shè)計一種觸覺可視化系統(tǒng)。實驗表明，虛擬工程機器人建模及觸覺可視化設(shè)計方法有效，可為在水下惡劣環(huán)境下作業(yè)的遙操作工程機器人的虛擬現(xiàn)實系統(tǒng)設(shè)計提供指導(dǎo)。