一種沉浸式體控機(jī)器人的設(shè)計(jì)方案與應(yīng)用分析

1.阿迪思 2.姚皓 3.王金金

四川大學(xué)制造科學(xué)與工程學(xué)院

一種沉浸式體控機(jī)器人的設(shè)計(jì)方案與應(yīng)用分析

1.阿迪思 2.姚皓 3.王金金

四川大學(xué)制造科學(xué)與工程學(xué)院

本項(xiàng)目運(yùn)用VR技術(shù)和體感控制技術(shù)的基礎(chǔ)和原理，將虛擬現(xiàn)實(shí)應(yīng)用于機(jī)器人控制領(lǐng)域。提出立體沉浸式體感控制機(jī)器人的概念和技術(shù)路線：利用雙目攝像頭和VR顯示設(shè)備構(gòu)建立體沉浸式環(huán)境，利用光學(xué)姿態(tài)采集器和搭載在頭部的姿態(tài)傳感器構(gòu)建體感控制系統(tǒng)。使操作者可以自由地選擇觀察視角，并使機(jī)械臂隨操作者意圖同步運(yùn)動(dòng)。特點(diǎn)在于交互性、動(dòng)作性和自主性強(qiáng)。沉浸式體控機(jī)器人可以應(yīng)用于多種領(lǐng)域，云服務(wù)器的接入，可以打破距離的限制，使機(jī)器人可以真正意義上代替用戶進(jìn)行遠(yuǎn)端的操作。

沉浸式技術(shù) 雙目攝像頭 體感控制 光學(xué)姿態(tài)捕捉 圖像回傳

引言

遠(yuǎn)程智能控制系統(tǒng)的研究始于DOS時(shí)代，但由于硬件水平限制，其發(fā)展始終不盡如人意，只停留在概念層次，而到了90年代，互聯(lián)網(wǎng)的興起才讓這項(xiàng)技術(shù)開(kāi)始逐漸走入大眾生活。而在那個(gè)時(shí)期一起發(fā)展起來(lái)的，還有沉浸式虛擬現(xiàn)實(shí)技術(shù)，它能提供參與者完全沉浸的體驗(yàn)，使用戶有一種置身于虛擬世界之中的感覺(jué)。由于兩項(xiàng)技術(shù)都有極大優(yōu)越性，各國(guó)科學(xué)家都在努力嘗試將二者很好的結(jié)合起來(lái)，即在發(fā)展基于VR的遠(yuǎn)程體感控制系統(tǒng)上下了很多功夫?，F(xiàn)在的智能機(jī)器人大多是依靠自身存儲(chǔ)的復(fù)雜程序代碼或者操作手柄，根據(jù)外部事件觸發(fā)產(chǎn)生相應(yīng)的執(zhí)行動(dòng)作來(lái)實(shí)現(xiàn)控制。但是大量的程序代碼存儲(chǔ)需要大的存儲(chǔ)空間同時(shí)伴隨而來(lái)的體積大、功耗大、速度慢、存在延時(shí)等問(wèn)題都會(huì)降低機(jī)器人得控制精度，不易實(shí)現(xiàn)同步控制功能。另外在監(jiān)測(cè)機(jī)器人領(lǐng)域，由于傳輸?shù)亩S視頻畫面對(duì)三維世界描述的巨大局限性，因此對(duì)復(fù)雜環(huán)境無(wú)法進(jìn)行最真實(shí)的還原與反饋，操作者無(wú)法更加自由、方便和直接地控制機(jī)器人進(jìn)行工作。設(shè)計(jì)一款具有人機(jī)交互、沉浸式體驗(yàn)與體感控制于一體機(jī)器人，使機(jī)器人具有代替人工操作和傳統(tǒng)的機(jī)器人進(jìn)行遠(yuǎn)程技術(shù)操作成為可能。

一、沉浸式體控機(jī)器人的設(shè)計(jì)方案

（一）立體沉浸式環(huán)境構(gòu)建

1.圖像采集--雙目視覺(jué)系統(tǒng)設(shè)計(jì)。常用的雙目立體視覺(jué)成像模型有平行雙目成像模型和匯聚雙目成像模型兩種。兩種模型都采用兩個(gè)單目攝像頭進(jìn)行取景。所得的兩幅有視差的圖片在人大腦中疊加融合處理，就構(gòu)成了有深度立體效果的畫面。綜合人眼獲取圖像的運(yùn)作方式，匯聚雙目成像模型更符合人眼的視覺(jué)習(xí)慣。為獲得較好的立體成像效果，本系統(tǒng)選取了匯聚雙目成像模型。

在頭部和兩眼都處于放松狀態(tài)情況下，眼睛觀察的視線在水平視線下約25度-35度，結(jié)合人在自然觀察狀態(tài)下視線的特點(diǎn)，為使用者在觀察時(shí)具有最佳的舒適度，對(duì)攝像頭的俯仰角進(jìn)行調(diào)試，兩攝像頭在水平面下夾角為25度時(shí)最佳。

電子雙目系統(tǒng)采用兩個(gè)同品牌、內(nèi)部參數(shù)基本一致的攝像頭構(gòu)成，兩攝像頭位于同一水平面，且?jiàn)A角為25°，如圖1所示。滿足對(duì)沉浸式視頻最優(yōu)化的顯示，最大程度的保證3D顯示效果。

圖1 雙目攝像頭

2.圖像顯示——VR設(shè)備。場(chǎng)景顯示方式及設(shè)備是虛擬現(xiàn)實(shí)系統(tǒng)中人機(jī)交互的基本組成部分，按照顯示方式分為頭盔式顯示、投影式、手持式和自由立體顯示方式等，其中桌面式顯示沉浸感不強(qiáng)，投影顯示受到高價(jià)格、大場(chǎng)地等因素的限制，所以本系統(tǒng)將采用頭戴式設(shè)備進(jìn)行研究與改造。

本系統(tǒng)所用頭盔式顯示設(shè)備是款非常簡(jiǎn)單的3D眼鏡，將手機(jī)安裝于設(shè)備前方作為顯示器,在該設(shè)備上安裝上相應(yīng)的陀螺儀姿態(tài)傳感器并連接至單片機(jī)，配合相應(yīng)的軟件控制即可實(shí)現(xiàn)沉浸式體感控制陀螺儀傳感器芯片可以實(shí)時(shí)檢測(cè)使用者頭部的位置和方向，并傳輸至單片機(jī)，單片機(jī)根據(jù)使用者頭部位置和方向信息計(jì)算出人體當(dāng)前姿態(tài)，從而控制攝像頭移動(dòng)到相應(yīng)位置，顯示當(dāng)前視點(diǎn)下的場(chǎng)景，人體視點(diǎn)與電子雙目的同步性和交互性讓使用者產(chǎn)生強(qiáng)烈的沉浸感。

（二）電子雙目控制

本控制系統(tǒng)主要由執(zhí)行機(jī)構(gòu)與傳感環(huán)節(jié)兩部分構(gòu)成，其中傳感環(huán)節(jié)由姿態(tài)傳感器感知和獲取人體頭部運(yùn)動(dòng)信息并將該信息傳輸至單片機(jī)進(jìn)行處理，單片機(jī)根據(jù)不同的姿態(tài)信號(hào)發(fā)送相關(guān)指令至執(zhí)行機(jī)構(gòu)，控制電子雙目做出相應(yīng)的運(yùn)動(dòng)，實(shí)現(xiàn)具有人機(jī)交互性的體感控制。

1.雙目攝像頭執(zhí)行機(jī)構(gòu)設(shè)計(jì)。對(duì)雙目攝像頭的控制通常是利用攝像頭云臺(tái)作為執(zhí)行機(jī)構(gòu)對(duì)攝像頭進(jìn)行水平和垂直的移動(dòng)和控制。為了電子雙目能夠進(jìn)行二維的水平和垂直運(yùn)動(dòng)，使操作者具有更好的體驗(yàn)本產(chǎn)品的人機(jī)交互功能。通過(guò)分析人體頭部姿態(tài)的特征，由于人體頭部的運(yùn)動(dòng)類似于一個(gè)二自由度的結(jié)構(gòu)。因此選擇二自由度云臺(tái)對(duì)舵機(jī)進(jìn)行控制，從而可以實(shí)現(xiàn)雙目攝像頭可以模仿操作者頭部動(dòng)作。

2.頭部姿態(tài)采集——MPU6050加速度傳感器。系統(tǒng)選擇 MPU6050 模塊來(lái)檢測(cè)人體頭部和手臂的姿態(tài)角度變化。姿態(tài)數(shù)據(jù)采集與傳輸系統(tǒng)的程序主要實(shí)現(xiàn)的功能包括采集人體姿態(tài)數(shù)據(jù)、姿態(tài)數(shù)據(jù)融合、數(shù)據(jù)傳輸。其系統(tǒng)軟件功能框圖如圖2 所示。

圖 2 系統(tǒng)軟件功能框圖

（1）采集人體姿態(tài)數(shù)據(jù)：采集人體頭部運(yùn)動(dòng)過(guò)程中三軸加速度和角速度數(shù)據(jù)；（2）姿態(tài)數(shù)據(jù)融合：選擇合適的融合方法處理采集到的人體姿態(tài)數(shù)據(jù)，以得到所需的姿態(tài)角；（3）數(shù)據(jù)傳輸：將融合后的姿態(tài)數(shù)據(jù)通過(guò)WIFI傳輸給控制電子雙目系統(tǒng)的MCU處理器。

（三）機(jī)械臂控制系統(tǒng)的硬件設(shè)計(jì)

目前的體感控制越來(lái)越趨向于光學(xué)的姿態(tài)捕捉。雖然特質(zhì)手套是目前最常用的體感控制方式，但是佩戴手套操作受限，并且傳感器（如柔性傳感器）存在一定的磨損與消耗，因此使用光學(xué)姿態(tài)采集器代替特質(zhì)傳感手套，光學(xué)傳感器穩(wěn)定，使機(jī)械臂控制更加自由、靈活。此外光學(xué)圖像數(shù)據(jù)的處理，需要一個(gè)高性能的單片機(jī)給予支持，下面將針對(duì)硬件的結(jié)合做相應(yīng)分析。

Leap Motion的主要原理是使用紅外LED+灰階Camera的方式采集數(shù)據(jù)，并生成3D數(shù)據(jù)。利用了物體對(duì)紅外照射反射特性不同而形成光場(chǎng)，并利用相應(yīng)的算法在其中檢測(cè)特定的幾何特征，可以比較準(zhǔn)確地檢測(cè)反射光場(chǎng)中的極點(diǎn)（如手指和物體尖端）和特定形狀的大范圍反射面（手掌）。它的功能主要就是集中在深度距離探測(cè)、指尖以及它的方向獲取、目標(biāo)跟蹤。Leap Motion系統(tǒng)的硬件是雙目立體視覺(jué)，可以在高跟蹤幀率下工作。Leap Motion 軟件分析在器件可視范圍內(nèi)的物體。它識(shí)別手、手指和工具，可以實(shí)時(shí)獲取它們的位置、手勢(shì)和動(dòng)作。

Leap Motion由于使用了紅外LED+灰階Camera，成本較低；只處理手部的3D，相比較于現(xiàn)在Kinect需要生成全身的skeleton, 復(fù)雜的depth信息，Leap的運(yùn)行效率自然也會(huì)高很多，對(duì)處理圖形的DSP要求也不會(huì)特別高。

樹(shù)莓派是一款基于ARM架構(gòu)的微型電腦主板，以SD/MicroSD卡為內(nèi)存硬盤，卡片主板周圍有多個(gè)USB接口和一個(gè)10/100Mbps以太網(wǎng)接口，并具有藍(lán)牙和WIFI功能，可連接鍵盤、鼠標(biāo)和網(wǎng)線，同時(shí)擁有視頻模擬信號(hào)的電視輸出接口和HDMI高清視頻輸出接口，以上部件全部整合在一張僅比信用卡稍大的主板上，具備所有PC的基本功能。

通過(guò)使用Leap Motion的SDK，捕捉手勢(shì)動(dòng)作，通過(guò)編寫的JAVA程序，將手部姿態(tài)數(shù)據(jù)解析為舵機(jī)控制信號(hào)。將此信息（角度值）無(wú)線傳輸至樹(shù)莓派中，將舵機(jī)控制信號(hào)進(jìn)行處理并發(fā)送至機(jī)械臂，實(shí)現(xiàn)控制。

圖3 光學(xué)傳感器控制原理圖

（四）機(jī)械臂控制系統(tǒng)的硬件設(shè)計(jì)

體感控制的真正意義在于其通訊距離的遠(yuǎn)程化，在保證實(shí)時(shí)的圖像信息穩(wěn)定、有效的前提下，盡可能大地?cái)U(kuò)展傳輸距離可以提高機(jī)器人的可用性和拓展其應(yīng)用前景?，F(xiàn)階段，環(huán)境基礎(chǔ)設(shè)施完善的情況下，可以借助任何一個(gè)局域網(wǎng)，訪問(wèn)互聯(lián)網(wǎng)，實(shí)現(xiàn)兩局域網(wǎng)子機(jī)之間的信息交換，方便快捷，任何網(wǎng)絡(luò)的地方就可以實(shí)現(xiàn)控制。沉浸式機(jī)器人的雙向數(shù)據(jù)傳輸將以此為基礎(chǔ),總體傳輸示意圖如圖4所示。

圖4 雙向數(shù)據(jù)傳輸示意圖

關(guān)于視頻無(wú)線傳輸方案：

使用云端服務(wù)器，登錄遠(yuǎn)程控制管理臺(tái)控制服務(wù)器，實(shí)現(xiàn)所需功能。在帶寬保證的條件下，由雙目攝像頭采集的視頻信息可以通過(guò)服務(wù)器來(lái)進(jìn)行訪問(wèn)顯示。選擇ffmepg+ffserver這種方式來(lái)實(shí)現(xiàn)視頻傳輸功能，原因有兩點(diǎn)。首先這種方式實(shí)現(xiàn)的視頻傳輸有較好的流暢度，項(xiàng)目的目的便是攝像頭監(jiān)控并且對(duì)攝像頭進(jìn)行調(diào)整，所以對(duì)視頻的延遲要求很嚴(yán)格。其次，mjpeg-streamer在通過(guò)網(wǎng)頁(yè)訪問(wèn)攝像頭的時(shí)候需要知道此時(shí)樹(shù)莓派的IP，通過(guò)ffmepg+ffserver這種方式在實(shí)現(xiàn)過(guò)程中，將樹(shù)莓派和客戶端進(jìn)行隔離，不再直接聯(lián)系，樹(shù)莓派通過(guò)服務(wù)器端就可以實(shí)時(shí)獲取視頻信息。

二、沉浸式體控機(jī)器人的應(yīng)用前景分析

（一）機(jī)器人原理樣機(jī)分析

沉浸式體控機(jī)器人運(yùn)用VR技術(shù)和體感控制技術(shù)，具備人機(jī)交互性良好，動(dòng)作性能優(yōu)越，能耗低等特點(diǎn)。一方面，頭部及手臂共七個(gè)自由度的運(yùn)動(dòng)實(shí)現(xiàn)幾乎無(wú)延遲控制，另一方面，雙目攝像頭采集到的動(dòng)態(tài)圖像可以經(jīng)無(wú)線方式實(shí)時(shí)傳輸至操作者眼前。在機(jī)器人端和操作者端網(wǎng)絡(luò)條件良好時(shí)，圖像清晰，延遲約0.5秒。

圖5 成品概念圖

（二）沉浸式體控機(jī)器人在危險(xiǎn)環(huán)境下的應(yīng)用

隨著經(jīng)濟(jì)社會(huì)的發(fā)展，大量新工種不斷涌現(xiàn)，其中不乏高危險(xiǎn)性、傷害人體健康、人力無(wú)法實(shí)現(xiàn)的職業(yè)。比如核電站輻射量監(jiān)測(cè)、電力鐵塔檢測(cè)、塔吊高空作業(yè)以及在有毒有害氣體、低溫或高溫環(huán)境中的操作、巡檢、采樣、維修等等。因此發(fā)展能用于有毒有害環(huán)境下的遠(yuǎn)程體控機(jī)器人意義重大。

（1）遠(yuǎn)程體控機(jī)器人采用虛擬現(xiàn)實(shí)設(shè)備，使機(jī)器人圖像采集部位緊隨著人體頭部運(yùn)動(dòng)而運(yùn)動(dòng)，大大提高了遠(yuǎn)程監(jiān)控的清晰度和監(jiān)控范圍，實(shí)景傳輸效率非常高，使操作人員有身臨其境的感覺(jué)，也提高了遠(yuǎn)程控制效率；（2）遠(yuǎn)程體控機(jī)器人能工作在條件苛刻的地方，如核輻射、高空、狹小空間、極端溫度條件、有毒有害氣體內(nèi)等，使人員免受身體健康或生命安全的威脅；

（3）遠(yuǎn)程體控機(jī)器人能進(jìn)行遠(yuǎn)距離的仿人同步操作，如巡檢、偵查、采樣、生產(chǎn)、維修等等，必要時(shí)還可以將人體在某一時(shí)間段內(nèi)的動(dòng)作數(shù)據(jù)記錄下來(lái)，從而進(jìn)行自發(fā)的重復(fù)運(yùn)動(dòng)，提高生產(chǎn)效率；

（4）目前現(xiàn)有的機(jī)器人工作行為大都比較單一，通常只能固定在某處完成預(yù)先設(shè)定的操作，應(yīng)用范圍較窄。而遠(yuǎn)程體控機(jī)器人可以實(shí)時(shí)地仿照人體手臂運(yùn)動(dòng)，從而免去了復(fù)雜的手臂運(yùn)動(dòng)設(shè)計(jì)分析和程序編寫過(guò)程，使控制更加靈活可變。

三、結(jié)語(yǔ)

隨著視覺(jué)技術(shù)和計(jì)算機(jī)科學(xué)的高速發(fā)展，具有交互性、自由化的沉浸式視覺(jué)系統(tǒng)成為未來(lái)多媒體視頻技術(shù)的重要組成部分，具有極其廣闊的應(yīng)用前景。本項(xiàng)目利用立體沉浸技術(shù)和體感控制技術(shù)，創(chuàng)新性地將虛擬現(xiàn)實(shí)技術(shù)發(fā)展并應(yīng)用于監(jiān)測(cè)控制領(lǐng)域，提出遠(yuǎn)程三維立體沉浸式智能體感控制的概念與技術(shù)路線。使觀察者可以自由地選擇觀察方向與視角，同時(shí)使機(jī)械臂隨操作者動(dòng)作同步運(yùn)動(dòng)。其特點(diǎn)在于交互性、動(dòng)作性和自主性較強(qiáng)。沉浸式體控機(jī)器人能夠?qū)崿F(xiàn)遠(yuǎn)程沉浸式操作，并結(jié)合輪式、履帶式等移動(dòng)機(jī)器人或航拍機(jī)器人，以更直觀、自由地體感控制方式，完成各類特定任務(wù)，使未來(lái)機(jī)器人工作更加安全、可靠和高效。

[1] Don Wilcher著∶ 翁愷 譯.學(xué)ARDUINO玩轉(zhuǎn)電子制作[M].北京∶人民郵電出版社.2013.

[2]程晨.Arduino開(kāi)發(fā)實(shí)戰(zhàn)指南[M].北京：機(jī)械工業(yè)出版社,2012.

[3]陳玉敏,謝瑋,孟憲民.基于體感控制的智能車設(shè)計(jì)[J]. 現(xiàn)代電子技術(shù),2016,(03)∶155-158.

[4]龔霖迪. 體感控制攝像機(jī)初識(shí)[J].中國(guó)公共安全,2014,(18)∶92-95.

[5]戴歡. 基于慣性動(dòng)作捕捉的人體運(yùn)動(dòng)姿態(tài)研究[D].石家莊鐵道大學(xué),2012.

[6]郭偉,蘭景婷. 三維動(dòng)畫及其運(yùn)動(dòng)捕捉技術(shù)[J].四川文理學(xué)院學(xué)報(bào),2011,(05)∶97-99.

[7]周冬鑫.慣性運(yùn)動(dòng)捕捉前端設(shè)備研究與設(shè)計(jì)[D].浙江大學(xué),2011.

[8]劉然. 基于計(jì)算機(jī)立體視覺(jué)的雙目立體成像研究[D].重慶大學(xué),2007.

[9]陳孟臻.基于MPU-6050陀螺——加速度儀三軸云臺(tái)的研究[J].百色學(xué)院學(xué)報(bào),2015,(03)∶126-131.