立體沉浸式遠(yuǎn)程體控機(jī)器人系統(tǒng)

王金金 阿迪思 白雪 王欽 熊沁茹

摘 要：項目利用立體沉浸技術(shù)和體感控制技術(shù)，創(chuàng)新性地將虛擬現(xiàn)實技術(shù)應(yīng)用于監(jiān)測控制領(lǐng)域，提出遠(yuǎn)程三維立體沉浸式智能體感控制概念與技術(shù)路線。利用電子雙目攝像頭和虛擬現(xiàn)實技術(shù)的顯示設(shè)備構(gòu)建三維立體沉浸式監(jiān)控環(huán)境;利用搭載在頭部和手臂的姿態(tài)傳感器、單片機(jī)和無線收發(fā)模塊構(gòu)建體感控制部分，方便觀察者自由選擇觀察方向與視角，交互性、動作性和自主性較強(qiáng)。立體沉浸式體控機(jī)器人能夠?qū)崿F(xiàn)遠(yuǎn)程沉浸式操作，并結(jié)合輪式、履帶式等移動機(jī)器人或航拍機(jī)器人，以更直觀、自由的體感控制方式完成各類特定任務(wù)，使機(jī)器人工作更加安全、可靠和高效。文中提出了立體沉浸式遠(yuǎn)程體感智能控制器的設(shè)計方案，將其應(yīng)用到輪式移動機(jī)械臂的遠(yuǎn)程立體沉浸式體感控制中，完成了原理樣機(jī)的測試與分析。

關(guān)鍵詞：沉浸式系統(tǒng);體感控制;虛擬現(xiàn)實;人機(jī)交互

1 概 述

1.1 項目背景及意義

2011年日本核電站發(fā)生了特大核泄漏事故后，核電站內(nèi)的核燃料暴露在外并持續(xù)高溫亟待冷卻，而高危環(huán)境下的救援搶險工作以及高污染環(huán)境的質(zhì)量監(jiān)測工作會對人體產(chǎn)生潛在危害，甚至威脅到人身安全。為避免此種情況造成的傷害，可采用智能機(jī)器人代替人工進(jìn)行操作，既可以保證救援人員的生命安全，還可以通過控制精度保證機(jī)器人工作的可靠性、高效性和適用性。遠(yuǎn)程體感控制機(jī)器人集人機(jī)交互、沉浸式監(jiān)測與體感控制于一體，可實現(xiàn)遠(yuǎn)程沉浸式操控，更加直觀、自由、安全、可靠、高效。

1.2 國內(nèi)外研究現(xiàn)狀

沉浸式虛擬現(xiàn)實（immersiveVR）技術(shù)能為參與者提供完全沉浸的體驗，使用戶有置身于虛擬世界的感覺。其中，遠(yuǎn)程自主式智能控制系統(tǒng)具有遠(yuǎn)程控制、無需人工現(xiàn)場監(jiān)控、代替人進(jìn)行一些智能操作的特點(diǎn);虛擬現(xiàn)實技術(shù)則利用頭盔顯示器將用戶的視覺、聽覺封閉起來，產(chǎn)生虛擬視覺;與此同時，讓參與者對系統(tǒng)主機(jī)下達(dá)操作命令，頭、手、眼均有相應(yīng)的頭部跟蹤器、手部跟蹤器、眼睛視向跟蹤器的追蹤，使系統(tǒng)具有實時性。

日本原子能研究學(xué)會在1999年東海燃料處理設(shè)施發(fā)生核事故后研制了坦克式機(jī)器人，它高1.5 m，重500 kg。這款機(jī)器人每分鐘大約移動40 m，可以在距控制器1.1 km的距離范圍內(nèi)操作，如圖1（a）所示。

2013年，千葉工業(yè)大學(xué)公開了水陸兩用核電站機(jī)器人“櫻花2號”，如圖1（b）所示。該新型機(jī)器人可以在廢墟上自由行走，且可通過遠(yuǎn)程控制，使手臂進(jìn)行和人相同的復(fù)雜動作。具有極強(qiáng)的抗輻射和防水功能，主要用于廢料清理。

2001年，美國iRobot公司研制出了Packbots，2008年推出最新軍用機(jī)器人產(chǎn)品Warrior， 如圖2所示。這兩款機(jī)器人都配有攝像機(jī)，把實時視頻流傳送給操作人員，操作人員使用游戲桿式的控制器操作機(jī)器人。其無線范圍超600 m，能夠繞過瓦礫，爬上臺階，下落1.8 m到混凝土上，即使完全浸入水中仍能工作。Warrior 710甚至能夠背著Packbots通過窗戶進(jìn)入建筑物內(nèi)部。

2017年2月22日，在國家旅業(yè)頭腦風(fēng)暴大會上，國家旅游局信息中心、任我游（廈門）科技發(fā)展有限公司以及HTCVive攜手發(fā)布了“中國VR旅游云數(shù)據(jù)服務(wù)平臺”，如圖3所示。

1.3 設(shè)計要求及思路

遠(yuǎn)程體控機(jī)器系統(tǒng)最大的困難在于準(zhǔn)確捕捉使用者的姿態(tài)信息，根據(jù)使用者的姿態(tài)計算出控制器執(zhí)行的動作。同時，如何通過無線方式將雙目攝像頭捕捉的大量圖像信息回傳到頭盔內(nèi)的顯示屏至關(guān)重要。

立體沉浸式遠(yuǎn)程體控機(jī)器人系統(tǒng)應(yīng)滿足3D視覺效果好、立體感形成及畫面實時傳輸性好、遠(yuǎn)距離無線數(shù)據(jù)鏈路通信、機(jī)械控制動作性強(qiáng)、能耗低等要求。

2 體感控制系統(tǒng)

2.1 機(jī)械臂的控制

2.1.1 姿態(tài)數(shù)據(jù)采集

為使立體沉浸式體感控制機(jī)器系統(tǒng)具備更好的人機(jī)交互性、自由性，在立體環(huán)境的基礎(chǔ)上設(shè)計了姿態(tài)數(shù)據(jù)采集與傳輸系統(tǒng)來完成和實現(xiàn)人機(jī)交互的相關(guān)功能，進(jìn)一步增強(qiáng)沉浸式效果與體驗。系統(tǒng)主要由姿態(tài)傳感器、微處理器（MCU）、電源模塊和數(shù)據(jù)傳輸模塊等組成，可實現(xiàn)對人體頭部和手臂姿態(tài)的數(shù)據(jù)采集和數(shù)據(jù)傳輸。

（1）姿態(tài)傳感器

本系統(tǒng)選擇MPU6050模塊檢測人體頭部和手臂的姿態(tài)角度變化。MPU6050芯片內(nèi)部集成有姿態(tài)傳感器、數(shù)字濾波、溫度傳感器、16位ADC及可擴(kuò)展數(shù)字運(yùn)動處理器（DMP）等。其中姿態(tài)傳感器選用慣性式姿態(tài)傳感器，包含三軸陀螺儀和三軸加速度計，可分別測量出運(yùn)動的角速度和線加速度，經(jīng)A/D轉(zhuǎn)換，濾波和數(shù)據(jù)融合處理便可得到反映真實機(jī)體狀態(tài)的姿態(tài)角。陀螺儀和加速度傳感器測量范圍可控，陀螺儀測量范圍為±2 000°/s，±1 000°/s，±500°/s，±250°/s;加速度計測量范圍為±16g，±8g，±4g，±2g。本項目中陀螺儀通過軟件將其測量范圍控制在相應(yīng)范圍內(nèi)。

MPU6050模塊通過波特率為9 600 b/s的串口完成所有設(shè)備寄存器與MCU的通信，并完成采集三軸加速度、三軸角速度的任務(wù)。

（2）微處理器（MCU）

微處理器采用具有低功耗、高性能以及更好兼容性等優(yōu)點(diǎn)的樹莓派（RaspberryPi核心處理器為ARM），主要負(fù)責(zé)數(shù)據(jù)調(diào)試、控制機(jī)械臂和電子雙目轉(zhuǎn)動及姿態(tài)解算相關(guān)運(yùn)算。

（3）驅(qū)動舵機(jī)

本項目使用TBSN-K15舵機(jī)，該舵機(jī)具有耐燒、穩(wěn)定、虛位小、控制角度大等特點(diǎn)。

2.1.2 系統(tǒng)軟件設(shè)計

姿態(tài)數(shù)據(jù)采集與傳輸系統(tǒng)程序主要實現(xiàn)采集人體姿態(tài)數(shù)據(jù)、原始數(shù)據(jù)調(diào)試、姿態(tài)數(shù)據(jù)融合傳輸?shù)裙δ?，其控制流程如圖4所示。

采集人體姿態(tài)數(shù)據(jù)即采集人體運(yùn)動過程中三軸加速度和角速度數(shù)據(jù);姿態(tài)數(shù)據(jù)融合即選擇合適的融合方法處理采集到的人體姿態(tài)數(shù)據(jù)，以得到所需的姿態(tài)角;數(shù)據(jù)傳輸即將融合后的姿態(tài)數(shù)據(jù)通過數(shù)據(jù)線傳輸給控制電子雙目系統(tǒng)的MCU處理器。

2.1.3 數(shù)據(jù)采集與調(diào)試

利用MPU6050模塊采集的只是三軸加速度和三軸角速度的原始數(shù)據(jù)，姿態(tài)傳感器所要獲取的人體頭部和手臂姿態(tài)角的變化需經(jīng)過數(shù)據(jù)融合處理才能得到。為保證姿態(tài)角的精確度和可靠性，需要對采集到的原始數(shù)據(jù)進(jìn)行進(jìn)一步調(diào)試與分析。MPU6050角度測試如圖5所示。

加速度計或陀螺儀輸出的原始數(shù)據(jù)都存在固有缺陷：當(dāng)模塊處于變速運(yùn)動狀態(tài)時，加速度計的輸出并非重力加速度，而是重力加速度和其自身加速度的矢量和。陀螺儀通過對角速度積分得到姿態(tài)角，隨著時間的推移，姿態(tài)角的誤差越來越大，所以單一的加速度計或陀螺儀都無法獲得正確的姿態(tài)角，需進(jìn)行數(shù)據(jù)融合。

2.1.4 數(shù)據(jù)處理與集成

MPU6050模塊作為系統(tǒng)的數(shù)據(jù)獲取和感知部分，能夠準(zhǔn)確、實時地獲得使用者的姿態(tài)角度。目前MEMS陀螺儀的精度不高，難以得到相對真實的姿態(tài)角度。為獲得準(zhǔn)確性較高且可靠的姿態(tài)角度，必須對MEMS陀螺儀的隨機(jī)誤差進(jìn)行補(bǔ)償，解決噪聲干擾與姿態(tài)最優(yōu)估計問題，從而獲取最優(yōu)姿態(tài)角度。

考慮到互補(bǔ)濾波算法雖然階次越高融合效果越好，但遲滯性顯著，從實時性和融合效果角度來看，Kalman濾波收斂速度和濾波效果平衡得較好，因此本系統(tǒng)采用卡爾曼濾波對來自加速度計和陀螺儀的信號進(jìn)行融合。

集成芯片具有體積小、響應(yīng)快、數(shù)據(jù)輸出穩(wěn)定準(zhǔn)確等優(yōu)點(diǎn)，能夠及時、迅速地輸出當(dāng)前姿態(tài)信息，精度高，濾波效果如圖6所示，MPU6050集成芯片如圖7所示。

集成芯片與單片機(jī)經(jīng)串口通信，MPU6050輸出的原始數(shù)據(jù)經(jīng)內(nèi)部集成的姿態(tài)解算器和卡爾曼濾波算法后可直接輸出穩(wěn)定、實時的姿態(tài)信息至MCU，MCU經(jīng)數(shù)據(jù)線傳輸數(shù)據(jù)至控制電子雙目系統(tǒng)的MCU，該MCU可根據(jù)角度值輸出不同的指令，對電子雙目的轉(zhuǎn)動進(jìn)行控制，最終帶給用戶沉浸式體感控制體驗。

集成后的芯片可安裝于頭盔式虛擬現(xiàn)實顯示設(shè)備和傳感器手套上，用于檢測和采集使用者的姿態(tài)角度信息。

2.1.5 體控機(jī)械臂其他方案

現(xiàn)有的沉浸式機(jī)器人多采用低延遲、高效率控制方式。由于近年來光學(xué)姿態(tài)采集器的發(fā)展，人們可以徒手遠(yuǎn)程操控機(jī)械臂的運(yùn)動。LeapMotion控制流程如圖8所示。

Leap的優(yōu)勢在于軟件，由于使用了紅外LED+灰階camera，成本較低;僅處理手部3D信息，相較于Kinect需要生成全身的skeleton、復(fù)雜的depth信息，Leap的運(yùn)行效率較高，對處理圖形的DSP要求較低。

此外，LeapMotion不受光線影響，即使在夜晚，同樣可以靈敏捕捉操作者的手部姿態(tài)。同時，用戶無需培訓(xùn)即可方便地操縱機(jī)械臂。系統(tǒng)光學(xué)體控系統(tǒng)構(gòu)件如圖9所示。

2.2 電子雙目控制

遠(yuǎn)程體控機(jī)器人系統(tǒng)的最大特點(diǎn)是人與電子媒介終端的交互性好、操作性強(qiáng)，用戶可通過肢體動作控制電子雙目調(diào)節(jié)視野范圍。本控制系統(tǒng)主要由傳感環(huán)節(jié)與執(zhí)行機(jī)構(gòu)構(gòu)成，其中傳感環(huán)節(jié)由姿態(tài)傳感器感知、獲取人體頭部運(yùn)動信息并將該信息傳輸至單片機(jī)進(jìn)行處理，單片機(jī)根據(jù)不同的姿態(tài)信號發(fā)送相關(guān)指令至執(zhí)行機(jī)構(gòu)，控制電子雙目做出相應(yīng)的運(yùn)動，實現(xiàn)具有人機(jī)交互性的體感控制。

2.2.1 控制系統(tǒng)設(shè)計

利用攝像機(jī)云臺作為執(zhí)行機(jī)構(gòu)對攝像機(jī)進(jìn)行水平和垂直的移動和控制。攝像機(jī)云臺是一種安裝在攝像機(jī)支撐物上的工作平臺，用于攝像機(jī)與支撐物之間的連接，在云臺水平、垂直運(yùn)動的同時，攜同攝像機(jī)做相同的運(yùn)動。目前國內(nèi)的云臺控制技術(shù)系統(tǒng)成熟，在云臺上安裝攝像頭后可調(diào)整攝像機(jī)水平和俯仰角度，同理，可通過控制機(jī)械臂轉(zhuǎn)動的舵機(jī)實現(xiàn)對機(jī)械臂的控制。

本系統(tǒng)樣機(jī)階段，攝像頭和機(jī)械臂將安裝在舵機(jī)之上。舵機(jī)是一種伺服馬達(dá)，其本身具有體積小、靈敏度高、可控性強(qiáng)等特點(diǎn)，可在微機(jī)電系統(tǒng)中作為基本的輸出執(zhí)行機(jī)構(gòu)，其簡單的控制和輸出使得單片機(jī)系統(tǒng)容易與之接口。舵機(jī)接收單片機(jī)發(fā)送的脈沖信號，轉(zhuǎn)過相應(yīng)角度，實現(xiàn)對攝像頭位置的調(diào)整。舵機(jī)云臺將固定于智能小車上，智能小車作為電子雙目控制系統(tǒng)的載體，可程控各方向的啟停，調(diào)整設(shè)備的運(yùn)動方向，完成探測任務(wù)。

2.2.2 舵機(jī)控制方式

舵機(jī)適用于角度需要不斷變化并保持的控制系統(tǒng)，如圖10所示。工作原理：控制信號由接收機(jī)通道進(jìn)入信號調(diào)制芯片，獲得直流偏置電壓，其內(nèi)部有一基準(zhǔn)電路，產(chǎn)生周期為20 ms、寬度為1.5 ms的基準(zhǔn)信號，將獲得的直流偏置電壓與電位器電壓比較，獲得電壓差輸出。最后，電壓差的正負(fù)輸出至電機(jī)驅(qū)動芯片決定電機(jī)的正反轉(zhuǎn)。當(dāng)電機(jī)轉(zhuǎn)速一定時，通過級聯(lián)減速齒輪帶動電位器旋轉(zhuǎn)，使得電壓差為0 V，電機(jī)停止轉(zhuǎn)動。

舵機(jī)的控制信號是利用占空比變化改變舵機(jī)位置的PWM信號?？刹捎脝纹瑱C(jī)作為舵機(jī)的控制單元，使PWM信號的脈沖寬度實現(xiàn)微秒級變化，從而提高舵機(jī)的轉(zhuǎn)角精度。單片機(jī)完成控制算法后將計算結(jié)果轉(zhuǎn)化為PWM信號輸出至舵機(jī)。單片機(jī)系統(tǒng)是一個數(shù)字系統(tǒng)，其控制信號的變化依靠硬件計數(shù)，受外界干擾較小，工作可靠。

2.2.3 體感控制終端系統(tǒng)

為使電子雙目能夠進(jìn)行水平和垂直運(yùn)動，讓使用者擁有更好的體驗，本產(chǎn)品的人機(jī)交互功能選擇二自由度云臺對舵機(jī)進(jìn)行控制。RB-150MG輕量型云臺是最新一代全金屬齒、大扭矩、大轉(zhuǎn)角范圍的機(jī)器人專用伺服舵機(jī)，性價比高，定位精準(zhǔn)，可以在水平和垂直方向做二自由度運(yùn)動，安裝攝像頭后可實現(xiàn)圖像反饋監(jiān)控、識別定位追蹤。

RB-150MG云臺通過在正立的舵機(jī)上放置一個多功能舵機(jī)支架，實現(xiàn)電子雙目的水平運(yùn)動;在該支架上安裝一個橫向放置的舵機(jī)，并將U型支架一側(cè)與該舵機(jī)相連，一側(cè)通過杯士軸承與多功能舵機(jī)支架結(jié)合，實現(xiàn)電子雙目的垂直運(yùn)動，RB-150MG云臺如圖11所示。

采用9軸慣性姿態(tài)傳感器采集傳感器安放位置處的三個軸，即三個方向的角度數(shù)據(jù)，取其中代表水平方向、豎直俯仰方向范圍為-90°～+90°的兩個軸的數(shù)據(jù)模擬頭部運(yùn)動，此數(shù)據(jù)經(jīng)匹配后用無線方式來控制范圍為0°～180°的舵機(jī)實現(xiàn)相應(yīng)轉(zhuǎn)動，由此實現(xiàn)頭部的體感控制。

2.3 遠(yuǎn)程控制數(shù)據(jù)傳輸

2.3.1 傳感器數(shù)據(jù)的無線傳輸

體感控制系統(tǒng)通過采集人體頭部姿態(tài)信息及手臂姿態(tài)信息來控制機(jī)器人的攝像頭云臺及機(jī)械手的運(yùn)動。通過nRF24L01單片無線收發(fā)器芯片實現(xiàn)100 m以內(nèi)的無線傳輸。在機(jī)器人控制端及用戶體驗端分別接入無線模塊配合Arduino完成數(shù)據(jù)的交換傳輸，延時0.5 s，實時性好。

系統(tǒng)工作在2.4～2.5 GHz的ISM頻段，由頻率發(fā)生器、增強(qiáng)型“SchockBurst”模式控制器、功率放大器、晶體振蕩器等組成。輸出功率頻道選擇和協(xié)議設(shè)置可通過SPI接口進(jìn)行。

nRF241擁有極低的電流消耗，當(dāng)工作在發(fā)射模式下發(fā)射功率為0 dBm時電流消耗為11.3 mA ，接收模式時為12.3 mA，掉電模式和待機(jī)模式下電流消耗更低;數(shù)據(jù)包每次可傳輸1～32 B的數(shù)據(jù);數(shù)據(jù)傳輸速率為2 Mb/s;寬電壓工作范圍為1.9～3.6 V，輸入引腳可承受5 V輸入電壓，適應(yīng)各種芯片的輸出電壓，簡單易接。

2.3.2 無線通信距離的拓展

體感控制的真正意義在于其通信距離的遠(yuǎn)程化，在保障控制精度的前提下，盡可能擴(kuò)展傳輸距離以提高機(jī)器人的可用性。現(xiàn)階段，環(huán)境基礎(chǔ)設(shè)施完善，可借助局域網(wǎng)訪問互聯(lián)網(wǎng)，實現(xiàn)兩局域網(wǎng)子機(jī)間的信息交換，方便快捷。

使用云端服務(wù)器登錄遠(yuǎn)程控制管理臺即可控制服務(wù)器，實現(xiàn)功能。如果可以保證帶寬，由視覺傳感器采集的視頻信息也可以通過服務(wù)器訪問顯示。

3 立體沉浸式系統(tǒng)

沉浸式視頻即交互式立體視頻，是最接近人類視覺方式的三維視覺感知技術(shù)。其基本原理是使用兩個或多個攝像機(jī)從不同角度同一時間拍攝的視頻，來產(chǎn)生一個全面的3D數(shù)字視頻，運(yùn)用計算機(jī)視覺和計算機(jī)圖形學(xué)為交互式視頻和電視觀察者提供一個“虛擬攝像機(jī)”，使觀察者可以自由選擇觀察方向和視角。立體沉浸式視頻增加了場景的深度信息，增強(qiáng)了現(xiàn)實感。

構(gòu)建立體沉浸式的圖像環(huán)境需要電子雙目圖像采集系統(tǒng)、頭戴式虛擬現(xiàn)實顯示設(shè)備、姿態(tài)傳感器、控制系統(tǒng)等，如圖12所示。其中電子雙目圖像采集系統(tǒng)與虛擬現(xiàn)實設(shè)備共同構(gòu)建立體環(huán)境，姿態(tài)傳感器配合控制系統(tǒng)實現(xiàn)體感控制。

圖像采集系統(tǒng)由電子雙目完成對場景的捕捉與圖像獲取，用兩臺攝像機(jī)模擬人的雙眼對景物進(jìn)行拍攝，捕捉場景畫面并實時傳輸現(xiàn)場圖像，兩臺攝像機(jī)并列放置得到左、右兩幅具有視差的圖像，最后對該圖像進(jìn)行融合處理或通過3D設(shè)備觀測圖像。

沉浸式顯示借助頭盔式虛擬現(xiàn)實顯示設(shè)備，使兩幅具有視差的圖像分別映入人的左右眼，人的大腦感知圖像視察信息，產(chǎn)生立體感。虛擬現(xiàn)實頭盔透鏡具有放大作用，使圖像充滿使用者的整個視界，從而使用戶產(chǎn)生強(qiáng)烈的沉浸感。在頭戴設(shè)備上加入姿態(tài)傳感器感知使用者的姿態(tài)信息來控制電子雙目的移動，由此構(gòu)成強(qiáng)交互性、高自由度視點(diǎn)的沉浸式視頻體驗和智能體感控制系統(tǒng)。

3.1 圖像采集模塊

捕獲場景的空間信息并形成立體圖像是立體沉浸式環(huán)境構(gòu)建的前提，要產(chǎn)生立體影像，單臺攝像機(jī)無法完成，所以本系統(tǒng)采用兩個同時工作的攝像頭，實時傳輸兩幅具有視差的圖像，反映空間場景、位置等信息。再通過頭戴觀測設(shè)備，使左右眼分別觀測到兩幅圖像，人的大腦對這兩幅圖像進(jìn)行處理后，根據(jù)兩幅圖像的差異判斷物體與雙眼的距離等信息，在人的大腦中產(chǎn)生立體效果。電子雙目圖像采集如圖13所示。

常用的雙目立體視覺成像模型有平行雙目成像模型和匯聚雙目成像模型兩種，均應(yīng)用兩個單目攝像頭取景。所得兩幅有視差的圖片在大腦中疊加融合處理，構(gòu)成有深度立體效果的畫面。綜合人眼獲取圖像的運(yùn)作方式，匯聚雙目成像模型更符合人眼的視覺習(xí)慣。在不考慮畸變和其他外界因素等情況下，雙目攝像系統(tǒng)可達(dá)到與人眼相似的立體成像效果。

兩個目標(biāo)攝像機(jī)與三維模型的位置關(guān)系、兩個目標(biāo)攝像機(jī)之間的距離、會聚角變化值等是影響立體效果的重要因素。為使電子雙目與人眼取景模型更貼合，僅研究主要影響因素，對研究模型作出假設(shè)：兩個攝像機(jī)的鏡頭完全相同，即聚焦值、白平衡、光圈值等參數(shù)相同;兩攝像機(jī)視野和目標(biāo)距離均相同，即攝像機(jī)和目標(biāo)左右對稱;攝像機(jī)觀測距離在一定范圍內(nèi)，暫不考慮攝像機(jī)自動變焦和視角變化等問題;攝像機(jī)鏡頭中心和目標(biāo)點(diǎn)在同一平面內(nèi)，避免產(chǎn)生垂直視差;在工作過程中兩個攝像頭相對位置不變，成角固定;場景光線正常，所得圖像對符合要求。

3.2 圖像無線傳輸模塊

3.2.1 視頻圖像無線回傳

選擇路由器形成局域網(wǎng)的方式傳送圖像，如圖14所示。

3.2.2 OpenWrt系統(tǒng)

利用OpenWrt系統(tǒng)進(jìn)行圖像無線傳輸?shù)牧鞒倘鐖D15所示。

3.3 構(gòu)建3D立體環(huán)境

3.3.1 虛擬現(xiàn)實設(shè)備

虛擬現(xiàn)實技術(shù)由計算機(jī)硬件、軟件及各種傳感器構(gòu)成三維信息的虛擬環(huán)境，在虛擬現(xiàn)實環(huán)境中可直接實現(xiàn)虛擬場景中的實物交互。從本質(zhì)上看，虛擬現(xiàn)實技術(shù)是一種先進(jìn)的人機(jī)交互技術(shù)，其追求的技術(shù)目標(biāo)是盡量使用戶與電腦虛擬環(huán)境進(jìn)行自然式交互。

場景顯示方式及設(shè)備是虛擬現(xiàn)實系統(tǒng)中人機(jī)交互的基本組成部分，按照顯示方式分為頭盔式顯示、投影式、手持式和自由立體顯示方式等，本系統(tǒng)采用頭戴式設(shè)備進(jìn)行研究與改造。

由于虛擬現(xiàn)實設(shè)備需要高精度傳感器、高清顯示屏和強(qiáng)大的計算能力等高端技術(shù)，因此大部分虛擬現(xiàn)實產(chǎn)品均基于個人電腦。本系統(tǒng)使用備受關(guān)注的基于手機(jī)的虛擬現(xiàn)實環(huán)境頭戴設(shè)備，如圖16所示。該設(shè)備將手機(jī)作為顯示器，通過分屏軟件及設(shè)備使電子雙目攝像頭捕捉的兩幅圖像分別呈現(xiàn)于手機(jī)顯示屏的左、右半屏，通過頭戴設(shè)備觀測，圖像映入人的大腦后經(jīng)處理產(chǎn)生立體沉浸感。頭戴設(shè)備上將安裝陀螺儀姿態(tài)傳感器芯片，監(jiān)測頭部運(yùn)動形態(tài)，完成相應(yīng)的人機(jī)交互，實現(xiàn)立體沉浸式體感控制。

本系統(tǒng)所用頭盔式顯示設(shè)備為Cardboard，Cardboard是款簡單的3D眼鏡，將手機(jī)安裝于設(shè)備前方作為顯示器，在該設(shè)備上安裝相應(yīng)的陀螺儀姿態(tài)傳感器并連接至單片機(jī)，配合相應(yīng)軟件控制即可實現(xiàn)沉浸式體感控制：陀螺儀傳感器芯片可實時檢測使用者頭部的位置和方向，并將信息傳輸至單片機(jī)，單片機(jī)根據(jù)使用者頭部位置和方向信息計算出人體當(dāng)前姿態(tài)，從而控制攝像頭移動到相應(yīng)位置，顯示當(dāng)前視點(diǎn)下的場景，人體視點(diǎn)與電子雙目的同步性和交互性讓使用者產(chǎn)生強(qiáng)烈的沉浸感。該方案的優(yōu)點(diǎn)在于Cardboard價格低廉，通用性好且便攜。

3.3.2 圖像分屏顯示

圖像通過無線方式傳輸?shù)絇C機(jī)后，通過登錄兩個網(wǎng)頁分別呈現(xiàn)電子雙目采集的圖像，如圖17所示。使用Splashtop可將畫面投射到手機(jī)顯示屏上進(jìn)行同步顯示。在使用頭盔式顯示設(shè)備觀測前，需要在手機(jī)上手動將兩幅圖像調(diào)整到中間位置。經(jīng)過多次測試，利用此方法可以得到延遲少、效果較好的圖像顯示，基本滿足同步性、畫質(zhì)及立體的要求。

4 實驗樣機(jī)

4.1 硬件系統(tǒng)

4.1.1 可穿戴部分

系統(tǒng)可穿戴部分主要由傳感器手套、頭盔式虛擬現(xiàn)實設(shè)備組成。

傳感器手套需要搭載不同數(shù)量的MEMS陀螺儀加速度傳感器模塊、無線發(fā)送模塊、供電裝備（傳感器供電和無線發(fā)送模塊供電電壓為+3.3 V）。為保證每一個關(guān)節(jié)的運(yùn)動都被捕捉到，需要精準(zhǔn)地設(shè)計傳感器的分布位置，確定其運(yùn)動的初始位置等。

頭盔式虛擬現(xiàn)實設(shè)備包括MEMS陀螺儀加速度傳感器模塊、頭盔框架、透鏡、無線發(fā)送模塊、顯示器搭載臺、供電裝備。在頭戴設(shè)備上加入姿態(tài)傳感器感知使用者的姿態(tài)信息來控制電子雙目的移動，就構(gòu)成了強(qiáng)交互性、高自由度視點(diǎn)的沉浸式視頻體驗和智能體感控制系統(tǒng)。

4.1.2 機(jī)器人部分

硬件組成包括搭載小車模塊、雙目攝像頭和舵機(jī)云臺、機(jī)械臂仿生模塊。

小車模塊：小車上裝配有32路舵機(jī)控制板、樹莓派、電平轉(zhuǎn)換裝置、直流電機(jī)、鋰電池（舵機(jī)供電電壓+5 V）等。小車可以遙控操作，搭載一定質(zhì)量物品（不高于5 kg）。

雙目攝像頭和舵機(jī)云臺：人的兩只眼睛在觀看物體時，雙眼的觀看角度略有差異，這種細(xì)微差距通過視神經(jīng)傳輸?shù)酱竽X中樞系統(tǒng)，大腦對其進(jìn)行辨析處理，從而產(chǎn)生物體遠(yuǎn)近錯落的景象，實現(xiàn)立體效果。

機(jī)械臂仿生模塊：固定在小車底盤的機(jī)械臂模塊由無線接收裝置、舵機(jī)控制器、舵機(jī)組成，與人體的手臂稍有不同的是，機(jī)械臂的關(guān)節(jié)有四個自由度，不包含上臂和肩關(guān)節(jié)，即通過肘關(guān)節(jié)、下臂、手掌完成操作。

4.2 樣機(jī)測試

對系統(tǒng)的機(jī)械臂控制、VR立體沉浸模塊及系統(tǒng)整體運(yùn)行狀態(tài)進(jìn)行測試。

（1） 機(jī)械臂控制測試

機(jī)械控制的動作性強(qiáng)，舵機(jī)控制精度達(dá)0.74°，控制端具有較高的自由度和靈活度，能夠與使用者的姿態(tài)動作保持一致和同步。同時使用者姿態(tài)信息的采集和捕捉要靈敏且快速，執(zhí)行機(jī)構(gòu)（機(jī)械臂等）慣性小，能夠快速準(zhǔn)確響應(yīng)。能耗低，可持續(xù)工作4 h。

（2）VR立體沉浸模塊測試

將移動機(jī)器人上的雙目視覺傳感器的視頻信號通過無線網(wǎng)絡(luò)傳輸?shù)接墒謾C(jī)構(gòu)成的虛擬現(xiàn)實設(shè)備上，實驗結(jié)果表明，系統(tǒng)具有較好的3D視覺效果，立體感的形成及畫面的實時傳輸性較好，延遲約為0.5 s，本次設(shè)計可滿足500 m無線通信。

（3）樣機(jī)綜合測試

操作人員利用立體沉浸式系統(tǒng)控制移動機(jī)械臂完成貨物的搬運(yùn)，基本滿足了項目的設(shè)計要求。

5 總結(jié)與展望

本項目在分析國內(nèi)外相關(guān)技術(shù)研究現(xiàn)狀的基礎(chǔ)上，基于體感控制和虛擬現(xiàn)實技術(shù)，提出了立體沉浸式遠(yuǎn)程體感智能控制器的設(shè)計方案，將其應(yīng)用到了輪式移動機(jī)械臂的遠(yuǎn)程立體沉浸式體感控制中，并對原理樣機(jī)進(jìn)行了相關(guān)測試，系統(tǒng)具有通信距離遠(yuǎn)、自由度高、延時小等優(yōu)點(diǎn)。未來將進(jìn)一步提升系統(tǒng)的遠(yuǎn)程信息傳輸能力，使其能夠更好地適應(yīng)惡劣的野外環(huán)境。