基于人體手臂同步遠控的智能機械車研究

謝銀波，魏天奇，田 元，嚴志聰，陳世增

基于人體手臂同步遠控的智能機械車研究

謝銀波，魏天奇，田 元，嚴志聰，陳世增

（武漢大學 電子信息學院，湖北 武漢 430072）

設計了一種基于人體手臂同步控制的智能機械車系統(tǒng)。該系統(tǒng)采用低功耗異構(gòu)多處理器、多核機電系統(tǒng)，通過優(yōu)化的游戲引擎人機交互圖形控制界面，輔以可穿戴式肌電信號和手臂姿態(tài)傳感器，以手勢及手臂姿態(tài)無線遠程控制智能車的行進、機械臂的同步伸展和機械手的抓取等動作，車載高速激光雷達系統(tǒng)和攝像頭系統(tǒng)實現(xiàn)，在復雜未知環(huán)境下，遠控機車的定位、二維和三維場景快速重構(gòu)、無縫切換顯示，實驗結(jié)果標明，系統(tǒng)魯棒性好、實時性能滿足應用要求，具有較好的應用價值前景。

智能機械車；肌電信號；體感控制；實時地圖；機器學習

通過在人的肢體上穿戴傳感和智能設備，利用人體的生物機能反應和肢體動作，可以更直觀、靈活地進行信號感知和實施控制過程。國內(nèi)外的研究者，針對利用穿戴式裝置的控制方法及應用，特別是以肌電信號（electro myo gram，EMG）和慣性測量單元（inertial measurement unit，IMU）為基礎(chǔ)，展開了廣泛的研究[1-3]，但鮮見有將EMG與IMU相結(jié)合進行相互約束以達到最優(yōu)解的討論。

為了解決上述問題，本文提出并實現(xiàn)了一種通過人體手臂對智能車及車載機械臂進行實時控制的系統(tǒng)。針對車體及機械臂設計與控制在很多文獻[4-5]中有討論，本文主要從穿戴式人機交互實時控制與基于激光雷達的場景探測進行設計與分析。

1 系統(tǒng)結(jié)構(gòu)與功能

通過自定義手勢和穿戴EMG傳感器的手臂可無線遠程控制智能車的行進狀態(tài)。使用穿戴有姿態(tài)傳感器組的手臂[6-7]，直接操控基于Unity3D實現(xiàn)的友好人機圖形控制界面[8]，以及在車輛控制界面下控制車載機械臂的同步伸展和機械手的抓取等動作。同時，依靠車載高速激光雷達系統(tǒng)和攝像頭，可獲得復雜未知環(huán)境下，實時場景原始數(shù)據(jù)，并將數(shù)據(jù)上傳至上位控制系統(tǒng)，上位控制系統(tǒng)對回傳數(shù)據(jù)進行處理，完成實時機車定位和遠程三維場景快速重構(gòu)和顯示，二三維圖像可進行無縫切換，協(xié)助人對車的操控過程和機械臂的抓取。智能機械車實物及系統(tǒng)操控主界面見圖1。

圖2為系統(tǒng)工作原理圖。系統(tǒng)由上位控制系統(tǒng)和智能機械車2大部分組成，考慮到智能車需由電池供電，有低功耗及控制內(nèi)容、種類復雜等特點，系統(tǒng)采用異構(gòu)多處理器、多核心架構(gòu)。智能機械車以Intel MinnowBoard嵌入式系統(tǒng)I為車載主控核心，對來自激光雷達、攝像頭等較大數(shù)據(jù)任務進行處理，并將處理后數(shù)據(jù)通過Wi-Fi信道及時傳輸?shù)缴衔豢刂葡到y(tǒng)，輔以Intel Genuino 101和ST STM32低功耗控制板，實現(xiàn)對機械臂、車底盤運動等實時性要求較高的控制。上位控制系統(tǒng)由同樣架構(gòu)的嵌入式系統(tǒng)II組成，其對從智能機械車傳來的擬合地圖數(shù)據(jù)、機器人位置信息及視頻圖像信息等進行融合、重建和生成界面，同時對手臂姿態(tài)傳感器和肌電傳感器信號進行采樣和處理，并通過Wi-Fi信道TCP鏈路將控制指令實時發(fā)送到智能機械車。

圖1 智能機械車實物及系統(tǒng)操控主界面

圖2 系統(tǒng)工作原理圖

2 穿戴式人機交互實時控制設計

2.1 基于EMG信號的手勢識別

手勢識別組件中包含一個加拿大Thalmic Labs的MYO EMG采集臂環(huán)，佩戴在胳膊的肘關(guān)節(jié)上方，通過低功率的藍牙接口與上位控制系統(tǒng)進行通信連接。當帶動肌肉運動的手做出：手指張開A、緊握拳B、手左彎折C、手右彎折D、手松弛E 5種動作時，可遠程控制智能車分別完成前進、后退、左轉(zhuǎn)、右轉(zhuǎn)、停止5種運動。

MinnowBoard嵌入式系統(tǒng)II接收到EMG信號后，進行預分類和細分類的手勢識別過程，流程如圖3所示。

首先從所有手勢中區(qū)分出放松手勢，根據(jù)人體手勢動作時前臂不同肌肉的差異化用力，利用積分肌電值（IEMG）作為首次分類的特征向量，對表面肌電信號進行預分類。

圖3 手勢識別流程圖

預分類算法如下：根據(jù)EMG信號通道數(shù)=8，則EMG信號絕對值幅度平均值為

積分肌電值定義式：

式中為總樣本數(shù)。

根據(jù)不同手勢肌電積分值()的分布情況，選擇線性判別函數(shù)：

()將手部動作分為兩大類：（放松）與（緊張），對于有權(quán)矢量，運用感知器算法。校正規(guī)則如下式：

線性判別函數(shù)確定后，將測試集特征向量代入()中，可通過公式（5）判別規(guī)則進行緊張與放松狀態(tài)的分類識別。

經(jīng)過預分類后，再對4個緊張手勢采用一對多支持向量機（support vector machine，SVM）分類器進行細分類，分別對應智能車移動的4個自由度，最終判定出可區(qū)別的手勢。

2.2 基于手臂姿態(tài)控制的人機交互控制

手臂姿態(tài)獲取由2組MPU-6050與2組CC2540 BLE模塊為核心的電路構(gòu)成。MPU-6050內(nèi)部集成了3軸陀螺儀[9]和3軸MEMS加速度計。由于姿態(tài)傳感器組對環(huán)境溫濕度變化和周圍電磁波干擾極為敏感，故需要對原始數(shù)據(jù)進行濾波。

通過對于2路陀螺儀數(shù)據(jù)獲取向量，經(jīng)中值濾波等處理，映射為手臂肘部的關(guān)節(jié)夾角，從而形成手臂控制的運動姿態(tài)。獲取的加速度值再通過中值濾波和卡爾曼濾波，獲得控制人機交互圖控界面中上移動激活、下移動激活及旋轉(zhuǎn)手臂確認的3個主要UI控制指令，結(jié)合EMG手勢識別旋轉(zhuǎn)手臂動作，實現(xiàn)“確認”的交互操作。

此外，根據(jù)采集到的手勢和手臂姿態(tài)信息，可對智能車進行多自由度控制。通過8路PWM波實現(xiàn)智能車底座的萬向運動，通過6路PWM波實現(xiàn)機械臂的6自由度控制，而且6個機械臂動力舵機、2個機械臂關(guān)節(jié)上的MPU6050加速度計及2個機械手爪上的壓力傳感器構(gòu)成閉環(huán)負反饋系統(tǒng)。

3 基于激光雷達的場景探測

3.1 RPLIDAR激光雷達

激光雷達模塊采用SLAMTEC公司的RPLIDAR A1，主要由測距子模塊和機械運行子模塊組成，以雷達身為中心對范圍場景進行激光點云掃描，再通過串行接口將實時測距數(shù)據(jù)傳輸給智能機械車中的MinnowBoard嵌入式系統(tǒng)I中進行處理。

同時，利用車載機械臂夾手處的高清攝像頭獲取30FPS/1080P視頻流，編碼為H.264碼流[10]，通過RTP協(xié)議實時傳輸至上位控制系統(tǒng)，最后與由激光雷達形成的場景圖耦合的互為參照、可切換式視角界面。

3.2 場景探測算法

場景探測以激光雷達模塊采集數(shù)據(jù)為基礎(chǔ)，場景探測算法流程如圖4所示。

圖4 場景重構(gòu)程序流程圖

MinnowBoard嵌入式系統(tǒng)I軟件系統(tǒng)搭載Ubuntu14和ROS Indigo[11]，輔助導航程序控制激光雷達獲取點云數(shù)據(jù)，經(jīng)過濾波和與現(xiàn)場環(huán)境的掃描匹配過程，結(jié)合圖優(yōu)化SLAM算法進行全局優(yōu)化[12-13]，場景地圖數(shù)據(jù)為′維矩陣（為場景地圖寬，為高），通過Canny邊緣提取[14]與Hough變換獲取精準的場景邊界[15]，反復匹配得到比較精確的重構(gòu)結(jié)果。

4 關(guān)鍵性能測試與分析

針對系統(tǒng)的主要功能，對相關(guān)關(guān)鍵組件，包括手勢識別、機械臂姿態(tài)控制、場景重構(gòu)進行了性能測試與分析。

4.1 手勢識別測試

4.1.1 實時性

定義手勢數(shù)據(jù)庫的總樣本數(shù)為。通過更換不同的值，測試手勢識別的時間。通過記錄手勢判斷的時間來判斷手勢識別框架的實時性，實驗結(jié)果見表1。

表1 手勢識別實時性測試

從測試結(jié)果可以看出，當樣本集數(shù)量控制在10 000時，手勢識別都可以在30 ms左右完成，可以達到較好的實時性要求。

4.1.2 準確性

手勢識別的準確性決定整個系統(tǒng)的穩(wěn)定性。分別對5種手勢識別20、40、100次，5種手勢分別標記為A、B、C、D和E，識別結(jié)果見表2。

表2 手勢識別準確性測試

從表2可以看出，代表控制智能車前后行進的手勢A和B以及控制右轉(zhuǎn)的手勢D達到了99%以上的正確率，但是控制智能車左轉(zhuǎn)的手勢C卻只有97%的識別率，這是因為左轉(zhuǎn)手勢較放松，有很小的概率被誤判為無效手勢，但由于手勢控制信號的發(fā)送頻率很高，無效手勢產(chǎn)生概率較低，會在多次取值判斷中被剔除，并不影響實時操作。

4.2 機械臂姿態(tài)控制測試

機械臂姿態(tài)由方向角、天頂角以及半徑?jīng)Q定，而每個量都由穿戴式傳感器組的各模塊協(xié)同確定，要求很強的實時性和準確性。

4.2.1 機械臂實時性

機械臂方向角根據(jù)操作者手臂水平移動情況進行同步操作。手臂從–45°水平移動到45°的時間為(Human)，機械臂的對應移動時間為(Arm)，D為兩者差值，結(jié)果見表3。

表3 機械臂方向角實時性測試 s

由實驗結(jié)果可以看出，當人體手臂進行正常速度移動時，誤差非常小，滿足實時控制的要求；但非正常平緩移動時，時間差D甚至出現(xiàn)了負數(shù)，這是由于采用了卡爾曼濾波器的緣故，此外舵機作為機械臂的驅(qū)動體有可能提前到達預定角度。

4.2.2 機械臂移動準確性

讓手臂分別移動9個角度，再分別測試機械臂方向角移動的對應角度，測試結(jié)果見表4。

從表4可以看出，誤差具有隨機性，這與每個人臂部平移習慣有關(guān)，同樣的移動角度，每一段的移動加速度亦會有差別。

表4 機械臂方向角準確性測試 (°)

4.3 場景構(gòu)建測試

對某室內(nèi)規(guī)則區(qū)域進行掃描和場景重構(gòu)，測量側(cè)邊6條較明顯邊界的長度，測試結(jié)果見表5。系統(tǒng)可以達到較好的場景重構(gòu)效果。

表5 場景重構(gòu)精度測試 m

5 結(jié)語

本文提出了一種將手勢操作、體感操作、場景重建、實時定位、視頻采集和3D體感交互操作界面相結(jié)合的智能機械車控制系統(tǒng)。實驗結(jié)果表明，系統(tǒng)交互性強、手勢及手臂控制實時性好、準確性高、場景構(gòu)建及車定位精度高，可滿足實驗室環(huán)境下實時控制的需要，在野外探險與救援、智能農(nóng)業(yè)、工業(yè)安全生產(chǎn)等領(lǐng)域有著廣闊的應用前景。目前，該系統(tǒng)作為我校電子信息類嵌入式系統(tǒng)系列課程設計的綜合實訓平臺之一應用于教學。

[1] DU L Z. Coupling analysis of ECG and EMG based on multiscale symbolic transfer entropy[C]//Research institute of management science and industrial engineering. Proceedings of 2017 2nd International Conference on Mechatronics and Information Technology(ICMIT 2017). 2017.

[2] 趙汗青，李海燕，王立新. 表面肌電信號采集綜合實驗項目設計[J]. 實驗室研究與探索，2016, 35(6): 52–56.

[3] 晉曉飛，王浩，陳媛，等. 基于手臂表面肌電信號的智能小車控制系統(tǒng)[J]. 生物醫(yī)學工程研究，2017, 36(4): 301–306, 317.

[4] 王明明，朱瑩瑩，張磊，等. 麥克納姆輪驅(qū)動的移動機器人自適應滑?？刂破髟O計[J]. 西北工業(yè)大學學報，2018, 36(4): 627–635.

[5] 鄧曉燕，林燦光，施翔宇，等. 五自由度機械臂三維建模與仿真實驗平臺的構(gòu)建[J]. 實驗技術(shù)與管理，2018, 35(3): 118–122.

[6] 魯立，劉頌. 非線性SVM融合LDA的sEMG手勢識別應用分析[J]. 激光雜志，2014(8): 26–29.

[7] 丁其川，趙新剛，韓建達. 基于肌電信號. 容錯分類的手部動作識別[J]. 機器人，2015, 37(1): 10–16.

[8] 王開宇，李安琪，馬馳，等. 基于仿真技術(shù)的數(shù)字電路3D虛擬實驗室的設計[J]. 實驗技術(shù)與管理，2017, 34(2): 11–15.

[9] 董靖川，張朝，溫洋，等. 基于STM32的低碳避障實驗小車電控設計[J]. 實驗技術(shù)與管理，2017, 34(12): 45–49.

[10] 張瑒，許林，孫廣毅. 基于RGB-D攝像機與IMU數(shù)據(jù)融合的動作捕捉系統(tǒng)[J]. 系統(tǒng)仿真學報，2015, 27(10): 2582–2588.

[11] 胡春旭，熊梟，任慰，等. 基于嵌入式系統(tǒng)的室內(nèi)移動機器人定位與導航[J]. 華中科技大學學報(自然科學版)，2013, 41(增刊1): 254–257, 266.

[12] 季秀才，鄭志強，張輝. SLAM問題中機器人定位誤差分析與控制[J]. 自動化學報，2008(3): 323–330.

[13] 趙建偉，張宏靜，王洪燕，等. 應用激光雷達構(gòu)建室內(nèi)環(huán)境地圖的研究[J]. 機械設計與制造，2017(5): 135–137.

[14] 王植，賀賽先. 一種基于Canny理論的自適應邊緣檢測方法[J]. 中國圖象圖形學報，2004(8): 65–70.

[15] 張佳，程宇龍. 基于隨機Hough變換的圓形目標檢測實驗[J]. 實驗室研究與探索，2014, 33(7): 130–133.

Research on intelligent mechanical vehicle based on synchronized remote control of human arm

XIE Yinbo, WEI Tianqi, TIAN Yuan, YAN Zhicong, CHEN Shizeng

(School of Electronic Information, Wuhan University, Wuhan 430072, China)

An intelligent mechanical vehicle system based on synchronous control of human arm is designed. This system uses a low-power heterogeneous multi-processor and multi-core electromechanical system. The system adopts low-power heterogeneous multi-processor and multi-core electromechanical system, and through optimized game engine human-computer interactive graphical control interface, supplemented by wearable EMG signal and arm attitude sensor, it can control the movement of intelligent vehicle, synchronous extension of the arm and grasping of the manipulator by gesture and arm attitude wireless remote control. As a result, the vehicle-borne high-speed lidar system and camera system are realized. In complex and unknown environment, the location of the remote control locomotive, fast reconstruction of two-dimensional and three-dimensional scene, seamless switching display are realized. The experimental results show that the system has good robustness and real-time performance, which meets the application requirements and has good application prospects.

intelligent mechanical vehicle; EMG signal; somatosensory control; real-time map building; machine learning

TP242

A

1002-4956(2019)12-0085-05

10.16791/j.cnki.sjg.2019.12.020

2019-04-04

教育部產(chǎn)學合作協(xié)同育人項目（201601005066，201701003050）；湖北省科技支柱項目（2017AAA027）

謝銀波（1977—），男，湖北天門，博士，實驗師，研究方向為嵌入式系統(tǒng)和無線傳感器網(wǎng)絡。E-mail: xyb@whu.edu.cn