基于自然用戶界面的無人機(jī)交互技術(shù)研究進(jìn)展

崔唯佳 劉彤 田若宇

（中國電子科技集團(tuán)公司第五十四研究所 河北省石家莊市 050081）

傳統(tǒng)的無人機(jī)控制主要依賴圖形用戶界面（GUI）實(shí)現(xiàn)人機(jī)交互，需要操作員進(jìn)行復(fù)雜的邏輯管理和熟練操作，然而，隨著無人機(jī)在軍民領(lǐng)域的廣泛應(yīng)用，無人機(jī)任務(wù)多樣性不斷增加，機(jī)載傳感器種類越來越多，地面控制系統(tǒng)的任務(wù)指令的復(fù)雜性也隨之增加，給操作帶來了極大挑戰(zhàn)，尤其要求操作員在不同任務(wù)和環(huán)境條件下，準(zhǔn)確、快速地做出控制決策。為減少操作員的操作訓(xùn)練時(shí)間以及操控負(fù)擔(dān)，簡(jiǎn)化指令步驟，提高操作體驗(yàn)，研究和應(yīng)用高效、自然、直觀的人機(jī)交互方式具有必要性。

隨著智能感知技術(shù)的飛速發(fā)展，以及人工智能、虛擬現(xiàn)實(shí)等技術(shù)的廣泛應(yīng)用，基于自然用戶界面（NUI）的人機(jī)交互方式成為無人機(jī)操控技術(shù)的重要分支。當(dāng)前基于手勢(shì)、姿態(tài)、語音等更為自然的交互操控技術(shù)不斷突破，快速推動(dòng)了無人機(jī)自然交互方式的研究進(jìn)展。

本文首先對(duì)無人機(jī)自然交互技術(shù)框架進(jìn)行了概述，總結(jié)了手勢(shì)、姿態(tài)、語音、腦電以及多模式自然交互技術(shù)的發(fā)展現(xiàn)狀，比較分析了不同交互模式的特點(diǎn)及其適用性，展望了無人機(jī)自然交互技術(shù)的未來發(fā)展趨勢(shì)與挑戰(zhàn)。

1 無人機(jī)自然交互技術(shù)基本框架

基于自然用戶界面的無人機(jī)交互技術(shù)主要包括手勢(shì)、姿態(tài)、語音、眼動(dòng)、腦電、多模態(tài)等控制類型，表 1對(duì)不同自然交互技術(shù)方法進(jìn)行了簡(jiǎn)介。

表1：無人機(jī)自然交互技術(shù)簡(jiǎn)介

無人機(jī)自然交互技術(shù)主要包括四個(gè)實(shí)施步驟：

（1）指令映射。建立無人機(jī)控制指令在不同交互模式下的映射關(guān)系，例如，將無人機(jī)前進(jìn)、后退、上升、下降、起飛、降落等控制指令映射為不同手勢(shì)；

（2）信號(hào)采集。利用數(shù)據(jù)手套、腦電信號(hào)分析頭盔、眼動(dòng)追蹤設(shè)備等可穿戴傳感器采集信號(hào)，或非接觸式視覺傳感器采集手勢(shì)姿態(tài)等圖像信息，收集不同控制指令下的傳感器數(shù)據(jù)建立數(shù)據(jù)集；

（3）模型訓(xùn)練。對(duì)數(shù)據(jù)集進(jìn)行去噪、歸一化等預(yù)處理；選擇合適特征提取算法提高數(shù)據(jù)可分性用于模型訓(xùn)練，當(dāng)前流行的分類器包括支持向量機(jī)（SVM）、極限學(xué)習(xí)機(jī)（ELM）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）等；

（4）信號(hào)識(shí)別。利用訓(xùn)練獲得的最優(yōu)分類器進(jìn)行信號(hào)識(shí)別，將識(shí)別結(jié)果映射為無人機(jī)控制指令，實(shí)現(xiàn)對(duì)無人機(jī)的控制。無人機(jī)自然交互技術(shù)實(shí)施框架詳見圖 1。

圖1：無人機(jī)自然交互技術(shù)實(shí)施框架

2 無人機(jī)自然交互技術(shù)應(yīng)用現(xiàn)狀

無人機(jī)自然交互技術(shù)主要涉及信號(hào)采集和信號(hào)識(shí)別等環(huán)節(jié)，通過文獻(xiàn)調(diào)研分別對(duì)不同交互技術(shù)信號(hào)采集和信號(hào)識(shí)別的方法應(yīng)用進(jìn)行總結(jié)分析。

2.1 不同交互技術(shù)信號(hào)采集方法分析

本文對(duì)不同交互技術(shù)信號(hào)采集方法以及方法適用性和局限性進(jìn)行了分析總結(jié)，具體見表 2。

表2：不同交互技術(shù)信號(hào)采集方法分析

2.2 不同交互技術(shù)信號(hào)識(shí)別方法分析

手勢(shì)識(shí)別技術(shù)：Fang等人從三維靜態(tài)和動(dòng)態(tài)手部數(shù)據(jù)中提取54維特征數(shù)據(jù)用于訓(xùn)練ELM分類器，實(shí)現(xiàn)手勢(shì)識(shí)別；Taha等人對(duì)比分析多個(gè)分類器性能，得出SVM分類精度最高，KNN預(yù)測(cè)時(shí)間最短；Hu等人將4D骨架時(shí)空信息轉(zhuǎn)換為2維矩陣和1維數(shù)組訓(xùn)練深度學(xué)習(xí)模型；劉璇恒等人結(jié)合卷積神經(jīng)網(wǎng)絡(luò)提取手勢(shì)特征以及雙向長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）提取時(shí)序特征實(shí)現(xiàn)動(dòng)態(tài)手勢(shì)識(shí)別；劉嵐馨利用慣性信號(hào)訓(xùn)練融合高斯混合隱馬爾可夫模型和SVM的分類器，具有較高的識(shí)別率；陳藝琛將采集的16通道肌電信號(hào)轉(zhuǎn)換成偽圖片用于訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)手勢(shì)識(shí)別。

姿態(tài)識(shí)別技術(shù)：Yam-Viramontes利用開源OpenPose算法從圖像中提取人體姿態(tài)關(guān)鍵點(diǎn)訓(xùn)練CNN、SVM分類器實(shí)現(xiàn)姿態(tài)識(shí)別；楊幸利用時(shí)空?qǐng)D卷積網(wǎng)絡(luò)（ST-GCN）提取骨架信息時(shí)空高維特征訓(xùn)練softmax多分類器實(shí)現(xiàn)姿態(tài)動(dòng)作識(shí)別；Tomas利用基于改進(jìn)的局部二進(jìn)制模式（LBP）的描述算子（ASTH-LQDP）作為時(shí)空序列深度圖像特征描述符訓(xùn)練SVM；Ali Maher等人利用Tiny-YOLO網(wǎng)絡(luò)模型識(shí)別圖像中左右手勢(shì)和人臉，實(shí)現(xiàn)在GPS拒止環(huán)境下控制微型飛行器。

語音識(shí)別技術(shù)：王沖提取24 維 MFCC 特征訓(xùn)練動(dòng)態(tài)時(shí)間規(guī)整（DTW）算法進(jìn)行語音指令識(shí)別；Supimros等人提取語音樣本的基頻、梅爾頻率倒譜系數(shù)（MFCC）、能量等不同特征訓(xùn)練SVM，得出MFCC-SVM分類器具有較好語音識(shí)別性能；周楠等人首先提取24維MFCC特征訓(xùn)練隱馬爾可夫模型（HMM）進(jìn)行語音識(shí)別，同時(shí)利用遞歸神經(jīng)網(wǎng)絡(luò)（RNN）對(duì)指令串進(jìn)行預(yù)測(cè)降低指令誤識(shí)別率；Pourmehr等人利用開源工具PocketSphinx library進(jìn)行語音識(shí)別實(shí)現(xiàn)對(duì)單架或多架無人機(jī)的有效控制。

眼動(dòng)識(shí)別技術(shù)：Corichi等人利用眼部周圍4路腦電信號(hào)訓(xùn)練決策樹分類器識(shí)別眼部運(yùn)動(dòng)方向進(jìn)行無人機(jī)控制；Kim等人佩戴眼部紅外相機(jī)采集用戶正在凝視的圖形用戶界面區(qū)域?qū)崿F(xiàn)對(duì)無人機(jī)控制；Perrin等人將雙目眼動(dòng)儀采集的2D凝視坐標(biāo)映射為UAV機(jī)載相機(jī)俯仰和偏航運(yùn)動(dòng)控制輸入。

腦電識(shí)別技術(shù)：Kosmyna等人設(shè)計(jì)了基于遞歸神經(jīng)網(wǎng)絡(luò)（RNN）的協(xié)同學(xué)習(xí)策略實(shí)現(xiàn)腦電信號(hào)識(shí)別；Khan等人利用線性判別分析方法（LDA）對(duì)腦電信號(hào)和近紅外混合腦電信號(hào)進(jìn)行分類實(shí)現(xiàn)對(duì)無人機(jī)的前進(jìn)控制和觸發(fā)控制；趙秀娟利用典型相關(guān)分析算法（CCA）對(duì)穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)信號(hào)進(jìn)行特征提取和分類，具有很好的實(shí)用性。不同交互技術(shù)信號(hào)識(shí)別方法匯總見表 3。

表3：不同交互技術(shù)常用信號(hào)識(shí)別方法

3 未來研究方向與展望

3.1 智能化發(fā)展

當(dāng)前深度學(xué)習(xí)等人工智能技術(shù)極大的推動(dòng)了無人機(jī)自然交互領(lǐng)域的發(fā)展，但機(jī)器學(xué)習(xí)算法普遍存在訓(xùn)練效率低、識(shí)別魯棒性差等問題，極大地影響了無人機(jī)控制技術(shù)的時(shí)效性和魯棒性的提高，因此，有必要開發(fā)高效的機(jī)器學(xué)習(xí)算法，從而不斷提升無人機(jī)自然交互技術(shù)的智能化水平。

3.2 場(chǎng)景化發(fā)展

當(dāng)前研究大多專注于對(duì)將各類自然交互技術(shù)應(yīng)用至對(duì)無人機(jī)的控制中，為滿足場(chǎng)景化的發(fā)展需求，未來應(yīng)根據(jù)無人機(jī)應(yīng)用場(chǎng)景研發(fā)具有針對(duì)性的自然交互技術(shù)，包括多模式共融的無人機(jī)自然交互技術(shù)，以及圖形用戶界面與自然用戶界面共融的無人機(jī)控制技術(shù)等，以切實(shí)提升用戶體驗(yàn)。

3.3 軍用化發(fā)展

無人機(jī)作為未來戰(zhàn)爭(zhēng)的重要作戰(zhàn)單元之一，體現(xiàn)了降低人員傷亡、成本低、配置靈活等突出優(yōu)勢(shì)，高效、穩(wěn)定的自然交互技術(shù)可作為士兵操控?zé)o人機(jī)的輔助手段，使士兵更加直觀、便捷地操控?zé)o人機(jī)來執(zhí)行作戰(zhàn)任務(wù)，無人機(jī)自然交互技術(shù)軍用化發(fā)展對(duì)于提升復(fù)雜戰(zhàn)場(chǎng)環(huán)境中士兵對(duì)無人機(jī)的操控效率具有重要作用。

4 結(jié)束語

隨著人工智能技術(shù)的不斷發(fā)展與廣泛運(yùn)用，研究并發(fā)展基于自然用戶界面的無人機(jī)交互技術(shù)具有重要的現(xiàn)實(shí)意義和應(yīng)用價(jià)值，本文詳細(xì)調(diào)研了國內(nèi)外基于自然用戶界面的無人機(jī)控制技術(shù)應(yīng)用發(fā)展現(xiàn)狀，對(duì)不同交互技術(shù)的信號(hào)采集方法、識(shí)別方法等進(jìn)行了比較分析，對(duì)無人機(jī)交互技術(shù)未來研究與發(fā)展方向進(jìn)行了展望，為設(shè)計(jì)更為先進(jìn)、自然的無人機(jī)交互模式提供了技術(shù)參考，同時(shí)，基于自然用戶界面的交互技術(shù)現(xiàn)狀調(diào)研可為無人機(jī)交互技術(shù)研究成果轉(zhuǎn)化、推廣應(yīng)用等起到促進(jìn)作用。