智能網(wǎng)聯(lián)汽車人機(jī)交互手勢(shì)識(shí)別設(shè)計(jì)

劉華仁，陳效華，紀(jì)明君，朱賽春 Liu Huaren，Chen Xiaohua，Ji Mingjun，Zhu Saichun

?

智能網(wǎng)聯(lián)汽車人機(jī)交互手勢(shì)識(shí)別設(shè)計(jì)

劉華仁，陳效華，紀(jì)明君，朱賽春 Liu Huaren，Chen Xiaohua，Ji Mingjun，Zhu Saichun

（北汽集團(tuán)新技術(shù)研究院，北京 101300）

以車內(nèi)駕乘人員多屏信息共享為目標(biāo)，介紹人機(jī)智能交互設(shè)計(jì)中手勢(shì)交互的關(guān)鍵技術(shù)及具體應(yīng)用，提出基于具體場(chǎng)景的手勢(shì)識(shí)別設(shè)計(jì)方法，并在試驗(yàn)?zāi)M臺(tái)架上對(duì)操控便利性及操控識(shí)別率進(jìn)行驗(yàn)證。試驗(yàn)結(jié)果表明，該設(shè)計(jì)能大大減少界面誤操作，并提高手勢(shì)識(shí)別成功率，在未來智能網(wǎng)聯(lián)汽車人機(jī)交互界面上有較好的應(yīng)用前景。

手勢(shì)識(shí)別；人機(jī)交互；智能網(wǎng)聯(lián)車

0 引 言

隨著汽車智能網(wǎng)聯(lián)功能發(fā)展日益完善，人們?cè)谲噧?nèi)時(shí)間越來越多，對(duì)于車內(nèi)信息的需求度越來越高，分散屏幕間的信息交互獲取問題不容忽視。歐哈德·因巴爾（Ohad Inbar）等人進(jìn)行一項(xiàng)研究，除與駕駛相關(guān)的操作控制外，乘客可以與駕駛員共享系統(tǒng)的控制權(quán)[1]。將智能網(wǎng)聯(lián)功能和多屏人機(jī)交互系統(tǒng)有機(jī)結(jié)合起來可以形成更好的人機(jī)交互體驗(yàn)，基于手勢(shì)控制的智能人機(jī)交互設(shè)計(jì)可以使駕駛員及乘客輕松把握汽車屏幕間功能信息切換，讓駕乘人員在安全駕駛的基礎(chǔ)上擁有良好的交互體驗(yàn)。另外，相比傳統(tǒng)的觸摸等物理操作方式，手勢(shì)交互被認(rèn)為是一種比機(jī)器或計(jì)算機(jī)更自然的交互方式[2]，通過這種方式能有效減少駕駛者的視覺分心而不影響對(duì)人機(jī)交互的體驗(yàn)[3]。

1 系統(tǒng)要求分析

手勢(shì)交互要盡量使用更多接近用戶自然行為、輕便有趣且容易記憶的手勢(shì)動(dòng)作，如果手勢(shì)動(dòng)作過多，人們需要花費(fèi)時(shí)間學(xué)習(xí)和記憶一系列模式，以人為本，簡(jiǎn)化交互過程[4]。人車交互盡量接近日常生活的交流形式，讓人與車之間的交流變得不易覺察。因此，手勢(shì)控制要化繁為簡(jiǎn)，用自然流露的手勢(shì)和體態(tài)在最具優(yōu)勢(shì)的方面發(fā)揮作用；同時(shí)手勢(shì)類型不宜復(fù)雜、過多，手勢(shì)動(dòng)作需要有明確的差異，避免用戶混淆。

1）簡(jiǎn)單單一的手勢(shì)控制，很容易產(chǎn)生誤操作，例如屏幕移動(dòng)最容易想到的動(dòng)作是揮手操作，通過手的左揮、右揮實(shí)現(xiàn)屏幕的左右移動(dòng)切換，但是這個(gè)動(dòng)作很容易產(chǎn)生誤操作，當(dāng)駕駛員的手不經(jīng)意劃過手勢(shì)傳感器的時(shí)候，會(huì)誤認(rèn)為駕駛員的意圖是移動(dòng)切換屏幕內(nèi)容。

2）利用手勢(shì)移動(dòng)的速度來區(qū)分正常操作還是無意識(shí)操作，速度控制的范圍越小，越能減少誤操作的影響，但是如果速度范圍過小，會(huì)增加手勢(shì)操作的難度，操作者很難把握手勢(shì)移動(dòng)的速度，特別是初學(xué)者不能很快掌握控制的手勢(shì)。

3）還有一種策略是利用開始手勢(shì)開啟手勢(shì)控制，例如手勢(shì)在手勢(shì)控制器的正上方懸停3s作為手勢(shì)開始的標(biāo)志，接著通過揮手動(dòng)作實(shí)現(xiàn)屏幕移動(dòng)。這種方式排除手勢(shì)誤操作，但是效率降低，用戶必須先開啟手勢(shì)控制，才能實(shí)現(xiàn)手勢(shì)控制。

由于手勢(shì)交互能減少駕駛員視覺分心和認(rèn)知負(fù)擔(dān)，手勢(shì)交互逐漸成為汽車人機(jī)交互界面研究設(shè)計(jì)的重要方向。隨著汽車逐步成為一個(gè)集合信息獲取、傳遞、交流和娛樂的交互式空間[5]，未來汽車人機(jī)設(shè)計(jì)的核心是盡量減少不必要的視覺內(nèi)容，弱化視覺形式，減少駕駛員在開車過程中的信息負(fù)荷和干擾。目前來說，手勢(shì)交互運(yùn)用在汽車?yán)镒畲蟮膬?yōu)勢(shì)在于，動(dòng)作是相對(duì)的，無需精準(zhǔn)操作（精準(zhǔn)操作不僅用手，還要靠眼睛尋找，很危險(xiǎn)）。傳統(tǒng)的手勢(shì)控制很容易產(chǎn)生誤操作及干擾，利用連續(xù)的組合動(dòng)作，在不影響手勢(shì)控制效率的前提下，可以消除誤操作的干擾。手勢(shì)處理模塊采集到手勢(shì)后，判斷是否為手勢(shì)控制的起始手勢(shì)，如果是起始手勢(shì)，再判斷接下來的手勢(shì)是否為預(yù)期手勢(shì)，通過組合手勢(shì)聯(lián)動(dòng)有效減少手勢(shì)操作的干擾及誤操作。

同時(shí)，聯(lián)動(dòng)手勢(shì)如果是比較難操作的生僻操作，那么不利于用戶記憶與操作，所以盡量創(chuàng)造符合用戶操作習(xí)慣的手勢(shì)組合，減少用戶學(xué)習(xí)時(shí)間，降低用戶的操作難度。在屏幕間功能交互時(shí)通過兩個(gè)手勢(shì)與一個(gè)動(dòng)作的組合，過濾掉手勢(shì)操控過程中的干擾動(dòng)作，不影響操作效率，防止誤操作發(fā)生，提高手勢(shì)識(shí)別準(zhǔn)確率，提升隔空操作用戶體驗(yàn)，智能化程度高。

2 手勢(shì)識(shí)別技術(shù)分析

手勢(shì)是指具有信息含義的人手姿態(tài)或動(dòng)作，一般分為靜態(tài)手勢(shì)和動(dòng)態(tài)手勢(shì)[6]。手勢(shì)控制分為場(chǎng)感應(yīng)與攝像頭識(shí)別2種方式；場(chǎng)感應(yīng)方式只能判斷手的運(yùn)動(dòng)趨勢(shì)，不能判斷手勢(shì)類型，目前主要是開關(guān)類型應(yīng)用；攝像頭識(shí)別方式通過圖像處理可以同時(shí)識(shí)別出手勢(shì)類型以及手勢(shì)運(yùn)動(dòng)趨勢(shì)，用于識(shí)別駕駛員的操作意圖，所以設(shè)計(jì)采用基于攝像頭的手勢(shì)識(shí)別技術(shù)。

手勢(shì)控制采用多個(gè)攝像頭成像技術(shù)，通過將不同角度的2個(gè)或多個(gè)固定攝像頭得到的圖像或視頻流進(jìn)行對(duì)比，根據(jù)攝像頭的角度偏差和圖像間差值計(jì)算出目標(biāo)物體到攝像頭中心點(diǎn)的距離；通過內(nèi)置的定制光路攝像頭采集手部圖像信息，通過算法判斷出手部不同姿態(tài)信息（Hand Posture）和不同手指的三維位置（3D Position）及運(yùn)動(dòng)軌跡（Motion Trail），再對(duì)應(yīng)到相應(yīng)的控制命令，技術(shù)原理如圖1所示。

注：Xl、Xr為目標(biāo)點(diǎn)在左、右兩幅視圖上成像的橫坐標(biāo)；d為視差；f為焦距；T為攝像頭中心距；Z為目標(biāo)點(diǎn)到成像表面的距離。

3 手勢(shì)識(shí)別設(shè)計(jì)方案

手勢(shì)識(shí)別模塊在高精確度和高跟蹤幀率下工作，實(shí)時(shí)獲取位置、手勢(shì)和動(dòng)作。手勢(shì)數(shù)據(jù)的內(nèi)容主要分為手掌基礎(chǔ)數(shù)據(jù)和手運(yùn)動(dòng)關(guān)聯(lián)數(shù)據(jù)。手勢(shì)幀數(shù)據(jù)提供一些屬性反映被檢測(cè)到的手的物理特征，包括手掌坐標(biāo)（Palm Position）、手掌速率（Palm Velocity）、手掌標(biāo)準(zhǔn)（Palm Normal）與手掌所形成的平面的垂直向量（向量方向指向手掌內(nèi)側(cè)），手的運(yùn)動(dòng)通過當(dāng)前幀與之前特定幀對(duì)比得到。采用2個(gè)連續(xù)手勢(shì)與一個(gè)動(dòng)作的組合，不但大大提高手勢(shì)識(shí)別的準(zhǔn)確率，而且符合用戶操作體驗(yàn)，可以很快上手。手勢(shì)識(shí)別分為手掌進(jìn)入、手掌變握拳及拳左右平移3個(gè)步驟。手掌變握拳動(dòng)作作為移動(dòng)開始的標(biāo)志，可以把用戶無意識(shí)的手勢(shì)干擾過濾掉，手掌變?nèi)瓌?dòng)作符合用戶抓取東西的習(xí)慣，容易理解記憶。握拳移動(dòng)實(shí)現(xiàn)屏幕區(qū)域左向、右向移動(dòng)，符合日常生活中對(duì)物體拖動(dòng)的習(xí)慣。

手勢(shì)識(shí)別算法流程如圖2所示，接收到手勢(shì)幀后，對(duì)手勢(shì)進(jìn)行識(shí)別。當(dāng)識(shí)別出手掌以后，再判斷接下來的手勢(shì)類型；當(dāng)判斷為拳頭后，可以斷定手勢(shì)由手掌變?yōu)槿?；然后再分析拳的移?dòng)，如果拳的移動(dòng)在左右方向達(dá)到一定的距離，則判斷握拳發(fā)生位移。手勢(shì)設(shè)計(jì)與其他流程不同之處在于，每個(gè)分叉都有無數(shù)種手勢(shì)可能，以及手勢(shì)出入設(shè)備識(shí)別范圍，需要對(duì)手勢(shì)的種類、有無、停留時(shí)間等作出適當(dāng)規(guī)范，以便獲得準(zhǔn)確的反饋。

圖2 手勢(shì)識(shí)別算法流程圖

4 交互數(shù)據(jù)設(shè)計(jì)

通過5根手指的Proximal與Metacarpal關(guān)節(jié)夾角判斷手指是否握拳，如圖3所示，5根手指識(shí)別處理算法具有相似性，以中指為例進(jìn)行關(guān)鍵算法分析。

手勢(shì)識(shí)別關(guān)鍵算法為：

1）手指彎曲角度計(jì)算

通過中指Proximal與Metacarpal關(guān)節(jié)計(jì)算中指彎曲角度，當(dāng)角度小于10°時(shí)，認(rèn)為中指是伸直狀態(tài)，當(dāng)角度大于80°時(shí)，認(rèn)為中指是彎曲狀態(tài)。

2）握拳、手掌判斷

當(dāng)全部手指的彎曲度大于80°時(shí)，判斷為握拳；當(dāng)全部手指彎曲度小于10°時(shí)，判斷為手掌。

3）握拳移動(dòng)

移動(dòng)信息獲得是通過移動(dòng)事件獲取，需要設(shè)定引起手移動(dòng)事件的最小距離，當(dāng)手移動(dòng)到這個(gè)距離后會(huì)發(fā)生中斷。

握拳移動(dòng)處理的流程為：

（1）移動(dòng)事件發(fā)生；

（2）判斷是否為手掌移動(dòng)事件；

（3）判斷左移還是右移。

當(dāng)手勢(shì)發(fā)生所設(shè)定距離的移動(dòng)時(shí)，引起手移動(dòng)事件，判斷此時(shí)的手勢(shì)是否為握拳，如果是握拳，再判斷發(fā)生左向移動(dòng)還是右向移動(dòng)，最后針對(duì)左、右移動(dòng)事件進(jìn)行屏幕移動(dòng)處理。

5 結(jié)束語

通過模擬臺(tái)架試驗(yàn)，手勢(shì)操作很好地實(shí)現(xiàn)盲操作，提高駕駛安全性和人機(jī)交互的樂趣。試驗(yàn)表明，手勢(shì)操作成功率可達(dá)95%，可以有效防止手勢(shì)控制誤操作，對(duì)于未來智能網(wǎng)聯(lián)車人機(jī)交互是一種切實(shí)可行的設(shè)計(jì)方案。

[1] Inbar O，Tractinsky N. Make a Trip an Experience：Sharing In-car Information with Passengers[C]// CHI’11 Extended Abstracts on Human Factors in Computing Systems.ACM，2011：1243-1248.

[2]Akyol S，Canzler U，Bengler K，et al. Gesture Control for Use in Automobiles[C]// Iapr Conference on Machine Vision Applications. DBLP，2000：349-352.

[3]Ohn-Bar E，Tran C，Trivedi M. Hand Gesture-based Visual User Interface for Infotainment[C]// International Conference on Automotive User Interfaces and Interactive Vehicular Applications，2012：111-115.

[4]馮志全，楊波. 三維自然手勢(shì)跟蹤的理論與方法[M].北京：清華大學(xué)出版社，2013.

[5]Krum D M，F(xiàn)aenger J，Lathrop B，et al. All Roads Lead to CHI：Interaction in the Automobile[C]// CHI '08 Extended Abstracts on Human Factors in Computing Systems. ACM，2008：2387-2390.

[6]赫文強(qiáng). 動(dòng)態(tài)手勢(shì)的識(shí)別及在PPT播放當(dāng)中的應(yīng)用研究[D]. 南寧：廣西大學(xué)，2013.

2017-05-15

1002-4581（2017）05-0016-04

U469.72

A

10.14175/j.issn.1002-4581.2017.05.005