基于Leap Motion 手勢(shì)識(shí)別的懸浮真3D 顯示實(shí)時(shí)交互系統(tǒng)

林星雨，邢 妍，張漢樂(lè)，王瓊?cè)A

（北京航空航天大學(xué) 儀器科學(xué)與光電工程學(xué)院，北京100191）

1 引 言

人類(lèi)生活在三維（3D）空間中，三維顯示相較于目前普及的二維（2D）顯示，能夠更高效地呈現(xiàn)空間信息，具有更強(qiáng)的真實(shí)感和沉浸感。裸眼真3D 顯示無(wú)需佩戴眼鏡等輔助設(shè)備，無(wú)立體觀看視疲勞問(wèn)題，能夠提供舒適逼真的3D 圖像，應(yīng)用前景十分廣闊［1］。懸浮真3D 顯示結(jié)合裸眼真3D顯示與懸浮顯示兩種技術(shù)的優(yōu)勢(shì)，利用懸浮器件，將3D 圖像成像在空中，進(jìn)一步增強(qiáng)了空間真實(shí)感。該技術(shù)與手勢(shì)交互等非接觸式交互技術(shù)結(jié)合［2］，既能進(jìn)一步發(fā)揮3D 顯示自然直觀的優(yōu)勢(shì)，又能使人和空間中的3D 圖像自由交互，可避免不必要的接觸，特別有利于減少疾病傳播風(fēng)險(xiǎn)，在2019 年至今的新冠肺炎大背景下有多種應(yīng)用場(chǎng)景。

現(xiàn)有的懸浮真3D 顯示手勢(shì)交互主要利用全息、光場(chǎng)和集成成像等裸眼真3D 顯示技術(shù)實(shí)現(xiàn)3D 圖像的再現(xiàn)，配合體感檢測(cè)器件或圖像傳感器完成手勢(shì)交互功能。臺(tái)灣交通大學(xué)提出了一種嵌入式集成成像3D 顯示手勢(shì)交互系統(tǒng)［3］，利用嵌入在微透鏡陣列下的分布式光傳感器推算手指位置，實(shí)現(xiàn)了手指對(duì)3D 場(chǎng)景的精確控制。日本東京工業(yè)大學(xué)實(shí)現(xiàn)了一種基于全息3D 顯示的手勢(shì)交互系統(tǒng)，采用RGB 相機(jī)檢測(cè)手指散射光，對(duì)手指位置進(jìn)行檢測(cè)，實(shí)現(xiàn)了手指與復(fù)雜場(chǎng)景的精確配準(zhǔn)［4］。浙江大學(xué)提出了一種懸浮真3D 顯示系統(tǒng)力觸覺(jué)交互技術(shù)，通過(guò)指套振動(dòng)實(shí)現(xiàn)力觸覺(jué)交互，提高了交互的真實(shí)感［5］。盡管目前國(guó)內(nèi)外進(jìn)行了一些懸浮真3D 顯示手勢(shì)交互技術(shù)研究，但多數(shù)僅考慮單個(gè)3D 物體的交互或3D 場(chǎng)景的整體交互，未考慮復(fù)雜3D 場(chǎng)景中多個(gè)3D 物體的獨(dú)立交互，不同3D 物體獨(dú)立交互存在的串?dāng)_問(wèn)題亟待解決。

本文提出一種基于Leap Motion 的懸浮真3D 顯示實(shí)時(shí)手勢(shì)交互系統(tǒng)，可實(shí)現(xiàn)多個(gè)懸浮3D物體的獨(dú)立實(shí)時(shí)交互，交互幀率為30 幀/s。

2 系統(tǒng)結(jié)構(gòu)與工作原理

2.1 系統(tǒng)結(jié)構(gòu)

懸浮真3D 顯示手勢(shì)交互系統(tǒng)由集成成像3D 顯示屏、二面角反射鏡陣列、Leap Motion 和計(jì)算機(jī)組成，如圖1 所示。系統(tǒng)原理如圖2 所示。集成成像3D 顯示屏與二面角反射鏡陣列共同構(gòu)成系統(tǒng)的顯示模塊。如圖3 所示，二面角反射鏡陣列是一種懸浮器件［6-8］，將其傾斜45°放置能夠使集成成像3D 顯示屏再現(xiàn)的3D 圖像“懸浮”于該器件前方［9］；懸浮3D 圖像相比原3D 圖像深度反轉(zhuǎn)，可抵消傳統(tǒng)集成成像3D 顯示的深度反轉(zhuǎn)現(xiàn)象，最終形成深度關(guān)系正確的懸浮3D 圖像。

圖1 懸浮真3D 顯示手勢(shì)交互系統(tǒng)結(jié)構(gòu)Fig.1 Structure of the floating 3D display gesture interaction system

圖2 交互系統(tǒng)原理示意圖Fig.2 Principle of the proposed interaction system

圖3 二面角反射鏡原理示意圖Fig.3 Principle of the dihedral corner reflector

Leap Motion 連接計(jì)算機(jī)，兩者共同組成系統(tǒng)的交互模塊。Leap Motion 是一款體感控制器，它內(nèi)置雙目相機(jī)，基于計(jì)算機(jī)視覺(jué)算法采集手的數(shù)量、各個(gè)關(guān)節(jié)節(jié)點(diǎn)的空間位置、手指和手掌的朝向等數(shù)據(jù)，通過(guò)應(yīng)用程序編程接口（API）被計(jì)算機(jī)讀取。為充分利用Leap Motion 的探測(cè)范圍，我們將Leap Motion 水平放置在二面角反射鏡陣列底邊的正前方。懸浮真3D 顯示手勢(shì)交互系統(tǒng)的手勢(shì)交互流程如圖4 所示。

圖4 手勢(shì)交互流程圖Fig.4 Flow diagram of the gesture interaction

在一次交互循環(huán)流程中，計(jì)算機(jī)通過(guò)API 從Leap Motion 讀取手勢(shì)數(shù)據(jù)，然后利用交互通道機(jī)制檢查物體是否被占用。若未被占用，將讀取到的關(guān)節(jié)空間坐標(biāo)映射到開(kāi)放圖形庫(kù)（OpenGL）世界坐標(biāo)系下，與預(yù)設(shè)手勢(shì)進(jìn)行比對(duì)，確定交互類(lèi)型。之后計(jì)算并更新每個(gè)參與交互的物體的空間位置與姿態(tài)，并渲染3D 片源，刷新顯示在LCD 屏上，使得懸浮3D 圖像中的物體發(fā)生位移、旋轉(zhuǎn)等變化，實(shí)現(xiàn)人機(jī)交互。

集成成像3D 顯示屏的3D 片源即圖像陣列。為確保實(shí)時(shí)性和手勢(shì)交互模塊設(shè)計(jì)的便捷性，采用OpenGL，通過(guò)設(shè)置多視口模擬相機(jī)陣列的拍攝，生成圖像陣列。渲染過(guò)程應(yīng)用了雙緩沖和頂點(diǎn)緩沖對(duì)象（VBO）技術(shù)，以保證3D 片源的實(shí)時(shí)生成。

2.2 顯示空間與交互空間坐標(biāo)映射

為精確模擬現(xiàn)實(shí)世界的“觸碰”等手勢(shì)交互動(dòng)作，需要建立顯示空間與交互空間的關(guān)聯(lián)。顯示空間指懸浮3D 圖像所處的空間，交互空間指Leap Motion 可探測(cè)到的手關(guān)節(jié)所處的空間。然而手關(guān)節(jié)坐標(biāo)基于Leap Motion 自身的坐標(biāo)系，無(wú)法直接得到該坐標(biāo)與懸浮3D 圖像之間的坐標(biāo)關(guān)系。因此需要將Leap Motion 坐標(biāo)映射到顯示空間，才能進(jìn)行觸碰與否的判斷。根據(jù)集成成像原理可知，3D 拍攝與顯示過(guò)程互逆，顯示空間坐標(biāo)系與渲染過(guò)程的OpenGL 世界坐標(biāo)系統(tǒng)一，懸浮3D 圖像坐標(biāo)與待渲染的3D 模型坐標(biāo)完全一致。因此，只要確定Leap Motion 坐標(biāo)系和OpenGL 世界坐標(biāo)系的映射規(guī)則，即可實(shí)現(xiàn)顯示空間與交互空間的坐標(biāo)映射。

假設(shè)OpenGL 世界坐標(biāo)系O-XYZ的OX、OY、OZ軸在Leap Motion 坐標(biāo)系O'-X'Y'Z'下的單位方向矢量分別為（X'X，Y'X，Z'X，）T，（X'Y，Y'Y，Z'Y，）T，（，）T，坐 標(biāo) 系O-XYZ與O'-X'Y'Z'的標(biāo)度比為Ks，則可計(jì)算出從坐標(biāo)系O'-X'Y'Z'到O-XYZ的自由向量變換矩陣C［10］：

在Leap Motion 中經(jīng)過(guò)標(biāo)定得到原點(diǎn)O'的坐標(biāo)，記作（）T，則 點(diǎn)O'映 射 到OpenGL 世界坐標(biāo)系的變換矩陣為：

由公式（1）和（2），可將Leap Motion 坐標(biāo)映射到OpenGL 世界坐標(biāo)系中：

2.3 手勢(shì)交互的實(shí)現(xiàn)

本系統(tǒng)預(yù)設(shè)了3 種手勢(shì)交互方式：抓取平移、劃動(dòng)旋轉(zhuǎn)和按鍵平移/旋轉(zhuǎn)。3 種手勢(shì)的交互過(guò)程均包括3 個(gè)階段：選定物體、發(fā)生運(yùn)動(dòng)、釋放物體。以抓取平移動(dòng)作為例，人在用手移動(dòng)一個(gè)體積較小的物體時(shí)，主要是單手的拇指、食指、中指彎曲并發(fā)力，夾持物體，移動(dòng)一定距離后，手指略微伸直而釋放。那么手指彎曲到一定程度夾持住物體為選定對(duì)象，移動(dòng)為發(fā)生運(yùn)動(dòng)，手指松開(kāi)則為釋放對(duì)象。

本文以抓取平移為例介紹交互實(shí)現(xiàn)過(guò)程，其他兩種手勢(shì)原理與此類(lèi)似，不再贅述。

首先選定對(duì)象，采用地球和月球兩個(gè)球體模型，兩個(gè)球體球心均位于各自模型局部坐標(biāo)系的原點(diǎn)處，其在OpenGL 世界坐標(biāo)系的坐標(biāo)表示為（Xobj，Yobj，Zobj）T。當(dāng)手的映射坐標(biāo)處在以（Xobj，Yobj，Zobj）T為中心、半徑為df的球域內(nèi)，并做出抓握動(dòng)作時(shí)，視為選定交互對(duì)象。選定交互對(duì)象的位置判斷條件為：

其 中（X'f，Y'f，Z'f）T表 示 將 拇 指（X'thumb，Y'thumb，Z'thumb）T、食指（X'index，Y'index，Z'index）T和中指（X'middle，Y'middle，Z'middle）T作為整體考慮的一個(gè)加權(quán)平均坐標(biāo)，其表達(dá)式為：

其中Athumb+Athumb+Athumb=1。除此之外還要滿(mǎn)足3 個(gè)手部形態(tài)判斷條件：

當(dāng)拇指、食指和中指遠(yuǎn)節(jié)的中心點(diǎn)與它們加權(quán)平均坐標(biāo)的距離小于各自的給定閾值dthumb、dindex、dmiddle時(shí)，視為抓取到該物體。

在運(yùn)動(dòng)發(fā)生過(guò)程中，3D 圖像跟隨手部動(dòng)作發(fā)生平移運(yùn)動(dòng)。兩幀之間的手部位移被映射到OpenGL 坐 標(biāo) 系 上，位 移 值 表 示 為（ΔXf，ΔYf，ΔZf）T，對(duì)應(yīng)模型跟隨手部同步運(yùn)動(dòng)，位移值同樣為（ΔXf，ΔYf，ΔZf）T。

最后階段為釋放對(duì)象，只需使選定物體的4個(gè)條件不同時(shí)滿(mǎn)足。需要注意的是，手在“抓取”和“釋放”的過(guò)程中，拇指與其余4 指的運(yùn)動(dòng)幅度不同，拇指運(yùn)動(dòng)距離明顯小于其余4 指。因此，在計(jì)算平均坐標(biāo)（X'f，Y'f，Z'f）T時(shí)給予權(quán)重系數(shù)Athumb更大數(shù)值。

2.4 多物體獨(dú)立交互

多物體獨(dú)立交互指同一時(shí)刻3D 場(chǎng)景中的每個(gè)物體都能獨(dú)立響應(yīng)一只手的手勢(shì)交互，互不干擾。當(dāng)交互過(guò)程中手與手、物體與物體的空間位置非常接近甚至部分重合時(shí)，由于Leap Motion動(dòng)態(tài)的手勢(shì)數(shù)據(jù)存在不可避免的漂移和抖動(dòng)，即使采用物理碰撞檢測(cè)，也會(huì)出現(xiàn)手勢(shì)選定物體的錯(cuò)亂，無(wú)法達(dá)到理想的交互效果。本文提出通道模型解決多物體交互串?dāng)_問(wèn)題。如圖5 所示，每個(gè)待交互物體參與手勢(shì)交互的狀態(tài)都被儲(chǔ)存，稱(chēng)為交互通道。交互通道在物體未參與交互時(shí)取值為-1，表示“未占用”；參與交互時(shí)取值為與物體交互的手的標(biāo)識(shí)ID，表示物體被占用并正在參與交互。標(biāo)識(shí)ID 在每只手進(jìn)入Leap Motion 交互范圍時(shí)被自動(dòng)分配。

圖5 多物體交互的通道模型Fig.5 Channel model for multiple objects interaction

當(dāng)一只手進(jìn)入某一物體的交互范圍時(shí)，需要遍歷所有物體的交互通道，增加額外的判斷條件決定物體是否受到該手的控制：（1）物體的交互通道如果被除當(dāng)前手以外的手的ID 占用，物體不會(huì)對(duì)當(dāng)前手的手勢(shì)產(chǎn)生響應(yīng)；（2）物體的交互通道被當(dāng)前手的ID 占用，物體將保持接受當(dāng)前手的控制；（3）物體的交互通道沒(méi)有被任何手的ID 占用，則當(dāng)前手勢(shì)圖與該物體建立新的控制與被控關(guān)系，即有可能將當(dāng)前手的ID 放入對(duì)應(yīng)的通道內(nèi)；（4）當(dāng)前手的ID 未在其他物體的交互通道里，建立一一對(duì)應(yīng)的控制與被控關(guān)系；（5）多只手同時(shí)進(jìn)入物體的交互范圍，按照ID 從小到大分配從高到低的優(yōu)先級(jí)，這是由于先被Leap Motion 追蹤的手ID 更小，后被追蹤的更大，滿(mǎn)足“先來(lái)后到”的規(guī)則。

上述一系列判斷流程在交互的選定物體階段完成。只有建立物體與手的交互關(guān)系后，才會(huì)進(jìn)入下一階段，計(jì)算物體對(duì)交互手勢(shì)產(chǎn)生的響應(yīng)。

3 實(shí)驗(yàn)結(jié)果

實(shí)物系統(tǒng)如圖6 所示。右側(cè)為懸浮3D 顯示模塊，從上至下依次為二面角反射鏡陣列和集成成像3D 顯示屏。集成成像3D 顯示屏內(nèi)使用的LCD 屏與左側(cè)的便攜計(jì)算機(jī)連接。二面角反射鏡陣列傾斜45°放置。為便于展示光路，Leap Motion 被置于桌面。實(shí)際交互時(shí)，Leap Motion被水平放置在二面角反射鏡陣列底邊的正前方。懸浮3D 圖像位于二面角反射鏡陣列前方，其中心與二面角反射鏡陣列中心的距離為259 mm。實(shí)驗(yàn)系統(tǒng)的其他參數(shù)如表1 所示。

圖6 系統(tǒng)實(shí)物圖Fig.6 Experiment setup of the proposed system

表1 系統(tǒng)關(guān)鍵參數(shù)Tab.1 Parameters of the proposed system

多物體獨(dú)立交互效果如圖7所示。懸浮3D 圖像包括“地球”、“月球”、簡(jiǎn)易的按鍵和狀態(tài)欄。“月球”的獨(dú)立交互實(shí)驗(yàn)效果如圖7（a）和7（b）所示，交互動(dòng)作為劃動(dòng)旋轉(zhuǎn)。從“月球”表面的紋理變化可以看出，“月球”跟隨用戶(hù)食指逆時(shí)針繞自軸旋轉(zhuǎn)，此時(shí)“地球”表面紋理未發(fā)生變化?！暗厍颉钡莫?dú)立交互實(shí)驗(yàn)效果如圖7（c）和7（d）所示，交互動(dòng)作為抓取平移，“地球”跟隨做出抓握動(dòng)作的手自左下向右上方發(fā)生平移，此時(shí)“月球”位置未發(fā)生變化。以上實(shí)驗(yàn)結(jié)果表明，所提系統(tǒng)可實(shí)現(xiàn)對(duì)3D 場(chǎng)景內(nèi)多物體的獨(dú)立交互。在3D 片源分辨率為3 840×2 160像素下，系統(tǒng)交互幀率為30幀/s。

圖7 手勢(shì)交互效果圖Fig.7 Effect of the gesture interaction

4 結(jié) 論

本文提出了一種基于Leap Motion 的懸浮真3D 顯示實(shí)時(shí)手勢(shì)交互系統(tǒng)。該系統(tǒng)能夠?qū)崿F(xiàn)不同手勢(shì)的實(shí)時(shí)交互，3D 片源分辨率為3 840×2 160 時(shí)，交互幀率為30 幀/s。系統(tǒng)還可滿(mǎn)足多手同時(shí)對(duì)多物體的獨(dú)立交互，交互動(dòng)作相互不受干擾，解決了多物體獨(dú)立交互存在的串?dāng)_問(wèn)題，使得交互更加靈活。所提系統(tǒng)為懸浮3D 顯示人機(jī)交互的應(yīng)用提供了可能性。