基于計(jì)算機(jī)視覺(jué)的3D手勢(shì)交互系統(tǒng)

摘 要： 隨著計(jì)算機(jī)的廣泛發(fā)展，鍵盤、鼠標(biāo)等傳統(tǒng)的人機(jī)交互方式很難滿足用戶自然、便捷的交互需求。研究手勢(shì)建模、人手跟蹤和手勢(shì)交互系統(tǒng)的應(yīng)用成為熱點(diǎn)趨勢(shì)。提出了一種簡(jiǎn)化的2D人手模型，該模型將人手建模為掌心點(diǎn)和5根手指，同時(shí)設(shè)計(jì)了一種基于粒子群優(yōu)化（PSO）算法的人手跟蹤方法，通過(guò)建模人手的生理和運(yùn)動(dòng)學(xué)約束關(guān)系，實(shí)現(xiàn)了基于2D/3D人手模型的PSO人手跟蹤，該手勢(shì)交互系統(tǒng)框架更具適用性和擴(kuò)展性，融合了語(yǔ)義和反饋信息，提高了人手跟蹤的魯棒性和手勢(shì)識(shí)別的準(zhǔn)確度。

關(guān)鍵詞： 人手跟蹤； 人機(jī)交互； 手勢(shì)識(shí)別； 粒子群優(yōu)化； 計(jì)算機(jī)視覺(jué)

中圖分類號(hào)： TN911.73?34； TM417 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2016）17?0026?04

手勢(shì)是人們?nèi)粘Ｉ钪凶畛Ｓ玫慕涣鞣绞街?，具有很?qiáng)的表意功能，與鍵盤、鼠標(biāo)等傳統(tǒng)交互設(shè)備相比，具有自然、直觀、友好、便捷等特點(diǎn)，更符合人們的交流習(xí)慣[1]。但是，由于手勢(shì)本身具有多樣性、多義性、多變性和時(shí)空差異性等特點(diǎn)，背景環(huán)境復(fù)雜多變、不可預(yù)知，加之人手自由度高而靈活，使得基于視覺(jué)的手勢(shì)交互成為一個(gè)極富挑戰(zhàn)性的多學(xué)科交叉的研究課題?；谝曈X(jué)的手勢(shì)交互技術(shù)和方法的研究，不僅在人工智能、模式識(shí)別、機(jī)器學(xué)習(xí)等學(xué)科中具有重要的理論意義，在智能化的學(xué)習(xí)、工作以及生活中也具有非常廣泛的應(yīng)用前景[2]?；谝曈X(jué)的手勢(shì)交互技術(shù)是實(shí)現(xiàn)新一代人機(jī)交互不可缺少的一項(xiàng)關(guān)鍵技術(shù)。

1 二維人手跟蹤方法

1.1 2D人手建模

3D人手模型雖然能夠更加完備地建模人手參數(shù)空間，且有利于恢復(fù)3D人手信息，但由于3D人手模型維度高、參數(shù)空間復(fù)雜，且人手模型參數(shù)的渲染過(guò)程及模型投影過(guò)程都很復(fù)雜，故很難達(dá)到實(shí)時(shí)。而簡(jiǎn)化的2D人手模型，自由度相對(duì)較低，參數(shù)空間小，且省略了復(fù)雜的渲染、投影過(guò)程，在執(zhí)行時(shí)間和效率上更具優(yōu)勢(shì)，且2D人手模型在一般情況下能夠滿足應(yīng)用需要，達(dá)到實(shí)時(shí)性要求，所以更具有實(shí)際應(yīng)用性。

在二維空間中對(duì)人手進(jìn)行建模，該人手模型由一個(gè)手掌和5根手指組成，如圖1（a）所示，其中每根手指用其英文單詞的大寫首字母表示，則5根手指的集合可以表示為[F=]{T，I，M，R，L}。將整個(gè)人手表示成32維的向量[S=c（x，y）；P，]其中[c（x，y）]是手掌矩形框的中心點(diǎn)坐標(biāo)，用來(lái)表示人手的全局運(yùn)動(dòng)；[P=（kif，dif）f∈F，i∈{1，2，3}]是5根手指的參數(shù)集合，每根手指用3個(gè)直線段[（kif，dif）]表示，[kif]和[dif]分別表示手指[f]中第[i]段指節(jié)的斜率和截距，如圖1（b）所示。目前，嘗試使用手指間的夾角作為參數(shù)，這樣幾乎可將人手參數(shù)空間減半，還可避免斜率為無(wú)窮時(shí)的復(fù)雜計(jì)算[3]。

參考3D人手骨架模型的約束關(guān)系，同樣為2D人手模型引入約束[4]。假設(shè)已知各個(gè)手指指節(jié)的長(zhǎng)度和寬度，每個(gè)手指即可用2個(gè)角度表示，一個(gè)角度表示根指節(jié)與圖像平面的夾角，另一個(gè)角度表示中指節(jié)與圖像平面的夾角，根據(jù)根指節(jié)、中指節(jié)夾角與中指節(jié)、端指節(jié)夾角之間的線性約束關(guān)系，即可由中指節(jié)與圖像平面夾角推導(dǎo)得到端指節(jié)與圖像平面的夾角。

1.2 基于PSO的二維人手跟蹤

1.2.1 預(yù)處理

采用從RGB?D傳感器獲得的彩色圖[I]和與之對(duì)應(yīng)的深度圖[D]作為原始輸入數(shù)據(jù)。其中，[I]和[D]都是640×480的矩陣，且[D]中的每個(gè)深度值對(duì)應(yīng)彩色圖[I]中的一個(gè)像素值[5]。對(duì)深度圖[D]進(jìn)行閾值操作，得到目標(biāo)人手區(qū)域，并進(jìn)行平滑、去噪，得到新產(chǎn)生的深度圖[Od；]然后，對(duì)彩色圖[I]進(jìn)行預(yù)處理，獲得膚色圖[Os；]將[Os]和[Od]進(jìn)行融合并二值化作為評(píng)價(jià)假設(shè)人手參數(shù)的真實(shí)觀測(cè)數(shù)據(jù)[O。]

1.2.2 搜索空間

每根手指用3條直線段[（kif，dif）]表示，其中[kif]和[dif]分別表示手指[f]中第[i]段指節(jié)的斜率和截距，再加上表示人手全局運(yùn)動(dòng)的手掌中心點(diǎn)[c（x，y）]，則整個(gè)人手可表示為32維向量[S=c（x，y）；P]的形式，[P=（kif，dif）f∈F，i∈1，2，3]是5根手指的參數(shù)集合。人手參數(shù)空間即構(gòu)成PSO的優(yōu)化搜索空間，且參數(shù)的取值范圍服從線性約束。考慮到手指指節(jié)線段之間的斜率線性約束關(guān)系，在計(jì)算過(guò)程中可以化簡(jiǎn)降維，從而減少計(jì)算量，提高PSO優(yōu)化搜索的時(shí)間性能[6]。

1.2.3 目標(biāo)函數(shù)

為了度量人手假設(shè)參數(shù)[h]與真實(shí)觀測(cè)幀[O]之間的差異，從而尋找出與真實(shí)觀測(cè)幀[O]最為接近的人手參數(shù)[h，]需要建立一個(gè)適應(yīng)度評(píng)測(cè)函數(shù)[E（?）]，即PSO優(yōu)化求解中的目標(biāo)函數(shù)。將目標(biāo)函數(shù)[E（?）]定義為：

[E（O，h，C）=P（h）+λk?D（O，h，C）] （1）

式中：[λk]是歸一化因子；[C]表示攝像機(jī)的校準(zhǔn)參數(shù)；[P（?）]用于懲罰無(wú)效的人手假設(shè)；[D（?）]用于度量真實(shí)觀測(cè)幀[O]與人手假設(shè)[h]之間的不一致性。在本文中只考慮[D（?），]首先將假設(shè)人手參數(shù)[h]模型化，然后以表示手指指節(jié)的直線段為中軸線，以固定寬度為指長(zhǎng)，通過(guò)渲染生成人手剪影，最后將其與真實(shí)觀測(cè)得到的人手目標(biāo)區(qū)域進(jìn)行異或操作，從而得到兩者之間的差值，并使其最小化。

1.2.4 PSO優(yōu)化

假設(shè)粒子群的粒子個(gè)數(shù)為[N，]迭代次數(shù)為[M。]在原始PSO方法中，隨機(jī)產(chǎn)生[N]個(gè)粒子，或是采用搜索空間的均勻分布作為粒子群的初始位置，其初始速度均為[0；]利用時(shí)序關(guān)系約束并減小有效搜索空間，即將上一幀的人手跟蹤結(jié)果及其隨機(jī)擾動(dòng)產(chǎn)生的鄰近位置作為當(dāng)前幀粒子群的初始位置信息[7]。每一幀真實(shí)觀測(cè)[O]對(duì)應(yīng)一個(gè)優(yōu)化求解問(wèn)題。在人手參數(shù)搜索空間[S]中，通過(guò)最小化PSO方法的目標(biāo)函數(shù)[E（?）]進(jìn)行求解，并將最優(yōu)人手假設(shè)[hmax]作為當(dāng)前觀測(cè)幀的輸出，其中：

[hmax=arg minhE（O，h，C）] （2）

對(duì)于視頻序列中的每一幀[O，]在第[k+1]次迭代中，第[i]個(gè)粒子的速度更新公式為：

[vk+1，i=ω（vk，i+c1r1（Pk，i-hk，i）+c2r2（Gk-hk，i））] （3）

式中：[ω]為收縮因子；[c1]和[c2]為加速系數(shù)（又稱為學(xué)習(xí)因子），分別調(diào)節(jié)向個(gè)體最優(yōu)粒子和全局最優(yōu)粒子方向運(yùn)動(dòng)的最大步長(zhǎng)；[r1]和[r2]是服從[0，1]均勻分布的隨機(jī)數(shù)；[hk.i]表示第[k]次迭代時(shí)第[i]個(gè)粒子的當(dāng)前位置，也即人手參數(shù)空間中的某個(gè)點(diǎn)（對(duì)應(yīng)一個(gè)人手假設(shè)）；[vk，i]表示第[k]次迭代時(shí)第[i]個(gè)粒子的速度矢量，且每一維度[d]都限定在某個(gè)速度變化范圍[-vdmax，vdmax]之內(nèi)；[Pk，i]表示至目前的前[k]次迭代中第[i]個(gè)粒子的自身局部最優(yōu)位置；[Gk]表示至目前的前[k]次迭代中所有粒子的全局最優(yōu)位置。粒子當(dāng)前位置的更新公式為：

[hk+1，i=hk，i+vk+1，i] （4）

即粒子的當(dāng)前位置是粒子在上次迭代中的位置矢量與當(dāng)前粒子速度矢量之和。第[i]個(gè)粒子的自身局部最優(yōu)位置[Pk+1，i]的更新公式為：

[Pk+1，i=hk+1，i，F(xiàn)（hk+1，i）

所有粒子的全局最優(yōu)位置[Gk+1]的更新公式為：

[Gk+1=Pk+1，l，l=arg mini（F（Pk+1，i））] （6）

在經(jīng)過(guò)[M]次迭代后，所有粒子的全局最優(yōu)位置[Gk（k=M）]就是當(dāng)前觀測(cè)幀[O]的最優(yōu)人手假設(shè)[hmax。]將[hmax]及其[N-1]個(gè)隨機(jī)擾動(dòng)產(chǎn)生的鄰近位置作為下一觀測(cè)幀對(duì)應(yīng)粒子群的初始位置信息[h0，i，]從而進(jìn)行下一幀的PSO優(yōu)化人手估計(jì)。

2 三維人手跟蹤方法

2.1 基于PSO的三維人手跟蹤

2.1.1 搜索空間

人手模型參數(shù)空間即構(gòu)成搜索空間。根據(jù)27個(gè)自由度的人手骨架模型，加之各手指運(yùn)動(dòng)角度范圍的靜態(tài)約束和手指運(yùn)動(dòng)指節(jié)之間的動(dòng)態(tài)約束，人手模型參數(shù)向量從27維降至15維：其中，拇指自由度由5降為2，中指自由度由4降為1，其他三根手指自由度均由4降為2，人手的全局位置信息表示有3個(gè)自由度，人手的旋轉(zhuǎn)角度表示有3個(gè)自由度[8]。所以，搜索空間是15維的模型參數(shù)空間，每個(gè)參數(shù)服從線性約束關(guān)系。

2.1.2 目標(biāo)函數(shù)

在得到3D人手模型的參數(shù)表示后，即對(duì)模型參數(shù)進(jìn)行評(píng)估，以獲得與真實(shí)觀測(cè)最為匹配的人手模型參數(shù)。已知人手假設(shè)參數(shù)[h]和攝像機(jī)校準(zhǔn)參數(shù)[C，]通過(guò)渲染技術(shù)得到[h]的渲染深度圖[rd（h，C），]并將其與對(duì)應(yīng)觀測(cè)幀的深度圖[Od]匹配，得到二值匹配深度圖[rm（h，C）。]也就是說(shuō)，當(dāng)渲染深度圖[rd]與觀測(cè)深度圖[Od]相同像素位置的深度值之差小于預(yù)定義深度閾值[dm]或觀測(cè)深度圖[Od]相應(yīng)位置的深度丟失（深度值為零）時(shí)，[rm]相應(yīng)像素位置的深度值設(shè)為1，否則設(shè)為0。然后，將[rm]與真實(shí)觀測(cè)的膚色圖[Os]進(jìn)行比較。

定義一個(gè)目標(biāo)函數(shù)[E（h，O）]用來(lái)度量當(dāng)前觀測(cè)幀對(duì)應(yīng)的膚色和深度圖[O]與給定假設(shè)人手配置[h]渲染生成的二值匹配深度圖[rm]之間的差異，如式（7）所示：

[E（h，O）=D（O，h，C）+λk?kc（h）] （7）

式中：[λk=2]是歸一化因子；函數(shù)[D（?）]被定義為：

[D（O，h，C）=min（Od-rd，dM）（Os∨rm）+τ+λ1-2（Os∧rm）（Os∧rm）+（Os∨rm）] （8）

式中：第一項(xiàng)表示建模真實(shí)觀測(cè)[O]與人手假設(shè)配置[h]之間增強(qiáng)深度差異的絕對(duì)值；第二項(xiàng)表示建模假設(shè)人手配置與真實(shí)觀測(cè)之間的膚色像素差異；[λ]是歸一化常數(shù)，需在整幅特征圖像上求和。

式（7）中，函數(shù)[kc]表示對(duì)運(yùn)動(dòng)學(xué)和生理學(xué)上難以實(shí)現(xiàn)的人手配置的懲罰項(xiàng)：

[kc（h）=p∈Q-min（φ（p，h），0）] （9）

式中：[Q]表示拇指除外的三個(gè)相鄰手指對(duì)；[φ]表示給定假設(shè)人手配置[h]中手指之間外伸?內(nèi)收的角度差；取常量[λ=20，][λk=10，]預(yù)定義深度閾值[dm=1]cm，[dM=]4 cm。

2.1.3 優(yōu)化處理

（1） PCA主要步驟

假設(shè)給定[N]個(gè)[D]維的樣本[h，]由于存在噪音和數(shù)據(jù)冗余，它們并不分布在整個(gè)[RD]空間，而只分布在[RD]的某個(gè)子空間中。首先，通過(guò)子空間方法尋找符合某種準(zhǔn)則的[d]個(gè)基向量[wi∈RD，i=1，2，…，d；]然后，將高維數(shù)據(jù)投影到這[d]個(gè)基向量確定的子空間中，即[zi=Whi]且[W=（w1，w2，…，wd）T]。經(jīng)變換[zi]下降到[d]維，在保持絕大部分原始高維數(shù)據(jù)信息的同時(shí)，達(dá)到了降維的目的，具體步驟如下所述：

（1） 計(jì)算[h=（h1，h2，…，hN）T]的協(xié)方差矩陣，計(jì)算公式如下：

[S=i=1N（hi-μ）（hi-μ）T， μ=1Ni=1Nhi] （10）

（2） 對(duì)矩陣[S]進(jìn)行特征值分解：[SW=WΛ，]其中[W]和[Λ]如式（11）所示，將特征值[λ]按從大到小降序排列：

[W=（w1，w2，…，wd）T，Λ=diag（λ1，λ2，…，λD）] （11）

（3） 使用前[d]個(gè)特征值作為子空間的基底，設(shè)為矩陣[L=（l1，l2，…，ld）T，][L]中的單位基向量之間彼此正交；

（4） 原始數(shù)據(jù)[h=（h1，h2，…，hN）T]通過(guò)線性轉(zhuǎn)換[Z=Lh]得到新的數(shù)據(jù)表示[Z，]此時(shí)每個(gè)樣本維度為[d，]從而達(dá)到了降維的目的。

通常用[αi=λijλj]表示主成分[zi]的方差貢獻(xiàn)率，稱[i=1Kαi]為前[K]個(gè)主成分的方差累計(jì)貢獻(xiàn)率。因此，選擇主成分個(gè)數(shù)的方法是增大[K]值，直到近似數(shù)據(jù)與真實(shí)數(shù)據(jù)的誤差平方在可允許誤差范圍內(nèi)，通常取[K]使得其方差累計(jì)貢獻(xiàn)率達(dá)到98%。

2.2 實(shí) 驗(yàn)

在實(shí)驗(yàn)室光照條件下，使用微軟的Kinect傳感器采集無(wú)標(biāo)記人手運(yùn)動(dòng)的彩色圖像序列和與之對(duì)應(yīng)的深度圖像序列作為實(shí)驗(yàn)室數(shù)據(jù)，圖像大小為640×480。實(shí)驗(yàn)是在CPU為Interl CoreTM 2 Quad Q9550，內(nèi)存為4 GB的普通PC機(jī)上完成的。當(dāng)粒子個(gè)數(shù)[N=60，]最大迭代次數(shù)[M=40]時(shí)，人手跟蹤結(jié)果及其性能達(dá)到最優(yōu)。實(shí)驗(yàn)結(jié)果表明，基于3D人手骨架模型的PSO人手跟蹤方法在復(fù)雜背景下能獲得較精確、魯棒性較好的人手跟蹤結(jié)果。

3 基于視覺(jué)的手勢(shì)交互應(yīng)用

3.1 手勢(shì)交互系統(tǒng)框架

在現(xiàn)有手勢(shì)交互系統(tǒng)的基礎(chǔ)上，構(gòu)建了一種具有可擴(kuò)展性的基于視覺(jué)的手勢(shì)交互系統(tǒng)框架，如圖2所示，以適應(yīng)不同的應(yīng)用環(huán)境和操作需求。同時(shí)，由于基于視覺(jué)的手勢(shì)識(shí)別方法具有參數(shù)獲取不夠準(zhǔn)確、識(shí)別率不夠高等特點(diǎn)，本框架通過(guò)引入多通道反饋機(jī)制，以便實(shí)時(shí)地在線修正參數(shù)誤差以提高識(shí)別率，從而提供更好的用戶體驗(yàn)。

3.1.1 模塊劃分

基于視覺(jué)的手勢(shì)交互系統(tǒng)框架包括上、下兩層：頂層交互界面反饋層和底層數(shù)據(jù)處理層。其中，底層數(shù)據(jù)處理層又可分為三大模塊：感知模塊，手勢(shì)識(shí)別模塊和交互模塊。其中，感知模塊由[N]個(gè)攝像頭組成，負(fù)責(zé)交互手勢(shì)動(dòng)作的圖像序列采集工作；手勢(shì)識(shí)別模塊將手勢(shì)識(shí)別過(guò)程劃分為數(shù)據(jù)預(yù)處理、人手定位、人手跟蹤、連續(xù)手勢(shì)分割、手勢(shì)識(shí)別五個(gè)階段；交互模塊的功能是根據(jù)手勢(shì)識(shí)別結(jié)果語(yǔ)義信息，在預(yù)先定義好的手勢(shì)任務(wù)邏輯和底層操作庫(kù)的指導(dǎo)下，給出系統(tǒng)響應(yīng)或提示。

3.1.2 反饋機(jī)制

在手勢(shì)交互系統(tǒng)框架中加入顯式和隱式兩層反饋機(jī)制，在保證系統(tǒng)時(shí)效性的基礎(chǔ)上，又能及時(shí)反饋系統(tǒng)信息，從而讓操作用戶擁有良好的操作體驗(yàn)和真實(shí)的沉浸感。為給用戶提供良好的操作體驗(yàn)和真實(shí)沉浸感，本文針對(duì)視覺(jué)數(shù)據(jù)流的3個(gè)不同處理階段，采用3種不同的界面反饋形式：手勢(shì)自反饋、識(shí)別結(jié)果反饋、系統(tǒng)響應(yīng)反饋。

基于語(yǔ)義反饋的手勢(shì)識(shí)別系統(tǒng)，如圖3所示。首先，在預(yù)定義交互手勢(shì)基元庫(kù)的指導(dǎo)下，根據(jù)預(yù)定義手勢(shì)組合規(guī)則，對(duì)連續(xù)手勢(shì)分割的結(jié)果——手勢(shì)基元序列進(jìn)行分析，輸出識(shí)別結(jié)果。當(dāng)結(jié)果不滿意時(shí)，則根據(jù)交互手勢(shì)語(yǔ)義信息，對(duì)前面各模塊的參數(shù)進(jìn)行調(diào)整：如調(diào)整圖像序列采集所使用的Camera個(gè)數(shù)及其所占權(quán)重，調(diào)整連續(xù)手勢(shì)的分割規(guī)則權(quán)值，以最大化可能的分割決策等。在各模塊參數(shù)得到更新后，重新進(jìn)行手勢(shì)識(shí)別過(guò)程，如此循環(huán)，直到得到滿意的識(shí)別結(jié)果為止。

3.2 基于視覺(jué)手勢(shì)的影像交互系統(tǒng)

3.2.1 系統(tǒng)流程

以交互影像系統(tǒng)為應(yīng)用背景，以基于視覺(jué)的手勢(shì)交互技術(shù)為支撐，實(shí)現(xiàn)了基于視覺(jué)手勢(shì)的影像交互系統(tǒng)，系統(tǒng)的框架和操作流程如圖4所示，分為輸入、交互、輸出三個(gè)階段。

3.2.2 系統(tǒng)演示

（1） 手勢(shì)控制場(chǎng)景圖片

在手勢(shì)控制場(chǎng)景圖片實(shí)驗(yàn)中，系統(tǒng)控制命令由右手手勢(shì)表達(dá)。其中，五指并攏表示標(biāo)定初始幀，表示手勢(shì)交互的開始；使用手指之間張角的大小控制虛擬場(chǎng)景圖片（本實(shí)驗(yàn)采用虛擬圓球）的縮放尺度，即圓球隨著手指之間張角變大/變小進(jìn)行相應(yīng)的放大/縮?。皇褂檬謩?shì)與圖像平面之間的夾角控制圓球的旋轉(zhuǎn)角度，從而讓圓球球心與中指一直保持在同一條直線上；握拳手勢(shì)表示退出交互系統(tǒng)。手勢(shì)控制場(chǎng)景圖片的演示截圖如圖5所示。

（2） 手勢(shì)控制影像交互

在手勢(shì)控制影像交互實(shí)驗(yàn)中，同樣用右手手勢(shì)控制系統(tǒng)命令。首先，按照舞臺(tái)劇或情景劇的模式設(shè)計(jì)并拍攝各節(jié)視頻段，以及中間過(guò)程需要的道具圖片，并定義手勢(shì)與系統(tǒng)命令的映射關(guān)系。在沒(méi)有用戶參與交互的情況下，各段視頻按照預(yù)先設(shè)定的順序播放，當(dāng)播放至選擇階段，系統(tǒng)彈出提示界面，并定位在當(dāng)前幀，當(dāng)用戶根據(jù)提示信息和自己的意愿進(jìn)行選擇，做出相應(yīng)的動(dòng)作和手勢(shì)。手勢(shì)捕捉系統(tǒng)實(shí)時(shí)對(duì)當(dāng)前手勢(shì)進(jìn)行預(yù)處理、分析和識(shí)別，當(dāng)手勢(shì)被識(shí)別后，直接調(diào)用或觸發(fā)系統(tǒng)命令，實(shí)時(shí)反饋或響應(yīng)，獲得預(yù)期的視覺(jué)效果或視頻播放序列。

4 結(jié) 論

人手建模、手勢(shì)跟蹤以及手勢(shì)交互系統(tǒng)框架在基于手勢(shì)識(shí)別的交互應(yīng)用中是非常重要的三個(gè)方面。本文首先提出了一種簡(jiǎn)化的2D人手模型，并通過(guò)添加各個(gè)手指之間以及手指指節(jié)之間的運(yùn)動(dòng)約束，從而將整個(gè)人手表示為12維向量的形式；然后提出了一種基于粒子群優(yōu)化（PSO）的人手跟蹤方法，并分別實(shí)現(xiàn)了基于2D簡(jiǎn)化人手模型和3D骨架模型的PSO人手跟蹤方法，采用PSO方法在人手模型參數(shù)空間尋找與真實(shí)觀測(cè)最為匹配的假設(shè)人手配置作為跟蹤結(jié)果輸出；最終，完成了一種具有可擴(kuò)展性的融合語(yǔ)義和反饋信息的手勢(shì)交互系統(tǒng)框架，實(shí)現(xiàn)了一種基于視覺(jué)手勢(shì)的影像交互系統(tǒng)。

參考文獻(xiàn)

[1] REKIMOTO J. GestureWrist and GesturePad： unobtrusive wea?rable interaction devices [C]// Proceedings of the Fifth IEEE International Symposium on Wearable Computers. Zurich： IEEE， 2001： 21?27.

[2] 武匯岳，張鳳軍，劉玉進(jìn)，等.UIDT：基于視覺(jué)的手勢(shì)界面關(guān)鍵技術(shù)研究[J].計(jì)算機(jī)學(xué)報(bào)，2009（10）：2030?2041.

[3] 李清水，方慮剛，沈模衛(wèi).手勢(shì)識(shí)別技術(shù)及其在人機(jī)交互中的應(yīng)用[J].人類工效學(xué)，2002，8（1）：27?33.

[4] 任海兵，祝遠(yuǎn)新，徐光佑，等.基于視覺(jué)手勢(shì)識(shí)別的研究綜述[J].電子學(xué)報(bào)，2000，28（2）：118?121.

[5] 王西穎，張習(xí)文，戴國(guó)忠.一種面向?qū)崟r(shí)交互的變形手勢(shì)跟蹤方法[J].軟件學(xué)報(bào)，2007，18（10）：2423?2433.

[6] 陳守滿，朱偉，王慶春.圖片操作的手勢(shì)動(dòng)態(tài)識(shí)別系統(tǒng)[J].現(xiàn)代電子技術(shù)，2012，35（22）：4?6.

[7] ZHOU H， LIN D J， HUANG T S. Static hand gesture recognition based on local orientation histogram feature distribution model [C]// Proceedings of 2004 IEEE Conference on Computer Vision and Pattern Recognition Workshop. Washington， D. C.： IEEE， 2004： 161?167.

[8] 朱衛(wèi)華，劉國(guó)穩(wěn)，肖沛，等.基于SoC的數(shù)據(jù)采集與交互系統(tǒng)設(shè)計(jì)[J].現(xiàn)代電子技術(shù)，2014，37（2）：127?130.