Kinect技術(shù)與工作原理的研究

石曼銀

(寧德師范學(xué)院)

0 引言

Kinect是微軟公司2010年推出的一款XBOX360體感外部設(shè)備［1］，是目前世界上唯一一款較為成熟的商業(yè)人體動作感知設(shè)備，目前大量的應(yīng)用在體感游戲上.微軟與伊朗PrimeSense公司合作，以廉價的成本實現(xiàn)了深度攝像頭的功能，通過深度攝像頭和RGB彩色信息以及相控陣麥克風(fēng)提供的信息，使得Xbox可以感知和識別玩家及其運動，進而操控游戲中的人物，提高游戲的可玩性.這款設(shè)備剛問世便打破了消費性電子產(chǎn)品銷售最快的吉尼斯世界記錄［2］.Kinect向世人宣布:你就是控制器(You are the controller).站在Kinect前，它立刻就能分辨出你是誰，還能將你和其他人區(qū)分開來.當(dāng)你移動時，Kinect的傳感器能在瞬間追蹤到你.并且用聲音和肢體移動就可以實現(xiàn)互動，可以播放電影、玩游戲.它成功實現(xiàn)了自然人機交互方式，促使其很快被世人接受.

Kinect不僅可以玩游戲，還可以應(yīng)用在醫(yī)療、教育、三維人體建模等領(lǐng)域，許多富有創(chuàng)意的應(yīng)用應(yīng)運而生.

1 kinect傳感器的硬件組成

Kinect的整體結(jié)構(gòu)如圖1所示，從外觀上看，Kinect也只有三只“眼睛”，從左到右分別是紅外攝影機、彩色攝像頭、紅外深度攝像頭.此外，Kinect還暗藏著四只“耳朵”——L形布局的麥克風(fēng)陣列.除了語言指令和體感操作指令外，Kinect沒有其他形式的用戶輸入，其輸入系統(tǒng)的關(guān)鍵是由麥克風(fēng)和攝像頭組成的感應(yīng)器系統(tǒng).

圖1 Kinect實物圖及其組件

打開Kinect傳感器的外殼，會發(fā)現(xiàn)Kinect是一個結(jié)構(gòu)復(fù)雜的設(shè)備，內(nèi)部包含很多感應(yīng)器元件和處理芯片，如圖2所示.

圖2 Kinect硬件分解圖

Kinect關(guān)鍵部件及功能如下:

(1)紅外攝影機:主動投射近紅外光譜，照射到粗糙物體、或是穿透毛玻璃后，光譜發(fā)生扭曲，會形成隨機的反射斑點，即散斑，進而能被紅外攝像頭讀取.

(2)紅外攝像頭:分析紅外光譜，創(chuàng)建可視范圍內(nèi)的人體、物體的深度圖像.

(3)彩色攝像頭:用于拍攝視角范圍內(nèi)的彩色視頻圖像.

(4)麥克風(fēng)陣列:聲音從4個麥克風(fēng)采集，同時過濾背景噪聲，可定位生源.

(5)仰角控制馬達:可編程控制仰角的馬達，用于獲取最佳視角.

2 Kinect的工作原理

Kinect作為一個傳感器，本質(zhì)上也只是一個輸入設(shè)備.它能提供三大類的原始數(shù)據(jù)信息，包括深度數(shù)據(jù)流、彩色視頻流、原始音頻數(shù)據(jù)等，同時分別對應(yīng)骨骼跟蹤、身份識別、語音識別等三種功能.骨骼跟蹤是Kinect體感操作的基礎(chǔ)，它要求系統(tǒng)在允許的時延范圍內(nèi)，快速根據(jù)骨骼關(guān)節(jié)構(gòu)建玩家的軀干、肢體、頭部甚至手指.

游戲中虛擬人物與真實人體的匹配度的高低是骨骼識別的關(guān)鍵，決定于能實時抽象出多少個關(guān)節(jié)點，關(guān)節(jié)點連線在一起就是一個“火柴人”.關(guān)節(jié)點越多，骨骼越真實.骨骼在某一時間點的狀態(tài)是靜態(tài)的，骨骼中的某一關(guān)節(jié)點或多個關(guān)節(jié)點在空間的運動序列是動態(tài)的行為.進行動作識別最樸素的算法是基于動作序列的算法分析.

人臉識別是整個身份識別中最重要的一個部分.首先定位人臉的存在，其次基于臉部特征，對輸入的人臉圖像或視頻流進行分析，如臉的位置、大小和哥哥主要面部器官的位置信息等，根據(jù)這些信息，提取每個人臉中所蘊涵的身份特征，并將其與已知的人臉進行對比，從而識別每個人的身份.

語音識別包括很多層次的技術(shù)，如語音命令、聲音特征識別、語種識別、分詞、語氣語調(diào)情感探測等多個方面.Kinect麥克風(fēng)陣列捕獲的音頻數(shù)據(jù)流通過音頻增強效果算法處理來屏蔽環(huán)境噪聲.Kinect陣列技術(shù)包含有效的噪聲消除和回波抑制算法，同時采用波束成形技術(shù)通過每個獨立設(shè)備的響應(yīng)時間確定音源位置，并盡可能避免環(huán)境噪聲的影響.

2.1 深度圖像成像原理

深度數(shù)據(jù)是Kinect的精髓.Kinect通過發(fā)射近紅外線光源來獲得深度圖，只要有大字形的物體，Kinect都會去追蹤，即便不開燈，Kinect也會去追蹤.Kinect有發(fā)射、捕捉、計算視覺重現(xiàn)的類似過程.它的“深度眼睛”是有紅外投影機和紅外攝像頭組合而成的，投影和接收互為重疊.

微軟Kinect深度圖想采用的是Light Coding技術(shù)，就是用光源照明給需要測量的空間編碼，屬于結(jié)構(gòu)光技術(shù)的一種，只是深度計算方式不一樣.Light Coding的光源稱為“激光散斑”，是激光照射到粗糙物體或穿透毛玻璃后隨即形成的衍射斑點.這些散斑具有高度的隨機性，而且會隨著距離的不同而變換圖案.即空間中任意兩處的散斑圖案都是不同的.只要在空間中打上這樣的結(jié)構(gòu)光，整個空間就都被做了標(biāo)記，把一個物體放進這個空間，只要看看物體上面的散斑圖案，就可以知道這個物體在什么位置了.在這之前要把整個空間的散斑圖案都記錄下來，所以要先做一次光源標(biāo)定.標(biāo)定的方法是每隔一段距離，取一個參考平面，把參考平面上的散斑圖案記錄下來.

2.2 骨骼圖的形成原理

Kinect通過紅外攝像頭看到三維世界后，就要分辨出視野中可能是人體的移動物體，即從深度圖像生成骨骼圖.

識別人體的第一步是從深度圖像中將人體從背景環(huán)境中區(qū)分出來，這是一個從噪聲中提煉有用信息的過程，Kinect系統(tǒng)會首先分析比較接近Kinect的區(qū)域.接著逐點掃描這些區(qū)域深度圖像的像素，從深度圖像中將人體各個部位識別出來，人體部位是通過特征值來快速分類的，這一過程為計算機圖形視覺技術(shù)，包括邊緣檢測、噪聲閾值處理、對人體目標(biāo)特征點的分類等，最終將人體從背景環(huán)境中區(qū)分出來.接下來要進一步識別人體的關(guān)節(jié)點，系統(tǒng)根據(jù)“骨骼跟蹤”的20個關(guān)節(jié)點來生成一幅骨架系統(tǒng)，通過這種方式Kinect能夠基于充分的信息最準(zhǔn)確地評估人體實際所處的位置.Kinect可以主動追蹤最多2個玩家的全身骨架，或者被動追蹤最多6名玩家的形體和位置.Kinect的骨骼識別可以兼容不同身高的人體，從幼兒到成人都可以識別得準(zhǔn)確，還可以分辨站姿、坐立在椅子或沙發(fā)上的人體.

2.3 構(gòu)造虛擬人體

Kinect可以識別追蹤到人的聲音和肢體語言，甚至面部表情.Kinect從深度圖像中識別出人體骨骼后，可以進一步構(gòu)造豐滿的肢體，構(gòu)建的整個過程類似人體素描，先勾勒出人體骨骼，再畫出肌肉.Kinect采用泊松方程等算法進行噪聲濾除，通過這種方法可判斷人體表面特征點是噪聲還是真實存在.從技術(shù)算法層面上來看，先抓取特征點周邊表面的角度和朝向，進而判斷該點可能存在于空間的位置.同時根據(jù)朝向判斷，在特征點周圍形成一個虛擬的距離場.再利用平滑算法，判斷漏洞附近的表面朝向，進而實現(xiàn)自動修補，從而粗糙變平滑、缺陷自動補齊.這樣就可以看到一顰一笑，栩栩如生的虛擬人.這其中涉及廣泛的計算機視覺和圖形學(xué)知識.

3 Kinect的應(yīng)用

Kinect體感設(shè)備在游戲領(lǐng)域的應(yīng)用已經(jīng)比較普及，在其他領(lǐng)域的應(yīng)用和實驗性應(yīng)用正在快速發(fā)展，下面的總結(jié)有些是概念原型，有些是真實的應(yīng)用.

3.1 體感操作應(yīng)用

體感操作可應(yīng)用在手術(shù)室.手術(shù)室環(huán)境對無菌要求非常高，傳統(tǒng)鼠標(biāo)鍵盤等人機交互方式存在很多限制，Kinect體感操作可擺脫這些束縛，可在手術(shù)進行時用手勢調(diào)閱患者病灶影像、放大/縮小圖片，以及翻閱病歷等.還可應(yīng)用在體育運動競技中，教練員用傳統(tǒng)的肉眼判斷訓(xùn)練方式，對競技水平的進一步提高已沒有優(yōu)勢.利用Kinect骨骼跟蹤技術(shù)，無需特制發(fā)光點，結(jié)合運動人體科學(xué)，用于體育競技訓(xùn)練的三維動作捕捉，從而提高運動員訓(xùn)練水平.還可結(jié)合Kinect骨骼跟蹤技術(shù)與增強現(xiàn)實技術(shù)，創(chuàng)建虛擬試衣鏡.顧客無需進入試衣間脫衣試穿，只要站在鏡子前，就可利用Kinect通過手勢從屏幕上選擇各款衣服，搭配鞋褲以及挎包等，并且無須試穿，就能見到3D效果.Kinect體感操作在課堂、虛擬汽車展廳、CG動畫制作、聾啞人的同聲翻譯等領(lǐng)域都有廣泛的應(yīng)用.

3.2 深度數(shù)據(jù)應(yīng)用

深度數(shù)據(jù)可在醫(yī)療上應(yīng)用于老年人監(jiān)護及康復(fù)訓(xùn).在關(guān)鍵的走廊、起居環(huán)境安裝Kinect攝像頭，通過骨骼跟蹤和深度圖像數(shù)據(jù)獲得監(jiān)護老年人的步伐數(shù)據(jù)，包括步行速度、步長、走路時間，可以在早期判斷是否出現(xiàn)功能性下降.利用Kinect能捕捉中風(fēng)病人四肢移動的距離、速度和角度，協(xié)助患者做相應(yīng)的康復(fù)訓(xùn)練.Kinect的深度數(shù)據(jù)還可應(yīng)用在家庭監(jiān)控及道路交通稽查上.利用人體骨骼跟蹤特性，可以輕易發(fā)現(xiàn)視野范圍內(nèi)的人，使用彩色攝像頭拍攝照片，利用網(wǎng)絡(luò)將消息傳送到手機端，可及時通知主人有不速之客.并且，Kinect的紅外線攝像頭在黑夜一樣可以工作.Kinect紅外攝像頭很容易利用“深度圖像”分辨出后座是否超載，還可以“看到”肉眼無法識別的貼膜車窗后面是否有人.

3.3 實物3D建模應(yīng)用

當(dāng)傳統(tǒng)建模方法不可行或成本效益較差時，利用Kinect將現(xiàn)實世界中不同尺寸、材質(zhì)的部件進行3D掃描，然后根據(jù)需要進行修改和拼接，實現(xiàn)實物3D數(shù)字化.在建筑、工程、工業(yè)設(shè)計甚至交互游戲中，都具有很高的價值.隨著Kinect的出現(xiàn)，文物3D模型的構(gòu)建也有了新的解決方案，Kinect紅外攝像頭的3D掃描功能為考古報告、建筑物測繪圖等生成提供了可能.利用Kinect紅外攝像頭進行人體3D掃描，配合3D打印機，還可以在街頭為游客快速生成人像紀(jì)念品.

3.4 機器人視覺與控制

機器人要移動，就必須能夠創(chuàng)建它所處周圍環(huán)境的地圖，同事能夠理解身處的位置.物美價廉的Kinect擁有能夠?qū)崟r拍攝3D圖像的攝像頭，而且重量輕巧，可以為機器人添加導(dǎo)航算法，執(zhí)行路徑追蹤、路徑規(guī)劃，是機器人視覺不二的選擇.利用Kinect的特性，在地震搜救中、深海探測方面都可以很好的應(yīng)用.在工程機械臂控制上，作業(yè)員利用Kinect捕捉雙手的空間運動，進而可控制相應(yīng)的機械臂.

4 Kinect目前存在的問題

Kinect目前也有自己的一些問題.首先，有延時，Kinect攝影機的影像刷新頻率30FPS，代表動作傳遞將會有33 ms(1/30 s)的延遲.雖然并不怎么嚴(yán)重，但是你不能指望Kinect和鼠標(biāo)反應(yīng)的一樣快.其次，Kinect對手勢的支持還十分有限，只能捕捉一些簡單的動作.第三，深度感應(yīng)范圍有限，體態(tài)控制需要操作者站在距攝像頭1.5～3 m的范圍.如果可以站在 0.5～1 m的距離內(nèi)使用手勢控制，相信可以得到更多的應(yīng)用空間.第四，散熱方面的設(shè)計還需要進一步提高.第五，需要適當(dāng)增加硬盤的存儲空間.最后，Kinect的商業(yè)許可到底怎么弄，現(xiàn)在還不是很清楚.不過相信隨著 Kinect SDK的發(fā)布，這個問題會越來越清晰.

5 結(jié)束語

當(dāng)前kinect的開發(fā)重點還在游戲領(lǐng)域，并且普及率很好，但是從長遠(yuǎn)發(fā)展來看，kinect的應(yīng)用會呈多樣性趨勢發(fā)展，對kinect在其他領(lǐng)域的應(yīng)用進行開發(fā)和挖掘的意義相當(dāng)重大.Kinect的開發(fā)成本低，難度不高，以當(dāng)前Kinect的性能來說，可以實現(xiàn)許多富于想象力的人機交互方式，但是科技的發(fā)展不會停止，相信將來會有更多的創(chuàng)新，會制造出更多更適合人類社會的產(chǎn)品.

［1］ ［EB/OL］.http://www.xbox.com/en-US/kinect.

［2］ Kinect簡介.［EB/OL］.http://www.hqew.com/tech/wiki/4815.html#dzt22324.