基于Kinect的農(nóng)業(yè)虛擬教學(xué)研究

樊景超　周國(guó)民

摘要嘗試引入微軟公司的一款體感周邊外設(shè)Kinect設(shè)備，首先根據(jù)設(shè)備提供的人體運(yùn)動(dòng)檢測(cè)提取復(fù)雜背景下的人體信息，結(jié)合自定義的背景圖像信息制作虛擬演播室；利用手勢(shì)功能完成對(duì)虛擬演播室背景圖像的切換控制，以達(dá)到虛擬教學(xué)的目的。通過驗(yàn)證基于Kinect的前景提取和手勢(shì)識(shí)別控制背景信息能力，證明該設(shè)計(jì)可以用于農(nóng)業(yè)虛擬教學(xué)研究，有一定的借鑒意義。

關(guān)鍵詞農(nóng)業(yè)；虛擬；Kinect

中圖分類號(hào)S-01文獻(xiàn)標(biāo)識(shí)碼A文章編號(hào)0517-6611（2014）12-03706-03

基金項(xiàng)目基于模型的果園與油菜作物生產(chǎn)數(shù)字化管理平臺(tái)（2013AA102505）。

作者簡(jiǎn)介樊景超（1980-），男，遼寧沈陽人，博士，助理研究員，從事農(nóng)業(yè)信息技術(shù)研究。*通訊作者，博士，研究員，博士生導(dǎo)師，從事農(nóng)業(yè)信息技術(shù)研究。

多媒體技術(shù)、網(wǎng)絡(luò)技術(shù)在教育領(lǐng)域的普及和發(fā)展已經(jīng)得到了廣泛的認(rèn)可和好評(píng)。基于計(jì)算機(jī)仿真技術(shù)的“虛擬現(xiàn)實(shí)”教學(xué)形式是一種新的教學(xué)模式，具有廣闊的發(fā)展前景，代表了教育的未來和發(fā)展方向[1]。微軟公司推出的Kinect體感技術(shù)具備了多種硬件條件和技術(shù)功能，如動(dòng)態(tài)范圍捕捉、影像識(shí)別、麥克風(fēng)輸入、語音指令、體感控制等，還具備了多種實(shí)現(xiàn)虛擬現(xiàn)實(shí)技術(shù)的硬件指標(biāo)，在實(shí)際教學(xué)中具有很高的應(yīng)用價(jià)值[2]。呂開陽[3]在動(dòng)物外科手術(shù)的實(shí)驗(yàn)實(shí)踐教學(xué)中引入Kinect這一新穎的輸入方式，為教學(xué)實(shí)際活動(dòng)提供了新思路。在不適合徒手操作電腦的情況下，教師可以用Kinect作為個(gè)人電腦的輸入工具，以手勢(shì)、身體姿勢(shì)及語言作為輸入元素，控制電腦查閱相關(guān)知識(shí)，得到及時(shí)反饋。黃康全[4]在視頻會(huì)議系統(tǒng)中使用Kinect對(duì)PPT播放控制、與會(huì)人員舉手發(fā)言的自動(dòng)識(shí)別，利用深度傳感器進(jìn)行實(shí)時(shí)3D捕捉與顯示。

該研究的目的旨在給農(nóng)業(yè)培訓(xùn)中運(yùn)用Kinect進(jìn)行虛擬教學(xué)的可行性進(jìn)行一定的初步探討，希望給同行提供參考。

1 Kinect簡(jiǎn)介及工作原理

1.1Kinect簡(jiǎn)介 Kinect是微軟在2010年6月14日對(duì)XBOX360體感周邊外設(shè)正式發(fā)布的名字，其設(shè)備如圖1所示。Kinect一共有3個(gè)攝像頭，中間一個(gè)是RGB攝像頭，用來獲取640×480的彩色圖像，每秒鐘最多獲取30幀圖像；兩邊的是深度傳感器，左側(cè)的是紅外線發(fā)射器，右側(cè)的是紅外線接收器，用來檢測(cè)玩家的相對(duì)位置。Kinect的兩側(cè)是一組四元麥克風(fēng)陣列，用于聲源定位和語音識(shí)別；下方還有一個(gè)內(nèi)置馬達(dá)的底座，可以調(diào)整俯仰角[5]。

圖1Kinect設(shè)備1.2Kinect工作原理（前景摳圖） Kinect采集三維圖像的光學(xué)部分主要包括兩個(gè)部件：紅外線發(fā)射器和紅外線/VGA攝像頭組。其工作原理[6]是，紅外線發(fā)射器發(fā)出紅外線覆蓋整個(gè)Kinect的可視范圍，攝像頭組接收反射回光線來識(shí)別玩家的距離和特征。紅外攝像頭可以識(shí)別到的是物體的“深度場(chǎng)”（Depth Field），其中每一像素的顏色代表了那一點(diǎn)物體到攝像頭的距離。比如離攝像頭近的身體呈亮紅色、綠色等，而離攝像頭遠(yuǎn)的物體則呈暗灰色。

這是一種不同于傳統(tǒng)的TOF或者結(jié)構(gòu)光測(cè)量技術(shù)的光編碼（light coding）技術(shù)，使用的是連續(xù)的照明（而非脈沖），也不需要特制的感光芯片，只需要普通的CMOS感光芯片，這也大大降低了Kinect的成本[7]。光編碼[8]是用光源照明給需要測(cè)量的空間編上碼的一種結(jié)構(gòu)光技術(shù)。但與傳統(tǒng)的結(jié)構(gòu)光方法不同，它投射出去的光源并不是一副周期性變化的二維的圖像編碼，而是一個(gè)具有三維縱深的“體編碼”，這種光源叫做激光散斑（laser speckle）。當(dāng)激光照射到粗糙物體或穿透毛玻璃后會(huì)形成隨機(jī)衍射斑點(diǎn)，這些散斑具有高度的隨機(jī)性，而且會(huì)隨著距離的不同變換圖案，所以空間中任意兩處的散斑圖案都是不同的。通過這種激光散斑可以對(duì)整個(gè)空間進(jìn)行標(biāo)識(shí)，然后根據(jù)物體上的散斑圖案就可以推測(cè)計(jì)算出物體的深度位。在進(jìn)行物體散斑識(shí)別前要對(duì)整個(gè)空間的散斑圖案進(jìn)行記錄和標(biāo)定。

深度數(shù)據(jù)的有效范圍[9]是0.80～3.84 m，如果在該范圍以外，數(shù)值為0。標(biāo)定的方法是：每隔一段距離，取一個(gè)參考平面，把參考平面上的散斑圖案記錄下來。假設(shè)用戶活動(dòng)空間是距離攝像頭1～4 m的范圍，每隔10 cm取一個(gè)參考平面，共保存30幅散斑圖像。進(jìn)行測(cè)量的時(shí)候，拍攝一幅待測(cè)場(chǎng)景的散斑圖像，將這幅圖像和保存下來的30幅參考圖像依次做互相關(guān)運(yùn)算，這樣會(huì)得到30幅相關(guān)度圖像?？臻g中有物體存在的位置，在相關(guān)度圖像上就會(huì)顯示出峰值。把這些峰值一層層疊在一起，再經(jīng)過一些插值，就可以得到整個(gè)場(chǎng)景的三維結(jié)構(gòu)信息。

2系統(tǒng)方案設(shè)計(jì)

2.1軟件方案設(shè)計(jì)農(nóng)業(yè)課件虛擬教學(xué)系統(tǒng)的軟件部分如圖 所示，主要包括用戶管理，Kinect外設(shè)管理模塊、手勢(shì)管理模塊、虛擬演播廳管理、課件制作模塊（圖2）。用戶管理主要進(jìn)行用戶的注冊(cè)、登錄管理，用戶信息的完善，虛擬課件直接導(dǎo)入用戶信息作為課件屬性信息。Kinect外設(shè)管理模塊主要負(fù)責(zé)對(duì)Kinect設(shè)備進(jìn)行初始化、設(shè)備關(guān)閉和設(shè)備狀態(tài)檢測(cè)管理，該模塊將模塊的狀態(tài)返還給主程序作為系統(tǒng)運(yùn)行的基本模塊。手勢(shì)管理模塊主要是考慮不同用戶的習(xí)慣，允許用戶定義自己的手勢(shì)用于控制播放。系統(tǒng)默認(rèn)的前進(jìn)手勢(shì)是右手手臂平行于胸前，手掌與身體平行指尖向左；系統(tǒng)默認(rèn)的后退手勢(shì)是左手手臂平行于胸前，手掌與身體平行指尖向右。本系統(tǒng)的演播室是一個(gè)由圖片序列組成的背景墻，用戶在課件制作的過程中用自己的身體手勢(shì)控制背景圖片的切換。課件制作模塊主要用于將錄播時(shí)獲取的實(shí)時(shí)圖像按照時(shí)間序列制作成可以播放的視頻文件，并將用戶錄入的課件信息、用戶身份信息整合到課件中完成課件制作。

2.2軟件工作流程 系統(tǒng)的軟件流程如圖3所示，用戶進(jìn)行登錄后，首先進(jìn)行外設(shè)的初始化，然后檢測(cè)Kinect設(shè)備是否工作正常，如果外設(shè)狀態(tài)錯(cuò)誤則系統(tǒng)提示后退出。用戶進(jìn)入系統(tǒng)后首先要定義課件最常用的前進(jìn)、后退手勢(shì)或接受默認(rèn)的手勢(shì)。接下來要進(jìn)行演播廳管理，用戶按照播放序列導(dǎo)入課件需要的背景圖片。系統(tǒng)根據(jù)用戶手勢(shì)來切換背景圖片，達(dá)到課件播放的效果。在完成錄播后系統(tǒng)退出。

3系統(tǒng)功能驗(yàn)證

3.1虛擬演播室Kinect傳感器核心只是發(fā)射紅外線，并探測(cè)紅外光反射，從而可以計(jì)算出視場(chǎng)范圍內(nèi)每一個(gè)像素的深度值。從深度數(shù)據(jù)中最先提取出來的是物體主體和形狀，以及每一個(gè)像素點(diǎn)的人體索引信息，然后用這些形狀信息來匹配人體的各個(gè)部分，最后計(jì)算匹配出來的各個(gè)關(guān)節(jié)在人體中的位置。Kinect產(chǎn)生的景深數(shù)據(jù)作用有限，要利用Kinect創(chuàng)建真正意義上交互、有趣和難忘的應(yīng)用，還需要除了深度數(shù)據(jù)之外的其他數(shù)據(jù)，這就是骨骼追蹤技術(shù)的初衷：通過人體骨骼的關(guān)節(jié)點(diǎn)來控制人體運(yùn)動(dòng)[10]。

骨骼追蹤技術(shù)通過處理景深數(shù)據(jù)來建立人體各個(gè)關(guān)節(jié)的坐標(biāo)。骨骼追蹤能夠確定人體的各個(gè)部分，如哪部分是手、頭部、身體。骨骼追蹤產(chǎn)生X、Y、Z數(shù)據(jù)來確定這些骨骼點(diǎn)，其主要步驟如下[11]：①前景分割。利用數(shù)字圖像處理技術(shù)可以完成這部分工作。Kinect會(huì)依據(jù)距離關(guān)系由近及遠(yuǎn)分析每個(gè)像素，以找到最有可能是人體的區(qū)域，通過邊緣檢測(cè)技術(shù)確定區(qū)域邊緣，最終提取出人體在深度圖像中的完整輪廓。②人體部位識(shí)別。該部分的任務(wù)就是識(shí)別人體輪廓區(qū)域內(nèi)的各個(gè)身體部位，如頭部、軀干、四肢等。Kinect使用數(shù)以TB計(jì)的數(shù)據(jù)進(jìn)行訓(xùn)練，得到用于分類人體部位的識(shí)別模型，目前Kinect可以識(shí)別32個(gè)人體部位。③人體關(guān)節(jié)點(diǎn)識(shí)別。關(guān)節(jié)點(diǎn)是連接人體各個(gè)部位的紐帶，考慮到人體部位會(huì)出現(xiàn)重疊，Kinect會(huì)從正面、側(cè)面等多個(gè)角度去分析每一個(gè)可能的像素來確定關(guān)節(jié)點(diǎn)坐標(biāo)。目前Kinect可以識(shí)別24個(gè)關(guān)節(jié)點(diǎn)，但是對(duì)外提供15個(gè)可供使用的關(guān)節(jié)點(diǎn)坐標(biāo)值。

圖5和圖6是筆者在實(shí)驗(yàn)室內(nèi)利用Kinect設(shè)備實(shí)現(xiàn)的虛擬演播室的實(shí)驗(yàn)截圖。筆者嘗試在辦公室背景下實(shí)現(xiàn)類似無幕布的摳圖效果，并替換農(nóng)業(yè)教學(xué)所需圖片背景，達(dá)到虛擬演播廳的目的。從測(cè)試的結(jié)果看，系統(tǒng)對(duì)人體的幾何信息提取比較完整，精確度可以滿足農(nóng)業(yè)虛擬教學(xué)的需求。

圖4含背景信息的圖像信息圖5提取前景人體后的虛擬演播廳3.2手勢(shì)識(shí)別手勢(shì)識(shí)別是整個(gè)虛擬課件制作重要的組成部分。通過定義好的手勢(shì)，對(duì)演播廳的背景墻進(jìn)行切換，達(dá)到虛擬演播的目的。人手勢(shì)識(shí)別[12]是通過計(jì)算機(jī)設(shè)備對(duì)人的手勢(shì)進(jìn)行精確解釋。早期的手勢(shì)識(shí)別主要使用數(shù)據(jù)手套等傳感器設(shè)備采集手部關(guān)節(jié)數(shù)據(jù)的方法進(jìn)行手勢(shì)提取，一起構(gòu)成復(fù)雜、成本高昂而且需要專用的信息采集系統(tǒng)，雖然經(jīng)典，但已經(jīng)不適合當(dāng)下對(duì)自然交互方式的要求。微軟Kinect傳感器的目標(biāo)是將注意力集中在自然手上，通過感應(yīng)紅外激光散斑獲取深度信息，不受環(huán)境的光照變化和復(fù)雜背景的影響。

要使用手勢(shì)識(shí)別功能，Kinect SDK版本應(yīng)該至少是1.5，最新版本為1.8。Kinect SDK 和 Kinect Developer Toolkit要一起安裝，安裝Kinect Developer Toolkit會(huì)安裝Kinect Studio、一些C#/VB.Net/C++的應(yīng)用程序示例、源碼以及兩個(gè)用于面部追蹤的類庫FaceTrackData.dll，F(xiàn)aceTrackLib.dll包括32位和64位版本[13]。

圖6和圖7是筆者在實(shí)驗(yàn)室內(nèi)利用Kinect SDK對(duì)自身手勢(shì)在運(yùn)動(dòng)狀態(tài)下進(jìn)行前進(jìn)和后退手勢(shì)的測(cè)試截圖。從測(cè)試結(jié)果看，系統(tǒng)可以有效跟蹤到肢體關(guān)節(jié)的空間位置，可以滿足手勢(shì)識(shí)別的需求。

圖6前進(jìn)手勢(shì)識(shí)別圖7后退手勢(shì)識(shí)別4結(jié)論

研究設(shè)計(jì)了一種基于Kinect的農(nóng)業(yè)課件虛擬制作系統(tǒng)，并對(duì)部分系統(tǒng)功能進(jìn)行了驗(yàn)證。該系統(tǒng)以Kinect空間深度數(shù)據(jù)進(jìn)行人體前景提取為工作核心，結(jié)合手勢(shì)識(shí)別功能實(shí)現(xiàn)用戶對(duì)虛擬演播廳背景圖片的操作控制，它是一種新穎的虛擬課件制作系統(tǒng)，使得用戶能夠結(jié)合自己的農(nóng)業(yè)知識(shí)實(shí)現(xiàn)農(nóng)業(yè)課件虛擬制作，同時(shí)該系統(tǒng)不受場(chǎng)地限制，不需要昂貴的攝像設(shè)備。該系統(tǒng)的硬件成本低廉，適用于農(nóng)業(yè)類用戶的接受范圍。該系統(tǒng)的最大特點(diǎn)就是使用戶能夠操作簡(jiǎn)單、易懂、靈活；且安裝方便、智能性高。隨著現(xiàn)代農(nóng)業(yè)用戶對(duì)知識(shí)獲取意識(shí)的增強(qiáng)以及科學(xué)技術(shù)的快速發(fā)展，相信該研究必將在更廣闊的領(lǐng)域得到更深層次的應(yīng)用。

安徽農(nóng)業(yè)科學(xué)2014年參考文獻(xiàn)

[1] 宋宏泉.虛擬現(xiàn)實(shí)技術(shù)在現(xiàn)代醫(yī)學(xué)教育中的應(yīng)用[J].齊齊哈爾醫(yī)學(xué)院學(xué)報(bào)，2006，27（8）：984-985.

[2] 陳晨，王亞平，劉小鴻，等.基于Kinect體感系統(tǒng)的虛擬現(xiàn)實(shí)技術(shù)在醫(yī)學(xué)教育中的可行性初探[J].中國(guó)醫(yī)學(xué)教育技術(shù)，2012，26（6）：667-670.

[3] 呂開陽.kinect體感技術(shù)在動(dòng)物外科實(shí)驗(yàn)教學(xué)中的應(yīng)用及展望[J].中國(guó)醫(yī)學(xué)教育技術(shù)，2012，26（2）：171-173.

[4] 黃康泉，陳壁金，鄭博，等.kinect在視頻會(huì)議系統(tǒng)中的應(yīng)用[J].廣西大學(xué)學(xué)報(bào)：自然科學(xué)版，2011，36（S1）：308-314.

[5] 吳國(guó)斌.Kinect人機(jī)交互開發(fā)實(shí)踐[M].北京：人民郵電出版社，2013：4-5.

[6] 余濤.kinect應(yīng)用開發(fā)實(shí)踐[M].北京：機(jī)械工業(yè)出版社，2012：41-45.

[7] 韓旭.應(yīng)用kinect的人體行為識(shí)別方法研究與系統(tǒng)設(shè)計(jì)[D].濟(jì)南：山東大學(xué)，2013：21-22.

[8] 鄧小園.基于Kinect運(yùn)動(dòng)捕捉的高爾夫揮桿分析與輔助訓(xùn)練系統(tǒng)的研制[D].北京：北京郵電大學(xué)，2013：7-9.

[9] 楊林.基于Kinect的人體目標(biāo)檢測(cè)與跟蹤[D].大連：大連海事大學(xué)，2013：8-15.

[10] 馬慶.基于Kinect的實(shí)時(shí)人體動(dòng)畫合成及重定向技術(shù)研究[D].杭州：浙江工業(yè)大學(xué)，2012：11-15.