基于微軟Kinect的體感控制智能窗簾系統(tǒng)

羅偉 梁世豪 姜鑫 安妮 杜銳

摘 要：設(shè)計了一種基于微軟Kinect的體感控制智能窗簾系統(tǒng)。采用微軟Kinect v1傳感器及其開發(fā)者工具包（SDK）和Microsoft Visual Studio集成開發(fā)環(huán)境作為核心開發(fā)工具，并和基于80c51單片機的步進電機控制系統(tǒng)組成體感控制智能窗簾系統(tǒng)。能夠通過Kinect體感傳感器對人體肢體動作識別并做判斷，并將判斷結(jié)果通過串口通訊傳送至單片機控制步進電機系統(tǒng)，從而使得通過肢體動作控制窗簾系統(tǒng)的開啟和關(guān)閉。本系統(tǒng)具有動作判斷準(zhǔn)確、易于針對特殊群體進行拓展開發(fā)、使用方便等優(yōu)點，在智能家居、殘疾人士輔助工具方面有較大應(yīng)用價值。

關(guān)鍵詞：Kinect傳感器; 智能窗簾; 體感識別; 單片機; 殘疾人輔助

中圖分類號： TN710

文獻標(biāo)志碼： A

Abstract：A somatosensory control intelligent curtain system based on Microsoft Kinect was designed. Microsoft Kinect v1 sensor and its developer kit （SDK） was adopted and Microsoft Visual Studio integrated development environment was used as the core of development， and a somatosensory control intelligent curtain system was developed by using the stepping motor control system which was based on the 80c51 single-chip microcomputer. The Kinect sensor was used to identify and judge the human body motion， and the judgment result was transmitted to the single-chip microcomputer to control the stepping motor system through serial communication， thereby controlling the opening and closing of the curtain system through the limb motion. The system has the advantages of accurate action judgment， easy development and specialization for special groups， and has strong application value in smart home and assistive tools for the disabled.

Key words：Kinect sensor; Smart curtain; Somatosensory recognition; Microcontrollers; Disabled assistance

0 引言

智能家居由于其獨特的智能和便捷被人們廣泛關(guān)注和使用。窗簾作為智能家居不可分割的一部分，其使用模式和便捷程度一直備受關(guān)注。在智能家居中傳統(tǒng)的智能窗簾使用方式基本分為自動定時控制、光強感應(yīng)控制[1-3]、聲控控制[3]、傳統(tǒng)遙控及手機App遠程控制[4]等幾類。上述幾類傳統(tǒng)智能窗簾為生活提供便利的同時也具有各自的局限性，如自動定時和光強感應(yīng)窗簾不能滿足用戶隨時需要開窗的需求、聲控控制窗簾雖然可以滿足用戶隨時開窗但不能應(yīng)用于失聲人群并且使用過程中必須發(fā)出聲音可能會打擾到工作或休息的人群、遙控或App控制窗簾操作繁瑣且遙控或手機經(jīng)常會遺忘放在某個角落不易隨時使用，并且對老齡幼齡或其他不會操作遙控或App的人群的使用產(chǎn)生障礙。

針對上述傳統(tǒng)窗簾所出現(xiàn)的問題，本文提出了一種基于微軟Kinect的體感控制智能窗簾系統(tǒng)的設(shè)計，此設(shè)計僅需要通過上半身肢體動作即可對窗簾進行控制，可為用戶提供容易操作、安靜、可隨時控制的便捷性并且可為下肢和語言表達等方式不便的人群使用。

1 系統(tǒng)總體設(shè)計方案

1.1 系統(tǒng)整體結(jié)構(gòu)

系統(tǒng)整體結(jié)構(gòu)如圖1所示。

由Kinect傳感器[5]、電源、主機、串口通訊[6]、51步進電機模塊和簡易窗簾模型構(gòu)成，具體實物圖如圖2所示。

系統(tǒng)運行的流程為預(yù)先在體感肢體動作判定主程序內(nèi)設(shè)置所用四個肢體動作閾值范圍，然后用戶通過在微軟Kinect體感傳感器前做出相應(yīng)的動作，傳感器將捕捉到的肢體信息傳入肢體判定主程序并輸出相應(yīng)的結(jié)果指令，之后將相應(yīng)的結(jié)果指令通過串口通訊發(fā)送至單片機驅(qū)動步進電機系統(tǒng)，接受到相應(yīng)指令的單片機將驅(qū)動步進電機從而對窗簾系統(tǒng)的開閉進行控制。

其中Kinect體感判定程序由C#語言編寫，開發(fā)環(huán)境為Microsoft Visual Studio2010。單片機控制步進電機程序由C語言編寫，開發(fā)環(huán)境為keil uVision4，用STC-ISP作為單片機程序?qū)懭胲浖?/p>

1.2 系統(tǒng)硬件結(jié)構(gòu)

整個系統(tǒng)分為上位機和下位機：

1.上位機為連接Kinect傳感器的筆記本電腦，是整個體感控制的核心。

所用硬件：微軟Kinect v1傳感器、筆記本電腦。

2.下位機為單片機控制步進電機系統(tǒng)，此部分為一個簡單的單片機驅(qū)動步進電機程序。所用模塊：STC89C52RC微控制器、步進電機模塊、USB串口通訊模塊、自制簡易窗簾模型。

2 體感智能窗簾關(guān)鍵技術(shù)

2.1 Light coding技術(shù)

Kinect傳感器的核心技術(shù)為光編碼（Light coding）技術(shù)，使用連續(xù)光對投射空間進行編碼，通過紅外線接收器讀取編碼的光線并解碼，即可產(chǎn)生具有深度信息的圖像。所使用的的為激光散斑光源，即當(dāng)激光穿透毛玻璃照或射到粗糙物體會隨即形成衍射斑點，此斑點具有高度隨機性并且會根據(jù)斑點距離不同而形成不同的圖案[7]。而Kinect通過紅外投射機向測量空間中發(fā)射紅外線并對所投射空間進行編碼，通過紅外攝像頭對這些反射的隨機編碼斑點進行獲取，將獲取的數(shù)據(jù)經(jīng)過系統(tǒng)解碼處理建立物體在空間中的具有深度信息的三維模型[8]。

2.2 骨骼點追蹤技術(shù)

通過對Kinect紅外線投射器和紅外線攝像頭獲取的數(shù)據(jù)流進行處理從而對空間中的人體建立三維人體模型，再通過對人體三維模型的分析從而確定模型中人體的20個骨骼跟蹤點[9]，人體骨骼跟蹤點如圖3所示。

此設(shè)計判定肢體動作主要用到了三個骨骼點分別是HAND RIGHT、HAND LEFT、HEAD，其中每個骨骼點都有位置坐標(biāo)（x，y），坐標(biāo)值單位為米。具體判斷方法為如果HAND RIGHT的橫坐標(biāo)值小于HEAD橫坐標(biāo)值減去0.5或HAND LEFT的橫坐標(biāo)值大于HEAD橫坐標(biāo)值加上0.5時即判定右手或左手抬起[10]。

3 系統(tǒng)硬件設(shè)計

3.1 微軟Kinect傳感器

微軟Kinect傳感器設(shè)備如圖4所示。

在基座和感應(yīng)器之間為一個能夠通過程序調(diào)整感應(yīng)器俯仰角度的電動機，在上面的感應(yīng)器中從左至右分別為紅外線投射器、傳感器工作狀態(tài)指示燈、彩色攝像頭、紅外線攝像頭，另外傳感器底部有一排麥克風(fēng)陣列用作獲取音頻數(shù)據(jù)和背面有一個散熱風(fēng)扇。其中彩色攝像頭紅和外線攝像頭分別支持1280*960和640*480分辨率成像[11]。

3.2 51單片機驅(qū)動電機系統(tǒng)

下位機單片機驅(qū)動電機系統(tǒng)的原理圖，如圖5所示。

此系統(tǒng)主要由四個部分組成：串口通訊電路、51單片機電路、電源電路、步進電機驅(qū)動電路[12]。核心處理部分采用STC89C52RC微控制器，首先通過電源電路對整個系統(tǒng)供電，然后檢測串口通訊電路是否傳來相關(guān)控制指令，當(dāng)單片機接受到步進電機控制指令時將控制步進電機的正轉(zhuǎn)、反轉(zhuǎn)或暫停從而帶動窗簾的開啟關(guān)閉或暫停。

4 系統(tǒng)軟件設(shè)計

4.1 肢體動作檢測程序

肢體動作檢測判斷程序流程圖，如圖6所示。

當(dāng)程序啟動時首先對系統(tǒng)初始化，然后獲取串口通訊模塊的指令，若未獲得相應(yīng)指令則繼續(xù)檢測串口模塊，當(dāng)獲得相應(yīng)指令時判斷質(zhì)量是否為暫停、正轉(zhuǎn)或反轉(zhuǎn)，若不是此三種指令則繼續(xù)檢測串口模塊獲取指令，當(dāng)檢測為三種指令其中一種時則向步進電機模塊發(fā)送相應(yīng)的操作指令，從而控制步進電機的正轉(zhuǎn)、反轉(zhuǎn)或暫停。

5 系統(tǒng)測試結(jié)果與分析

5.1 系統(tǒng)實測結(jié)果與數(shù)據(jù)分析

體感智能窗簾系統(tǒng)的整體測試效果圖，如圖8、圖9所示。

為了便于觀察在骨骼追蹤時只顯示三個骨骼點分別是頭部、左手和右手，并且將未達到預(yù)設(shè)閾值的個骨骼點顯示為常規(guī)小圓點，將達到預(yù)設(shè)閾值的骨骼點顯示為大圓點。在圖8中圖片為模擬正常人站立時的體感操作，在圖9中圖片為模擬不能站立的殘疾人士或想躺在床上操作窗簾系統(tǒng)的人士的體感操作。此系統(tǒng)共定義了如圖8、9自左到右、自上到下圖片分別表示為雙手未抬起、左手抬起、右手抬起和雙手抬起四個操作動作。

為測試此體感檢測系統(tǒng)的動作識別率，將每個動作進行300次重復(fù)測試并記錄檢測成功的次數(shù)，動作識別率為檢測成功動作次數(shù)與所做動作總次數(shù)的比值。測試記錄如表1所示。

在300次重復(fù)動作測試中站立左右手未抬起動作識別率最高約為99.34%，平躺右手抬起動作識別率最低約為96.67%，其中站立右手抬起、左手抬起和雙手抬起的識別率分別約為98.00%、98.67%和98.00%，平躺左右手未抬起、左手抬起和雙手抬起的動作識別率約為97.67%、98.33%和97.00%，站立和平躺全部動作總體識別率約為98.50%和97.42%。如圖8、9和表1中所示實測結(jié)果表明，此套系統(tǒng)能夠以約96%以上的識別率識別人體雙手或單手抬起動作。

不同體感動作各300次測試對應(yīng)的電機及窗簾正確狀態(tài)的次數(shù)，如表2所示。

由表中統(tǒng)計可得在站立及平躺的場景下左右手未抬起動作識別成功時電機和窗簾都為停止?fàn)顟B(tài)、右手抬起動作識別成功時電機反轉(zhuǎn)窗簾開啟、左手抬起動作識別成功時電機為正轉(zhuǎn)窗簾關(guān)閉、當(dāng)雙手同時抬起動作識別成功時電機停止窗簾也停止，在對動作未識別成功時電機和窗簾都保持原狀態(tài)。根據(jù)表2所示的不同體感動作各300次實測結(jié)果可得，此系統(tǒng)若上位機動作檢測判定系統(tǒng)能成功檢測體感動作則下位機步進電機系統(tǒng)就能完成對步進電機的正反轉(zhuǎn)控制，此過程中沒有出現(xiàn)失誤，即整個系統(tǒng)的穩(wěn)定程度可由97%體感檢測識別率代替，該系統(tǒng)較為穩(wěn)定。

5.2 不同控制方式的對比分析

不同控制方法的智能窗簾優(yōu)缺點對比，如表3所示。

Kinect體感控制窗簾相對于其他幾種控制方法突出的優(yōu)點主要為體感動作簡單易學(xué)、操作無聲、可為失聲或下肢行動不便的特殊人群使用和可隨時操作等，缺點為易誤觸發(fā)、制作成本高和功耗高。

6 總結(jié)

體感控制為通過對肢體動作的識別和判定從而與周圍環(huán)境或設(shè)備互動的一種控制方法，這種控制方法目前已被大量的應(yīng)用在游戲、教育[14]及虛擬現(xiàn)實[15]等行業(yè)。

系統(tǒng)測試結(jié)果表明此基于Kinect的體感控制窗簾系統(tǒng)可以通過識別判斷人的肢體動作來控制窗簾的開啟、關(guān)閉和停止。此系統(tǒng)可以在提高智能家居體驗科幻感的同時為下肢或表達不便的特殊人群提供自主開關(guān)窗簾的便利。此設(shè)計是基于Kinect體感控制的一個方向的研究，具有較大的實際應(yīng)用價值，在此基礎(chǔ)上可以對其進行二次開發(fā)為如體感門窗開關(guān)、體感燈具、體感飛行器等應(yīng)用。但由于每個人一天可能會無意間做出很多種動作，假設(shè)其中某一個動作和此設(shè)計預(yù)設(shè)的動作相似，將會造成對系統(tǒng)的誤操作。為了避免此問題的出現(xiàn)，目前較好的思路就是將Kinect體感系統(tǒng)與定時或聲控等功能相結(jié)合，或者設(shè)置特殊的連貫手勢動作作為體感系統(tǒng)的啟動、關(guān)閉動作。并且現(xiàn)階段整體系統(tǒng)需要微軟Kinect體感設(shè)備和相應(yīng)的主機設(shè)備支持造成了此系統(tǒng)功耗較大、成本較高等缺點。隨著體感技術(shù)和智能家居等科技的不斷發(fā)展，體感傳感器等硬件成本和功耗將會更加低廉和多種控制方式結(jié)合的出現(xiàn)，在未來將會出現(xiàn)更多惠及生活的體感研究和應(yīng)用[16]。

參考文獻

[1] 楊成慧，王書志，何佑星，等.一種基于STC89C52的智能窗簾控制系統(tǒng)設(shè)計[J].自動化與儀器儀表，2016（6）：246-248.

[2] 譚艷春，武琰.智能窗簾控制系統(tǒng)的仿真與設(shè)計[J].電子技術(shù)與軟件工程，2019（12）：239-240.

[3] 趙健，吳順偉，陳興美，等.基于單片機的光敏窗簾及聲控?zé)粝到y(tǒng)的設(shè)計[J].泰山學(xué)院學(xué)報，2013，35（3）：101-103.

[4] 唐衛(wèi)斌，宋亞峰.基于boa嵌入式的智能家居系統(tǒng)的設(shè)計[J].電子設(shè)計工程，2019，27（10）：173-177.

[5] 千承輝，邵晶雅，夏濤，等.基于Kinect的手語識別方法[J].傳感器與微系統(tǒng)，2019，38（6）：31-34.

[6] 王公仆，王文成.計算機與單片機的串口通訊程序設(shè)計[J].輕工機械，2007（3）：103-105.

[7] 賈同，吳成東，陳東岳，等.一種基于全向結(jié)構(gòu)光的深度測量方法[J].自動化學(xué)報，2015，41（9）：1553-1562.

[8] 張志林，苗蘭芳.Kinect v2的三維物體重建系統(tǒng)設(shè)計[J].計算機應(yīng)用與軟件，2019，36（6）：136-141.

[9] 吳秦，陳智，周宇旋，等.基于Kinect骨骼跟蹤技術(shù)的人機交互[J].常州大學(xué)學(xué)報（自然科學(xué)版），2014，26（3）：6-12.

[10] 樊景超，周國民.基于Kinect骨骼跟蹤技術(shù)的手勢識別研究[J].安徽農(nóng)業(yè)科學(xué)，2014，42（11）：3444-3446.

[11] 吳國斌，李斌，閆驥洲.Kinect人機交互開發(fā)實踐[M].北京：人民郵電出版社，2015.

[12] 陳慧琴.基于STC89C51單片機步進電機控制系統(tǒng)的設(shè)計[J].山東工業(yè)技術(shù)，2016（18）：187-188.

[13] 李杰.體感交互游戲中的人體骨骼跟蹤技術(shù)研究[J].現(xiàn)代計算機（專業(yè)版），2014（9）：58-61.

[14] 王鈺文，鄧嶸，曾鳴.Kinect技術(shù)對石油高校實驗教學(xué)的作用[J].實驗科學(xué)與技術(shù)，2018，16（5）：104-108.

[15] 劉肖佑，田立國，張馳宇，等.智能體感虛擬現(xiàn)實交互運動系統(tǒng)[J].科技創(chuàng)新與應(yīng)用，2019（3）：37-38.

[16] 賈騁，李妍，毛豐.體感技術(shù)應(yīng)用現(xiàn)狀與展望[J].科技傳播，2018，10（12）：102-103.

（收稿日期： 2019.08.08）