體感手環(huán)控制幻燈片翻頁方法及裝置設計

，

(華南理工大學廣州學院 電氣工程學院，廣州 510800)

0 引言

微軟公司PowerPoint軟件設計的演示文稿PPT課件，在學校教室或者實驗室的課堂多媒體教學中普遍使用[1]。通過計算機鍵盤或鼠標可以對PPT幻燈片進行放映，對上一幻燈片或下一幻燈片進行翻頁控制等，但在實際應用中，為了達到更好的教學互動效果，教師往往并不是一直對著計算機進行操作，而是需要遙控PPT幻燈片的翻頁等，于是用于教學的激光筆應運而生，很好地解決了遙控PPT幻燈片翻頁的問題[2]。在教師課堂講授過程中，需要始終手握激光筆，對于需要雙手配合的復式手勢講解重點和難點知識的情景，嚴重阻礙了教師手勢講解等方面?zhèn)髑檫_意的作用。針對這些問題，本文運用體感技術中的慣性感測設計了一種體感手環(huán)教學控制系統(tǒng)，不需要手握任何設備就可以進行計算機PowerPoint軟件遙控翻頁，把教師的雙手回歸到教學手勢的講解和演示，有效緩解手握激光筆對教學現(xiàn)場氛圍的影響，促進教學效果的提升。

1 體感手勢動作識別方法

體感技術根據感知方式與原理的不同，主要可分為慣性感測、光學感測以及慣性與光學聯(lián)合感測三類[3]。體感手環(huán)教學控制系統(tǒng)應用慣性感測技術，只需要教師佩戴體感無線手環(huán)，對教師特定手勢動作的識別，即可遙控幻燈片翻頁，從而能夠讓教師在課堂上真正把雙手解放出來，用于教學的手勢輔助講解和演示，給予師生最大程度的溝通和交流，從而提高教與學的效果。

1.1 手勢動作定義

教師授課過程中可能會出現(xiàn)各種各樣的手勢動作，但只有特定的被定義了的手勢動作才會用于系統(tǒng)的控制，所以必須嚴格定義手勢動作。手勢動作必須具有操作簡單、容易重復、便于學習和記憶、可靠識別等原則和特點，本系統(tǒng)定義了如表1所示的兩種手勢動作，分別用于控制PowerPoint軟件向上和向下翻頁。

1.2 手勢動作信號感知與預處理

手勢動作由6軸運動處理組件MPU6050傳感器采集數據。MPU6050里面集成了3軸陀螺儀和3軸加速度計，與分立傳感器組合相比，具有體積小，精度高，兩種傳感器軸間差小等優(yōu)點，特別適用于穿戴式電子產品。

表1 模擬燃料組件測量實驗

1.2.1 手勢信號感知與預處理原理

在角度測量時，除了手勢動作有效角度變化的信號外，還伴隨著因講解過程中各種手勢動作而產生的噪聲，這個噪聲會隨著不同的使用者而不同。微處理器通過多次重復得到陀螺儀的角速率數據，這樣的處理方法存在累積漂移誤差，不適合長久單獨工作。為了減少手勢動作信號的誤差，采用加速度計和陀螺儀的信號進行融合[4]，通過一種簡易的姿態(tài)解算和卡爾曼濾波算法進行數據處理，從而得到最優(yōu)手勢動作的加速度值、角速度值和角度值。信號感知與預處理原理如圖1所示。

圖1 信號感知與預處理原理

1.2.2 手勢動作姿態(tài)解算

對教學過程中手勢動作采用普通的姿態(tài)角進行解算，主要是基于三軸加速度的值進行三角函數運算等簡單的姿態(tài)解算原理。

首先從MPU6050的加速度計中分別獲取X軸、Y軸、Z軸三個方向數據，如式(1)所示：

(1)

得到數據后進行轉化，根據MPU6050加速度轉化公式(2)進行量化：

(2)

從而得到加速度值，取值范圍0～1，即多少個重力加速度(g)。之后用反三角函數進行運算，弧度制的角度計算公式如式(3)所示：

(3)

計算得到弧度制的角度X，再乘180除以π即可得到X軸的角度值A_Ax，同理可分別計算得到Y軸和Z軸的角度值。

1.2.3 卡爾曼濾波算法

因為加速度計是震動敏感型傳感器，對于持續(xù)測量更為擅長，而陀螺儀輸出的數據是多少度一秒，據此進行積分，對于短暫測量更為合適。加速度計和陀螺儀相互取長補短，可以得到短時間內動作的姿態(tài)。

以姿態(tài)角度值和陀螺儀輸出的角速率偏差為系統(tǒng)狀態(tài)變量，通過綜合考慮兩個傳感器數據的共同作用，構建標準形式的離散狀態(tài)方程：

X(k)=AX(k-1)+BU(k-1)+W(k-1)

(4)

式(4)中，X(k)是狀態(tài)變量，A、B分別是系統(tǒng)矩陣和控制輸入矩陣，U(k-1)是陀螺儀在k-1時刻輸出的角速率，W是系統(tǒng)高斯白噪聲。

為降低直至接近沒有傳感器的零漂誤差和積分誤差，通過加速度計獲取的角度值Z(k)對姿態(tài)角調整，也就是數據融合，構建標準形式的量測方程：

Z(k)=HX(k)+V(k)

(5)

式(5)中，H是量測矩陣，V(k)是量測高斯白噪聲。在式(4)和式(5)的基礎上，結合經典的卡爾曼濾波理論，編寫簡單程序實現(xiàn)數值計算的迭代過程。首先由k-1時刻的最優(yōu)估計值來預測當前時刻的狀態(tài)值[5]：

X(k|k-1)=AX(k-1|k-1)+BU(k-1)

(6)

式(6)中，X(k-1 |k-1)是k-1時刻系統(tǒng)的最優(yōu)估計值，X(k|k-1)是k時刻的初步預測值。預測誤差的協(xié)方差用P(k|k-1)表示，則有：

P(k|k-1)=AP(k-1|k-1)AT+Q

(7)

式(7)中，P(k|k-1)是X(k|k-1)對應的協(xié)方差，P(k-1 |k-1)是X(k-1 |k-1)對應的協(xié)方差，Q是系統(tǒng)噪聲協(xié)方差。然后由初步預測值X(k|k-1)，結合當前時刻的測量值Z(k)即可得到當前時刻的最優(yōu)估計值[6]：

X(k|k)=X(k|k-1)+Kg(k)[Z(k)-HX(k|k-1)]

(8)

式(8)中，Kg(k)是卡爾曼增益，可表示為：

(9)

式(9)中，R是量測噪聲協(xié)方差。為了讓運算可以自動迭代下去，還需要更新當前時刻最優(yōu)估計值的協(xié)方差[6]：

P(k|k)=[I-Kg(k)H]P(k|k-1)

(10)

式(10)中，I是1的矩陣。當運行到k+1狀態(tài)時，P(k|k)就是式(7)中的P(k-1|k-1)，所以，程序自回歸地繼續(xù)運算。

卡爾曼濾波是一種遞歸的估算，就是一個先進行估計，再根據實際測量的值對卡爾曼參數進行修改，最后再算誤差。比方說估算k+1時刻手勢動作的實際角度值，首先要根據k時刻的角度值來預測得到k+1時刻的角度值，這就是先進行估計；再根據k+1時刻的預測角度值和高斯噪聲的方差，進行遞歸運算，調整參數，直到獲得最優(yōu)的手勢動作角度值[4]。

1.3 手勢特征提取

在定義好手勢動作的基礎上，經過手勢動作信號感知與預處理得到加速度值、角速度值和角度值，接下來如何準確提取描述手勢動作特征的物理量則是核心問題，并且必須合理去除用戶的一些無意識的誤動作的手勢，提高有效手勢動作凸顯存在差異的運動學特性。本文通過手勢起終點、手勢長度、手勢能量[7]、波峰數等四個特征，分析手勢動作的有效性。

1.3.1 手勢起終點

一個完整的手勢動作包括起點和終點，常態(tài)的時候，加速度和角速度輸出的數字量波動不大；當動作發(fā)生之后，加速度和角速度數字量會有明顯的變化，通過信號的差分衡量這兩個信號單位時間內改變了多少，即可作為本次手勢動作起點和終點的判斷依據。假設第k點的加速度差分為△αk，第k點的角速度差分為△ωk，則：

△αk=|αxk-αxk-1|+|αyk-αyk-1|+|αzk-αzk-1|

(11)

△ωk=|ωxk-ωxk-1|+|ωyk-ωyk-1|+|ωzk-ωzk-1|

(12)

通過連續(xù)采樣多個數據來降低環(huán)境噪聲和用戶手勢抖動引起的冗余數據，假設采樣個數為N，則取N點加速度差分值的平均值Mαk和角速度差分值的平均值Mωk分別如式(13)和(14)所示：

(13)

(14)

當Mαk和Mωk同一時間或者很接近，并滿足分別大于加速度和角速度檢測閾值時，判斷i為手勢起點；同理，當Mαk和Mωk分別小于加速度和角速度檢測閾值時，判斷i為手勢終點，從而實時截取有效手勢動作的信號數據。

1.3.2 手勢長度

一次有效手勢動作持續(xù)時間的長短稱為手勢長度。手勢長度L的計算如式(15)所示：

L=t終點-t起點

(15)

一般情況下，一次有效手勢動作信號持續(xù)的時間長度為0.3～1 s之間，對應信號的頻率為1～4 Hz，信號的采樣頻率為100 Hz，綜合處理器的數據處理能力，采用三階巴特沃斯低通濾波器減少高頻噪聲[8]，保證有效手勢動作的信號數據的獲得。

1.3.3 手勢能量

一次有效手勢動作在運動過程中的劇烈程度稱為手勢能量[7]。手勢動作沒開始之前，手勢能量在不同頻段內的分布較為均衡；當手勢動作發(fā)生之后，由于手勢能量及主要信息均集中在低頻部分，因此手勢能量在不同頻段內的分布隨時間變化持續(xù)呈現(xiàn)不均衡現(xiàn)象。通過分別計算從手勢起點到終點的所有三軸加速度、角速度之和，即可得到手勢能量，分別如式(16)和(17)所示：

(16)

(17)

式(16)中，L為有效手勢長度；αxi，αyi，αzi分別是X，Y，Z軸的加速度值，gxi，gyi，gzi分別是重力加速度g在加速度傳感器X，Y，Z軸的分量；式(17)中，ωxi，ωyi，ωzi分別是X，Y，Z軸的角速度值。

一般情況下，一次有效手勢動作的手勢能量明顯過大或者過小，均可認為是誤操作手勢動作。

1.3.4 手勢波峰數

通過計算X，Y，Z軸的波峰數之和，從而得到波峰數，波峰數P計算如式(18)和(19)所示：

Pα=Pαx+Pαy+Pαz

(18)

Pω=Pωx+Pωy+Pωz

(19)

式(18)中，Pαx，Pαy，Pαz分別為傳感器X，Y，Z軸加速度波峰數；式(19)中，Pωx，Pωy，Pωz分別為傳感器X，Y，Z軸角速度波峰數。從中可看出，重點是計算每一個坐標軸的波峰數。

首先找出該軸信號與橫軸的所有交點，然后在相鄰兩交點之間計算該信號的絕對值，并找出最大值點，如果該值點大于預設的某個閾值，則判斷該點是一個波峰，累計波峰的個數即可得到該軸的波峰數，進而計算得到加速度波峰數和角速度波峰數。

一般情況下，一次有效手勢動作的波峰數不為0[9]，否則可認為很可能是誤動作手勢而不予處理。

2 體感手環(huán)控制幻燈片翻頁裝置設計

為了實現(xiàn)對算法有效性和準確率的測試和應用，設計了體感手環(huán)控制幻燈片翻頁系統(tǒng)，本系統(tǒng)主要由體感無線手環(huán)和教學接收裝置組成。

2.1 體感手環(huán)控制系統(tǒng)設計

體感無線手環(huán)用于識別手勢動作，并把控制代碼通過無線數據模塊發(fā)送出去，教學接收裝置接收到代碼并通過USB接口傳輸給計算機[10]，從而控制Page Up和Page Down按鍵，實現(xiàn)對PowerPoint軟件上一頁和下一頁的翻頁功能，系統(tǒng)結構圖如圖2所示。

圖2 體感手環(huán)控制系統(tǒng)結構圖

2.2 手勢動作傳感器MPU6050電路設計

在體感無線手環(huán)中， MPU6050分別采集X軸、Y軸和Z軸的電壓數據，然后通過自帶的16位A/D轉換器轉換成數字信號，測量范圍達±16 g，能夠精確檢測小于1.0°的傾斜角度變化。MPU6050原理圖如圖3所示。圖中芯片供電電源為3.3 V，數據SDA和時鐘SCL相互配合，與微控制器I/O端口連接，實現(xiàn)數據的串行傳輸，用于實時采集手勢動作數據。

圖3 MPU6050原理圖

2.3 教學接收裝置設計

教學接收裝置主要由無線數據模塊、微控制器芯片、USB鍵盤接口芯片和顯示模塊組成。各個模塊的供電電源由計算機USB接口的5 V電源提供。硬件原理框圖如圖4所示。微控制器采用基于8051內核的IAP15W4K58S4芯片，該芯片自動適應寬電源電壓范圍，簡化了硬件電路的設計；USB鍵盤接口芯片通過矩陣掃描的形式獲取所按下的按鍵功能，使用光電耦合器隔離，再與微控制器I/O端口相連，從而實現(xiàn)Page Up和Page Down按鍵功能，控制計算機PowerPoint軟件翻頁。

圖4 教學接收裝置硬件原理框圖

3 系統(tǒng)測試結果與分析

使用軟件Altium Designer對電路原理圖和PCB進行設計，經過打樣、焊接與調試等環(huán)節(jié)，再經過多次參數調整與修正，直至系統(tǒng)能夠正常穩(wěn)定地工作。隨機以一節(jié)45分鐘理論課為測試時間段，該節(jié)課講授了教學PPT課件共計18個頁面，教學過程中根據回看需要向上翻頁4次，向下翻頁過程中出現(xiàn)1次不成功，因此重復了一次向下翻頁的動作，共計23次，教學過程中沒有出現(xiàn)誤動作的現(xiàn)象，測試數據如表2所示。

根據實際測試數據，體感無線手環(huán)可以正確識別向左或向右一揮的手勢動作，教學接收裝置基本能夠有效可靠接收并控制PowerPoint軟件，完成向上或向下翻頁的功能，達到良好的教學效果。

表2 隨機抽樣一節(jié)課測試數據

4 結束語

本文針對教師課堂教學中，需要手握激光筆遙控PowerPoint幻燈片翻頁的問題，提出體感手環(huán)控制幻燈片翻頁的方法，重點對手勢動作定義、手勢信號感知與預處理和手勢特征提取等算法展開研究，并通過體感無線手環(huán)和教學接收裝置的原理設計和測試，進行手勢識別算法有效性和準確率的驗證。實驗證明體感手環(huán)教學控制系統(tǒng)在課堂教學中可以有效地識別教師遙控幻燈片翻頁的手勢動作，能夠可靠控制PowerPoint向上或向下翻頁，把教師的雙手回歸到教學手勢的講解和演示，促進教學效果的提升。