基于Kinect圖像識別的翻書機(jī)設(shè)計*

，，，

(吉林大學(xué) 儀器科學(xué)與電氣工程學(xué)院，長春 130026)

引 言

目前，國內(nèi)外已經(jīng)有了翻書結(jié)構(gòu)的設(shè)計方案，例如日本的BOOKTIME5000型翻書機(jī)、美國Michael Donald Banks[1]的Page Turner、燕山大學(xué)武岳[2]等人研究的全自動可調(diào)式翻頁機(jī)構(gòu)及大連交通大學(xué)董云美[3]等人研究的腳踏式翻書機(jī)構(gòu)。但是上述的翻書機(jī)普遍具有結(jié)構(gòu)復(fù)雜、成本高等缺點，同時他們通過直接接觸、頭戴設(shè)備等方式獲取用戶指令的方式缺乏人性化設(shè)計，無法真正地滿足特定人群的需求。本文研制的這一款翻書機(jī)彌補(bǔ)了上述多種傳統(tǒng)翻書機(jī)的缺陷，充分利用當(dāng)下先進(jìn)的計算機(jī)技術(shù)，在簡化翻書機(jī)機(jī)械結(jié)構(gòu)的同時優(yōu)化了用戶指令的獲取方式，提高了用戶的使用體驗，實現(xiàn)了低成本、高性價比等目標(biāo)。

1 整體設(shè)計

本文所設(shè)計的基于Kinect圖像識別的翻書機(jī)能夠通過自動識別用戶肢體語言，實現(xiàn)自動翻頁的功能。本系統(tǒng)通過對Kinect傳感器所傳回的大量數(shù)據(jù)進(jìn)行處理，判別用戶肢體語言，實現(xiàn)用戶翻書指令的辨別。利用負(fù)壓吸附原理，實現(xiàn)對書頁的吸附、脫開及傳遞等動作。其中吸持力主要依靠風(fēng)扇系統(tǒng)提供，由系統(tǒng)抽取空氣造成壓力差，吸附書頁并將其置于翻頁棒上，進(jìn)而實現(xiàn)翻書動作。整體框圖如圖1所示，翻書機(jī)系統(tǒng)采用模塊化設(shè)計，主要由三個部分組成：動作識別部分、控制系統(tǒng)部分、機(jī)械結(jié)構(gòu)部分。

圖1 整體框圖

2 軟件實現(xiàn)方案

2.1 基于支持向量機(jī)的動作識別

與神經(jīng)網(wǎng)絡(luò)對比，支持向量機(jī)不需要太多的訓(xùn)練樣本，同時對于凸優(yōu)化問題,支持向量機(jī)能夠有效的解決，當(dāng)參數(shù)和樣本一致時，訓(xùn)練模型所得到的預(yù)測值就不會產(chǎn)生變化，因此在實際應(yīng)用和理論中支持向量機(jī)比神經(jīng)網(wǎng)絡(luò)模型具有更高的性能。

對于人臉特征的提取，使用在 SVM的基礎(chǔ)上結(jié)合局部二值模式(LBP)的加權(quán)算法。通過描述人臉圖像的 LBP和深度 LBP特征，加權(quán)形成人臉特征向量，通過這些向量采用支持向量機(jī)進(jìn)行分類，依托人臉數(shù)據(jù)庫進(jìn)行仿真。

對于人臉圖像的LBP算子，在人臉紋理特征提取的方面計算量小、復(fù)雜度小，可以對人臉的圖像分析圖像檢索取得很好的效果，但對于具體五官的識別具有不穩(wěn)定性。

對于深度的LBP算子，由于人臉的平滑性，大部分圖像深度小于5，因此對人臉部特征的提取并不穩(wěn)定，但對五官未知的大體判定相對較為準(zhǔn)確。

所以使用加權(quán)合并LBP和深度LBP的方法對人臉特征進(jìn)行提取。

訓(xùn)練集T={(x1，y1)，……,(xl,yl)}屬于(Rn×Y)選取合適的核函數(shù)K(x，x1)以及懲罰函數(shù)C>0; 通過下面公式：

2.2 人臉識別

為了能正確識別用戶的翻書意圖，本設(shè)計主要以使用者頭部轉(zhuǎn)動方向來判斷是否接收到翻書指令。同時，為了能夠提高容錯率，也為了能夠增加使用者的使用體驗，避免因誤判斷導(dǎo)致不必要的翻書，動作識別系統(tǒng)采用雙參數(shù)來進(jìn)行頭部運(yùn)動的判斷。

對Kinect采集的臉部數(shù)據(jù)進(jìn)行處理后，得到人面部各個部分的標(biāo)定信息，如圖2所示。通過面部信息位置的變化，最終得到三個參數(shù)：Pitch、Roll、Yaw。雙參數(shù)判定方法的核心思想就是利用Pitch和Yaw這兩個參數(shù)形成一個相互制約的關(guān)系，只有當(dāng)兩個參數(shù)達(dá)到某一條件下才會觸發(fā)翻書指令判斷，并通過串口發(fā)送至下位機(jī)。

圖2 面部特征識別

為了獲得Pitch、Roll、Yaw三個參數(shù)，系統(tǒng)在獲得圖像數(shù)據(jù)后，首先需要定位到圖像中臉部的位置，然后根據(jù)臉部五官的位置計算出這三個參數(shù)。微軟亞洲研究所于2012年提出了基于學(xué)習(xí)的描述符(Learn-based Descriptor，簡稱LE描述符)[8]用于解決臉部識別的圖像問題和匹配問題。

不同于其他臉部描述符，LE描述符的獲取是利用非監(jiān)督型學(xué)習(xí)技術(shù)從訓(xùn)練案例中獲得編碼器，之后采用降維算法將高維非線性數(shù)據(jù)轉(zhuǎn)換成低維線性數(shù)據(jù)，最終獲得一個高判斷力且易于區(qū)分的臉部描寫以及LE描述符。該方法采用了非監(jiān)督型學(xué)習(xí)技術(shù)，實現(xiàn)了恒定力與判斷力的平衡，即具有較強(qiáng)的抗干擾能力又具有迅速的人臉識別和匹配能力。

獲得的LE描述符再經(jīng)過分辨器處理，從而確定臉部各個標(biāo)準(zhǔn)點的位置，最終實現(xiàn)臉部追蹤。

3 硬件實現(xiàn)方案

3.1 翻書原理設(shè)計

翻書機(jī)的功能是代替人手來完成翻書動作。人在翻書的過程中，所完成的動作主要是將要翻的書頁從一端翻到另一端。這一過程可簡化為兩個部分：捏住紙張和移動紙張。本翻書機(jī)利用風(fēng)機(jī)和翻書棒來實現(xiàn)這兩個過程。

為了實現(xiàn)捏住紙張這一功能，本設(shè)計利用負(fù)壓吸附原理，通過驅(qū)動風(fēng)機(jī)制造負(fù)壓從而使紙張自動吸附在風(fēng)機(jī)上。過程如圖3所示。將風(fēng)機(jī)置于紙張一定高度之上，啟動風(fēng)機(jī)，風(fēng)機(jī)產(chǎn)生氣流。根據(jù)伯努利定理，流速大的地方氣壓小，與紙張下方的氣壓相比，紙張上方的氣壓更小，氣壓差使得紙張主動吸附到風(fēng)機(jī)上。同時，為了避免風(fēng)機(jī)扇葉對紙張造成損傷，風(fēng)機(jī)下端使用紗網(wǎng)將其隔開。負(fù)壓吸附過程如圖3所示。

圖3 負(fù)壓吸附過程

另外，為了將紙張從一段移動到另一端，本設(shè)計采用步進(jìn)電機(jī)所驅(qū)動的翻書棒作為施力方。當(dāng)紙張?zhí)岣叩揭欢ǜ叨葧r，翻書棒轉(zhuǎn)動，從而使紙張從一端移動到另一端，相當(dāng)于書頁圍繞其裝訂方轉(zhuǎn)動180°，翻書棒亦旋轉(zhuǎn)180°。同樣為了保護(hù)紙張不受損壞，翻書棒應(yīng)該使用圓柱體或橢圓柱體，本設(shè)計采用橢圓柱體。

3.2 機(jī)械結(jié)構(gòu)設(shè)計

翻書機(jī)機(jī)械結(jié)構(gòu)圖如圖4所示，為了能適應(yīng)不同高度的紙張以及紙張的不同材質(zhì)，風(fēng)機(jī)置于一個可上下移動的支架上，并且加裝接近開關(guān)形成閉環(huán)系統(tǒng)，當(dāng)風(fēng)機(jī)運(yùn)動到與紙張一定距離時，開關(guān)觸發(fā)風(fēng)機(jī)停止運(yùn)動。此外，風(fēng)機(jī)可由傳動帶左右移動，從而實現(xiàn)左右兩個方向翻書。

此外，風(fēng)機(jī)可由傳動帶左右移動，從而實現(xiàn)左右兩個方向翻書。

圖4 翻書機(jī)機(jī)械結(jié)構(gòu)圖

3.3 機(jī)械運(yùn)動描述

機(jī)械系統(tǒng)初始化狀態(tài)下，步進(jìn)電機(jī)轉(zhuǎn)動，使得翻書棒與書本上端平行；風(fēng)機(jī)向左運(yùn)動，直至接近開關(guān)短接，風(fēng)機(jī)在狀態(tài)末處于風(fēng)機(jī)支架最左端；風(fēng)機(jī)支架向下運(yùn)動，直至接近開關(guān)短接，根據(jù)書本的厚度風(fēng)機(jī)支架將停留在不同的高度。

翻書指令下達(dá)。右翻書狀態(tài)下，風(fēng)機(jī)啟動，吸附紙張，風(fēng)機(jī)支架向上運(yùn)動，提高紙張至一定高度。風(fēng)機(jī)支架向上運(yùn)動停止，翻書棒逆時針轉(zhuǎn)動，帶動紙張向右運(yùn)動。風(fēng)機(jī)停止，機(jī)械系統(tǒng)再一次進(jìn)行初始化。若是左翻書指令，在風(fēng)機(jī)啟動前，傳動帶將使風(fēng)機(jī)移動至最右端，然后再進(jìn)行后續(xù)的步驟。翻書機(jī)實體圖如圖5所示。

圖5 翻書機(jī)實體正面圖

4 測試結(jié)果

為了能夠準(zhǔn)確地反映本設(shè)計方案的實用性，設(shè)計人員選擇采光良好的房間，并將翻書機(jī)置于寬敞水平的實驗臺上，對翻書機(jī)進(jìn)行多次實際測試。測試的內(nèi)容包括向左翻書和向右翻書。測試結(jié)果如表1所列。

表1 測試結(jié)果

[1] Banks M D. Page turner: US, US7750226[P]. 2010-07-06.

[2] 宜亞麗, 武岳, 趙三猛,等. 全自動可調(diào)式翻頁機(jī)構(gòu)設(shè)計[J]. 機(jī)械研究與應(yīng)用, 2011(6):79-81.

[3] 董美云, 李培行. 腳踏式翻書機(jī)構(gòu)的設(shè)計及運(yùn)動仿真[J]. 大連交通大學(xué)學(xué)報, 2010, 31(2):24-27.

[4] 高之泉. 基于雙Kinect的人體運(yùn)動捕捉[D].南京：南京大學(xué),2017.

[5] 蔣亞杰. 基于Kinect的人體姿態(tài)識別和機(jī)器人控制[D].深圳：深圳大學(xué),2017.

[6] 姜延豐. 基于Kinect的動作評價方法研究[D].沈陽：沈陽工業(yè)大學(xué),2017.

[7] 李妮妮.計算機(jī)軟件開發(fā)新技術(shù)的應(yīng)用研究[J].科技展望,2016(5):10.

[8] Shotton J, Fitzgibbon A, Cook M, et al. Real-Time Human Pose Recognition in Parts from Single Depth Images[J]. Communications of the Acm, 2013, 56(1):116-124.

[9] Cao Z, Yin Q, Tang X, et al. Face recognition with learning-based descriptor[J]. 2010, 26(2):2707-2714.

[10] 王侃. 自動翻書機(jī)的設(shè)計[C]//全國機(jī)械設(shè)計年會, 長沙, 2008:317-319.