一種新型智能電視遙控器的設計與實現(xiàn)

蔡龍龍，林志賢，鄭德澤

（1.福州大學 物理與信息工程學院，福建 福州 350002；2.冠捷顯示科技（廈門）有限公司創(chuàng)新中心，福建 廈門 361101）

一種新型智能電視遙控器的設計與實現(xiàn)

蔡龍龍1，林志賢1，鄭德澤2

（1.福州大學 物理與信息工程學院，福建 福州 350002；2.冠捷顯示科技（廈門）有限公司創(chuàng)新中心，福建 廈門 361101）

針對當前手勢識別的攝像頭安裝在電視機上，存在受距離和視角的影響以及手勢識別率較低的問題，設計并實現(xiàn)了一種將攝像頭集成到遙控器，讓遙控器完成手勢識別，并通過紅外通信方式傳送到智能電視實現(xiàn)控制的手勢識別系統(tǒng)。該遙控器還設計實現(xiàn)了絕對坐標空中鼠標的功能，給電視用戶提供更加方便、快捷的智能交互體驗。

遙控器；手勢識別；絕對定位空中鼠標

追溯到20世紀50年代，第一款應用于電視的遙控器在美國誕生。與現(xiàn)在使用的遙控器有很大的不同，該遙控器是有線的。若干年后，一款依托超聲波原理，通過設置不同按鍵頻率來控制電視頻道切換以及音量大小的遙控器出現(xiàn)了。

如上所述，兩種遙控器功能設置上十分簡單。直至60年代，電視遙控器取得很大的發(fā)展，無線遙控器得以實現(xiàn)，并且功能上不再局限于頻道切換和音量大小調(diào)節(jié)，在色調(diào)、亮度等方面也是可以控制的[1]。

隨著時間推移和技術的發(fā)展，傳統(tǒng)的電視逐漸過渡發(fā)展為智能電視。智能電視對交互控制有著更高的要求，傳統(tǒng)五向按鍵操作為基礎的遙控器已無法操作現(xiàn)有很多應用軟件界面，需要有新的交互模式。在此背景下設計開發(fā)了一種新的多功能遙控器以配套智能電視是十分有必要和迫切的。

目前市面上手勢識別攝像頭一般都安放在電視上，受距離和視角的影響，手勢識別準確率較低，用戶體驗不是很好。本設計將手勢識別攝像頭放置在遙控器上，近距離操作可以大幅提高手勢識別準確率，給用戶帶來良好的交互體驗。同時本設計還加入基于絕對坐標技術空中鼠標功能，用戶揮動手中的遙控器便可利用光標輕松操控電視[2-6]。

1 硬件設計部分

1.1 硬件的總體設計

圖1為系統(tǒng)的總體設計框圖。MCU采用NXP公司的32位ARM微控制器LPC1113FHN33/203。手勢識別模塊采用PixArt公司的PAC7620，空中鼠標模塊采用PixArt公司的PAJ7026。電源模塊為系統(tǒng)提供穩(wěn)定的直流電源。整個系統(tǒng)通過紅外協(xié)議與電視完成通信。

1.2 電源模塊

本設計遙控器采用兩節(jié)干電池，即3 V電源供電。MCU和PAJ7026直接適用3 V電源即可工作。因為PAC7620的VLED采用4.2 V電源，VDD和VBUS采用3.5 V電源。所以兩節(jié)干電池3 V電壓是不夠的。因此采用G5177A進行升壓轉(zhuǎn)換。圖2所示VBAT為干電池電壓，根據(jù)公式VOUT=VREF×(1+R44/R45)，其中VREF=1.23，所以配置電阻R44=140 kΩ，R45=57.6 kΩ，計算出輸出電壓為4.209 V，滿足要求。然后采用LDO芯片AZ1117D-AD?JTRE1，根據(jù)公式VOUT=VREF×（1+R2/R1），其中VREF取值為1.25 V，配置R46為680Ω，R47為1.24 kΩ，計算出輸出為3.529 V。

圖1 系統(tǒng)的總體設計框圖

圖2 電源電路原理圖

1.3 手勢識別模塊PAC7620

PixArt公司的PAC7620將手勢識別功能集成在一塊芯片內(nèi)，并采用I2C接口與MCU進行通信。該芯片預置8種手勢動作，包括向上、向下、向左、向右、向后、向里、向外、順時針以及逆時針這些動作。

PAC7620的功能框圖如圖3所示。VDD提供芯片工作電源，VLED為紅外LED供電。手勢傳感器內(nèi)建一個紅外LED作為照明光源，通過辨認使用者手勢的變化，針對不同的手指和手掌的動作，將影像轉(zhuǎn)換成相對的移動數(shù)據(jù)資料輸給手勢識別模塊。手勢識別模塊可以辨別8種類型的預置手勢動作，如上、下、左、右、旋轉(zhuǎn)等。此外由于嵌入紅外LED，傳感器在低光照度環(huán)境下仍然可以正常工作。

圖3 PAC7620功能結(jié)構圖

圖4所示為PAC7620的手勢操作范圍，手勢檢測可工作在靠近模式或是較遠模式?？拷Ｊ绞謩莶僮骶嚯x為5～15 cm，操作視角為60°；較遠模式手勢操作距離為15～30 cm，操作視角為30°。

此外，對于在不同操作環(huán)境，PAC7620提供了環(huán)境照度小于7 000 lx室內(nèi)模式和照度在3 000 lx和18 000 lx的戶外模式。為了檢測目標的離開和靠近，PAC7620還專門提供了內(nèi)置的臨近檢測。PAC7620在節(jié)能機制上有很大的靈活性。

圖4 PAC7620手勢操作范圍

PAC7620通過I2C與MCU通信，如圖5所示為PAC7620與MCU接口電路。

圖5 PAC7620與MCU接口電路

SCL和SDA是漏極開路，所以加上拉電阻。而且還要把手勢識別模塊的外部中斷口與MCU的中斷口連接。

1.4 絕對定位空中鼠標模塊PAJ7026

PAJ7026的功能框圖如圖6所示。PAJ7026采用多物體動作追蹤（Multi Object Tracking，MOT）技術，內(nèi)部集成了高品質(zhì)的CMOS圖像傳感器、圖像處理DSP及G-Sensor加速度傳感器。CMOS圖像傳感器通過高幀率（最高達200 f/s）技術捕捉移動物體的灰度圖，以像素級別（11μm×11μm）的精準度追蹤物體的運動，通過內(nèi)部圖像處理DSP提取分析物體的特征，輸出物體的中心坐標、大小、輪廓、寬高比及移動量等信息。

圖6 PAJ7026功能框圖

圖7為絕對定位空中鼠標系統(tǒng)的原理示意圖。圖中（1）表示在電視機機殼上方居中位置放置一光源參考點,光學參考點發(fā)射出參考定位紅外信號；圖中（2）表示光學定位模塊（即PAJ7026的CMOS圖像傳感器）接收參考紅外定位信號，通過接收到的信號監(jiān)控遙控器指向與光源參考點的相對位置，進而計算出絕對坐標信息；圖中（3）表示遙控器的紅外發(fā)光二極管將經(jīng)過處理的坐標信息傳送到電視的接收端，經(jīng)電視處理后完成操作。

圖7 絕對定位空中鼠標系統(tǒng)的原理示意圖

1.5 紅外發(fā)光二極管選型

放置在電視機機殼上方居中位置的光學參考點選用850 nm波長的紅外發(fā)光二級管，由電視機主芯片產(chǎn)生PWM控制信號，經(jīng)由PWM驅(qū)動電路進行放大，推動850 nm波長的紅外發(fā)光二級管發(fā)出紅外定位信號。

遙控器的紅外發(fā)射選用940 nm波長的紅外發(fā)光二級管，不會造成和用于光學定位的850 nm紅外信號產(chǎn)生相互干擾。

1.6 MCU選型

NXP（恩智浦半導體）的32位LPC1113FHN33/203，是市面上性價比較高的32位MCU，功耗非常低，適用于配備傳感器功能的遙控器。該芯片基于ARM Cor?tex-M0，工作頻率高達50 MHz，包括64 kbyte的Flash，8 kbyte的數(shù)據(jù)存儲器。具有一條快速模式的I2C接口，用于和手勢識別模塊PAC7620的通信。而空中鼠標模塊PAJ7026則通過SPI接口和MCU進行通信。

2 系統(tǒng)軟件設計

系統(tǒng)軟件設計分為遙控器端及接收端兩部分。遙控器端手勢識別模塊、空中鼠標模塊及按鍵模塊圍繞MCU工作，并把相關信息通過遙控編碼發(fā)送到接收端；接收端把接收到的信號傳送給電視主芯片，由電視主芯片對遙控信號進行處理并執(zhí)行相應的命令，控制電視機進行響應。

該系統(tǒng)紅外編碼方式為RCMM協(xié)議。飛利浦的RCMM協(xié)議針對多媒體應用進行優(yōu)化，可實現(xiàn)低功耗高碼率傳輸。本設計中具體紅外編碼協(xié)議定義如圖8所示，其中X，Y坐標的范圍為0～1 024，按鍵及手勢共采用48個鍵值，0～40為遙控器按鍵，41～48為預定義的8個手勢動作。

圖8 RCMM紅外編碼協(xié)議定義

Android 4.0框架層已支持普通HID鼠標的工作模式[7-9]，但缺乏絕對定位鼠標的支持。普通HID鼠標通過USB接口向主機系統(tǒng)報告的信息包括按鍵信息、X移動點數(shù)、Y移動點數(shù)等，而絕對定位鼠標通過USB口向主機系統(tǒng)報告的信息則包括按鍵信息、X坐標、Y坐標等。本案例軟件設計基于標準HID鼠標代碼做進一步修改并重新編譯系統(tǒng)[10]，實現(xiàn)對絕對坐標HID鼠標的支持，其絕對坐標定位精度為2 048×2 048，即X，Y坐標范圍均為0～2 048。

遙控器工作流程如圖9所示。

由于用戶在操作時同時使用手勢功能和按鍵、鼠標功能的概率極低，本設計把這兩種功能設計為互斥模式，即在手勢操作時會關閉按鍵和鼠標功能模塊的電源以節(jié)省電池的損耗。同樣地，在按鍵、鼠標功能操作時會關閉手勢模塊的電源以節(jié)省電池的損耗。

圖9 遙控器工作流程示意圖

3 實際測試

所設計的遙控器實物圖如圖10所示，遙控器控制面上有手勢識別功能和空中鼠標功能啟動按鍵，方便兩種功能的啟動和切換，便于低功耗管理。手勢識別模塊的攝像頭設計在遙控器正面，在空中鼠標功能啟動按鍵的右下方。按下手勢識別功能按鍵，手勢識別模塊啟動，實際測試中發(fā)現(xiàn)操作視角在0～54°時，模塊能夠較準確地識別手勢，相當靈敏?？罩惺髽四K置于遙控器前緣中間，位于紅外發(fā)光二極管的旁邊，并且應該盡可能地貼近遙控器前緣。元器件布局時，遙控器的紅外發(fā)射發(fā)光二極管要盡量靠近PAJ7026模塊。切換至空中鼠標功能時，電視顯示界面的光標能夠很流暢地隨著遙控器的指向進行移動，且效果較好。

圖10 遙控器實物圖

為了驗證手勢識別模塊集成到遙控器的準確率，本文進行了手勢識別模塊安裝在電視機與手勢識別模塊集成到遙控器準確率對比試驗。從表1中可以看出，本文改進的方法比手勢識別模塊準確率有很大的提升。

表1 實驗準確率對比

4 小結(jié)

隨著智能電視的迅速普及，智能電視對人機交互的要求也越來越高，智能、快捷、簡單的操作方式將會成為人們對智能電視操控的新主流。本文介紹了融合手勢功能與絕對鼠標功能的新型遙控器設計方案，實現(xiàn)了自然友好的人機交互操作。該系統(tǒng)手勢識別靈敏度高，用戶可在紅外遙控范圍內(nèi)輕松實現(xiàn)手勢操作。該系統(tǒng)空中鼠標功能采用基于光學定位的技術，相對于現(xiàn)有基于陀螺儀傳感器的空中鼠標，具有高精度、高靈敏度、高速度的特性。本設計系統(tǒng)成本低廉，以優(yōu)異的性價比給電視用戶帶來更加方便、快捷的智能交互體驗。

[1] 許永樂.智能遙控技術的研究與實現(xiàn)探微[J].廈門科技，2013（4）：48-50.

[2] 呂穎，方漪.基于攝像頭的手勢捕捉技術的研究[J].科技信息，2009（1）：108-110.

[3]WRIGHT M，LIN C J，NEILL E O，et al.3D gesture recogni?tion:an evaluation ofuser and system performance[M].Pervasive Computing.[S.l.]：Springer Berlin Heidelberg，2011：294-313.

[4]CAMPBELL LW，BECKER D A，AZARBAYEJANIA，etal.In?variant features for 3-Dgesture recognition[C]//Proc.the Second International Conference on Automatic Face and Gesture Recogni?tion.[S.l.]：IEEE Press，1996：157-162.

[5] DAUGMAN J.Face and gesture recognition:Overview[J].IEEE Trans.Pattern Analysis and Machine Intelligence，1997,19（7）：675-676.

[6] 趙偉，林志賢，郭太良，等.智能電視指向性遙控器的設計與實現(xiàn)[J].電視技術，2012，36（10）：31-34.

[7] 劉莎莎,張哲.基于Android平臺的鼠標的設計與實現(xiàn)[J].電子器件，2012（1）：79-82.

[8] 郁亞男.基于Android平臺的人機交互的研究與實現(xiàn)[D].北京：北京郵電大學，2011.

[9] 劉敏.移動終端的Android移植與應用程序設計[D].西安：西安電子科技大學，2011.

[10] Universal Serial Bus HID Usage Tables：Version 1.12[EB/OL]. [2014-03-11].http://www.usb.org/developers/devclass_docs/Hut 1_12v2.pdf.

Design and Implementation of New Type Remote Controller for Smart TV

CAI Longlong1，LIN Zhixian1，ZHENG Deze2
（1.College of Physics and Information Engineering，F(xiàn)uzhou University，F(xiàn)uzhou 350002，China；2.Inovation Center,TPV Display Technology(Xiamen)Co.,Ltd.,Fujian Xiamen 361101,China）

Aiming at the current gesture recognition camera installed on the TV,the influence of distance and angle of view exist along with the problem that gesture recognition is low.A remote control system which can recognize hand gesture information via IR transfer to smart TV is designed.At the same time,the function of absolute positioning air mouse is designed in remote controller,providing more convenient and fast intelligent interactive experience to television users.

remote controller;gesture recognition;absolute positioning air mouse

TN949.6

A

?? 盈

2014-04-22

【本文獻信息】蔡龍龍，林志賢，鄭德澤.一種新型智能電視遙控器的設計與實現(xiàn)[J].電視技術，2014，38（22）.

國家“863”重大專項（2012AA03A301；2013AA030601）；國家自然科學基金項目（61101169；61106053）；福建省自然科學基金項目（2011J01347）；福建省教育廳A類項目（JA11013）