基于手勢(shì)識(shí)別的智能電視交互專(zhuān)利技術(shù)綜述

楊欣怡 李雙

摘 要：智能電視具有操作系統(tǒng)，支持第三方應(yīng)用資源實(shí)現(xiàn)功能擴(kuò)展，支持多網(wǎng)絡(luò)接入功能，具備人機(jī)交互、與其他智能設(shè)備進(jìn)行交互等。隨著計(jì)算機(jī)視覺(jué)的發(fā)展和人機(jī)交互的需要，手勢(shì)識(shí)別研究取得了蓬勃的發(fā)展，通過(guò)手勢(shì)識(shí)別對(duì)智能電視進(jìn)行控制和操作，能夠更輕松、高效地使用電視設(shè)備。文章利用專(zhuān)利數(shù)據(jù)庫(kù)對(duì)智能電視手勢(shì)識(shí)別技術(shù)進(jìn)行了數(shù)據(jù)統(tǒng)計(jì)和分析，對(duì)該領(lǐng)域的專(zhuān)利申請(qǐng)趨勢(shì)等情況做了歸納總結(jié)。

關(guān)鍵詞：智能電視；手勢(shì)識(shí)別；發(fā)展?fàn)顩r；專(zhuān)利

中圖分類(lèi)號(hào)：T-18 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：2095-2945（2018）24-0011-03

Abstract： Intelligent TV has the operating system， which supports the third party application resources to realize the function expansion， supports the multi-network access function， has the man-machine interaction， and carries on the interaction with other intelligent devices. With the development of computer vision and the need of human-computer interaction， the research of gesture recognition has made great progress. By controlling and operating intelligent TV through gesture recognition， one can more easily and more efficiently use TV equipment. This paper makes use of patent database to analyze the data of intelligent TV gesture recognition technology， and summarizes the trend of patent application in this field.

Keywords： intelligent TV； gesture recognition； development status； patent

引言

電視是家庭娛樂(lè)休閑必不可少的家用電器。如今，電視依然是最為普及的信息傳播載體，用戶(hù)在觀看普通節(jié)目的同時(shí)，還可以上網(wǎng)、娛樂(lè)等。從用戶(hù)的角度出發(fā)，通過(guò)自然簡(jiǎn)單、人性化的方式完成交互，無(wú)疑是用戶(hù)完成電視操作的最佳方式。而手勢(shì)具有直觀、自然、豐富的特點(diǎn)，是一種符合人們?nèi)粘Ａ?xí)慣的交互手段，是表達(dá)信息和特定意圖的良好載體，由于手勢(shì)具有上述特性，因此在對(duì)智能電視進(jìn)行操控中得到了良好的運(yùn)用，實(shí)現(xiàn)了對(duì)智能電視自然靈活地操作。

1 基于手勢(shì)識(shí)別的智能電視控制技術(shù)發(fā)展?fàn)顟B(tài)分析

1.1 技術(shù)分解

本文通過(guò)檢索獲得的專(zhuān)利申請(qǐng)進(jìn)行統(tǒng)計(jì)分析，對(duì)基于手勢(shì)識(shí)別的智能電視控制所涉及的具體技術(shù)和應(yīng)用領(lǐng)域進(jìn)行分解。

根據(jù)手勢(shì)采集設(shè)備可以將手勢(shì)識(shí)別系統(tǒng)大致分為基于數(shù)據(jù)手套和基于視覺(jué)的兩種手勢(shì)識(shí)別系統(tǒng)。其中，數(shù)據(jù)手套通過(guò)多個(gè)傳感器反饋各關(guān)節(jié)的數(shù)據(jù)，并通過(guò)位置跟蹤器返回人手所在的三維坐標(biāo)，從而獲取手勢(shì)在三維空間中的位置信息和手指的運(yùn)動(dòng)信息。通過(guò)數(shù)據(jù)手套可以直接獲取人手在三維空間中的位置和運(yùn)動(dòng)參數(shù)，數(shù)據(jù)精度高，但數(shù)據(jù)手套的不足是設(shè)備較為昂貴，長(zhǎng)時(shí)間佩戴時(shí)手部出汗等會(huì)造成用戶(hù)體驗(yàn)不佳。而基于視覺(jué)的手勢(shì)識(shí)別系統(tǒng)，通過(guò)攝像頭采集用戶(hù)的手勢(shì)信息，從圖像中提取手勢(shì)特征，識(shí)別出相應(yīng)的手勢(shì)，用戶(hù)無(wú)需佩戴額外的設(shè)備，可以直接與智能電視進(jìn)行交互，降低了輸入設(shè)備的成本，對(duì)用戶(hù)的限制較少，但從圖像中識(shí)別手勢(shì)具有一定的難度。

1.2 主要應(yīng)用場(chǎng)景

經(jīng)過(guò)對(duì)檢索文獻(xiàn)的分析可以發(fā)現(xiàn)，手勢(shì)識(shí)別在智能電視的應(yīng)用領(lǐng)域主要集中在對(duì)智能電視進(jìn)行常見(jiàn)功能的控制、游戲娛樂(lè)以及基于手勢(shì)的視頻推薦這三個(gè)方面。通過(guò)手勢(shì)可以簡(jiǎn)單的實(shí)現(xiàn)遙控器的基本功能，例如開(kāi)關(guān)機(jī)、音量調(diào)節(jié)，換臺(tái)等；在游戲娛樂(lè)方面，通過(guò)手勢(shì)參與視頻游戲，增加了用戶(hù)的體驗(yàn)度，豐富了游戲的形式，有利于提高用戶(hù)參與互動(dòng)的熱情，增加游戲的樂(lè)趣，使體驗(yàn)變得流暢自然；此外，通過(guò)用戶(hù)表情與手勢(shì)的識(shí)別，判斷用戶(hù)的偏好，例如豎起大拇指的手勢(shì)表示對(duì)某一正在觀看的節(jié)目類(lèi)型的喜愛(ài)，并根據(jù)獲取的用戶(hù)偏好向用戶(hù)推薦相適應(yīng)的資源節(jié)目，生成相應(yīng)的EPG菜單供用戶(hù)選擇，能夠人性化地實(shí)現(xiàn)節(jié)目推薦。

2 數(shù)據(jù)統(tǒng)計(jì)分析

2.1 全球相關(guān)技術(shù)申請(qǐng)量年趨勢(shì)

相關(guān)技術(shù)的專(zhuān)利從1998年開(kāi)始出現(xiàn)，由于識(shí)別技術(shù)要求較高，且硬件成本相對(duì)較高，期初發(fā)展較為緩慢，相關(guān)專(zhuān)利的申請(qǐng)量較少。但隨著后續(xù)識(shí)別技術(shù)的不斷創(chuàng)新發(fā)展，識(shí)別精度逐漸能夠滿(mǎn)足對(duì)各種操作的需求，且隨著人們對(duì)類(lèi)似手勢(shì)控制的簡(jiǎn)單化交互的需求的不斷增長(zhǎng)，不斷有科研力量投入到這一領(lǐng)域，隨著越來(lái)越多的申請(qǐng)人加入了該領(lǐng)域，該技術(shù)從2009年到2014年得到了迅速發(fā)展，申請(qǐng)量增長(zhǎng)較快，由此呈現(xiàn)了逐年增長(zhǎng)的發(fā)展趨勢(shì)，保持了較高的發(fā)展水平，有較大的發(fā)展空間，總體而言，基于手勢(shì)的智能電視交互從出現(xiàn)以來(lái)，發(fā)展迅速，得到了較好的發(fā)展。此外，從圖2可以看出，在基于手勢(shì)的智能電視交互技術(shù)領(lǐng)域，美國(guó)受理的申請(qǐng)量最多，其次是中國(guó)、日本、韓國(guó)、歐洲和臺(tái)灣。可見(jiàn)，美國(guó)和中國(guó)在這一領(lǐng)域具有最大的消費(fèi)潛力。

2.2 各技術(shù)分支的發(fā)展情況

經(jīng)過(guò)對(duì)各申請(qǐng)的統(tǒng)計(jì)發(fā)現(xiàn)，由于基于視覺(jué)的識(shí)別技術(shù)具有較大的優(yōu)勢(shì)，其只需要根據(jù)需要設(shè)置一個(gè)或多個(gè)攝像頭，通過(guò)獲取的用戶(hù)圖像中的手勢(shì)來(lái)進(jìn)行各種操作，而不需要多個(gè)傳感器用于識(shí)別用戶(hù)手勢(shì)，因此在各個(gè)時(shí)期基于視覺(jué)的手勢(shì)識(shí)別技術(shù)的智能電視交互技術(shù)方面的專(zhuān)利申請(qǐng)量都優(yōu)于基于輔助設(shè)備如數(shù)據(jù)手套的專(zhuān)利申請(qǐng)量。全部專(zhuān)利申請(qǐng)中，基于視覺(jué)的手勢(shì)識(shí)別占到了總數(shù)的74%，而基于數(shù)據(jù)手套的手勢(shì)識(shí)別方法多出現(xiàn)于早期的手勢(shì)識(shí)別以及視頻游戲領(lǐng)域。從發(fā)展階段上看，1999年之前專(zhuān)利申請(qǐng)主要集中通過(guò)各種技術(shù)識(shí)別手勢(shì)以實(shí)現(xiàn)對(duì)電視基本功能的調(diào)節(jié)，而其他運(yùn)用發(fā)展相對(duì)較為滯后，1999年之后，基于手勢(shì)識(shí)別的視頻游戲的申請(qǐng)量開(kāi)始出現(xiàn)，并呈現(xiàn)出增值的趨勢(shì)，此外，隨著技術(shù)的發(fā)展和人們對(duì)更多個(gè)性化播放的需求和其他功能多樣化的需求，又出現(xiàn)了通過(guò)手勢(shì)識(shí)別用戶(hù)偏好的個(gè)性化播放技術(shù)方面的專(zhuān)利申請(qǐng)以及其他方面的申請(qǐng)，申請(qǐng)量都出現(xiàn)了逐年上升的趨勢(shì)。

3 技術(shù)演進(jìn)及核心專(zhuān)利分析

3.1 技術(shù)發(fā)展演進(jìn)路線(xiàn)

通過(guò)對(duì)基于手勢(shì)識(shí)別的智能電視交互技術(shù)的專(zhuān)利技術(shù)進(jìn)行檢索分析，得到了該領(lǐng)域的發(fā)展路線(xiàn)。從相關(guān)的圖中可以看出早期專(zhuān)利申請(qǐng)主要涉及對(duì)智能電視的基本功能的控制，如換臺(tái)、音量調(diào)節(jié)等，涉及到的手勢(shì)識(shí)別技術(shù)最早包括基于由傳感器組成的可穿戴設(shè)備的識(shí)別技術(shù)及基于視頻的手勢(shì)識(shí)別技術(shù)，再往后發(fā)展涉及到的基于可穿戴設(shè)備的識(shí)別技術(shù)較少，主要涉及基于各種基于視覺(jué)的手勢(shì)識(shí)別技術(shù)；此外，基于手勢(shì)識(shí)別的視頻游戲的發(fā)展也較早，由于手勢(shì)控制游戲操作性強(qiáng)，可以為用戶(hù)帶來(lái)不一樣的體驗(yàn)，因此，這方面的技術(shù)也在不斷的發(fā)展和進(jìn)步。另外，隨著智能電視功能的不斷發(fā)展，逐漸產(chǎn)生了其他的應(yīng)用，如基于手勢(shì)的個(gè)性化視頻推薦、基于手勢(shì)的用戶(hù)身份識(shí)別、基于手勢(shì)軌跡的文字輸入等。可見(jiàn)，隨著技術(shù)的不斷發(fā)展，基于手勢(shì)識(shí)別的智能電視交互的應(yīng)用領(lǐng)域得到了不斷的擴(kuò)展，用戶(hù)參與度得到了提高，在方便操作的基礎(chǔ)上體驗(yàn)也更加豐富。

3.2 核心專(zhuān)利分析

核心專(zhuān)利的選取參考了被引用數(shù)量及同族數(shù)量的排序，分別就識(shí)別技術(shù)及主要應(yīng)用場(chǎng)景選取了幾篇專(zhuān)利進(jìn)行分析。

（1）基于識(shí)別技術(shù)分支的核心專(zhuān)利

US1998103905A是惠普公司于1998提出的一個(gè)申請(qǐng)，通過(guò)可穿戴的設(shè)備識(shí)別手勢(shì)命令。其通過(guò)不同手勢(shì)及手勢(shì)持續(xù)的時(shí)間來(lái)定義手勢(shì)命令，即通過(guò)獲取手勢(shì)的位置、位置變化的時(shí)間間隔獲取手勢(shì)對(duì)應(yīng)的不同指令。該可穿戴手勢(shì)指令識(shí)別裝置可以佩戴在手背，以便于檢測(cè)腕部及前臂的運(yùn)動(dòng)和轉(zhuǎn)動(dòng)，因此各位置的手勢(shì)命令可以容易地提交到該可穿戴設(shè)備，不用借助按鍵和其他選項(xiàng)，就可以通過(guò)手指發(fā)送手勢(shì)命令。

此外，在通過(guò)基于運(yùn)動(dòng)傳感器的可穿戴式設(shè)備進(jìn)行手勢(shì)識(shí)別的基礎(chǔ)上，有大量專(zhuān)利對(duì)這一技術(shù)進(jìn)行了改進(jìn)和優(yōu)化。例如，利用生物電流的方法。具體的，做某種手勢(shì)時(shí)，相應(yīng)的肌肉會(huì)產(chǎn)生微弱的生物電流，因此通過(guò)檢測(cè)肌肉電流的變化，配合其他傳感器檢測(cè)的加速度和角度數(shù)據(jù)，經(jīng)過(guò)處理檢測(cè)出手指、手掌、手腕、手臂的運(yùn)動(dòng)，可以提高手勢(shì)識(shí)別的精度，為用戶(hù)提供更好的體驗(yàn)。另外，還發(fā)展出了基于雷達(dá)的手勢(shì)識(shí)別裝置，這些技術(shù)和設(shè)備可以使得實(shí)現(xiàn)大量手勢(shì)并且通過(guò)穿戴式雷達(dá)系統(tǒng)使用這些手勢(shì)。替代地，可以使用穿戴式雷達(dá)系統(tǒng)來(lái)控制其他計(jì)算設(shè)備和與其他計(jì)算設(shè)備交互，諸如接收簡(jiǎn)單或非常復(fù)雜的手勢(shì)，用戶(hù)不必觸摸遠(yuǎn)程觸摸屏或旋鈕或按鈕，產(chǎn)生用于游戲控制器的大的身體運(yùn)動(dòng)，或控制聲音系統(tǒng)接收器來(lái)調(diào)整音量?？梢?jiàn)，基于穿戴式的手勢(shì)識(shí)別的智能電視的交互技術(shù)雖然占總申請(qǐng)量的比例較小，但是并沒(méi)有由于其固有的如設(shè)備成本等問(wèn)題而被淘汰，而是得到了不斷的發(fā)展，提高了用戶(hù)使用的舒適度與操作的精度。

此外，也有大量對(duì)基于視覺(jué)的手勢(shì)識(shí)別的智能電視交互技術(shù)的改進(jìn)和發(fā)展，主要涉及基于視覺(jué)的手勢(shì)識(shí)別技術(shù)的優(yōu)化，例如手勢(shì)圖像采集技術(shù)從2D圖像的手勢(shì)識(shí)別發(fā)展到基于3D圖像的手勢(shì)識(shí)別，手勢(shì)的檢測(cè)和分析方法涉及到基于運(yùn)動(dòng)信息的檢測(cè)分割、基于表觀特征的檢測(cè)分割、基于多模式的信息的檢測(cè)分割等技術(shù)；手勢(shì)識(shí)別涉及到基于模板匹配、基于人工神經(jīng)網(wǎng)絡(luò)、基于概率統(tǒng)計(jì)等多種方法以及對(duì)上述已有方法的改進(jìn)。

（2）基于主要應(yīng)用領(lǐng)域分支的核心專(zhuān)利

a.基本控制及視頻游戲

US2003156756A1為2003年申請(qǐng)的一項(xiàng)專(zhuān)利，涉及一種三維手勢(shì)識(shí)別系統(tǒng)，利用深度感知傳感器識(shí)別手勢(shì)以實(shí)現(xiàn)電視基本功能的控制以及游戲操作。本申請(qǐng)通過(guò)識(shí)別對(duì)象的移動(dòng)作為電子設(shè)備或系統(tǒng)，例如電視、游戲控制臺(tái)的輸入，系統(tǒng)檢測(cè)用戶(hù)的手指的相對(duì)位置，并解釋手的運(yùn)動(dòng)以作為電子設(shè)備的輸入。通過(guò)深度圖像消除背景和照明變化的影響，手勢(shì)識(shí)別系統(tǒng)包括三維傳感器系統(tǒng)、分割模塊、體位模塊和分類(lèi)模塊，此外還包括姿態(tài)表現(xiàn)模塊以提供作為可選的手勢(shì)特征。通過(guò)上述各模塊檢測(cè)手部在特定區(qū)域內(nèi)的移動(dòng)，可以通過(guò)檢測(cè)和解析獲取的手勢(shì)姿態(tài)改變參數(shù)動(dòng)態(tài)地創(chuàng)建可作為電視遙控指令或轉(zhuǎn)換為游戲中的動(dòng)作。

b.基于手勢(shì)的個(gè)性化播放

US2005022239A1為于2004年提出的一項(xiàng)專(zhuān)利，涉及一種用于推薦媒體內(nèi)容的系統(tǒng)，包括反饋系統(tǒng)，用于處理估計(jì)用戶(hù)反饋分?jǐn)?shù)的可靠性得分，通過(guò)將當(dāng)前的得分用于檢索以后用于推薦的媒體內(nèi)容；該系統(tǒng)還包括輸入裝置，用于評(píng)級(jí)媒體系統(tǒng)呈現(xiàn)的媒體內(nèi)容，輸入裝置可以進(jìn)一步包括輸入的語(yǔ)音的麥克風(fēng)或者獲取的手勢(shì)的攝像機(jī)識(shí)別裝置。反饋可以通過(guò)類(lèi)似將大拇指輸入到媒體系統(tǒng)以標(biāo)識(shí)用戶(hù)偏好，例如喜歡、厭惡、既不喜歡也不討厭，通過(guò)用戶(hù)反饋可以獲取實(shí)際觀看內(nèi)容的評(píng)分用于向用戶(hù)推薦適合用戶(hù)偏好的媒體內(nèi)容。即實(shí)現(xiàn)了通過(guò)攝像機(jī)等組成的手勢(shì)識(shí)別系統(tǒng)識(shí)別的手勢(shì)以判斷用戶(hù)偏好，并根據(jù)用戶(hù)偏好向用戶(hù)推薦相應(yīng)的媒體內(nèi)容。

c.其他應(yīng)用領(lǐng)域

基于手勢(shì)識(shí)別的智能電視交互在其他方面也得到了發(fā)展，例如在智能電視中通過(guò)手勢(shì)實(shí)現(xiàn)文字輸入；通過(guò)智能電視進(jìn)行購(gòu)物時(shí)，通過(guò)手勢(shì)識(shí)別鑒別用戶(hù)登錄權(quán)限；用戶(hù)通過(guò)智能電視進(jìn)行試衣時(shí)，通過(guò)手勢(shì)控制顯示的衣物的替換等。

我們有理由相信，隨著智能電視功能的不斷發(fā)展和進(jìn)步，基于手勢(shì)的智能電視交互也一定會(huì)隨著智能電視的發(fā)展而不斷充實(shí)其應(yīng)用領(lǐng)域，為用戶(hù)提供更多的方便。

4 結(jié)束語(yǔ)

本文梳理了基于手勢(shì)識(shí)別的智能電視交互技術(shù)的各技術(shù)分支及各應(yīng)用領(lǐng)域的發(fā)展情況，并對(duì)該領(lǐng)域的核心專(zhuān)利進(jìn)行了解析，有助于審查員全面了解有關(guān)技術(shù)的基本發(fā)展態(tài)勢(shì)，對(duì)審查工作有一定的幫助。

參考文獻(xiàn)：

[1]門(mén)樂(lè)，呂淼，胡澤，等.智能電視手勢(shì)操作技術(shù)的專(zhuān)利分析[J].電視技術(shù)，2013，27（S2）：6-7.

[2]劉振宇，管泉，劉瑾，等.全球智能電視姿勢(shì)識(shí)別專(zhuān)利分析[J].信息終端與顯示，2015，39（18）：22-32.

[3]武霞，張崎，許艷旭.手勢(shì)識(shí)別研究發(fā)展現(xiàn)狀綜述[J].電子科技，2013，26（6）：171-174.