智能電視人機(jī)交互技術(shù)及其專利布局

王艷坤

（國家知識產(chǎn)權(quán)局專利局電學(xué)部，北京 100088）

1 智能電視的概念

智能電視是傳統(tǒng)電視與各種新技術(shù)結(jié)合產(chǎn)生的。智能電視可以定義為具有操作系統(tǒng)，可以為第三方應(yīng)用提供功能擴(kuò)展，能夠?qū)崿F(xiàn)多網(wǎng)絡(luò)接入，具備人機(jī)交互功能的電視。當(dāng)前階段，智能電視具備電視點(diǎn)播、搜索、應(yīng)用商店以及個性化智能推薦等人機(jī)交互體驗。

2 智能電視的人機(jī)交互技術(shù)

智能電視人機(jī)交互是指用戶在觀看電視或者使用第三方應(yīng)用時，通過智能遙控設(shè)備或者電視機(jī)的人機(jī)交互模塊進(jìn)行的信息交換與操作過程。

隨著計算機(jī)技術(shù)、通信技術(shù)的快速發(fā)展，人機(jī)交互技術(shù)逐漸成為智能電視行業(yè)發(fā)展的重要分支?，F(xiàn)階段，智能電視人機(jī)交互包括智能遙控、語音識別、姿勢和手勢識別以及人臉識別等分支技術(shù)[1]。

3 智能電視人機(jī)交互技術(shù)及其專利布局

3.1 從申請人角度來看

調(diào)查數(shù)據(jù)顯示，2005年之前，我國智能電視人機(jī)交互技術(shù)專利的申請量遠(yuǎn)遠(yuǎn)落后于美國、韓國、日本等國家。但是從2008年開始，我國在該領(lǐng)域的專利申請量快速增加。根據(jù)中國專利全文庫（CNTXT）檢索的結(jié)果，截止2022年8月，在國家知識產(chǎn)權(quán)局提交的有關(guān)智能電視的專利申請共53 472件，其中智能電視的人機(jī)交互技術(shù)占27 137件，在智能電視技術(shù)發(fā)展中占有50.7%的比例。其中，中國占有22 464件發(fā)明專利，美國占2 908件，韓國占553件。中國、美國在該領(lǐng)域引領(lǐng)全球技術(shù)發(fā)展，韓國、開曼、日本等緊隨其后。世界各國在中國智能電視人機(jī)交互領(lǐng)域的專利申請數(shù)量如圖1所示。

圖1 世界各國在中國申請智能電視人機(jī)交互領(lǐng)域的專利申請數(shù)量圖

我國智能電視人機(jī)交互領(lǐng)域的專利申請量從2011年開始逐年大批量增多，尤其是2020年、2021年，申請量更是成倍增長。專利申請布局主要集中在H04N、G06F、G06K等領(lǐng)域，如圖2所示。H04N、G06F、G06K屬于國際專利分類表IPC分類號。H04N領(lǐng)域涉及圖像通信信號的處理，G06F領(lǐng)域涉及電數(shù)字?jǐn)?shù)據(jù)處理，包括數(shù)據(jù)的輸入、輸出、功能器件之間的交互，信號的識別、轉(zhuǎn)換、錯誤檢測及監(jiān)控等；G06K領(lǐng)域涉及圖形數(shù)據(jù)讀取，圖像或視頻識別和理解等。以騰訊、華為、海信、小米、百度、長虹、TCL等為代表的中國企業(yè)積極在這些領(lǐng)域研發(fā)和布局，不斷發(fā)展、創(chuàng)新，領(lǐng)跑世界智能電視產(chǎn)業(yè)，并仍然在不斷地進(jìn)步與提高，擁有巨大的 潛力[2]。

圖2 智能電視人機(jī)交互技術(shù)專利申請趨勢圖

3.2 從智能電視人機(jī)交互技術(shù)的主要技術(shù)發(fā)展方向來看

3.2.1 智能遙控

隨著全球第一款智能電視的問世，傳統(tǒng)的紅外線遙控器已滿足不了智能電視的功能需求，智能遙控因此產(chǎn)生。智能遙控器包括簡化版遙控器和多功能版遙控器[3]。

（1）簡化版遙控器。簡化版遙控器可以使用戶通過簡單的按鍵操作便能實現(xiàn)智能遙控。簡化版遙控器的設(shè)計更多地考慮了用戶的思維習(xí)慣和操作習(xí)慣，以人機(jī)工程學(xué)設(shè)計原理為基礎(chǔ)，對遙控器的大小、布局以及與電視進(jìn)行信息通信等方面進(jìn)行優(yōu)化。

（2）多功能版遙控器。多功能版遙控器既能實現(xiàn)簡化版遙控器的功能，又能實現(xiàn)空間操控、語音遙控及觸摸操控等功能。多功能版遙控器的空間操控主要運(yùn)用在智能電視娛樂健身功能中，通過控制遙控器在空間移動，實現(xiàn)遙控光標(biāo)的自由移動。多功能版遙控器的語音遙控是指用戶通過遙控器上設(shè)置的語音識別模塊，將用戶語音指令轉(zhuǎn)換為電視能夠理解的操作指令，從而實現(xiàn)相應(yīng)的操控功能。多功能版遙控器的觸摸操控是指用戶通過遙控器上的觸摸屏，操控電視屏幕上光標(biāo)的移動并選擇相關(guān)功能菜單。

國外企業(yè)在智能電視人機(jī)交互的智能遙控領(lǐng)域的研究和發(fā)展先于我國，且較早地進(jìn)行了專利布局[4]。但是我國在該領(lǐng)域快速發(fā)展、成熟，專利申請趨向穩(wěn)定，專利布局逐漸趨向完善，涵蓋技術(shù)面廣。我國的專利申請布局主要集中在國際專利分類表IPC分類的H04N、G06F、G06K等領(lǐng)域，多功能遙控技術(shù)在智能電視人機(jī)交互專利中占有相當(dāng)大的比重。當(dāng)前，為了進(jìn)一步完善智能電視的使用功能，提高用戶體驗，專利申請布局中對遙控器的改進(jìn)包括觸摸屏觸控操作準(zhǔn)確度，麥克語音識別及時性及準(zhǔn)確度，增加鍵盤、鼠標(biāo)模塊以獲取空間操控功能，以及上述多種功能組件的組合模式。遙控器技術(shù)專利申請趨勢如圖3所示。

圖3 遙控器技術(shù)專利申請趨勢圖

3.2.2 語音識別

智能電視的語音識別是指將用戶的操控指令以語音的形式發(fā)送給智能電視，智能電視對該語音指令進(jìn)行理解并執(zhí)行相應(yīng)操作[5]。

國外企業(yè)在智能電視語音識別領(lǐng)域的研究和應(yīng)用先于我國，且較早地開始專利布局。美國、日本、韓國等國在該領(lǐng)域申請了大量的專利。

從2010年之后，我國的智能電視語音識別技術(shù)進(jìn)入快速發(fā)展階段，在該領(lǐng)域的專利申請一直是我國企業(yè)布局的重點(diǎn)，每年的專利申請量都很大，主要集中在國際專利分類表IPC分類的H04N、G06F、G06K等領(lǐng)域，具體如圖4所示，涉及語音信號的傳輸和接收、識別精度等方面的改進(jìn)。該領(lǐng)域?qū)＠暾埣夹g(shù)的發(fā)展方向主要包括如何提高自然語言識別的精度，如何提高語音識別的完整性，音頻信號的降噪處理以及語音模型的改進(jìn)等多樣化的需求。

圖4 語音識別技術(shù)專利申請趨勢圖

3.2.3 姿勢和手勢識別

智能電視的姿勢識別是指通過智能電視設(shè)置的攝像頭，攝取用戶肢體實時視頻或圖像，通過數(shù)學(xué)算法或神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)模型對視頻圖像信息及空間數(shù)據(jù)進(jìn)行學(xué)習(xí)和判斷，以識別用戶意圖來控制智能電視的相關(guān)操作。智能電視的姿勢識別包括靜態(tài)識別和動態(tài)識別，不僅可以識別用戶人體的整體，也可以識別人體的一部分。姿勢識別易受所處環(huán)境的影響，包括空間和光線等因素。因此，姿勢識別的算法、學(xué)習(xí)模型以及識別準(zhǔn)確性是其發(fā)展和布局的主要方向[6]。

智能電視的手勢識別是指智能電視對用戶的手或/與胳膊相結(jié)合而產(chǎn)生的動作的識別進(jìn)而控制智能電視的操作，包括靜態(tài)手勢識別和動態(tài)手勢識別。其與姿勢識別的不同之處僅在于識別的對象為手勢，其也易受所處環(huán)境的影響[7]。

美國、日本、韓國等國企業(yè)在該領(lǐng)域的專利布局較早，但逐漸被我國企業(yè)趕超。從2010年開始，我國企業(yè)有關(guān)姿勢和手勢識別的專利申請量逐年遞增。姿勢和手勢識別逐漸成為我國企業(yè)在智能電視行業(yè)中專利布局的重點(diǎn)領(lǐng)域，主要集中在國際專利分類表IPC分類的G06F領(lǐng)域，具體如圖5所示。在該領(lǐng)域，專利申請技術(shù)方案的發(fā)展方向主要包括如何對姿勢和手勢跟蹤定位，如何對背景信號降噪，姿勢和手勢與人臉識別的融合等多樣化的需求。

圖5 姿勢和手勢識別技術(shù)分類號分析圖

3.2.4 人臉識別

智能電視的人臉識別是指智能電視基于數(shù)學(xué)算法或神經(jīng)網(wǎng)絡(luò)模型對人臉視覺特征信息進(jìn)行分析比較，以進(jìn)行相應(yīng)的智能操控。智能電視的人臉識別包括人臉的檢測、面部表情或特征的定位以及與人臉數(shù)據(jù)庫的比對。智能電視的人臉識別的發(fā)展主要經(jīng)歷了人臉特征的自動識別階段，數(shù)學(xué)算法或模型的改進(jìn)階段以及外界因素影響的魯棒性提高階段[8-9]。

隨著我國企業(yè)專利保護(hù)意識的提高，在該領(lǐng)域的專利申請量已逐漸超過了國外企業(yè)。從2011年開始，有關(guān)人臉識別技術(shù)的專利申請量逐年遞增，人臉識別技術(shù)也逐步成熟和完善[10-11]。我國企業(yè)在該領(lǐng)域的專利布局集中在國際專利分類表IPC分類的G06K、G06F、H04N等領(lǐng)域方向，具體如圖6所示。目前，人臉識別技術(shù)改進(jìn)方向主要有：

圖6 人臉識別技術(shù)專利申請趨勢圖

（1）為提高時效性，對人臉識別所運(yùn)用的神經(jīng)網(wǎng)絡(luò)模型算法的改進(jìn)；

（2）如何減少人臉識別過程中外部因素諸如光照條件以及人臉上的胡須、頭發(fā)等影響，以提高識別精度；

（3）人臉上的眼睛視線焦點(diǎn)、嘴巴開閉程度、各種表情情緒的精確識別及智能化推薦。

4 結(jié) 語

根據(jù)中國專利全文庫（CNTXT）檢索的結(jié)果可以發(fā)現(xiàn)，隨著計算機(jī)和通信技術(shù)的進(jìn)步，在用戶體驗需求不斷提升的情況下，尤其是隨著智能電視顯示屏的功能更加全面，應(yīng)用的場景更加多變，在不同場景中能夠選擇的顯示屏的尺寸也更多樣化的情況下，面對大尺寸顯示屏如超過86寸的會議白板等，智能電視人機(jī)交互技術(shù)將呈現(xiàn)多功能遙控、語音、體感、人臉識別相結(jié)合的多模式交互方式，如語音、臉部表情、嘴唇開啟閉合程度及相關(guān)動作、手及與胳膊結(jié)合的動作、肢體姿勢等，以充分理解用戶意圖，執(zhí)行指令操作。

在我國智能電視領(lǐng)域興起之前，美國的蘋果、谷歌、微軟，韓國的三星、LG，日本的索尼、松下等公司已經(jīng)完成了智能電視上游技術(shù)領(lǐng)域的專利布局。面對當(dāng)前國際貿(mào)易存在的很大不確定因素以及復(fù)雜的國際知識產(chǎn)權(quán)環(huán)境，以騰訊、華為、海信、小米、百度、長虹、TCL等為代表的中國企業(yè)需要合理運(yùn)用知識產(chǎn)權(quán)制度，從自身技術(shù)優(yōu)勢出發(fā)，進(jìn)行智能電視人機(jī)交互領(lǐng)域的專利布局分析，梳理智能電視領(lǐng)域的全球發(fā)展脈絡(luò)，把握機(jī)會，提升自身競爭力，在知識產(chǎn)權(quán)強(qiáng)國建設(shè)政策激勵下，全面提升知識產(chǎn)權(quán)創(chuàng)造、運(yùn)用和保護(hù)，創(chuàng)建中國智能電視的自有技術(shù)生態(tài)。