從專利視角看人機(jī)交互全球技術(shù)發(fā)展態(tài)勢(shì)

孫劍鋒 夏蕓 李慧穎 / 工業(yè)和信息化部電子知識(shí)產(chǎn)權(quán)中心

從本期開(kāi)始，“EIPC 咨詢”欄目正式與大家見(jiàn)面，EIPC 咨詢是由工業(yè)和信息化部電子知識(shí)產(chǎn)權(quán)中心研究部供稿的專利情報(bào)咨詢研究專欄。 專欄包括各行業(yè)宏觀態(tài)勢(shì)分析、知識(shí)產(chǎn)權(quán)評(píng)議以及熱點(diǎn)問(wèn)題和法律政策探討等，從知識(shí)產(chǎn) 權(quán)視角出發(fā)為讀者研判產(chǎn)業(yè)趨勢(shì)，揭示發(fā)展風(fēng)險(xiǎn)，挖掘潛在機(jī)會(huì)。

更多詳細(xì)研究?jī)?nèi)容，請(qǐng)聯(lián)系工業(yè)和信息化部電子知識(shí)產(chǎn)權(quán)中心研究部。

引言

人機(jī)交互是指人與計(jì)算機(jī)之間使用某種對(duì)話語(yǔ)言，以一定的交互方式，為完成確定任務(wù)的人與計(jì)算機(jī)之間的信息交換過(guò)程。伴隨計(jì)算機(jī)的更新?lián)Q代和計(jì)算速度的加快，人機(jī)交互也經(jīng)歷了快速的發(fā)展，人機(jī)交互進(jìn)入了智能化交互階段：像人與人交流一樣簡(jiǎn)單、自然。

圖1 全球人機(jī)交互領(lǐng)域?qū)＠暾?qǐng)趨勢(shì)

圖2 全球人機(jī)交互領(lǐng)域主要技術(shù)產(chǎn)出國(guó)年度申請(qǐng)趨勢(shì)

最近幾年，美國(guó)、日本等廠商推出的游戲主機(jī)風(fēng)扉全球，極大刺激了人機(jī)交互技術(shù)的發(fā)展。用戶需求的多元化和對(duì)健身、娛樂(lè)的大量需求，讓廣大企業(yè)看到了新的商機(jī)，這極大的激發(fā)了眾多新創(chuàng)企業(yè)專注于這一領(lǐng)域。從全球發(fā)展?fàn)顟B(tài)來(lái)看，無(wú)論是發(fā)展速度還是產(chǎn)業(yè)規(guī)模，人機(jī)交互領(lǐng)域都值得引起高度重視。

目前，全球范圍內(nèi)人機(jī)交互的通用技術(shù)和研究熱點(diǎn)主要有以下幾個(gè)方向：手勢(shì)及體感、語(yǔ)音和面部。手勢(shì)及體感主要指通過(guò)對(duì)肢體的動(dòng)作和位置以及手指細(xì)節(jié)狀態(tài)的偵測(cè)而實(shí)現(xiàn)的人與機(jī)器的信息交互及控制；語(yǔ)音指通過(guò)自然語(yǔ)言將信息在人與機(jī)器之間傳遞而實(shí)現(xiàn)交互；面部則主要包括對(duì)人臉、面部表情等特征的檢測(cè)識(shí)別來(lái)實(shí)現(xiàn)人機(jī)交互的方式。本文將從專利分析出發(fā)，依據(jù)專利優(yōu)先權(quán)國(guó)或首次申請(qǐng)國(guó)為主要統(tǒng)計(jì)依據(jù)，試為讀者呈現(xiàn)全球范圍內(nèi)，人機(jī)交互技術(shù)發(fā)展的現(xiàn)狀和趨勢(shì)。

人機(jī)交互進(jìn)入全新階段

全球人機(jī)交互技術(shù)專利申請(qǐng)的總體分布顯示，語(yǔ)音控制占整體專利申請(qǐng)的近一半，手勢(shì)及體感和面部的專利申請(qǐng)占比分別為36%和17%。以鍵盤(pán)、鼠標(biāo)等為代表的人機(jī)交互方式逐漸在娛樂(lè)等領(lǐng)域被語(yǔ)音、體感等方式為代表的新的人機(jī)交互方式所替代，人機(jī)交互技術(shù)已經(jīng)進(jìn)入到一個(gè)全新的階段。（見(jiàn)圖1）

上世紀(jì)90 年代開(kāi)始，移動(dòng)通信從萌芽、迅速發(fā)展到逐步穩(wěn)定的階段，期間產(chǎn)生的大量新技術(shù)改變了人們的生活方式和消費(fèi)習(xí)慣，也極大促進(jìn)了相關(guān)技術(shù)的發(fā)展。2000 年后，智能終端如智能手機(jī)、平板電腦、掌上電腦的出現(xiàn)促進(jìn)了新的交互方式的發(fā)展，再次掀起了人機(jī)交互技術(shù)發(fā)展的熱潮。

主流技術(shù)中，語(yǔ)音起步相對(duì)較早，2000 年左右達(dá)專利申請(qǐng)到高峰，近年來(lái)呈下降趨勢(shì)。面部、手勢(shì)及體感作為新的交互方式，2007 年之后迅猛發(fā)展。語(yǔ)音作為目前最受關(guān)注的人機(jī)交互技術(shù)之一，專利數(shù)據(jù)充分說(shuō)明了目前語(yǔ)音交互技術(shù)發(fā)展較為成熟，技術(shù)指標(biāo)能滿足一般應(yīng)用的需求：僅從識(shí)別或合成等方面開(kāi)展工作難以在產(chǎn)品的綜合體驗(yàn)上產(chǎn)生大的突破，未來(lái)這一領(lǐng)域的研究重點(diǎn)集中在自然語(yǔ)言理解方面。另一方面，體感和手勢(shì)受到業(yè)界的青睞，隨著居民需求的多元化及對(duì)健身、娛樂(lè)的關(guān)注，這類技術(shù)的發(fā)展有望進(jìn)一步提速。

美國(guó)獨(dú)領(lǐng)風(fēng)騷，中國(guó)后起之秀

從全球人機(jī)交互主要技術(shù)產(chǎn)出國(guó)專利年度趨勢(shì)變化來(lái)看，美國(guó)和日本布局較早，中國(guó)、歐洲和韓國(guó)相對(duì)滯后。分析顯示，2000 和2010 年是美國(guó)專利申請(qǐng)的兩個(gè)轉(zhuǎn)折點(diǎn)，技術(shù)和產(chǎn)業(yè)發(fā)展在這兩個(gè)時(shí)間點(diǎn)附近都產(chǎn)生巨大的變化；中國(guó)作為后起之秀，近兩年來(lái)增長(zhǎng)迅速；日本自上世紀(jì)90 年代中期開(kāi)始，基本處于平穩(wěn)狀態(tài)，發(fā)展速度有限；韓國(guó)近年來(lái)也有一定幅度的增長(zhǎng)。（見(jiàn)圖2）

圖3 人機(jī)交互領(lǐng)域各技術(shù)美國(guó)專利申請(qǐng)年度趨勢(shì)

圖4 人機(jī)交互領(lǐng)域各技術(shù)中國(guó)專利年度申請(qǐng)趨勢(shì)

美國(guó)作為全球發(fā)展最快的代表性國(guó)家，其內(nèi)在原因是擁有微軟、IBM、蘋(píng)果等眾多全球知名的高新技術(shù)企業(yè)，同時(shí)新創(chuàng)的技術(shù)性小企業(yè)眾多，技術(shù)積累深厚。特別是進(jìn)入21 世紀(jì)后，新的人機(jī)交互方式大規(guī)模的應(yīng)用于消費(fèi)電子產(chǎn)品中，美國(guó)企業(yè)借助多年的技術(shù)積累，迅速在市場(chǎng)上崛起，微軟的Xbox，蘋(píng)果的iPhone 等產(chǎn)品風(fēng)靡全球就是最好的例子。日本企業(yè)21 世紀(jì)初以任天堂Wii 游戲主機(jī)等為代表的產(chǎn)品迅速引領(lǐng)以體感為核心的游戲方式，而此時(shí)微軟用于Xbox 的體感外設(shè)Kincect 尚未出現(xiàn)，日本廠商一時(shí)風(fēng)光無(wú)限。

專利數(shù)據(jù)則顯示日本廠商在產(chǎn)品上市之前進(jìn)行了十余年的研發(fā)積累。另一方面，20 世紀(jì)末美國(guó)在這一領(lǐng)域的研發(fā)積累已經(jīng)逐漸超越日本。經(jīng)過(guò)十余年的發(fā)展，2010 年微軟公司將Kinect 產(chǎn)品推出市場(chǎng)，在銷(xiāo)售前60 天內(nèi)，賣(mài)出800 萬(wàn)部，成為全世界銷(xiāo)售最快的消費(fèi)性電子產(chǎn)品，迅速顛覆了日本廠商之前的優(yōu)勢(shì)地位，也進(jìn)一步拓寬了人機(jī)交互技術(shù)的應(yīng)用方式。可見(jiàn)，任何成功產(chǎn)品的推出，都進(jìn)行了長(zhǎng)時(shí)間的研發(fā)積累，在人機(jī)交互領(lǐng)域，這一積累過(guò)程可能長(zhǎng)達(dá)十余年。

進(jìn)一步的，對(duì)美國(guó)人機(jī)交互發(fā)展情況開(kāi)展分析，梳理各個(gè)具體技術(shù)的發(fā)展歷程和現(xiàn)狀。（見(jiàn)圖3）

美國(guó)的語(yǔ)音交互技術(shù)專利申請(qǐng)從1990 年左右起步，在2000 年左右達(dá)到高峰，之后申請(qǐng)量進(jìn)入下行通道。美國(guó)在此領(lǐng)域起步較早，技術(shù)發(fā)展較為成熟，貝爾實(shí)驗(yàn)室、IBM 等代表性申請(qǐng)人早在上世紀(jì)50 年代開(kāi)始就投入大量資源進(jìn)行研究，并取得了相當(dāng)豐碩的成果，然而限制于當(dāng)時(shí)的硬件條件，其性能始終不能滿足一般用戶的日常生活需求，因此其應(yīng)用范圍也僅限定于特定的場(chǎng)景之下。

近幾年來(lái)，以Nuance 公司等為代表的技術(shù)提供商在IBM 等公司的研究基礎(chǔ)之上，依托云計(jì)算、網(wǎng)絡(luò)技術(shù)、硬件性能的快速發(fā)展，應(yīng)用深度神經(jīng)網(wǎng)絡(luò)等理論成果大幅提高了語(yǔ)音識(shí)別和合成等技術(shù)的可用性，以蘋(píng)果推出Siri 語(yǔ)音助手為代表，使這一技術(shù)成功的進(jìn)行了產(chǎn)品化和推廣應(yīng)用。從另一方面來(lái)看，經(jīng)過(guò)近半個(gè)世紀(jì)的發(fā)展，語(yǔ)音交互方式中“聽(tīng)清楚，說(shuō)明白”的階段已經(jīng)基本實(shí)現(xiàn)，下一步更為重要的是“理解”。因而對(duì)于企業(yè)來(lái)說(shuō)，仍在語(yǔ)音信號(hào)的分析識(shí)別階段投入過(guò)多的資源，可能回報(bào)有限。

手勢(shì)及體感領(lǐng)域，數(shù)據(jù)顯示美國(guó)企業(yè)在這一方面幾乎與語(yǔ)音同時(shí)起步，但與語(yǔ)音不同的是，為了實(shí)現(xiàn)手勢(shì)及體感的偵測(cè)和識(shí)別，可能涉及的技術(shù)更多，環(huán)境干擾也更為復(fù)雜，因而在產(chǎn)品化方面遲于語(yǔ)音技術(shù)。從市場(chǎng)上來(lái)看，美國(guó)市場(chǎng)上除了微軟成功推出Kinect 設(shè)備以外，各種手勢(shì)和體感操作裝備在近幾年也層出不窮，例如：2013 年，Leap Motion 體感控制器正式上市，實(shí)現(xiàn)了三維空間手勢(shì)識(shí)別設(shè)備的小型化和實(shí)用化?？梢灶A(yù)測(cè)，未來(lái)體感和手勢(shì)將是繼語(yǔ)音之后有一個(gè)新的人機(jī)交互熱點(diǎn)，其應(yīng)用范圍也會(huì)持續(xù)上升，在游戲主機(jī)之外的明星產(chǎn)品將很快出現(xiàn)。

總體來(lái)看，美國(guó)企業(yè)，特別是微軟、蘋(píng)果、谷歌、Nuance 等領(lǐng)軍企業(yè)在人機(jī)交互領(lǐng)域?qū)嵙?qiáng)勁。其不僅在技術(shù)上擁有深厚的積累和強(qiáng)大的開(kāi)發(fā)能力，更在產(chǎn)品應(yīng)用和市場(chǎng)推廣方面具有不可忽視的能量。另一方面，美國(guó)的眾多科技新創(chuàng)企業(yè)在人機(jī)交互這一領(lǐng)域的快速發(fā)展中起到至關(guān)重要的作用，諸多先進(jìn)技術(shù)和應(yīng)用的創(chuàng)意和技術(shù)原型都來(lái)自于這些小規(guī)模企業(yè)，行業(yè)巨頭的收購(gòu)則為這些技術(shù)的進(jìn)一步發(fā)展提供了更大的保障。

中國(guó)作為這一領(lǐng)域的后起之秀，與美國(guó)相比，既有明顯的差距，但也能從美國(guó)的發(fā)展經(jīng)驗(yàn)中獲得明顯的后發(fā)優(yōu)勢(shì)。（見(jiàn)圖4）

總體來(lái)說(shuō)，中國(guó)人機(jī)交互領(lǐng)域的發(fā)展與美國(guó)存在一定差距，但2007 年之后硬件水平的快速提高為中國(guó)語(yǔ)音技術(shù)提供商也提供的絕好的機(jī)會(huì)：國(guó)內(nèi)企業(yè)如科大訊飛在語(yǔ)音方面頗有建樹(shù)，目前國(guó)內(nèi)50%以上智能終端、教學(xué)設(shè)備語(yǔ)音控制技術(shù)都由科大訊飛提供。

2007 年以后，體感和手勢(shì)識(shí)別也進(jìn)入快速發(fā)展的階段。但與美國(guó)相比，無(wú)論是時(shí)間起點(diǎn)或發(fā)展速度都處于劣勢(shì)地位。一方面說(shuō)明中國(guó)作為新興的發(fā)展中國(guó)家在這一領(lǐng)域的實(shí)力仍亟待增強(qiáng)，另一方面，從對(duì)美國(guó)的分析可以看出，游戲主機(jī)產(chǎn)品對(duì)于這一領(lǐng)域的發(fā)展具有巨大的推動(dòng)作用，而我國(guó)自2000 年起禁止游戲主機(jī)及相關(guān)產(chǎn)品在國(guó)內(nèi)的生產(chǎn)銷(xiāo)售。數(shù)據(jù)顯示2000 年左右正是美國(guó)在這一領(lǐng)域開(kāi)始出現(xiàn)大量技術(shù)積累的起點(diǎn)，經(jīng)過(guò)十年的發(fā)展而實(shí)現(xiàn)了技術(shù)的產(chǎn)品化、市場(chǎng)化。因此我國(guó)的這一政策可能影響到相關(guān)人機(jī)交互技術(shù)的發(fā)展。未來(lái)一段時(shí)間，游戲主機(jī)之外的人機(jī)交互產(chǎn)品將大量面世，對(duì)于我國(guó)相關(guān)企業(yè)而言，是不可錯(cuò)過(guò)的機(jī)會(huì)。

小結(jié)

首先，近十年特別是近五年，人機(jī)交互的方式已發(fā)生質(zhì)的變化。人機(jī)交互逐漸發(fā)展到現(xiàn)階段的智能化交互階段，人機(jī)交互像人與人交流一樣簡(jiǎn)單、自然。手勢(shì)及體感、語(yǔ)音和面部等方式成為新的、主流的交互方式。

其次，美國(guó)是全球趨勢(shì)的領(lǐng)導(dǎo)者和技術(shù)的領(lǐng)跑者，而中國(guó)的巨大市場(chǎng)受到廣泛重視。美國(guó)是這一領(lǐng)域全球最大的技術(shù)產(chǎn)出國(guó)，美國(guó)的企業(yè)實(shí)力最強(qiáng)，專利數(shù)量最多，年度增幅最大，美國(guó)的發(fā)展引領(lǐng)這全球的趨勢(shì)。而我國(guó)人機(jī)交互方面起步與全球總體相比晚了近10 年。但2000 年以后發(fā)展速度較快，年專利申請(qǐng)數(shù)量近5 年僅次于美國(guó)，反映出全球主要企業(yè)對(duì)在我國(guó)進(jìn)行研發(fā)團(tuán)隊(duì)組建、專利申請(qǐng)、市場(chǎng)推廣等方面的重視程度迅速上升。

最后，作者認(rèn)為語(yǔ)音業(yè)已成熟，手勢(shì)及體感的交互方式即將爆發(fā)。目前，在全球大部分市場(chǎng)語(yǔ)音技術(shù)發(fā)展已經(jīng)較為成熟，技術(shù)性能達(dá)到實(shí)用化的要求；而下一步的研究重點(diǎn)則是將語(yǔ)言信息轉(zhuǎn)化為操作指令即自然語(yǔ)言理解，目前由于人類語(yǔ)言的復(fù)雜性和不同語(yǔ)言之間巨大的差異，仍存在許多困難。而手勢(shì)及體感近年來(lái)受到廣泛關(guān)注，特別是由于體感游戲的推動(dòng)而快速發(fā)展，近幾年甚至成為人機(jī)交互技術(shù)專利申請(qǐng)的主流。在智能電視等產(chǎn)品中，手勢(shì)及體感也被廣大廠商一致認(rèn)為是繼語(yǔ)音控制之后下一個(gè)重量級(jí)的功能。分析顯示，語(yǔ)音技術(shù)從技術(shù)發(fā)展高峰期到市場(chǎng)廣泛應(yīng)用大約需要5-10 年時(shí)間，而手勢(shì)和體感一方面專利和產(chǎn)業(yè)數(shù)據(jù)顯示其迅速升溫，同時(shí)在國(guó)外市場(chǎng)上游戲主機(jī)領(lǐng)域已經(jīng)出現(xiàn)成熟的應(yīng)用技術(shù)和模式，而近幾年消費(fèi)電子產(chǎn)品計(jì)算能力和網(wǎng)絡(luò)技術(shù)、云計(jì)算技術(shù)的快速發(fā)展更使得人機(jī)交互從技術(shù)成熟到廣泛應(yīng)用的過(guò)程大大縮短。綜合以上幾個(gè)因素可以推測(cè)，未來(lái)5 年之內(nèi)，手勢(shì)及體感將有可能成為智能電子設(shè)備的必備功能之一，大規(guī)模的應(yīng)用即將展開(kāi)。

聯(lián)系方式：

李慧穎：8868-6338 lihuiying@infoip.org

孫劍鋒：8868-6371 sunjianfeng@infoip.org

彭德坤：8868-6370 pengdekun@infoip.org

黃蘊(yùn)華：8868-6369 huangyunhua@infoip.org