基于雙目立體視覺的人眼追蹤技術(shù)專利分析

摘 ?要：為研究基于雙目立體視覺的人眼追蹤技術(shù)的發(fā)展情況，文章從專利信息挖掘與分析角度對(duì)基于雙目立體視覺的人眼追蹤技術(shù)的全球?qū)＠爸袊?guó)專利進(jìn)行分析，了解該技術(shù)近20年的發(fā)展趨勢(shì)、地域分布、各國(guó)發(fā)展態(tài)勢(shì)、全球重要申請(qǐng)人、中國(guó)重要申請(qǐng)人等，并進(jìn)一步分析應(yīng)用于裸眼3D場(chǎng)景的基于雙目立體視覺的人眼追蹤專利實(shí)現(xiàn)人眼追蹤所采用的裝置類型、光源類型以及實(shí)現(xiàn)人眼追蹤精度和速度提升的手段。

關(guān)鍵詞：人眼追蹤;雙目立體視覺;專利分析

中圖分類號(hào)：TP391.4 ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-4706（2021）14-0029-03

Abstract： In order to study the development situation of eye tracking technology based on binocular stereo vision， this paper analyzes the global and Chinese patents of eye tracking technology based on binocular stereo vision from the perspective of patent information mining and analysis， understands the development trend of this technology in recent 20 years， the patent geographical distribution， the patent development of various countries， and the important global patent applicants， the important Chinese patent applicants etc. The paper further analyzes type of device and light source used in eye tracking patent based on binocular stereo vision， which realizes eye tracking and is applied to naked eye 3D scenes. It also further analyzes means that achieve the improvement of human eye tracking accuracy and speed in eye tracking patent based on binocular stereo vision， which is applied to naked eye 3D scenes.

Keywords： eye tracking; binocular stereo vision; patent analysis

0 ?引 ?言

人眼追蹤技術(shù)是一種通過計(jì)算機(jī)視覺對(duì)人眼進(jìn)行定位和跟蹤的技術(shù)，在人工智能、心理學(xué)、人機(jī)交互設(shè)備、智能交通系統(tǒng)、廣告研究、體育運(yùn)動(dòng)研究等領(lǐng)域具有廣泛應(yīng)用[1]。人眼追蹤應(yīng)用在駕駛員疲勞檢測(cè)、裸眼3D呈現(xiàn)、廣告研究等領(lǐng)域需要滿足追蹤精度高、實(shí)時(shí)性強(qiáng)等要求，而雙目立體視覺系統(tǒng)能夠?qū)μ囟繕?biāo)進(jìn)行信息提取，具有工作量小、處理速度快、實(shí)時(shí)性強(qiáng)等優(yōu)點(diǎn)，其在動(dòng)態(tài)目標(biāo)識(shí)別跟蹤等領(lǐng)域具有較高應(yīng)用價(jià)值[2]。基于雙目立體視覺系統(tǒng)的人眼追蹤技術(shù)是利用布設(shè)的雙目攝像頭采集圖像信息，通過攝像頭標(biāo)定、建立人眼3D模型、特征提取、視線方向計(jì)算等步驟實(shí)現(xiàn)人眼的定位和追蹤[3，4]。

專利文件是申請(qǐng)人對(duì)其技術(shù)進(jìn)行公開以獲得專利權(quán)保護(hù)的一類法律文件，同時(shí)，因?yàn)閷＠募菍?duì)技術(shù)的公開，其也是一類技術(shù)文件。專利文件以文字、圖表等形式記載技術(shù)方案，能夠較為全面地反映研發(fā)人員在創(chuàng)新中發(fā)現(xiàn)的新問題、用以解決該問題的技術(shù)手段及取得的技術(shù)效果。因此，本文從專利信息挖掘與分析視角，對(duì)基于雙目立體視覺的人眼追蹤相關(guān)專利進(jìn)行分析以研究該技術(shù)的發(fā)展情況，同時(shí)，本文進(jìn)一步研究了在裸眼3D顯示領(lǐng)域的雙目立體視覺的人眼追蹤技術(shù)情況。

1 ?全球?qū)＠治?/p>

本文檢索基于incoPat數(shù)據(jù)庫，截止到2021年4月，共檢索到雙目立體視覺人眼追蹤全球?qū)＠? 261條，申請(qǐng)?zhí)柡喜⒑蟮玫綄＠? 008件。

雙目立體視覺人眼追蹤專利的年度申請(qǐng)量趨勢(shì)如圖1所示，盡管2007和2012、2013年的專利數(shù)量略有回落，但該技術(shù)的專利在近20年總體呈現(xiàn)上升趨勢(shì)，其中，2009年起專利數(shù)量持續(xù)快速增長(zhǎng)，并在2017年達(dá)到最高峰，而2018—2019年專利數(shù)量有所減少，2020—2021年的數(shù)據(jù)因部分專利未公開而不參與趨勢(shì)分析討論?？梢姡?0年來雙目立體視覺人眼追蹤技術(shù)在經(jīng)過快速發(fā)展后進(jìn)入一個(gè)較為平穩(wěn)的階段。

從地域分布看，雙目立體視覺人眼追蹤專利主要分布于中國(guó)（311件）、日本（198件）、美國(guó)（182件）、世界知識(shí)產(chǎn)權(quán)組織WIPO（105件）、韓國(guó)（90件）、歐洲專利局（60件）等國(guó)家和地區(qū)。其中，中、日、美、韓的總和專利數(shù)量占該技術(shù)全部專利數(shù)量的77.5%?？梢姡摷夹g(shù)在中日美韓四國(guó)的研究和應(yīng)用較為活躍。由圖2雙目立體視覺人眼追蹤專利的主要國(guó)家專利年度申請(qǐng)量趨勢(shì)圖可知，主要國(guó)家的專利年度申請(qǐng)量在近20年間均呈現(xiàn)了由少到多增長(zhǎng)并在達(dá)到頂峰后有所回落的趨勢(shì);在2002—2005年間，日本的專利數(shù)量高于其他國(guó)家的專利數(shù)量，其專利數(shù)量的高峰出現(xiàn)在2012年也早于其他國(guó)家，這表明該技術(shù)在日本最早受到重視并最早達(dá)到“飽和”;中、美的起步雖然晚于日本，但在2010、2011年逐漸超過日本，進(jìn)一步比較中、美兩國(guó)的趨勢(shì)線可知，2011年之前，美國(guó)的專利數(shù)量基本多于中國(guó)，2011—2013年間中國(guó)逐漸趕超，并在2013年后完全超過美國(guó)，表明該技術(shù)在中國(guó)從2011年進(jìn)入活躍期。

以專利數(shù)量對(duì)全球申請(qǐng)人進(jìn)行排序，排名前九的申請(qǐng)人中，日本申請(qǐng)人3個(gè)，包括佳能（排名第一）、松下（排名第三）、索尼（排名第三）;韓國(guó)申請(qǐng)人3個(gè)，包括三星（排名第三）、韓國(guó)電子通信研究院（排名第四）;中國(guó)申請(qǐng)人2個(gè)，包括京東方（排名第三）、深圳超多維（排名第四）;芬蘭申請(qǐng)人1個(gè)，為諾基亞（排名第五）;瑞典申請(qǐng)人1個(gè)，為tobii（排名第六）。可見，該技術(shù)的全球研發(fā)主力多為涉及多種綜合業(yè)務(wù)的知名跨國(guó)公司，僅有兩家專注于人眼追蹤技術(shù)的企業(yè)，其中，深圳超多維是一家致力于VR/AR等創(chuàng)新視覺科技和裸眼3D顯示技術(shù)的研究、應(yīng)用、創(chuàng)新產(chǎn)品的研發(fā)和生產(chǎn)的企業(yè)，tobii是一家致力于眼動(dòng)儀與眼動(dòng)技術(shù)研究的企業(yè)。

2 ?中國(guó)專利分析

為了解該技術(shù)在中國(guó)的發(fā)展情況，本文進(jìn)一步對(duì)雙目立體視覺人眼追蹤的中國(guó)專利進(jìn)行分析。在311件中國(guó)專利中，實(shí)用新型專利30件，占比9.3%，發(fā)明專利281件，占比90.7%，這是由于發(fā)明專利既可以對(duì)產(chǎn)品結(jié)構(gòu)進(jìn)行保護(hù)，又可以對(duì)方法進(jìn)行保護(hù)，而雙目立體視覺人眼追蹤的算法是相當(dāng)重要的一個(gè)部分，因此，申請(qǐng)人更傾向于申請(qǐng)發(fā)明專利;實(shí)用新型專利能夠?qū)Y(jié)構(gòu)的改進(jìn)進(jìn)行保護(hù)且獲權(quán)周期短，對(duì)于雙目立體視覺人眼追蹤的裝置系統(tǒng)等則適合申請(qǐng)實(shí)用新型專利。另外，該技術(shù)的發(fā)明專利已授權(quán)107件，發(fā)明專利授權(quán)率僅為38.0%，而根據(jù)2020年國(guó)家知識(shí)產(chǎn)權(quán)局年報(bào)的統(tǒng)計(jì)數(shù)據(jù)，2020年發(fā)明專利授權(quán)率為47.3%[5]，可見該技術(shù)的中國(guó)專利授權(quán)難度相對(duì)較大。

雙目立體視覺人眼追蹤中國(guó)專利在各省份的分布情況如圖3所示，排名前四的廣東、北京、上海、江蘇的專利申請(qǐng)數(shù)量在平均值31.7件之上，而排名第五至第十的省市的專利數(shù)量在平均值之下。其中，排名第一的廣東為第一梯隊(duì)，專利數(shù)量遙遙領(lǐng)先，突破了100件;排名第二的北京為第二梯隊(duì)，數(shù)量也遠(yuǎn)超第三梯隊(duì)的上海和江蘇;排名第五至第十的6個(gè)省市為第五梯隊(duì)，6省的專利數(shù)量總和僅相當(dāng)于北京的專利數(shù)量，遠(yuǎn)不及廣東一省的專利數(shù)量。可見，該技術(shù)的活躍度集中，主要活躍于國(guó)內(nèi)的經(jīng)濟(jì)發(fā)達(dá)地區(qū)。

從中國(guó)專利的申請(qǐng)人類型看，個(gè)人申請(qǐng)人占比為10.4%，近90%的申請(qǐng)人為企事業(yè)單位，其中，企業(yè)、高校、科研單位的占比分別為69.0%、16.5%、3.16%。對(duì)中國(guó)專利的主要申請(qǐng)人進(jìn)行排序，深圳超多維排名第一，京東方排名第二，上海大學(xué)、北京芯海視界三維科技有限公司和視覺技術(shù)創(chuàng)投私人有限公司并列第三，華南理工大學(xué)、維沃移動(dòng)、張家港康得新光電材料有限公司并列第四，上海青研科技有限公司、廣州杏雨信息科技有限公司并列排名第五。

對(duì)比排名前二的申請(qǐng)人，從全球?qū)＠麛?shù)量看，京東方專利數(shù)量多于深圳超多維，京東方在擁有12件中國(guó)專利的基礎(chǔ)上還擁有6件海外專利，包括美國(guó)4件、日本1件、WIPO1件，即33%以上的專利布局于海外，表明京東方更重視海外市場(chǎng)和海外專利布局，而深圳超多維則主攻國(guó)內(nèi)市場(chǎng)，專利均在國(guó)內(nèi)布局。另外，中國(guó)專利的重要申請(qǐng)人包括上海大學(xué)、華南理工大學(xué)兩所高校，而根據(jù)在前對(duì)申請(qǐng)人類型的分析可知高校申請(qǐng)人占比不大，卻有兩所高校能夠成為排名第三、四的重要申請(qǐng)人，可見，高校在雙目立體視覺人眼追蹤技術(shù)研究上具有獨(dú)特優(yōu)勢(shì)。此外，維沃移動(dòng)通信是知名手機(jī)品牌“VIVO”的廠商，其專利均應(yīng)用于手機(jī)，并同時(shí)涉及人臉追蹤和人眼追蹤，可見該技術(shù)的發(fā)展與手機(jī)等智能設(shè)備的發(fā)展密切相關(guān)。排名第三的北京芯海視界三維科技有限公司是視覺技術(shù)創(chuàng)投私人有限公司在華投資子公司，是一家專注從事立體顯示器件研發(fā)的企業(yè)。張家港康得新光電材料有限公司、廣州杏雨信息科技有限公司都申請(qǐng)了涉及內(nèi)窺鏡裸眼3D顯示的人眼追蹤專利。上海青研科技有限公司是專業(yè)從事眼動(dòng)技術(shù)（眼球追蹤）的公司，其眼動(dòng)技術(shù)的軟硬件產(chǎn)品包括VR眼動(dòng)實(shí)驗(yàn)、VR戒毒等。

3 ?關(guān)鍵技術(shù)分析

雙目立體視覺人眼追蹤根據(jù)所采用的裝置類型，可分為穿戴式和遙測(cè)式[6];根據(jù)雙目立體視覺人眼追蹤裝置的工作光照環(huán)境，可分為紅外光源系統(tǒng)和自然光源系統(tǒng)[7]。為了研究雙目立體視覺人眼追蹤技術(shù)在裸眼3D方面的應(yīng)用以及算法改進(jìn)，進(jìn)一步檢索了應(yīng)用于裸眼3D場(chǎng)景的雙目立體視覺人眼追蹤的專利以及采用圖像處理技術(shù)的雙目立體視覺人眼追蹤的專利，截至2021年4月，檢索得到70件專利。對(duì)以上專利去噪、合并、去重后進(jìn)行人工標(biāo)引，按照涉及穿戴式、遙測(cè)式、紅外光源、自然光源4個(gè)方面進(jìn)行歸類統(tǒng)計(jì)如下。

如圖4所示，25件采用圖像處理技術(shù)的雙目立體視覺人眼追蹤專利中，44%的專利為穿戴式，56%的專利為遙測(cè)式，表明穿戴式和遙測(cè)式設(shè)備的應(yīng)用程度較為接近。而45件應(yīng)用于裸眼3D場(chǎng)景的雙目立體視覺人眼追蹤的專利所采用的設(shè)備均為遙測(cè)式，這與裸眼3D的特殊要求有關(guān)。從光源類型區(qū)分，采用自然光源的專利數(shù)量遠(yuǎn)大于紅外光源，這是由于自然光源無需額外配置光源減少了設(shè)備成本、利于推廣應(yīng)用，可見，采用自然光源系統(tǒng)的雙目立體視覺人眼追蹤是研究的熱點(diǎn)。當(dāng)然，自然光源系統(tǒng)也面臨著適應(yīng)復(fù)雜光照環(huán)境、攝像機(jī)精確標(biāo)定、建立可靠模型等方面的挑戰(zhàn)。

對(duì)采用遙測(cè)式且自然光源的雙目立體視覺人眼追蹤專利按照涉及“人臉與人眼檢測(cè)”“僅人眼檢測(cè)”“結(jié)合特殊標(biāo)記”“涉及攝像機(jī)標(biāo)定”這4個(gè)技術(shù)手段進(jìn)行5個(gè)方面的技術(shù)功效劃分，得到圖5的技術(shù)功效氣泡圖。

在裸眼3D中應(yīng)用人眼追蹤技術(shù)是為了快速、準(zhǔn)確地獲取觀看者的視線位置，從而根據(jù)觀看者的視線進(jìn)行3D視覺呈現(xiàn)，因此，應(yīng)用于裸眼3D場(chǎng)景的人眼追蹤需要滿足追蹤精度高和追蹤實(shí)時(shí)性佳的要求。人眼追蹤的精度和速度提升受多種因素影響，包括：建立可靠的眼睛模型、精確的攝像機(jī)標(biāo)定等，其中，只有實(shí)現(xiàn)攝像機(jī)精確標(biāo)定才能有效地利用模型進(jìn)行可靠識(shí)別追蹤。圖5可知，采用遙測(cè)式且自然光源的雙目立體視覺人眼追蹤專利中37.5%的專利都涉及了對(duì)于攝像機(jī)的標(biāo)定。而在人眼追蹤的手段方面也可以采用多種手段，其中之一是采用由粗到精的追蹤檢測(cè)策略，即，在圖像中先檢測(cè)和定位人臉，隨后在人臉區(qū)域內(nèi)定位人眼，進(jìn)而檢測(cè)人眼的特征，該追蹤檢測(cè)策略是一種較為常見的提高人眼檢測(cè)可靠性的手段。由圖5可知，相較于“僅人眼檢測(cè)”，采用遙測(cè)式且自然光源的雙目立體視覺人眼追蹤專利中較多的專利采用了“人臉與人眼檢測(cè)”的技術(shù)手段，并且，采用“人臉與人眼檢測(cè)”的技術(shù)手段更利于提升追蹤精度和速度。

上述人眼追蹤的精度和速度提升策略并不是在任意應(yīng)用場(chǎng)合均適用，例如，應(yīng)用于腔鏡手術(shù)等醫(yī)療場(chǎng)景的雙目立體視覺人眼追蹤的相關(guān)專利沒有采用常規(guī)的人臉結(jié)合人眼的追蹤檢測(cè)手段，而是普遍采用了在醫(yī)生手術(shù)帽或口罩上設(shè)置顏色標(biāo)記或標(biāo)簽，結(jié)合該類特殊標(biāo)識(shí)進(jìn)行追蹤。該方式克服了手術(shù)等醫(yī)療場(chǎng)景中醫(yī)生必須佩戴口罩導(dǎo)致臉部被遮擋無法采集全臉圖像的問題，巧妙地利用了醫(yī)生必須佩戴的手術(shù)帽或口罩來便利地設(shè)置特殊標(biāo)識(shí)，借助特殊標(biāo)識(shí)提升人眼追蹤的準(zhǔn)確性和實(shí)時(shí)性。

4 ?結(jié) ?論

本文從專利信息挖掘與分析角度對(duì)基于雙目立體視覺的人眼追蹤技術(shù)的發(fā)展情況進(jìn)行分析，從近20年來該技術(shù)的全球?qū)＠暾?qǐng)趨勢(shì)、各主要國(guó)家分布情況及趨勢(shì)、重要申請(qǐng)人，該技術(shù)的中國(guó)專利的類型、各省分布情況以及重要申請(qǐng)人等方面對(duì)該技術(shù)的發(fā)展進(jìn)行分析，并重點(diǎn)選取雙目立體視覺人眼追蹤技術(shù)在裸眼3D的應(yīng)用進(jìn)行研究，從裝置類型、光源類型對(duì)相關(guān)專利進(jìn)行歸類，并分析了人眼追蹤精度提升、速度提高的手段，還分析了在腔鏡手術(shù)等醫(yī)療場(chǎng)景的裸眼3D呈現(xiàn)這一特定場(chǎng)合雙目立體視覺的人眼追蹤所采用特殊追蹤方式。

參考文獻(xiàn)：

[1] 劉冬.基于立體視覺的視線估計(jì)方法研究 [D].武漢：華中科技大學(xué)，2015.

[2] 朱子陽，陳雙.智能駕駛中雙目視覺關(guān)鍵技術(shù)與應(yīng)用算法 [J].遼寧工業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，41（4）：236-240+244.

[3] 史豪豪.面向AR-HUD系統(tǒng)的瞳孔空間位置檢測(cè)技術(shù)研究 [D].重慶：重慶郵電大學(xué)，2020.

[4] 李默.基于雙CCD的人眼視線追蹤系統(tǒng)研究與設(shè)計(jì) [D].長(zhǎng)春：長(zhǎng)春工業(yè)大學(xué)，2017.

[5] 國(guó)家知識(shí)產(chǎn)權(quán)局.2020年國(guó)家知識(shí)產(chǎn)權(quán)局年報(bào)-知識(shí)產(chǎn)權(quán)創(chuàng)造 [A/OL].（2021-04-27）.https：//www.cnipa.gov.cn/art/2021/4/27/art_2616_158950.html.

[6] 王亞飛.復(fù)雜光環(huán)境下人眼視線追蹤技術(shù)研究 [D].大連：大連理工大學(xué)，2018.

[7] 吳艷繁.基于視線追蹤的人機(jī)交互系統(tǒng) [D].長(zhǎng)春：吉林大學(xué)，2014.

作者簡(jiǎn)介：周小燕（1986.03—），女，漢族，廣西柳州人，助理研究員，碩士研究生，研究方向：知識(shí)產(chǎn)權(quán)。