人臉信息技術(shù)應(yīng)用新熱點(diǎn)淺析

李丹立

摘 要：用機(jī)器進(jìn)行人臉圖像處理的研究至今已經(jīng)有四十多年的歷史了。在此期間，人們提出了許多具備一定應(yīng)用前景的算法，商業(yè)市場(chǎng)上也出現(xiàn)了許多有實(shí)用價(jià)值的產(chǎn)品。本文分為三個(gè)部分，第一部分簡(jiǎn)要介紹人臉信息技術(shù)的相關(guān)背景知識(shí)；第二部分簡(jiǎn)單分析人臉信息技術(shù)專利申請(qǐng)的整體情況；第三部分對(duì)近年來(lái)人臉信息技術(shù)的主要應(yīng)用熱點(diǎn)進(jìn)行分析。

關(guān)鍵詞：人臉；圖像處理；算法；專利

1 人臉信息技術(shù)

所謂的人臉信息技術(shù)主要包括人臉檢測(cè)和人臉識(shí)別兩大部分。

1.1 人臉檢測(cè)

人臉檢測(cè)是指在圖像上檢測(cè)人臉是否存在，若有則應(yīng)判斷出人臉的位置及大小。在各種應(yīng)用的推動(dòng)下，進(jìn)入上個(gè)世紀(jì)九十年代后，人臉檢測(cè)技術(shù)逐漸得到了各國(guó)研究人員的重視，各種更加有效的算法不斷提出。這十幾年的發(fā)展歷程大致可分為兩個(gè)階段：1999 年以前，基于各類(lèi)知識(shí)特征的方法是主導(dǎo)，這類(lèi)方法直觀易懂、實(shí)現(xiàn)簡(jiǎn)單，但最大的問(wèn)題是魯棒性不強(qiáng)；1999年以后，基于統(tǒng)計(jì)學(xué)習(xí)的算法占據(jù)了主流地位，隨著神經(jīng)網(wǎng)絡(luò)、SVM、概率模型等算法的提出，基于統(tǒng)計(jì)學(xué)習(xí)的算法在魯棒性上得到了很大提高，效率上也可基本滿足實(shí)時(shí)應(yīng)用的需要。隨著相關(guān)研究的深入，人臉檢測(cè)技術(shù)在可控環(huán)境下（光照均勻、姿態(tài)端正、背景簡(jiǎn)單），已能獲得可供實(shí)用的檢測(cè)率。

1.2 人臉識(shí)別

計(jì)算機(jī)人臉識(shí)別技術(shù)是一門(mén)應(yīng)用技術(shù)， 它涵蓋信號(hào)處理、數(shù)字圖像處理、計(jì)算機(jī)視覺(jué)、模式識(shí)別等多門(mén)學(xué)科的理論知識(shí)。由于計(jì)算機(jī)人臉識(shí)別技術(shù)的核心內(nèi)容是由已知人臉來(lái)確定未知人臉的歸屬問(wèn)題， 因此， 它更應(yīng)該認(rèn)為是模式識(shí)別的范疇。

它基本上可分為兩個(gè)方面：

一是回答“是不是某人？ ”的問(wèn)題， 它是給定一幅待識(shí)別人臉圖像， 判別它是否是某人的問(wèn)題， 也就是通常所說(shuō)的身份驗(yàn)證（A uthentication）， 它是個(gè)“ 一對(duì)一” 的兩類(lèi)分類(lèi)問(wèn)題；

另一個(gè)是回答“ 是誰(shuí)？ ” 的問(wèn)題， 它是給定一幅待識(shí)別人臉圖像， 判斷它是誰(shuí)的問(wèn)題， 通常所說(shuō)的人臉識(shí)別就是個(gè)“ 一對(duì)多”的分類(lèi)問(wèn)題。

對(duì)計(jì)算機(jī)人臉識(shí)別方法的研究主要有兩大方向：

一是基于人臉圖像部件特征的識(shí)別方法；

二是基于人臉圖像整體特征的識(shí)別方法。主要包括基于特征臉的識(shí)別，基于最佳鑒別矢量集的人臉識(shí)別，基于Bayesian臉的人臉識(shí)別，基于傅里葉不變特征的人臉識(shí)別，基于彈性圖匹配的人臉識(shí)別以及基于神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別等。

近年來(lái)，隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，移動(dòng)終端設(shè)備、交互式家庭影音設(shè)備的不斷升級(jí)換代，人臉信息技術(shù)有了更為廣闊的應(yīng)用平臺(tái)和創(chuàng)新空間。

2 人臉信息技術(shù)專利的整體分析

全球?qū)＠暾?qǐng)量趨勢(shì)：

經(jīng)過(guò)檢索，截止到2014年12月31日，在德溫特專利數(shù)據(jù)庫(kù)（DWPI）中共檢索到7176項(xiàng)基于人臉信息技術(shù)的專利申請(qǐng)。

早期階段，從1995年至2004年，每年的專利申請(qǐng)量都不大，筆者認(rèn)為，主要是由于早期計(jì)算機(jī)硬件，特別是攝像頭技術(shù)還不發(fā)達(dá)，盡管研究人員在算法支持方面已經(jīng)做出了很多的努力，但人臉信息技術(shù)還沒(méi)有得到較好的應(yīng)用平臺(tái)。從2005年開(kāi)始，該領(lǐng)域申請(qǐng)量出現(xiàn)持續(xù)快速地增長(zhǎng)，并在2008年達(dá)到最高峰。這個(gè)過(guò)程正是中國(guó)專利申請(qǐng)量迅速上升的階段，后面的統(tǒng)計(jì)分析也將證明，中國(guó)是該領(lǐng)域的非常重要的專利產(chǎn)出國(guó)。到了2010年，該領(lǐng)域的專利申請(qǐng)量又有了小幅的回落，但盡管如此，該領(lǐng)域的申請(qǐng)量近年來(lái)還是保持著較高的，穩(wěn)定的數(shù)量。并且由于專利申請(qǐng)公開(kāi)的時(shí)延性，導(dǎo)致近幾年的統(tǒng)計(jì)數(shù)據(jù)并不完整。

根據(jù)分析發(fā)現(xiàn)，隨著以移動(dòng)互聯(lián)網(wǎng)技術(shù)為代表的計(jì)算機(jī)技術(shù)的發(fā)展，出現(xiàn)了大量的，各種形式的人機(jī)交互技術(shù)，而許多的人機(jī)交互技術(shù)正是基于人臉信息技術(shù)實(shí)現(xiàn)的，因此人臉信息技術(shù)的應(yīng)用必將越來(lái)越廣，對(duì)該技術(shù)的研發(fā)將保持持續(xù)的熱度，該領(lǐng)域的專利申請(qǐng)量也將繼續(xù)保持穩(wěn)步增長(zhǎng)的狀態(tài)。

3 人臉信息技術(shù)專利應(yīng)用新熱點(diǎn)

隨著硬件設(shè)備的不斷升級(jí)，移動(dòng)互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，人臉信息技術(shù)有著更廣闊的應(yīng)用平臺(tái)與創(chuàng)新空間，近年來(lái)該領(lǐng)域的專利申請(qǐng)也呈現(xiàn)出許多新的創(chuàng)新熱點(diǎn)。鑒于在人臉信息技術(shù)領(lǐng)域，日韓企業(yè)的申請(qǐng)量占主導(dǎo)地位，優(yōu)勢(shì)明顯，我們接下來(lái)將以索尼和三星電子三兩大公司為例，分析這三家公司申請(qǐng)日在2010年至2014年間該技術(shù)領(lǐng)域的專利申請(qǐng)，結(jié)合各公司的整體發(fā)展戰(zhàn)略，淺析人臉信息技術(shù)中的新熱點(diǎn)。

3.1 表情識(shí)別

在算法層面，主要是在檢測(cè)到的人臉基礎(chǔ)上，對(duì)人臉進(jìn)行特征提取，得到反映表情特征的關(guān)鍵信息，對(duì)得到的表情特征向量進(jìn)行分類(lèi)，從而得到所屬表情類(lèi)別。在應(yīng)用層面，典型的表情識(shí)別技術(shù)應(yīng)用如下：

以申請(qǐng)CN201310059339為例（發(fā)明名稱：圖像處理設(shè)備和方法以及程序，申請(qǐng)人：索尼公司），該圖像處理設(shè)備包括臉部檢測(cè)單元，所述臉部檢測(cè)單元根據(jù)輸入圖像檢測(cè)臉部；評(píng)估值計(jì)算單元，所述評(píng)估值計(jì)算單元針對(duì)由臉部檢測(cè)單元檢測(cè)到的臉部的每一種臉部表情計(jì)算表示臉部表情的程度的評(píng)估值；和控制單元，所述控制單元基于由臉部檢測(cè)單元檢測(cè)到的臉部的每一種臉部表情的人的數(shù)量和由評(píng)估值計(jì)算單元計(jì)算出的臉部的每一種臉部表情的評(píng)估值，改變用于提取圖像的基準(zhǔn)，從而容易地提取包括少數(shù)人具有的臉部表情的圖像。本申請(qǐng)主要解決的問(wèn)題為，即使當(dāng)多個(gè)被圖像捕捉的人的臉部表情不同時(shí)也獲得具有高滿意程度的圖像。

以申請(qǐng)CN201310393418為例（發(fā)明名稱：將音頻和/或圖像與臉部特征和表情相關(guān)的系統(tǒng)和方法，申請(qǐng)人：索尼公司），系統(tǒng)先識(shí)別出至少一個(gè)觀看者的表情，指令使處理器將標(biāo)識(shí)內(nèi)容的元數(shù)據(jù)與觀看者的至少一個(gè)表情關(guān)聯(lián)。該申請(qǐng)可為內(nèi)容提供商提供更有效的手段以確定他們提供的內(nèi)容是否使觀看者滿意和/或確定觀看者對(duì)他們的內(nèi)容的反應(yīng)的種類(lèi)。由于照相機(jī)與諸如計(jì)算機(jī)和電視機(jī)（TV）的整合已經(jīng)為內(nèi)容提供商提供了利用此整合實(shí)現(xiàn)諸如此類(lèi)目的的機(jī)會(huì)，此類(lèi)目的包括有針對(duì)性的廣告投放、提高觀看者對(duì)節(jié)目的滿意度等等。

3.2 身份分組

身份分組是通過(guò)提取到的人臉特征信息，根據(jù)特征信息得到到對(duì)應(yīng)的身份分組，在此基礎(chǔ)上再提供進(jìn)一步的應(yīng)用服務(wù)。

以申請(qǐng)CN 201210318981為例（發(fā)明名稱：以言語(yǔ)方式進(jìn)行交流的面部響應(yīng)電視設(shè)備，申請(qǐng)人：索尼公司），本發(fā)明所教導(dǎo)的電視設(shè)備以個(gè)性化的會(huì)話方式與用戶進(jìn)行言語(yǔ)交流。該交流是響應(yīng)于攝像機(jī)收集的圖像信息進(jìn)行的，其中，該攝像機(jī)與電視中執(zhí)行圖像處理（例如，包括面部辨認(rèn)）以識(shí)別靠近電視的個(gè)人觀看者和觀看者群組的計(jì)算機(jī)相連接。該系統(tǒng)不僅確定人是否位于電視裝置附近，而且實(shí)際上對(duì)這些人的身份進(jìn)行確定，并且交互地利用此信息來(lái)生成個(gè)性化的言語(yǔ)輸出。

3.3 基于人臉位置進(jìn)行圖像裁剪

以申請(qǐng)CN201410003848為例（發(fā)明名稱：用于在具有相機(jī)的裝置中處理圖像的設(shè)備和方法，申請(qǐng)人：三星電子株式會(huì)社），本申請(qǐng)?zhí)峁┮环N當(dāng)使用具有相機(jī)的便攜式終端或相機(jī)裝置進(jìn)行拍攝時(shí)通過(guò)識(shí)別人的臉部區(qū)域并以識(shí)別的臉部區(qū)域?yàn)橹行脑O(shè)置裁剪區(qū)域來(lái)裁剪人物照片的設(shè)備和方法。本申請(qǐng)還提供了一種在照片中包括多于一人的情況下，通過(guò)設(shè)置裁剪區(qū)域來(lái)裁剪照片，從而每個(gè)人的臉包括在裁剪區(qū)域中的設(shè)備和方法。

3.4 根據(jù)人臉位置確定人體其他部分的位置及姿勢(shì)

由于人臉特性相對(duì)于身體其他部位更為突出，更易于檢測(cè)，因此在圖像中檢測(cè)到人臉后，可以根據(jù)人臉與身體其他部位的位置關(guān)系，確定人體其他部位的位置及姿勢(shì)。

具體應(yīng)用示例如下：

以申請(qǐng)CN 201210318981為例（發(fā)明名稱：以言語(yǔ)方式進(jìn)行交流的面部響應(yīng)電視設(shè)備，申請(qǐng)人：索尼公司），通過(guò)檢測(cè)圖像的面部區(qū)域、根據(jù)面部區(qū)域的位置設(shè)置至少一個(gè)動(dòng)作區(qū)域、將與至少一個(gè)動(dòng)作區(qū)域相對(duì)應(yīng)的圖像數(shù)據(jù)與檢測(cè)信息進(jìn)行比較以便確定是否已經(jīng)執(zhí)行預(yù)定動(dòng)作、以及當(dāng)確定已經(jīng)執(zhí)行預(yù)定動(dòng)作以及接收合作控制信息時(shí)基于合作控制信息而實(shí)行預(yù)定處理，實(shí)施設(shè)備以及方法。本申請(qǐng)?zhí)峁┑姆椒?，先?duì)人臉進(jìn)行檢測(cè)，在檢測(cè)到人臉位置的基礎(chǔ)上，再確定如人手之類(lèi)的其他身體部位的位置，從而降低目標(biāo)識(shí)別的計(jì)算量。

4 結(jié)語(yǔ)

眾所周知，近幾年來(lái)，索尼與三星電子在核心產(chǎn)品線上發(fā)展戰(zhàn)略各有側(cè)重，相對(duì)于三星電子在移動(dòng)終端設(shè)備方面表現(xiàn)出的強(qiáng)勁勢(shì)頭，索尼的核心產(chǎn)品線更廣泛，包括數(shù)碼相機(jī)，游戲機(jī)，影音產(chǎn)品等。而無(wú)論是移動(dòng)終端設(shè)備，數(shù)碼相機(jī)還是游戲機(jī)，人臉信息技術(shù)都得以廣泛的應(yīng)用，人臉信息技術(shù)出現(xiàn)的新熱點(diǎn)，一定程度上反映了兩家公司在產(chǎn)品線研發(fā)布局上的思路。對(duì)于上述幾種新熱點(diǎn)應(yīng)用方向，筆者比較了兩家公司在DWPI庫(kù)中關(guān)于各方向的申請(qǐng)量，從相關(guān)數(shù)據(jù)中不難發(fā)現(xiàn)，索尼和三星電子兩家公司對(duì)于上述熱點(diǎn)技術(shù)的側(cè)重還是略有不同，索尼公司在涉及圖像運(yùn)動(dòng)檢測(cè)方面申請(qǐng)量更大，而三星公司在表情識(shí)別方面的申請(qǐng)更多。筆者認(rèn)為，這也從側(cè)面反映出兩家公司的研發(fā)重點(diǎn)，由于索尼公司在數(shù)碼相機(jī)和游戲機(jī)方面的表現(xiàn)更為突出，相應(yīng)地，在這兩種產(chǎn)品上應(yīng)用較多的運(yùn)動(dòng)檢測(cè)和運(yùn)動(dòng)跟蹤的申請(qǐng)更多；而表情識(shí)別技術(shù)更廣泛地應(yīng)用于移動(dòng)終端設(shè)備，因此三星公司在這方面的專利申請(qǐng)更多。

綜上所述，科研人員在算法和應(yīng)用層面都不斷取得突破性的進(jìn)展，人臉信息技術(shù)在未來(lái)有著廣闊的發(fā)展前景，人臉信息技術(shù)的專利分析是計(jì)算機(jī)視覺(jué)，安防系統(tǒng)，通信技術(shù)等領(lǐng)域科研人員都值得關(guān)注的課題。