人臉識別專利技術(shù)綜述

李根

摘 要：人臉識別技術(shù)由于其具備的快速準(zhǔn)確識別目標(biāo)身份的特點，成為目前國內(nèi)外相關(guān)企業(yè)和高校的研究熱點，專利申請量逐年遞增。本文對計算機(jī)人臉識別技術(shù)的專利申請趨勢、區(qū)域分布、主要申請人以及核心技術(shù)路線進(jìn)行了分析和梳理，能夠幫助相關(guān)技術(shù)人員了解現(xiàn)有技術(shù)并研判未來發(fā)展趨勢。

關(guān)鍵詞：人臉識別;人工智能;深度學(xué)習(xí);申請態(tài)勢;技術(shù)路線

一、引言

人臉識別不需要被監(jiān)控對象的主動配合，并且可以實現(xiàn)遠(yuǎn)距離識別，在安防影像分析、泛金融身份認(rèn)證等領(lǐng)域得到了廣泛的應(yīng)用，國內(nèi)外安防廠商、計算機(jī)視覺及人工智能相關(guān)企業(yè)均將其作為主要研發(fā)對象[1]。

人臉識別算法經(jīng)歷了早期算法，人工特征+分類器，深度學(xué)習(xí)三個階段。早期的算法有基于幾何特征的算法，基于模板匹配的算法，子空間算法等多種類型，這些算法嚴(yán)重依賴訓(xùn)練集和測試集場景，且對光照、人臉的表情、姿態(tài)敏感，泛化能力不足，不具有太多的實用價值;第二階段的人臉識別算法普遍采用了人工特征+分類器的思路，部分解決了光照敏感問題，但還是存在姿態(tài)和表情的問題;直到2006年深度學(xué)習(xí)算法的引入，人臉識別算法進(jìn)入了新紀(jì)元，準(zhǔn)確率和魯棒性都得到了大幅提升，甚至超過了人眼的識別水平，突破了工業(yè)化紅線，得以運用到各種生活場景中，基于深度學(xué)習(xí)算法的人臉識別技術(shù)成為目前的主流[2]。因此本文針對2006年以后的計算機(jī)視覺相關(guān)的專利進(jìn)行分析研究，擬對該領(lǐng)域的專利申請趨勢、核心技術(shù)路線進(jìn)行分析和梳理。

二、專利申請態(tài)勢

通過前期調(diào)研、技術(shù)研究和專利數(shù)據(jù)檢索等多方面的反復(fù)論證與修改，最終依據(jù)人臉識別技術(shù)的實現(xiàn)流程，將其分解為采集預(yù)處理、特征提取、特征比對和多手段融合四個技術(shù)分支，并據(jù)此進(jìn)行專利檢索與分析。

在中國專利摘要數(shù)據(jù)庫（CNABS）、德溫特世界專利數(shù)據(jù)庫（DWPI）中進(jìn)行檢索，檢索文獻(xiàn)涵蓋了公開日或公告日在2017年12月31日之前的全球發(fā)明專利申請，在檢索過程中采用分類號與關(guān)鍵詞結(jié)合的方式進(jìn)行。

（一）申請趨勢

圖1為人臉識別技術(shù)全球?qū)＠暾堏厔?，結(jié)合圖1分析可知，從2006年深度學(xué)習(xí)提出以來，人臉識別技術(shù)的發(fā)展經(jīng)歷了三個階段：

1.技術(shù)萌芽期（2006—2011年）。2006年Hinton在Science期刊上發(fā)表了關(guān)于深度神經(jīng)網(wǎng)絡(luò)論文（Reducing the Dimensionality of Data with Neural Networks），指出多隱層神經(jīng)網(wǎng)絡(luò)具有更為優(yōu)異的特征學(xué)習(xí)能力，并且其在訓(xùn)練上的復(fù)雜度可以通過逐層初始化來有效緩解，從而提出了深度學(xué)習(xí)概念。但該論文并未引起產(chǎn)業(yè)界的足夠重視，同時受限于當(dāng)時計算機(jī)硬件性能，基于深度學(xué)習(xí)的人臉識別技術(shù)并未成為主流研究方向，2006—2011年期間，全球的計算機(jī)視覺全球?qū)＠暾埩坎蛔?0項/年，國內(nèi)專利申請了不足5項/年。

2.技術(shù)發(fā)展期（2012—2015）。2012年，Hinton課題組為了證明深度學(xué)習(xí)的潛力，參加ImageNet圖像識別比賽，其通過構(gòu)建的深度學(xué)習(xí)網(wǎng)絡(luò)AlexNet將圖像識別錯誤率降低了10%，成為影響人工智能進(jìn)程的里程碑事件。識別準(zhǔn)確率的大幅提升標(biāo)志著人臉識別技術(shù)能夠被運用到日常生活中。此后，媒體大量宣傳報道人工智能，學(xué)術(shù)界和產(chǎn)業(yè)界也紛紛探索將深度學(xué)習(xí)融入到人臉識別技術(shù)中，人臉識別技術(shù)在安防、金融等領(lǐng)域開始探索商業(yè)化，全球及國內(nèi)專利申請量開始呈指數(shù)增長。

3.技術(shù)應(yīng)用期（2016—至今）。隨著新的深度學(xué)習(xí)算法不斷改進(jìn)，人工智能成為引領(lǐng)未來的戰(zhàn)略性技術(shù)，世界主要發(fā)達(dá)國家把發(fā)展人工智能作為提升國家競爭力、維護(hù)國家安全的重大戰(zhàn)略，加緊出臺規(guī)劃和政策，人臉識別技術(shù)也隨之獲得空前的發(fā)展，全球?qū)＠晟暾埩客黄屏?50項。隨著各國的政策激勵，計算機(jī)視覺技術(shù)在未來幾年將會保持持續(xù)地快速增長趨勢。

（二）申請區(qū)域分布

圖2為人臉識別技術(shù)全球?qū)＠暾垇碓磭液偷貐^(qū)分布，由圖3可知，68%的專利申請來自中國，這一數(shù)量是第二位美國的4倍，是第三位韓國的6倍，得益于中國對人工智能的高度重視以及相關(guān)政策的激勵，國內(nèi)涌現(xiàn)了一批計算機(jī)視覺創(chuàng)業(yè)企業(yè)，引領(lǐng)了人臉識別技術(shù)的發(fā)展，使得中國成為人臉識別技術(shù)的主要技術(shù)來源國。

圖3為人臉識別技術(shù)全球?qū)＠暾埬繕?biāo)國家和地區(qū)分布。中國是人臉識別技術(shù)的最大專利申請目標(biāo)國，專利申請量占申請總量的72%，美國、韓國和日本的專利申請量占比分別是12%、9%和5%，中國較為開放的市場環(huán)境、巨大的市場需求和海量的數(shù)據(jù)資源吸引了各國相關(guān)創(chuàng)新主體，紛紛在中國進(jìn)行專利布局。

（三）主要申請人分布

圖4示出了人臉識別技術(shù)全球排名前十的申請人。前十申請人中，有六席來自中國，美國和韓國各自占據(jù)兩席，表明中國已經(jīng)培育出了一批人臉識別技術(shù)領(lǐng)域的小巨頭企業(yè)。來自中國的商湯科技和曠視科技分別位列第一和第二，二者均為技術(shù)驅(qū)動型企業(yè)，人才儲備雄厚，研發(fā)實力強(qiáng)勁，擁有大量人臉識別核心技術(shù)，并且重視專利布局;來自韓國的三星和LG分列第三和第五位，一直持續(xù)研發(fā)和改進(jìn)人臉識別技術(shù)，以謀求進(jìn)軍安防、金融、手機(jī)互娛等領(lǐng)域;來自美國的谷歌和臉譜是人工智能領(lǐng)域的佼佼者，吸納了多位深度學(xué)習(xí)領(lǐng)域的頂尖學(xué)者及團(tuán)隊，掌握多項人臉識別核心專利與技術(shù);除此之外，大華技術(shù)、中國科學(xué)院、百度和?？低暦謩e位列第六至第十，作為安防領(lǐng)域的兩大巨頭，大華技術(shù)和?？低暰M建了自己的研發(fā)團(tuán)隊，自主研發(fā)人臉識別技術(shù)并嵌入至自家的安防產(chǎn)品中，以占領(lǐng)更大智能安防市場氛圍，中科院以及百度也成立了各自的人工智能實驗室，將基于深度學(xué)習(xí)的人臉識別技術(shù)作為主要研發(fā)方向之一。

（四）技術(shù)主題分布

圖5為人臉識別技術(shù)各分支專利申請占比圖。特征提取技術(shù)專利申請量占比最高，為42%，作為人臉識別技術(shù)環(huán)節(jié)中的核心，特征提取算法和模型的好壞決定了特征提取的質(zhì)量，對于人臉識別的準(zhǔn)確率的影響程度較高，同時也是人臉識別四個技術(shù)環(huán)節(jié)中運用到深度學(xué)習(xí)算法最多的步驟;特征比對技術(shù)專利申請量占比次高，為36%，特征比對的結(jié)果直接決定了人臉識別的結(jié)果;采集預(yù)處理和多手段融合技術(shù)分別占比19%和3%。

三、核心技術(shù)路線梳理

基于前面的分析，通過對于人臉識別核心專利的深入閱讀分析，對人臉識別的核心技術(shù)環(huán)節(jié)特征提取的技術(shù)發(fā)展脈絡(luò)進(jìn)行了梳理。

2006年，機(jī)器學(xué)習(xí)大師、多倫多大學(xué)教授Geoffrey Hinton及其學(xué)生Ruslan發(fā)表在世界頂級學(xué)術(shù)期刊《科學(xué)》上的一篇論文引發(fā)了深度學(xué)習(xí)在研究領(lǐng)域和應(yīng)用領(lǐng)域的發(fā)展熱潮。這篇文獻(xiàn)提出了兩個主要觀點：一是多層人工神經(jīng)網(wǎng)絡(luò)模型有很強(qiáng)的特征學(xué)習(xí)能力，深度學(xué)習(xí)模型學(xué)習(xí)得到的特征數(shù)據(jù)對原數(shù)據(jù)有更本質(zhì)的代表性，這將大大便于分類和可視化問題;二是對于深度神經(jīng)網(wǎng)絡(luò)很難訓(xùn)練達(dá)到最優(yōu)的問題，可以采用逐層訓(xùn)練方法解決，將上層訓(xùn)練好的結(jié)果作為下層訓(xùn)練過程中的初始化參數(shù)。在這一文獻(xiàn)中深度模型的訓(xùn)練過程中逐層初始化采用無監(jiān)督學(xué)習(xí)方式。

隨后深度學(xué)習(xí)開始得到業(yè)界的關(guān)注，2012年由Hinton和他的學(xué)生Alexander Krizhevsky設(shè)計的AlexNet，獲得了ILSVRC（ImageNet Large Scale Visual Recognition Challenge）比賽分類項目的冠軍，準(zhǔn)確率達(dá)到57.1%，top 1-5 達(dá)到80.2%，這相對于傳統(tǒng)的機(jī)器學(xué)習(xí)分類算法而言，已經(jīng)相當(dāng)?shù)某錾?。憑借優(yōu)異的表現(xiàn)，Hinton和Alexander加入了Google并以此申請了專利US14/030，938。AlexNet采用深度卷積神經(jīng)網(wǎng)絡(luò)，共有8層結(jié)構(gòu)，前5層為卷積層，后3層為全連接層。AlexNet卷積神經(jīng)網(wǎng)絡(luò)在圖像分類中顯示出了巨大的威力，通過學(xué)習(xí)得到的卷積核明顯優(yōu)于人工設(shè)計的特征+分類器的方案，很多研究者都在嘗試將其應(yīng)用在自己的方向，這極大的推動了深度學(xué)習(xí)的發(fā)展，使用深度學(xué)習(xí)實現(xiàn)人臉識別開始成為主流。

2013年，F(xiàn)acebook的Yaniv Taigman等人提出了DeepFace算法，以此申請了專利US14/530，585。DeepFace采用了基于檢測點的人臉檢測方法，對檢測后的圖片進(jìn)行二維裁剪，將人臉部分裁剪出來，然后轉(zhuǎn)換為放正的3D模型，隨后輸入CNN提取特征;CNN共8層，包括5個卷積層，1個池化層，2個全連接，最后對輸出的特征向量進(jìn)行歸一化和分類，從而完成識別。其早于DeepID和FaceNet，但其所使用的方法在后面模型中都有體現(xiàn)，可謂是早期的奠基之作。

同在2013年，香港中文大學(xué)的湯曉鷗教授及其團(tuán)隊提出了DeepID算法，以此申請專利CN201380081288.3。2014年憑借該算法首次參加ImageNet大規(guī)模物體檢測任務(wù)比賽便以40.7%的優(yōu)異戰(zhàn)績位居第二名;幾個月后，DeepID-Net團(tuán)隊將此成績大幅提高至50.3%，達(dá)到了全球最高的檢測率。2014年湯曉鷗創(chuàng)立了商湯科技，并對DeepID算法進(jìn)行改進(jìn)提出DeepID2算法，以此申請專利CN201480079316.2。DeepID采用深度學(xué)習(xí)的方法來提取人臉高級特征（high-level features），這種特征被稱為DeepID，DeepID特征是通過人臉分類任務(wù)學(xué)習(xí)得到的，這樣的特征可以使用在人臉驗證中，最終在LFW數(shù)據(jù)集上取得了準(zhǔn)確率97.45%的結(jié)果;其采用的CNN網(wǎng)絡(luò)結(jié)構(gòu)共為10層，包括輸入層、4個卷積層、3個池化層、1個DeepID層和1個Softmax層;在提取特征后，使用了Joint Bayesian和Neural Network兩種方法進(jìn)行區(qū)人臉比對，最終得出識別結(jié)果。

同在2014年，Google的Christian Szegedy等人提出了提出了Inception網(wǎng)絡(luò)結(jié)構(gòu)，就是構(gòu)造一種“基礎(chǔ)神經(jīng)元”結(jié)構(gòu)，來搭建一個稀疏性、高計算性能的網(wǎng)絡(luò)結(jié)構(gòu);該結(jié)構(gòu)將CNN中常用的卷積（1x1，3x3，5x5）、池化操作（3x3）堆疊在一起（卷積、池化后的尺寸相同，將通道相加）;一方面增加了網(wǎng)絡(luò)的寬度，另一方面也增加了網(wǎng)絡(luò)對尺度的適應(yīng)性，基于Inception搭建了GoogLeNet，共22層結(jié)構(gòu)，以此申請了專利US14/839，452。GoogLeNet憑借其優(yōu)秀的表現(xiàn)，得到了很多研究人員的學(xué)習(xí)和使用。

2014年至2016年期間，GoogLeNet團(tuán)隊對GoogLeNet進(jìn)行了進(jìn)一步地發(fā)掘改進(jìn)，研發(fā)出了Inception v2，Inception v3和Inception v4，最終基于Inception v4提出了inception-resnet-v2，據(jù)此于2016年申請了專利US15/395，530。其中將nxn的卷積通過1xn卷積后接nx1卷積來替代，這樣既可以加速計算，又可以將1個卷積拆成2個卷積，使得網(wǎng)絡(luò)深度進(jìn)一步增加，增加了網(wǎng)絡(luò)的非線性;使用了兩個并行化的模塊（卷積、池化并行執(zhí)行，再進(jìn)行合并）來降低計算量;將ResNet與Inception 結(jié)合。這些改進(jìn)大幅提升了其性能。

2016年，Google的Barret ZOPH等提出了NasNet，并以此申請了專利US62/414，300。這個模型并非是人為設(shè)計出來的，而是通過谷歌很早之前推出的AutoML自動訓(xùn)練出來的。該項目目的是實現(xiàn)“自動化的機(jī)器學(xué)習(xí)”，即訓(xùn)練機(jī)器學(xué)習(xí)的軟件來打造機(jī)器學(xué)習(xí)的軟件，自行開發(fā)新系統(tǒng)的代碼層。它也是一種神經(jīng)架構(gòu)搜索技術(shù)（Neural Architecture Search technology），其模型就是基于AutoML，首先在CIFAR-10這種數(shù)據(jù)集上進(jìn)行神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索，以便 AutoML 找到最佳層并靈活進(jìn)行多次堆疊來創(chuàng)建最終網(wǎng)絡(luò)，并將學(xué)到的最好架構(gòu)轉(zhuǎn)移到 ImageNet 圖像分類和 COCO 對象檢測中，也就得到了NasNet，其在圖像分類任務(wù)中表現(xiàn)極為優(yōu)秀。

2017年，Google的Howard Andrew Gerald等推出了MobileNet，以此申請了專利US15/707，064。其使用了一種稱之為deep-wise的卷積方式來替代原有的傳統(tǒng)3D卷積，減少了卷積核的冗余表達(dá)，在計算量和參數(shù)數(shù)量明顯下降之后，卷積網(wǎng)絡(luò)可以應(yīng)用在更多的移動端平臺。同年，商湯科技也針對移動端應(yīng)用，分別申請了專利CN201710671900.2和CN201711214145.1，前者注重于神經(jīng)網(wǎng)絡(luò)模型的壓縮，后者通過大型神經(jīng)網(wǎng)絡(luò)對小型神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，將大型網(wǎng)絡(luò)的特性遷移至小型網(wǎng)絡(luò)中。

谷歌、商湯科技和曠視科技都是人臉識別技術(shù)的引領(lǐng)者，擁有多項核心技術(shù)和專利，其中谷歌在深度學(xué)習(xí)網(wǎng)絡(luò)模型方面持續(xù)進(jìn)行研發(fā)和改進(jìn)，技術(shù)和專利儲備雄厚，商湯科技和曠視科技作為后起之秀也自主研發(fā)了多項深度學(xué)習(xí)網(wǎng)絡(luò)模型。2017年之后，這三家公司均開始研發(fā)小型神經(jīng)網(wǎng)絡(luò)模型，意圖布局移動端。

四、結(jié)語

作為人工智能技術(shù)的關(guān)鍵技術(shù)之一，近二十年來，人臉識別技術(shù)的專利申請量呈現(xiàn)迅速增長的趨勢，隨著各國的政策激勵以及應(yīng)用場景的豐富，人臉識別技術(shù)在未來幾年將會保持持續(xù)地快速增長趨勢。在各項政策激勵、人才儲備以及應(yīng)用市場多方因素的作用下，中國培育出了一批人臉識別技術(shù)領(lǐng)域的小巨頭企業(yè)，掌握了多項核心專利和技術(shù)，引領(lǐng)了人臉識別技術(shù)的不斷發(fā)展。深度學(xué)習(xí)的出現(xiàn)使得人臉識別的效率和準(zhǔn)確率均超過了人眼，得以運用到安防、金融等各個領(lǐng)域中，基于深度學(xué)習(xí)的人臉識別技術(shù)成為目前的主流研發(fā)方向。隨著人工智能專用芯片的出現(xiàn)和移動終端性能的提升，適用于移動端的人臉識別技術(shù)的研究與開發(fā)將成為未來的研究熱點之一。

參考文獻(xiàn)

[1] 廖育梅.人工智能控制理論現(xiàn)狀分析與發(fā)展探討[J].才智，2013（8）：270.

[2] 李兵兵，伍維根，謝永春.智能控制理論在電力電子中的應(yīng)用[J].科技創(chuàng)新與應(yīng)用，2018（35）：170-172.