活體識別領域的專利技術綜述

鄭巖 張瑩 楊紅武

摘要：本文對活體識別技術領域的全國專利申請狀況進行了統(tǒng)計分析，并重點研究了國內活體檢測技術的發(fā)展路線，通過對活體檢測專利技術的發(fā)展脈絡分析整體上了解了活體檢測技術的整個發(fā)展周期，期望本專利綜述能夠幫助本領域技術人員把握活體檢測技術脈絡，快速準確定位檢索要素、提高檢索和審查效率。

關鍵詞：活體識別;專利綜述

中圖分類號：TP391 文獻標識碼：A 文章編號：1003-5168（2020）09-0146-07

1 活體識別技術概述

欺騙攻擊是試圖使生物識別系統(tǒng)認定非法申請人為合法的注冊人員以獲取權限而通過驗證。為了抵御欺騙攻擊，在生物識別系統(tǒng)中添加驗證生物特征持有者是否合法的步驟，其目標是找出合法生物特征持有者與死體、假體等非法生物特征持有者的區(qū)別，我們稱之為活體識別。

活體識別方法可以分為兩類：基于行為特征的活體識別方法和基于物理特征的活體識別方法[1]?；谛袨樘卣鞯幕铙w識別方法，可以分為基于手勢特征的活體識別，基于頭部行為特征的活體識別以及基于聲音特征的活體識別;其中基于頭部行為特征的活體識別可以分為基于面部表情的活體識別和基于頭部晃動的活體識別[2]。基于物理特征的活體識別方法，可以分為基于皮膚電特性的活體識別，基于紋理特征的活體識別，基于皮膚彈性特征的活體識別，基于皮膚汗液分泌特性的活體識別，基于人體熱輻射特征的活體識別，基于頭部三維特征的活體識別，基于瞳孔光敏特性的活體識別，基于心臟跳動特征的活體識別[3];其中基于人體熱輻射特征的活體識別可以分為基于手指體溫的活體識別，基于靜脈特征的活體識別，基于面部溫譜圖的活體識別;其中基于心臟跳動特征的活體識別可以分為基于脈搏特征的活體識別，基于心電圖特征的活體識別。

2 活體識別的專利技術概述

為了研究活體識別技術的專利發(fā)展情況，本文結合實際審查工作，采用專利檢索數(shù)據(jù)庫CNABS和VEN數(shù)據(jù)庫，通過關鍵詞、追蹤檢索、塊檢索、轉庫檢索等檢索策略，并對數(shù)據(jù)庫進行數(shù)據(jù)采集、清洗、建立數(shù)據(jù)庫，利用Patentics對該領域的專利申請數(shù)據(jù)進行統(tǒng)計分析并生成可視化圖表。本次專利分析的檢索數(shù)據(jù)包括截止到2019年6月27日公開的專利申請。

2.1 中國專利申請量趨勢分析

圖1為活體識別技術的專利申請趨勢圖，第一件活體識別相關的專利申請于2001年，截止到2014年，我國的活體識別技術一直處于緩慢發(fā)展的階段，專利申請量還不大，該階段我國活體識別還處于起步階段。自2014年起，關于活體識別技術的專利申請量大幅度增加，技術生長呈現(xiàn)上升趨勢，從2014年的43件上升到2018年的355件，2018年至2019年專利申請量出現(xiàn)下降，這是由于僅有上半年數(shù)據(jù)以及部分申請尚未公開。預計2019年后，這一上升態(tài)勢將會持續(xù)保持。

2.2 全國重要申請人分析

圖2示出了國內不同申請人專利申請量的比重，其他申請人占比73.59%，說明活體識別領域的技術沒有被某個企業(yè)壟斷，圖3示出了國內主要申請人的申請量，北京曠視科技格外注重專利布局，活體識別領域內申請的專利數(shù)量為66件，占專利申請份額的5.45%，研究實力大大領先于其他競爭企業(yè)。廣東歐珀電子工業(yè)在活體識別領域內申請的專利數(shù)量為42件，占專利份額的3.47%，僅次于北京曠視科技。阿里巴巴，中國平安保險，騰訊科技，中國科學院，百度在線網(wǎng)絡技術，深州市匯頂科技，在活體識別領域內均有一定數(shù)量的專利申請，以上數(shù)據(jù)表明國內企業(yè)在活體識別領域內競爭較為激烈，具有一定的市場競爭力。

2.3 國內主要申請人不同年份的申請量

圖4示出了國內主要申請人不同年份的申請量，其中中國科學院和清華大學對活體識別的研究具有連續(xù)性，國內大部分申請人對活體識別領域的研究主要集中在2013—2018年，其中北京曠視科技對活體識別領域的研究始于2015年，并且2015—2018年一直在持續(xù)進行研究，廣東歐珀電子工業(yè)對活體識別領域的研究始于2015年，并于2017年達到高峰期，阿里巴巴對活體識別領域的研究始于2014年，并且在2014—2018年來一直在持續(xù)進行研究。

2.4 國內重要申請人的發(fā)明人

圖5-6示出了北京曠視科技和廣東歐珀電子工業(yè)的第一發(fā)明人的申請量，其中北京曠視科技中其他人的申請量為24件占比36.36%，占有量最多。其次是范浩強，他的申請量為16件占比為24.24%，表明北京曠視科技中活體識別的技術分布在大多數(shù)人中。其中廣東歐珀電子工業(yè)中的周海濤、周意保、唐城和張海平的申請量占比分別為23.81%、19.05%、14.29%和14.29%，共占比71.44%，表明廣東歐珀電子工業(yè)中活體識別的技術主要掌握在周海濤、周意保、唐城和張海平等人中。

2.5 國內專利IPC分布

圖7示出了國內專利申請的IPC分布，涉及活體識別技術的相關申請中，IPC分類最多的小類G06K涉及數(shù)據(jù)識別、數(shù)據(jù)表示、記錄載體和記錄載體的處理。另外，G06F涉及點數(shù)字數(shù)據(jù)處理，A61B涉及診斷、外科和鑒定，G06T涉及一般的圖像數(shù)據(jù)處理或產生，G06Q涉及專門適用于行政、商業(yè)、金融、管理、監(jiān)督或預測目的的數(shù)據(jù)處理系統(tǒng)或方法，G07C涉及時間登記器或出勤登記器，由此可見，利用活體識別技術進行數(shù)據(jù)處理、鑒定、出勤登記等是該領域下研究的重點和熱點，H04L、G06N、H04N等涉及數(shù)字信息的傳輸、基于特定計算模型的計算機系統(tǒng)、圖像通信等在上述國內IPC分布中僅占有少量比重。

3 專利技術發(fā)展路線

活體檢測領域的技術分支為基于行為特征的活體識別和基于物理特征的活體識別兩個技術分支;其中物理特征包括瞳孔光特性、紋理特征、人體熱輻射、膚色信息、血液流動、人臉三維特征、脈搏特征、攻擊特征、心跳特征等，其中行為特征包括眨眼運動、調整視線方向、張閉嘴運動、唇形特征、眉毛運動、頭部運動、皺紋運動等。

3.1 基于物理特征的活體識別

3.1.1 基于瞳孔光特性的活體識別。與其它的生物特征相比，虹膜具有三個顯著的優(yōu)點：唯一性、穩(wěn)定性和非侵犯性，虹膜識別的準確率是各種生物特征識別中最高的;但是同傳統(tǒng)的安全防范方法（如密碼等）一樣，基于虹膜的生物特征識別技術也有被偽造和竊取的危險，因此為了提高虹膜識別技術的防偽性能，中國科學院自動化研究申請了專利CN1426760A（公開號），該專利通過判斷正常的瞳孔一直處于這種不停的縮放狀態(tài)，同時，當光線強時，瞳孔縮小，光線弱時，瞳孔放大以及通過計算虹膜圖像中瞳孔區(qū)域內高光點的面積等辨別是否活體虹膜。為了解決上述專利中存在的活體識別準確率低的問題，清華大學和大唐電信科技股份有限公司申請了專利CN105139006A（公開號），該專利通過對屏幕亮度信息和用戶的瞳孔收縮狀態(tài)信息進行分析，獲取相關系數(shù)，相關系數(shù)大于等于閾值時確定用戶為真人，該專利提高了人臉檢測設備的智能性，使人臉檢測設備能夠快速、高效的進行活體識別，提高了活體識別的準確率，同時達到了減少人力損耗的目的。為了解決上述活體檢測會給用戶帶來不適的問題，阿里巴巴集團控股有限公司申請了專利CN108537111A（公開號），該專利在向用戶展示預設圖像后，可以通過采集用戶的人臉圖像，從該人臉圖像中確定出該用戶的人眼圖像中包含的待驗證圖像，進而根據(jù)該預設圖像以及該待驗證圖像，對該用戶進行活體檢測，該專利即可在用戶觀看預設圖像的過程中，利用人體的特性對用戶實施自然、無感知的活體檢測，從而給用戶帶來了極大的方便。

3.1.2 基于模板特征的活體識別。對于基于模板特征的活體識別方法，該活體識別的方法是根據(jù)提取的特征與模板特征進行比對，進而確定是否為活體，其中模板特征包括脈搏特征、攻擊特征、熱圖特征和視差特征等。傳統(tǒng)的活體判別技術，通常需要在實際應用場景中結合一定的交互，如搖頭、眨眼等，通過臉部某一點的位置移動來區(qū)分真人和照片;然而，這種傳統(tǒng)的活體判別需要用戶交互，只有用戶按照提示做出正確的交互后，才能通過活體檢測，導致檢測率低;因此為了不需要用戶做額外的交互動作且能夠提高活體識別的檢測率，騰訊科技（深圳）有限公司申請了專利CN106570489A（公開號），該專利根據(jù)人臉區(qū)域的光照強度，計算每一幀人臉圖像對應的脈搏特征，建立脈搏特征曲線，將脈搏特征曲線與預存標準非活體脈搏特征曲線進行對比，若特征值相差超過預設特征閾值，則判定采集到的是活體人臉圖像。為了進一步可以更有效地防御面具、照片、翻拍或電腦合成等針對活體人臉識別的攻擊，北京曠視科技有限公司和北京小孔科技有限公司申請了專利CN106599872A（公開號），該專利根據(jù)包括攻擊特征的特征區(qū)域的圖像的數(shù)量，判斷人臉圖像是不是活體人臉圖像，其中攻擊特征包括毛孔缺失、皺紋缺失、陰影缺失、非自然反光、活體人臉無法做出的肌肉動作、馬賽克、鋸齒和摩爾紋中的一種或其組合。為了進一步使活體檢測的方法操作簡單，北京曠視科技有限公司和北京小孔科技有限公司申請了專利CN106650666A（公開號），該專利根據(jù)采集到的臉部熱圖以及臉部期望熱圖的比較，確定待檢測對象是否為活體。為了進一步能夠使用單攝像頭進行活體人臉檢測，維沃移動通信有限公司申請了專利CN109241832A（公開號），該專利獲取攝像頭在第一高度位置采集的第一圖像以及在第二高度位置采集的第二圖像;其中，第一圖像與第二圖像均包括目標人臉對象的人臉圖像;獲取第一圖像與第二圖像間的視差信息;根據(jù)該視差信息，確定目標人臉對象是否為活體，該專利準確的區(qū)分出所識別的人臉對象是否為真人，提升了人臉識別的準確度，進而提高了人臉解鎖的可靠性及安全性。

3.1.3 基于人臉三維特征的活體識別。在常見的通過人機交互，要求活體人臉搖頭、眨眼以及嘴巴張開閉合進行活體檢測的方法中，需要可靠和穩(wěn)定搖頭檢測和張嘴閉嘴、張眼閉眼檢測算法;當活體人臉運動時，攝像機捕獲到的圖像可能比較模糊，此時上述算法可能會失效;而在一些測試中還發(fā)現(xiàn)，利用平板電腦快速切換眼睛和嘴巴的張開閉合照片，快速切換人臉左右搖頭照片，也有很大的概率使上述活體人臉檢測算法失效;此外，假冒攻擊者通過錄制對應的搖頭、眨眼和嘴巴張開閉合的視頻，通過平板電腦快速切換播放相應的視頻，也能實現(xiàn)假冒攻擊的目的;最后，這種常見的人機交互防范假冒攻擊的算法，要求人臉有意識的進行配合，同時配合程度要求比較高。一旦人們不能理解或者做出的動作不夠規(guī)范（如眼睛、嘴巴不能完全閉合;眼睛、嘴巴 張開的不夠大;將搖頭理解成為擺頭或者其它動作），那么活體人臉就很容易被認定為假冒攻擊。因此為了使人臉活體檢測不依賴于用戶動作配合且能夠有效防范常見的視頻和照片假冒攻擊，北京海鑫科金高科技股份有限公司申請了專利CN104834901A（公開號），該專利根據(jù)第一和第二攝像頭采集的人臉視頻數(shù)據(jù)，判斷人臉處于第一和第二攝像頭的預設共同視野范圍內時，生成人臉圖像深度圖，通過預設三維結構分類規(guī)則，判斷人臉圖像深度圖構成人臉三維結構圖時，提示人臉為活體人臉。為了提高三維人臉檢測結果的精確度、魯棒性和穩(wěn)定性，北京天誠盛業(yè)科技有限公司申請了專利CN105740778A（公開號），該專利在三維人臉圖像中選取多個特征點，并獲取每一個特征點的鄰域內各點的三維坐標信息，根據(jù)每一個特征點的鄰域內各點的三維坐標信息計算每一個特征點的實際曲面曲率，根據(jù)每一個特征點的實際曲面曲率判斷三維人臉圖像是否來自于活體。為了降低三維人臉活體檢測的成本，北京曠視科技有限公司和北京邁格威科技有限公司申請了專利CN108875468A（公開號），該專利基于不同角度的第一圖像和第二圖像構建被測人臉的三維信息;在確定三維信息與真實人臉的三維形狀相匹配的情況下，提示活體檢測成功，該活體檢測方法能夠基于不同拍攝角度的人臉圖像進行活體檢測，降低活體檢測的成本，簡化活體檢測的判斷流程，提高活體檢測的判斷效率，提高基于人臉識別的身份驗證系統(tǒng)的安全性和可靠性。

3.2 基于行為特征的活體識別

3.2.1 基于眨眼運動的活體識別。傳統(tǒng)的活體檢測中的基于行為特征的活體識別大致可分為用戶配合和盲檢測兩種方法。用戶配合的方法要求用戶按照系統(tǒng)的提示做一些特定的動作，例如嘴型變化、頭部轉動、表情變化等;系統(tǒng)比較用戶的反應是否與預期相符合，若符合則判斷為活體，否則判斷為照片;用戶配合的檢測方法的優(yōu)點是確?；铙w，缺點是暴露了系統(tǒng)活體檢測的判斷依據(jù);另外，用戶配合的檢測方法要求用戶按照提示做一系列的動作，容易使用戶產生厭煩情緒，降低了系統(tǒng)的友好性;盲檢測的方法不需要用戶配合，是在用戶不知情的狀態(tài)下進行活體檢測;盲檢測方法的優(yōu)點是隱蔽性強，安全性高，缺點是可以穩(wěn)定有效利用的活體特征較少;例如，眼睛眨動是盲檢測方法常用的活體特征。鑒于盲檢測的優(yōu)點，浙江大學申請了專利CN101216887A（公開號），該申請是通過人臉位置檢測，截取人臉圖片并定位出眼睛中心;截取眼部圖像，作歸一化處理，計算眼睛的開合程度，建立用于判斷眨眼動作的模型，處理視頻中每一幀圖像，基于模型判斷是否存在眨眼動作，完成活體識別。根據(jù)統(tǒng)計，人眼平均2到4秒才眨動一次，而且，長時間不眨眼的人也不少，因此，為了誘發(fā)用戶在無意識的狀態(tài)下產生眨眼動作，中山大學申請了專利CN101908140 A（公開號），該專利通過系統(tǒng)給出誤導性提示信息，Adaboost檢測人臉、人眼區(qū)域，差分灰度投影精確框定人眼眼眶，計算相鄰兩幀眼睛光流場，由光流計算的結果得到像素運動幅值，計算幅值足夠大的點數(shù)占整個圖像點數(shù)的比重，若占到相當大的比例則判斷此時人眼區(qū)域發(fā)生了較大的運動，說明為活體，否則為照片。為了解決傳統(tǒng)閉眼分類器的性能難以滿足需求，例如有人眼睛較小或有人眼睛無法完全閉合等，和眨眼檢測難抵抗基于視頻的虛假人臉攻擊，上海依圖網(wǎng)絡科技有限公司申請了專利CN104794464A（公開號），該專利根據(jù)關鍵點獲取眼睛的區(qū)域;判斷連續(xù)多幀圖像中區(qū)域的屬性變化值的規(guī)律是否符合真實人臉的變化規(guī)律，其中屬性變化值為上下眼皮間的距離變化值;該專利采用屬性變化信息進行活體人臉檢測，相比現(xiàn)有技術，在性能上有明顯提升，可以滿足如眼睛較小或眼睛無法完全閉合等場合的需求。

3.2.2 基于多個行為動作的活體識別。一般而言，活體人臉檢測面臨著三種欺詐手段：使用合法用戶的照片，使用合法用戶的視頻，使用合法用戶的三維模型。其中，使用合法用戶的照片欺詐是最常見的一種方式，原因在于一個人的臉部圖像是非常容易獲取的，比如，通過互聯(lián)網(wǎng)下載，通過攝像頭在合法用戶不知情的情況下抓拍等;入侵者可以通過人臉圖像在圖像采集設備前旋轉、翻轉、彎曲、搖擺等手段造成一種類似于合法用戶真人的效果去欺騙生物識別認證系統(tǒng);并且，目前來看，檢測一張輸入的圖像是來自真實人臉或者是照片人臉依舊是一件非常有挑戰(zhàn)性的工作。視頻欺詐是另外一種對于人臉識別系統(tǒng)具有很大威脅的手段，這種手段呈現(xiàn)出的效果和真實人臉的效果非常相似，而合法用戶的臉部視頻可以通過其面前的針孔攝像頭獲取;并且這種方法具有很多特征，如頭部運動，臉部表情、眨眼運動等;這些特征是照片所不具備的，正因為如此，這種欺詐手段也是對活體檢測系統(tǒng)威脅最大的一種。三維模型具備人臉的三維信息，然而這些信息是剛性的，并且是缺少生理信息，并且要仿造一個活人的三維模型是非常困難的。所以，照片欺騙和視頻欺騙是攻擊活體人臉檢測系統(tǒng)最常見，最普遍的手段和方法。因此為了驗證當前圖片或視頻序列中出現(xiàn)的人臉是否是具有生物活性特征的人體，湖北微模式科技發(fā)展有限公司申請了專利CN103440479A（公開號），該專利通過預先保存動作集，包括但不限于：眨眼、揚眉、閉眼、瞪眼、遮擋眼睛、遮擋鼻孔、微笑、笑臉、 伸舌頭、觸摸下巴等;從拍攝的視頻序列中獲取圖像;在視頻圖像中檢測人臉，如果檢測到人臉，則確定人臉的位置和大小;通過關鍵區(qū)域檢測器對檢測到的人臉的面部關鍵區(qū)域檢測定位;判斷當前檢測到的人臉圖像是否為正面人臉;如果是正面人臉，隨機選擇動作集中的一種或多種動作，同時隨機選擇一種或多種動作完成的次數(shù)，并提示用戶;通過動作檢測器檢測用戶所做動作，若用戶在指定時間內完成隨機選擇的動作和完成次數(shù)，則判定為活體;否則，判定為非活體。由于上述專利僅僅通過在客戶端給用戶下發(fā)隨機挑選的動作來進行活體檢測，因此存在其隨機性能不佳導致隨著攻擊頻率的增加容易被破解的問題。為了解決該問題，平安科技（深圳）有限公司申請了專利CN109684800A（公開號），該專利通過在接收到終端發(fā)送的業(yè)務辦理請求時，根據(jù)所述請求隨機生成提示信息，并將所述提示信息發(fā)送至所述終端，所述提示信息包括待檢測動作和待回答問題對應的提示信息;當接收到所述終端反饋的動作信息和問題答復信息時，判斷所述動作信息和問題答復信息是否均滿足檢測通過條件，其中，所述檢測通過條件包括所述動作信息的動作特征和所述待檢測動作的動作特征匹配，以及所述問題答復信息和所述待回答問題的答案匹配;當所述動作信息和問題答復信息均滿足所述檢測通過條件時，完成活體檢測;該專利以待檢測動作和待回答問題的組合式活體檢測方式極大提升了活體檢測的隨機性能，使活體檢測具備更好的防御攻擊的能力。

4 小結

對于基于物理特征的活體識別，基于瞳孔光特性的活體識別，友好性差，但是可以有效抵御照片欺騙和視頻欺騙;基于模板特征的活體識別，硬件開銷大，但可以針對的防御某種攻擊;基于人臉三維特征的活體識別，運算復雜度高，但是能夠簡化活體檢測的判斷流程。對于基于行為特征的活體識別，基于眨眼運動的活體識別，能夠在用戶不知情的狀態(tài)下進行活體檢測，隱蔽性強，安全性高，但是如何進一步提高抵抗基于視頻的虛假人臉攻擊的性能，將是未來的研究發(fā)展方向;基于多個行為動作的活體識別，能夠提高活體識別的檢測率，但是如何進一步提高多個動作的隨機性能，使活體檢測具備更好的防御攻擊的能力，應該是未來的研究發(fā)展方向。

參考文獻：

[1] 陳曦等.生物識別中的活體檢測技術綜述[A].Proceedings of the 34th Chinese Control Conference[C]，2015：3797-3804.

[2] 蔣方玲等.人臉活體檢測綜述[J].自動化學報，2019（4）.

[3] 陳寧鈺.人臉活體檢測綜述[J].信息與電腦，2019（8）：108-109，112.