基于三種類型圖像數(shù)據(jù)的人臉識(shí)別測試

謝蘭遲，王俊娟，黎智輝,*，許 磊，張 寧，商懷哲

（1. 公安部物證鑒定中心，北京 100038；2. 蚌埠市公安局，安徽 蚌埠 233040；3. 德州市公安局德城分局，山東 德州 253000）

基于三種類型圖像數(shù)據(jù)的人臉識(shí)別測試

謝蘭遲1，王俊娟2，黎智輝1,*，許 磊1，張 寧1，商懷哲3

（1. 公安部物證鑒定中心，北京 100038；2. 蚌埠市公安局，安徽 蚌埠 233040；3. 德州市公安局德城分局，山東 德州 253000）

人臉識(shí)別的準(zhǔn)確率受很多因素的影響，如圖像尺寸、姿態(tài)角度、年齡變化等。本文提出了一種基于三種類型圖像數(shù)據(jù)的人臉識(shí)別測試流程。測試中，采集了300個(gè)測試對(duì)象的靜態(tài)照片、三維人像以及監(jiān)控視頻資料。采集的數(shù)據(jù)經(jīng)過預(yù)處理，并按照人像的分辨率和拍攝角度分類。我們通過對(duì)7 800張人臉樣本的測試，分析不同分辨率、角度、年齡對(duì)于人臉識(shí)別算法魯棒性的影響。本文提出的方法是一種更加適合法庭科學(xué)領(lǐng)域應(yīng)用的人臉識(shí)別系統(tǒng)評(píng)估與測試方法。

人像檢驗(yàn)；人臉識(shí)別測試；監(jiān)控視頻；三維人像

人臉識(shí)別是一種應(yīng)用廣泛的生物特征識(shí)別技術(shù)，它可以針對(duì)靜態(tài)圖像或視頻圖像進(jìn)行人臉檢測和跟蹤，并進(jìn)一步通過人臉圖像的幾何特征、代數(shù)特征、固定特征模板、特征臉[1]等方法進(jìn)行特征提取，之后映射到低維空間，采取一定的匹配策略與現(xiàn)有數(shù)據(jù)庫中的已知人臉進(jìn)行比對(duì)，從而識(shí)別出人臉身份。在國內(nèi)公共安全領(lǐng)域，人臉識(shí)別技術(shù)目前已廣泛應(yīng)用于大型活動(dòng)安保、銀行安全、邊境檢查、戶籍查重、視頻圖像偵查等重要工作中。

在實(shí)際應(yīng)用中，人臉識(shí)別的準(zhǔn)確率往往與人臉圖像的采集設(shè)備、面部尺寸、姿態(tài)角度、年齡變化以及圖像噪聲等因素有著密切的聯(lián)系。為研究上述因素對(duì)人臉識(shí)別比對(duì)檢測結(jié)果的影響，集合了二維照片、三維人像、視頻監(jiān)控這三類圖像資源，希望總結(jié)出一套更接近法庭科學(xué)應(yīng)用要求的人臉識(shí)別算法魯棒性測試方法。

1 國內(nèi)外人臉識(shí)別測試

在人臉識(shí)別測試研究中，應(yīng)用較多的有FERET人臉庫[2]、YALE人臉庫[3]、CMU人臉庫[4]、ORL人臉庫[5]等，這些數(shù)據(jù)庫的樣本數(shù)量較少，且均為歐美人臉。國內(nèi)的人臉數(shù)據(jù)庫中，以中科院計(jì)算所的CAS-PEAL大規(guī)模人臉數(shù)據(jù)庫[6]應(yīng)用最為廣泛，采集了1 040個(gè)對(duì)象共30 863張人臉二維圖像，包含了同一對(duì)象多角度多表情以及不同配飾的人臉樣本。但該數(shù)據(jù)庫的缺陷在于，同一對(duì)象的已知樣本和待測樣本的采集條件完全一致，均是在同一時(shí)間、同一環(huán)境下由同一類設(shè)備采集，這與公共安全領(lǐng)域的實(shí)際應(yīng)用存在較大差異。

美國國家標(biāo)準(zhǔn)技術(shù)研究所（National Institute of Standards and Technology,NIST）在1993～2013年間進(jìn)行了多次人臉識(shí)別廠商測試(Face Recognition Vendor Test,FRVT)[7-8]。以FRVT2006[8]為例，測試使用Nikon D70相機(jī)和Minolta Vivid 900/910三維掃描儀獲取人臉圖像，該項(xiàng)測試的方法相對(duì)成熟，數(shù)據(jù)也較完備，但其測試的二維人像樣本眼間距為75～400像素，圖像質(zhì)量遠(yuǎn)遠(yuǎn)高于法庭科學(xué)應(yīng)用中可獲取的人像條件。從算法研究和廠商測試的情況來看，尚未有一組直接適用于公共安全領(lǐng)域的人臉識(shí)別測試。希望通過多種類型圖像數(shù)據(jù)的采集和處理，提出更接近法庭科學(xué)應(yīng)用要求的人臉識(shí)別系統(tǒng)測試和評(píng)價(jià)方法。

2 數(shù)據(jù)采集和實(shí)驗(yàn)準(zhǔn)備

2.1 三種類型樣本數(shù)據(jù)的采集

本實(shí)驗(yàn)選取300名成年人作為采集對(duì)象，其中男性249人，女性51人?？紤]到了不同性別犯罪人群的特點(diǎn)，選取的測試對(duì)象在17～64歲之間，年齡分布情況如圖1所示。采集時(shí)間為2014年10月28日至30日，全部人像數(shù)據(jù)都在室內(nèi)自然光下采集。

圖1 不同性別測試對(duì)象年齡分布情況Fig.1 Age distribution of the subjects of different gender

使用Canon EOS-1D X相機(jī)對(duì)樣本人群拍攝二維正面人像照片。圖像大小5184×3456像素，保存格式為JPEG。使用Artec Spider手持式三維掃描儀采集上述樣本人群的三維人臉圖像[9]，文件格式保存為OBJ，紋理圖像大小為4096×4096像素[10]。使用?？低旽IK/DS-7804H硬盤錄像機(jī)采集樣本人群視頻圖像，文件格式為MP4，單幀圖像大小為352×288像素。采集的三種類型樣本數(shù)據(jù)見圖2。

圖2 三種類型樣本數(shù)據(jù)示意圖Fig.2 Three types of data from one same subject

2.2 實(shí)驗(yàn)準(zhǔn)備

對(duì)采集的三維數(shù)據(jù)使用Artec Studio進(jìn)行擬合及角度編輯，生成五個(gè)角度的人像圖片。將二維照片、三維圖像轉(zhuǎn)換的多角度人像圖片以及視頻單幀截圖進(jìn)行瞳孔標(biāo)注，使用MATLAB批處理生成眼間距分別為8～100像素的測試樣本。共制作測試樣本總數(shù)約7 800份。使用“上海銀晨單兵式人像比對(duì)軟件”進(jìn)行測試。測試數(shù)據(jù)庫容量10萬，入庫數(shù)據(jù)均為二代居民身份證照片，其中包含本測試300個(gè)實(shí)驗(yàn)對(duì)象的二代身份證照片。搜索樣本為300個(gè)實(shí)驗(yàn)對(duì)象近期拍攝的二維照片、三維圖像轉(zhuǎn)換的多角度人像圖片及視頻單幀截圖。測試參數(shù)統(tǒng)一為相似度閾值60，比對(duì)結(jié)果最大返回條數(shù)50。

3 測試方法及結(jié)果

3.1 不同分辨率的正面人像測試

對(duì)二維人臉照片按照分辨率高低，使用MATLAB批量處理為眼間距分別為8/15/25/50/100像素的人臉照片。測試得到比對(duì)排名對(duì)應(yīng)的綜合識(shí)別率結(jié)果如下表1所示。

表 1 正面不同分辨率人臉圖像綜合識(shí)別率（%）Table 1 Recognition rate of obverse faces under different resolutions

3.2 三維圖像轉(zhuǎn)換的多角度人像測試

使用Artec Studio編輯三維坐標(biāo)，轉(zhuǎn)換得到正面、左偏15°、左偏30°、下偏15°、下偏15°左偏15°五種角度的人臉圖像，如圖3所示。測試得到比對(duì)排名對(duì)應(yīng)的綜合識(shí)別率結(jié)果如表2、表3所示。

圖3 三維圖像轉(zhuǎn)換的多角度人像Fig.3 Multi-angle faces converted from 3D images

表 2 三維圖像轉(zhuǎn)換的多角度人像綜合識(shí)別率（%）（眼間距：25像素）Table 2 Recognition rate of multi-angle faces converted from 3D images (eye distance: 25 pixels)

表 3 三維圖像轉(zhuǎn)換的多角度人像綜合識(shí)別率（%）（眼間距：50像素）Table 3 Recognition rate of multi-angle faces converted from 3D images (eye distance: 50 pixels)

3.3 視頻監(jiān)控截圖中人像測試

視頻監(jiān)控中的人像進(jìn)行單幀截取，按照近似正面、側(cè)偏15～30 °、側(cè)偏大于30 °、俯角15 °左右、面部有表情或有遮擋五種情況分類測試，得到綜合識(shí)別率如表4所示。

表 4 視頻監(jiān)控截圖多角度人像綜合識(shí)別率（%）Table 4 Recognition rate of multi-angle faces converted from surveillance videos

4 實(shí)驗(yàn)結(jié)果分析

4.1 拍照時(shí)間跨度對(duì)圖像識(shí)別率的影響

實(shí)驗(yàn)中的測試樣本的采集時(shí)間均為2014年10月，測試對(duì)象中已知證件照拍攝時(shí)間的共163人。使用上述163人的50像素眼間距的正面照片作為測試樣本。按照證件照及二維正面照片拍攝時(shí)間間隔長短分為5組，得到數(shù)據(jù)統(tǒng)計(jì)結(jié)果如表5所示。實(shí)驗(yàn)結(jié)果顯示，前4組測試樣本的平均相似度得分隨兩次拍攝的時(shí)間間隔增大而減小。第5組測試樣本的平均相似度得分較第4組略高，應(yīng)考慮測試樣本性別比例差異、所處的年齡階段不同等因素對(duì)外貌變化的影響，并不影響人臉識(shí)別準(zhǔn)確率隨著拍攝時(shí)間間隔增大而下降的整體趨勢。年齡變化是影響人臉識(shí)別算法準(zhǔn)確率的重要因素之一。

表 5 正面人像識(shí)別結(jié)果與拍攝時(shí)間間隔的關(guān)聯(lián)Table 5 The relationship between recognition of obverse faces and the shooting time interval

4.2 不同類型圖像的人臉識(shí)別結(jié)果比較

人臉識(shí)別測試中往往需要應(yīng)用到多種類型的樣本，本文中應(yīng)用的二維照片、監(jiān)控視頻是最為常見的樣本數(shù)據(jù)形式，而隨著掃描技術(shù)的進(jìn)步三維人像也會(huì)越來越多的應(yīng)用于公共安全領(lǐng)域。選取相同眼間距（25像素左右）的三種類型的正面樣本人像，比較綜合識(shí)別率如下表6所示。

表 6 三種類型的正面人像識(shí)別結(jié)果（%）Table 6 Recognition rate of three types of obverse faces

上述比較結(jié)果顯示，對(duì)于正面人像，三維截圖的識(shí)別結(jié)果與二維照片更為相近，而監(jiān)控視頻由于壓縮噪聲、圖像模糊等因素綜合識(shí)別率較低。

三維人像數(shù)據(jù)可較精確的生成各個(gè)角度的人像照片，在模擬監(jiān)控視頻中人像的姿態(tài)，進(jìn)行比對(duì)分析與同一認(rèn)定方面有廣闊的應(yīng)用前景。本文中同時(shí)使用了三維人像和視頻監(jiān)控截圖進(jìn)行多種角度的人臉識(shí)別，選取眼間距25像素的兩類測試結(jié)果進(jìn)行比較，見表7。

表 7 不同角度的三維人像和監(jiān)控人像識(shí)別結(jié)果（%）Table 7 Recognition of multi-angle faces from 3D images and surveillance videos

結(jié)果顯示，兩種設(shè)備生成的側(cè)偏15°和下偏15°的測試樣本識(shí)別結(jié)果差別不大，但當(dāng)偏角達(dá)到30 °左右，三維人像截圖幾乎不可識(shí)別。大角度旋轉(zhuǎn)的人臉數(shù)據(jù)與監(jiān)控拍攝的人像在識(shí)別結(jié)果上存在較大差異，因三維人像的光照、成像方式等因素與庫中身份證照片有極大的差異，可通過建立三維人像數(shù)據(jù)庫的方式提高識(shí)別準(zhǔn)確率。

5 討論

針對(duì)法庭科學(xué)的實(shí)際應(yīng)用，本文在人臉識(shí)別測試的設(shè)計(jì)上還總結(jié)了以下幾點(diǎn)經(jīng)驗(yàn)：

選取樣本人群時(shí)應(yīng)考慮違法犯罪人群的性別和年齡分布特點(diǎn)。實(shí)驗(yàn)設(shè)計(jì)中，測試樣本性別比例男性應(yīng)達(dá)到70 %～75 %之間，年齡段集中在16～55歲，女性的平均年齡應(yīng)稍大于男性。

比對(duì)數(shù)據(jù)庫中應(yīng)包括拍攝時(shí)間有較大間隔的人像照片。由于實(shí)際應(yīng)用中的待比對(duì)人像和已知人像照片的拍攝時(shí)間肯定存在一定跨度，所以測試系統(tǒng)內(nèi)錄入的已知人像需有一定的拍攝時(shí)間間隔。

測試樣本應(yīng)包括較低分辨率的人臉圖像。NIST的人臉識(shí)別測試最低分辨率為眼間距75像素，但我們在實(shí)際工作中遇到的人臉圖像，其眼間距一般在50像素以下，標(biāo)清視頻錄像中的人像眼間距一般在20像素左右甚至更低。所以在預(yù)處理時(shí)可制作一定數(shù)量的眼間距為8/15/25/50像素的人臉樣本。

測試應(yīng)考慮到不同拍攝設(shè)備及拍攝環(huán)境的影響。公共安全領(lǐng)域應(yīng)用的測試樣本及數(shù)據(jù)庫選取應(yīng)區(qū)別于一般研究應(yīng)用，測試應(yīng)盡可能的模擬適合本地區(qū)的應(yīng)用場景，如樣本人群的選擇和拍攝環(huán)境等。

本測試尚在不斷完善中，若條件允許，擬加入更多室外環(huán)境拍攝的樣本集，并使用批量圖像處理工具，進(jìn)行去噪、插值、超分辨等預(yù)處理，有助于提高人臉識(shí)別系統(tǒng)魯棒性的測試精度。

［1］ 章毓晉. 基于子空間的人臉識(shí)別［M］. 清華大學(xué)出版社, 2009.

［2］ Phillips PJ, Moon H, Rizvi SA, et al. The FERET evaluation methodology for face recognition algorithms［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(10): 1090-1104.

［3］ Georghiades AS, Belhumeur PN, Kriegman DJ. From few to many: illumination cone models for face recognition under variable lighting and pose［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(6): 643-660.

［4］ Sim T, Baker S, Bsat M. The CMU pose, illumination, and expression database［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(2): 1615-1618.

［5］ Samaria F S, Harter A C. Parameterisation of a stochastic model for human face identification［C］//Proceedings of 2nd IEEE Workshop on Applications of Computer Vision, 1995, 22:138 -142.

［6］ Gao W, Cao B, Shan SG, et al. The CAS-PEAL large-scale Chinese face database and baseline evaluations［J］. IEEE Trans on System, Man, Cybernetics(Part A), 2008, 38(1): 149-161.

［7］ Phillips P J, Grother P, Micheals R J, et al. FRVT 2002: evaluation report［J］. Trabajos de Estadistica y de Investigacion Operativa, 2003, 16(1): 73-77.

［8］ Phillips P J, Scruggs W T, O’Toole A J, et al. FRVT 2006 and ICE 2006 large-scale experimental results［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(5): 831-846.

［9］ 王俊娟，許磊，黎智輝，等. 三維人臉圖像的數(shù)據(jù)采集與預(yù)處理［J］. 刑事技術(shù), 2015, 40(2): 98-101.

［10］ 許磊，黎智輝，王俊娟，等. 高精度三維人臉圖像數(shù)據(jù)庫［J］.刑事技術(shù), 2015, 40(2): 94-97.

Face Recognition Test Based on Three Types of Image Data

XIE Lanchi1, WANG Junjuan2, LI Zhihui1,*, XU Lei1, ZHANG Ning1, SHANG Huaizhe3
（1. Institute of Forensic Science, Ministry of Public Security, Beijing 100038, China; 2. Bengbu Public Security Bureau, Anhui, Bengbu 233040, China; 3. Decheng Sub-bureau of Public Security, Shandong, Dezhou 253000, China)

The accuracy of face recognition is influenced with a variety of factors, such as the image size, subject’s pose and age. In this paper, an effective face recognition test method was proposed based on three different image sources. In the test, 300 individuals were collected of their still, 3D face images and video frames from surveillance. The captured face images were preprocessed and classifed by resolution and the angle that the camera was shot to subject. Through measurement and analysis of the obtained 7800 face images, how the resolution, pose and age infuence the algorithm robustness of face recognition has been explored. The method presented here is suitable for testing and evaluating face recognition in forensic science.

human image inspection; face recognition test; surveillance video; 3D face image

DF793.2

A

1008-3650(2016)06-0442-04

2016-06-02

格式：謝蘭遲，王俊娟，黎智輝，等. 基于三種類型圖像數(shù)據(jù)的人臉識(shí)別測試[J]. 刑事技術(shù)，2016,41(6): 442-445.

10.16467/j.1008-3650.2016.06.003

公安部技術(shù)研究計(jì)劃項(xiàng)目（NO.2014JSYJB016)；國家自然科學(xué)基金項(xiàng)目（No.61505034)

謝蘭遲（1989—），女，內(nèi)蒙古通遼人，碩士，研究實(shí)習(xí)員，研究方向?yàn)閳D像分析與處理。 E-mail：xielanchi@139.com

* 通訊作者：黎智輝（1976—），男，湖北石首人，博士，研究員，研究方向?yàn)閳D像處理與分析。 E-mail：lzhuil@sina.com