視頻偵查中人臉識別準(zhǔn)確率的影響因素分析

劉滿良 孟 輝 王新宇 王 越 陳勝冉 蔡能斌

（1 東莞市公安局刑警支隊 廣東 東莞 523008；2 中國刑事警察學(xué)院聲像資料檢驗技術(shù)系 遼寧 沈陽 110035；3 中國刑事警察學(xué)院法化學(xué)系 遼寧 沈陽 110035；4 上海市現(xiàn)場物證重點實驗室 上海 200000）

1 引言

隨著信息技術(shù)的不斷發(fā)展、治安監(jiān)控攝像頭硬件布局的逐步完善及公安圖像云計算技術(shù)的進(jìn)一步應(yīng)用，人臉識別技術(shù)在促進(jìn)公安信息化建設(shè)進(jìn)程的同時，也為公安工作提供了許多新方法、新思路。人臉識別技術(shù)，是一種基于人的面部特征信息進(jìn)行身份識別的生物識別技術(shù)，其以含有人臉的視頻片段或者數(shù)字圖像作為輸入，定位其中人臉的位置及特征點，進(jìn)而實現(xiàn)人臉特征及詳細(xì)身份信息的識別與提取。

目前，人臉識別技術(shù)在公安工作中的應(yīng)用主要集中在視頻偵查過程中犯罪嫌疑人的身份識別、重點卡口的人證核查、戶籍管理、布控排查[1]及測謊[2]等工作中。在進(jìn)行犯罪嫌疑人身份識別時，常規(guī)做法為人工選擇視頻畫面中包含較為清晰人臉圖像的一幀畫面，輸入到比對系統(tǒng)中對該人臉圖像進(jìn)行識別比對[3]。在待識別人臉圖像的識別過程中，由于拍攝環(huán)境、拍攝設(shè)備和拍攝參數(shù)的不同，待識別人臉圖像與公安圖像數(shù)據(jù)庫中現(xiàn)有人臉圖像之間通常存在亮度、角度、背景和遮擋等不同程度的差異，導(dǎo)致識別結(jié)果產(chǎn)生一定誤差，造成偵查方向偏離從而延誤最佳的破案時機(jī)。

為了提高視頻偵查工作中的人臉識別準(zhǔn)確率，避免由于待識別人臉圖像的選擇不當(dāng)造成的漏識別與錯識別結(jié)果，本文在基于主成分分析法的人臉識別基礎(chǔ)上進(jìn)行了一系列實驗，驗證不同光照強(qiáng)度、不同背景及不同遮擋條件下的人臉圖像對識別結(jié)果準(zhǔn)確率的影響，并據(jù)此結(jié)論給出公安實戰(zhàn)過程中待識別人臉圖像選擇的理論指導(dǎo)意見。

2 基于主成分分析法的人臉識別

基于主成分分析法的人臉識別是一個有監(jiān)督學(xué)習(xí)的過程，利用訓(xùn)練樣本集計算特征空間，然后將訓(xùn)練樣本集與待識別人臉圖像分別投影到該特征空間上，根據(jù)待識別人臉圖像的投影向量與訓(xùn)練數(shù)據(jù)集投影向量之間的歐式距離判斷人臉識別結(jié)果[4]，其算法流程如圖1所示。

圖1 基于主成分分析的人臉識別流程圖

對于上述流程，每一步具體可以展開如下步驟：

2.1 生成訓(xùn)練樣本矩陣

2.2 主成分特征提取

2.3 計算特征空間的投影矩陣

2.4 人臉圖像的分類識別

3 實驗

根據(jù)上述原理介紹與分析，基于主成分分析法的人臉識別主要利用主成分分析找到最大化類間差距，最小化類內(nèi)差距的特征臉空間，將人臉圖像的像素值投影到該特征空間，得到人臉圖像在該特征空間下的線性表達(dá)，即投影向量，利用向量間的空間距離衡量待識別人臉圖像與人臉庫內(nèi)人臉圖像之間的差距。人臉圖像像素值的大小及像素排列方式的不同，會影響特征空間投影后得到的投影像量，因此，人臉圖像像素值的大小及像素排列方式會對基于主成分分析法的人臉識別算法的準(zhǔn)確率造成影響。

在包含犯罪嫌疑人的視頻片段中選擇用于人臉識別的視頻幀圖像時，由于每幀圖像中犯罪嫌疑人所處空間位置不同，造成每幀圖像中犯罪嫌疑人面部區(qū)域的光照強(qiáng)度、背景復(fù)雜度和人臉角度會發(fā)生不同程度的變化，同時，由于某些犯罪嫌疑人具備較強(qiáng)的反偵查意識，可能在作案過程中對面部進(jìn)行偽裝或遮擋，視頻畫面中的待識別人臉可能是不完整的或者存在遮擋的。根據(jù)視頻偵查過程中存在的實際問題，結(jié)合上述理論分析，本文在實驗設(shè)計時主要考察人臉圖像亮度、背景復(fù)雜程度和人臉的遮擋這3個因素對最終人臉識別結(jié)果的影響。本文所用人臉數(shù)據(jù)庫在建立過程中采集了不同角度的人臉圖像，實驗結(jié)果表明，訓(xùn)練數(shù)據(jù)樣本中人臉角度足夠豐富時，待識別人臉圖像中的輕微角度不一致不會對人臉識別結(jié)果產(chǎn)生過大影響，因此，本文在設(shè)計實驗時并沒有考慮人臉角度對識別結(jié)果的影響。

3.1 實驗環(huán)境

實驗共采集15個人的人臉圖像，其中每人采集10張不同角度、不同姿態(tài)的人臉圖像，實驗用人臉圖像共計150張，如圖2所示，其中每一列為同一個人不同姿態(tài)的人臉圖像。為了更為精確的驗證不同條件下的人臉識別準(zhǔn)確率，將圖2所示人臉圖像庫分為訓(xùn)練樣本和測試樣本兩部分，即選擇實線框內(nèi)的75張圖像作為訓(xùn)練樣本，虛線框內(nèi)的75張圖像作為測試樣本。在未對測試樣本圖像的亮度、背景和遮擋條件改變的情況下，基于該人臉庫的主成分分析法的人臉識別準(zhǔn)確率為93.33%。

圖2 實驗所用人臉圖像

本次實驗的最終識別結(jié)果采用三近鄰法確定，即在人臉識別過程中，計算出與待識別人臉向量歐式距離最近的3幅人臉圖像，這3幅人臉圖像分別記為A、B、C，如果人臉A與人臉B不屬于同一人且人臉B和人臉C也不屬于同一人，則識別結(jié)果為人臉A對應(yīng)的人；否則，若人臉A和人臉B屬于同一人，則識別結(jié)果為人臉A對應(yīng)的人，若人臉B和人臉C屬于同一人，則識別結(jié)果為人臉B對應(yīng)人，如表1所示。

3.2 人臉圖像亮度對基于主成分分析法人臉識別結(jié)果的影響

在上述測試樣本人臉圖像的基礎(chǔ)上，對每一幅測試人臉圖像的亮度進(jìn)行細(xì)微調(diào)整，對調(diào)整后的圖像進(jìn)行人臉識別實驗，觀察亮度變化和識別準(zhǔn)確率之間的關(guān)系。人臉圖像亮度調(diào)整示意圖如圖3所示。

圖3 測試樣本亮度調(diào)整示意圖

圖3中，人臉圖像上方的數(shù)字表示亮度調(diào)整幅度，正號表示將人臉圖像調(diào)亮，負(fù)號表示將人臉圖像調(diào)暗，0表示原始圖像。人臉圖像的亮度調(diào)整區(qū)間在-30到+30之間，每次調(diào)整步長為5，不同亮度的人臉圖像在基于主成分分析法的人臉識別方法下準(zhǔn)確率如圖4所示。

圖4中，橫坐標(biāo)為測試樣本數(shù)據(jù)中人臉圖像的亮度變化區(qū)間，縱坐標(biāo)表示人臉識別準(zhǔn)確率，圖中實線表示人臉識別準(zhǔn)確率隨圖像亮度變化的變化。從圖4中可以看出，未做亮度更改的原始訓(xùn)練樣本人臉圖像的人臉識別準(zhǔn)確率最高，達(dá)到93.33%，如圖4中位于橫坐標(biāo)0處虛線與實線交點所示。隨著圖像亮度變化幅度的加大，人臉識別準(zhǔn)確率呈下降趨勢，在亮度變化幅度達(dá)到20時，即圖中位于橫坐標(biāo)-20及20處兩條虛線標(biāo)識的范圍，人臉識別準(zhǔn)確率開始大幅度下降。表2中展示了部分訓(xùn)練樣本圖像不同亮度下的識別結(jié)果。

表1 三近鄰法人臉識別結(jié)果

表2 亮度調(diào)整后人臉識別結(jié)果

表2中第1列3張圖像分別為原始圖像、原始圖像亮度+15調(diào)整的人臉圖像、原始圖像亮度+30調(diào)整的人臉圖像。第2到第4列圖像為與待識別人臉圖像向量距離最近的3張人臉。

3.3 人臉圖像背景復(fù)雜度對基于主成分分析法人臉識別結(jié)果的影響

為了驗證人臉圖像背景對人臉識別結(jié)果的影響，本文選擇兩種復(fù)雜程度不同的背景對測試樣本中的人臉圖像背景進(jìn)行替換，對替換背景后的人臉圖像進(jìn)行識別。測試樣本圖像替換背景后如表3所示。受篇幅所限，表格中并未列出所有測試樣本數(shù)據(jù)，只給出3張不同人臉圖像替換背景后的效果圖。

表3 測試樣本背景替換結(jié)果

對替換背景后的測試樣本人臉進(jìn)行識別，得到的識別準(zhǔn)確率為：A類型背景的識別準(zhǔn)確率為86%，B類型背景的識別準(zhǔn)確率為72%。部分誤識別結(jié)果見表4。

表4 背景替換后的識別結(jié)果

3.4 人臉圖像遮擋對基于主成分分析法人臉識別結(jié)果的影響

為了驗證人臉圖像遮擋對人臉識別結(jié)果的影響，本文選擇墨鏡和口罩兩種不同的遮擋物對訓(xùn)練樣本中的人臉圖像進(jìn)行局部遮擋，并對遮擋后人臉圖像進(jìn)行人臉識別。測試樣本圖像遮擋后如表5所示。受篇幅所限，表格中并未列出所有測試樣本數(shù)據(jù)，只給出3張不同人臉圖像遮擋后的效果圖。

表5 測試樣本部分遮擋結(jié)果

對遮擋后的人臉圖像進(jìn)行人臉識別實驗，得到的識別準(zhǔn)確率為：使用墨鏡遮擋的人臉識別準(zhǔn)確率為68%，使用口罩遮擋的人臉識別準(zhǔn)確率為64%。部分誤識別結(jié)果見表6。

表6 部分遮擋后的識別結(jié)果

4 結(jié)論

基于主成分分析法的人臉識別利用待識別人臉圖像像素值大小和像素值分布計算在特征空間上的投影向量，根據(jù)向量之間的距離給出最終的人臉識別結(jié)果，因此，基于主成分分析法的人臉識別過程中，人臉圖像的亮度、人臉圖像的背景復(fù)雜度和人臉圖像的遮擋對最終的識別結(jié)果起到至關(guān)重要的影響。

本文就人臉圖像的亮度、背景和遮擋變化對基于主成分分析法的人臉識別進(jìn)行實驗研究，實驗結(jié)果表明：

（1）人臉圖像亮度變化在+-20之間時，人臉識別準(zhǔn)確率會保持在一個比較高的范圍內(nèi)波動，一旦人臉圖像亮度變化在+-20之外，人臉識別準(zhǔn)確率將大幅度下降。在視頻偵查工作中，應(yīng)該將待識別人臉圖像的亮度調(diào)整到和人臉庫中大部分人臉圖像的亮度相一致的程度，避免亮度差異過大造成誤識別與漏識別的發(fā)生。同時，在對一副亮度與人臉庫中人臉差異不大的圖像進(jìn)行識別時，不光要考慮對原始人臉圖像的識別結(jié)果目標(biāo)的重點排查，也要考慮對原始人臉圖像進(jìn)行+-20幅度的亮度調(diào)整后的人臉識別結(jié)果目標(biāo)的排查，有效避免犯罪嫌疑目標(biāo)的遺漏。

（2）待識別人臉圖像背景區(qū)域內(nèi)的圖像內(nèi)容會影響人臉識別的準(zhǔn)確率。由于人臉圖像庫中的人臉圖像內(nèi)容中都是純色背景，因此，待識別人臉圖像的背景越復(fù)雜，與人臉庫中的人臉圖像背景差距越大，對識別準(zhǔn)確率的影響也越大。因此，在視頻幀畫面中選擇待識別人臉圖像時，盡量選擇人臉圖像背景較為單一的幀圖像。

（3）人臉圖像的遮擋對人臉識別準(zhǔn)確率的影響很大，從實驗數(shù)據(jù)可以看出，被墨鏡遮擋和被口罩遮擋后的人臉識別率分別為68%和64%，因此，實戰(zhàn)中遮擋人臉的識別結(jié)果可信度不高，不宜作為重點排查對象。