基于人臉融合的欺騙檢測方法研究

摘要：在生物識別技術(shù)不斷發(fā)展的今天，人們面臨越來越多的惡意欺詐行為。因此，如何正確識別人臉圖像和視頻的真實(shí)性和完整性成為一個(gè)迫切需要解決的問題。文章介紹了相機(jī)捕捉到自然真實(shí)的人臉圖像與計(jì)算機(jī)生成的人臉融合圖像，通過相機(jī)傳感器噪聲模型得到SPN的不同，即這兩種圖像的SPN具有各自的唯一特性，以實(shí)現(xiàn)對人臉融合欺騙的檢測。

關(guān)鍵詞：生物識別技術(shù);人臉識別;人臉融合欺騙;相機(jī)傳感器噪聲模型SPN;盲檢測

中圖法分類號：TP391文獻(xiàn)標(biāo)識碼：A

Research on deception detection method based on face fusion

SUN Hailiang

（National Internet Emergency Center TianJin，TianJin 300000，China）

Abstract：With the continuous development of biometric technology， people are facing more and more malicious fraudulent means. Therefore， how to correctly recognize the authenticity and completeness of face images and videos has become an urgent problem to be solved. This paper introduces a detection method based on face fusion deception. Real face images are captured by cameras.Fused face images can be treated as computer generated images. Detection of face fusion deception can be converted into source identification of face images， that is， natural images and computer generated images. Facial fusion deception is detected by using camera sensor noise model （SPN） to identify whether it is a natural image. The method achieves good detection results.

Key words： biometric technology， face recognition， face fusion deception， camera sensor noise model SPN，blind detection

1引言

隨著生物識別技術(shù)的不斷發(fā)展，利用生物信息進(jìn)行身份驗(yàn)證已是大勢所趨。人臉識別因其自然、直觀、易獲取等特點(diǎn)而受到人們的重視。近年來，國內(nèi)外因人臉欺詐引起的糾紛不斷發(fā)生。通過使用合法用戶的照片、視頻或合成的人臉，可以很容易地對用戶進(jìn)行身份認(rèn)證，從而對合法用戶的利益造成嚴(yán)重?fù)p害。由于人臉識別系統(tǒng)中存在大量的惡意欺詐行為，因此如何正確識別人臉圖像、視頻的完整性和真實(shí)性，成為保障人臉識別系統(tǒng)安全、維護(hù)社會穩(wěn)定的關(guān)鍵[1]。面對人臉識別系統(tǒng)的欺詐方式不斷更新，如何正確識別人臉圖像和視頻的真實(shí)性和完整性成為一個(gè)迫切需要解決的問題，對提升人臉識別系統(tǒng)的安全性、維護(hù)社會穩(wěn)定具有重要意義。

本文介紹了相機(jī)捕捉到自然真實(shí)的人臉圖像與計(jì)算機(jī)生成的人臉融合圖像，通過相機(jī)傳感器噪聲模型得到 SPN 的不同，即這兩種圖像的 SPN 具有各自的唯一特性，以實(shí)現(xiàn)對人臉融合欺騙檢測。

2人臉識別的欺騙方式

人臉識別技術(shù)是一種通過人體面部從數(shù)字圖像（或影像來源）中提取信息的一種生物識別技術(shù)。針對人臉識別的惡意攻擊，按照類型可分為入侵式和非入侵式[2]。

入侵式一般是指在模板數(shù)據(jù)庫以及傳輸信道等介質(zhì)上對人臉識別進(jìn)行惡意攻擊，攻擊者需要進(jìn)入人臉識別系統(tǒng)內(nèi)部，攻擊方式為：（1）竊取用戶儲存于模板數(shù)據(jù)庫中的人臉圖像信息;（2）通過后門（backdoor）對訓(xùn)練后的特征提取器進(jìn)行攻擊;（3）對獲取到的人體生物學(xué)特征進(jìn)行篡改;（4）對人臉圖像特征進(jìn)行比照、偽造和修改，以入侵人臉圖片的模板數(shù)據(jù)庫;（5）對人臉圖片的模板數(shù)據(jù)庫和比照信道傳輸?shù)臄?shù)據(jù)進(jìn)行篡改，以修改人臉比照的結(jié)果。

非入侵式是指攻擊者對使用合法登記的用戶臉部圖片進(jìn)行攻擊，即人臉欺騙（人臉呈現(xiàn)攻擊[3]）。利用臉部欺詐技術(shù)，攻擊者可以避開驗(yàn)證，從而獲得真正合法的個(gè)人信息，或者利用偽裝讓自己被系統(tǒng)認(rèn)定為一個(gè)正當(dāng)?shù)挠脩羯矸?。這些攻擊者可以輕易地獲取各種社會媒介中的合法用戶的影像和圖片。人臉融合的欺騙過程就是通過兩張或兩張以上真實(shí)人臉圖像，生成一張與合法用戶外觀相似的人臉合成圖片，在身份認(rèn)證系統(tǒng)或人臉識別系統(tǒng)中，通過生成后的與合法用戶高度相似的合成人臉圖像進(jìn)行匹配，并通過人臉識別系統(tǒng)的驗(yàn)證。攻擊者正是通過將合法用戶的照片和自己的照片合成出一張人臉融合的照片圖像，采用人臉融合的欺詐方法，將合成的人臉圖像作為合法身份信息來通過護(hù)照或eMRTD的注冊申請，嚴(yán)重威脅社會穩(wěn)定和公共安全。本文研究了人臉融合欺騙的方式和產(chǎn)生過程，并介紹了一種基于人臉融合欺騙的檢測方法。

3人臉融合欺騙的產(chǎn)生過程

人臉融合欺騙是一種由兩張或兩張以上的真實(shí)人臉圖像合成的人臉圖像，類似于形成一張新的、和真實(shí)身份外觀融合度較高的人臉圖像，在身份認(rèn)證系統(tǒng)或人臉識別系統(tǒng)中，通過生成后的與合法用戶融合高度相似的合成人臉圖像進(jìn)行匹配，并通過人臉識別系統(tǒng)的驗(yàn)證。當(dāng)攻擊人臉識別系統(tǒng)時(shí)，攻擊者就會被人臉識別系統(tǒng)識別成合法用戶身份。目前，人臉融合的產(chǎn)生方式通常是按照融合人臉框架[4]自動生成的，如圖1所示，它分為3個(gè)步驟。

3.1待生成融合人臉圖像關(guān)鍵點(diǎn)的定位

假設(shè)給定兩幅人臉圖像 I1和 I2，K1和 K2是對應(yīng)人臉圖像的關(guān)鍵點(diǎn)。融合人臉圖像關(guān)鍵點(diǎn)的位置 KM 的計(jì)算如下：

按照dlib庫給出的68個(gè)特征點(diǎn)位對人臉圖像進(jìn)行標(biāo)注，以得到人臉圖像的關(guān)鍵點(diǎn)。β為點(diǎn)位融合參數(shù)。

3.2幾何形變

根據(jù)公式（1）可以計(jì)算出將要以人臉融合圖像的形式生成的關(guān)鍵點(diǎn)，相應(yīng)的三角網(wǎng)格圖 TM 可以通過 Delaunay 三角剖分來獲得。同樣的，對于兩幅真實(shí)人臉圖像，也可由 K1和 K2將其劃分為兩個(gè)三角形網(wǎng)格 T1和 T2。通過仿射變換將 T1中的每個(gè)三角形片元內(nèi)的像素轉(zhuǎn)換到 TM 中與之相對應(yīng)的三角形片元中，即可得到由 I1形變后的圖像 I′1。類似的，由 I2得到其對應(yīng)的形變圖像 I′2。

3.3像素融合

將兩幅真實(shí)人臉變形后的圖像 I′1和 I′2按下述公式即可得到融合人臉圖像 IM：

其中，α為像素融合的透明度參數(shù)。

我們把這種融合操作叫作整體融合，通過以上操作，可以很容易得到多張與真實(shí)人臉圖像融合度匹配度高的人臉融合圖像。但在圖像編輯、剪切和融合的過程中，可能會出現(xiàn)人臉圖像明顯的區(qū)域色彩和明暗差異，而人眼很容易分辨出這種偏差，這就需要對全部圖像進(jìn)行剪切和融合。為了解決這些問題，可以通過人工處理相關(guān)圖像，但會花費(fèi)大量的時(shí)間。因此，有時(shí)人臉融合操作只在人臉圖像的臉部范圍進(jìn)行，然后將真實(shí)人臉圖像與操作處理的人臉圖像進(jìn)行拼接修改，這種人臉融合操作過程也被稱為拼接融合過程。

4人臉融合欺騙的檢測方法

4.1人臉融合欺騙檢測原理

通過人臉融合的操作過程，可以得出以下結(jié)論。

（1）在人臉融合的操作過程中，由于人臉識別主要集中在人臉圖像的眼睛、鼻子和嘴巴等關(guān)鍵區(qū)域，人臉圖像融合后生成的人臉圖像質(zhì)量會受到影響。因此，通過對人臉關(guān)鍵區(qū)域圖像質(zhì)量的變化進(jìn)行分析和研究，可以達(dá)到檢測出人臉融合欺騙的目的。

（2）人臉圖像通常是由相機(jī)設(shè)備直接拍攝得到的自然圖像，但人臉融合圖像的形成過程就有所不同。人臉融合圖像一般是通過計(jì)算機(jī)合成得出的圖像，這兩種圖像的產(chǎn)生方式不同，這代表可以通過對計(jì)算機(jī)合成的圖像和相機(jī)自然拍攝得到的圖像的來源進(jìn)行鑒別，達(dá)到人臉融合欺騙的檢測目的。比如，通過相機(jī)的傳感器噪聲模型（ SPN）來鑒別是自然圖像還是合成圖像。

4.2人臉融合欺騙檢測流程

從圖像來源取證的角度，以基于相機(jī)傳感器噪聲模型的人臉融合欺騙檢測算法為例，介紹融合人臉欺騙檢測的基本流程。

目前，數(shù)字圖像來源識別的關(guān)鍵方法是研究相機(jī)設(shè)備在拍照過程中產(chǎn)生的噪聲模型，該模型被廣泛應(yīng)用于獲取圖像來源、圖像內(nèi)容改動的取證信息[5]。像素響應(yīng)不均勻性（PRNU）對光線的敏感度不是完全一樣的，固定的模式噪聲（ FPN）是由傳感器的差異產(chǎn)生，PRNU 和 FPN 就是相機(jī)產(chǎn)生傳感器噪聲模型（SPN）的兩種方式。由于在制造相機(jī)設(shè)備 CCD/ COMS 傳感器的過程中，晶圓片硅不均勻?qū)е庐a(chǎn)生硬件缺陷和差異，在圖像形成的過程中，每臺相機(jī)設(shè)備都會產(chǎn)生不同的 PRNU ，它不受濕度和溫度的影響，具有唯一特性。因此，SPN 被認(rèn)為是每臺相機(jī)設(shè)備在拍照成像過程中留下的一種專屬、獨(dú)特、穩(wěn)定的印跡，非常適合從自然圖像來源中獲取證據(jù)信息。

當(dāng)前，通過使用 SPN 收集自然圖像來源證據(jù)信息的總體步驟如下：第一步是構(gòu)建相機(jī)設(shè)備的 SPN ，第二步是提取需要檢測的圖像的 SPN ，第三步通過對兩張圖像的 SPN 進(jìn)行比較，以判斷這些圖像是否是相機(jī)設(shè)備拍攝的真實(shí)自然圖像。這個(gè)過程主要由對人臉圖像的預(yù)處理、圖像 SPN 的提取、量化統(tǒng)計(jì)特征的提取和分類等組成，具體如下。

（1）人臉圖像預(yù)處理

人臉融合欺騙主要針對人臉區(qū)域的操作，而人臉區(qū)域通常位于圖像中心部分。要從圖像中精準(zhǔn)地提取到 SPN ，就要在圖像中心的最大區(qū)域進(jìn)行選取。例如，人臉區(qū)域圖像的尺寸為900×1200，則圖像中心區(qū)域的尺寸要選取900×900的范圍。

（2）提取 SPN

利用公式（1）和公式（2）進(jìn)行 SPN 算法提取。

（3）提取 SPN 的量化統(tǒng)計(jì)特征

在向量空間中通過仿射變換，即經(jīng)過線性變化后進(jìn)行旋轉(zhuǎn)、縮放、平移與錯(cuò)切操作，以獲取 SPN 的量化統(tǒng)計(jì)特征，仿射變換能夠保持圖像的平移性，也能很好地對人臉融合圖像與真實(shí)人臉圖像的 SPN 進(jìn)行研究和分析。

（4）分類

支持向量機(jī) SVM 具有良好訓(xùn)練學(xué)習(xí)能力的優(yōu)點(diǎn)，是目前較好的對融合圖像和真實(shí)人臉圖像進(jìn)行分類的分類器，可以利用支持向量機(jī) SVM 對 SPN 量化統(tǒng)計(jì)特征進(jìn)行分類，且錯(cuò)誤率較低。支持向量機(jī) SVM 分類學(xué)習(xí)過程通常分為訓(xùn)練、驗(yàn)證和測試。訓(xùn)練，即通過設(shè)置分類器的參數(shù)來訓(xùn)練分類模型：驗(yàn)證，即對驗(yàn)證數(shù)據(jù)進(jìn)行預(yù)測，調(diào)整分類器參數(shù)，得到最佳的分類模型：測試，即評估訓(xùn)練后分類器的分類識別能力。

5結(jié)論

人臉識別系統(tǒng)的欺詐攻擊手段主要是針對人臉圖像的欺詐攻擊，而盲檢測法和非盲檢測法是人臉融合欺騙中常用的檢測方法，它們的主要區(qū)別在于是否借助了額外輔助的圖像。受到人臉圖像質(zhì)量變化的啟發(fā)，本文介紹了一種能夠檢測出人臉融合圖像與真實(shí)人臉圖像的差異以及識別與人臉融合相關(guān)的注冊欺騙行為的欺騙檢測方法，其通過相機(jī)捕捉到自然真實(shí)的人臉圖像與計(jì)算機(jī)生成的人臉融合圖像，利用相機(jī)傳感器噪聲模型得到 SPN 的不同，即這兩種圖像的 SPN 具有各自的唯一特性，以實(shí)現(xiàn)對人臉融合的欺騙檢測。該方法融合了人臉圖像區(qū)域處理、SPN 算法、 SPN 量化統(tǒng)計(jì)特征等手段，采用支持向量機(jī) SVM 分類器來判斷人臉融合圖像是否為真實(shí)人臉圖像，對分類模型數(shù)據(jù)庫的簡化設(shè)計(jì)降低了算法的復(fù)雜度，該方法取得了良好的檢測效果。

參考文獻(xiàn)：

[1]鄢慧晗.人證識別技術(shù)在安防領(lǐng)域中的運(yùn)用分析[J].中國公共安全，2018（8）：106?108.

[2] ISO/IEC JTC 1/SC 37 Biometrics.Information technology ?Biometric? presentationattackdetection?Part 1[ S ].Frame? work ，ISO/IEC JTC 1/SC 37 Biometrics ，2016.

[3] Gomez?Barrero M ，Rathgeb C ，Scherhag U ，et al.Is yourbiometric? system? robust? to? morphing? attacks？[ C ]∥International? Workshop? on? Biometrics & Forensics.IEEE2017：1?6.

[4] Bay? H ，Tuytelaars? T ，Gool? L.SURF： speeded? up? robust features[ C ]∥ Proc? of European? Comference? on? Computer Vision.2006：404?417.

[5] Rublee E ，Rabaud V ，Konolige K，et al.ORB：An efficientalternative? to? SIFT? or? SURF [ C ]∥ IEEE? InternationalConference on Computer Vision.IEEE 2011：2564?2571.

作者簡介：

孫海亮（1985—），本科，中級工程師，研究方向：人工智能、5G。