智慧校園中基于人臉特征身份認(rèn)證的隱私保護(hù)研究

◆張曉惠 劉暢 楊雄 洪成龍

智慧校園中基于人臉特征身份認(rèn)證的隱私保護(hù)研究

◆張曉惠1，2劉暢1楊雄1通訊作者洪成龍1

（1.福州大學(xué)至誠學(xué)院 計(jì)算機(jī)工程系 福建 350002；2. 福州職業(yè)技術(shù)學(xué)院 阿里巴巴大數(shù)據(jù)學(xué)院 福建 350108）

在已有的智慧校園人臉認(rèn)證系統(tǒng)中，所有用戶人臉特征的存儲(chǔ)和相似度計(jì)算都是基于明文進(jìn)行的，存在敏感數(shù)據(jù)泄露的風(fēng)險(xiǎn)。針對(duì)該問題，提出了一種基于向量加密的隱私保護(hù)和高效的人臉認(rèn)證方案。方案中用戶的人臉特征均以加密向量存儲(chǔ)，認(rèn)證服務(wù)器基于加密向量計(jì)算人臉特征間的相似度。該方案在保證原生算法人臉認(rèn)證精度的同時(shí)，有效保護(hù)了用戶的人臉敏感信息。進(jìn)一步探索了一種批處理方法，提高了基于加密向量的余弦相似度的效率。仿真測試基于人臉基準(zhǔn)數(shù)據(jù)庫（LFW），其結(jié)果驗(yàn)證了該方案的可行性和高效性，能夠滿足智慧校園中人臉認(rèn)證的性能需求。

人臉特征；隱私保護(hù)；批處理

1 引言

在校園中，應(yīng)用人臉識(shí)別技術(shù)可提升校園管理的自動(dòng)化水平，降低校園管理成本和加強(qiáng)安全防范等，對(duì)于智慧校園的建設(shè)具有重要的意義[1]。但由于人臉信息是惟一且終身不變的，尤其當(dāng)人臉信息與用戶身份綁定時(shí)，其人臉信息一旦泄露，就可能導(dǎo)致與人臉信息綁定的學(xué)生或教工的隱私被暴露，因此在智慧校園中人臉特征數(shù)據(jù)的安全性至關(guān)重要，而學(xué)校對(duì)網(wǎng)絡(luò)信息安全的要求更是嚴(yán)格，提升安全保障能力一直是智慧校園建設(shè)的重點(diǎn)。目前，現(xiàn)有的人臉識(shí)別技術(shù)多基于卷積神經(jīng)網(wǎng)絡(luò)模型，雖然人臉識(shí)別系統(tǒng)的人臉識(shí)別準(zhǔn)確率不斷提升，但它們對(duì)系統(tǒng)中人臉特征的保護(hù)甚少[2]。若將用戶的人臉特征直接以明文表示，那存儲(chǔ)于數(shù)據(jù)庫中的人臉特征和用戶注冊(cè)與身份認(rèn)證過程中網(wǎng)絡(luò)傳輸?shù)娜四樚卣饕坏┬孤?，?huì)嚴(yán)重影響注冊(cè)用戶的隱私和認(rèn)證系統(tǒng)的安全性，所以對(duì)于人臉識(shí)別系統(tǒng)最直接的攻擊就是明文形式的人臉特征。隨著對(duì)信息安全和隱私保護(hù)要求的不斷提升，針對(duì)現(xiàn)有人臉識(shí)別系統(tǒng)設(shè)計(jì)一種安全的人臉特征保護(hù)方案則顯得尤其重要。

為解決上述問題，本文基于全同態(tài)加密技術(shù)[3]對(duì)人臉特征向量進(jìn)行加密，并構(gòu)造了密文環(huán)境下人臉特征相似度的匹配算法，并在此基礎(chǔ)上設(shè)計(jì)了一種隱私保護(hù)的高效人臉認(rèn)證方案。該方案不僅保證了原生人臉認(rèn)證方案準(zhǔn)確率，還保證用戶的人臉特征信息在身份認(rèn)證過程中不被泄漏。進(jìn)一步，設(shè)計(jì)了人臉認(rèn)證的仿真實(shí)驗(yàn)，驗(yàn)證了該方案的可行性和高效性，能夠滿足實(shí)際場景的應(yīng)用需求。

2 基于向量加密的人臉認(rèn)證方案設(shè)計(jì)

全同態(tài)加密方案保證了數(shù)據(jù)處理服務(wù)器在計(jì)算人臉相似度時(shí)無法知曉所處理人臉特征的明文信息，可以直接對(duì)數(shù)據(jù)的密文進(jìn)行相應(yīng)的計(jì)算，由此用戶的人臉特征信息可以得到相應(yīng)的安全保障。數(shù)據(jù)處理服務(wù)器計(jì)算出加密人臉特征間的余弦值后，把結(jié)果返回。在整個(gè)計(jì)算過程中，數(shù)據(jù)處理服務(wù)器僅僅得到加密后的人臉特征向量數(shù)據(jù)，而對(duì)于人臉特征向量數(shù)據(jù)的明文，其并不知曉，因此就不存在人臉特征信息泄漏的風(fēng)險(xiǎn)。

本文所設(shè)計(jì)方案的系統(tǒng)模型主要有用戶端設(shè)備和身份認(rèn)證服務(wù)器。用戶端設(shè)備采集用戶的人臉信息并生成相應(yīng)的人臉特征向量，并對(duì)人臉特征向量加密等預(yù)處理操作。認(rèn)證服務(wù)器由計(jì)算集群組成，負(fù)責(zé)對(duì)用戶的身份進(jìn)行認(rèn)證。

系統(tǒng)初始化完成后，用戶端設(shè)備對(duì)提取的人臉特征信息加密后和用戶身份標(biāo)識(shí)一起在認(rèn)證服務(wù)器進(jìn)行注冊(cè)，將人臉特征密文和用戶身份進(jìn)行綁定。在人臉特征數(shù)據(jù)庫中存儲(chǔ)著用戶的身份標(biāo)識(shí)和人臉特征密文。在進(jìn)行用戶的身份認(rèn)證時(shí)，用戶端設(shè)備采集的人臉特征密文作為身份認(rèn)證憑據(jù)發(fā)送給認(rèn)證服務(wù)器進(jìn)行身份認(rèn)證請(qǐng)求。認(rèn)證服務(wù)器根據(jù)人臉相似度算法計(jì)算數(shù)據(jù)庫中已有的人臉特征密文和身份認(rèn)證憑證之間的余弦相似度，并判斷相似度和系統(tǒng)閾值之間的關(guān)系，以實(shí)現(xiàn)對(duì)用戶的身份認(rèn)證。

在進(jìn)行身份認(rèn)證時(shí)，需要將身份認(rèn)證憑證與數(shù)據(jù)庫的存儲(chǔ)的人臉特征向量進(jìn)行余弦相似度的計(jì)算，計(jì)算結(jié)果即為人臉特征向量間的相似程度。在人臉特征向量未加密的情況下，假設(shè)身份認(rèn)證憑證的特征向量為，數(shù)據(jù)庫中待計(jì)算的某個(gè)人臉特征向量為，將和之間的余弦相似度定義為cos（，），那么cos（，）為：

為了簡化計(jì)算，在進(jìn)行身份認(rèn)證的時(shí)候其身份認(rèn)證憑證除了包含人臉特征密文外，還包含了人臉特征長度。因此，余弦相似度計(jì)算公式可簡化為：

2.1 用戶身份認(rèn)證過程

在身份認(rèn)證階段，通過以下步驟完成用戶的身份認(rèn)證：

（2）計(jì)算待認(rèn)證用戶的人臉特征的向量長度‖‖，同樣使用發(fā)布的公鑰_對(duì)人臉特征向量進(jìn)行加密，將人臉特征向量密文（）和向量長度‖‖共同作為用戶的身份認(rèn)證憑證發(fā)送給認(rèn)證服務(wù)器；

（3）認(rèn)證服務(wù)器中的計(jì)算集群通過身份認(rèn)證憑證中的向量長度‖‖和向量密文（）計(jì)算待認(rèn)證用戶與數(shù)據(jù)庫中的已有加密人臉特征（）和向量長度‖‖之間的相異度cos（（），（））；

具體的用戶身份認(rèn)證過程如圖1所示。

圖1 用戶身份認(rèn)證過程

2.2 系統(tǒng)測試

在系統(tǒng)仿真測試中，通過SphereFace算法提取出人臉基準(zhǔn)數(shù)據(jù)集（LFW）中所有人臉的512維特征向量后，將加密與未加密人臉特征向量余弦相似度的計(jì)算結(jié)果進(jìn)行對(duì)比，加密后的人臉特征的余弦相似度值在計(jì)算精度1e-7的前提下能夠達(dá)到未加密人臉特征的水準(zhǔn)，說明該方案能夠保持原生SphereFace算法的人臉識(shí)別準(zhǔn)確率。

分別計(jì)算全同態(tài)計(jì)算過程中向量加密、加密向量間的余弦相似度計(jì)算和結(jié)果向量密文解密的具體用時(shí)情況，并與未加密情況進(jìn)行對(duì)比可知，在注冊(cè)過程中的512維人臉特征加密的平均用時(shí)為1780 us。

在身份認(rèn)證過程中，兩個(gè)512維的人臉特征向量密文余弦相似度的同態(tài)計(jì)算平均耗時(shí)為10267 us，計(jì)算結(jié)果密文的解密平均耗時(shí)為401 us。

在未加密情況下，兩個(gè)512維的明文人臉特征進(jìn)行向量余弦相似度計(jì)算，兩個(gè)明文人臉特征向量相似度計(jì)算的平均用時(shí)為1487 us。

綜上，在全同態(tài)加密的仿真實(shí)驗(yàn)環(huán)境中，兩個(gè)人臉特征密文的余弦相似度計(jì)算的總用時(shí)比未加密情況下多花費(fèi)10961 us，僅僅增加了大約11 ms，所需要的計(jì)算時(shí)間在可接受的范圍內(nèi)，因此對(duì)人臉特征密文進(jìn)行全同態(tài)計(jì)算的效率是能夠滿足實(shí)際應(yīng)用需求的。

3 結(jié)束語

隨著智慧校園中人臉識(shí)別的快速應(yīng)用，用戶人臉特征的安全保護(hù)已成為智慧校園中網(wǎng)絡(luò)信息重點(diǎn)關(guān)注的領(lǐng)域。本文探討了基于神經(jīng)網(wǎng)絡(luò)模型使用全同態(tài)加密來保護(hù)人臉特征的可行性，并在加密域中對(duì)人臉相似度計(jì)算進(jìn)行優(yōu)化，利用基于中國剩余定理的批處理技術(shù)，實(shí)現(xiàn)了O（logn）的計(jì)算時(shí)間復(fù)雜度，提高了在加密域中人臉匹配的效率。本文設(shè)計(jì)的隱私保護(hù)的高效人臉認(rèn)證方案，既達(dá)到了保護(hù)用戶人臉特征的安全目標(biāo)和保持原生人臉識(shí)別算法的準(zhǔn)確率目標(biāo)，也滿足了實(shí)際應(yīng)用的性能需求。

[1]李昕昕，趙春，嚴(yán)張凌.基于云端人臉識(shí)別技術(shù)的智慧課堂框架研究[J].實(shí)驗(yàn)技術(shù)與管理，2020，37（06）：172-175.

[2]李明，楊曉鵬，朱輝，等.高效的隱私保護(hù)在線人臉認(rèn)證方案[J].通信學(xué)報(bào)，2020，41（05）：205-214.

[3]Gentry C，Halevi S，Smart N P . Fully Homomorphic Encryption with Polylog Overhead[C]// Annual International Conference on the Theory and Applications of Cryptographic Techniques. The International Association for Cryptologic Research. Washington DC：Springer，2012：465-482.

[4]Weiyang Liu，Yandong Wen，Zhiding Yu，et al. SphereFace：Deep Hypersphere Embedding for Face Recognition[C]//Computer Vision and Pattern Recognition.Hawaii：IEEE，2015：6738-6746.

2019年福建省教育廳青年基金項(xiàng)目（JAT191098）；2019年福建省教育廳青年基金項(xiàng)目（JAT191109）；福州大學(xué)至誠學(xué)院2021年省級(jí)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目（云計(jì)算環(huán)境下全同態(tài)加密的人臉信息保護(hù)系統(tǒng)：S202113470007）；福州大學(xué)至誠學(xué)院2020年國家級(jí)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目（基于微信小程序的至誠學(xué)院智能查寢系統(tǒng)：202013470004）