基于人臉特征的可搜索加密方案

徐慧華 楊 雄

1(福建師范大學(xué)協(xié)和學(xué)院經(jīng)濟(jì)與法學(xué)系 福建 福州 350117)2(福州大學(xué)至誠學(xué)院計(jì)算機(jī)工程系 福建 福州 350002)

0 引 言

一個(gè)典型的人臉識(shí)別系統(tǒng)首先采集人臉圖像，對(duì)其進(jìn)行一些預(yù)處理后提取高維特征。在用戶注冊(cè)過程中，這些特征向量和用戶的身份標(biāo)簽一起存儲(chǔ)于數(shù)據(jù)庫中。在用戶身份認(rèn)證過程中使用該數(shù)據(jù)庫來驗(yàn)證一個(gè)人所聲稱的身份，身份驗(yàn)證過程即通過計(jì)算所聲稱身份的用戶人臉特征與該身份標(biāo)簽在數(shù)據(jù)庫中所對(duì)應(yīng)的人臉特征之間的相似度來完成。針對(duì)人臉識(shí)別系統(tǒng)最直接的攻擊點(diǎn)就是網(wǎng)絡(luò)傳輸?shù)娜四樚卣骱腿四樚卣鲾?shù)據(jù)庫。因此，若將人臉特征直接以明文形式進(jìn)行網(wǎng)絡(luò)傳輸和存儲(chǔ)于數(shù)據(jù)庫中，會(huì)嚴(yán)重影響注冊(cè)用戶的隱私和認(rèn)證系統(tǒng)的安全性。

為了提高人臉識(shí)別系統(tǒng)的安全性，可利用密碼系統(tǒng)對(duì)網(wǎng)絡(luò)傳輸和數(shù)據(jù)庫中存儲(chǔ)的人臉特征進(jìn)行加密。然而，一般的加密方案還需要將人臉特征密文進(jìn)行解密才能夠完成人臉匹配所需的基本算術(shù)運(yùn)算。而同態(tài)加密方案支持對(duì)密文進(jìn)行人臉匹配所需的算術(shù)運(yùn)算[1]，能夠在加密域中實(shí)現(xiàn)人臉匹配，不需要對(duì)人臉特征密文解密，進(jìn)一步提升了安全性。同態(tài)加密系統(tǒng)分為部分同態(tài)加密(Partially Homomorphic Encryption,PHE)[2]、somewhat同態(tài)加密[3]和全同態(tài)加密(Fully Homomorphic Encryption,FHE)[4]。雖然全同態(tài)加密在加密域支持無限的加法和乘法運(yùn)算，比部分同態(tài)加密和somewhat同態(tài)加密在實(shí)際場景中更為通用，但隨之帶來的計(jì)算復(fù)雜度也更高。

目前流行的人臉匹配方法大多為基于深度神經(jīng)網(wǎng)絡(luò)的方案，這些方案通過卷積神經(jīng)網(wǎng)絡(luò)模型[5-7]從人臉圖像中提取出高維人臉特征后，計(jì)算人臉特征向量之間的歐氏距離，取最小距離所對(duì)應(yīng)的人臉圖像的身份作為測試人臉圖像的身份。但在加密域中進(jìn)行人臉匹配時(shí)，數(shù)百到上千維的人臉特征向量需要非常耗時(shí)的同態(tài)操作，導(dǎo)致其不適合在高維向量空間中進(jìn)行運(yùn)算[8]。

本文基于全同態(tài)加密方案CKKS[9]提出了一種高效的解決方案，探索了使用全同態(tài)加密的人臉特征進(jìn)行人臉匹配的實(shí)用性。首先將典型的人臉匹配度量(歐氏距離)分解為一系列加法和乘法運(yùn)算的組合；接著，利用中國剩余定理和批處理技術(shù)，通過旋轉(zhuǎn)加密向量，以logn個(gè)同態(tài)加法的代價(jià)實(shí)現(xiàn)n個(gè)同態(tài)加法，降低計(jì)算復(fù)雜度；最后，再利用近似最近鄰算法，以O(shè)(logN)的代價(jià)實(shí)現(xiàn)1 ∶N的人臉匹配，滿足實(shí)際應(yīng)用場景的需求。

1 方案設(shè)計(jì)

一個(gè)典型人臉識(shí)別系統(tǒng)的人臉特征數(shù)據(jù)庫包含了由已注冊(cè)用戶人臉特征組成的集合。當(dāng)進(jìn)行身份認(rèn)證時(shí)，需要將測試人臉特征向量與集合中的各個(gè)人臉特征向量進(jìn)行歐氏距離的計(jì)算，計(jì)算結(jié)果即為特征向量間的相異程度。假設(shè)待測試人臉的特征向量為x，集合中待匹配的人臉特征向量為y，將x和y之間的相異度定義為d(x,y)，那么d(x,y)為：

(1)

式中：n為所提取的人臉特征維度。

從式(1)可知，人臉的匹配過程包含了n個(gè)向量元素的減法(x1-y1)、n個(gè)向量元素的乘法(平方)和n個(gè)向量元素的累加求和。

在全同態(tài)加密方案中定義加密函數(shù)f對(duì)人臉特征z進(jìn)行加密:ε(z)=f(z;θp)，其中θp為公鑰；同時(shí)z=g(ε(z);θs)，其中g(shù)(.;θs)為帶私鑰θs的解密函數(shù)。在保護(hù)原始人臉特征z的同時(shí)，也必須保證在加密域中進(jìn)行計(jì)算而不會(huì)損失精度，即：

d(ε(x),ε(y))=d(f(x;θp),f(y;θp))

g(d(ε(x),ε(y));θs)≈d(x,y)

(2)

1.1 用戶注冊(cè)和身份認(rèn)證協(xié)議

本節(jié)描述基于全同態(tài)加密方案的用戶注冊(cè)和身份認(rèn)證協(xié)議?？紤]具有兩個(gè)實(shí)體的場景：一個(gè)用戶和一個(gè)數(shù)據(jù)庫。

在系統(tǒng)初始化階段，需要執(zhí)行以下步驟：生成一對(duì)公私密鑰對(duì)，公鑰為θp，私鑰為θs；將私鑰保存在認(rèn)證服務(wù)器中，對(duì)外發(fā)布公鑰。

1.1.1注冊(cè)協(xié)議

在注冊(cè)階段，標(biāo)識(shí)為c的用戶需要執(zhí)行如下步驟：

(2) 使用公鑰θp加密用戶的人臉特征值yc，將人臉特征的同態(tài)密文ε(yc)與該用戶身份標(biāo)簽一起保存到數(shù)據(jù)庫中。

注冊(cè)過程如圖1所示。

圖1 用戶注冊(cè)過程

1.1.2身份認(rèn)證協(xié)議

在此階段，將通過以下步驟對(duì)用戶進(jìn)行身份認(rèn)證：

(1) 采集待認(rèn)證用戶的人臉圖像并提取其特征值x，并使用公鑰θp加密。

(2) 計(jì)算待認(rèn)證用戶的加密人臉特征ε(x)與數(shù)據(jù)庫中的所有加密人臉特征ε(y)之間的相異度d(ε(x),ε(y))。

(3) 使用私鑰θs分別對(duì)各個(gè)密文的計(jì)算結(jié)果進(jìn)行解密，將滿足閾值要求的最小相異度對(duì)應(yīng)的用戶身份標(biāo)簽返回。

身份認(rèn)證過程如圖2所示。

圖2 用戶身份認(rèn)證過程

1.2 基于CKKS方案的高效人臉匹配

1.2.1全同態(tài)加密方案

由于人臉特征值是以浮點(diǎn)數(shù)表示，因此全同態(tài)加密選用支持浮點(diǎn)數(shù)的CKKS方案。

本系統(tǒng)的全同態(tài)加密方案包含以下5個(gè)步驟：

(1)GenKey(λ)：生成一對(duì)公私鑰。根據(jù)輸入的安全參數(shù)λ生成公鑰θp和私鑰θs。

(2)Encrypt(m,θp)：使用公鑰θp加密消息m，計(jì)算生成密文c。

(3)Add(c0,c1)：輸入兩個(gè)密文c0和c1，計(jì)算求得這兩個(gè)密文的和c0+c1。

(4)Multiply(c0,c1)：輸入兩個(gè)密文c0和c1，計(jì)算求得這兩個(gè)密文的乘積c0×c1。

(5)Decrypt(c′,θs)：根據(jù)密文c′，利用私鑰θs計(jì)算出明文m′。

1.2.2加密域中的人臉相異度的計(jì)算

式(1)中描述的人臉相似度可在加密域中描述為：

d(x,y)≈d(cx,cy)

(3)

式中：cx和cy分別為特征向量x和y的密文。d(cx,cy)的歐氏距離的計(jì)算為：

式中：n為人臉特征維度

該計(jì)算可分別為3個(gè)步驟：

(1) 對(duì)密文cx和cy進(jìn)行減法運(yùn)算：cz=Add(cx,-cy)。

(2) 對(duì)密文減法運(yùn)算的結(jié)果進(jìn)行乘法運(yùn)算：cz=Multiply(cz,cz)。

(3) 最后還需要對(duì)cz中各個(gè)元素進(jìn)行累加運(yùn)算，得到歐氏距離的平方。由于全同態(tài)加密不支持平方根操作，因此在加密域中僅求得歐氏距離平方的密文。

那么在加密域中計(jì)算歐氏距離則需要n次的加密乘法運(yùn)算和n-1次的加密加法運(yùn)算。但由于每次對(duì)加密數(shù)據(jù)的乘法運(yùn)算量很大，導(dǎo)致在加密域中計(jì)算人臉相似度的速度非常緩慢，尤其在人臉特征高維度表示的場景下該問題會(huì)進(jìn)一步加劇。

1.2.3批處理

在加密域進(jìn)行人臉匹配的主要瓶頸在于計(jì)算人臉相異度時(shí)所需的全同態(tài)加乘法次數(shù)與特征維度n呈線性關(guān)系。Brakerski等[10]提出了一種可針對(duì)數(shù)字向量進(jìn)行同態(tài)加密和解密的技術(shù)，而不是每次僅使操作單個(gè)數(shù)字。該技術(shù)利用中國剩余定理(Chinese Remainder Theorem,CRT)將n個(gè)數(shù)編碼到同一個(gè)多項(xiàng)式上。那么對(duì)于兩個(gè)n維的人臉特征向量x和y，通過將包含n個(gè)向量元素的特征向量通過批處理整體加密至單個(gè)密文中，將n個(gè)向量元素密文的加法和乘法操作轉(zhuǎn)換為單個(gè)向量密文的加法和乘法操作，即在單次同態(tài)計(jì)算操作的時(shí)間內(nèi)完成n次同態(tài)加法或乘法運(yùn)算。因此，隨著一次批處理數(shù)量的增加，可顯著提高計(jì)算效率。通過批處理技術(shù)可完美完成加密域中人臉相異度計(jì)算的步驟(1)和步驟(2)。

但由于批處理方案是將向量整體加密，導(dǎo)致無法訪問加密后向量中的各個(gè)元素，也就無法完成步驟(3)中的各個(gè)元素累加運(yùn)算，存在一定的局限性。但可以通過Gentry等[11]提出的循環(huán)旋轉(zhuǎn)logn次向量并累加，獲得加密向量中的各元素之和。

以4維向量為例，通過循環(huán)旋轉(zhuǎn)計(jì)算各元素和的過程如圖3所示。

對(duì)于512維的人臉特征向量，原先步驟(3)中511次同態(tài)密文的加法運(yùn)算現(xiàn)在只需9次的循環(huán)和加法運(yùn)算，進(jìn)一步減輕了計(jì)算負(fù)擔(dān)。

綜上，基于CKKS方案的人臉匹配計(jì)算的實(shí)現(xiàn)關(guān)鍵代碼如下：

(1) 生成密鑰：

parms=EncryptionParameters(scheme_type.CKKS)

poly_modulus_degree=8192

parms.set_poly_modulus_degree(poly_modulus_degree)

parms.set_coeff_modulus(CoeffModulus.Create(

poly_modulus_degree,[60,40,40,60//))

context=SEALContext.Create(parms)

scale=pow(2.0,40)

keygen=KeyGenerator(context)

evaluator=Evaluator(context)

public_key=keygen.public_key()

secret_key=keygen.secret_key()

relin_keys=keygen.relin_keys()

gal_keys=keygen.galois_keys()

在本方案中使用的多項(xiàng)式模度poly_modulus_degree為8 192，配合近似最近鄰搜索方法中每個(gè)集合最多剩余4個(gè)點(diǎn)。

(2) 使用公鑰對(duì)人臉特征向量進(jìn)行加密：

encryptor=Encryptor(context,public_key)

face_vector=np.loadtxt(data,delimiter=′,′)

inputs=DoubleVector(face_vector)

plain=Plaintext()

encoder.encode(inputs,scale,plain)

encrypted=Ciphertext()

encryptor.encrypt(plain,encrypted)

(3) 在加密域中計(jì)算人臉相異度：

#向量密文的減法操作，結(jié)果存入x_encrypted

evaluator.sub_inplace(x_encrypted,y_encrypted)

#向量密文的乘法操作，結(jié)果存入x_encrypted

evaluator.square_inplace(x_encrypted);

evaluator.relinearize_inplace(x_encrypted,relin_keys)

rotate_encrypted=Ciphertext()

result_encrypted=x_encrypted

#通過循環(huán)旋轉(zhuǎn)和累加計(jì)算元素密文和

i=1

while i<512:

evaluator.rotate_vector(result_encrypted,i,gal_keys,rotate_encrypted)

evaluator.add_inplace(result_encrypted,rotate_encrypted)

i*=2

(4) 使用私鑰獲取特征向量歐氏距離的平方和：

decryptor=Decryptor(context,secret_key)

plain_result=Plaintext()

decryptor.decrypt(result_encrypted,plain_result)

result=DoubleVector()

encoder.decode(plain_result,result)

return(result[0]**0.5)

1.3 基于Annoy搜索算法的人臉識(shí)別

人臉識(shí)別身份認(rèn)證的過程就是將待認(rèn)證用戶的人臉特征與數(shù)據(jù)庫中的所有人臉特征一一進(jìn)行相異度的比較，將滿足閾值要求的最小相異度所對(duì)應(yīng)的用戶身份標(biāo)簽返回。倘若對(duì)每一個(gè)人臉都進(jìn)行比較，那計(jì)算的時(shí)間復(fù)雜度為O(n)。由于相同的人臉得到的人臉特征索引都是比較類似，因此可以采用高效的Annoy(Approximate Nearest Neighbors Oh Yeah)算法對(duì)人臉特征創(chuàng)建索引。

Annoy算法的目標(biāo)是建立一棵(群)二叉樹的數(shù)據(jù)結(jié)構(gòu)，基于該數(shù)據(jù)結(jié)構(gòu)能夠在較短的時(shí)間內(nèi)找到任何查詢點(diǎn)的最近點(diǎn)，其查詢的平均時(shí)間復(fù)雜度為O(logn)。

(1) 建立索引。以2維數(shù)據(jù)集為例，Annoy算法首先隨機(jī)選擇兩個(gè)數(shù)據(jù)點(diǎn)，并以這兩個(gè)點(diǎn)為初始中心節(jié)點(diǎn)，執(zhí)行聚類數(shù)為2的KMeans聚類，產(chǎn)生收斂后的兩個(gè)聚類中心點(diǎn)。在中心點(diǎn)的連線上(灰色短線)建立一條垂直線(黑色粗線)把數(shù)據(jù)空間分成兩部分。在多維空間中該黑色粗線即為等距垂直超平面。如圖4所示。

圖4 建立索引過程

然后在劃分的兩個(gè)子空間中繼續(xù)進(jìn)行遞歸迭代，直到每個(gè)子空間中最多只剩下K個(gè)數(shù)據(jù)節(jié)點(diǎn)。在該方案中K值為4。

最終，通過多次遞歸迭代劃分，原始數(shù)據(jù)點(diǎn)會(huì)形成一個(gè)二叉樹結(jié)構(gòu)。二叉樹的葉子節(jié)點(diǎn)記錄原始數(shù)據(jù)節(jié)點(diǎn)，中間節(jié)點(diǎn)則記錄的是分割超平面的信息。

(2) 查詢過程。完成索引建立之后，對(duì)一個(gè)數(shù)據(jù)點(diǎn)進(jìn)行查找相似節(jié)點(diǎn)集合過程就是二叉樹的根節(jié)點(diǎn)不停向葉子節(jié)點(diǎn)遍歷的過程。通過對(duì)二叉樹每個(gè)中間節(jié)點(diǎn)(分割超平面相關(guān)信息)和查詢數(shù)據(jù)節(jié)點(diǎn)進(jìn)行距離度量來確定二叉樹遍歷過程是繼續(xù)往這個(gè)中間節(jié)點(diǎn)的左子樹還是右子樹遍歷。

建立索引和查詢依賴于節(jié)點(diǎn)之間的距離度量。本方案在開源庫中歐氏距離方式的基礎(chǔ)上增加了全同態(tài)密文的歐氏距離度量方式，其實(shí)現(xiàn)代碼與在加密域中計(jì)算人臉相異度類似。二叉樹中間節(jié)點(diǎn)(等距垂直超平面)通過兩個(gè)聚類中心點(diǎn)各維度上的均值得到，在加密域中通過一次加法和乘法操作(乘以0.5)即可完成。

(3) 1 ∶K批量計(jì)算。上述查找過程完成后，返回的葉子節(jié)點(diǎn)中包含了至多K個(gè)人臉特征密文，最后還需要計(jì)算待認(rèn)證用戶的人臉特征與該葉子節(jié)點(diǎn)中各個(gè)人臉特征的歐氏距離。

在全同態(tài)加密方式中使用的多項(xiàng)式模度poly_modulus_degree為8 192，其支持整體加密的向量長度最大為4 096。因此可通過旋轉(zhuǎn)操作將葉子節(jié)點(diǎn)中的所有人臉特征密文(以至多4個(gè)為例)構(gòu)造于同一個(gè)密文中，合并后的密文結(jié)構(gòu)如圖5所示。

圖5 合并后的密文結(jié)構(gòu)

在合并后的密文結(jié)構(gòu)中各個(gè)密文向量之間分別填充一個(gè)全0的512維向量，待認(rèn)證用戶的人臉特征同樣構(gòu)造上述密文結(jié)構(gòu)，最后就可以利用批處理技術(shù)就可以同時(shí)計(jì)算單個(gè)待認(rèn)證用戶人臉特征密文與K個(gè)人臉特征密文的歐氏距離。

2 系統(tǒng)測試

在系統(tǒng)仿真測試中基于人臉數(shù)據(jù)集(LFW)和基于深度神經(jīng)網(wǎng)絡(luò)的人臉模型FaceNet(512維)進(jìn)行測試。

本系統(tǒng)的服務(wù)端使用Python語言在Centos 7上開發(fā)，測試處理器為騰訊云單核2 GB配置的云服務(wù)器，CPU型號(hào)為Intel(R) Xeon(R) CPU E5- 26xx v4。同態(tài)加密算法采用微軟開源的簡單加密算法函數(shù)庫SEAL(Simple Encrypted Arithmetic Library)的Python版本PySEAL。

2.1 準(zhǔn)確率測試

人臉數(shù)據(jù)集(LFW)中共包含了13 233幅人臉圖像，獲取數(shù)據(jù)集中的所有人臉特征信息后，將未加密情況下兩個(gè)人臉特征向量之間的歐氏距離與它們?cè)诩用苡蛑杏?jì)算出來的歐氏距離進(jìn)行比較，部分?jǐn)?shù)據(jù)如表1所示。

表1 未加密與加密人臉特征向量歐氏距離對(duì)比

從表1可知，加密后計(jì)算的人臉特征的歐氏距離能夠達(dá)到未加密人臉特征的水準(zhǔn)，因此能夠保持原生算法的人臉識(shí)別準(zhǔn)確率。

2.2 全同態(tài)性能

測試全同態(tài)計(jì)算過程中加密、歐氏距離計(jì)算(1 ∶4)和解密的用時(shí)情況，并與未加密情況進(jìn)行對(duì)比，部分?jǐn)?shù)據(jù)的操作用時(shí)如表2和表3所示。

表2 加密過程用時(shí)

表3 加密域中同態(tài)計(jì)算和解密操作用時(shí)

從表2可知，在注冊(cè)過程中的人臉特征加密的平均用時(shí)為8 850 μs。

從表3可知，在認(rèn)證過程中一對(duì)密文向量歐氏距離的同態(tài)計(jì)算用時(shí)平均為53 671 μs，密文解密時(shí)間平均為2 043 μs。在本方案的安全參數(shù)配置下，1 ∶4密文向量的同態(tài)計(jì)算用時(shí)與一對(duì)密文向量計(jì)算用時(shí)是一致的，因此在Annoy所建立的二叉樹中葉子節(jié)點(diǎn)中密文特征向量個(gè)數(shù)為4的情況下一對(duì)人臉特征密文歐氏距離的平均用時(shí)為13 418 μs。

未加密情況下一對(duì)人臉特征向量直接進(jìn)行歐氏距離的平均用時(shí)為546 μs。綜上，未加密與加密情況下人臉特征距離的用時(shí)情況如表4所示。

表4 未加密與加密情況下歐氏距離計(jì)算用時(shí) 單位：μs

從表4可知，在實(shí)驗(yàn)環(huán)境中，使用全同態(tài)加密后一對(duì)人臉特征之間的歐氏距離計(jì)算的總用時(shí)大約為0.02 s，是未加密的45倍左右。

系統(tǒng)的整體架構(gòu)為C/S架構(gòu)，其中客戶端為用戶提供了注冊(cè)和登錄服務(wù)，服務(wù)器端提供了全同態(tài)計(jì)算和人臉認(rèn)識(shí)服務(wù)。不考慮攝像頭采集人臉?biāo)ㄙM(fèi)的時(shí)間，以LFW數(shù)據(jù)集中的人臉模擬系統(tǒng)的注冊(cè)和登錄。加密前后人臉注冊(cè)的全過程用時(shí)如表5所示。

表5 注冊(cè)全過程用時(shí) 單位：ms

人臉數(shù)據(jù)庫中已存儲(chǔ)1 000個(gè)人臉特征密文，認(rèn)證全過程用時(shí)如表6所示。

表6 認(rèn)證全過程用時(shí) 單位：ms

測試結(jié)果表明：注冊(cè)過程中，加密后的平均用時(shí)為1 000.3 ms，相比加密前大約增加了13.5 ms，提高了不到2%，占注冊(cè)總用時(shí)的1.3%。而在認(rèn)證過程中，加密后總用時(shí)平均為2 484.2 ms，相比加密前大約增加了158.3 ms，提高了6.8%，占認(rèn)證總用時(shí)的6.37%。

從系統(tǒng)整體視角分析，圖形界面載入用時(shí)和網(wǎng)絡(luò)通信部分的用時(shí)最長，而同態(tài)加解密和計(jì)算用時(shí)占總用時(shí)大約5%。因此對(duì)人臉特征密文進(jìn)行全同態(tài)計(jì)算的效率是能夠滿足實(shí)際應(yīng)用需求的。

3 結(jié) 語

隨著信息技術(shù)的快速發(fā)展，信息安全已成為人們重點(diǎn)關(guān)注的領(lǐng)域。本文探討了使用全同態(tài)加密來保護(hù)人臉特征的實(shí)用性。首先，利用了一個(gè)批處理方案，實(shí)現(xiàn)了在單次同態(tài)計(jì)算操作的時(shí)間內(nèi)完成n次同態(tài)加法或乘法運(yùn)算，提高了在加密域中人臉匹配的效率；進(jìn)一步利用近似最近鄰搜索算法，顯著提高了人臉識(shí)別的效率。在提供人臉模板保護(hù)、防止信息泄漏和保護(hù)用戶隱私的同時(shí)，基于全同態(tài)人臉的匹配能夠保持原生算法的人臉識(shí)別準(zhǔn)確率，在性能上也可滿足實(shí)際應(yīng)用的需求。