基于神經(jīng)網(wǎng)絡(luò)與全同態(tài)加密的多生物特征融合安全認(rèn)證方案

林雨康，劉云皓，王文麗

（西藏民族大學(xué) 信息工程學(xué)院，陜西咸陽，712082）

同態(tài)加密技術(shù)的提出和發(fā)展為實(shí)現(xiàn)生物特征的安全認(rèn)證提供了新思路，基于同態(tài)加密的生物特征加密域匹配技術(shù)成為研究的熱點(diǎn)。賀康等人[1]提出了一種基于Fingercode 和同態(tài)加密的指紋安全認(rèn)證方案，用于解決開放網(wǎng)絡(luò)中指紋身份認(rèn)證時(shí)的隱私保護(hù)問題。吳俊青等人[2]提出一種基于深度學(xué)習(xí)和加密算法的人臉安全認(rèn)證方案，在不影響人臉識別準(zhǔn)確率、效率的前提下提高了安全性。目前大多生物特征認(rèn)證方案采用單一生物特征進(jìn)行身份認(rèn)證，這缺乏足夠的準(zhǔn)確性，并且容易受到欺騙攻擊。因此，在上述研究工作的基礎(chǔ)上，本文基于Triplet 神經(jīng)網(wǎng)絡(luò)和CKKS 全同態(tài)加密算法，結(jié)合用戶的人臉、指紋和虹膜信息，設(shè)計(jì)了一種多生物特征融合安全認(rèn)證方案。

1 基礎(chǔ)理論

1.1 Triplet 神經(jīng)網(wǎng)絡(luò)

Triplet 網(wǎng)絡(luò)是一種用于度量學(xué)習(xí)的監(jiān)督模型，能夠度量數(shù)據(jù)樣本之間的相似度，由Siamese 網(wǎng)絡(luò)[3]擴(kuò)展得到。通過引入三元組的概念，Triplet網(wǎng)絡(luò)利用三個(gè)樣本組成一個(gè)訓(xùn)練組，在這三個(gè)樣本中，一個(gè)被稱為基準(zhǔn)樣本（Anchor），另兩個(gè)分別被稱為正樣本（Positive）和負(fù)樣本（Negative），如圖1 所示，從而解決了Siamese 網(wǎng)絡(luò)在處理多類別小樣本數(shù)據(jù)集時(shí)的訓(xùn)練困難問題。Triplet網(wǎng)絡(luò)的優(yōu)化目標(biāo)是要讓屬于同一個(gè)人的特征向量盡可能地“近”，而與其他人的特征向量盡可能地“遠(yuǎn)”，其中起到關(guān)鍵作用的是損失函數(shù)Triplet Loss[4]。訓(xùn)練完畢后，只需保留模型的特征提取能力，即可有效提取出生物特征模板，而后實(shí)現(xiàn)身份認(rèn)證等應(yīng)用。

圖1 Triplet 神經(jīng)網(wǎng)絡(luò)框架

1.2 CKKS 全同態(tài)加密算法

CKKS 算法[5]于2017 年由Cheon 等人提出，是一種支持浮點(diǎn)數(shù)進(jìn)行近似值計(jì)算的全同態(tài)加密算法，其安全性依賴于RLWE 困難問題假設(shè)[6]。與以往的算法不同，CKKS 的加密對象不局限于整數(shù)，還可以支持對實(shí)數(shù)和復(fù)數(shù)進(jìn)行加密。此外，CKKS 允許誤差，放寬了對準(zhǔn)確性的限制，因此計(jì)算效率也有了很大提升。CKKS 算法的整體流程如圖2 所示，首先由消息編碼成明文，其次加密成密文，接著進(jìn)行同態(tài)計(jì)算，最后解密和解碼成消息。CKKS 算法能夠?qū)崿F(xiàn)生物特征模板的加密域匹配，保證在外包給云服務(wù)器進(jìn)行距離計(jì)算時(shí)不會泄露用戶的隱私數(shù)據(jù)，從而在客戶端與云服務(wù)器之間進(jìn)行安全認(rèn)證。

圖2 CKKS 全同態(tài)加密算法流程圖

2 方案設(shè)計(jì)

本文中的方案采用客戶端—云服務(wù)器模型，并且假定客戶端是可信的，云服務(wù)器是誠實(shí)且好奇的，客戶端與云服務(wù)器之間通過公共信道傳輸數(shù)據(jù)。本方案融合了人臉、指紋和虹膜三種生物特征，借助Triplet 神經(jīng)網(wǎng)絡(luò)訓(xùn)練融合特征模板提取器，同時(shí)使用CKKS 全同態(tài)加密算法進(jìn)行特征模板加密域匹配，從而實(shí)現(xiàn)多生物特征融合安全認(rèn)證。

2.1 融合特征模板提取

殘差網(wǎng)絡(luò)（ResNet）[7]通過引入殘差連接，解決了深度神經(jīng)網(wǎng)絡(luò)的退化問題，提高了模型的準(zhǔn)確率和收斂速度，能夠從原始圖像數(shù)據(jù)中自動學(xué)習(xí)到良好的特征表示，實(shí)現(xiàn)端到端的訓(xùn)練，因此使用ResNet50 作為特征提取網(wǎng)絡(luò)，使用簡單的全連接網(wǎng)絡(luò)（FCNN）作為特征融合網(wǎng)絡(luò)，整體結(jié)構(gòu)如圖3 所示，輸入為經(jīng)過預(yù)處理成像素的一組生物特征圖像，輸出為128 維的實(shí)值融合特征模板。

圖3 融合特征模板提取網(wǎng)絡(luò)結(jié)構(gòu)

本節(jié)采用Triplet 網(wǎng)絡(luò)框架訓(xùn)練融合特征模板提取器，主要包括特征提取和融合兩部分。首先，分別導(dǎo)入人臉、指紋以及虹膜數(shù)據(jù)集，訓(xùn)練各自的ResNet50 模型，采用Triplet Loss 損失函數(shù)，參見公式(1)。其中，、和分別表示基準(zhǔn)樣本、正樣本和負(fù)樣本，f(x)2表示L2 范數(shù)。接著，將三組ResNet50 模型的參數(shù)全部凍結(jié)，只訓(xùn)練后面的特征融合網(wǎng)絡(luò)FCNN，同樣采用Triplet Loss 損失函數(shù)。訓(xùn)練完畢后，將整個(gè)網(wǎng)絡(luò)作為融合特征模板提取器，每一組人臉、指紋和虹膜都會生成一個(gè)128 維的融合特征模板。

2.2 特征模板加密域匹配

由于本方案中假定云服務(wù)器是誠實(shí)且好奇的，不能保證用戶生物特征數(shù)據(jù)的安全，因此模板匹配需要在加密域中進(jìn)行。特征模板的相似性采用歐氏平方距離度量，當(dāng)云服務(wù)器收到待認(rèn)證的特征模板密文T_enc*后，需要對該密文與數(shù)據(jù)庫中已注冊的全部密文T_enc1,T_enc2,… ,T_encN進(jìn)行歐氏平方距離的同態(tài)計(jì)算。具體步驟如下：

(1)執(zhí)行差平方計(jì)算。參見公式(2)，計(jì)算得到R_enci，i=1,2,… ,N。其中，?表示同態(tài)減法，?表示同態(tài)乘法，Enc表示用公鑰進(jìn)行同態(tài)加密。

(2)向量內(nèi)元素求和。CKKS 算法采用了SIMD 技術(shù)[8]，無法在加密域中操作向量內(nèi)的單個(gè)元素。通過重復(fù)執(zhí)行旋轉(zhuǎn)和加法計(jì)算進(jìn)行向量內(nèi)元素的求和，參見公式(3)，計(jì)算得到D_enci，i=1,2,… ,N。其中，⊕表示同態(tài)加法，Rotate表示旋轉(zhuǎn)操作。

(3)清除冗余元素。可以看到，D_enci對應(yīng)的明文向量中，各個(gè)元素是相同的，為了減少客戶端與云服務(wù)器之間的通信量，僅保留D_enci對應(yīng)明文向量中的第(i-1)mod128 + 1個(gè)元素，其它冗余元素通過與0 相乘的方式清除，然后對密文進(jìn)行相加合并，計(jì)算得到S_enci，i=1,2,… ,n。其中，n=N/128。密文S_enci中包含全部歐氏平方距離，將其傳回客戶端進(jìn)行解密即可得到認(rèn)證結(jié)果。

2.3 注冊階段

注冊階段流程如圖4 所示，該階段包括圖像預(yù)處理、模板提取、模板加密和模板存儲四部分，具體步驟如下：

圖4 注冊階段流程圖

(1)客戶端通過智能傳感器采集到同一用戶的人臉、指紋和虹膜信息，經(jīng)過預(yù)處理得到大小為224 ×224像素的生物特征圖像1P，2P，3P。

(2)將圖像P1，P2，P3加載到融合特征模板提取器中，生成128 維的實(shí)值融合特征模板T=[t1,t2,… ,t128]。

(3)應(yīng)用CKKS 算法，由密鑰管理中心提供公鑰，對模板T進(jìn)行全同態(tài)加密，生成特征模板密文T_enc。

(4)客戶端通過公共信道將模板密文T_enc傳給云服務(wù)器，存儲到特征模板數(shù)據(jù)庫中，完成注冊。

2.4 認(rèn)證階段

認(rèn)證階段流程如圖5 所示，該階段包括圖像預(yù)處理、模板提取、模板加密、模板匹配和相似度解密五部分，具體步驟如下：

圖5 認(rèn)證階段流程圖

(1)客戶端通過智能傳感器采集到同一用戶的人臉、指紋和虹膜信息，經(jīng)過預(yù)處理得到大小為224 ×224像素的生物特征圖像

(3)應(yīng)用CKKS 算法，由密鑰管理中心提供公鑰，對模板T*進(jìn)行全同態(tài)加密，生成特征模板密文T_enc*。

(4)客戶端通過公共信道將模板密文T_enc*以及公鑰傳給云服務(wù)器，將該密文與特征模板數(shù)據(jù)庫中的各個(gè)模板T_enc1,T_enc2,… ,T_encN分別進(jìn)行歐氏平方距離的同態(tài)計(jì)算，得到相似度密文S_enc1,S_enc2,…,S_encn。

(5)云服務(wù)器通過公共信道將相似度密文S_enc1,S_enc2,… ,S_encn傳給客戶端，由密鑰管理中心提供私鑰，解密后執(zhí)行向量拼接操作，獲得相似度向量S=[s1,s2,…,sN]。在S中查找最小值smin，將其與預(yù)設(shè)閾值進(jìn)行比對，得到認(rèn)證結(jié)果，完成認(rèn)證。

3 仿真實(shí)驗(yàn)及分析

本實(shí)驗(yàn)使用的深度學(xué)習(xí)框架為PyTorch，在NVIDIA GeForce RTX 3090 GPU 上運(yùn)行。操作系統(tǒng)為Windows 10 專業(yè)版，內(nèi)存為16GB，編譯環(huán)境為Anaconda 3，Python 3.7.15。用于訓(xùn)練模型的數(shù)據(jù)集分別為CASIA-WebFace[9]、NIST DB10[10]和CASIA-Iris-Thousand[11]，使用的全同態(tài)加密庫為TenSEAL 0.3.14。

3.1 效率分析

在明文和密文狀態(tài)下進(jìn)行生物特征認(rèn)證的用時(shí)情況如表1 所示?？梢钥吹剑捎谕瑧B(tài)加密在保證安全性的同時(shí)帶來了一定的計(jì)算開銷，在密文狀態(tài)下進(jìn)行認(rèn)證的用時(shí)約為明文狀態(tài)的7.98 倍。此外，文獻(xiàn)[12~14]分別給出了針對人臉、指紋和虹膜的單一生物特征安全認(rèn)證方案，其用時(shí)明顯高于本文方案，這是因?yàn)楸疚姆桨笇?shí)現(xiàn)了特征級別的融合，并且采用具備SIMD 技術(shù)的CKKS 算法，支持并行計(jì)算，從而提高了計(jì)算效率。

表1 認(rèn)證用時(shí)情況對比

3.2 準(zhǔn)確性分析

為驗(yàn)證本文方案在融合不同生物特征時(shí)是否能夠有效地綜合利用各種特征的信息，本節(jié)測試了單一生物特征認(rèn)證以及簡單決策級別融合認(rèn)證的準(zhǔn)確率進(jìn)行對比，如表2 所示。可以看到，由于決策級別融合僅僅是對單一特征認(rèn)證的決策結(jié)果進(jìn)行融合，沒有表征出更多的信息，準(zhǔn)確率反而不如單一生物特征認(rèn)證方案。與之相比，本文方案實(shí)現(xiàn)了特征級別融合，能夠有效地協(xié)同多種生物特征的信息，而不僅僅是融合最終的認(rèn)證決策，因此可以提供準(zhǔn)確率更高的身份認(rèn)證服務(wù)。

表2 認(rèn)證準(zhǔn)確率對比

3.3 安全性分析

本文提出的多生物特征融合安全認(rèn)證方案采用了CKKS全同態(tài)加密，能夠保證用戶生物特征數(shù)據(jù)的隱私性以及認(rèn)證結(jié)果的機(jī)密性。具體分析如下：

(1)客戶端與云服務(wù)器之間傳輸?shù)臄?shù)據(jù)均為密文狀態(tài)，即使中間信道被攻擊者監(jiān)聽并竊取數(shù)據(jù)，也無法獲得明文狀態(tài)的生物特征模板和相似度向量。

(2)云服務(wù)器數(shù)據(jù)庫中存儲的特征模板均為密文狀態(tài)，即使云服務(wù)器遭到拖庫攻擊導(dǎo)致密文注冊模板泄露，攻擊者也無法推測出原始生物特征模板。

(3)云服務(wù)器上的模板匹配始終以密文狀態(tài)進(jìn)行，同態(tài)計(jì)算得到的相似度同樣是密文狀態(tài)，云服務(wù)器無法獲知認(rèn)證結(jié)果，從而無法窺探用戶的行為隱私。

4 結(jié)論

本文提出了一種多生物特征融合安全認(rèn)證方案，實(shí)現(xiàn)了對用戶的人臉、指紋和虹膜信息綜合認(rèn)證。Triplet 神經(jīng)網(wǎng)絡(luò)用于訓(xùn)練融合特征模板提取器，能夠很好地適應(yīng)生物特征的復(fù)雜性，模型泛化能力強(qiáng)，認(rèn)證準(zhǔn)確率高。CKKS 全同態(tài)加密算法用于特征模板加密域匹配，始終以密文狀態(tài)對生物特征模板進(jìn)行傳輸、存儲和計(jì)算，不會泄露用戶的隱私數(shù)據(jù)，認(rèn)證效率高。本方案解決了將生物特征數(shù)據(jù)及其計(jì)算委托給第三方云服務(wù)器的安全問題，在保證生物特征模板機(jī)密性的基礎(chǔ)上為用戶提供了高效、可靠的身份認(rèn)證服務(wù)，在金融、醫(yī)療、物聯(lián)網(wǎng)等領(lǐng)域具有廣泛的應(yīng)用前景。