一種使用神經(jīng)網(wǎng)絡(luò)的網(wǎng)吧身份識(shí)別方法

王恒宇, 王才標(biāo)

(大連市公安局, 遼寧大連 116000)

0 引言

按照《互聯(lián)網(wǎng)上網(wǎng)服務(wù)營(yíng)業(yè)場(chǎng)所管理?xiàng)l例》規(guī)定，網(wǎng)吧經(jīng)營(yíng)者應(yīng)對(duì)上網(wǎng)人員進(jìn)行有效身份登記。然而，一直以來(lái)，由于網(wǎng)吧作為公共場(chǎng)所的特殊性，也使它存在著事故易發(fā)、多發(fā)等問(wèn)題：想方設(shè)法規(guī)避實(shí)名制的情況，盜用、冒用、借用身份證的現(xiàn)象伴隨而來(lái)的違法行為也屢屢發(fā)生。上述種種問(wèn)題隱藏著諸多安全風(fēng)險(xiǎn)，導(dǎo)致網(wǎng)吧上網(wǎng)實(shí)名制實(shí)際上是“形同虛設(shè)”。

通過(guò)人臉識(shí)別技術(shù)解決網(wǎng)吧實(shí)名制管理問(wèn)題，是當(dāng)下對(duì)互聯(lián)網(wǎng)安全領(lǐng)域的一項(xiàng)嘗試，也是實(shí)現(xiàn)“科技強(qiáng)警”的創(chuàng)新舉措[1]。人臉識(shí)別技術(shù)以其易于采集、方便處理、實(shí)時(shí)性強(qiáng)、無(wú)法偽造等諸多特點(diǎn)而著稱(chēng)。在網(wǎng)吧實(shí)名登記管理模式遭遇瓶頸的當(dāng)下，人臉識(shí)別技術(shù)無(wú)疑為破解網(wǎng)吧實(shí)名制管理難題打開(kāi)了一扇新的“天窗”。

根據(jù)網(wǎng)吧管理中人臉識(shí)別專(zhuān)項(xiàng)，開(kāi)發(fā)一種使用人臉識(shí)別技術(shù)的網(wǎng)吧“實(shí)名制”管理系統(tǒng)。該系統(tǒng)通過(guò)建立人證核驗(yàn)中心和人證查驗(yàn)中心，對(duì)網(wǎng)吧上網(wǎng)人員的人臉信息進(jìn)行采集，通過(guò)后臺(tái)深度學(xué)習(xí)算法進(jìn)行實(shí)時(shí)比對(duì)并確認(rèn)人員身份，從而實(shí)現(xiàn)“人證合一”的實(shí)名制管理。該方案為解決當(dāng)下網(wǎng)吧實(shí)名制難題提供了一條可供借鑒的實(shí)踐之道。

1 技術(shù)背景

近年來(lái)，隨著互聯(lián)網(wǎng)的蓬勃發(fā)展、政策的利好和技術(shù)的進(jìn)步共同推動(dòng)了人工智能的高速發(fā)展，深度學(xué)習(xí)作為人臉識(shí)別的核心技術(shù)在這個(gè)過(guò)程中起到了關(guān)鍵的作用，其具有識(shí)別率高、泛化能力強(qiáng)等特點(diǎn)而越來(lái)越受到業(yè)界的關(guān)注[2]。針對(duì)網(wǎng)吧上網(wǎng)時(shí)受控條件下的人臉識(shí)別場(chǎng)景，構(gòu)建了一套基于網(wǎng)吧圖像采集的身份認(rèn)證系統(tǒng)，該系統(tǒng)實(shí)現(xiàn)了人臉圖片實(shí)時(shí)采集、檢索和認(rèn)證服務(wù)。其涉及的主要技術(shù)如下：

(1)網(wǎng)吧管理技術(shù)。當(dāng)前，網(wǎng)吧管理常用的主要模式是采用從Client/Server架構(gòu)，通過(guò)服務(wù)端身份證刷卡上網(wǎng)，控制客戶(hù)機(jī)開(kāi)機(jī)，并輔以計(jì)費(fèi)、會(huì)員等功能。

(2)人臉識(shí)別技術(shù)。人臉識(shí)別方法分為3種，基于幾何特征的人臉識(shí)別方法、基于模板匹配的人臉識(shí)別方法和基于模型的人臉識(shí)別方法。由于近年來(lái)深度學(xué)習(xí)在圖像識(shí)別效果上的異軍突起，基于“深度學(xué)習(xí)模型的人臉識(shí)別方法”如今已經(jīng)成為主流的研究領(lǐng)域[3]。

(3)深度學(xué)習(xí)技術(shù)。深度學(xué)習(xí)分為卷積神經(jīng)網(wǎng)絡(luò)(CNN, Convolutional Neural Network)和循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN, Recurrent Neural Network)。在圖像識(shí)別算法中，通常使用卷積核來(lái)提取圖像的局部特征，經(jīng)過(guò)多層迭代后，提取圖片間的非線(xiàn)性特征進(jìn)行相似度計(jì)算。RNN在時(shí)間序列的處理和預(yù)測(cè)上具有優(yōu)勢(shì)。

本例中，人臉相似度的方法存在一個(gè)問(wèn)題，當(dāng)樣本庫(kù)的數(shù)據(jù)量越來(lái)越龐大，需要將待比較圖片與樣本庫(kù)中每張圖進(jìn)行相似度計(jì)算，從而導(dǎo)致開(kāi)銷(xiāo)過(guò)大、反饋時(shí)間過(guò)長(zhǎng)等問(wèn)題。同時(shí)，對(duì)于隨著時(shí)序的增加，同一個(gè)人的樣貌特征發(fā)生變化是自然而然的事，這樣的人臉識(shí)別問(wèn)題利用循環(huán)神經(jīng)網(wǎng)絡(luò)就能夠得到很好的解決[4]。

系統(tǒng)通過(guò)上述各項(xiàng)技術(shù)的支撐，在實(shí)際使用過(guò)程中，能夠以不同模式來(lái)適應(yīng)遇到的不同識(shí)別場(chǎng)景。

2 系統(tǒng)架構(gòu)設(shè)計(jì)

通過(guò)系統(tǒng)實(shí)現(xiàn)身份認(rèn)證，首先要判別識(shí)別場(chǎng)景。由于各種人臉識(shí)別算法在不同場(chǎng)景中表現(xiàn)互有優(yōu)劣，同時(shí)，遭遇“冷啟動(dòng)”的問(wèn)題是很多系統(tǒng)在部署初期遇到的常見(jiàn)現(xiàn)象，其原因是數(shù)據(jù)庫(kù)缺少能夠使用的樣本，無(wú)法滿(mǎn)足相關(guān)模型的訓(xùn)練要求而無(wú)法使用。所以，根據(jù)應(yīng)用場(chǎng)景的不同，系統(tǒng)分為3種不同的應(yīng)用模式(如圖1)。

圖1 系統(tǒng)工作流程

2.1 1∶1模式：未發(fā)現(xiàn)采樣歷史

在未發(fā)現(xiàn)采樣歷史時(shí)，通過(guò)1∶1比對(duì)模式進(jìn)行身份識(shí)別，使用多特征融合的人臉識(shí)別技術(shù)，將采樣圖像與身份證照片進(jìn)行比對(duì)[5]。該方法使用了多種圖像特征，如SIFT特征、HOG特征、GIST特征等，多種特征能夠得到多個(gè)圖像對(duì)比識(shí)別的置信度，將多個(gè)置信度轉(zhuǎn)化成線(xiàn)性方程尋找最優(yōu)解，對(duì)采樣圖片進(jìn)行識(shí)別[6]。實(shí)驗(yàn)結(jié)果表明，在稀疏樣本條件下，這種方法提升準(zhǔn)確率比較顯著，要顯優(yōu)于常規(guī)的特征檢索方法[7]。

2.2 1∶All模式：有少量采樣歷史

系統(tǒng)采用1∶All的比對(duì)模式，即將采樣圖片與全庫(kù)樣本進(jìn)行比對(duì)。在該模式下，對(duì)于采樣圖片與全庫(kù)圖片之間的圖片相似度，可使用2-channel CNN來(lái)計(jì)算[8-9]。

在模型訓(xùn)練時(shí)，樣本將由采集的照片兩兩之間組成，對(duì)于身份證號(hào)相同的兩張圖片，其相似度標(biāo)記為1，對(duì)于身份證號(hào)不同的兩張圖片相似度標(biāo)記為0。然后，以雙通道的形式將訓(xùn)練樣本輸入到CNN中，再通過(guò)構(gòu)造損失函數(shù)來(lái)對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行更新[10-11]。模型的最后兩層是全連接層，輸出的神經(jīng)元個(gè)數(shù)為1，表示兩張圖片的相似度。模型由圖片RGB色彩組成的feature map進(jìn)行輸入，經(jīng)過(guò)第一個(gè)卷積層后將圖片特征加權(quán)組合，并由激活函數(shù)relu(Rectified Linear Unit)傳輸給下一層[12](如圖2)。通過(guò)驗(yàn)證后，從第一層就可以將兩張圖片關(guān)聯(lián)在一起，在隨機(jī)梯度下降算法下，卷積過(guò)程中產(chǎn)生的不同非線(xiàn)性效果對(duì)兩者的影響可以得到有效解決[13]。采樣圖片與某身份證號(hào)下所有樣本的平均相似度高于預(yù)測(cè)閾值，則確認(rèn)該人員身份成功。

圖2 系統(tǒng)所使用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

2.3 1∶N模式：有多個(gè)采樣歷史

系統(tǒng)使用1∶N模式，即將采樣圖片與該身份證號(hào)下的所有圖片進(jìn)行比對(duì)。模式下，使用了基于循環(huán)神經(jīng)網(wǎng)絡(luò)模型的人臉檢索方法，用于解決隨著時(shí)間的積累，人臉采樣產(chǎn)生部分特征變化的問(wèn)題[14]。同時(shí)，隨著系統(tǒng)部署時(shí)間的推移，全庫(kù)數(shù)據(jù)的不斷增加，進(jìn)行1∶All預(yù)測(cè)的時(shí)間將會(huì)隨樣本庫(kù)增加而增加。使用循環(huán)神經(jīng)網(wǎng)絡(luò)能夠?qū)⑼蝗藛T的所有圖片逐步輸入，通過(guò)一次預(yù)測(cè)即可確認(rèn)人員身份，從而可以極大地減少系統(tǒng)的計(jì)算開(kāi)銷(xiāo)。

在模型訓(xùn)練時(shí)，可按照身份證號(hào)進(jìn)行樣本分類(lèi)，同一身份證號(hào)下的圖片，按照時(shí)間域排序后，輸入到模型中進(jìn)行訓(xùn)練，最終將模型狀態(tài)(狀態(tài)n)經(jīng)過(guò)全連接和歸一化層進(jìn)行判別后輸出結(jié)果，使用隨機(jī)梯度下降算法對(duì)損失函數(shù)結(jié)果進(jìn)行優(yōu)化，更新模型參數(shù)[15](如圖3)。

圖3 系統(tǒng)所使用循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

實(shí)驗(yàn)表明，在樣本稠密條件下，使用該方法有著更為優(yōu)秀的檢索比對(duì)性能，并且隨著樣本庫(kù)的不斷擴(kuò)充，模型會(huì)獲得更好的擬合性能，尤其在對(duì)樣貌特征存在較大變化的識(shí)別場(chǎng)景中，系統(tǒng)能夠得到比人工篩查更為良好的身份認(rèn)證結(jié)果。

3 實(shí)例分析

上述技術(shù)通過(guò)與網(wǎng)吧計(jì)費(fèi)軟件的整合，目前已完成300余家的部署，基本實(shí)現(xiàn)了“人證合一”的管理理念。在系統(tǒng)使用實(shí)際數(shù)據(jù)進(jìn)行測(cè)試中，為了模擬實(shí)際使用情況，準(zhǔn)備測(cè)試數(shù)據(jù)如下。

測(cè)試集1：測(cè)試集由3 000張現(xiàn)場(chǎng)采集照片(240×320 pi)和3 000張證件照片(102×126 pi)組成。

測(cè)試集2：測(cè)試集由5 000張后續(xù)現(xiàn)場(chǎng)采集照片(240×320 pi)和原有3 000張現(xiàn)場(chǎng)采集照片(240×320 pi)組成。

3.1 1∶1比對(duì)模式實(shí)驗(yàn)和結(jié)果

系統(tǒng)沒(méi)有任何數(shù)據(jù)的情況下，使用1∶1比對(duì)模式。將測(cè)試集1中3 000張現(xiàn)場(chǎng)采集照片與3 000張證件照片進(jìn)行比對(duì)。使用多特征融合的人臉特征抽取算法進(jìn)行測(cè)試，比對(duì)成功率為100%。但鑒于該實(shí)驗(yàn)使用現(xiàn)場(chǎng)照片與證件照片拍攝時(shí)間間隔不長(zhǎng)，相關(guān)人員面貌變化不明顯，在實(shí)際使用中會(huì)導(dǎo)致識(shí)別誤差。

3.2 1∶All比對(duì)模式實(shí)驗(yàn)和結(jié)果

在1∶All比對(duì)模式下，使用測(cè)試集2，將測(cè)試集中每張圖片與樣本庫(kù)中圖片計(jì)算相似度。隨機(jī)抽取18名用戶(hù)的人臉識(shí)別相似度數(shù)據(jù)結(jié)果如表1所示。

表1 相似度計(jì)算結(jié)果

說(shuō)明：在表格中，只展示屬于測(cè)試人員身份圖片的相似度。

通過(guò)正確人員驗(yàn)證的成功率達(dá)99.77%，說(shuō)明在數(shù)據(jù)樣本較少時(shí)，使用2-channel CNN算法能夠非常有效地解決人臉識(shí)別問(wèn)題。

3.3 1∶N比對(duì)模式實(shí)驗(yàn)和結(jié)果

使用測(cè)試集1和測(cè)試集2的現(xiàn)場(chǎng)采集照片，首先，將3 000張現(xiàn)場(chǎng)采集照片分別與照片庫(kù)中各時(shí)期的本人樣本進(jìn)行比對(duì)，將本人照片按時(shí)間排序輸入訓(xùn)練好的循環(huán)神經(jīng)網(wǎng)絡(luò)中，計(jì)算拒識(shí)率(FRR，false rejection rate)；再將這3 000張現(xiàn)場(chǎng)采集照片分別與庫(kù)中非本人的樣本進(jìn)行比對(duì)，計(jì)算誤識(shí)率(FAR，false acceptance rate)；

(1)

(2)

式中，NGRA是類(lèi)內(nèi)測(cè)試的總次數(shù)，NIRA是類(lèi)間測(cè)試的總次數(shù)。NFR是錯(cuò)誤拒絕的次數(shù)，NFA是錯(cuò)誤接受的次數(shù)。

計(jì)算拒識(shí)率：使樣本的FAR=0.1%和FAR=0.5%時(shí)，計(jì)算測(cè)試集的FRR(如表2)。

表2 拒識(shí)率計(jì)算結(jié)果

計(jì)算誤識(shí)率：樣本的FRR=2%和FRR=5%時(shí)，計(jì)算測(cè)試集的FAR(如表3)。

表3 誤識(shí)率計(jì)算結(jié)果

實(shí)驗(yàn)結(jié)果證明，在擁有大量人員庫(kù)的情況下，RNN算法能夠有效識(shí)別不同時(shí)期人員特征，解決人員臉部特征出現(xiàn)變化的問(wèn)題。

通過(guò)上述各項(xiàng)實(shí)驗(yàn)，證明了人臉識(shí)別技術(shù)引入到網(wǎng)吧管理到警務(wù)工作中的可行性。系統(tǒng)根據(jù)使用條件，實(shí)現(xiàn)了1∶1模式、1∶All模式和1∶N模式的人員身份識(shí)別，解決了冷啟動(dòng)、計(jì)算開(kāi)銷(xiāo)過(guò)大和實(shí)際人員的臉型變化問(wèn)題。從實(shí)際使用結(jié)果來(lái)看，基本可完成上網(wǎng)人員的身份驗(yàn)證功能。

4 結(jié)語(yǔ)

對(duì)于網(wǎng)吧管理工作而言，防止身份作假、使用虛假身份證是亟待解決的問(wèn)題。當(dāng)下，使用深度學(xué)習(xí)的人臉識(shí)別算法能夠有效解決在此過(guò)程中傳統(tǒng)方法不能解決的人員身份精確匹配問(wèn)題，對(duì)互聯(lián)網(wǎng)上網(wǎng)服務(wù)場(chǎng)所的管理具有重要意義。

然而，由于圖片采集效果受光線(xiàn)、角度、分辨率等多種因素的影響，使模型存在一些誤識(shí)現(xiàn)象。在后續(xù)的工作中需要提高在采集條件不理想時(shí)，模型的泛化能力，包括克服光照的影響、解決化妝和雙胞胎的識(shí)別問(wèn)題、通過(guò)局部特征進(jìn)行識(shí)別和減少人員配合提高效率等問(wèn)題。總之，人臉識(shí)別技術(shù)還有很多方面需要去深入研究，相信不久的將來(lái)，人臉識(shí)別技術(shù)將在速度、可靠性、穩(wěn)定性、成本上有更好的突破。