可信身份師生人臉智能采集的研究和實(shí)現(xiàn)*

何斌斌 張波 彭小春 彭華梁

華南農(nóng)業(yè)大學(xué) 廣東 廣州 510642

引言

近幾年，隨著人工智能技術(shù)不斷優(yōu)化和完善，依托于人工智能的人臉識(shí)別技術(shù)被廣泛應(yīng)用到刑偵、交通、金融等領(lǐng)域，教育領(lǐng)域也不例外。高校校內(nèi)師生數(shù)量較大，人員流動(dòng)比較頻繁，在疫情防控期間，人員動(dòng)態(tài)管理存在較大壓力，因此高校開始將人臉識(shí)別技術(shù)運(yùn)用到學(xué)校管理當(dāng)中，尤其門禁進(jìn)出、安保等方面，減輕管理人員的工作壓力，同時(shí)學(xué)校也能通過(guò)人臉識(shí)別技術(shù)，準(zhǔn)確掌握學(xué)生的在校狀態(tài)以及活動(dòng)軌跡[1]。

為提升學(xué)校智能化管理水平，更好維護(hù)良好校園秩序，快捷高效的解決全校師生人臉大批量錄入的問(wèn)題，本文提出一種可信身份師生人臉智能采集系統(tǒng)，提供安全的人臉特征照自助采集服務(wù)，為師生進(jìn)出校門提供便捷服務(wù)。為加強(qiáng)個(gè)人信息保護(hù)，人臉特征照采集僅限于校園網(wǎng)環(huán)境下使用。

1 系統(tǒng)設(shè)計(jì)

人臉識(shí)別技術(shù)是一種基于人工智能（AI）的計(jì)算機(jī)技術(shù)，用于在數(shù)字圖像中查找和識(shí)別人臉?；谌四樧R(shí)別技術(shù)的“可信身份師生人臉采集系統(tǒng)”采用前后端分離開發(fā)架構(gòu)，以及Python和C#混合語(yǔ)言多端開發(fā)模式[2]。

“前后端分離技術(shù)”已經(jīng)成為互聯(lián)網(wǎng)項(xiàng)目開發(fā)的業(yè)界標(biāo)桿，通過(guò)前后端獨(dú)立開發(fā)有效地進(jìn)行解耦。并且前后端分離技術(shù)為以后的大型分布式架構(gòu)、彈性計(jì)算架構(gòu)、微服務(wù)架構(gòu)、多端化服務(wù)（多種客戶端，例如：瀏覽器，智慧屏終端，手機(jī)終端等等）打下堅(jiān)實(shí)的基礎(chǔ)。

本系統(tǒng)前端選型采用輕量型的Vue框架，后端則采用Python語(yǔ)言中較為可靠的Flask框架[3]。采用Python語(yǔ)言不僅可以編寫后端API接口，同時(shí)可編寫人臉識(shí)別程序，Python語(yǔ)言不僅語(yǔ)法優(yōu)雅簡(jiǎn)單，第三方庫(kù)功能強(qiáng)大，而且還可以跨平臺(tái)運(yùn)行。考慮到人臉特征照的存儲(chǔ)安全性，分發(fā)的可靠性以及海量照片檢索的性能，本系統(tǒng)采用對(duì)象存儲(chǔ)（OSS）作為人臉特征照存儲(chǔ)的底層支撐技術(shù)。

1.1 功能規(guī)劃

對(duì)于師生人臉特征照采集而言，首先要提供一個(gè)功能完善的管理后臺(tái)，此外，一個(gè)嚴(yán)格身份核驗(yàn)、快速便捷的智慧屏采集終端也是保證師生采集人臉特征照質(zhì)量的重要一步?？紤]如上因素，本系統(tǒng)按照管理后臺(tái)端和智慧屏自主采集終端獨(dú)立設(shè)計(jì)，其主要功能如下：

管理后臺(tái)端：①用戶管理：實(shí)現(xiàn)對(duì)全校師生以及管理員等用戶基本信息管理。②用戶管理：實(shí)現(xiàn)對(duì)全校師生以及管理員等用戶基本信息管理。③用戶臉庫(kù)管理：實(shí)現(xiàn)對(duì)全校師生錄入的多張?zhí)卣髡盏拇鎯?chǔ)和管理。④應(yīng)用授權(quán)管理：實(shí)現(xiàn)第三方系統(tǒng)申請(qǐng)臉庫(kù)、授權(quán)訪問(wèn)等功能。⑤用戶黑白名單：實(shí)現(xiàn)用戶臉庫(kù)的黑白名單管理。

智慧屏自主采集終端：①身份核驗(yàn)：通過(guò)身份證、校園卡對(duì)用戶身份進(jìn)行雙重身份校對(duì)核驗(yàn)。②人證比對(duì)：通過(guò)身份證照片以及自動(dòng)調(diào)用攝像頭抓拍的人臉特征照進(jìn)行比對(duì)，通過(guò)比對(duì)分?jǐn)?shù)判斷是否為同一個(gè)人。③人臉特征照采集：自動(dòng)調(diào)用攝像頭拍攝人臉特征照，系統(tǒng)會(huì)對(duì)照片進(jìn)行質(zhì)量檢測(cè)，符合要求才能入庫(kù)。

基于DDD領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)思想[4]，本系統(tǒng)可以分解為6大功能模塊：用戶管理模塊、臉庫(kù)管理模塊、應(yīng)用授權(quán)模塊、身份核驗(yàn)?zāi)K、特征照采集模塊、人臉識(shí)別模塊。

1.2 詳細(xì)設(shè)計(jì)

在上述功能中，身份核驗(yàn)和人臉識(shí)別是本系統(tǒng)的核心[5-6]。詳細(xì)功能設(shè)計(jì)如下：①身份證信息讀?。褐腔燮两K端配備二代身份證閱讀器，通過(guò)讀取用戶的身份證，獲得姓名、身份證號(hào)、照片等個(gè)人身份真實(shí)信息。②身份證信息讀?。褐腔燮两K端配備二代身份證閱讀器，通過(guò)讀取用戶的身份證，獲得姓名、身份證號(hào)、照片等個(gè)人身份真實(shí)信息。③身份信息校驗(yàn)：通過(guò)上述獲取的用戶姓名、身份證號(hào)、校園卡號(hào)，與學(xué)校身份數(shù)據(jù)中心對(duì)接，核實(shí)身份信息是否一致。④抓拍人臉特征照：智慧屏終端配備USB攝像頭，抓拍人臉特征照，并與身份證照片合并推送到云端服務(wù)器進(jìn)一步處理。⑤抓拍人臉特征照：智慧屏終端配備USB攝像頭，抓拍人臉特征照，并與身份證照片合并推送到云端服務(wù)器進(jìn)一步處理。⑥云端預(yù)處理：服務(wù)器收到人臉特征照以及身份證照片，與Python端的人臉識(shí)別模塊建立連接，發(fā)送人臉比對(duì)請(qǐng)求，等待識(shí)別結(jié)果。⑦人證比對(duì)：Python 端使用深度卷積網(wǎng)絡(luò)，利用提前訓(xùn)練好的模型處理待檢測(cè)圖片，得出識(shí)別結(jié)果。⑧特征照入庫(kù)：經(jīng)身份信息校驗(yàn)以及人證比對(duì)成功后，Python端把用戶的特征照保存到對(duì)象存儲(chǔ)，并把對(duì)應(yīng)關(guān)系保存到數(shù)據(jù)庫(kù)。⑨結(jié)果反饋：人臉特征照采集結(jié)果返回給前端展示給用戶，提醒用戶收好個(gè)人證件。

2 系統(tǒng)開發(fā)

根據(jù)上述的功能設(shè)計(jì)，梳理出功能開發(fā)流程圖如圖1。

圖1 功能開發(fā)流程圖

系統(tǒng)使用Pycharm 2022開發(fā)管理后臺(tái)端，采用Visual Studio 2022開發(fā)智慧屏前端，分別采用Python語(yǔ)言和C#語(yǔ)言混合開發(fā)，采用Mysql8關(guān)系型數(shù)據(jù)庫(kù)提供用戶數(shù)據(jù)庫(kù)存儲(chǔ)，同時(shí)采用了MinIO作為對(duì)象存儲(chǔ)保存人臉特征照。根據(jù)系統(tǒng)的整體功能設(shè)計(jì)，進(jìn)行系統(tǒng)詳細(xì)設(shè)計(jì)。

2.1 硬件設(shè)備

身份證讀卡器采用新中新DKQ-A16D二代身份讀卡器，IC卡讀卡器采用URF-R330 IC卡讀寫器，攝像頭采用兼容USB 2.0免驅(qū)動(dòng)型攝像頭。

圖2 新中新DKQ-A16D二代身份讀卡器

2.2 用戶信息相關(guān)

使用基于Vue框架的AVUE-UI進(jìn)行前端頁(yè)面開發(fā)，給管理后臺(tái)提供 信息管理操作；后端采用peewee框架作為訪問(wèn)數(shù)據(jù)持久層，對(duì)用戶信息數(shù)據(jù)進(jìn)行增、刪、查、改。

2.3 抓拍圖片

為了保障數(shù)據(jù)傳輸可靠性和安全性，智慧屏終端通過(guò)USB攝像頭抓拍人臉特征照后，首先將圖片轉(zhuǎn)為Base64編碼，通過(guò)HTTPS協(xié)議傳輸?shù)胶蠖耍邮仗幚砗?，轉(zhuǎn)存對(duì)象存儲(chǔ)中。

2.4 云端身份信息核對(duì)

服務(wù)器端接收到智慧屏終端發(fā)送的請(qǐng)求后，與身份中心對(duì)接，根據(jù)用戶的關(guān)鍵信息請(qǐng)求用戶的基本數(shù)據(jù)，從基本數(shù)據(jù)比對(duì)用戶的姓名、身份證號(hào)、校園卡號(hào)是否一致。

2.5 云端人證比對(duì)

云端身份信息核對(duì)成功后，使用基于TensorFlow的MTCNN模型[7]，對(duì)人像區(qū)域進(jìn)行定位，抽取出人臉特征照，同時(shí)與身份證照片進(jìn)行比對(duì)，比對(duì)通過(guò)后把人臉特征數(shù)據(jù)記錄到數(shù)據(jù)庫(kù)。

2.6 結(jié)果反饋

Python端識(shí)別完成后，將識(shí)別結(jié)果通過(guò)AJAX請(qǐng)求返回至前端，前端對(duì)結(jié)果進(jìn)行處理、展示。

3 系統(tǒng)實(shí)現(xiàn)

本系統(tǒng)前端采用Vue框架的組件化技術(shù)，把頁(yè)面拆分成多個(gè)組件 (component)，每個(gè)組件依賴的CSS、JavaScript、模板、圖片等資源放在一起開發(fā)和維護(hù)。編寫組件就像搭積木一樣，編寫一堆組件最終拼裝生成頁(yè)面。前端采用路由配置模塊化，實(shí)現(xiàn)模塊統(tǒng)一加載，實(shí)現(xiàn)模塊代碼重用。

人臉識(shí)別模塊通過(guò)3個(gè)階段的深度卷積網(wǎng)絡(luò)級(jí)聯(lián)來(lái)實(shí)現(xiàn)，識(shí)別之前，需要收集大批量質(zhì)量合格的人臉數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練，然后將圖像中的人臉進(jìn)行預(yù)處理，輸入數(shù)據(jù)，最后使用SVM分類訓(xùn)練驗(yàn)證其分類結(jié)果，形成人臉識(shí)別模型[8-9]。當(dāng)服務(wù)器接收到智慧屏終端發(fā)送的識(shí)別請(qǐng)求，人臉識(shí)別模塊開始調(diào)用人臉識(shí)別模型，輸入人臉特征照，返回識(shí)別結(jié)果。

管理端的人員數(shù)據(jù)管理如圖3所示，應(yīng)用授權(quán)管理如圖4所示。

圖3 人員數(shù)據(jù)管理

圖4 應(yīng)用授權(quán)管理

智慧屏終端如圖5所示：

圖5 智慧屏終端采集界面

①用戶把身份證放到讀卡器，自動(dòng)讀取身份證并填充信息；②自動(dòng)讀取校園卡并填充信息；③點(diǎn)擊拍照自動(dòng)進(jìn)行人臉識(shí)別并抓拍；④點(diǎn)擊上傳個(gè)人信息即可將信息上傳云端核驗(yàn)并入庫(kù)。

4 結(jié)束語(yǔ)

基于多重身份校驗(yàn)的人臉特征照采集系統(tǒng)是保證師生真實(shí)身份的有效手段。系統(tǒng)的整體設(shè)計(jì)采用了前后端分離技術(shù)，使用Python語(yǔ)言和C#語(yǔ)言共同開發(fā)，完成了用戶管理、臉庫(kù)管理、人臉入庫(kù)管理等功能。人臉識(shí)別模塊采用了深度卷積網(wǎng)絡(luò)，并使用TensorFlow訓(xùn)練模型實(shí)現(xiàn)了人臉檢測(cè)和人臉比對(duì)。經(jīng)實(shí)踐檢驗(yàn)，系統(tǒng)運(yùn)行穩(wěn)定，效果良好，通過(guò)智慧屏終端可實(shí)現(xiàn)師生全自助式安全采集個(gè)人的人臉特征照，大大降低了人臉錄入工作量。