基于嵌入式人臉識別的智能考勤系統(tǒng)的設計

姜智軒,侯涵宇

(南京大學金陵學院,南京 210089)

基于MCU微系統(tǒng)、實時操作系統(tǒng)技術,設計了基于人臉識別的智能考勤系統(tǒng),其結構簡單,邏輯嚴密,可將獲取的信息由低功耗網(wǎng)絡傳輸模塊上傳到云端,實現(xiàn)個性化數(shù)據(jù)分析功能,配套的移動端app可用于運營管理,節(jié)約時間,提高管理效率。

1 系統(tǒng)結構設計

1.1 硬件結構

硬件設計是一個系統(tǒng)的基礎,需從以下幾方面進行分析:①市場需求。通過用戶的真實需求,分析系統(tǒng)需要實現(xiàn)的功能,進行系統(tǒng)各模塊的功能分配與設計。②確定整體方案。通過市場調研確定好元器件并進行測試,完善各模塊的配合工作。③繪制原理圖。根據(jù)方案設計電路圖,參照電路圖繪制PCB。④電路板工作。依據(jù)所電路圖進行各模塊器件的焊接與測試,將調試程序下載到開發(fā)板上進行進一步的測試。

1.2 硬件電路的設計

采用模塊化設計方式,先確定總體方案,再逐個模塊進行層次設計。采用意法半導體公司ARM?32位Cortex?-M3 CPU——STM32系列微處理器STM32107VCT6作為核心控制模塊。主要包括OV2640為核心的人臉圖像采集模塊、開源RT-thread實時操作系統(tǒng)內核、外部存儲器擴展模塊、網(wǎng)絡通信模塊及LCD顯示模塊+CubeMX+TouchGFX GUI開發(fā),具有高性能、低功耗、高集成度等特點。STM32107VCT6集成了高性能ARM?Cortex?-M3 32位RISC內核,工作頻率為72 MHz,具有高速嵌入式存儲器(閃存高達256 KB和SRAM 64 KB)及連接到兩條APB總線的大量增強型I/O與外圍設備,可外接數(shù)字攝像頭,支持多分辨率顯示屏。采用數(shù)片容量為64M的IS42S16400J-7TLI芯片作為SDRAM的存儲擴展,采用Samsung公司的K9F1G08U0A的NandFlash作為Flash的存儲擴展。圖像獲取采用ATK-OV2640模塊,ATK-OV2640CMOS內置圖像傳感器高清攝像頭模塊,具有200 W像素,支持圖像壓縮,可輸出JPEG圖像數(shù)據(jù),內部集成 LDO與有源晶振,僅需3.3 V電源即可工作支持大多數(shù)嵌入式系統(tǒng)的應用,自帶嵌入式微處理器,支持AEC、AGC、AWB、自動消除燈光條紋、ABLC等自動控制功能,支持色飽和度、色相、伽馬、銳度與圖像縮放、平移及窗口設置。

圖1 硬件電路的設計Fig.1 Design of hardware circuit

1.3 軟件結構

通過嵌入式系統(tǒng)對人臉數(shù)據(jù)進行采集,利用無線網(wǎng)絡模塊上傳到云端數(shù)據(jù)庫,由云端人臉提取與識別算法分析并做出判斷,給數(shù)據(jù)庫及嵌入式數(shù)據(jù)采集端返回相應的分析結果。

一個處理器在某一時刻只能運行一個任務,但由于每次對一個任務的執(zhí)行時間很短,任務之間通過任務調度器進行快速切換(調度器根據(jù)優(yōu)先級決定此刻該執(zhí)行的任務),會給人造成多個任務在一個時刻同時運行的錯覺。RT_Thread是支持多種微處理器的開源免費RTOS,支持多任務。在RT_Thread系統(tǒng)中,任務通過線程來實現(xiàn),RT_Thread中的線程調度器即任務調度器。該RT操作系統(tǒng)采用C語言編寫,應用面向對象的思維設計范式,代碼簡明,架構清晰,體積小,成本低,功耗低,啟動快速,實時性高,資源量占用小。

1.4 軟件設計

1.4.1 嵌入式系統(tǒng)的搭建

從RT_Thread官方下載RT_Thread源碼包、Env開發(fā)工具,從ST意法半導體官方處下載CubeMX開發(fā)工具、TouchGFX GUI開發(fā)組件,進行交叉編譯開發(fā)環(huán)境的搭建及開發(fā)環(huán)境的配置。通過Env工具對源碼功能進行配置或裁減,編譯BSP文件,生成帶有RT_Thread實時內核的MDK工程,配合 MDK編譯。由PC機通過MDK平臺將配置好的內核系統(tǒng)寫入嵌入式系統(tǒng)板中。通過串口與ST_Link下載器聯(lián)合調用實現(xiàn)實時調試。

1.4.2 人臉識別系統(tǒng)的設計

人臉檢測?；赗eceptive Fields (RFs) ,提出了RF Block (RFB) ,該模塊考慮了RFs的大小和離心率(Eccentricity)之間的關系,提高了特征的可辨識性和魯棒性。然后基于RFB,對以VGG16為基礎架構的ssd進行了改進,形成最終的RFBNet。引入RFB的緣由其實在于模擬人類視覺感受野,以此進而加強網(wǎng)絡特征提取能力,在結構上RFB借鑒了Inception的思想,在前者的基礎上加入dilated convolution,從而有效增大了receptive field。在整體層面上對SSD網(wǎng)絡改進,所以結果的檢測速度較快,也有一定的精度保證。進一步將RFB組裝到SSD的頂部,構建RFB Net檢測器。RFBNet網(wǎng)絡能夠在保持實時速度的同時達到高性能檢測的能力。從兩部分看:

用差異化尺度卷積核尺度的卷積核來模擬多尺度 RFs空洞卷積操作的方式模擬人類receptive field中 RFs 的尺度與Eccentricity間的關系。

人臉編碼及匹配。ArcFace也稱為加角邊際損失,是一種用于人臉識別的損失函數(shù)。softmax損失函數(shù)被用于這些任務中,但softmax沒有對特征嵌入進行明確的優(yōu)化,無法對執(zhí)行類內樣本的高相似性及類間樣本的多樣性起到預期作用,這導致在類內外觀變化較大的情況下,深度人臉識別結果存在差距。ArcFace損失轉換了對數(shù),是權重與特征之間的角度。單個權重、嵌入特征通過歸一化固定,而后重新縮放,特征與權重的歸一化步驟令預測只取決于特征與權重之間的角度。學習得到嵌入特征,在特征與權重中加入一個加法角度余量懲罰。矯正后的人臉由 ArcFaceNet來編碼,輸出嵌入特征。調用該結果計算余弦距離,根據(jù)所設定的閾值來確定不同的人,余弦距離公式如下:

同一個人人臉的不同位置,余弦距離小,但不同人臉之間的余弦距離很大,可由數(shù)據(jù)庫內人臉與待匹配人臉余弦距離差來判斷。

采用RFBnet網(wǎng)絡檢測并提取人臉,用Arcface網(wǎng)絡獲取待檢測人臉的嵌入特征并計算余弦距離,與數(shù)據(jù)庫內人臉余弦距離的差比較判斷,準確率高,解決以往常有的漏檢問題。采用“云”保存考勤信息,通過智能手機等設備查詢實時數(shù)據(jù)及歷史記錄,具有有較大的推廣價值。系統(tǒng)使用流程如下:上電或復位,自檢設備正常運行,初始化基本配置設置,進行考勤,按下考勤鍵后發(fā)出視頻采集控制信號,啟動圖像采集功能。采集后以文件格式存儲到SDRAM中,完成存儲后,經(jīng)過算法處理,界面顯示該員工的相關信息。保存員工考勤記錄,記錄到服務器數(shù)據(jù)庫中。系統(tǒng)流程如圖2所示。

圖2 系統(tǒng)流程Fig.2 System flow

2 數(shù)據(jù)庫設計

采用數(shù)據(jù)庫設計可以在云端服務器與本地分別存儲打卡記錄及人臉圖像信息,實時更新人臉圖像信息及個人資料。MySQL數(shù)據(jù)庫是基于關系型數(shù)據(jù)庫搭建而成的管理系統(tǒng),具有較高的靈活性及運行速度,是訪問數(shù)據(jù)庫最常用的標準化語言,體積小,成本低,開放源碼,適用于本系統(tǒng)的數(shù)據(jù)庫搭建。采用Java對MySQL數(shù)據(jù)庫進行操作。連接數(shù)據(jù)庫,加載驅動程序以調用Class.forName()函數(shù),再調用DriverManager對象的getConnection()函數(shù),得到Connection對象。創(chuàng)建一個Statement對象、PreparedStatement語句(預編譯的語句)或CallableStatement對象(存儲過程調用的語句)及一個SQL語句。調用excuteQuery()等函數(shù)執(zhí)行SQL語句,在ResultSet對象中保存結果,調用executeUpdate()等函數(shù)執(zhí)行SQL語句,不返回ResultSet對象的結果。對返回的ResultSet對象進行顯示等處理,釋放資源。

3 結束語

設計了一套基于嵌入式人臉識別的智能考勤系統(tǒng),通過系統(tǒng)硬件結構、系統(tǒng)軟件結構、數(shù)據(jù)庫及APP的設計,將嵌入式系統(tǒng)與人臉識別技術有效結合,在安卓智能手機環(huán)境下用攝像頭進行人臉圖像信息采集,再將數(shù)據(jù)傳輸?shù)皆贫朔掌鬟M行識別,實時反饋結果,實現(xiàn)了考勤簽到打卡功能。本系統(tǒng)方便簡潔,可用于多種生活場景(如高校、企事業(yè)單位等),具有良好的實際應用價值。