基于人臉識(shí)別的礦井人員考勤管理系統(tǒng)

肖蕊 王繼鵬

摘? 要：煤礦職工管理工作對煤礦企業(yè)發(fā)展產(chǎn)生了重大影響。因此對煤礦的礦井人員考勤進(jìn)行了調(diào)查，發(fā)現(xiàn)煤礦現(xiàn)在的礦井人員考勤打卡方式會(huì)出現(xiàn)替打卡、漏打卡現(xiàn)象。針對煤礦工人的貼牌、頂替現(xiàn)象，提出并設(shè)計(jì)了以人臉識(shí)別為基礎(chǔ)的礦井人員出勤管理系統(tǒng)。系統(tǒng)將人臉識(shí)別和射頻卡識(shí)別相結(jié)合，帶有射頻卡員工信息與人臉檢測識(shí)別的員工身份信息一致算作考勤成功。上述考勤系統(tǒng)可以有效杜絕員工虛假考勤，提高企業(yè)管理效率，利于企業(yè)長遠(yuǎn)發(fā)展。

關(guān)鍵詞：考勤管理系統(tǒng)；人臉識(shí)別；卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TP391.4? ? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2023）07-0035-04

Abstract： The coal mine management work has had a significant impact on the development of coal mine enterprises. Therefore， this paper investigates the attendance of mine personnel in the coal mine， and finds that the current punch the clock mode of mine personnel's attendance in the coal mine can cause the phenomenon of replacing or missing punch the clock. A mine personnel attendance management system based on face recognition is proposed and designed， aiming at the phenomenon of coal mine workers' labeling and replacement. The system combines face recognition and radio frequency card recognition， and the consistency of employee information with radio frequency card and employee identity information identified by face detection is considered as attendance success. The above attendance system can effectively eliminate false attendance of employees， improve enterprise management efficiency， and facilitate the long-term development of the enterprise.

Keywords： attendance management system; face recognition; Convolutional Neural Networks

0? 引? 言

現(xiàn)如今，由于經(jīng)濟(jì)與技術(shù)的不斷提高，礦井的逐步改造提升，現(xiàn)有的礦井人員管理系統(tǒng)對于現(xiàn)在煤礦對于下井作業(yè)人員管理上出現(xiàn)的曠工、代工現(xiàn)象難以避免，因此，基于人臉識(shí)別的礦井考勤系統(tǒng)應(yīng)運(yùn)而生，在原有傳統(tǒng)考勤基礎(chǔ)上，運(yùn)用人臉識(shí)別技術(shù)來核查員工身份，提高考勤效率，對煤礦企業(yè)發(fā)展和效益有利的是加強(qiáng)企業(yè)管理能力。

目前大部分礦井的人員入井考勤制度，都是通過在井口進(jìn)出時(shí)打卡的方式對人員進(jìn)行出勤管理，會(huì)出現(xiàn)漏打卡、錯(cuò)打卡等現(xiàn)象，對于員工的不正規(guī)代班，替班等現(xiàn)象無法做到相應(yīng)管控，使得企業(yè)對員工管控造成很大的漏洞，對發(fā)展和管理煤礦企業(yè)帶來較大的不利影響[1]。因此，本系統(tǒng)采用人臉識(shí)別技術(shù)和射頻技術(shù)相結(jié)合的方式，員工下井工作時(shí)佩戴自己的射頻卡并站在考勤識(shí)別機(jī)前人臉識(shí)別成功，方可成功考勤。

1? 系統(tǒng)整體設(shè)計(jì)

根據(jù)煤礦出勤現(xiàn)狀，結(jié)合煤礦特殊場景，以人臉識(shí)別為依據(jù)，設(shè)計(jì)出井下作業(yè)人員出勤管理。如圖1所示礦井人員考勤管理系統(tǒng)主要包括八個(gè)模塊，即人員管理、考勤管理、工種管理、職務(wù)管理、部門管理、用戶管理、班次管理和系統(tǒng)管理。人員管理錄入了包括姓名、工號(hào)、年齡、科室等基礎(chǔ)信息在內(nèi)的煤礦企業(yè)下井人員明細(xì)；考勤管理可以查看員工考勤的具體數(shù)據(jù)包括考勤時(shí)間、考勤類型、姓名以及考勤時(shí)的圖像信息等；工種管理是提供了對整個(gè)礦井工種的管理，包括工種的添加、每個(gè)工種相應(yīng)的屬性等；職務(wù)管理是提供了對整個(gè)礦井一系列職務(wù)的管理，包括添加職務(wù)以及每個(gè)職位相應(yīng)的工作、屬性等信息；部門管理提供了對整個(gè)礦井部門的管理，包括部門的添加、每個(gè)部門相應(yīng)的屬性等信息；用戶管理包含添加系統(tǒng)用戶，并為其設(shè)置相應(yīng)的權(quán)限；班次管理提供了對整個(gè)礦井班次的管理，包括對班次時(shí)間、名稱的修改；系統(tǒng)管理可以看到當(dāng)天實(shí)時(shí)下井人數(shù)、最近考勤的三位基本信息，以及對客戶端的管理操作，系統(tǒng)功能架構(gòu)如圖1所示。

本系統(tǒng)是通過在礦井口安裝檢測裝置，在客戶端上錄入員工的基本信息，讓員工帶著他們對應(yīng)的標(biāo)識(shí)卡通過檢測裝置進(jìn)行人臉數(shù)據(jù)收集，收集完成后會(huì)將采集到信息上傳至服務(wù)器上處理，之后員工考勤，只需通過員工佩戴的標(biāo)識(shí)卡和裝置采集到人臉數(shù)據(jù)進(jìn)行比對，即可得出考勤信息，之后服務(wù)器再將信息傳到客戶端，本系統(tǒng)的系統(tǒng)架構(gòu)如圖2所示。

2? 人臉識(shí)別模塊分析

本系統(tǒng)人臉識(shí)別場景是礦井，主要依托于智能檢測裝置中進(jìn)行工作。本模塊：首先攝像機(jī)獲取的影像資料，對檢測到的人臉中的特征進(jìn)行提取，對提取到的人臉特征資料進(jìn)行存儲(chǔ)。在進(jìn)行人員考勤時(shí)根據(jù)之前存儲(chǔ)的人臉特征與考勤人員的人臉進(jìn)行比對，計(jì)算兩者之間的擬合度并輸出識(shí)別結(jié)果到數(shù)據(jù)庫，作為考勤數(shù)據(jù)。如圖3所示。

2.1? 人臉檢測

人臉檢測是從各種復(fù)雜的影像資料中對人臉進(jìn)行檢測的過程，所以人臉特征點(diǎn)的確定是目前人臉檢測的一個(gè)技術(shù)難點(diǎn)，因?yàn)楸仨毾葟娜嗣娌看_定各個(gè)特征點(diǎn)的具體部位，比如：眼睛、眉毛、鼻子、嘴、上下頜輪廓等[2]。在本系統(tǒng)中我們使用MTCNN，一種基于卷積神經(jīng)網(wǎng)絡(luò)的多任務(wù)訓(xùn)練檢測人臉模型，采用三個(gè)級(jí)的網(wǎng)絡(luò)串行使用，并做到人臉的檢測和關(guān)鍵點(diǎn)的對齊兩個(gè)訓(xùn)練任務(wù)，使用候選框加分類器的方法，以提高人臉檢測效率。

MTCNN由Proposal Network（P網(wǎng)絡(luò)），Refine Network（R網(wǎng)絡(luò)）和Output Network（O網(wǎng)絡(luò)）三個(gè)級(jí)聯(lián)網(wǎng)絡(luò)而成的網(wǎng)絡(luò)結(jié)構(gòu)。圖片在輸入到MTCNN模型后進(jìn)行不同尺度的變換，提取圖中不同尺度大小的圖像。然后將提取出的不同尺度圖像輸入三個(gè)級(jí)聯(lián)的CNN網(wǎng)絡(luò)中進(jìn)行檢測。首先通過P-Net網(wǎng)絡(luò)快速檢測出一些粗略的建議框，然后通過非極大值抑制處理選出置信度較高的框。其次經(jīng)過R-Net精細(xì)化建議框，P-Net和R-Ne的區(qū)別在于增加了一個(gè)全連接層，進(jìn)而可以更大程度上的減少錯(cuò)誤信息。R-Net網(wǎng)絡(luò)通過對建議框以非極大抑制的方式篩選，在刪除重復(fù)的框和非人臉框之后，將輸出結(jié)果輸入到O-Net網(wǎng)絡(luò)中。O-Net網(wǎng)絡(luò)較R-Net網(wǎng)絡(luò)多一層卷積層，提升輸出精度，達(dá)到準(zhǔn)確提取人臉框并選取關(guān)鍵點(diǎn)的效果。判決這個(gè)圖像中人臉是否存在可以通過 MTCNN這樣的網(wǎng)絡(luò)，并且這個(gè)網(wǎng)絡(luò)可以判斷人臉?biāo)诘奈恢靡约澳樕系奈鍌€(gè)關(guān)鍵點(diǎn)。其具體流程如圖4所示。

2.2? 人臉識(shí)別

人臉識(shí)別技術(shù)，是指在傳統(tǒng)的人臉檢測基礎(chǔ)上進(jìn)行的人臉識(shí)別比對，目前主要有兩大類的圖像識(shí)別技術(shù)。一類是通過采用幾何、紋理特點(diǎn)的方式中，幾何特點(diǎn)主要是直觀的表現(xiàn)出人的特點(diǎn)[3]。只是用幾何特征作為識(shí)別方法，相似人臉就會(huì)大概率被認(rèn)作為同一人，因?yàn)楹雎粤巳四樕系木植考?xì)節(jié)，所以識(shí)別率很低。然而紋理特征可以彌補(bǔ)幾何特征帶來的相似人臉識(shí)別率低，局部紋理提取可以區(qū)分局部細(xì)微特征和不同方向的邊緣特征，它可以區(qū)分具有局部差異的人臉。對應(yīng)的算法為LBPH等。

另外一種就是基于子空間學(xué)習(xí)的方法原理就是人臉數(shù)據(jù)維數(shù)很大，處理起來難度很大，所以我們可以通過降維的方式進(jìn)行處理。上面提到的方式會(huì)忽略很多人臉數(shù)據(jù)，識(shí)別率也不夠理想，因此我們要找到既可以盡最大可能保存人臉特征還可以降維的方式。子空間學(xué)習(xí)法是一種通過投影映射來降維的好方法，此方法可以在最大程度保存特征的基礎(chǔ)上對數(shù)據(jù)進(jìn)行降維，但具體的子空間學(xué)習(xí)法需要針對不同的數(shù)據(jù)進(jìn)行應(yīng)用。

2.2.1? 基于LBPH特征的人臉識(shí)別算法

局部二進(jìn)制編碼直方圖（Local Binary Patterns Histograms， LBPH），比較一個(gè)像素點(diǎn)與周圍像素點(diǎn)的灰度值，最后對其進(jìn)行二進(jìn)制編碼，在對圖像所有區(qū)域二進(jìn)制編碼后組成整個(gè)圖像的LBP編碼圖像，然后將LBP編碼圖像劃分為多個(gè)區(qū)域，獲取每個(gè)區(qū)域的LBP直方圖[4]，再將小區(qū)域的直方圖拼接一塊獲得整體圖像的直方圖，最后通過比較LBP編碼直方圖，計(jì)算LBPH相似度進(jìn)行判斷。

2.2.2? 基于PCA和LDA的Fisher face人臉識(shí)別算法

LBPH算法存在一定的缺陷，忽略數(shù)據(jù)庫中不同人臉數(shù)據(jù)的差異，識(shí)別率低下，還會(huì)造成長相相似的人臉識(shí)別錯(cuò)誤。Fisher face方法是在線性判別分析（LDA）的基礎(chǔ)上發(fā)展起來的算法。這種方法將原始影像投射映射到保護(hù)原始影像資料結(jié)構(gòu)不被破壞的低維特征空間中；之后再采用線性判別方法提取降維后的圖像特征，可以有效消除冗余信息和噪聲的干擾[5]。

2.3? 基于個(gè)性化特征的AAM人臉對比

該系統(tǒng)使用場景為煤礦，環(huán)境場景復(fù)雜，礦井人員面部會(huì)存在煤灰等雜質(zhì)，使得人臉識(shí)別特征不清晰，所以本系統(tǒng)增加了AMM模型，進(jìn)一步對人臉輪廓特征檢測比對。AMM模型在ASM模型的基礎(chǔ)上增加了紋理統(tǒng)計(jì)建模，將紋理與形狀結(jié)合在一起，形成了一個(gè)表觀模型。本文采用的AAM算法會(huì)先根據(jù)人臉特征生成一個(gè)人臉模版，之后人臉識(shí)別的圖像會(huì)與該模版計(jì)算相似度，判斷是否為同一人。系統(tǒng)使用的局部二進(jìn)制編碼直方圖算法主要是通過人臉的紋理特征做區(qū)分，在煤礦中由于環(huán)境問題，礦井人員面部的煤灰物質(zhì)會(huì)使紋理特征無法作為唯一的人臉識(shí)別特征，這就需要我們引入另一種特征用作判斷。本系統(tǒng)將AAM算法引入，通過加入他的形狀特征，來進(jìn)一步精確識(shí)別。

2.4? 人臉識(shí)別模塊設(shè)計(jì)

根據(jù)煤礦實(shí)際情況分析，每次下井人數(shù)會(huì)在幾十人至幾百人之間不等，并對進(jìn)出礦井人員進(jìn)行定位，礦井實(shí)際情景下一般會(huì)將射頻識(shí)別卡嵌入到礦井工人頭盔中我們檢測設(shè)備會(huì)對每位礦工的唯一標(biāo)識(shí)卡進(jìn)行識(shí)別，通過標(biāo)識(shí)卡所對應(yīng)的數(shù)據(jù)庫中工人的人臉數(shù)據(jù)對比，進(jìn)行人臉識(shí)別。LBPH人臉識(shí)別算法對與人臉數(shù)據(jù)出現(xiàn)大小、形狀不同時(shí)，無需對整個(gè)人臉數(shù)據(jù)庫進(jìn)行訓(xùn)練，就可以識(shí)別且識(shí)別速度較快；但該方法無法對與人臉數(shù)據(jù)庫中面部有差異的人臉精確識(shí)別。而基于PCA和LDA的Fisher face算法可以彌補(bǔ)這個(gè)缺點(diǎn)，但Fisher face 算法想要達(dá)到很好的識(shí)別率需要較多的數(shù)據(jù)，于是我們?nèi)￠L補(bǔ)短，通過算法提取人臉幾何特征進(jìn)行識(shí)別認(rèn)證，設(shè)計(jì)出了如圖5識(shí)別流程，先用LBPH算法進(jìn)行人臉識(shí)別，通過算法提取人臉的幾何特征進(jìn)行識(shí)別認(rèn)證。如果認(rèn)證不通過，系統(tǒng)將用識(shí)別效果較好的 Fisher face 算法去進(jìn)行識(shí)別。

3? 數(shù)據(jù)庫設(shè)計(jì)

本系統(tǒng)數(shù)據(jù)庫使用的是MySQL數(shù)據(jù)庫，根據(jù)普通的考勤需求我們設(shè)計(jì)了基礎(chǔ)員工信息表和考勤情況統(tǒng)計(jì)表、考勤信息表、考勤圖像表，因?yàn)槊旱V需要下井的部門、工種、職務(wù)都不相同，設(shè)計(jì)了部門表、職務(wù)表、工種表等。

4? 系統(tǒng)實(shí)現(xiàn)

本系統(tǒng)通過在礦井口安裝檢測裝置獲取人臉數(shù)據(jù)和標(biāo)識(shí)卡數(shù)據(jù)，之后將數(shù)據(jù)傳到服務(wù)器上做處理，并在系統(tǒng)上將員工數(shù)據(jù)和之前收集到的人臉數(shù)據(jù)錄入到數(shù)據(jù)庫中，在系統(tǒng)中就可以按照人員姓名、工號(hào)、權(quán)限、卡號(hào)、性別、部門、工種、職務(wù)等進(jìn)行查詢，人員信息界面如圖6所示。

考勤管理查詢可以根據(jù)人員卡號(hào)、起始、終止時(shí)間、考勤類型、卡狀態(tài)、客戶端編號(hào)等查詢?nèi)藛T考勤記錄，如圖7所示。

5? 結(jié)? 論

依據(jù)煤礦實(shí)際需求和現(xiàn)狀，我們提出了基于人臉識(shí)別的礦井人員考勤管理系統(tǒng)，該系統(tǒng)是在原有考勤管理系統(tǒng)的基礎(chǔ)上增加了人臉識(shí)別功能，有效解決了礦井人員帶班現(xiàn)象。由于礦井場景特殊，考勤人員臉上時(shí)常會(huì)有煤灰等遮擋，傳統(tǒng)人臉識(shí)別效率差，基于此我們設(shè)計(jì)了通過LBPH和Fisher face相結(jié)合的識(shí)別流程，再加上AAM算法，通過提取人臉輪廓特征，搭建人臉模版并對比，提升人臉識(shí)別精準(zhǔn)度。該系統(tǒng)在煤礦使用，使得煤礦企業(yè)更好地對礦井工作人員管理，增大企業(yè)工作效率。

參考文獻(xiàn)：

[1] 劉寶玉，亢健銘，范樹凱，等.基于FaceNet的煤礦人員考勤識(shí)別 [J].煤炭技術(shù)，2022，41（9）：189-191.

[2] 李欣，黃镕，陳哲輝，等.一種改進(jìn)的MTCNN和FaceNet人臉檢測及識(shí)別算法研究[J].廣東石油化工學(xué)院學(xué)報(bào)，2021，31（1）：45-47+53.

[3] 翟奕隆.基于深度神經(jīng)網(wǎng)絡(luò)的視頻人臉識(shí)別研究 [D].北京：北京工業(yè)大學(xué)，2019.

[4] 花德培，孫彥贊，吳雅婷，等.基于TK1的駕考人臉識(shí)別系統(tǒng) [J].工業(yè)控制計(jì)算機(jī)，2019，32（9）：34-35+37.

[5] 張克軍，韓娜，陳欣然，等.基于腦電圖的新型情緒識(shí)別特征提取方法 [J].華南師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2019，51（5）：6-11.

作者簡介：肖蕊（1998—），女，漢族，山西運(yùn)城人，碩士研究生在讀，研究方向：圖像識(shí)別。