人臉識別的智能防疫系統(tǒng)設(shè)計

王繼超，張麗娟，尤 田，孫東來，回振橋

(1.河北水利電力學(xué)院自動化與通信工程學(xué)院，河北省滄州市黃河西路49號 061001；2.河北省高校水利自動化與信息化應(yīng)用技術(shù)研發(fā)中心，河北省滄州市黃河西路49號 061001)

隨著疫情在世界范圍內(nèi)的肆虐，利用生物識別手段來實現(xiàn)高效即時的防疫已成為人工智能的新研究方向。面對各個行業(yè)的復(fù)工復(fù)產(chǎn)，對工作人員或?qū)W生的防疫檢測已經(jīng)成為了當(dāng)下的主流，但實地落實時還有很多弊端，例如操作過程復(fù)雜，人員勞動量大，檢查過程不規(guī)范等，這些都會為防疫落實帶來影響，因此設(shè)計智能防疫系統(tǒng)替代人工檢測成為必然，本設(shè)計通過人臉識別對被測者進(jìn)行身份核實與記錄，如果通過核實則進(jìn)行紅外測溫和口罩檢測，若被測者信息不匹配、體溫異?；蛭磁宕骺谡?，本地便會觸發(fā)異常報警，并將相關(guān)信息反饋上云，實現(xiàn)防疫檢測去人工化，達(dá)到更高效防疫實施和更精準(zhǔn)的防疫效果。

本設(shè)計的關(guān)鍵是人臉識別技術(shù)的應(yīng)用，而傳統(tǒng)的人臉識別技術(shù)是基于可見光圖像的人臉識別，但這種方法受到環(huán)境光照的影響較大，如光照強(qiáng)度變化較大的時候，識別效果會急劇下降。近些年隨著深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks,DNN)如區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(region-convolutional neural network，R-CNN)[1]、快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Fast-region convolutional neural network，F(xiàn)ast-RCNN)[2]、更快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Faster-region convolutional neural network，F(xiàn)aster-RCNN)[3]、YOLO(You Only Look Once)[4-6]出現(xiàn)和發(fā)展，基于深度學(xué)習(xí)的圖像處理算法成為主流算法。從傳統(tǒng)的LBP和SIFT特征轉(zhuǎn)變?yōu)樯疃葘W(xué)習(xí)的不同層級卷積特征，研究方向也逐漸由單任務(wù)二分類演變?yōu)槎嗳蝿?wù)學(xué)習(xí)、多粒度層級式學(xué)習(xí)、多標(biāo)簽學(xué)習(xí)等[7]。深度學(xué)習(xí)算法相對于傳統(tǒng)的人臉識別算法有著明顯的優(yōu)勢，通常在人臉識別過程中想要全面的表現(xiàn)出所有的規(guī)則和規(guī)律是極其復(fù)雜的，而神經(jīng)網(wǎng)絡(luò)可以通過學(xué)習(xí)的過程獲得對這些規(guī)則和規(guī)律的隱性表達(dá)，它的適應(yīng)性更強(qiáng)，更容易實現(xiàn)。因此本文使用深度學(xué)習(xí)技術(shù)來實現(xiàn)一個防疫系統(tǒng)的搭建，此系統(tǒng)主要功能如下：

(1)人臉識別算法中加入紅外測溫程序?qū)崿F(xiàn)身份核實的同時完成對體溫的檢測。

(2)檢測被測者是否佩戴口罩，若佩戴口罩則通過，如沒有佩戴則本地報警。

(3)系統(tǒng)可將檢測結(jié)果信息上云，如果體溫異常還會顯示在異常人員出現(xiàn)的就幾個被測者信息，將他們劃分為可能異常人群。以便管理者及時作出處理。

(4)云平臺將收集到的數(shù)據(jù)統(tǒng)一進(jìn)行管理，方便數(shù)據(jù)的監(jiān)控與審查，以便及時與異常人員取得聯(lián)系，降低疫情傳播風(fēng)險。本設(shè)計主要包括人臉識別設(shè)計、口罩檢測設(shè)計、紅外測溫設(shè)計。

1 人臉識別的身份核實應(yīng)用

生物識別技術(shù)領(lǐng)域中，人臉識別是相當(dāng)引人注意的高新技術(shù)之一。人臉識別作為現(xiàn)在常用的身份鑒別手段，被逐漸引入到人們的學(xué)習(xí)、工作和生活當(dāng)中[8]。人臉識別是一個具有發(fā)展?jié)撡|(zhì)的領(lǐng)域，也是一個具有極大挑戰(zhàn)力的領(lǐng)域[9]。本設(shè)計主要是依托人臉識別的基礎(chǔ)上做的一系列符合當(dāng)下疫情場景的拓展。下面是我們對人臉識別流程做的改進(jìn)，以及人臉識別現(xiàn)代方法的實現(xiàn)和選擇。

1.1 人臉識別的流程

人臉識別所需的圖像素材是通過攝像頭獲取的，經(jīng)過圖像預(yù)處理后，即可作為素材進(jìn)行使用。人臉圖像的預(yù)處理的目的是規(guī)范化圖像質(zhì)量，以提高人臉特征提取的準(zhǔn)確度。常見的用于人臉圖像預(yù)處理的操作有調(diào)整明暗、裁剪、濾波、旋轉(zhuǎn)等?？梢允沟貌杉降膱D像能夠更有利于對人臉圖像進(jìn)行特征提取[10]。具體流程主要分為人臉數(shù)據(jù)采集、人臉檢測、人臉特征提取、人臉特征對比。流程圖1如下：

圖1 人臉識別流程圖Fig.1 Face recognition flow chart

總體來說對于一個人臉識別系統(tǒng)，圖像匹配的目的是把通過不同傳感器、不同時間拍攝、不同視覺的人臉圖像統(tǒng)一到一個框架下，便于后續(xù)的特征提取和識別，我們將紅外測溫算法加入到人臉特征匹配之后，以實現(xiàn)匹配結(jié)果與測溫結(jié)果的同時顯示。

1.2 人臉識別設(shè)計

1.2.1 基于多分類的人臉識別方法

多分類器方法主要是運用數(shù)據(jù)庫內(nèi)數(shù)據(jù)的整合拼湊來獲取目標(biāo)圖像數(shù)據(jù)的，首先需要將人臉的不同變化數(shù)據(jù)分別存儲于多個分類器中[11]，每個分類器中儲存一種人臉狀態(tài)。在進(jìn)行數(shù)據(jù)采集時便將數(shù)據(jù)分成不同種類，再根據(jù)數(shù)據(jù)的分類器儲存數(shù)據(jù)的不同從數(shù)據(jù)庫中提取所需的數(shù)據(jù)。特征提取完成后，將提取到的數(shù)據(jù)進(jìn)行拼湊疊加，這種識別的方法因為是將大量的表情進(jìn)行聚類，所以當(dāng)遇到光照或者表情的變化時，表現(xiàn)得相比于其他的方法要好一些，但也存在著采集系統(tǒng)過于龐大和數(shù)據(jù)傳輸過于緩慢的缺點。

1.2.2 基于幾何識別的人臉識別方法

幾何識別方法是利用人臉器官特征輪廓的分布比例進(jìn)行數(shù)據(jù)分析，從而構(gòu)建模型的[12]。主要是將人臉構(gòu)建一個矢量的人臉幾何模型。Crow曾提出人臉橢圓特征檢測[13]，是將人臉 分為三個部分進(jìn)行檢測，根據(jù)曲線進(jìn)行模擬人臉。后又由DR.Gpvindaraju等人進(jìn)行方法改進(jìn)，提高了精確度[14]，該方法的缺點就是當(dāng)人臉的表情不同或體態(tài)不同時都會有較大的影響，導(dǎo)致識別效果不準(zhǔn)確。

1.2.3 基于深度學(xué)習(xí)的人臉識別方法

神經(jīng)網(wǎng)絡(luò)的手段是綜合運用深度卷積、網(wǎng)絡(luò)級聯(lián)、面部區(qū)域識別等技術(shù)，從標(biāo)簽相關(guān)性加權(quán)和多分支網(wǎng)絡(luò)融合兩方面，綜合研究基于機(jī)器視覺的人臉屬性識別技術(shù)[15]該方法是現(xiàn)在人臉識別應(yīng)用的主流技術(shù)，基于深度學(xué)習(xí)的人臉識別識別速度快，適應(yīng)力強(qiáng)應(yīng)用場景復(fù)雜多樣，弊端是神經(jīng)網(wǎng)絡(luò)方法通常需要將人臉作為一個一維向量輸入，因此輸入節(jié)點龐大，其識別重要的一個目標(biāo)就是降維處理[16]。

1.2.4 人臉識別算法

使用開源的Retinaface人臉識別算法實現(xiàn)人臉識別功能，retinaface是一種魯棒的single stage人臉檢測器，這種算法利用額外監(jiān)督(extra-supervised)和自監(jiān)督(self-supervised)結(jié)合的多任務(wù)學(xué)習(xí)(multi-task learning)，能對不同的人臉進(jìn)行像素級的定位。

1.2.5 實驗數(shù)據(jù)集

Retinface訓(xùn)練數(shù)據(jù)集使用WIDER FACE數(shù)據(jù)集，數(shù)據(jù)集包括32203幅圖像，其中有393703個人臉邊界框，數(shù)據(jù)集中的人臉圖片在尺度、姿態(tài)、表情、遮擋和光照上存在明顯差異。通過隨機(jī)抽取61個場景類別，將WIDER FACE數(shù)據(jù)集按照4：1：5的比例劃分為訓(xùn)練集、驗證集、測試集。

2 口罩檢測設(shè)計

2.1 口罩檢測算法

使用yolov4Tiny目標(biāo)檢測算法完成口罩檢測功能，yolov4Tiny的算法是一種在保證準(zhǔn)確性的同時又增加了檢測速度的高效算法，yolov4Tiny使用特征金字塔網(wǎng)絡(luò)提取不同尺度的特征圖，從而獲取更高層次的語義特征，在網(wǎng)絡(luò)結(jié)構(gòu)上yolov4Tiny摒棄了yolov4中使用的空間金字塔池和路徑聚合網(wǎng)絡(luò)，并且最終只生成兩個featuremap用來檢測結(jié)果，使得模型結(jié)構(gòu)輕量化，大大減少了訓(xùn)練的參數(shù)，進(jìn)而在保證準(zhǔn)確性的基礎(chǔ)上提高目標(biāo)檢測速度，如圖2.1所示是yolov4Tiny的網(wǎng)絡(luò)結(jié)構(gòu)。

圖2 yolov4Tiny網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Yolov4Tiny network structure diagram

2.2 實驗數(shù)據(jù)集及模型訓(xùn)練

實驗環(huán)境是NVIDIAGeForce RTX 2070GPU，TensorFlow為2.3.0版本，CUDA版本為10.2，CUDNN版本為7.6.5，模型訓(xùn)練的操作系統(tǒng)為Ubuntu20.10，使用python作為程序設(shè)計語言口罩識別識別數(shù)據(jù)集應(yīng)用的開源的口罩檢測數(shù)據(jù)集一共有圖片2707張，其中包含佩戴口罩和不佩戴口罩兩種數(shù)據(jù) 按照5：3：2的比例分為訓(xùn)練集、驗證集、測試集。在訓(xùn)練階段，應(yīng)用隨機(jī)梯度下降對模型參數(shù)進(jìn)行調(diào)整，設(shè)置初始學(xué)習(xí)率為0.0005，批量尺寸為(batch_rate)為8，設(shè)置迭代次數(shù)為200。

2.3 口罩檢測功能效果

實驗最后大約在第120個epoch收斂，平均損失值為3.02。應(yīng)用時被測者要先進(jìn)行口罩檢測，檢測佩戴口罩后再進(jìn)行后續(xù)的人臉識別和體溫測量，如圖3、4分別是不戴口罩是的效果和戴口罩的效果。人臉識別準(zhǔn)確率不戴口罩和戴口罩分別可以達(dá)到98.57%和98.11%。

圖3 不戴口罩的檢測效果展示圖Fig.3 Rendering without a mask

圖4 戴口罩的檢測效果展示圖Fig.4 Rendering with a mask

3 紅外測溫設(shè)計

3.1 紅外測溫的基本構(gòu)成

紅外線測溫系統(tǒng)主要由顯示輸出電路、光學(xué)系統(tǒng)、光電探測器、信號放大處理放大器等部分組成，測量時對準(zhǔn)被測物體即可實現(xiàn)測溫。上面我們提到人體可以時刻不斷地向外輻射紅外能量，而紅外線測溫儀的光學(xué)系統(tǒng)可以采集這些輻射能量。光學(xué)系統(tǒng)將采集到的能量聚焦送到光電探測器上轉(zhuǎn)變?yōu)橐幌盗械碾娦盘枺@些電信號經(jīng)過信號處理電路內(nèi)設(shè)置的算法處理，再經(jīng)過顯示輸出電路，就可以在測溫的屏幕上顯示出被測者的體溫。如圖5所示為紅外測溫系統(tǒng)結(jié)構(gòu)。

圖5 紅外測溫系統(tǒng)結(jié)構(gòu)Fig.5 Infrared temperature measuring system structure

3.2 紅外測溫模塊的選擇

紅外體溫檢測技術(shù)在這次疫情時期有了大量的應(yīng)用，尤其是紅外測溫儀的應(yīng)用隨處可見。因為大多數(shù)人體疾病產(chǎn)生都伴隨著人體體溫變化。人體體溫的檢測離不開體溫計，隨著科學(xué)技術(shù)的不斷發(fā)展，越來越多的領(lǐng)域需要用到非接觸式的體溫計[17]。本設(shè)計的紅外測溫模塊采用MLX90614紅外非接觸溫度傳感器[18]作為體溫測量的主要載體，TO-39金屬封裝里，同時集成了紅外感應(yīng)熱電堆探測器芯片和信號處理專用集成芯片。由于集成了低噪聲放大器、17位模數(shù)轉(zhuǎn)換器和強(qiáng)大的數(shù)字信號處理單元，使得高精度和高分辨度的溫度計得以實現(xiàn)。MLX90614采用I2C協(xié)議與主控板進(jìn)行通信，I2C總線有簡單性和有效性的特點，傳輸數(shù)據(jù)更快，能更及時將測溫結(jié)果反饋。

4 云平臺的數(shù)據(jù)分析與展示

本設(shè)計使用NLECloud新大陸物聯(lián)網(wǎng)云平臺，該云平臺開發(fā)便捷，支持所有終端的案例開發(fā)，支持所有開發(fā)語言，數(shù)據(jù)儲存安全方便，儲存采用分布式服務(wù)器、分布式數(shù)據(jù)庫，這種結(jié)構(gòu)可將請求壓力平分，能定期數(shù)據(jù)備份和永久歷史保存。

4.1 與云平臺的通信方式選擇

本設(shè)計使用TCP協(xié)議來實現(xiàn)本地數(shù)據(jù)的上云，TCP是因特網(wǎng)中的傳輸層協(xié)議，使用三次握手協(xié)議建立連接。當(dāng)主動方發(fā)出SYN連接請求后，等待對方回答SYN+ACK，并最終對對方的 SYN 執(zhí)行 ACK 確認(rèn)。這種建立連接的方法可以防止產(chǎn)生錯誤的連接，TCP使用的流量控制協(xié)議是可變大小的滑動窗口協(xié)議[19]。TCP協(xié)議的最大優(yōu)點就是安全可靠，所以可以最安全的與系統(tǒng)進(jìn)行數(shù)據(jù)的交互，每次運行都會將一組數(shù)據(jù)上傳到云平臺，上傳數(shù)據(jù)包括被測者的身份信息(即被測者的姓名、聯(lián)系方式)、位置信息(現(xiàn)工作或生活位置)和體溫信息，其中身份信息提前與人臉識別的特征一起提前入庫，云平臺對被測者數(shù)據(jù)信息的展示如圖6所示。

圖6 云平臺的數(shù)據(jù)展示Fig.6 Data presentation on cloud platform

為方便本設(shè)計的數(shù)據(jù)查詢，可在云平臺進(jìn)行數(shù)據(jù)的可視化展示。展示數(shù)據(jù)分別是體溫數(shù)、姓名、所在位置以及異常報警。云平臺的可視化界面如圖7所示。

圖7 云平臺的數(shù)據(jù)可視化界面Fig.7 Data visualization interface of cloud platform

4.2 云平臺的綜合管理介紹

該云平臺向內(nèi)可以對數(shù)據(jù)進(jìn)行統(tǒng)一的監(jiān)測、控制和管理，向外可以提供統(tǒng)一的安全認(rèn)證和數(shù)據(jù)接口[20]，兼容性好，是一個規(guī)模較大的綜合管理平臺，真正實現(xiàn)了各個設(shè)備的數(shù)據(jù)信息統(tǒng)一收集、統(tǒng)一規(guī)劃和統(tǒng)一管理。此外聯(lián)網(wǎng)與各個設(shè)備之間以TCP的方式進(jìn)行數(shù)據(jù)和控制信息的交互。云平臺還對各個設(shè)備進(jìn)行位置標(biāo)注以實現(xiàn)多點物聯(lián)的功能，達(dá)到出現(xiàn)異?？梢择R上發(fā)現(xiàn)并加以管控的效果，實現(xiàn)了對各個設(shè)備的統(tǒng)一管理和監(jiān)測。

5 防疫系統(tǒng)設(shè)計總結(jié)

本文提出了一種疫情期間智能防疫、防疫去人工化的系統(tǒng)設(shè)計，首先此設(shè)計是通過人臉識別對人員進(jìn)行身份驗證，通過后進(jìn)行口罩檢測和紅外測溫對被測者情況做出響應(yīng)，以上所有數(shù)據(jù)都將實施反饋上云，最后得出的結(jié)論如下：

在人臉識別算法中添加紅外測溫功能與口罩檢測功能，符合當(dāng)前的防疫需要，實際應(yīng)用場景廣泛。云平臺的數(shù)據(jù)儲存與防疫報警，可有效降低疫情傳播風(fēng)險，加強(qiáng)防疫保障。