基于Mobilenetv3的煤礦人臉識(shí)別方法

謝子殿， 亢健銘

(黑龍江科技大學(xué) 電氣與控制工程學(xué)院， 哈爾濱 150022)

0 引 言

近年來(lái)，隨著人工智能的廣泛發(fā)展，各行各業(yè)都逐步應(yīng)用人工智能這一技術(shù)來(lái)解決當(dāng)前行業(yè)所面臨的一些困境與難題。煤炭行業(yè)作為我國(guó)的工業(yè)生產(chǎn)支柱產(chǎn)業(yè)，一直以來(lái)備受關(guān)注，隨著智慧礦山的提出與推廣，在煤炭生產(chǎn)中逐步應(yīng)用智能自動(dòng)化設(shè)備及智能安全保障措施。煤礦工人在出入井工作之前需要進(jìn)行識(shí)別認(rèn)證，過(guò)去常用的方法是使用煤礦工人識(shí)別卡，但會(huì)出現(xiàn)一人攜帶多卡的現(xiàn)象，當(dāng)煤礦發(fā)生危險(xiǎn)的時(shí)候，會(huì)給安全施救帶來(lái)極大隱患。之后便使用生物特征識(shí)別技術(shù)，即人臉識(shí)別。由于人臉特征不同，有效防范了一人多卡帶來(lái)的安全隱患。

在井下的一些危險(xiǎn)區(qū)域中，煤礦人員不應(yīng)靠近或者只允許一些特定人員進(jìn)入該區(qū)域進(jìn)行作業(yè)，需要設(shè)計(jì)一個(gè)安全監(jiān)控裝置對(duì)該區(qū)域進(jìn)行監(jiān)控。傳統(tǒng)的指紋、掌紋和聲紋等由于煤礦井下復(fù)雜環(huán)境，無(wú)法很好地應(yīng)用于煤礦井下，使用人臉識(shí)別技術(shù)成為首選。高鑫[1]在ResNet網(wǎng)絡(luò)特征提取過(guò)程中添加CBAM注意力機(jī)制，利用特征圖的空間關(guān)系，加強(qiáng)面部重點(diǎn)區(qū)域的紋理特征信息權(quán)重，獲得更多面部特征。郭秀才等[2]利用2D-Gabor小波提取歸一化的輸入圖像特征，運(yùn)用信息熵將子塊乘上加權(quán)系數(shù)得到人臉特征。黃玉[3]使用基于Shealet變換的煤礦井下圖像差異性特征提取方法，對(duì)特征子圖賦予不同權(quán)值及編碼融合，有效減低維數(shù)。筆者采用Retinaface人臉檢測(cè)算法先對(duì)進(jìn)入目標(biāo)區(qū)域的人員進(jìn)行人臉檢測(cè)，截取下來(lái)的面部圖片再傳入Mobilenetv3主干特征提取網(wǎng)絡(luò)特征，將傳入Facenet人臉識(shí)別算法當(dāng)中計(jì)算歐式空間距離，設(shè)定判別閾值進(jìn)行身份識(shí)別。

1 人臉檢測(cè)

Retinaface人臉檢測(cè)算法是一種單階段的算法，將圖像的檢測(cè)、特征提取、目標(biāo)框的回歸和物體分類在一個(gè)網(wǎng)絡(luò)中實(shí)現(xiàn)快速準(zhǔn)確地檢測(cè)。該檢測(cè)算法在特征提取部分采用深度可分離的卷積網(wǎng)絡(luò)，深度可分離卷積是一種分解卷積的過(guò)程，其可以分解為深度卷積和點(diǎn)卷積。深度卷積和標(biāo)準(zhǔn)卷積不同，深度卷積針對(duì)圖像的每個(gè)輸入通道采用不同的卷積核，即一個(gè)卷積核對(duì)應(yīng)一個(gè)輸入通道；而點(diǎn)卷積就是普通的卷積，只不過(guò)其采用1×1的卷積核，未改變?cè)刑卣鞯某叽鏪4]。這種先對(duì)不同輸入通道分別進(jìn)行卷積，然后對(duì)輸出再結(jié)合的操作得到的整體效果和一個(gè)標(biāo)準(zhǔn)卷積是差不多的，但是會(huì)大大減少計(jì)算量和模型參數(shù)量。

采用FPN特征金字塔網(wǎng)絡(luò)對(duì)深度可分離卷積提取到的特征做進(jìn)一步特征加強(qiáng)處理，Lin[5]等提出使用FPN來(lái)處理多尺度目標(biāo)檢測(cè)問(wèn)題。使用多級(jí)特征的特征圖構(gòu)成特征金字塔，對(duì)在卷積網(wǎng)絡(luò)得到的C3～C5層特征圖進(jìn)行FPN操作得到P3～P5，進(jìn)行后續(xù)的處理。FPN算法并沒(méi)有改變?cè)芯W(wǎng)絡(luò)的結(jié)構(gòu)，而是在原網(wǎng)絡(luò)的基礎(chǔ)上提取出額外層進(jìn)行連接，這樣既沒(méi)有增加原有模型的計(jì)算量，而且還會(huì)增加物體檢測(cè)的性能。

在Retinaface算法當(dāng)中采用多任務(wù)損失函數(shù)，通過(guò)對(duì)輸出的人臉預(yù)測(cè)框與五個(gè)人臉關(guān)鍵點(diǎn)等坐標(biāo)的調(diào)整與優(yōu)化，使多任務(wù)損失函數(shù)達(dá)到最小化，其公式為

(1)

式中：Lcls——臉部分類二值損失函數(shù)；

Lbox——臉部邊框回歸損失函數(shù)；

ti——預(yù)測(cè)框坐標(biāo)；

Lpts——人臉關(guān)鍵點(diǎn)損失函數(shù)；

li——預(yù)測(cè)值五個(gè)人臉關(guān)鍵點(diǎn)坐標(biāo)；

λ1、λ2——損失平衡參數(shù)。

2 人臉識(shí)別

Mobilenetv3網(wǎng)絡(luò)是Howard等[6]于2019年提出的，該網(wǎng)絡(luò)在之前的Mobilenet網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行結(jié)構(gòu)優(yōu)化，可在手機(jī)端的CPU實(shí)時(shí)檢測(cè)，實(shí)現(xiàn)精度更高，速度更快的效果。該網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示。其中，Bneck結(jié)構(gòu)包含了深度可分離卷積、SE模塊、激活函數(shù)等操作。由圖1結(jié)構(gòu)可以分析，Mobilenetv3繼承了前代的深度可分離卷積操作，減少了模型的計(jì)算量與參數(shù)量，引入注意力機(jī)制SE模塊，更新了激活函數(shù)。

2.1 SE模塊

SE模塊可以加強(qiáng)網(wǎng)絡(luò)卷積特征通道之間的相互聯(lián)系，通過(guò)學(xué)習(xí)的方式自動(dòng)判別各個(gè)特征通道的重要程度，提升有用特征的權(quán)重，抑制無(wú)用特征，從而提升了特征信息的質(zhì)量，SE模塊操作如圖2所示。

對(duì)于輸入進(jìn)來(lái)的特征圖通道進(jìn)行全局平均池化處理，得到通道的數(shù)目，再通過(guò)兩個(gè)全連接層加兩個(gè)不同的激活函數(shù)(ReLU與h-swish)得到最后的通道權(quán)重輸出，圖2中不同的顏色代表每個(gè)通道的不同權(quán)重。這樣的操作就得出了每個(gè)通道的重要程度，越重要的權(quán)重越大，不重要的權(quán)重越小。

2.2 激活函數(shù)

在Mobilenetv3中使用了h-swish激活函數(shù)，它是由swish激活函數(shù)優(yōu)化而來(lái)。由于swish的平滑，非單調(diào)的函數(shù)特性，在深層網(wǎng)絡(luò)中性能優(yōu)于ReLU激活函數(shù)，但其計(jì)算復(fù)雜，消耗的計(jì)算資源與求導(dǎo)時(shí)間較多。因此，將ReLU6作為近似函數(shù)逼近swish，用于消除sigmoid函數(shù)潛在的數(shù)值精度損失。h-swish函數(shù)的提出解決了計(jì)算與求導(dǎo)的時(shí)間復(fù)雜，提升了網(wǎng)絡(luò)的推理速度和量化過(guò)程，使網(wǎng)絡(luò)的表現(xiàn)效果更好。h-swish激活函數(shù)為

(2)

R(x)=min(max(x,0),6)。

(3)

2.3 Facenet人臉識(shí)別算法

將Mobilenetv3網(wǎng)絡(luò)提取出的128維特征向量輸入到FaceNet人臉識(shí)別算法中，進(jìn)行人臉的特征判別。該向量通過(guò)Tripiet Loss三元組損失函數(shù)識(shí)別出樣本間的相似性與差異性，將向量映射到歐氏空間中進(jìn)行歐氏距離的計(jì)算，根據(jù)距離的同近異遠(yuǎn)原則識(shí)別出人臉，進(jìn)行身份的識(shí)別。Facenet算法結(jié)構(gòu)如圖3所示。

(4)

式中：α——正負(fù)樣本邊界值；

T——數(shù)據(jù)集中可能的三元組集合；

n——集合中元素?cái)?shù)量。

(5)

式中：i,j——參與訓(xùn)練的樣本標(biāo)識(shí)；

d——維度；

D——兩種樣本的歐氏距離。

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境

文中是在Windows操作系統(tǒng)下運(yùn)行，使用CPU為Intel i5-10400F@2.9 GHz，GPU為NVIDIA GeForce RTX 3060，運(yùn)行內(nèi)存為2×8 GB的硬件設(shè)備，通過(guò)搭建TensorFlow2.0版本的深度學(xué)習(xí)框架，使用python3.7進(jìn)行編譯。

3.2 數(shù)據(jù)集

實(shí)驗(yàn)由于網(wǎng)上沒(méi)有開(kāi)源的礦工人臉數(shù)據(jù)集，再加上礦工井下長(zhǎng)時(shí)間工作的特殊環(huán)境，會(huì)導(dǎo)致工人面部會(huì)受到煤灰與粉塵的污染。因此，搭建了一個(gè)小樣本擬礦工數(shù)據(jù)集，該數(shù)據(jù)集包含了18個(gè)人的不同角度不同姿態(tài)的圖片，每人包含40張圖片，同時(shí)照片中包含面部正常、面部污損及井下黑暗環(huán)境等情況，經(jīng)數(shù)據(jù)增強(qiáng)后，數(shù)據(jù)集圖片總數(shù)量約6 000張。

3.3 數(shù)據(jù)增強(qiáng)

由于實(shí)驗(yàn)數(shù)據(jù)集屬于小樣本數(shù)據(jù)集，圖片數(shù)量遠(yuǎn)遠(yuǎn)不夠卷積訓(xùn)練的標(biāo)準(zhǔn)，易發(fā)生過(guò)擬合的現(xiàn)象，因此，使用圖片數(shù)據(jù)增強(qiáng)技術(shù)既增加了數(shù)據(jù)集的圖片數(shù)量，又能減小過(guò)擬合情況的發(fā)生。

數(shù)據(jù)增強(qiáng)的方法是在原有圖片的基礎(chǔ)上進(jìn)行隨機(jī)剪裁、旋轉(zhuǎn)、色域變換及加入噪聲等，這樣會(huì)增加原有圖片的多樣性，并且聯(lián)合正則項(xiàng)或dropout等方法使模型進(jìn)行更有效地學(xué)習(xí)，抑制過(guò)擬合的發(fā)生。數(shù)據(jù)增強(qiáng)后的圖片效果如圖4所示。

3.4 實(shí)驗(yàn)過(guò)程與分析

在訓(xùn)練階段采用隨機(jī)梯度下降優(yōu)化算法，使用凍結(jié)網(wǎng)絡(luò)的方法訓(xùn)練，設(shè)置100個(gè)epoch，其中，前50個(gè)epoch凍結(jié)主干網(wǎng)絡(luò)，對(duì)后續(xù)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，設(shè)置batch size為32，學(xué)習(xí)率為10-3；從51個(gè)epoch開(kāi)始，解凍主干網(wǎng)絡(luò)，與后續(xù)網(wǎng)絡(luò)一起訓(xùn)練，設(shè)置batch size為16，學(xué)習(xí)率為10-4。其目的可以將更多的資源放在訓(xùn)練后面部分的網(wǎng)絡(luò)參數(shù)，使時(shí)間和資源利用都能得到很大改善。

將訓(xùn)練集、驗(yàn)證集與測(cè)試集按7∶1∶2的比例進(jìn)行劃分，對(duì)Mobilenetv1、Inception_resnetv1和Mobilenetv三種主干特征提取網(wǎng)絡(luò)模型進(jìn)行實(shí)驗(yàn)對(duì)比分析，圖5為訓(xùn)練過(guò)程中的Loss曲線。

由圖5可見(jiàn)，Mobilenetv3在訓(xùn)練接近70個(gè)迭代時(shí)基本收斂，而其他兩個(gè)網(wǎng)絡(luò)在90多個(gè)迭代才收斂，表明Mobilenetv3網(wǎng)絡(luò)在較少的迭代次數(shù)，更短的時(shí)間內(nèi)就能得到滿意的結(jié)果，達(dá)到快速收斂的效果。

在測(cè)試集上進(jìn)行精確度的測(cè)試，表1為測(cè)試結(jié)果。其中，精確度為η，閾值為β，參數(shù)量為m。

表1 測(cè)試結(jié)果

由表1可知，Inception_resnetv1模型的精確度最高，但該模型的參數(shù)量極大，網(wǎng)絡(luò)層數(shù)達(dá)到400多層，耗用時(shí)間較多,占用較大的內(nèi)存資源。而Mobilenetv3網(wǎng)絡(luò)精確度與Inception_resnetv1網(wǎng)絡(luò)精確度差別不大，但模型參數(shù)量是它的七分之一，識(shí)別速度較快。根據(jù)參數(shù)量、識(shí)別速度和精確度的平衡考慮，最終選擇Mobilenetv3網(wǎng)絡(luò)。同時(shí)，表中的閾值是判定界限，如果距離超過(guò)這個(gè)閾值，就判定為不同兩人；反之則為同一人。

4 結(jié) 論

(1)結(jié)合深度可分離卷積和SE模塊的Mobilenetv3網(wǎng)絡(luò)作為人臉識(shí)別的主干特征提取網(wǎng)絡(luò)，不僅提高了特征提取的速度，還增強(qiáng)了特征提取過(guò)程中特征通道之間的相互聯(lián)系，提升了特征信息的質(zhì)量。

(2)在自建擬礦工小樣本數(shù)據(jù)集中，MobileNetv3網(wǎng)絡(luò)在參數(shù)量、精確度和識(shí)別速度的綜合衡量下，計(jì)算精度比MobileNetv1網(wǎng)絡(luò)提升1.83%，比Inception_resnetv1網(wǎng)絡(luò)下降0.44%，但計(jì)算參數(shù)量是Inception_resnetv1網(wǎng)絡(luò)的1/7，提高了人臉識(shí)別效率。