安全帽與口罩檢測(cè)管理系統(tǒng)設(shè)計(jì)

邵琪琦 唐 陽 李 想 沈思宇 李 敏（指導(dǎo)老師）（浙江中醫(yī)藥大學(xué)，浙江 杭州310053）

2018 年，我國生產(chǎn)安全事故發(fā)生數(shù)達(dá)51373 起，死亡人數(shù)達(dá)34046 起[1]。相關(guān)數(shù)據(jù)顯示，95%的安全事故是因生產(chǎn)操作人員未佩戴安全帽、越權(quán)進(jìn)入生產(chǎn)操作場所等違規(guī)行為所致。所以，安全帽與口罩的佩戴與否，切實(shí)的關(guān)系到生產(chǎn)操作人員的生命安全。而采用人力判別安全帽與口罩佩戴狀況的方法，浪費(fèi)人力物力且不利于統(tǒng)計(jì)與人員管理。因此，開發(fā)一種不依靠人力進(jìn)行識(shí)別判定的檢測(cè)管理系統(tǒng)，符合特殊條件下對(duì)生產(chǎn)操作車間的智能化管理。

現(xiàn)今，對(duì)安全帽等小目標(biāo)的檢測(cè)方法多基于深度學(xué)習(xí)的目標(biāo)檢測(cè)與識(shí)別算法[2]。SSD(Single Shot MultiBox Detector) 算法作為目標(biāo)檢測(cè)算法之一，對(duì)于小目標(biāo)的檢測(cè)在準(zhǔn)確度和速度方面綜合來看有顯著優(yōu)勢(shì)。現(xiàn)已有徐先峰[3]、張業(yè)寶[4]等人利用SSD算法并進(jìn)行改進(jìn)以運(yùn)用于安全帽識(shí)別檢測(cè)。本文結(jié)合實(shí)際應(yīng)用場景，設(shè)計(jì)一種基于深度學(xué)習(xí)雙層識(shí)別模型的應(yīng)用與優(yōu)化的檢測(cè)管理系統(tǒng)，以對(duì)生產(chǎn)環(huán)境中生產(chǎn)操作人員是否佩戴安全帽與口罩進(jìn)行實(shí)時(shí)檢測(cè)與處理。在減少勞動(dòng)力提供智慧車間檢測(cè)管理的同時(shí)，保障生產(chǎn)環(huán)境的安全。

1 總體設(shè)計(jì)

本文介紹的檢測(cè)管理系統(tǒng)主要包含六個(gè)功能：實(shí)時(shí)檢測(cè)安全帽佩戴狀態(tài)、實(shí)時(shí)檢測(cè)口罩佩戴狀態(tài)、違規(guī)行為存儲(chǔ)、違規(guī)行為統(tǒng)計(jì)、違規(guī)行為處理與人員管理。

本系統(tǒng)的整體設(shè)計(jì)分為四個(gè)部分：監(jiān)控感知層與反饋層，分別為現(xiàn)場監(jiān)控與報(bào)警單元，本系統(tǒng)利用警示燈、報(bào)警器對(duì)違規(guī)行為進(jìn)行提醒；處理層為識(shí)別單元，本系統(tǒng)利用深度學(xué)習(xí)對(duì)違規(guī)行為進(jìn)行檢測(cè)、判定；管理層為服務(wù)器，對(duì)違規(guī)行為進(jìn)行記錄；應(yīng)用層為用戶界面，其中包括實(shí)時(shí)監(jiān)控、歷史違規(guī)記錄、違規(guī)處理、違規(guī)統(tǒng)計(jì)、人員管理五個(gè)模塊。

本系統(tǒng)的技術(shù)路線，如圖1 所示分為數(shù)據(jù)采集、數(shù)據(jù)識(shí)別、數(shù)據(jù)管理和數(shù)據(jù)應(yīng)用。數(shù)據(jù)采集：本系統(tǒng)采用Raspberry Pi 4B+ 與Pi Camera 模擬生產(chǎn)環(huán)境的監(jiān)控?cái)z像頭，利用OpenCV控制圖像數(shù)據(jù)流采集。數(shù)據(jù)識(shí)別：本系統(tǒng)將TensorFlow和Open CV 結(jié)合，運(yùn)用于安全帽、口罩的檢測(cè)與標(biāo)注。數(shù)據(jù)管理：利用搭建的服務(wù)器（Linux 環(huán)境）模擬生產(chǎn)環(huán)境總服務(wù)器，用于儲(chǔ)存數(shù)據(jù)（MySQL）基礎(chǔ)及作為前端web 頁面的后臺(tái)。數(shù)據(jù)應(yīng)用：利用HTML、CSS、JavaScript 等前端開發(fā)語言為生產(chǎn)環(huán)境管理者提供數(shù)據(jù)展示界面，供其對(duì)數(shù)據(jù)進(jìn)行管理。

2 識(shí)別檢測(cè)模塊設(shè)計(jì)

2.1 模型選擇與數(shù)據(jù)集

圖1 技術(shù)路線

本系統(tǒng)所采用的模型均為TensorFlow object detection api官方所開源的源模型，本系統(tǒng)在綜合Speed（每600x600 圖像的毫秒數(shù)運(yùn)行時(shí)間）和mAP（平均精確度）等評(píng)判標(biāo)準(zhǔn)前提下，對(duì)現(xiàn)存較新的開源模型進(jìn)行初步分析，并深入研究模型算法和卷積方式，以在不同算法間進(jìn)行橫向?qū)Ρ?。其中SSD(Single Shot MultiBox Detector)算法作為目標(biāo)檢測(cè)算法之一，對(duì)于小目標(biāo)的檢測(cè)，在速度和準(zhǔn)確度方面綜合來看有顯著優(yōu)勢(shì)。MobileNet 是輕量級(jí)神經(jīng)網(wǎng)絡(luò)，具有速度快等優(yōu)勢(shì)。為了對(duì)小型對(duì)象的精確識(shí)別，采用FPN 算法能顯著提高算法的精確度。因此，本系統(tǒng)選擇綜合數(shù)據(jù)較好且能滿足訓(xùn)練要求的初始模型ssd_mobilenet_v1_coco 來訓(xùn)練人體模型ssd_mobilenet_v1_fpn_co co ☆來訓(xùn)練口罩和安全帽模型。

本系統(tǒng)模型訓(xùn)練的一萬余張數(shù)據(jù)來源于三方面，分別為開源數(shù)據(jù)、實(shí)地拍攝數(shù)據(jù)與網(wǎng)絡(luò)爬取的數(shù)據(jù)。并在進(jìn)行人工打標(biāo)后，將其中的80%作為訓(xùn)練集，其中的20%作為測(cè)試集。

2.2 模型訓(xùn)練

2.2.1 訓(xùn)練框架

本系統(tǒng)所用的識(shí)別檢測(cè)模型以TensorFlow 為訓(xùn)練框架，TensorFlow 是由谷歌開發(fā)的機(jī)器學(xué)習(xí)系統(tǒng)，TensorFlow 在性能、構(gòu)架靈活性和可移植性上都有顯著優(yōu)勢(shì)[5]。

2.2.2 雙層模型

在傳統(tǒng)的單層模型開發(fā)過程中，本系統(tǒng)先利用原始數(shù)據(jù)集person（人頭）標(biāo)簽與hat（頭戴安全帽）標(biāo)簽進(jìn)行模型訓(xùn)練，輸出時(shí)hat 標(biāo)簽為綠框，person 為紅框。經(jīng)多次測(cè)試發(fā)現(xiàn)，所訓(xùn)練的單層模型存在以下問題：（1）無法做到無視人體范圍外的安全帽，如放置在置物架、地上等情況；（2）由于物體識(shí)別類的模型不具有標(biāo)簽之間的互斥關(guān)系，而hat 與person 標(biāo)簽的標(biāo)識(shí)范圍都包含人的面部，易導(dǎo)致存在模型將同一個(gè)人標(biāo)兩種標(biāo)簽等情況。（圖2）

圖2 單層模型效果圖

圖3 HELMET 模型和MASK 模型mAP 值

圖4 演示效果圖

圖5 功能模塊圖

因此，本系統(tǒng)采用雙層模型的架構(gòu)來實(shí)現(xiàn)安全帽識(shí)別、口罩識(shí)別。目前尚未發(fā)現(xiàn)有文獻(xiàn)將雙層模型的架構(gòu)運(yùn)用于安全帽識(shí)別檢測(cè)。該識(shí)別邏輯是，先利用人體識(shí)別（PERSON）模型（只含有person（包含整個(gè)人體）標(biāo)簽），進(jìn)行第一層人體識(shí)別；再利用安全帽識(shí)別（HELMET）模型（只含有helmet 標(biāo)簽）與口罩模型在人體（person標(biāo)簽）范圍內(nèi)進(jìn)行第二層檢測(cè)。該雙層模型檢測(cè)方法，可以有效忽視人體(person 標(biāo)簽)范圍外的安全帽及其類似物，并解決同一個(gè)人出現(xiàn)兩種標(biāo)簽的情況，在減少干擾的同時(shí)提高了識(shí)別效率。

2.2.3 訓(xùn)練結(jié)果

（1）準(zhǔn)確度。mAP（Mean Average Precision）是對(duì)目標(biāo)檢測(cè)的常用評(píng)測(cè)指標(biāo)。本文利用閾值取Iou=0.5 的mAP 值判斷模型的平均準(zhǔn)確率。

PERSON 模型中的person 標(biāo)簽是源模型本身自帶的，由TensorFlow 官方所訓(xùn)練，具有極高的準(zhǔn)確性，對(duì)監(jiān)控視角的人體識(shí)別更佳。經(jīng)人工打標(biāo)訓(xùn)練后的HELMET 模型，mAP 值達(dá)到87%，而經(jīng)人工打標(biāo)訓(xùn)練后的MASK 模型，由于特征簡單，mAP 值達(dá)94%。（圖3）

（2）速度。本系統(tǒng)以GTX-1050Ti 作為測(cè)試硬件。經(jīng)多次測(cè)試發(fā)現(xiàn)，識(shí)別后的實(shí)時(shí)監(jiān)控以16幀/秒傳輸至web 應(yīng)用端。根據(jù)對(duì)現(xiàn)實(shí)情況的模擬與分析，生產(chǎn)操作環(huán)境中，連續(xù)兩幀的內(nèi)容識(shí)別重復(fù)率大且無意義。因此，本系統(tǒng)采用跳幀識(shí)別的方式，在不影響現(xiàn)實(shí)可行性的情況下，提升識(shí)別效率。經(jīng)測(cè)試，進(jìn)行違規(guī)記錄后的實(shí)時(shí)監(jiān)控以25 幀/秒傳輸至網(wǎng)頁。數(shù)據(jù)證明，利用跳幀識(shí)別后，模型的識(shí)別速度有了大幅度提升。

2.3 模型使用邏輯與效果

本系統(tǒng)雙層模型的識(shí)別演示效果分別如圖4 所示。模型的使用邏輯：當(dāng)判別安全帽與口罩已同時(shí)佩戴時(shí)，將人體用藍(lán)框標(biāo)注，將安全帽用綠框標(biāo)注，將口罩部分用淡藍(lán)色框標(biāo)注；當(dāng)判別人體未佩戴安全帽或口罩情況下，將人體用紅框標(biāo)注，將人臉部分用黃框標(biāo)注，此時(shí)判為操作人員違規(guī)，進(jìn)行現(xiàn)場警示燈與報(bào)警器提醒，并在系統(tǒng)中進(jìn)行違規(guī)行為記錄。

3 web 端應(yīng)用設(shè)計(jì)

本文的檢測(cè)管理系統(tǒng)功能模塊如圖5 所示，本系統(tǒng)分為四個(gè)模塊：實(shí)時(shí)監(jiān)控模塊、歷史記錄處理模塊、違規(guī)統(tǒng)計(jì)模塊、人員管理模塊。

實(shí)時(shí)監(jiān)控模塊中，本系統(tǒng)兼容傳統(tǒng)監(jiān)控系統(tǒng)的功能基礎(chǔ)上，將每個(gè)攝像頭數(shù)據(jù)進(jìn)行識(shí)別后實(shí)時(shí)傳輸至網(wǎng)頁，讓管理者可分車間地通過屏幕實(shí)時(shí)觀看經(jīng)識(shí)別后的監(jiān)控畫面以及最新的六張違規(guī)記錄。

歷史記錄處理模塊中，管理員可調(diào)取特定時(shí)間段內(nèi)的違規(guī)記錄，并可在選擇圖片后進(jìn)行對(duì)違規(guī)人員的扣分操作，違規(guī)記錄將會(huì)在處理后用綠標(biāo)提示。由于系統(tǒng)會(huì)記錄短時(shí)間內(nèi)同一違規(guī)人員的多次違規(guī)記錄，管理員可對(duì)其余違規(guī)記錄，進(jìn)行批量標(biāo)記為已處理，以避免對(duì)同一次違規(guī)進(jìn)行多次扣分，測(cè)試證明，該設(shè)定符合實(shí)際應(yīng)用需求。

違規(guī)統(tǒng)計(jì)模塊中，本系統(tǒng)會(huì)根據(jù)違規(guī)情況進(jìn)行數(shù)（轉(zhuǎn)下頁）據(jù)統(tǒng)計(jì)，用可視化的圖片幫助管理員管理，以月為單位對(duì)違規(guī)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，其中包括周違規(guī)統(tǒng)計(jì)變化、不同車間違規(guī)對(duì)比、人員違規(guī)數(shù)據(jù)統(tǒng)計(jì)等。

人員管理模塊，管理員可在此模塊調(diào)取特定人員的情況，其中包括基本信息、違規(guī)情況、月考勤分值等相關(guān)信息。

4 結(jié)論

綜上所述，基于特殊生產(chǎn)車間環(huán)境，本文提出了一種安全帽與口罩檢測(cè)管理系統(tǒng)設(shè)計(jì)。首先，給出了系統(tǒng)的總體設(shè)計(jì)，再分別對(duì)識(shí)別檢測(cè)模塊設(shè)計(jì)與web 端應(yīng)用設(shè)計(jì)進(jìn)行了詳細(xì)介紹，其中包括模型選擇與數(shù)據(jù)集、雙層模型概念的提出、訓(xùn)練結(jié)果與效果。初步應(yīng)用表明，本系統(tǒng)的安全帽模型識(shí)別檢測(cè)率達(dá)87%，口罩模型識(shí)別檢測(cè)率達(dá)94%，在結(jié)合系統(tǒng)功能的情況下，能有效適應(yīng)生產(chǎn)操作環(huán)境下，安全帽與口罩的檢測(cè)識(shí)別與違規(guī)管理。

5 展望

經(jīng)總結(jié)和分析，本系統(tǒng)所訓(xùn)練的模型可通過擴(kuò)大樣本量、提高樣本質(zhì)量的方式提高模型檢測(cè)率。同時(shí)，可針對(duì)相應(yīng)應(yīng)用場所，在訓(xùn)練集中加入特定生產(chǎn)車間的樣本，提高識(shí)別準(zhǔn)確率，為其打造更為精準(zhǔn)智慧的系統(tǒng)。同時(shí)，本系統(tǒng)可完善人員管理模塊，通過增添軟硬件結(jié)合的打卡考勤等功能，以進(jìn)行更好的人員管理。除此之外，針對(duì)歷史記錄處理模塊，可增添過濾機(jī)制，通過人臉識(shí)別，過濾短時(shí)間內(nèi)，同一人的違規(guī)記錄，減輕系統(tǒng)管理員的負(fù)擔(dān)。力求提供更為智慧的安全帽與口罩檢測(cè)管理系統(tǒng)。