基于YOLOv5的智慧監(jiān)考模型設(shè)計(jì)與研究

王秋美茜，王鵬濤，張曉寬，劉經(jīng)緯，紀(jì)佳琪,2*

（1. 河北民族師范學(xué)院數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，承德 067000；2. 河北省文化旅游大數(shù)據(jù)技術(shù)創(chuàng)新中心，承德 067000）

0 引言

近年來(lái)，國(guó)家逐漸重視實(shí)現(xiàn)國(guó)家教育考試治理能力的現(xiàn)代化，逐步完善標(biāo)準(zhǔn)化考點(diǎn)建設(shè)，不斷提升國(guó)家教育考試綜合治理能力［1］。國(guó)家教育考試現(xiàn)行的防作弊系統(tǒng)主要包括考生身份驗(yàn)證、考場(chǎng)巡視和視頻監(jiān)控。標(biāo)準(zhǔn)化考點(diǎn)的監(jiān)考方式是以人工為主、監(jiān)控為輔。但是目前這種監(jiān)考方式存在監(jiān)考人員工作量大，對(duì)考生作弊情況發(fā)現(xiàn)不及時(shí)等問(wèn)題，所以，研發(fā)一種能夠?qū)崟r(shí)檢測(cè)作弊行為的監(jiān)考系統(tǒng)實(shí)屬當(dāng)前所需。

目標(biāo)檢測(cè)算法在近些年發(fā)展迅速，在諸多領(lǐng)域都已取得良好的檢測(cè)效果，并可以逐漸運(yùn)用到生活當(dāng)中。結(jié)合國(guó)家目前的教育改革趨勢(shì)，目標(biāo)檢測(cè)算法可以很好地改進(jìn)傳統(tǒng)的監(jiān)考方式，可以有效地解決相關(guān)問(wèn)題。雖然國(guó)家已經(jīng)具備智能監(jiān)考的相關(guān)硬件條件，但目前市場(chǎng)還未出現(xiàn)成熟的智能監(jiān)考系統(tǒng)。如今，眾多學(xué)者已經(jīng)對(duì)智能監(jiān)考方法提出了相關(guān)解決方案［2-3］。尹力威等［4］基于OpenCV-Python 平臺(tái)設(shè)計(jì)了一種SDD算法，對(duì)考生的作弊行為進(jìn)行檢測(cè)。同時(shí)，結(jié)合OpenCV4.2 與GPU 縮短了60%的檢測(cè)時(shí)間。但該系統(tǒng)檢測(cè)準(zhǔn)確率不高,也無(wú)法實(shí)現(xiàn)實(shí)時(shí)檢測(cè)。李春梅等［5］提出了一種基于視頻行為分析的智能監(jiān)考輔助系統(tǒng)，運(yùn)用YOLOv3算法劃分考生和違禁品邊框，結(jié)合MTCNN 算法對(duì)面部進(jìn)行檢測(cè)。但這種方法對(duì)硬件資源需求高，并且算法對(duì)視頻中遠(yuǎn)端的考生檢測(cè)效果不佳［6］。

在以上學(xué)者研究的基礎(chǔ)上，本文采用YOLOv5模型進(jìn)行考生作弊行為檢測(cè)。同時(shí)模型檢測(cè)速度快，擁有高達(dá)140 FPS的對(duì)象識(shí)別速度，且擁有更好的靈活性和速度，有利于考場(chǎng)視頻的實(shí)時(shí)監(jiān)測(cè)。實(shí)驗(yàn)結(jié)果表明：本文所應(yīng)用的YOLOv5模型在檢測(cè)速度和準(zhǔn)確性方面均優(yōu)于上述學(xué)者所提模型，證明了方法的有效性和實(shí)用性。

1 YOLOv5目標(biāo)檢測(cè)模型

本次實(shí)驗(yàn)主要運(yùn)用了目標(biāo)檢測(cè)中的YOLO系列，YOLO 是基于區(qū)域提取的代表性算法，YOLO 系列又分為YOLOv1、YOLOv2、YOLOv3［7-9］等算法。項(xiàng)目選擇較新的YOLOv5算法，考慮到項(xiàng)目平臺(tái)的需求，發(fā)現(xiàn)YOLOv5s 網(wǎng)絡(luò)最小，速度最快，所以主要采用了YOLOv5中的YOLOv5s模型。YOLOv5s的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，此網(wǎng)絡(luò)結(jié)構(gòu)分為以下部分：輸入端、Backbone（主干網(wǎng)絡(luò)）、Neck 網(wǎng)絡(luò)和Prediction（輸出端）。輸入端通過(guò)Mosaic數(shù)據(jù)增強(qiáng)［10］，同時(shí)自適應(yīng)錨框計(jì)算，以及自適應(yīng)圖片縮放。

圖1 YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)

Backbone 包括Focus 結(jié)構(gòu)、跨階段對(duì)等（CSP）結(jié)構(gòu)，有切片下采樣的作用；Neck 采用FPN+PAN 的結(jié)構(gòu)；輸出端是由分類損失函數(shù)和回歸函數(shù)組成的，可以評(píng)判檢測(cè)的效果。

2 基于目標(biāo)檢測(cè)的智慧監(jiān)考模型

本文基于目標(biāo)檢測(cè)的YOLOv5算法，通過(guò)前期大量訓(xùn)練集的練習(xí)，結(jié)合視頻處理技術(shù)實(shí)現(xiàn)適用于標(biāo)準(zhǔn)化考點(diǎn)的智能監(jiān)考系統(tǒng)。本系統(tǒng)的使用有利于推進(jìn)學(xué)校標(biāo)準(zhǔn)化、智能化考場(chǎng)建設(shè)，為監(jiān)考人員減負(fù)的同時(shí)提升監(jiān)考效果。

基于YOLOv5 的智慧監(jiān)考流程如圖2 所示，首先由平臺(tái)管理人員向系統(tǒng)數(shù)據(jù)庫(kù)中導(dǎo)入各種違規(guī)、作弊行為的數(shù)據(jù)，訓(xùn)練出目標(biāo)檢測(cè)模型。功能分為以下三點(diǎn)：

圖2 智慧監(jiān)考平臺(tái)工作流程

（1）模型的離線訓(xùn)練。根據(jù)收集到的違規(guī)、作弊數(shù)據(jù)，對(duì)模型進(jìn)行訓(xùn)練。圖3展示了訓(xùn)練集上沒(méi)有違規(guī)行為的圖例，圖4展示了不同違規(guī)行為的圖例。

圖3 訓(xùn)練集正常

圖4 判定作弊違規(guī)圖例

（2）在線判斷。系統(tǒng)后臺(tái)會(huì)通過(guò)與平臺(tái)相連的攝像裝置獲取數(shù)據(jù)，數(shù)據(jù)傳入系統(tǒng)后臺(tái)，通過(guò)訓(xùn)練好的模型對(duì)考生進(jìn)行動(dòng)作捕捉和姿態(tài)估計(jì)，并對(duì)相應(yīng)的考生行為進(jìn)行分析，得出作弊疑似率。

（3）當(dāng)作弊疑似率大于某一閾值時(shí)，考生直接按照作弊處理和通知平臺(tái)管理人員，并將該考生的個(gè)人信息及作弊過(guò)程記錄在數(shù)據(jù)庫(kù)中，以便在考試結(jié)束后統(tǒng)一處理；疑似率處于一定閾值區(qū)間的考生，平臺(tái)向管理人員發(fā)出警報(bào)，通知相應(yīng)監(jiān)考教師對(duì)其進(jìn)行核實(shí)和重點(diǎn)查看；疑似率較低時(shí)，判定為考試正常。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)采集

模型數(shù)據(jù)集來(lái)自現(xiàn)場(chǎng)真實(shí)拍攝中篩選出的常規(guī)考試數(shù)據(jù)集和有作弊行為的數(shù)據(jù)集。為了更好地模擬考場(chǎng)考試的真實(shí)程度，選用了環(huán)境條件較好，相對(duì)集中的教室，聚集300名考生后按照每名同學(xué)左右為空座位的要求進(jìn)行排列。同時(shí)，為了避免考場(chǎng)的選取造成誤差，數(shù)據(jù)采集過(guò)程中更換了不同考場(chǎng)。

通過(guò)讓300名學(xué)生在考場(chǎng)中模擬各種考試作弊的方法動(dòng)作，負(fù)責(zé)數(shù)據(jù)采集的人員進(jìn)行拍照采集，最后采集到考試作弊的數(shù)據(jù)集，共含有1000張圖片，圖片都是高分辨率（4608×2128）。

按照8∶2 的比例劃分?jǐn)?shù)據(jù)集和驗(yàn)證集，篩選出636 個(gè)為訓(xùn)練集，364 個(gè)為驗(yàn)證集。數(shù)據(jù)集分為兩個(gè)類別，作弊（cheat）和正常（normal）。部分?jǐn)?shù)據(jù)集圖片如圖5、圖6所示。

圖5 作弊數(shù)據(jù)集

圖6 正常數(shù)據(jù)集

3.2 數(shù)據(jù)標(biāo)注

采集完數(shù)據(jù)后對(duì)數(shù)據(jù)進(jìn)行一次篩選，將不需要的或者不符合要求的圖片進(jìn)行刪除，然后使用Labelimg標(biāo)注工具，如圖7所示，將標(biāo)注格式轉(zhuǎn)換為VOC 數(shù)據(jù)格式。通過(guò)對(duì)作弊行為進(jìn)行一一標(biāo)注，生成訓(xùn)練集和驗(yàn)證集文件列表，文件格式為.txt樣式，最后進(jìn)行訓(xùn)練。

圖7 使用Labelimg對(duì)作弊對(duì)象進(jìn)行標(biāo)注

3.3 模型訓(xùn)練

模型由GPU 服務(wù)器進(jìn)行訓(xùn)練，表1 為該GPU服務(wù)器的相關(guān)配置。

表1 實(shí)驗(yàn)環(huán)境

根據(jù)項(xiàng)目需求，選擇了YOLOv5 中的YOLOv5s，通過(guò)開(kāi)展大量的實(shí)驗(yàn)挑選出最優(yōu)的相關(guān)參數(shù)，該項(xiàng)目的參數(shù)設(shè)置：Epoch=50，batch-size=32，優(yōu)化方法為Adam。

3.4 實(shí)驗(yàn)結(jié)果

從圖8 可知，其對(duì)作弊情況的檢測(cè)效果precision 為96.3%，recall 為99.5%,mAP@0.5 為98.4%，基本可以滿足項(xiàng)目要求。

如圖9所示，抽取驗(yàn)證集中的部分圖片作為樣本數(shù)據(jù)，將其代入訓(xùn)練完成的權(quán)重文件（best.pt）中，得到圖片中違規(guī)行為的置信度。結(jié)果證明模型滿足檢測(cè)作弊回頭要求。

運(yùn)行過(guò)程中，將目標(biāo)檢測(cè)算法與OpenCV 融合，規(guī)劃出相應(yīng)區(qū)域，可以實(shí)時(shí)監(jiān)測(cè)考生作弊行為。

圖9 待檢測(cè)和檢測(cè)后視頻截圖

3.5 結(jié)果分析

訓(xùn)練集中Bounding box 損失、目標(biāo)檢測(cè)損失和分類函數(shù)損失的訓(xùn)練結(jié)果如圖10 所示，在Epoch 介于0～10 時(shí)，三種類型的損失函數(shù)均值接近垂直下降。在Epoch 介于10～50 時(shí)，下降幅度逐漸緩慢，證明訓(xùn)練結(jié)果符合項(xiàng)目需求。

圖10 訓(xùn)練集中Bounding box損失、目標(biāo)檢測(cè)損失和分類函數(shù)損失

3.6 精確度、召回率的訓(xùn)練結(jié)果分析

如圖11所示，在Epoch介于0～20時(shí)，兩個(gè)結(jié)果都幾乎接近垂直上升；在Epoch介于20～50時(shí)，結(jié)果浮動(dòng)不明顯，證明訓(xùn)練已趨于收斂。本模型在訓(xùn)練集上的精確度可達(dá)96.3%。

圖11 精確度、召回率的訓(xùn)練結(jié)果

3.7 平均精確度（mAP）的訓(xùn)練結(jié)果分析

IoU 顯示樣本的臨界值，IoU 臨界值設(shè)置低，樣本的質(zhì)量就會(huì)變差；設(shè)置高，樣本的質(zhì)量就會(huì)變好，但是過(guò)高的IoU 臨界值同樣可能造成小尺度目標(biāo)框的丟失。圖12 為不同臨界值下的mAP訓(xùn)練結(jié)果，當(dāng)IoU 臨界值為0.5時(shí)，在Epoch介于0～10 時(shí)，mAP 的值接近垂直上升趨勢(shì)；在Epoch 介于20～50 時(shí)，mAP 的值在0.98 左右浮動(dòng)；當(dāng)IoU 臨界值（0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95）上時(shí)，mAP 的平均值在0～20 迭代次數(shù)范圍內(nèi)，接近垂直上升趨勢(shì)；在20～50 迭代次數(shù)范圍內(nèi)，上升幅度逐漸緩慢，mAP的平均值在0.73左右浮動(dòng)。

圖12 平均精確度（mAP）的訓(xùn)練結(jié)果分析

綜上所述，模型訓(xùn)練結(jié)果良好，符合項(xiàng)目所需的基本要求。

3.8 不同光線下識(shí)別準(zhǔn)確度的對(duì)比分析

在光線充足和光線較弱環(huán)境下的目標(biāo)人物動(dòng)作識(shí)別結(jié)果的比較分析結(jié)果如圖13 和圖14 所示。經(jīng)過(guò)對(duì)比得知，光線充足時(shí)圖片的置信度要高于光線較弱環(huán)境時(shí)圖片的置信度，說(shuō)明光線充足與光線稍弱相比，光線充足更能提高判斷的準(zhǔn)確率。但在監(jiān)考的時(shí)候，學(xué)校各方面設(shè)備全都由相關(guān)部門進(jìn)行保障。教室內(nèi)光線明亮（即光線充足），極少出現(xiàn)停電現(xiàn)象?；诖饲闆r，我們認(rèn)為該結(jié)果是適用于監(jiān)考的。

圖13 置信度0.89

圖14 置信度0.76

3.9 不同像素下識(shí)別準(zhǔn)確度的對(duì)比分析

高像素環(huán)境下與低像素環(huán)境下的目標(biāo)人物動(dòng)作識(shí)別結(jié)果的比較結(jié)果分別如圖15和圖16所示，圖15像素為960×443，圖16像素為500×231。經(jīng)過(guò)對(duì)比得知，高像素環(huán)境下的置信度要高于低像素環(huán)境下的置信度，表明像素的高低會(huì)對(duì)目標(biāo)人物動(dòng)作檢測(cè)的結(jié)果造成一定影響。

圖15 像素為960×443

圖16 像素為500×231

4 結(jié)語(yǔ)

綜上所述，為實(shí)現(xiàn)檢測(cè)的準(zhǔn)確性和實(shí)時(shí)性，并將人工從繁雜的檢測(cè)工作中解放出來(lái)，提出一種基于YOLOv5網(wǎng)絡(luò)模型的智慧監(jiān)考平臺(tái)。該平臺(tái)經(jīng)實(shí)驗(yàn)測(cè)試，準(zhǔn)確率高且能達(dá)到視頻圖像實(shí)時(shí)性要求，證明本文方法具有一定的優(yōu)勢(shì)，但是受時(shí)間與精力的限制，模型還存在一定的局限性，目前只在實(shí)驗(yàn)環(huán)節(jié)通過(guò)了驗(yàn)證，后期將測(cè)試完成后的模型部署至云服務(wù)器端，并在需考試的地點(diǎn)安裝網(wǎng)絡(luò)攝像頭采集人員信息，通過(guò)互聯(lián)網(wǎng)上傳信息至云端進(jìn)行處理，處理結(jié)果返回監(jiān)考中心實(shí)時(shí)查看，驗(yàn)證后進(jìn)行批量推廣應(yīng)用。