基于AWS SageMaker和DeepLens的高校課堂學生問題行為檢測方法研究

陸仟禧 梁文耀 李琳 鄧一星

摘要：目前，高校課堂學生的問題行為正逐漸成為影響高等教育有效開展的主要因素之一。隨著人工智能和深度學習的快速發(fā)展，行為識別技術(shù)為學生課堂行為觀察提供了一種新的可能性[1]。該文實驗運用云計算技術(shù)，使用由AWS云廠商提供的服務(wù)和AWSDeepLens智能攝像頭相結(jié)合，對學生課堂問題行為進行自動檢測。實驗結(jié)果表明，運用云計算技術(shù)在計算機視覺應(yīng)用中更具有成本效益、部署靈活的優(yōu)點，突破傳統(tǒng)計算機視覺與硬件結(jié)合在日常使用中的困難，能更好地將信息技術(shù)融合到高校課堂中。

關(guān)鍵詞：機器學習;云計算;計算機視覺

中圖分類號：TP393? ? ? ? ?文獻標識碼：A

文章編號：1009-3044（2022）01-0113-03

教育信息化進入了新的發(fā)展階段，大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等新興技術(shù)將驅(qū)動傳統(tǒng)教學理念、模式、內(nèi)容和方法的改革，推動智慧校園的建設(shè)，全面提升教育信息化水平[1-2]。在智慧校園的背景下，高校對原有的多媒體教室基礎(chǔ)設(shè)施不斷完善，使其具備應(yīng)用信息化技術(shù)推動信息技術(shù)與教育教學融合的基礎(chǔ)條件，應(yīng)用人工智能技術(shù)創(chuàng)新學生課堂行為分析手段，有利于提升高校課堂教學質(zhì)量管理水平[3]。

本文實驗基于應(yīng)用云服務(wù)的方案，將計算機視覺與人工智能相結(jié)合，實現(xiàn)對學生課堂問題行為自動分析，從而輔助教師或課堂管理員及時了解課堂教學的情況，提高課堂教學質(zhì)量并促進信息化教育的發(fā)展。

1 系統(tǒng)架構(gòu)設(shè)計

本文實驗的系統(tǒng)架構(gòu)設(shè)計是基于無服務(wù)器Serverless架構(gòu)的思想。無服務(wù)器并不是不需要服務(wù)器，它是強調(diào)開發(fā)人員應(yīng)該將大多數(shù)運維問題（如資源供應(yīng)、監(jiān)控、維護、 可擴展性和容錯性）留給云提供商[3]。Serverless的運行方式是按需運行，僅在設(shè)定的觸發(fā)器上有事件產(chǎn)生時才會運行[4]。在本文實驗中，使用SageMaker服務(wù)可以讓模型訓練、測試、檢驗?zāi)K按需觸發(fā)式執(zhí)行，將訓練好的模型部署到終端設(shè)備DeepLens上，DeepLens內(nèi)部提供了代碼運行的環(huán)境，開發(fā)人員只需要專注于函數(shù)內(nèi)部的代碼邏輯，最后模型推理結(jié)果的消息訂閱、推送都是在AWSSNS服務(wù)上進行，不需要額外去構(gòu)建用于消息收發(fā)的服務(wù)器。在機器學習平臺中，模型訓練，模型測試驗證，參數(shù)調(diào)優(yōu)這三個步驟往往是重復進行的，以提高最終模型的準確率，這個重復的階段往往會消耗大量的計算資源。在傳統(tǒng)的機器學習平臺，這些計算資源會存在繁重的運維管理任務(wù)，而借助云廠商提供的云生態(tài)，能對計算資源進行更靈活地管理，輕松構(gòu)建基于Servlerless架構(gòu)的云原生機器學習平臺。

1.1數(shù)據(jù)采集、標注和存儲

本實驗在前期收集了8000張高校課堂的實時照片，用于訓練目標檢測模型。照片拍攝來自各個不同課室、不同時間段學生在課堂上的問題行為，作為模型的訓練集。使用LabelImg工具，采取人工打標簽的方式對圖片進行標簽分類，學生玩手機歸為play類、睡覺歸為sleep類。

后期采用了另一種采集數(shù)據(jù)集的方式，通過拍攝學生在高校課堂的實時視頻并進行抽幀處理。借助Premiere編輯軟件，將拍攝的實時視頻素材導入其中，通過編輯“間歇”的數(shù)值選擇要保留的幀生成靜態(tài)畫面并保存，再對保存的數(shù)據(jù)集進行標簽歸類。實驗中使用了基于Amazon S3的云存儲方案，將標注好的數(shù)據(jù)集和對應(yīng)的標簽文件上傳至S3存儲桶中。

2 算法模型

2.1算法選擇

根據(jù)本文研究目標，選擇的算法是對學生異常行為進行檢測定位并分類。在捕獲視頻流中的某一幀圖像中會有多個學生，且高校課堂中學生的座位通常并不是固定的，而是具有流動性，首先需要定位出學生目標，再對每個目標個體進行分類。一般的圖像分類算法中無法對目標進行精確的定位，基于此，首先考慮使用目標檢測算法（object-detection）作為基礎(chǔ)算法。同時，基于視頻流的目標檢測算法應(yīng)在準確率和時效性之間進行權(quán)衡，在犧牲可接受范圍內(nèi)的準確率的情況下，提高模型的時效性，更符合課堂的實際應(yīng)用場景。本文實驗選擇了幾種目標檢測算法在VOC 2007數(shù)據(jù)集下的訓練結(jié)果進行對比（如表1）。

SageMaker中的目標檢測算法使用的是基于SSD的目標檢測模型，并且其使用的深度學習框架為apache的Mxnet框架。SSD網(wǎng)絡(luò)是繼YOLO之后的one-stage目標檢測網(wǎng)絡(luò)，是為了改善YOLO網(wǎng)絡(luò)設(shè)置的anchor設(shè)計太過于粗糙而提出的，其設(shè)計思想主要是多尺度多長寬比的密集錨點設(shè)計和特征金字塔。本實驗在選擇SSD作為網(wǎng)絡(luò)基礎(chǔ)模型的同時，根據(jù)ResNet50-SSD算法的優(yōu)點：運行速度可以和YOLO媲美，檢測精度可以和Faster RCNN媲美，選擇使用ResNet50作為主干網(wǎng)絡(luò)。ResNet50能解決在深層網(wǎng)絡(luò)中梯度彌散和精度下降的問題，在保證精度的同時，也能夠很好地控制速度。同時根據(jù)實驗中檢測的目標大小主要由學生座位和攝像頭之間的距離決定，基于ResNet50-SSD算法對不同尺寸目標的檢測準確率都要比傳統(tǒng)的基于VGG16-SSD算法更高的理論[5]，使用ResNet50網(wǎng)絡(luò)替換傳統(tǒng)的VGG16網(wǎng)絡(luò)在本實驗中更為合理。

2.2算法優(yōu)化

為了適應(yīng)傳統(tǒng)的階梯形教室，并且提高對較遠距離的目標檢測準確度，實驗對SSD模型進行了改良，為了克服傳統(tǒng)SSD模型對小目標檢測不夠魯棒，針對教室下的特定場景，選擇了ResNet + Deconv為模型優(yōu)化方案，也就是DSSD算法[6]，來提高淺層特征圖的表征能力。提升淺層特征圖的表達能力是可以提高類似的目標檢測器對小目標的檢測能力的，以此為指導思想，對原有的SSD模型進行了改良。

DSSD的核心部分就是它對特征圖進行了反卷積，通過反卷積將高特征和低特征進行融合，最終形成沙漏型的網(wǎng)絡(luò)結(jié)構(gòu)，充分使用特征圖的特征信息。反卷積模塊基本結(jié)構(gòu)如圖2所示。

其中Deconv為反卷積，而Eltw Product將淺層和深層的特征圖在對應(yīng)的信道上做乘法運算。實驗按照DSSD的方式進行改良并在驗證集下進行驗證，最終實驗在驗證集上mAP精度到從0.872到0.905，雖然速度有所下降，但仍在可接受范圍內(nèi)，結(jié)果如表2：

2.3模型訓練

實驗中將數(shù)據(jù)集劃分為訓練集和驗證集，并存儲在AWS S3中供SageMaker訓練使用。因為訓練數(shù)據(jù)是分批到達的，訓練模型的時候使用增量法進行訓練，SageMaker允許在現(xiàn)有模型下進行增量訓練。隨著時間的推移，可能會發(fā)現(xiàn)模型生成的推理不如以前。而通過增量訓練，可以使用來自現(xiàn)有模型的構(gòu)件，并使用擴展的數(shù)據(jù)集來訓練新模型。增量訓練可以大幅度節(jié)省時間和資源。SageMaker的訓練日志集成了Amazon CloudWatch。在本文實驗中，使用了CloudWatch對訓練日志進行清洗，并對多個增量訓練任務(wù)的日志進行合并，分析其訓練效果。圖2為兩個增量訓練結(jié)果，第一次訓練時，模型的驗證集mAP指標呈現(xiàn)上升趨勢，在第二批數(shù)據(jù)到達時，因為使用了增量訓練，可以發(fā)現(xiàn)剛開始驗證集的mAP指標不高，而在一次迭代中迅速上升。

2.4使用SageMaker進行超參優(yōu)化

SageMaker提供了超參優(yōu)化服務(wù)，使用超參數(shù)優(yōu)化服務(wù)并結(jié)合增量訓練，有助于快速尋找到最佳的機器學習模型。在傳統(tǒng)機器學習模型訓練中，調(diào)整模型超參數(shù)的工作主要交由經(jīng)驗豐富的研究員執(zhí)行，并且調(diào)參時往往只能憑借研究員工作經(jīng)驗去調(diào)整，而模型的訓練效果是充滿不確定因素的，不利于高效進行模型的訓練。SageMaker提供對機器學習模型的自動超參數(shù)優(yōu)化服務(wù)，具有方便的操作，更加智能的調(diào)參服務(wù)。超參數(shù)優(yōu)化的工作原理是在啟動新的訓練作業(yè)之前，預先設(shè)置好超參數(shù)的數(shù)值調(diào)整范圍和模型訓練指標，并根據(jù)用戶指定的超參調(diào)節(jié)模式來對機器學習模型進行調(diào)優(yōu)，在用戶的數(shù)據(jù)集上運行多個訓練作業(yè)來尋找模型的最佳參數(shù)組，從而避免人工操作的諸多問題。同時SageMaker內(nèi)部也存在著自己“總結(jié)”的調(diào)參規(guī)律，對參數(shù)的選擇進行優(yōu)化處理。

SageMaker超參優(yōu)化目前支持兩大優(yōu)化模式：隨機搜索模式和貝葉斯搜索模式。本實驗中采用了貝葉斯搜索模式，借助SageMaker超參優(yōu)化對模型參數(shù)進行優(yōu)化處理，進一步提高了模型的準確率。

2.5模型驗證

在完成模型訓練之后，將模型部署至DeepLens上，將實時視頻流輸出推送至網(wǎng)頁，可以在短時間內(nèi)為教師提供反饋。DeepLens內(nèi)置算力模塊（Lambda）將視頻流逐幀推送到部署好模型進行推理處理，在項目輸出中把相關(guān)的數(shù)據(jù)分析結(jié)果通過AWS SNS（一種完全托管于AWS用于發(fā)布/訂閱機制的消息收發(fā)、SMS、電子郵件和移動推送通知的服務(wù)）發(fā)送至老師的郵箱，用于課后總結(jié)學生的課堂問題行為。

實驗把訓練好的模型部署至DeepLens攝像頭中，通過實機演練去驗證模型，選取了幾名同學到真實的教室場景和實驗室環(huán)境中去檢驗?zāi)Ｐ偷男Ч?，得到效果如圖5。

3 結(jié)論

在使用傳統(tǒng)攝像頭進行計算機視覺視頻圖像處理時，需要搭建好相關(guān)硬件和軟件的環(huán)境，該處理過程的實時性一般較差，且部署和管理難度較高，模型的訓練效果也會因本地的硬件設(shè)備受限。本實驗將課堂行為檢測與識別應(yīng)用在Serverless架構(gòu)下，借助云原生的優(yōu)勢構(gòu)建機器學習平臺。實驗中借助SageMaker不但突破了傳統(tǒng)架構(gòu)下的限制，同時借助其增量訓練模式，能在未來為模型提供更好的場景泛化能力，讓DeepLens擁有更廣闊的應(yīng)用場景。SageMaker與DeepLens結(jié)合會把未來計算機視覺推往新的高度，在云廠商提供的云生態(tài)下，應(yīng)用機器學習的門檻將變得更低，從而讓人們?nèi)Ｗ⒂趯嶋H使用的場景，將機器學習與計算機視覺結(jié)合，解決真實生活中的問題。

參考文獻：

[1] 柯斌，楊思林，曾睿，等.基于Inception V3的高校學生課堂行為識別研究[J].電腦知識與技術(shù)，2021，17（6）：13-15，29.

[2] 雷朝滋.教育信息化：從1.0走向2.0——新時代我國教育信息化發(fā)展的走向與思路[J].華東師范大學學報（教育科學版），2018，36（1）：98-103，164.

[3] 胡聰叢.無服務(wù)器計算的現(xiàn)狀以及所面臨的挑戰(zhàn)[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2019（12）：84-85.

[4] 劉暢，毋濤，徐雷.基于無服務(wù)器架構(gòu)的邊緣AI計算平臺[J].信息通信技術(shù)，2018，12（5）：45-49.

[5] 岳詩琴，張乾，邵定琴，等.基于ResNet50-SSD的安全帽佩戴狀態(tài)檢測研究[J].長江信息通信，2021（3）：86-89.

[6] Fu C Y， Liu W， Ranga A ， et al. DSSD ： Deconvolutional Single Shot Detector[EB/OL].[2021-03-10].https：//arxiv.org/abs/1701.06659.

【通聯(lián)編輯：唐一東】

收稿日期：2021-10-15

作者簡介：陸仟禧（2000—），男，廣東茂名人，本科，研究方向為云計算與大數(shù)據(jù)技術(shù);梁文耀（1999—），男，廣東肇慶人，本科，研究方向為云計算與大數(shù)據(jù)技術(shù);李琳（1999—），女，廣東潮州人，本科，研究方向為云計算與大數(shù)據(jù)技術(shù);鄧一星（1980—），男（壯族），廣西南寧人，講師，碩士，研究方向為云計算與大數(shù)據(jù)技術(shù)。

3709500338290