人臉識別智慧課堂管理系統(tǒng)

南京工業(yè)大學浦江學院計算機與通信工程學院 張穎慧 戴 波

隨著現(xiàn)代信息技術和人工智能的快速發(fā)展，我們生活中的方方面面都變得越來越數(shù)字化、信息化、智能化。學校教室出現(xiàn)了各種各樣的多媒體教學設備，教學方式的數(shù)字化、信息化、智能化越來越明顯，然而教師對學生在課堂上的教學評估卻始終依賴于教師本人的主觀判斷，缺乏一定的可信度。因此利用現(xiàn)代信息技術和人工智能技術，來保證課堂評估的可信度，提高課堂評估的效率，保障整個教學過程的規(guī)范化和科學化，成為一個迫切需要解決的問題?；谌四樧R別的智慧課堂管理系統(tǒng)，提出了一種注意力機制，來對學生的上課專注情況進行分析歸納。

人臉識別技術如今已進入我們生活的方方面面，在身份識別方面運用最為廣泛，面部表情識別技術的發(fā)展在近幾十年來也取得了很大的進展，眨眼，轉頭，微笑，傷心，哭泣等表情都可以進行準確的識別。將人臉識別技術和面部表情識別技術進行結合，對學生的上課情況進行動態(tài)的數(shù)據(jù)采集與分析，從而對學生的上課專注度進行分析最終形成報告，可以作為教師對學生的平時成績進行科學規(guī)范可靠的評估依據(jù)。人臉識別智慧課堂是時代發(fā)展的產物，是現(xiàn)代信息技術在教學課堂的創(chuàng)新應用，教師可以根據(jù)學生上課的專注情況及時調整教學計劃，提高教學質量。對學生的整個學習過程進行一個科學規(guī)范的分析，從課程考勤，到教學監(jiān)督，再到成績評估，構建了一個更加科學規(guī)范的教學模式，使得教師對學生的評估更加規(guī)范、科學和精確，極大地提高了教學效率，促進了教學方式的創(chuàng)新和進步。

1 系統(tǒng)相關技術

1.1 服務端開發(fā)技術

1.1.1 SpringBoot

SpringBoot是所有基于Spring開發(fā)的項目的起點，SpringBoot不是什么新的框架，而是默認配置了很多框架的使用方式，SpringBoot整合了所有的框架。

1.1.2 Swagger

Swagger是一個用于生成、描述和調用RESTful接口的一種Web服務，把相關的信息存儲在它定義的描述文件里，對描述文件進行維護便可以去更新接口文檔，以及生成各端代碼。代碼即接口文檔，接口文檔即代碼。

1.1.3 Shiro

Apache Shiro是一個靈活強大且易用的Java開源安全框架，可對身份驗證、授權、密碼和會話進行處理和管理，可以快速輕松地獲得應用程序，包含Subject，SecurityManager和Realms三個核心組件。

1.2 客戶端開發(fā)技術

1.2.1 Vue

Vue是構建用戶界面的漸進式的前端框架，是互聯(lián)網(wǎng)最火的前端框架，它的核心庫只關注視圖層，響應的數(shù)據(jù)綁定、可組合的視圖組件、虛擬DOM和聲明式渲染是Vue的核心特點。

1.2.2 Elementui-Antv

Antv是螞蟻金服可視化技術，提供了一套簡單便捷、專業(yè)可靠的數(shù)據(jù)可視化方案。阿里巴巴可視化技術，天貓，淘寶，支付寶，花唄均使用Antv。

1.3 模式識別技術

1.3.1 OpenCV

OpenCV是一個輕量高效的基于BSD許可發(fā)行的跨平臺計算機視覺和機器學習軟件庫，可以運行在多種操作系統(tǒng)上，實現(xiàn)了圖像處理和計算機視覺方面很多算法。

1.3.2 百度AI識別平臺

百度AI識別平臺提供了全球領先的語音、圖像、NLP等多項人工智能技術，共享AI領域最新的應用場景和解決方案，可以幫助各行業(yè)高效靈活地實現(xiàn)AI升級。

2 系統(tǒng)分析

2.1 功能用例分析

系統(tǒng)管理員主要有兩方面的功能，分別是信息管理和系統(tǒng)管理，信息管理包含學生管理、班級管理、教室管理、課程管理、專業(yè)管理、學院管理以及教師管理，系統(tǒng)管理包含用戶管理，用戶角色管理、角色權限管理以及系統(tǒng)日志管理。系統(tǒng)管理員用例圖如圖1所示。

圖1 系統(tǒng)管理員用例圖

教務人員主要有三方面的功能，分別是查看各類匯總的數(shù)據(jù)報告、個人中心的基本功能以及權限管理。數(shù)據(jù)報告包含學生報告、班級報告、專業(yè)報告、學院報告等，權限管理包含變更學生的基本信息如班級年級等，權限管理還包含更改教師的權限，如指定教師只能查看他所任課班級的學生信息。教務用戶用例圖如圖2所示。

圖2 教務人員用例圖

2.2 系統(tǒng)功能概述

本系統(tǒng)的主要功能包含以下幾個方面：

（1）信息管理

包含對學生、班級、專業(yè)、學院、教師、課程、課堂、教室等基本信息的管理。

（2）數(shù)據(jù)報告

對課堂上的人臉識別與監(jiān)測得到的數(shù)據(jù)進行整理分析匯總。

（3）人像采集

包括視頻采集和圖像處理。

（4）人像標識

包括身份標識、疲勞標識與情緒標識等功能。

（5）系統(tǒng)管理

包括數(shù)據(jù)庫管理、用戶管理、用戶角色管理、角色權限管理以及系統(tǒng)日志管理等功能。

3 系統(tǒng)設計

3.1 功能需求描述

（1）信息管理

信息管理包括學生的學號、姓名、班級、專業(yè)等信息；專業(yè)的名稱、學院等信息；學院的名稱、開設專業(yè)等信息；教師的姓名、教師編號等信息；課程的名稱、課程號、上課教室、上課時間、授課教師，監(jiān)控等信息。不同的角色有不同的執(zhí)行權限，比如只有教務人員與系統(tǒng)管理員才具有增刪改的操作權限，其他角色只能查看這些信息。

（2）人像采集

人像采集包括監(jiān)控管理以及視頻流采集處理。監(jiān)控管理包括對監(jiān)控視頻的增刪查改，播放視頻等。視頻流采集處理是系統(tǒng)對教室監(jiān)控攝像頭錄制的視頻進行視頻幀的提取與處理。

（3）人像標識

包括圖像預處理、人像檢測以及人像標識。圖像預處理是對視頻流按照一定時間間隔進行視頻幀的提取與處理。人像檢測是依據(jù)人臉識別算法，將攝像頭拍到的圖像與數(shù)據(jù)庫中學生的圖像進行比對。人像標識包括身份標識、疲勞標識以及情緒標識，對人像進行識別處理。

（4）數(shù)據(jù)報告

由系統(tǒng)進行人像采集與標識后，對學生的出勤、抬頭情況、疲勞程度、表情變化等課堂上產生的數(shù)據(jù)進行統(tǒng)計匯總，自動生成一種具有高可讀性的可以根據(jù)不同單位進行查看的報告。

3.2 功能結構圖設計

本平臺的系統(tǒng)功能如圖3所示。

圖3 智慧課堂分析系統(tǒng)功能結構圖

人工智能技術的不斷發(fā)展對現(xiàn)代社會產生了很大的影響，基于如今學校對學生的學情分析大多依賴于教師的主觀判斷，缺乏一定的可信度，因此將人工智能技術運用到課堂上，促進智慧課堂的發(fā)展，是非常有必要的，這將極大地提高學校管理效率，為教育現(xiàn)代化、信息化、科學化提供強有力的保障。