專注度識別研究綜述

孫帥成　劉瑞明

摘 ?要：效率是工作者最關(guān)心的問題之一，而專注度是影響效率高低的關(guān)鍵因素。近年來，人們對個(gè)人的專注度的重視程度大大提升，提出了很多針對專注度的判斷方法，例如人工觀察、問卷調(diào)查、訪談等。這些方法可信度不高、客觀程度不夠、效率低下、浪費(fèi)資源等，在機(jī)器視覺快速發(fā)展的情況下，將機(jī)器視覺和專注度識別相結(jié)合，更加智能和高效地進(jìn)行專注度識別。該文對國內(nèi)外的研究歷程和進(jìn)展進(jìn)行了回顧，并從基于人臉表情的專注度識別和基于行為的專注度識別兩個(gè)方面對人臉專注度識別技術(shù)進(jìn)行了闡述。最后探討了專注度識別的發(fā)展趨勢，為后來者提供借鑒。

關(guān)鍵詞：專注度 ?機(jī)器視覺 ?人臉表情識別 ?行為識別

中圖分類號：TP18 ? ? ? ? 文獻(xiàn)標(biāo)識碼：A ? ? ? ? ? ?文章編號：1672-3791（2021）02（a）-0006-04

A Review of Research on Attentiveness Recognition

SUN Shuaicheng1 ?LIU Ruiming2*

（1.School of Mechanical and Marine Engineering， Jiangsu Ocean University; 2.School of Electronic Engineering， Jiangsu Ocean University， Lianyungang， Jiangsu Province， 222005 China）

Abstract：Efficiency is one of the concerns of workers and concentration is a key factor affecting efficiency. In recent years， our emphasis on personal concentration has greatly increased and many judgments on concentration methods such as manual observation， questionnaire surveys， interviews， etc. These methods have low credibility， insufficient objectivity， low efficiency and waste of resources. In the case of rapid development of machine vision， machine vision and concentration recognition are combined to more intelligently and efficiently recognize concentration. This article reviews the research history and progress at home and abroad， and explains the facial recognition technology from two aspects： facial expression-based concentration recognition and behavior-based concentration recognition. Finally， it discusses the development trend of concentration recognition and provides a reference for the latecomers.

Key Words：Attentiveness; Machine vision; Face expression recognition;Behavior recognition

專注度識別有多種方法，例如，基于人臉表情識別的專注度識別和基于行為的專注度識別，其中基于面部表情的專注度識別是一個(gè)研究熱點(diǎn)。人的情感是一個(gè)相當(dāng)復(fù)雜的心理過程，每個(gè)人的情感表達(dá)也有很多方式，我們將情感的表達(dá)分成3類：表情、語言、動(dòng)作。這3類中，語言和動(dòng)作的欺詐行為的易操作性遠(yuǎn)遠(yuǎn)比人臉表情高，依靠表情表現(xiàn)出的信息更為可靠。基于面部表情的專注度識別就是利用攝像頭來獲取面部的表情特征信息，并通過計(jì)算機(jī)來進(jìn)行解析，然后對解析結(jié)果進(jìn)行專注度判別。此類技術(shù)具有非常巨大的應(yīng)用前景，例如教育教學(xué)、安全駕駛、市場調(diào)查、產(chǎn)品評估、裝備智能化等。

1 ?基于面部表情的專注度識別方法

情緒是一種主觀認(rèn)知經(jīng)驗(yàn)的統(tǒng)稱，會對人的記憶、感知、思維等活動(dòng)產(chǎn)生影響，不同的情感狀態(tài)會對專注度產(chǎn)生不同的影響，而不同的情感狀態(tài)表現(xiàn)在不同的面部表情上，通過對表情的判斷可以判別專注度的狀態(tài)。隨著科技的進(jìn)步，數(shù)據(jù)的重要性越來越高，表情識別的數(shù)據(jù)庫越來越豐富，各種研究機(jī)構(gòu)也越來越多進(jìn)入這一領(lǐng)域。

何秀玲等人[1]提出基于深度學(xué)習(xí)模型的自發(fā)學(xué)習(xí)表情識別，將課堂中的情緒分為5類，分別為困惑、快樂、疲倦、驚訝和中性。文中提出了一種融合局部幾何特征、全局CLBP特征和CNN深度特征的特征提取方法;并構(gòu)建了自發(fā)學(xué)習(xí)表情數(shù)據(jù)庫，包含22名被測者共979張表情圖像。文中算法在自建庫中識別率為95.6%，并在中國化情緒圖片系統(tǒng)和CK+庫中分別達(dá)到了86.7%和96.3%，提高了識別率。

唐康[2]基于深度學(xué)習(xí)，將表情識別與課堂教學(xué)評價(jià)相結(jié)合，通過對人眼與頭部姿態(tài)、唇部姿態(tài)等特征研究，定義了傾聽、疑惑、理解、抗拒、不屑5種表情。通過對學(xué)習(xí)者表情的識別結(jié)合抬頭率，實(shí)現(xiàn)對學(xué)生專注度的分析。

郭曉旭[3]將微表情技術(shù)與專注度相結(jié)合，提出了基于微表情識別的學(xué)生課堂專注度分析系統(tǒng)，采用了綜合深度學(xué)習(xí)框架FATAUVA-Net[4]，將動(dòng)作單元與效價(jià)喚醒空間相結(jié)合，通過學(xué)習(xí)者在愉快維的情感狀態(tài)結(jié)合喚醒維和興趣維的強(qiáng)度，實(shí)現(xiàn)對學(xué)習(xí)者的情緒識別，更全面地對學(xué)習(xí)者的學(xué)習(xí)狀態(tài)進(jìn)行評價(jià)，并分為注意力非常集中、集中、不集中、非常不集中4種狀態(tài)。

徐振國[5]將學(xué)習(xí)者的情感表情分為常態(tài)、高興、悲傷、驚恐、憤怒、專注、走神7種類型并采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行表情識別，同時(shí)同步采集與學(xué)習(xí)者情感對應(yīng)的學(xué)習(xí)畫面，建立學(xué)習(xí)畫面情感圖像庫，探究了不同的畫面和情感對學(xué)習(xí)者的影響。

2 ?基于行為的專注度識別

除了上述基于面部表情的專注度識別，基于行為的專注度也是研究熱潮。通過對人的眼睛張合、哈欠、低頭抬頭、身體朝向等行為作為判斷基準(zhǔn)來判斷專注度。以教育教學(xué)為例，主要列舉了3種方法，一是以抬頭低頭為判斷基準(zhǔn)的專注度判別方法;二是以人眼張合度為判斷基準(zhǔn)的方法;三是結(jié)合面部和身體特征為判斷基準(zhǔn)的方法。

2.1 以抬頭低頭為判斷基準(zhǔn)的方法

學(xué)生課堂中的專注度識別是相當(dāng)復(fù)雜的，這里取其中抬頭低頭作為識別專注度的一個(gè)標(biāo)準(zhǔn)，將大多數(shù)人的行為意向作為專注意向，當(dāng)大多數(shù)人抬頭的時(shí)候，低頭的人專注度較低。

孫亞麗[6]將文獻(xiàn)法、觀察法統(tǒng)計(jì)法等相結(jié)合，在C++和OpenCV環(huán)境下編寫了人臉檢測程序，每50幀檢測一次課堂中學(xué)生的抬頭低頭的情況，并適合學(xué)生成績進(jìn)行綜合考慮，研究了不同同學(xué)的專注度差異和課堂中高專注度的時(shí)間段的分布。研究表明，在70～90分的分?jǐn)?shù)段的學(xué)生的專注度最高，50～60分的分?jǐn)?shù)段專注度最低，而90～100分的學(xué)生專注程度略低于70～90分的學(xué)生。這是由于90～100分的學(xué)生的學(xué)習(xí)能力和接受程度都偏高，通過較少的專注時(shí)間就接受了老師傳授的知識，并且還總結(jié)出了每節(jié)課的專注度高峰期有3個(gè)，主要分布在課堂的前10 min、中段21～30 min和下課前的5 min。老師可以根據(jù)上述數(shù)據(jù)對不同層次的學(xué)生因材施教，使每個(gè)學(xué)生都得到最大程度的發(fā)展，提高教育的有效性。

但是這種判斷基準(zhǔn)仍然存在明顯的缺點(diǎn)，光憑借抬頭、低頭對于學(xué)生的專注度識別來說還是不夠準(zhǔn)確，抬頭的學(xué)生也有存在發(fā)呆走神的情況。

2.2 以人眼張合度為判斷基準(zhǔn)的方法

為彌補(bǔ)上述缺陷，在以抬頭、低頭為判斷基準(zhǔn)的基礎(chǔ)上，段巨力[7]進(jìn)行了改進(jìn)，增加了在大多數(shù)同學(xué)抬頭的情況下對于抬頭的學(xué)生的人臉檢測，在都是抬頭無法判斷是否有人專注度下降時(shí)，再通過眼睛張合度來判斷每個(gè)學(xué)生的專注度。

在人臉定位之后進(jìn)行對人眼的定位，通過矩形定位將不規(guī)則的人眼睛化為矩形，得到了矩形的長度和寬度，提高了算法效率，為計(jì)算人眼張合度提供便利。人眼的張合度就是指人眼張開程度[8]，眼睛睜得越大，眼球露出的面積就越大，人的專注度就越高，在人臉識別中，將人眼部分用矩形標(biāo)識出來，用來計(jì)算張合度，其數(shù)學(xué)公式可以表示為：

（1）

式中，ZHD為人眼張合度，H為眼睛的高度，W為眼睛的寬度。

計(jì)算出人眼張合度后，將被測目標(biāo)的人眼張合度與最大人眼張合度相比，得到的就是專注度（ZZD）。

通過對ZZD（專注度）值的判斷來確認(rèn)專注度的高低。在實(shí)驗(yàn)樣本為一個(gè)班60人的情況下，這種算法對于專注度的準(zhǔn)確率達(dá)到了92%，而傳統(tǒng)的FB（特征綁定）專注度算法的準(zhǔn)確率只有80%，大大提高了識別的準(zhǔn)確率。但是仍然存在著問題，每個(gè)學(xué)生的數(shù)據(jù)過于龐大，需要逐幀分析學(xué)生的抬頭、低頭的有效次數(shù);并且每個(gè)學(xué)生的眼睛大小不同，需要對每個(gè)學(xué)生建立數(shù)據(jù)庫存儲各自的數(shù)據(jù)，計(jì)算量巨大;同時(shí)對于圖像的質(zhì)量要求也很高，圖像越清晰監(jiān)測的效果就越好。

2.3 結(jié)合面部和身體特征為判斷基準(zhǔn)的方法

Janez Zaletelj與Andrej Ko?ir[9]使用Kinect One傳感器獲取數(shù)據(jù)特征，將面部特征與身體特征相結(jié)合，并設(shè)計(jì)訓(xùn)練了7個(gè)簡單到復(fù)雜的分類器來判斷注意狀態(tài)，具體關(guān)系見圖1。

實(shí)驗(yàn)人員為斯洛文尼亞一所公立大學(xué)的22名本科生。對于身體特征，Janez Zaletelj等人使用Kinect傳感器在授課過程中記錄了學(xué)生的視頻和3D數(shù)據(jù)，并使用Matlab中的腳本Kin2 Toolbox for Matlab，實(shí)時(shí)特征提取了視頻中的骨骼，并以矢量標(biāo)記表示（以傳感器為原點(diǎn)建立的坐標(biāo)系）。對于面部特征，使用了Kinect SDK 2.0人臉跟蹤引擎，并以教室左上角為原點(diǎn)建立坐標(biāo)系來表示各個(gè)測試人的凝視點(diǎn)的位置，通過關(guān)系圖對數(shù)據(jù)進(jìn)行訓(xùn)練。

該方法的測試結(jié)果顯示在短時(shí)間的專注度下降情況下，檢測效果好，準(zhǔn)確率達(dá)到0.753，但是在長時(shí)間的維持低專注度姿勢時(shí)檢測準(zhǔn)確度只有0.55。

3 ?結(jié)論

在教育方面，前人的研究大多只是專注于提高學(xué)生的學(xué)習(xí)效率，而沒有更多地將注意力集中于識別學(xué)生的專注度，將人臉專注度識別技術(shù)與教育相結(jié)合，將課堂上學(xué)生是否認(rèn)真判斷從老師主觀判斷中解放出來，將專注程度數(shù)據(jù)化、直觀化、客觀化，這是一種新型的創(chuàng)新領(lǐng)域。這種專注度的研究讓老師更加了解學(xué)生的學(xué)情，能更高效地利用教師資源，更容易達(dá)到因材施教的目的，讓每個(gè)學(xué)生都能得到最符合自身情況的教學(xué)，讓老師可以更科學(xué)地授課，調(diào)動(dòng)每個(gè)學(xué)生上課的積極性，提高學(xué)習(xí)效率。

人臉專注度識別是建立在人臉表情識別的基礎(chǔ)上的，高速發(fā)展的人臉表情識別技術(shù)帶動(dòng)了專注度識別的發(fā)展，盡管經(jīng)過幾十年的努力，在人臉專注度識別方面已經(jīng)取得了許多成果，但是各種算法仍還在摸索當(dāng)中，還有許多需要改進(jìn)的地方值得我們深究。

3.1 對于表情分辨的準(zhǔn)確度和精細(xì)程度有待提高

人臉表情識別區(qū)別于人臉識別的地方是人臉識別注重于區(qū)別不同人臉的不同特征，面部表情是作為干擾信號存在，而人臉表情識別則是分辨一張人臉上的不同情緒導(dǎo)致面部的細(xì)微區(qū)別，個(gè)體差異反而變成了干擾因素。專注度是在表情識別的基礎(chǔ)上再結(jié)合實(shí)際情況，對每個(gè)人的認(rèn)真程度進(jìn)行區(qū)分，這對于表情的分辨要求更高。對于人臉的情緒特征表示方法還需要進(jìn)一步改進(jìn)。

（2）降低外界對于圖像識別準(zhǔn)確率的干擾。在拍攝圖像時(shí)，很難保證每張臉都是正對攝像頭，總會存在偏轉(zhuǎn)、被遮擋、光線干擾、與背景相似度過高等問題，需要在對圖像進(jìn)行預(yù)處理之前就先進(jìn)行篩選，選出有效的圖像進(jìn)行識別，以降低計(jì)算機(jī)的計(jì)算量。

本文對人臉專注度識別進(jìn)行了歸納與探討，闡述了專注度識別中各步驟所采用的方法、原理和特點(diǎn)。研究了課堂情況下的學(xué)生的專注程度，介紹了幾種不同基準(zhǔn)下的識別學(xué)生專注程度的方法，并分析了幾種方法的優(yōu)缺點(diǎn)，為該領(lǐng)域的研究人員繼續(xù)研究提供參考。

參考文獻(xiàn)

[1] 何秀玲，高倩，李洋洋，等.基于深度學(xué)習(xí)模型的自發(fā)學(xué)習(xí)表情識別方法研究[J].計(jì)算機(jī)應(yīng)用與軟件，2019，36（3）：180-186.

[2] 唐康.人臉檢測和表情識別研究及其在課堂教學(xué)評價(jià)中的應(yīng)用[D].重慶師范大學(xué)，2019.

[3] 郭曉旭. 基于微表情識別的學(xué)生課堂專注度分析系統(tǒng)研究[D].云南師范大學(xué)，2019.

[4] Chang W Y， Hsu S H， Chien J H.Fatauva-net： An integrated deep learning framework for facial attribute recognition， action unit （au） detection， and valence-arousal estimation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshop.2017.

[5] 徐振國.智慧學(xué)習(xí)環(huán)境中學(xué)習(xí)畫面的情感識別及其應(yīng)用[D].山東師范大學(xué)，2019.

[6] 孫亞麗.基于人臉檢測的小學(xué)生課堂專注度研究[D].湖北師范大學(xué)，2016.

[7] 段巨力.基于機(jī)器視覺的學(xué)生上課專注度的分析評測系統(tǒng)[D].浙江工商大學(xué)，2018.

[8] 左國才，王海東，陳林書，等.基于人臉識別技術(shù)的現(xiàn)代學(xué)徒制學(xué)習(xí)效果評價(jià)研究[J].智能計(jì)算機(jī)與應(yīng)用， 2019，9（2）：116-118.

[9] Zaletelj J ， Koir A . Predicting students' attention in the classroom from Kinect facial and body features[J]. Eurasip Journal on Image & Video Processing， 2017， 2017（1）：80.

①作者簡介：孫帥成（1995—），男，碩士在讀，研究方向?yàn)槟Ｊ阶R別。

通信作者：劉瑞明（1975—），男，博士，教授，研究方向?yàn)槟Ｊ阶R別與智能系統(tǒng)、智能控制、圖像處理等方面， ?E-mail：raymondrmliu@126.com。