面向VR教育應(yīng)用的課堂學(xué)生注意力檢測系統(tǒng)研究

鄭杰輝

(廈門海洋學(xué)院 信息工程學(xué)院，福建 廈門 361000)

虛擬教室是虛擬現(xiàn)實(Virtual Reality，VR)技術(shù)在教育領(lǐng)域的應(yīng)用成果，這種革新的教育模式能給學(xué)生帶來全新的學(xué)習(xí)體驗．作為教育升級的關(guān)鍵技術(shù)[1]，VR技術(shù)讓學(xué)生即使身處教室也可以在任何地方進行實地考察，也可以讓學(xué)生在安全的條件下了解不同的機械及其工作原理，從而減少對安全性和成本的擔(dān)憂．VR可以為學(xué)生帶來深刻的學(xué)習(xí)體驗，但同時一些干擾因素也會分散學(xué)生的注意力[2]．視線可視化技術(shù)可以幫助老師識別注意力分散的學(xué)生，然后老師可以根據(jù)實際情況調(diào)整課程教學(xué)的安排，以更好地指導(dǎo)這些學(xué)生朝著感興趣的對象發(fā)展．本文立足于VR技術(shù)在教育領(lǐng)域的應(yīng)用，設(shè)計了多種視線可視化技術(shù)來檢測課堂上注意力分散的學(xué)生，以促進VR教育的發(fā)展．

1 視線可視化技術(shù)

本研究實現(xiàn)了六種可視化技術(shù)來表示VR中的視線凝視(如圖1所示)，包括：凝視環(huán)、凝視點、凝視箭頭、凝視軌跡、帶有箭頭的凝視軌跡和凝視熱圖．前三種技術(shù)僅考慮當(dāng)前的凝視點[3-4]．在每個凝視點處，可視化指示器顯示在被凝視對象的前面．這種可視化技術(shù)可以避免指示器混淆進入凝視場景中，以便于確保指示器的清晰視圖．而后三種可視化技術(shù)不僅可以顯示當(dāng)前凝視點，還看顯示歷史的凝視數(shù)據(jù)[5]．所有這些技術(shù)都適用于多用戶的場景，不同用戶的視線都可以用不同類型的指示器表示．

凝視環(huán)：這種技術(shù)使用有色的空心圓環(huán)來表示視線的注視位置(見圖1(a))，并能減少指示器對虛擬視野的遮擋和查看對象的干擾．

凝視點：這種技術(shù)與凝視環(huán)相似，只是將空心圓換成圓盤作為指示器(請參見圖1(b))． 圓盤的大小小于圓環(huán)，以最大程度地減少對場景的阻擋．

凝視箭頭：如圖1(c)所示,該技術(shù)用三維箭頭表示視線凝視，箭頭尖端位于當(dāng)前注視點．箭頭能比較直觀地指示出感興趣對象的位置．

凝視軌跡：凝視軌跡能表示一定時間范圍內(nèi)凝視點的集合(見圖1(d))．使用粒子系統(tǒng)實現(xiàn)軌跡，即通過粒子發(fā)射器移動到每個新的凝視點來形成移動凝視軌跡．

帶有箭頭的凝視軌跡：該技術(shù)類似于凝視軌跡，但是此軌跡是使用靜態(tài)線段(而不是粒子)渲染的，并且采用箭頭來指示凝視移動方向(請參見圖1(e))．將線段添加到視線凝視點之間，線段的長度需要滿足最小長度的需求(即非?？拷囊暰€點之間不添加線段)，并在每三個線段中繪制一個箭頭．在添加新線段的同時，把最舊的線段刪除．在軌跡的前面繪制了一個小球體，以突出當(dāng)前的凝視點．由于該技術(shù)能夠呈現(xiàn)視線的歷史軌跡，因此該技術(shù)能更有效地檢測學(xué)生是否分心．

凝視熱圖：該技術(shù)將凝視點聚集在一起以創(chuàng)建具有代表聚集密度的顏色圖像(如圖1(f)所示)．通常，紅色與視覺關(guān)注度更高的區(qū)域相關(guān)聯(lián)，對應(yīng)于給定位置附近的更多凝視點．我們將該技術(shù)應(yīng)用于三維和多用戶環(huán)境．學(xué)生的凝視位置可以使用自定義著色器直接呈現(xiàn)在對象上．每個學(xué)生都有一個不同的基本顏色，該顏色將對象的顏色覆蓋在注視點周圍，其不透明度和飽和度隨附近凝視的密度和注視點的出現(xiàn)時間而變化．來自不同學(xué)生的顏色在重疊時會加在一起．

圖1 視線可視化技術(shù)

2 視線可視化技術(shù)設(shè)計

由于篇幅有限，此處僅呈現(xiàn)視線凝視軌跡技術(shù)的算法設(shè)計過程．第一步，運動檢測和跟蹤算法將檢測每個幀中的運動對象并提取運動軌跡．首先檢測背景，并使用中值濾波器每5秒更新一次背景．然后，通過獲取每個幀和每個像素位置的背景之間的絕對差來生成前景．

通過將每個幀中的每個運動對象鏈接到下一幀中最相似的對象以實現(xiàn)對象跟蹤．通過將每個對象視為顏色分量特征空間中的一組點來定義每對圖像段之間的距離度量．使用廣義的馬氏距離作為點集之間的距離函數(shù)．

對象X和Y之間的廣義馬氏距離D(X，Y)為：

(1)

(2)

其中，nX和nY分別表示集合X和Y的基數(shù)．為了跟蹤所有對象并有系統(tǒng)地提取運動軌跡，使用分層圖來表示視頻中的運動對象．在分層圖中，節(jié)點被劃分為L1，…，Ln，邊都在相鄰層之間．圖中的每一層代表一個幀，并包含幾個節(jié)點，這些節(jié)點代表該幀中的運動對象．將每層中的每個節(jié)點連接到具有最小距離的前一層節(jié)點．引入了深度優(yōu)先算法來搜索和檢測圖中的每個可能路徑．然后，使用此信息來提取運動軌跡并生成動作鏡頭摘要．

通過提取軌跡，根據(jù)運動的時空特征提供交互式過濾和特定事件的檢索．用戶可以選擇感興趣的區(qū)域，然后系統(tǒng)會自動應(yīng)用過濾器，并僅保留運動軌跡與感興趣的區(qū)域相交的那些運動事件．對于每個運動事件，通過提取每幀中的運動對象并將其添加到背景圖像中來生成動態(tài)圖像．為了最大程度地減少兩個連續(xù)幀中的圖像片段重疊，僅當(dāng)新對象和先前添加的對象之間的重疊小于閾值，才將新對象添加到幀中．

3 有效性評估

實現(xiàn)了六種可視化技術(shù)以進行了可用性實驗，以評估它們在檢測學(xué)生注意力分散方面的有效性．考慮了只有一個學(xué)生和多個學(xué)生的場景．本實驗有2個自變量，即技術(shù)類型變量和學(xué)生模式變量，一共設(shè)置了12種實驗條件，每種實驗條件進行一次試驗．因變量是平均響應(yīng)時間和平均準確性，其中均值是針對給定用戶的給定條件得出的．對于每個試驗，將有多個干擾事件，并且每個干擾事件都將具有與其相關(guān)的響應(yīng)時間和準確性．此外，要求實驗參與者根據(jù)實驗結(jié)果給出主觀的排名．

3.1 實驗設(shè)置

實驗參與者的人數(shù)為26人，其中男性18人，女性8人，年齡從18至57歲，平均年齡25.1，有20位參與者具有使用VR設(shè)備的經(jīng)驗．實驗設(shè)置包括一臺27英寸的戴爾顯示器，一臺帶Vive控制器的HTC Vive Pro以及一臺裝有Microsoft Windows 10的PC．PC的主要配置為英特爾i7 8700K，英偉達GTX 1080圖形卡，內(nèi)存為16 GB RAM．

使用HTC Vive Pro Eye來記錄學(xué)生的視線凝視數(shù)據(jù)，并在實驗期間回放．將VR虛擬漫游用于這種教育體驗，其中老師概述紅色景點的虛擬漫游路徑的組成部分．在記錄視線凝視的過程中，學(xué)生應(yīng)該遵循預(yù)先錄制好的音頻說明，并觀察多個不同的對象．VR場景會突出當(dāng)前需要被觀察的對象以提高學(xué)生的注意力，同時VR場景會播放相關(guān)的音頻以介紹當(dāng)前對象．每個需要被觀察的對象都相應(yīng)的音頻介紹以提高學(xué)生的注意力．每個學(xué)生都以隨機的順序觀看相同的對象．最后，獲得了6個不同的數(shù)據(jù)集，每個數(shù)據(jù)集都有6個記錄．各個數(shù)據(jù)集的平均干擾水平相似，但每個多學(xué)生場景的干擾卻有所不同．

每個實驗的參與者需要經(jīng)過培訓(xùn)，以適應(yīng)VR環(huán)境并了解VR學(xué)習(xí)的過程．培訓(xùn)能夠為沒有VR使用經(jīng)驗的參與者提供幫助．參與者的任務(wù)是在每個試驗中檢測注意力分散的學(xué)生，參與者在發(fā)現(xiàn)學(xué)生注意力分散時立即按下觸發(fā)按鈕．

參與者首先在不同可視化技術(shù)中對單個學(xué)生場景進行檢測，然后再對多個學(xué)生場景進行檢測．系統(tǒng)從場景中隨機選擇并突出顯示其中一個觀察對象，并播放相應(yīng)的音頻．每當(dāng)學(xué)生的視線離開了觀察對象一秒鐘以上時，系統(tǒng)會認為學(xué)生的注意力分散事件發(fā)生了．對于每個試驗，記錄了檢測注意力分散事件的響應(yīng)時間和準確度．響應(yīng)時間定義為從學(xué)生開始分心到參與者按下觸發(fā)按鈕的時間．準確度定義為參與者正確判斷分心事件準確程度．誤報和漏報都屬于檢測錯誤．每次試驗后，實驗參與者根據(jù)對單個和多個學(xué)生場景中的可視化技術(shù)偏好進行排名．

3.2 實驗結(jié)果與分析

圖2和圖3分別呈現(xiàn)了不同場景模式下各個可視化技術(shù)的平均響應(yīng)時間和準確度．由結(jié)果可知，對于同一個場景模式，技術(shù)的類型對響應(yīng)時間和準確度幾乎沒有影響．但是，對于同一種技術(shù)類型，兩種場景模型的響應(yīng)時間和準確度之間具有較大差異．具體而言，具有多個學(xué)生的場景的準確度和響應(yīng)時間要比單個學(xué)生的場景高的多．

圖2 不同可視化技術(shù)的平均響應(yīng)時間

圖3 不同可視化技術(shù)的準確度

圖4呈現(xiàn)了單個學(xué)生和多個學(xué)生場景中的總體學(xué)生注意力分散程度、識別視線方向的容易程度以及檢測注意力分散的容易程度．由結(jié)果可知，在單個和多個學(xué)生的場景中，可視化技術(shù)不會對學(xué)生的注意力分散程度造成影響．然而，不同的可視化技術(shù)會影響識別視線方向和識別注意力分散的容易程度．在兩種場景中，當(dāng)采用凝視熱圖作為可視化技術(shù)時，實驗參與者難以發(fā)現(xiàn)學(xué)生的視線方向，也更不容易發(fā)現(xiàn)注意力分散的情況．

圖4 實驗參與者的評分結(jié)果

在完成注意力分散的檢測實驗后，每個實驗參與者按照個人的偏好對可視化技術(shù)進行排序．對于每一種技術(shù)，統(tǒng)計了將該技術(shù)排在第一位的參與者數(shù)量，結(jié)果如圖5所示．從圖5所示的結(jié)果可知，大多數(shù)的實驗參與者更傾向于采用凝視軌跡作為視線的可視化技術(shù)．

圖5 可視化技術(shù)偏好

上述的實驗結(jié)果表明，無論場景中有多少學(xué)生，所有技術(shù)的響應(yīng)時間都大致相似．沒有發(fā)現(xiàn)該技術(shù)的響應(yīng)時間有任何統(tǒng)計學(xué)上具有顯著性差異．發(fā)現(xiàn)在多個學(xué)生的場景中，注意力分散檢測的準確性明顯更高．筆者認為，如果只有一個學(xué)生，則更容易發(fā)現(xiàn)干擾．這是因為只要有一個學(xué)生出現(xiàn)注意力分散，參與者就會按下觸發(fā)按鈕．而在有多個學(xué)生的情況下，VR場景中會出現(xiàn)更多的視線表示，因此參與者就更頻繁地按下觸發(fā)按鈕．

4 結(jié)語

本研究提出了多種視線可視化技術(shù)以便于教育工作者檢測注意力分散的學(xué)生，以達到提高學(xué)生學(xué)習(xí)效率的目的．通過進行受試者內(nèi)實驗，對所提出的技術(shù)進行了深入研究．實驗結(jié)果表明，各種技術(shù)之間的響應(yīng)時間沒有顯著差異，而實驗參與者在多個學(xué)生場景中的注意力分散檢測準確度更好．本研究僅根據(jù)視線凝視數(shù)據(jù)來判斷注意力是否分散，但是即使學(xué)生的視線沒有離開觀察對象，學(xué)生仍會在精神上分心．因此，在將來的工作中，將結(jié)合更多的數(shù)據(jù)(例如心率、腦電圖等)來檢測注意力分散的學(xué)生．同時，將對視線進行過濾并僅顯示注意力分散的學(xué)生的數(shù)據(jù)．