學(xué)齡兒童在線解題行為數(shù)據(jù)可視化系統(tǒng)設(shè)計(jì)與評估

文／魏 爽,陳英杰（.江南大學(xué) 設(shè)計(jì)學(xué)院；.普度大學(xué) 理工學(xué)院）

隨著計(jì)算機(jī)的普及和網(wǎng)絡(luò)技術(shù)的進(jìn)步，在線教育軟件蓬勃發(fā)展，種類繁多。例如大規(guī)模在線開放課程為學(xué)生提供在線課程、習(xí)題、測試等教育資源。學(xué)習(xí)管理系統(tǒng)則提供了學(xué)生交流合作、互動(dòng)學(xué)習(xí)的平臺(tái)與工具。智能教學(xué)系統(tǒng)則根據(jù)學(xué)生知識(shí)水平智能調(diào)整學(xué)習(xí)進(jìn)度和習(xí)題難度以滿足不同學(xué)生的個(gè)性化需求。如今基于互聯(lián)網(wǎng)的學(xué)習(xí)軟件及平臺(tái)往往匯集多種教學(xué)手段，提供豐富的學(xué)習(xí)資源。同時(shí)這些在線教學(xué)軟件能夠?qū)崟r(shí)記錄學(xué)生的學(xué)習(xí)行為數(shù)據(jù)，如登錄時(shí)間、登錄時(shí)長、做題數(shù)目、正確與否、鼠標(biāo)操作，甚至眼睛移動(dòng)，并作為日志數(shù)據(jù)存檔。大部分軟件都會(huì)基于日志數(shù)據(jù)提供學(xué)生學(xué)習(xí)報(bào)告來展現(xiàn)學(xué)生學(xué)習(xí)進(jìn)度和解題正確率。但復(fù)雜學(xué)習(xí)行為數(shù)據(jù)例如鼠標(biāo)移動(dòng)及眼動(dòng)往往因?yàn)閿?shù)據(jù)難以被分析、展現(xiàn)和理解而被舍棄。這就造成了老師知道學(xué)生做錯(cuò)了某道題，但不知道學(xué)生是如何做錯(cuò)的。

本文采用可視化分析手段來分析展現(xiàn)學(xué)齡兒童的解題行為數(shù)據(jù)包括做題時(shí)長、眼動(dòng)及鼠標(biāo)操作等，幫助教育工作者理解學(xué)生的解題過程、解題策略與困難。

一、學(xué)習(xí)數(shù)據(jù)分析與可視化

1.1 眼動(dòng)數(shù)據(jù)分析與可視化

眼動(dòng)追蹤技術(shù)被廣泛應(yīng)用于神經(jīng)科學(xué)、心理學(xué)、教育學(xué)和人機(jī)交互相關(guān)的研究中[1-3]。在教育研究中，眼動(dòng)追蹤技術(shù)研究的主題包括信息處理、解題策略、決策制定、個(gè)體差異等[4，5]。研究方法包括用注視軌跡圖（Gaze Plot）[6]和熱圖（Heatmap）[7]來展示學(xué)生的注意力分布，定性地揭示學(xué)生是否對特定信息長時(shí)間關(guān)注。學(xué)生在興趣區(qū)（Areas of Interest,AOI）內(nèi) 的 注 視（Eye Fixation）次數(shù)和注視時(shí)長也被統(tǒng)計(jì)出來，以定量的方式揭示學(xué)生的注意力分布。另外一些研究還將眼動(dòng)與定性研究方式如Think Aloud觀察法、訪談相結(jié)合來探索學(xué)生的學(xué)習(xí)行為、認(rèn)知過程，或識(shí)別學(xué)生之間的學(xué)習(xí)行為差異。

眼動(dòng)數(shù)據(jù)可視化方式根據(jù)需要展示的眼動(dòng)數(shù)據(jù)維度而變化。對于單一維度的眼動(dòng)數(shù)據(jù)如注視次數(shù)、注視時(shí)長，簡單的柱狀圖、熱圖就可以清晰展示。而針對多維眼動(dòng)數(shù)據(jù)，可視化設(shè)計(jì)需要展現(xiàn)數(shù)據(jù)的時(shí)空屬性。設(shè)計(jì)者提出了“興趣區(qū)河流”(AOI rivers)[8]、時(shí)間軸可視化(Timeline Visualization)[9]等可視化設(shè)計(jì)。即將交互界面劃分為若干興趣區(qū)，在時(shí)間軸上以興趣區(qū)為單位，展現(xiàn)不同時(shí)間點(diǎn)用戶對各興趣區(qū)的關(guān)注程度。但需要注意的是，這些設(shè)計(jì)并沒有作為可視化分析手段被用于教育相關(guān)的眼動(dòng)數(shù)據(jù)研究中。目前眼動(dòng)可視化設(shè)計(jì)還局限于單一數(shù)據(jù)展示功能。

1.2 鼠標(biāo)移動(dòng)數(shù)據(jù)分析與可視化

鼠標(biāo)移動(dòng)數(shù)據(jù)包括鼠標(biāo)點(diǎn)擊次數(shù)、點(diǎn)擊位置、移動(dòng)速度和移動(dòng)路徑等。教育研究中，鼠標(biāo)點(diǎn)擊被用以描繪學(xué)生學(xué)習(xí)進(jìn)度，尤其是在需要點(diǎn)擊的學(xué)習(xí)場景中。ANTONENKO等[10]采用聚類分析法（一種群體數(shù)據(jù)分類方法）分析來自在線學(xué)習(xí)環(huán)境的點(diǎn)擊流數(shù)據(jù)。經(jīng)分析和匯總后，點(diǎn)擊流數(shù)據(jù)提供了有關(guān)訪問任務(wù)的順序和學(xué)習(xí)者在學(xué)習(xí)環(huán)境中前進(jìn)的速度以及花費(fèi)在任務(wù)上的時(shí)間等信息。而鼠標(biāo)移動(dòng)路徑分析較為復(fù)雜，在教育中采用較少。近年來被作為一種行為心理學(xué)的研究方法來揭示人們的情緒、認(rèn)知和心理。

目前針對鼠標(biāo)移動(dòng)數(shù)據(jù)的可視化非常有限，多數(shù)采用傳統(tǒng)圖表和軌跡圖，更多的研究側(cè)重于分析數(shù)據(jù)得出結(jié)論而不是數(shù)據(jù)可視化。但鼠標(biāo)移動(dòng)數(shù)據(jù)是學(xué)生在線學(xué)習(xí)行為的一部分，特別是在需要鼠標(biāo)操作的學(xué)習(xí)場景中，鼠標(biāo)移動(dòng)數(shù)據(jù)能夠直接展現(xiàn)學(xué)生的學(xué)習(xí)過程。因此在學(xué)習(xí)行為數(shù)據(jù)可視化設(shè)計(jì)中鼠標(biāo)移動(dòng)數(shù)據(jù)是不可或缺的一部分。

不同于單一數(shù)據(jù)可視化，學(xué)習(xí)行為數(shù)據(jù)可視化要展現(xiàn)多種數(shù)據(jù)。不僅展現(xiàn)數(shù)據(jù)本身還要描述數(shù)據(jù)產(chǎn)生的環(huán)境信息，如學(xué)習(xí)材料、題目內(nèi)容等，從而使可視化系統(tǒng)用戶充分了解學(xué)生解題行為。

二、解題行為數(shù)據(jù)可視化系統(tǒng)設(shè)計(jì)

作者收集了二三年級小學(xué)生在線解數(shù)學(xué)應(yīng)用題的解題行為數(shù)據(jù)。數(shù)學(xué)應(yīng)用題題目來源于基于概念模型的問題解決學(xué)習(xí)軟件COMPS-A（Conceptual model-based problem?）[11]。該軟件旨在增強(qiáng)學(xué)生對現(xiàn)實(shí)世界問題的理解，并提高他們創(chuàng)建代數(shù)方程式的能力。圖1是其中的一道題目。首先，題目信息被語音朗讀出來，然后語音要求學(xué)生 用 鼠 標(biāo) 拖 拽 標(biāo) 簽 （total，gave，left）到方程中，使方程式成立。如果答錯(cuò)，會(huì)有一次重試的機(jī)會(huì)，再次錯(cuò)誤之后，程序會(huì)給出正確答案并解釋。學(xué)生解題過程中，后臺(tái)會(huì)實(shí)時(shí)記錄學(xué)生解題數(shù)據(jù)包括學(xué)生答案、解題花費(fèi)的時(shí)間、眼動(dòng)數(shù)據(jù)、鼠標(biāo)點(diǎn)擊和移動(dòng)數(shù)據(jù)。作者收集了20個(gè)二三年級小學(xué)生的解題數(shù)據(jù)。

圖1 在線解題題目示例

可視化系統(tǒng)設(shè)計(jì)應(yīng)考慮數(shù)據(jù)、用戶需求以及目標(biāo)任務(wù)。在設(shè)計(jì)的初期，考慮到可視化系統(tǒng)的目標(biāo)用戶是缺少可視化閱讀經(jīng)驗(yàn)的老師和教育研究人員。簡單易懂的眼動(dòng)熱圖和鼠標(biāo)運(yùn)動(dòng)軌跡圖被用來展示學(xué)生解題行為數(shù)據(jù)。但隨后作者發(fā)現(xiàn)相對獨(dú)立的熱圖和鼠標(biāo)運(yùn)動(dòng)軌跡圖無法展現(xiàn)不同種類數(shù)據(jù)之間的關(guān)聯(lián)性，不能完整描述學(xué)生解題行為。用戶需要從不同的圖表中提取信息，建立數(shù)據(jù)聯(lián)系，構(gòu)建模型。這樣的可視化圖表加大了用戶數(shù)據(jù)理解的難度，無法有效展示學(xué)生的解題過程。因此不同類型的數(shù)據(jù)應(yīng)在同一圖表中被可視化，同一時(shí)間的學(xué)生行為數(shù)據(jù)應(yīng)被同時(shí)展示。

但可視化界面空間有限，為展示所有數(shù)據(jù)，作者嘗試拋棄原有題目界面，用簡單的文字描述題目信息，并用抽象圖形展現(xiàn)解題行為數(shù)據(jù)。結(jié)果證明完全拋棄題目界面雖然能夠給予數(shù)據(jù)可視化更大的空間和靈活度，但增加了用戶理解學(xué)生解題行為的難度，因?yàn)橛脩魺o法了解學(xué)生看到的題目是什么樣子的。因此在最終設(shè)計(jì)里，作者保留但簡化了原有題目設(shè)計(jì)。

最終解題行為數(shù)據(jù)可視化界面如圖2所示。界面包含4個(gè)部分：頂部的學(xué)生表現(xiàn)柱狀圖，中間的題目和眼動(dòng)圖，左下角的公式和鼠標(biāo)拖拽信息圖，以及右下角的指標(biāo)比較雷達(dá)圖。頂部柱狀圖描述了學(xué)生解題用時(shí)及正確率。在圖表中，有6個(gè)學(xué)生（P1～P6)，每個(gè)學(xué)生做了2道應(yīng)用題（B3.5,B7.1），每道題有2次機(jī)會(huì)。在柱狀圖中，柱的長度代表學(xué)生在解題上花費(fèi)的時(shí)間，而顏色代表解題正確與否（藍(lán)色正確，紅色錯(cuò)誤）。同時(shí)用戶可以點(diǎn)擊柱狀圖查看對應(yīng)學(xué)生的解題數(shù)據(jù)可視化圖表。

圖2 展示了學(xué)生P5在解題目B3.5過程中的眼動(dòng)、鼠標(biāo)操作及指標(biāo)雷達(dá)圖?？梢暬袘?yīng)用題題干按照語義被劃分為若干詞組。這些詞組被分為3類，分別是關(guān)鍵詞(如a total of,gave,left)、數(shù)字和其他。以詞組為單位，詞組下方的橫線代表學(xué)生的注視點(diǎn)，線的長度代表注視時(shí)長，線的縱坐標(biāo)代表注視發(fā)生的先后順序。從上到下縱坐標(biāo)越大則注視發(fā)生得越晚。線條顏色則對應(yīng)學(xué)生答案的對錯(cuò)。通過注視線的先后排列順序及顏色，用戶可以直觀地看到學(xué)生的注視順序、關(guān)注重點(diǎn)，從而了解學(xué)生是如何閱讀題目、選擇關(guān)鍵信息的。背景中的虛線將解題過程分為2個(gè)階段——題目閱讀階段和鼠標(biāo)操作階段。更好地幫助用戶了解在不同的解題階段學(xué)生的關(guān)注重點(diǎn)以及學(xué)生在不同的解題階段花費(fèi)的時(shí)間。實(shí)線則標(biāo)示了解題的開始與結(jié)束時(shí)間點(diǎn)。

在這道題中，學(xué)生被要求用鼠標(biāo)把3個(gè)標(biāo)簽total,gave,left拖拽到下方的公式中使公式“部分+部分=整體”成立。可視化中的小手圖標(biāo)表示學(xué)生在對應(yīng)縱坐標(biāo)的注視時(shí)間點(diǎn)點(diǎn)擊了對應(yīng)橫坐標(biāo)上的標(biāo)簽并拖拽到公式中。例如圖2中，學(xué)生首先拖拽了total到公式中并放在了“部分”空格中，然后拖拽了gave到公式另外一個(gè)“部分”空格，最后拖拽left到“整體”空格中?？梢暬缑嬗蚁陆堑闹笜?biāo)比較雷達(dá)圖將當(dāng)前學(xué)生的表現(xiàn)指標(biāo)如解題時(shí)間、注視次數(shù)、回視次數(shù)、鼠標(biāo)拖拽速度等與其他學(xué)生的指標(biāo)進(jìn)行對比，幫助用戶橫向評估學(xué)生解題表現(xiàn)。

圖2 解題行為數(shù)據(jù)可視化系統(tǒng)

三、解題行為數(shù)據(jù)可視化系統(tǒng)評估

在可視化系統(tǒng)評估中，作者采用了實(shí)驗(yàn)評估，任務(wù)負(fù)荷指數(shù)量表（NASA-TLX）及訪談的方法來評估可視化分析系統(tǒng)的可用性、準(zhǔn)確度及用戶體驗(yàn)。

解題行為數(shù)據(jù)可視化系統(tǒng)的首要目的是幫助教育研究人員理解學(xué)生解決問題的過程，包括迅速而準(zhǔn)確地判定學(xué)生的解題策略與解題困難。在無法直接與學(xué)生交流的情況下（線上學(xué)習(xí)），教育研究人員通常用分析學(xué)生解題視頻的方式了解學(xué)生解題過程。因此在評估實(shí)驗(yàn)中，視頻分析方法作為對照組與可視化系統(tǒng)就數(shù)據(jù)分析效率、數(shù)據(jù)分析結(jié)果的準(zhǔn)確性（一致性）進(jìn)行對比。作者在收集學(xué)生在解題行為數(shù)據(jù)的同時(shí)也用眼動(dòng)儀錄制了學(xué)生解題視頻。并且為了保證對照組與實(shí)驗(yàn)組的數(shù)據(jù)一致性，學(xué)生解題視頻中也包含學(xué)生的眼動(dòng)與鼠標(biāo)移動(dòng)信息。

可視化系統(tǒng)評估要回答的4個(gè)研究問題包括：(1)與視頻分析相比，可視化系統(tǒng)是否能幫助教育研究人員更快地判斷學(xué)生的解題策略與解題困難？(2)與視頻分析相比，可視化系統(tǒng)是否能夠幫助教育研究人員更準(zhǔn)確地判斷學(xué)生的解題策略與解題困難？(3)視頻和可視化系統(tǒng)哪個(gè)給評估者帶來了較高的任務(wù)負(fù)荷？(4)評估人員更喜歡用哪種方式來分析學(xué)生的應(yīng)用題解題過程？

7名數(shù)學(xué)教育研究工作者被招募為評估員。他們擁有數(shù)學(xué)教學(xué)經(jīng)驗(yàn)，熟悉數(shù)學(xué)在線教學(xué)軟件，且擁有教育學(xué)碩士以上學(xué)歷。他們是可視化系統(tǒng)的目標(biāo)用戶。這7名研究員被要求用視頻或可視化的方式分析9名學(xué)齡兒童，每名兒童2道應(yīng)用題（應(yīng)用題一和應(yīng)用題二）的解題過程。因?yàn)榉治鋈蝿?wù)耗時(shí)較長，該實(shí)驗(yàn)被分成2天完成。在第1天評估之前評估者需要接受半小時(shí)的可視化閱讀訓(xùn)練，來了解數(shù)據(jù)在可視化系統(tǒng)里是如何被表達(dá)的，在達(dá)到一定的可視化閱讀熟練度之后，評估者正式開始評估實(shí)驗(yàn)。每個(gè)評估者每天需要分析9個(gè)應(yīng)用題解題過程并回答問題。為確保實(shí)驗(yàn)設(shè)計(jì)的平衡性與隨機(jī)性原則，18道題被分為2組（題目組一和題目組二），每組包含一半的應(yīng)用題一和一半的應(yīng)用題二。而在每組題目里，應(yīng)用題的順序是隨機(jī)的。4名評估員被隨機(jī)挑選在第1天完成題目組一的分析，剩余的評估員在第1天完成題目組二的分析。第2天則相反。此外要確保每個(gè)應(yīng)用題解題過程被一半的評估員用視頻的方式分析，被另外一半評估員用數(shù)據(jù)可視化的方式分析。

評估員每分析完一個(gè)應(yīng)用題解題過程需要回答以下4個(gè)問題：

1)學(xué)生解題時(shí)視覺注意力的分布特點(diǎn)是什么？

(1)關(guān)注題目中的大部分信息；

(2)只關(guān)注關(guān)鍵詞或數(shù)字；

(3)很少關(guān)注題目信息；

(4)其他-請描述；

(5)不確定。

2)學(xué)生解題時(shí)鼠標(biāo)拖拽的模式是什么？

(1)每個(gè)標(biāo)簽只拖拽一次即提交，不更改答案；

(2)標(biāo)簽被多次拖拽交換位置，即提交答案前會(huì)更改答案；

(3)忘記拖拽標(biāo)簽，即沒完成公式就提交了答案。

3)你認(rèn)為在本題中，學(xué)生采用了哪種解題策略？（可多選）

(1)充分閱讀問題，構(gòu)建問題模型的策略；

(2)關(guān)鍵詞策略；

(3)按順序拖拽的策略；

(4)猜測后驗(yàn)證策略；

(5)其他-請描述；

(6)不確定。

4)你認(rèn)為該學(xué)生在解題中遇到了什么困難？（可多選）

(1)沒有困難；

(2)不能夠理解題目的字面意思；

(3)不理解公式；

(4)注意力沒有在題目上；

(5)拖拽錯(cuò)誤；

(6)其他-請描述；

(7)不確定。

在評估員完成當(dāng)天9道應(yīng)用題解題過程分析，并針對每一個(gè)應(yīng)用題解題過程回答以上4個(gè)問題之后，評估員會(huì)填寫任務(wù)負(fù)荷指數(shù)量表（見圖3）來自主評估不同的分析方法帶來的任務(wù)負(fù)荷；最后評估員將接受訪談來描述任務(wù)負(fù)荷的來源，并對可視化系統(tǒng)設(shè)計(jì)提出他們的意見。

圖3 任務(wù)負(fù)荷指數(shù)量表

在解題行為數(shù)據(jù)可視化系統(tǒng)評估中，作者收集的數(shù)據(jù)包括評估員的分析時(shí)間、答案、任務(wù)負(fù)荷指數(shù)量表評分，以及訪談獲取的定性數(shù)據(jù)，它們被用來回答可視化系統(tǒng)評估的4個(gè)研究問題。

四、解題行為數(shù)據(jù)可視化系統(tǒng)評估結(jié)果

4.1 與視頻分析相比，可視化分析是否能夠使教育研究人員更快地判斷學(xué)生的解題策略與解題困難？

圖4 展示了評估者完成分析任務(wù)所花費(fèi)的時(shí)間。藍(lán)色線條為可視化分析方法，橙色線條為視頻分析方法?？梢钥闯?，絕大多數(shù)情況下使用可視化分析方法比使用視頻分析方法花費(fèi)的時(shí)間少。此外無論是可視化分析方法還是視頻分析方法，隨著分析題目的增多，分析經(jīng)驗(yàn)的積累，分析時(shí)間在減少。而統(tǒng)計(jì)學(xué)混合線性模型分析結(jié)果也支持這一結(jié)論，即實(shí)驗(yàn)中，利用可視化方法進(jìn)行分析所需要的時(shí)間顯著少于利用視頻方法（P＜0.001）。評估者利用數(shù)據(jù)可視化方法平均需要198.54 s完成分析任務(wù)。而利用視頻分析方法完成分析任務(wù)平均需要308.64 s。不同分析方法在2天里的平均分析時(shí)長也被分別統(tǒng)計(jì)出來：利用可視化分析方法在第1天的平均分析用時(shí)為227.09 s，第2天的平均用時(shí)為169.99 s。分析時(shí)間大幅減少，但并不顯著（P=0.16）。利用視頻分析方法在第1天的平均分析用時(shí)為339.29 s，在第2天的平均用時(shí)為277.98 s，分析時(shí)間也減少了，但減少量同樣不顯著（P=0.11）。同時(shí)在第2輪中用可視化分析方法的分析時(shí)長仍顯著少于用視頻分析方法的分析時(shí)長 （時(shí)間差為107.99 s，P＜0.001）。

因此與視頻分析相比，可視化系統(tǒng)確實(shí)能夠幫助教育工作者更快速理解、分析學(xué)生解題過程。

4.2 與視頻分析相比，可視化系統(tǒng)是否能夠幫助教育研究人員更準(zhǔn)確地判斷學(xué)生的解題策略與解題困難？

評估者被要求判斷學(xué)生的注意力分布模式、鼠標(biāo)拖拽模式、解題策略以及解題困難。這些問題除鼠標(biāo)拖拽模式是有明確的答案之外，其他問題的回答都基于評估者的主觀判斷，因此沒有明確的答案。作者采取的方法是：如果有一半以上的評估員都做出了相同的判斷，那么這個(gè)判斷被認(rèn)為是題目的正確答案。這是基于評估員都有豐富的數(shù)學(xué)教學(xué)與研究經(jīng)驗(yàn)，他們的判斷是基于其專業(yè)知識(shí)與經(jīng)驗(yàn)的。如果半數(shù)以上的評估員做出了同樣的判斷，那么這個(gè)判斷被認(rèn)為是有其充分性的。如果一道題目沒有超過半數(shù)評估員同意的一致性答案，作者會(huì)在評估實(shí)驗(yàn)后召集所有評估員共同討論，決定一致性答案。每道題目都有正確答案后，評估員用不同的分析方法得出答案的正確率就可以被計(jì)算出來，從而判斷哪種分析方法能夠帶來更高的正確率。

注：vis-可視化，vid-視頻

評估員分析答案統(tǒng)計(jì)結(jié)果顯示：第1題學(xué)生的注意力分布模式，用可視化分析方法，正確率為73%，使用視頻分析方法，正確率為58%。混合線性模型證明2種分析方法的正確率有顯著差異（P=0.02）。其他變量如應(yīng)用題題目、評估者以及做題順序?qū)Ψ治龃鸢傅恼_率沒有顯著影響。第2題學(xué)生的鼠標(biāo)拖拽模式，可視化分析的正確率為89%，視頻分析的正確率為85%，兩者差異不顯著（P=0.33）。第3題學(xué)生的解題策略判斷，可視化分析的正確率為81%，視頻分析的正確率為67%，可視化分析的正確率高于視頻分析的正確率（P=0.08）。第4題學(xué)生的解題困難判斷，可視化分析的正確率為76%，視頻分析的正確率為62%，可視化分析的正確率高于視頻分析的正確率（P=0.07）。

數(shù)據(jù)分析結(jié)果表明，可視化分析方法能夠幫助研究人員更準(zhǔn)確地判斷學(xué)生的注意力分布模式。而在鼠標(biāo)拖拽模式、解題策略判斷和解題困難判斷方面，可視化分析的正確率高于視頻分析。

4.3 視頻和可視化系統(tǒng)哪個(gè)給評估者帶來了較高的任務(wù)負(fù)荷？

從表1中任務(wù)負(fù)荷指數(shù)量表評分的分析結(jié)果可以發(fā)現(xiàn)，采用可視化分析手段完成分析任務(wù)對于評估員的身體負(fù)荷和時(shí)間需求要顯著低于使用視頻分析手段。而不管使用哪種分析手段，評估者都需要付出相當(dāng)?shù)哪X力及努力。另外評估員對于分析結(jié)果的準(zhǔn)確度并不自信，有一定程度的挫敗感。相較于視頻分析來說，評估員認(rèn)為通過可視化分析手段得到的分析結(jié)果相對準(zhǔn)確，挫敗感略低。

表1 任務(wù)負(fù)荷指數(shù)量表數(shù)據(jù)的分析結(jié)果

考慮到分析任務(wù)本身的難度，以上結(jié)果并不意外。評估員在無法跟學(xué)生直接交流的情況下，根據(jù)學(xué)生行為判斷其認(rèn)知和心理并不容易，需要投入大量精力。除任務(wù)本身難度之外，不同分析方法也對評估者提出了不同的要求。根據(jù)評估員在訪談中的反饋，使用可視化分析方法時(shí)，評估者需要充分理解數(shù)據(jù)在可視化中是怎樣表達(dá)的，從而獲取正確的信息。此外評估者要考慮數(shù)據(jù)之間的關(guān)系，綜合不同類型的數(shù)據(jù)還原學(xué)生解題過程。而使用視頻分析方法的時(shí)候，雖然實(shí)驗(yàn)中視頻可以被暫停，回放，快放，慢放，但因?yàn)橐曨l是動(dòng)態(tài)的，評估者需要不斷地記憶信息并對信息進(jìn)行比較，做出判斷。這極大增加了評估者的認(rèn)知負(fù)荷。部分評估員反映他們在使用視頻分析的過程中出現(xiàn)信息模糊遺忘的情況，他們或選擇重新查看視頻，或選擇繼續(xù)分析。對于重新查看的人來說，身體負(fù)荷和時(shí)間負(fù)荷都會(huì)增大。而對于堅(jiān)持繼續(xù)分析的人來說，他們的不自信和挫敗感會(huì)增加。但視頻分析也有其優(yōu)點(diǎn)，首先視頻能夠自然流暢地展現(xiàn)學(xué)生解題過程，所有數(shù)據(jù)以人們最熟悉的方式被呈現(xiàn)。其次視頻能夠展現(xiàn)全部的數(shù)據(jù)，雖然這些大量的動(dòng)態(tài)數(shù)據(jù)會(huì)增加評估者的負(fù)荷，但某些時(shí)候細(xì)節(jié)信息能夠幫助評估者做出更準(zhǔn)確的判斷。

整體來說，視頻分析方法給評估員帶來了相對較高的任務(wù)負(fù)荷。

4.4 評估人員更喜歡用哪種分析方法來分析理解學(xué)生的解題過程？

有2位評估員更喜歡可視化分析系統(tǒng)，一位更喜歡視頻分析方法，3位評估員表示希望能夠結(jié)合可視化系統(tǒng)與視頻共同幫助分析，或者在不同的情境中使用不同的分析方法。如在需要分析大量數(shù)據(jù)時(shí)采用可視化分析在只需要分析少量數(shù)據(jù)且時(shí)間充裕的情況下用視頻分析。以下是在訪談中評估員提及的解題行為數(shù)據(jù)可視化系統(tǒng)優(yōu)缺點(diǎn)。

1）優(yōu)點(diǎn)：

(1)以靜態(tài)圖像結(jié)合交互手段展現(xiàn)數(shù)據(jù)，用戶能夠充分靈活控制時(shí)間且無需記憶數(shù)據(jù)信息只需要查找數(shù)據(jù)信息；

(2)可視化系統(tǒng)的數(shù)據(jù)扁平化設(shè)計(jì)簡化了題目界面，去除冗余數(shù)據(jù)，凸顯了重要信息；

(3)可視化系統(tǒng)能夠傳達(dá)準(zhǔn)確數(shù)值，例如注視點(diǎn)數(shù)目，拖拽速度等；

(4)可視化系統(tǒng)能夠幫助用戶比較同學(xué)之間、題目之間的解題差異。

2）缺點(diǎn)：

(1)可視化系統(tǒng)較復(fù)雜，沒有可視化閱讀經(jīng)驗(yàn)的用戶需要一段時(shí)間熟悉過程；

(2)受界面空間限制，在可視化系統(tǒng)中部分“低價(jià)值”數(shù)據(jù)會(huì)被舍棄；這就要求系統(tǒng)設(shè)計(jì)者充分理解用戶需求、目標(biāo)任務(wù)，從而保留最具價(jià)值的數(shù)據(jù)。

五、結(jié) 語

在科學(xué)技術(shù)快速發(fā)展的今天，大量數(shù)據(jù)被產(chǎn)生。數(shù)據(jù)是珍貴的，但是如果不能從中獲取信息，轉(zhuǎn)化為知識(shí)，數(shù)據(jù)對我們毫無意義。數(shù)據(jù)可視化借助圖形手段，能夠清晰有效地傳達(dá)信息幫助人們分析理解數(shù)據(jù)獲取知識(shí)。針對目前大量在線學(xué)習(xí)行為數(shù)據(jù)被記錄卻無法被有效利用的情況，作者提出用數(shù)據(jù)可視化的方式來展現(xiàn)學(xué)生學(xué)習(xí)過程，幫助教育工作者理解學(xué)生學(xué)習(xí)行為和認(rèn)知過程。本文以學(xué)齡兒童解數(shù)學(xué)應(yīng)用題為例，設(shè)計(jì)開發(fā)解題行為可視化系統(tǒng)，幫助教育工作者判斷學(xué)生解題策略和困難，并對系統(tǒng)的可靠性可用性進(jìn)行了評估。從評估實(shí)驗(yàn)、任務(wù)負(fù)荷指數(shù)測量結(jié)果及訪談來看，數(shù)據(jù)可視化系統(tǒng)在數(shù)據(jù)的傳達(dá)、表現(xiàn)、分析方面都有其優(yōu)勢。未來作者將進(jìn)一步提高可視化系統(tǒng)界面設(shè)計(jì)來展現(xiàn)更多的數(shù)據(jù)、更清晰的數(shù)據(jù)關(guān)系，從而減少用戶的認(rèn)知負(fù)荷及腦力需求。