探索式學(xué)習(xí)環(huán)境中的學(xué)習(xí)者類型自動(dòng)識(shí)別

李丹丹+楊絮+張海+羅立成

● 探索式學(xué)習(xí)環(huán)境的現(xiàn)狀、問題與發(fā)展趨勢(shì)

探索式學(xué)習(xí)環(huán)境提供了以學(xué)生為主導(dǎo)的非結(jié)構(gòu)化的主動(dòng)學(xué)習(xí)環(huán)境。它的優(yōu)點(diǎn)在于支持學(xué)生的主動(dòng)學(xué)習(xí)，而不是教師控制型教學(xué)，缺點(diǎn)是如果不能識(shí)別學(xué)生的行為和需求，探索式學(xué)習(xí)環(huán)境往往會(huì)失去對(duì)學(xué)生的有效指導(dǎo)。因而，如何通過(guò)數(shù)據(jù)挖掘，構(gòu)建學(xué)習(xí)者模型，已經(jīng)成為今天教育數(shù)據(jù)挖掘中的主要研究課題。

來(lái)自微軟研究院的兩名科學(xué)家Saleema Amershi和Cristina Conati探索了一種新的方法，克服了此前研究思路的不足，這種新方法利用數(shù)據(jù)挖掘手段，自動(dòng)識(shí)別通用的交互行為，并通過(guò)這些行為來(lái)訓(xùn)練用戶模型。該模型與傳統(tǒng)的基于知識(shí)的模型或通過(guò)手動(dòng)標(biāo)記數(shù)據(jù)監(jiān)督模型的差別在于，使用模型后，不必在觀察個(gè)體學(xué)習(xí)者的行為模式后再建模，只要將數(shù)據(jù)輸入到受監(jiān)督的分類器，程序就能夠自動(dòng)呈現(xiàn)學(xué)習(xí)者通用學(xué)習(xí)行為模式的可視化分析圖片，并能通過(guò)這張圖片分析其學(xué)習(xí)效果。這就大大節(jié)省了專家的工作量。盡管這些模型不夠精細(xì)，但仍足以提供探索式學(xué)習(xí)環(huán)境所需要的交互變量。

● 探索式學(xué)習(xí)環(huán)境案例：AIrspace CSP Applet

本文介紹的探索式學(xué)習(xí)環(huán)境名稱為人工智能空間約束滿足問題小程序（AIspace Constraint Satisfaction Problem （CSP）Applet，以下簡(jiǎn)稱為CSP Applet）。這是一個(gè)交互式工具集合，能用算法可視化系統(tǒng)來(lái)幫助學(xué)生探索常見人工智能算法。

圖1顯示了一個(gè)CSP Applet中以圖形方式表示的約束滿足問題（AC-3算法）示例。最初，網(wǎng)絡(luò)中的所有弧都是藍(lán)色，表示需要對(duì)其進(jìn)行一致性測(cè)試。當(dāng)AC-3算法運(yùn)行時(shí)，圖中的狀態(tài)變化通過(guò)使用顏色和突出顯示來(lái)表示。CSP Applet為AC-3算法的交互執(zhí)行提供了幾種機(jī)制，并可以通過(guò)圖1頂部所示的按鈕工具進(jìn)行訪問，也可以直接操縱圖中元素。

● 建模的第一個(gè)階段：離線聚類

Saleema Amershi和Cristina Conati所提出的學(xué)習(xí)者建模方法，其建模過(guò)程可分為兩個(gè)主要階段，首先是離線階段。

1.數(shù)據(jù)收集和預(yù)處理

24名本科生參與了實(shí)驗(yàn)。首先，學(xué)生有一個(gè)小時(shí)的時(shí)間來(lái)閱讀關(guān)于CSP問題的課本章節(jié)。接下來(lái)，他們對(duì)材料進(jìn)行20分鐘的預(yù)測(cè)試，在測(cè)試之后學(xué)生們使用CSP Applet學(xué)習(xí)示例問題，最后給出了與預(yù)測(cè)幾乎相同的答案。當(dāng)前的實(shí)驗(yàn)中，研究人員使用與CSP Applet的用戶交互記錄的時(shí)間戳工具來(lái)記錄相關(guān)數(shù)據(jù)以及前后測(cè)試的結(jié)果。

離線階段的第二步是通過(guò)收集的數(shù)據(jù)計(jì)算低級(jí)特征來(lái)生成特征向量。從記錄的用戶研究數(shù)據(jù)中計(jì)算得出了與24名研究參與者相對(duì)應(yīng)的24個(gè)特征向量。特征向量具有21個(gè)維度，并總結(jié)出每個(gè)動(dòng)作的三個(gè)特征：①動(dòng)作頻率；②動(dòng)作之后的平均等待時(shí)間；③行動(dòng)延遲后的標(biāo)準(zhǔn)偏差。

2.無(wú)監(jiān)督聚類

在形成數(shù)據(jù)的特征向量后，離線階段的下一步是對(duì)特征向量執(zhí)行聚類，用來(lái)發(fā)現(xiàn)學(xué)生在交互行為中的模式。該研究執(zhí)行了20個(gè)試驗(yàn)（隨機(jī)選擇的初始聚類中心），并使用最高質(zhì)量的聚類作為最終聚類集。將K均值聚類應(yīng)用于研究數(shù)據(jù)，其中將k設(shè)置為2和3。

3.聚類分析

在這個(gè)階段首先分析集群，以確定學(xué)生的交互行為是否有效。根據(jù)應(yīng)用程序使用的結(jié)果確定哪些學(xué)生群體是成功的學(xué)習(xí)者，哪些不是。

聚類分析的第二步是通過(guò)評(píng)估每個(gè)特征維度上的群集相似性和不相似性來(lái)明確地表征不同群集中的相互作用行為。該研究使用正式的統(tǒng)計(jì)測(cè)試來(lái)比較學(xué)習(xí)和特征相似性的集群。

（1）CSP小程序的集群分析（k=2）

將k-means群集之間的平均學(xué)習(xí)成績(jī)與k為2的群集比較，發(fā)現(xiàn)該群組比其他集群的學(xué)習(xí)成績(jī)高。此后分別將這些集群稱為“HL”（高學(xué)習(xí)）集群和“LL”（低學(xué)習(xí)）集群。

為了表征HL和LL集群在區(qū)分學(xué)生互動(dòng)行為方面的情況，研究人員對(duì)21個(gè)維度中每個(gè)集群之間的差異進(jìn)行成對(duì)分析。結(jié)果顯示，LL集群中的學(xué)生使用CSP小程序比HL集群中的學(xué)生更頻繁。此外，精英階段的延遲平均值和標(biāo)準(zhǔn)偏差在LL集群中的學(xué)生中都有所縮短，表明他們的精細(xì)步調(diào)頻繁且始終如一。這些結(jié)果表明，LL集群中的學(xué)生可能會(huì)機(jī)械地使用這個(gè)功能，而不需要暫停來(lái)考慮每個(gè)步驟的影響，這有助于這些學(xué)生獲得收益。

復(fù)習(xí)后，HL集群中的學(xué)生比LL集群中的學(xué)生停留時(shí)間更長(zhǎng)，更有選擇性。事后看來(lái)，這些學(xué)生是成功的學(xué)習(xí)者，這個(gè)行為表明他們能夠反思問題。

（2）CSP小程序的群集分析（k=3）

k為2的群集的學(xué)習(xí)結(jié)果與k為3的群集有顯著差異。成對(duì)分析顯示，與其他兩個(gè)群體相比，該群體學(xué)生的學(xué)習(xí)成績(jī)有明顯提高，兩個(gè)LL集群之間沒有顯著的學(xué)習(xí)差異，我們將其標(biāo)注為L(zhǎng)L1和LL2。

研究人員發(fā)現(xiàn)兩個(gè)LL集群中的學(xué)生和HL集群中的學(xué)生間的行為區(qū)別有以下幾點(diǎn)：首先，LL1和LL2學(xué)生的精練步調(diào)頻率高于HL學(xué)生，呈現(xiàn)出非常顯著的趨勢(shì)。HL集群中的學(xué)生的延遲時(shí)間的平均值和標(biāo)準(zhǔn)偏差均顯著高于LL1和LL2集群中的學(xué)生，這表明LL集群中的學(xué)生在精細(xì)步驟之后始終比HL集群中的學(xué)生更少停留，這減少了學(xué)生的注意力，可能會(huì)對(duì)他們的學(xué)習(xí)產(chǎn)生負(fù)面影響。復(fù)習(xí)后，HL集群中的學(xué)生比LL1和LL2集群中的學(xué)生停留時(shí)間更長(zhǎng)，更有選擇性，這表明HL學(xué)生可能會(huì)更多地思考問題。

k-3聚類也揭示了在HL和LL集群之間和在兩個(gè)LL集群之間的幾個(gè)附加模式都表明k=3能更好地區(qū)分相關(guān)的學(xué)生行為。k-3聚類揭示了更復(fù)雜的模式，總結(jié)如下：①LL1集群中的學(xué)生使用域名拆分功能遠(yuǎn)遠(yuǎn)超過(guò)HL集群中的學(xué)生。②HL和LL2集群中的學(xué)生頻繁使用域拆分功能。③HL和LL1集群中的學(xué)生在域名拆分后的休息時(shí)間相似，暫停時(shí)間比LL2學(xué)生長(zhǎng)得多。④LL1集群中的學(xué)生比HL和LL2集群中的學(xué)生更有選擇地停留。 ⑤LL1回溯后的停頓時(shí)間比HL和LL2集群都多。

● 建模的第二個(gè)階段：在線識(shí)別

建模方法的第二階段是在線識(shí)別，將新用戶的在線分類納入“成功/不成功”的學(xué)習(xí)者組。這個(gè)階段設(shè)計(jì)了一個(gè)在線k-means分類器，伴隨著學(xué)生與目標(biāo)探索式學(xué)習(xí)環(huán)境進(jìn)行交互，逐步更新分類。發(fā)生動(dòng)作時(shí)，學(xué)生行為的特征矢量暫時(shí)停止，以反映觀察結(jié)果。

為了評(píng)估模型，研究人員進(jìn)行了24倍的一次交叉驗(yàn)證（LOOCV）。在每個(gè)折疊中，從N個(gè)可用特征向量的集合中刪除一個(gè)學(xué)生數(shù)據(jù)，并且使用k-means來(lái)重新聚集縮小的特征向量集。接下來(lái)，將刪除的學(xué)生數(shù)據(jù)輸入到分類器用戶模型中，并對(duì)如上所述的傳入動(dòng)作在線預(yù)測(cè)。

圖2顯示了兩類k均值分類器在與CSP小程序交互時(shí)預(yù)測(cè)24名學(xué)生（使用LOOCV策略）的正確分類的平均精度。該圖還顯示了將HL集群中的學(xué)生分為HL集群和LL集群中的學(xué)生進(jìn)入LL簇的模型性能。圖2的趨勢(shì)顯示，隨著越來(lái)越多的證據(jù)積累，該分類器的整體準(zhǔn)確性得到提高。雖然分類器在檢測(cè)HL學(xué)生中的表現(xiàn)優(yōu)于基線，但仍然可能導(dǎo)致基于此模型的系統(tǒng)干擾HL集群中的學(xué)生的自然學(xué)習(xí)行為，這是探索式學(xué)習(xí)環(huán)境的關(guān)鍵之一。分類LL和HL集群中的學(xué)生的準(zhǔn)確性之間的不平衡可能是由于樣本數(shù)據(jù)的分布，因?yàn)镠L集群的數(shù)據(jù)點(diǎn)少于LL集群。這是分類器學(xué)習(xí)中的常見現(xiàn)象，如果收集更多的培訓(xùn)數(shù)據(jù)來(lái)糾正這種不平衡，可能有助于提高分類器用戶模型對(duì)HL集群中的學(xué)生的準(zhǔn)確性。

圖3顯示了作為該分類器用戶模型（實(shí)線）觀察到的學(xué)生動(dòng)作次數(shù)的函數(shù)的總體預(yù)測(cè)精度。為了比較，該圖還顯示了最可能的基線用戶模型（虛線）的性能，由圖3可知分類器的準(zhǔn)確性隨著更多的觀察而提高。

圖4顯示了各個(gè)群集的預(yù)測(cè)精度趨勢(shì)。對(duì)于HL集群，分類準(zhǔn)確性（虛線）開始非常低，但在發(fā)生約40%的動(dòng)作后達(dá)到75%，發(fā)生所有動(dòng)作后達(dá)到100%。分類LL1集群中的學(xué)生（虛線）的模型的準(zhǔn)確性開始也低，而在發(fā)生約60%的動(dòng)作后達(dá)到約75%。LL2集群中的學(xué)生（實(shí)線）的準(zhǔn)確性保持相對(duì)一致。所以應(yīng)用用戶建?？蚣軙r(shí)，應(yīng)收集和使用更多的培訓(xùn)數(shù)據(jù)，特別是隨著群集數(shù)量的增加。

● 結(jié)論

上述研究結(jié)果表明，盡管受數(shù)據(jù)可用性的限制，該方法仍能檢測(cè)學(xué)生行為的有意義的集群，并且可以在學(xué)習(xí)行為的有效性方面對(duì)學(xué)生合理分類。