基于ENA的學習者測評數(shù)據(jù)分析
——以C語言實驗課程為例

劉 放，趙希武，徐行健，孟繁軍

（內(nèi)蒙古師范大學 計算機科學技術學院，內(nèi)蒙古 呼和浩特 010022）

0 引言

教育部印發(fā)的《教育信息化2.0行動計劃》提出，持續(xù)推進信息技術和智能技術深度融入教育教學全過程，推動改進教學、優(yōu)化管理、提升績效［1］。信息技術如何融入學習分析并從多維度進行綜合動態(tài)評估與分析［2］，仍是當前教育領域的熱點研究問題。傳統(tǒng)的學習分析存在一定局限，研究者一般從整體、靜態(tài)的角度收集和分析學習者及學習情境的數(shù)據(jù)［3］。為了更好地探究學習分析，本文引入一種定量分析新方法，即認知網(wǎng)絡分析法（Epistemic Network Analysis，簡稱ENA），它可以動態(tài)地呈現(xiàn)學習者認知元素之間的連接關系，進一步反映學習者的認知特征［4］。對于計算機相關專業(yè)的實驗課程而言，日常教學、隨堂測驗借助程序設計類實驗輔助教學平臺（PTA）完成，具備運用學習分析開展評價的基礎條件，可以從監(jiān)測、評價、診斷和預測等方面支持教學并輔助教育決策［5］。本文采用認知網(wǎng)絡分析法對不同組別和性別的學習者階段性測評數(shù)據(jù)進行可視化分析，為一線教師開展信息化教學和評價提供借鑒。

1 研究現(xiàn)狀

1.1 數(shù)據(jù)驅(qū)動下的學習分析

學習分析的開展依賴于系統(tǒng)化、結構化的海量數(shù)據(jù)［6］。牟智佳等［7］以布魯姆教學目標分類學和Q矩陣理論為依據(jù)，構建基于測評數(shù)據(jù)的個性化評價模型，通過對學習者的測評數(shù)據(jù)進行檢驗，為教師的因材施教提供個性化分析及參考。王改花等［8］采用決策樹方法對學習者的行為和成績進行預測，發(fā)現(xiàn)不同性別和學科背景的學習者存在差異，便于教師深入了解每類學習者的特征，實施精準化的干預和幫扶。在Petersen的數(shù)據(jù)信息教學中，績效數(shù)據(jù)主要用來診斷學習者的學習差距，便于在每學年開始時制定有針對性的教學計劃，以提高學生的學習成績［9］。顧小清等［10］指出，通過對數(shù)據(jù)進行統(tǒng)計分析和可視化分析可以實現(xiàn)對課程和教學的監(jiān)測和評價，以便為學生提供更有針對性的教學干預并設計滿足學生需求的學習內(nèi)容。數(shù)據(jù)本身不會產(chǎn)生教學價值，要基于教育理論對數(shù)據(jù)加以詮釋，給數(shù)據(jù)賦能，才能實現(xiàn)數(shù)據(jù)驅(qū)動下的學習分析。數(shù)據(jù)驅(qū)動下的教育變革，改進了傳統(tǒng)的終結性評價，建立了多樣化、多角度、多方式的評價指標［11］。

1.2 認知網(wǎng)絡分析在教育中的應用

在教育領域，認知網(wǎng)絡分析被廣泛應用于測量評價與學習分析。朱旭［12］從復雜教學環(huán)境角度入手，遵循“以證據(jù)為中心”的思想理念，融合認知網(wǎng)絡可視化分析技術，構建基于學習者認知網(wǎng)絡分析的評價模型，從多角度評價不同經(jīng)歷和水平學習者的認知結構，從而改進了傳統(tǒng)的教育評價。借助網(wǎng)絡學習平臺中產(chǎn)生的學習數(shù)據(jù)，解釋學習者的知識建構過程也是在教育領域的另一個應用。冷靜等［13］收集Coursera平臺中的MOOC討論數(shù)據(jù)和成績數(shù)據(jù)等，結合自然語言處理方法對數(shù)據(jù)進行編碼再進行認知網(wǎng)絡分析，研究發(fā)現(xiàn)高分組和低分組在認知和個人領域具有顯著性差異。認知網(wǎng)絡分析不僅可以作為一種學生評價工具，同時在評價教師專業(yè)能力方面也十分奏效。在數(shù)學課堂教學中，Orrill等［14］認為ENA可以用來理解教師在任務中使用的關于數(shù)學的細粒度概念之間的聯(lián)系，可以作為提煉專家型教師和新手型教師差異研究的第一步。吳忭等［15］運用認知網(wǎng)絡分析法基于非良構的中醫(yī)領域問題，分析不同引導風格的教師對學生學科思維能力的影響存在顯著差異。研究發(fā)現(xiàn)，當前教育評價的重點逐漸從知識內(nèi)容的掌握轉(zhuǎn)向關注認知領域的評價。

2 研究方案設計

2.1 研究工具

認知網(wǎng)絡分析是一種識別和量化編碼數(shù)據(jù)中各元素之間的連接，并將其表示在動態(tài)網(wǎng)絡模型中的新方法。這些模型說明了連接的結構，測量了網(wǎng)絡中各元素之間的關聯(lián)強度，它們隨著時間的推移量化了連接的組成和強度的變化。認知網(wǎng)絡分析可以直接進行網(wǎng)絡比較，也可以通過匯總統(tǒng)計進行比較。因此，在假設數(shù)據(jù)中的關聯(lián)模式有意義的情況下，該方法可以用來探索廣泛的定性和定量研究問題［16］。威斯康星大學麥迪遜校區(qū)教育學院Shaffer等學者開發(fā)了ENA Webkit，并使用該平臺創(chuàng)建和探索網(wǎng)絡模型。ENA Webkit執(zhí)行兩個主要功能：其一，它處理編碼數(shù)據(jù)，讀取數(shù)據(jù)表，將行分成節(jié)，按節(jié)積累代碼，創(chuàng)建一組鄰接矩陣，累積不同節(jié)的鄰接矩陣，表示每個分析單元的編碼對象之間的連接結構，并產(chǎn)生一個降維用以表示數(shù)據(jù)集，形成由X和Y組成的二維坐標系［17］，建模過程如圖1所示；其二，ENA使用這種分析結果以創(chuàng)建可視化，促進對數(shù)據(jù)的探索和解釋。

Fig.1 Coding and modeling steps of ENA圖1 認知網(wǎng)絡分析法的編碼與建模步驟

2.2 研究問題

本研究首先在程序設計類實驗輔助教學平臺中選擇C語言程序設計綜合訓練的一次隨堂測驗數(shù)據(jù)，然后統(tǒng)計測驗試題的難度、知識元素和認知維度，確認試題編碼，再將答題情況進行二進制編碼，之后后進行認知網(wǎng)絡分析和統(tǒng)計分析，探究學生的認知差異，為后續(xù)教學設計提供指導和參考。具體研究流程如圖2所示。

Fig.2 Research process圖2 研究流程

實驗教學是計算機專業(yè)教學體系的重要組成部分，C語言程序設計綜合訓練課程是針對計算機專業(yè)而設計的一個綜合應用項目，是相關專業(yè)課知識的串聯(lián)，要求學生運用其所學專業(yè)知識進行綜合設計和開發(fā)，從而將知識融會貫通、整理、提升及擴展。由于實驗課程的特殊性，在程序設計類實驗輔助教學平臺考核過程中存在難以精準評價和考察學生專業(yè)認知結構問題。為了解計算機專業(yè)學生在隨堂測驗過程中所形成的專業(yè)認知結構特征，本文采用認知網(wǎng)絡分析法，研究問題將聚焦于以下兩個方面：

問題一：不同績效水平的學生在專業(yè)認知結構中有什么差異？

問題二：不同性別的學生在專業(yè)認知結構中有什么差異？

2.3 研究數(shù)據(jù)收集與編碼

本文以某師范大學計算機學院的43名學生為研究對象，首先對試題數(shù)據(jù)依據(jù)如圖3所示進行編碼標記，內(nèi)容包括試題難度、涉及的知識要素和認知維度分類，分別旋轉(zhuǎn)三層表盤排列組合，即可查詢編碼含義，例如R1.FZ表示該題考察了記憶理解層面中賦值調(diào)用問題難度為1。接著，使用二進制“0”和“1”對試題作答情況進行編碼如表1所示，若試題回答正確則記“1”，回答錯誤則記“0”，依據(jù)測驗成績，將學生分為高績效組和低績效組，大于等于60分為高績效組，小于60分為低績效組最后，將每名學生的測驗數(shù)據(jù)作為一個節(jié)，節(jié)的大小設置為4，將編碼后的數(shù)據(jù)在ENA Webkit工具（http：//www.epistemicnetwork.org/）中進行認知網(wǎng)絡分析。

Table 1 Coding table表1 編碼表

Fig.3 Test question coding disk圖3 試題編碼盤

3 分析與討論

3.1 不同績效水平的學生在認知特點上具有明顯差異

針對問題1，研究依據(jù)測驗成績將學生分為高績效組和低績效組，其中高績效組12人，低績效組31人，按照編碼框架將不同績效水平學生的編碼結果導入至ENA在線分析工具后，生成兩組群體的認知網(wǎng)絡質(zhì)心圖，如圖4所示。其中，小圓形為每名學生的認知網(wǎng)絡圖的質(zhì)心，實心正方形表示組別內(nèi)所有學生的認知網(wǎng)絡圖的平均質(zhì)心，質(zhì)心相對于網(wǎng)絡中不同節(jié)點的位置遠近反映認知網(wǎng)絡圖側(cè)重構建了哪些編碼間的關聯(lián)，檢驗認知網(wǎng)絡圖的質(zhì)心位置差異可以作為判斷認知框架差異的統(tǒng)計學依據(jù)［18］，質(zhì)心外側(cè)的虛框表示95%的置信區(qū)間?？梢钥闯觯瑑山M在Y維度上并沒有明顯差距，在X維度A組和B組質(zhì)心位置相距較遠，這表明不同類型的學生在測驗過程中產(chǎn)生了不同的認知水平和結構。

Fig.4 High performance group and low performance group epistemic network centroid map圖4 高績效組和低績效組認知網(wǎng)絡質(zhì)心圖

為了從統(tǒng)計意義上分析兩個組別的認知網(wǎng)絡結構差異，本研究使用雙樣本T檢驗，分析兩個組別在X維度和Y維度的差異，結果如表2所示。

Table 2 T-test results of epistemic network differences among different groups of students表2 不同組別學生認知網(wǎng)絡差異T檢驗結果

結果顯示，高績效組和低績效組在X維度存在顯著差異（p＜=0.01）。圖5、圖6分別為高績效組、低績效組的認知網(wǎng)絡圖，圖中結點代表試題涉及的知識要素，它與知識要素出現(xiàn)頻次相關，結點間連線的粗細與相應知識要素共現(xiàn)頻次相關。生成的認知網(wǎng)絡圖形與原始數(shù)據(jù)有較高的擬合優(yōu)度，其中X維度的相關性系數(shù)為0.98（Pearson）和0.97（Spearman），Y維度的相關性系數(shù)為0.96（Pearson）和0.96（Spearman）。

Fig.5 Epistemic network of high-performance group圖5 高績效組認知網(wǎng)絡

Fig.6 Epistemic network of low-performance group圖6 低績效組認知網(wǎng)絡

從兩組的認知網(wǎng)絡圖可以發(fā)現(xiàn)，圖5高績效組的質(zhì)心向X軸左側(cè)偏移，共現(xiàn)網(wǎng)絡呈現(xiàn)完整、均勻、復雜。在難度較高的枚舉類型、結構體變量、結構體指針和綜合實踐建立了較強的連接，說明高績效組不僅內(nèi)化了概念和定義類知識，同時具備運用程序性知識解決綜合實踐問題的能力。圖6低績效組的質(zhì)心向X軸右側(cè)偏移，共現(xiàn)網(wǎng)絡呈現(xiàn)局限性特征，在難度較低的結構體概念、結構體賦值和結構體調(diào)用建立連接，而對綜合實踐類編程題很少共現(xiàn)。為了更清晰地看到兩個群體在專業(yè)認知網(wǎng)絡結構上的差異，本研究對兩組認知網(wǎng)絡圖進行做差操作，這種方法可以比較編碼間關聯(lián)在對應網(wǎng)絡中的差異，結果如圖7所示。兩組網(wǎng)絡相互抵消后，剩余的連接大部分是高績效組，在綜合實踐、枚舉類型和結構體類型結點高績效組共現(xiàn)連接較為突出，而低績效組則側(cè)重于難度較低的概念性結點連接。

Fig.7 Epistemic network of differences between high-performance and low-performance students圖7 高績效與低績效組學生的差異認知網(wǎng)絡

3.2 不同性別的學生在認知特點上各有所長

針對問題2，依據(jù)性別將學生分為男性組和女性組，其中男性組21人，女性組22人，按照編碼框架將不同性別學生的編碼結果導入至ENA在線分析工具，生成如圖8所示的兩組群體的認知網(wǎng)絡質(zhì)心圖。為了從統(tǒng)計學意義上分析不同性別學生的專業(yè)認知網(wǎng)絡結構特征差異，通過雙樣本t檢驗分析X維度與Y維度的組間差異，結果如表3所示。

Table3 T-test results of epistemic network differences between students of different genders表3 不同性別學生認知網(wǎng)絡差異T檢驗結果

Fig.8 Epistemic network centroid map of male and female groups圖8 男性組和女性組認知網(wǎng)絡質(zhì)心圖

結果顯示，男性組和女性組在X維度存在顯著差異（p＜=0.01）。圖9、圖10分別是男性組、女性組的認知網(wǎng)絡圖，生成的認知網(wǎng)絡圖形與原始數(shù)據(jù)有較高的擬合優(yōu)度，其中 X維度的相關性系數(shù)為0.96（Pearson）和0.95（Spearman），Y維度的相關性系數(shù)為0.98（Pearson）和0.98（Spearman）。

Fig.9 Male group epistemic network圖9 男性組認知網(wǎng)絡

Fig.10 Female group epistemic network圖10 女性組認知網(wǎng)絡

從兩組認知網(wǎng)絡圖可以看出，男性組認知網(wǎng)絡圖的共現(xiàn)網(wǎng)絡各結點共線性均衡，較為復雜，在難度系數(shù)較高的枚舉類型和結構體變量上有更多聯(lián)系，這說明運用理解難度較高的題有利于綜合實踐題的解決。女性組認知網(wǎng)絡較為局限和集中，對綜合實踐、數(shù)組和枚舉類型連接較弱，女性組僅停留在解決難度較低的基礎題目，比如記憶理解，未能運用前置知識解決更高階的實踐問題。將兩組認知網(wǎng)絡圖進行做差操作，結果如圖11所示，兩組都存在剩余連接，說明男性組和女性組分別存在各自擅長的認知領域。

Fig.10 Difference epistemic network between male and female students圖11 男性組與女性組學生的差異認知網(wǎng)絡

4 結論與建議

4.1 結論

本研究通過對程序設計類實驗輔助教學平臺中學生測評數(shù)據(jù)的內(nèi)容進行編碼與認知網(wǎng)絡建模，得到了高績效組學生和低績效組學生的認知網(wǎng)絡圖，以及男性組學生和女性組學生的認知網(wǎng)絡圖。通過對網(wǎng)絡圖結構的量化分析和比較，得出如下結論：

4.1.1 不同績效組的學生對知識的掌握存在差異

從認知網(wǎng)絡圖可以發(fā)現(xiàn)，高績效組在多數(shù)節(jié)點建立了較強的連接，即他們將課堂所講授的知識進行了有意義學習。布魯姆教育目標分類學中將知識維度分為：事實性知識、概念性知識、程序性知識和元認知知識。在傳統(tǒng)計算機專業(yè)的實驗課程中，教師往往采用循序漸進的教學原則，從基礎事實性知識和概念性知識出發(fā)由淺入深地上升到程序性知識，使學生系統(tǒng)地掌握基礎知識和基本技能，形成嚴密的邏輯思維能力。而從低績效組的認知網(wǎng)絡圖可以明顯看出，在低難度的基礎知識上體現(xiàn)出較為集中的共線性，但綜合實踐能力偏弱，低績效組較重視對知識的記憶和理解，但無法運用知識解決實際問題，說明低績效組學生的頭腦里并沒有完整地構建和組織知識，無法使用下位經(jīng)驗影響較高層次的上位經(jīng)驗進行垂直遷移。這說明，教師在進行教學設計時往往會出現(xiàn)重理論、輕實踐的現(xiàn)象。

4.1.2 不同性別組對知識的掌握有各自特征

從男女認知差異網(wǎng)絡圖可以發(fā)現(xiàn)，不同性別組對知識元素的掌握有各自的特征。女性組在識記和理解的認知維度上占有較大優(yōu)勢，男性組在應用和分析的認知維度上占較大優(yōu)勢。加德納在20世紀80年代提出多元智能理論，他認為多元智力框架中相對獨立地存在8種智能，分別是：語言智能、音樂智能、空間智能、邏輯數(shù)學智能、身體動覺智能、自然智能、自我認知智能、人際智能。加德納認為，男性和女性的智力總體水平是平衡的，但是在8種智能的發(fā)展上各有所長。計算機實驗課程需要較強的邏輯思維和數(shù)理知識，這是也是女性較薄弱的地方。而非智力因素中，女性在視覺空間方面的智力較強，主要指辨別和記憶能力，因而女性較為擅長定義和概念類試題。這意味著人類能力是有多樣性的，隨著專業(yè)學習的深入，教育者應尊重性別差異，設計和開發(fā)情景化下適用于多種智能組合的課程。

4.2 建議

4.2.1 創(chuàng)設目標為導向的教學，注重因材施教

教師應轉(zhuǎn)變傳統(tǒng)的教學觀念，結合實驗課程特點，構建問題驅(qū)動的教學情景，充分調(diào)動學生學習興趣和主動性。立足于發(fā)展的教育目標導向，改進教學設計，培養(yǎng)學生應用多學科知識的能力，促進學生原有水平的提高，幫助不同績效水平的學生全面認識自己，對低績效水平的學生進行適當?shù)膸头龊透深A。以發(fā)展的眼光看待每一名學生，既為學生學習搭建手腳架，又要成為學生學習的引導者、激勵者和共同學習者。同時，提高教師數(shù)據(jù)素養(yǎng)水平和信息化教學能力，培養(yǎng)教師合理解釋和有意義使用數(shù)據(jù)的能力，以教育信息化支撐引領教育現(xiàn)代化。

4.2.2 營造良好的師生交流氛圍，尊重性別差異

隨著學年增長和專業(yè)知識的深入，男性和女性在知識掌握上各有所長，對實驗的態(tài)度、自信心和興趣也有所差異。因此，教師應注意并尊重性別差異，營造良好的師生交流氛圍，避免在工程學科上對女性產(chǎn)生刻板印象。在小組合作學習背景下運用同伴教學法，注重以學生為中心的教學，最大程度地發(fā)揮男性和女性優(yōu)勢，提高學生學習主動性和團隊協(xié)作能力，促進師生互動，提升課堂教學效果。

4.2.3 評價主體、評價標準和評價內(nèi)容多元化

在情景教學模式中，教師應展示多種評估手段，重視非正式評價，將真實自然環(huán)境下的評估與封閉考試環(huán)境下的評估相結合，將量化評價與質(zhì)性評價相結合，以學生為中心，圍繞學生的認知、情感和技能開展評價。在評價標準上，教師和學生共同制定評價標準，避免教師按照主觀經(jīng)驗進行評價，例如在小組答辯、實驗匯報和論文成果中側(cè)面觀察和評判學生的協(xié)作學習能力、自我展示能力和語言表達能力，有利于教師及時掌握學生學習效果，從而對學生進行精準幫扶。引導學生進行自主評價和自我反思，提高自我監(jiān)控的元認知能力。

5 結語

當前，認知網(wǎng)絡分析法在教育評價領域的應用越發(fā)廣泛，本研究通過對實驗試題數(shù)據(jù)進行編碼，運用定量分析的教育研究方法，對學生認知結構進行解讀和對比，并根據(jù)此提出對教師教學的策略建議。未來基于認知網(wǎng)絡分析法全方位評價學生測評結果問題時，可以從以下方面加以改進：首先，編碼量表避免使用單一測評數(shù)據(jù)，可以結合小組匯報和課堂觀察的非良構問題進行統(tǒng)計編碼；其次，細化編碼種類，尋求教育理論支持下的分類依據(jù)，重視理論在數(shù)據(jù)分析中所扮演的角色；最后，在可視化分析層面，注意合理使用數(shù)據(jù)，防止利用數(shù)據(jù)制約和束縛學生。在信息技術與教育深度融合的新時代，重視過程性的動態(tài)教育評價不僅能監(jiān)測和預測學生學習情況，而且為教師開展差異性和個性化教學提供了指導。