大數(shù)據(jù)時代下大學(xué)生學(xué)習評價指標體系構(gòu)建研究

徐新愛

（南昌師范學(xué)院，江西 南昌 330032）

MOOC、SPOC、在線學(xué)習、混合式學(xué)習等成為我們今天重要的課程形態(tài)和學(xué)習方式。與傳統(tǒng)環(huán)境下的學(xué)習相比，互聯(lián)網(wǎng)支持的在線學(xué)習有著巨大的發(fā)展前景和優(yōu)勢，甚至已成為學(xué)校教育教學(xué)方式的重要組成部分。隨著國家一流課程建設(shè)的不斷深入，教學(xué)模式發(fā)生著重要變化，教師更應(yīng)思考如何提高教學(xué)質(zhì)量。學(xué)習質(zhì)量是教育教學(xué)活動的根本。有效的學(xué)習評價是教學(xué)活動的重要組成部分，也是進行教學(xué)決策的重要前提，而有效的學(xué)習評價依賴于全面、可靠的評價依據(jù)。因此，在已有研究的基礎(chǔ)上，探索傳統(tǒng)學(xué)習評價現(xiàn)狀及問題，構(gòu)建一套行之有效的學(xué)習評價指標體系，對改善教學(xué)決策和實施個性化教學(xué)具有重要的指導(dǎo)意義。

一、學(xué)習評價現(xiàn)狀及問題

（一）評價指標缺乏針對性

近年來，隨著課堂教學(xué)改革及教育評價改革的推進，在教學(xué)過程中注重過程性評價、診斷性評價已成為眾多學(xué)者和一線教師的共識。但在具體實踐過程中，因理論過于復(fù)雜、缺乏針對性而與實踐割裂，一線教師無法有效踐行。大多數(shù)高校的評價指標體系通用于工學(xué)、理學(xué)、文學(xué)、管理學(xué)等，未區(qū)分學(xué)生專業(yè)性質(zhì)，甚至出現(xiàn)長時間不更新的現(xiàn)象。傳統(tǒng)學(xué)習評價所存在的問題在新理念的碰撞和滲透下逐漸顯現(xiàn)。在信息技術(shù)與教育不斷融合，我國高質(zhì)量教育建設(shè)不斷推進的進程中，學(xué)校必須融合新理念、新思想、新技術(shù)改變傳統(tǒng)學(xué)習評價現(xiàn)狀，優(yōu)化評價指標體系，規(guī)范評價方法，發(fā)揮好評價指揮棒的作用，建立科學(xué)的教育導(dǎo)向，以更好地培養(yǎng)具有創(chuàng)新性、創(chuàng)造性的時代新人。

（二）評價結(jié)果缺乏科學(xué)性

傳統(tǒng)的學(xué)習評價結(jié)果通常以最終的考試分數(shù)或優(yōu)秀、良好、合格和不合格的等級制呈現(xiàn)，無法具體地反映學(xué)生學(xué)習過程中存在的問題。針對不同的教學(xué)目標，學(xué)生的完成度，學(xué)生在知識、方法、技能、實踐、思想等各方面的表現(xiàn)與差異都無法通過最終的結(jié)果展現(xiàn)出來，以致“唯分數(shù)”等頑瘴痼疾嚴重影響著學(xué)習評價及教育導(dǎo)向的科學(xué)發(fā)展。此外，傳統(tǒng)的以教師為主的評價方式易使教師的主觀因素影響學(xué)習評價結(jié)果，使學(xué)習評價有失公正和客觀性。而隨著大數(shù)據(jù)、人工智能、學(xué)習分析等新一代信息技術(shù)在教育教學(xué)中的深度融合應(yīng)用，以及信息化學(xué)習環(huán)境的開發(fā)，學(xué)習者學(xué)習的全過程數(shù)據(jù)得以保留。我們通過對數(shù)據(jù)的深度分析，可以構(gòu)建出學(xué)習者畫像。新技術(shù)的參與及新的教學(xué)方式為學(xué)習評價從主觀走向客觀和科學(xué)提供了良好的契機和條件?！渡罨聲r代教育評價改革總體方案》提出，要充分利用信息技術(shù)，提高教育評價的科學(xué)性、專業(yè)性、客觀性?？梢姡趯W(xué)習評價指標的制定過程中，充分考慮新一代信息技術(shù)的參與是實現(xiàn)教育評價科學(xué)性、專業(yè)性、客觀性的有效手段。

（三）評價實施重結(jié)果輕過程

傳統(tǒng)學(xué)習評價的實施大多重視結(jié)果而忽視評價過程，且缺乏對評價過程的監(jiān)管及具體的可操作的監(jiān)管措施。盡管教師在具體的評價實施環(huán)節(jié)可以充分根據(jù)課程特點采用合適的方法，極大地發(fā)揮教師的主動性，增加課程評價方法的多樣化，但可操作的監(jiān)管措施的缺失會使評價結(jié)果的公正性和科學(xué)性受到懷疑。此外，部分學(xué)校的評價指標不清晰，在推行過程中難以發(fā)揮以評促改的作用，以及評價的導(dǎo)向和激勵作用。學(xué)校過程監(jiān)督和監(jiān)管的缺失，還有可能帶來一定的負面效果，如教師只重視結(jié)果而忽視過程、評價不認真，學(xué)生對結(jié)果不重視等。所以，在評價指標的具體執(zhí)行階段，教育管理部門需要和一線教師共同完成。

二、學(xué)習評價指標體系的構(gòu)建

（一）研究方法

研究采用德爾菲法。德爾菲法即根據(jù)一定的問題邀請相關(guān)領(lǐng)域的專家或有經(jīng)驗的管理人員對某一問題進行預(yù)測并最終達成一致意見的方法。德爾菲法有匿名性、反饋性和統(tǒng)計性等特點，根據(jù)德爾菲法的要求,專家或管理人員數(shù)量可以根據(jù)研究項目的大小和涉及面的寬窄而定,一般在8～20人。研究通過德爾菲法分析初步構(gòu)建的學(xué)習評價指標的科學(xué)性和有效性，以構(gòu)建科學(xué)合理的學(xué)習評價指標。

（二）研究過程

1.確定指標體系。教育評價中的實質(zhì)性評價倡導(dǎo)根據(jù)評價對象本身的特性進行評價，以真實反映評價對象的實質(zhì)特征。當前，對學(xué)習者的評價，更多的是以成績等外部特征進行的評價，忽略了學(xué)生學(xué)習與成長的特點，忽略了人本質(zhì)特點的反映。回歸教育本體，大學(xué)具有教育性、學(xué)術(shù)性和服務(wù)性的特性。關(guān)于培養(yǎng)什么人的教育首要問題，習近平總書記在全國教育大會上指出，要培養(yǎng)德智體美勞全面發(fā)展的社會主義建設(shè)者和接班人。因此，研究將評價指標劃分為學(xué)習態(tài)度、學(xué)習過程和學(xué)習效果三個維度，初步構(gòu)建了一個具有3個一級指標、11個二級指標的學(xué)習評價指標體系。其中，一級指標學(xué)習態(tài)度重點考查學(xué)生對學(xué)校、教師、課程等的情感認同，以及學(xué)生自身的紀律意識和學(xué)習投入度；學(xué)習過程主要考查學(xué)生在學(xué)習階段表現(xiàn)出的自主學(xué)習能力、溝通表達能力、協(xié)作學(xué)習能力、創(chuàng)新能力和實踐能力；學(xué)習效果主要考查學(xué)生的知識應(yīng)用、知識遷移和知識創(chuàng)新的程度。

2.遴選咨詢專家。德爾菲法專家一般在8～20人，入選標準:（1）本科及以上學(xué)歷；（2）副高以上職稱；（3）具有豐富的質(zhì)控經(jīng)驗；（4）積極性高，愿意填答問卷；（5）能保證參與多輪函詢。根據(jù)以上標準，研究最后選取15位專家，其中，教授6人，副教授9人。

3.設(shè)計咨詢問卷。為了更全面地了解專家及讓專家全面了解指標體系，研究設(shè)計了專家個人信息問卷表、專家評價表及學(xué)習評價指標體系表。

4.開展問卷調(diào)查。德爾菲法需要進行開放式的首輪調(diào)研、評價式的第二輪調(diào)研、重審式的第三輪調(diào)研和復(fù)核式的第四輪調(diào)研四輪專家調(diào)研。問卷過程全部在問卷星平臺完成。每輪問卷發(fā)放和收回周期為7天，重點討論指標體系的觀測點是否科學(xué)，指標的解讀是否存在歧義。我們根據(jù)每一輪的建議和意見，對指標體系進行修改，作為下一輪調(diào)研的依據(jù)。

三、問卷調(diào)查結(jié)果與分析

（一）開放式的首輪調(diào)研結(jié)果與分析

我們根據(jù)初步設(shè)想的指標體系進一步完善各個子指標的解釋，設(shè)計首輪調(diào)研問卷。調(diào)研問卷包括導(dǎo)語、指標體系中各個子指標的重要性和專家對指標體系的熟悉程度量化打分表、專家基本情況介紹三部分。專家對指標的重要性評分按照Liket量表，將重要性分為不重要、不太重要、一般、比較重要和非常重要五個等級，賦值為1、2、3、4、5。專家對指標體系的熟悉程度分為非常熟悉、熟悉、一般、較不熟悉和非常不熟悉五個等級，分別賦值1.0、0.8、0.6、0.4、0.2。同時，我們將專家的判斷依據(jù)分為實踐經(jīng)驗、理論分析、同行了解及專家直覺四個方面，量化值分別記為0.8、0.6、0.4、0.2，如表1所示。

表1 專家指標判斷依據(jù)量化表

第一輪共邀請了15位專家參與調(diào)研，專家基本信息如下：年齡方面，小于36歲的2人，36～40歲的7人，41～45歲的2人，46～50歲的2人，大于50歲的2人；學(xué)歷方面，本科1人，碩士研究生5人，博士研究生9人；高校工作時間方面，低于10年的4人，10～15年的4人，16～20年的3人，21年以上的4人；專業(yè)方面，研究心理學(xué)的2人，研究數(shù)學(xué)的4人，研究教育學(xué)的4人，研究計算機科學(xué)與技術(shù)的4人，研究工商管理的1人，研究化學(xué)及化學(xué)工程的1人。

第一輪問卷回收后，我們使用Excel 365對結(jié)果進行分析，主要分析專家的積極系數(shù)、權(quán)威程度和意見協(xié)調(diào)程度。

1.專家積極系數(shù)。專家積極系數(shù)用專家問卷有效回收率和專家意見提出率表示。一般認為，專家咨詢表回收率在70%以上則表明專家積極性較高。兩輪發(fā)出問卷共15份，收回共15份，回收率100%。其中，第一輪中有12位專家提出意見，專家意見提出率80%。這兩個數(shù)據(jù)表明專家非常重視。

2.專家權(quán)威程度。專家權(quán)威程度（Cr）由專家對指標的判斷依據(jù)（Ca）和專家對指標的熟悉程度（Cs）決定，一般認為權(quán)威程度系數(shù)＞0.7即可接受。專家的權(quán)威程度系數(shù)等于0.778，表明專家權(quán)威程度較高。

3.專家協(xié)調(diào)程度。專家協(xié)調(diào)程度反映了專家對全部指標的協(xié)調(diào)程度、對信息重要性的意見集中程度，用Kendall’s W系數(shù)表示，系數(shù)越大，表明專家協(xié)調(diào)程度越高，結(jié)果越可靠。經(jīng)SPSS20.0計算，第一輪咨詢協(xié)調(diào)系數(shù)為0.138，表明結(jié)果具有一定的價值。

4.專家意見和建議。通過對第一輪專家調(diào)研結(jié)果的統(tǒng)計分析可以看出，專家對現(xiàn)有指標認同度較高，共有12位專家提出了意見和建議，包括學(xué)生還應(yīng)具有舉一反三、主動學(xué)習的能力；教師可利用網(wǎng)絡(luò)學(xué)習平臺，讓學(xué)生講解某個知識點或習題，教師評價分析，加深學(xué)生印象；整體分類很清晰，學(xué)習態(tài)度板塊分類偏簡單；自主獲取學(xué)習資源的能力很重要；增加對線上線下學(xué)習過程數(shù)據(jù)和學(xué)習結(jié)果考核的評價；學(xué)習動力、成就動機也很重要等。

專家針對初步構(gòu)建的學(xué)習評價指標體系主要提出了三點建議，一是要重視學(xué)生的學(xué)習動機，二是要注重學(xué)生的學(xué)習興趣，三是要結(jié)合線上線下資源對學(xué)習者進行評價。因此，我們在初步構(gòu)建的學(xué)習評價指標體系基礎(chǔ)上增加兩個二級指標，具體如表2所示。

表2 修改后的指標體系

（二）評價式的第二輪調(diào)研結(jié)果與分析

在第一輪指標體系的基礎(chǔ)上，進行第二輪調(diào)研。共發(fā)放15份問卷，收回15份，全部有效，專家積極度非常高；統(tǒng)計結(jié)果顯示咨詢協(xié)調(diào)系數(shù)為0.200，專家意見協(xié)調(diào)程度高于第一輪；變異系數(shù)都小于0.25，說明專家意見一致，經(jīng)檢驗結(jié)果可信。統(tǒng)計結(jié)果如表3所示。

表3 第二輪調(diào)研的統(tǒng)計結(jié)果

研究通過德爾菲法從學(xué)習態(tài)度、學(xué)習過程、學(xué)習效果三個維度確立了學(xué)習評價指標體系，以期改變傳統(tǒng)學(xué)習評價注重外部評價而忽略對學(xué)習者學(xué)習與成長特點的考查的不足，促使學(xué)習評價能真正反映學(xué)習者在德智體美勞多個方面的學(xué)習成長程度。