摘要:當前,在線學(xué)習的快速發(fā)展使學(xué)習者互動質(zhì)量評價面臨新的挑戰(zhàn),如何全面評價學(xué)習者話語互動的社會交互、情感態(tài)度、認知建構(gòu)等質(zhì)量水平,已成為長期困擾教育工作者的實際問題。對此,文章首先以活動理論為上層牽引,采用文獻調(diào)研法和德爾菲法,解析在線學(xué)習空間下話語互動質(zhì)量評價的多要素組構(gòu)成分,確定指標權(quán)重系數(shù),并耦合關(guān)聯(lián)學(xué)習者的外顯社交行為和內(nèi)隱情感、認知、知識特征,構(gòu)建了包含三級目錄結(jié)構(gòu)和四維特征要素(即社交、情感、認知和知識)的在線學(xué)習空間下的話語互動質(zhì)量評價指標體系。然后,文章對該指標體系進行了實踐應(yīng)用,結(jié)果表明該指標體系可作為評價在線學(xué)習空間下話語互動質(zhì)量的一種綜合性評估測量工具,且其數(shù)字化計算驅(qū)動的綜合評價結(jié)果可助力教師開展精準教學(xué),為學(xué)習者自主學(xué)習過程提供適切反饋,促進其社會互動、情感調(diào)節(jié)和認知加工,進而提升學(xué)習效果和學(xué)習體驗。文章通過研究,旨在為在線學(xué)習空間下的學(xué)習者話語互動評價新范式提供理論指導(dǎo)和實踐支持。
關(guān)鍵詞:在線學(xué)習空間;話語互動質(zhì)量;評價指標體系;實踐研究
【中圖分類號】G40-057 【文獻標識碼】A 【論文編號】1009—8097(2025)03—0107—11 【DOI】10.3969/j.issn.1009-8097.2025.03.011
《中華人民共和國國民經(jīng)濟和社會發(fā)展第十四個五年規(guī)劃和2035年遠景目標綱要》和《深化新時代教育評價改革總體方案》明確提出,要構(gòu)建高質(zhì)量教育體系,推進教育評價關(guān)鍵領(lǐng)域改革取得實質(zhì)性突破,改進結(jié)果評價、強化過程評價、健全綜合評價,促進學(xué)生全面培養(yǎng)[1][2]。在此背景下,教育評價改革在關(guān)注學(xué)習者線下考試成績的同時,也應(yīng)聚焦在線學(xué)習空間中的學(xué)習者社會交互質(zhì)量,尤其是如何通過在線學(xué)習平臺實現(xiàn)學(xué)習者的全面發(fā)展和互動水平的提升[3][4]。然而,當前學(xué)習者通常在話語協(xié)作過程中表現(xiàn)出交互質(zhì)量差、建構(gòu)層次低等問題[5][6],如果教師難以清晰地測量和評價學(xué)習者的話語互動狀態(tài)(社會參與度、認知和情感投入、知識內(nèi)容深度等),便無法構(gòu)建學(xué)習者互動發(fā)展質(zhì)量畫像并精準對其痛點進行診斷下藥[7]。目前,針對在線學(xué)習者話語互動的評價研究通常側(cè)重于話語互動活動的外顯行為或內(nèi)隱語義內(nèi)容建模,并且其特征結(jié)構(gòu)和評價維度較為單一[8][9][10],難以全面、準確地反映學(xué)習者話語互動質(zhì)量。針對以上現(xiàn)實需求問題,本研究嘗試以活動理論為導(dǎo)引,厘清學(xué)習者話語互動活動產(chǎn)生的內(nèi)在機制,并通過透析學(xué)習投入意蘊的內(nèi)涵式發(fā)展,明確話語互動質(zhì)量評價的多要素組構(gòu)成分,構(gòu)建在線學(xué)習空間下話語互動質(zhì)量評價指標體系,并將該指標體系應(yīng)用于教學(xué)實踐,以期為學(xué)校和區(qū)域?qū)嵤┰诰€學(xué)習質(zhì)量評價提供參考,助力學(xué)習者質(zhì)量綜合發(fā)展評價體系完善,促進在線學(xué)習話語質(zhì)量過程性評價理論優(yōu)化,為數(shù)據(jù)驅(qū)動下的學(xué)習共同體話語互動評價新范式提供實踐指導(dǎo)。
一 文獻綜述
美國教育學(xué)家Flanders[11]指出,話語互動占所有課堂教學(xué)行為的80%左右,這一觀點指明了話語互動在教學(xué)活動中的重要性。在線學(xué)習空間中,話語互動可以理解為學(xué)習者通過各種學(xué)習媒介與他人進行社會性信息交流[12]。具體而言,話語互動是指學(xué)習者與教師、同伴等不同的角色,在大規(guī)模開放式在線課程(Massive Open Online Courses,MOOC)、小規(guī)模限制性在線課程(Small Private Online Course,SPOC)等在線學(xué)習平臺提供的課程討論區(qū)、評論區(qū)、聊天室、答疑室等交互模塊開展話語內(nèi)容的社會互動形式表達[13]。尤其是在后疫情時代,在線學(xué)習的普及使評價話語互動質(zhì)量變得尤為重要,這不僅關(guān)乎在線學(xué)習的教學(xué)效果,也為其可持續(xù)良性發(fā)展提供了重要保障。
目前,圍繞在線學(xué)習者話語互動評價主題,國內(nèi)外學(xué)者通常從話語互動質(zhì)量評價的單一或復(fù)合維度展開探討。針對前者,相關(guān)研究聚焦外顯社會交互行為或內(nèi)隱話語內(nèi)容的單一評價,如呂春祥[14]從發(fā)帖和回帖數(shù)量等行為頻次方面分析在線學(xué)習者的話語互動參與水平;李毅等[15]借鑒新版布魯姆目標分類體系理論,提出包含交互參與、內(nèi)容深度、交互特征和交互時間的學(xué)習者社會性交互質(zhì)量分析框架;Ninaus等[16]從內(nèi)隱的多元情感類別測量方面,評價學(xué)習者的學(xué)習投入度;Chi等[17]提出學(xué)習過程中認知參與水平的交互-建構(gòu)-主動-被動(Interactive-Constructive-Active-Passive,ICAP)分類框架;張思等[18]基于集體認知理論和ICAP框架,構(gòu)建包含被動、主動、建構(gòu)和交互的認知投入分析模型;Gunawardena等[19]提出用于學(xué)習質(zhì)量分析的交互分析模型(Interaction Analysis Model,IAM),從建構(gòu)層級維度將交互分為信息分享、深化認知、意義協(xié)商、檢驗修正和應(yīng)用新知識五個階段??傮w而言,單一維度的話語互動質(zhì)量評價關(guān)注學(xué)習者點擊流產(chǎn)生的外顯社會交互行為或?qū)W習者內(nèi)在情緒、認知等語義內(nèi)容,難以全面、精準地反映學(xué)習者的話語互動水平,不足以為教師開展精準教學(xué)和學(xué)習者實現(xiàn)深度學(xué)習提供證據(jù)與支持。
針對話語互動層次和評價維度單一的局限,不少研究從多維度復(fù)合視角構(gòu)建話語互動質(zhì)量評價框架[20],如Zou等[21]基于社會存在理論,構(gòu)建包含情感表達、開放式溝通、群體凝聚力三個維度的交互分析框架;Garrison等[22]基于社會認知理論的思想演變,提出包含社會臨場感、認知臨場感和教學(xué)臨場感三個模塊的社區(qū)探索框架(Community of Inquiry,COI);Liu等[23]從情感和認知參與兩個內(nèi)隱特征維度,探究學(xué)習者話語討論的語義層次及其對于學(xué)習質(zhì)量評價的影響;李艷燕等[24]搭建了基于認知投入、行為投入、社會投入和情感投入四個維度的在線協(xié)作學(xué)習投入評測框架;王珊[25]超越傳統(tǒng)單一的學(xué)生自我評價方式,從自我報告(行為、情感和認知)維度和話語參與維度,構(gòu)建了一套學(xué)生課堂教學(xué)參與質(zhì)量評價體系;Henri[26]從學(xué)習者認知范式出發(fā),提出包含參與、社會、交互、認知和元認知五個維度的學(xué)習過程評價框架。然而,以上研究側(cè)重于話語交互外顯行為或內(nèi)隱語義內(nèi)容的測評,尚未形成一套圍繞在線學(xué)習者話語互動質(zhì)量的綜合性評價指標體系。因此,本研究聚焦話語社會交互行為驅(qū)動的內(nèi)隱心理感知,拓展話語評價要素的廣度和深度,通過梳理話語質(zhì)量表征的交互過程與關(guān)鍵要素(社交、情感、認知和知識),提出了一種適應(yīng)于在線學(xué)習空間下話語互動場景且可監(jiān)測、可操作的在線話語互動質(zhì)量評價指標體系。
二 在線學(xué)習空間下的話語互動質(zhì)量評價指標體系構(gòu)建
1 活動理論視角下的話語互動產(chǎn)生機制
活動理論以“活動”為核心范疇和邏輯起點,提供了一個分析和理解人類行為與互動的框架,特別適用于探索復(fù)雜的學(xué)習和教學(xué)過程。在線學(xué)習空間中,學(xué)習者話語互動被視為一種典型的“活動”,它既是學(xué)習者認知發(fā)展和知識建構(gòu)的核心內(nèi)容,也是在線學(xué)習行為的重要表現(xiàn)形式,因此活動理論為理解在線學(xué)習者的話語互動提供了有力的理論支持。Engestr?m[27]通過分析人類活動的演進過程,明確提出特定環(huán)境中的活動涉及主體、客體、工具、共同體、規(guī)則和勞動分工六要素,并主張外在活動與內(nèi)在思想交織融合?;顒永碚搼{借其跨情境的可操作性特征,已逐漸成為研究教學(xué)活動過程的主要方法論之一[28][29]。
從活動構(gòu)成要素出發(fā),在線學(xué)習話語交互情境下的學(xué)習者話語互動活動包含主體、工具、客體、共同體、教學(xué)規(guī)則和責任分工六要素。其中,主體指參與話語互動的學(xué)習者,工具表示在線交互平臺和在線學(xué)習資源,客體指教學(xué)目標和學(xué)習內(nèi)容,共同體包括參與話語互動的教師、助教和學(xué)習同伴,教學(xué)規(guī)則指課程考核標準和在線互動規(guī)則,責任分工指教師、助教以及學(xué)習者等共同體需要承擔不同的職責與任務(wù)。
從活動產(chǎn)生的內(nèi)在機制出發(fā),在線學(xué)習空間下的話語互動是一個學(xué)習者、工具、共同體、活動(行為)等多成分交叉作用的復(fù)雜交互過程:學(xué)習者通過操作在線學(xué)習平臺獲取學(xué)習資源(工具),習得話語互動內(nèi)容,構(gòu)建個人知識網(wǎng)絡(luò),形成“主體-工具”的話語互動活動基礎(chǔ),在此過程中學(xué)習者通過認知加工獲取知識,并在情感上建立歸屬感與認同感;學(xué)習者通常具有明確的學(xué)習目標和學(xué)習任務(wù)(客體),這使兩成分交互擴展為“主體-工具-客體”三成分交互,此時學(xué)習目標的清晰度和相關(guān)性直接影響學(xué)習者的工具使用方式與學(xué)習策略;當學(xué)習者個體無法滿足自身學(xué)習需求時,通常會借助在線學(xué)習平臺與其他學(xué)習個體或群體建立社會聯(lián)系,開展在線協(xié)作學(xué)習,形成學(xué)習共同體知識網(wǎng)絡(luò),三成分交互進一步擴展為“主體-工具-客體-共同體”四成分交互,此時學(xué)習者之間的知識更具流動性、開放性與社會性,并且集體智慧得以持續(xù)發(fā)展,個體知識網(wǎng)絡(luò)不斷生長與更新;為了保障預(yù)期學(xué)習成效和優(yōu)化學(xué)習體驗,考核標準、在線互動等教學(xué)規(guī)則和責任分工對于學(xué)習者、學(xué)習資源、學(xué)習目標等核心成分具有顯著的調(diào)控與約束作用,四成分交互最終擴展為“主體-工具-客體-共同體-教學(xué)規(guī)則-責任分工”六成分交互。
從活動理論的原則出發(fā),內(nèi)化與外化是描述外部活動對學(xué)習者認知和行為影響的兩個關(guān)鍵過程。其中,內(nèi)化是學(xué)習者通過人際和社會交互,借助操作技能、理論知識等構(gòu)建心智網(wǎng)絡(luò),將有效的知識技能轉(zhuǎn)化為內(nèi)在觀念或認知結(jié)構(gòu)的過程。在線學(xué)習空間中,學(xué)習者受到學(xué)習目標與內(nèi)容的導(dǎo)向,并通過教學(xué)規(guī)則和責任分工的調(diào)節(jié),與工具和共同體進行時空交互,從而促進知識的沉淀、流動與生成,推動認知結(jié)構(gòu)的變化,最終生成話語互動活動流轉(zhuǎn)、通行的系統(tǒng)循環(huán)體。在這一系統(tǒng)中,學(xué)習者通過反思、總結(jié)等內(nèi)省活動,將外部經(jīng)驗轉(zhuǎn)化為內(nèi)部知識,實現(xiàn)認知層面的提升。與內(nèi)化相對,外化指學(xué)習者將內(nèi)在的觀念或認知結(jié)構(gòu)轉(zhuǎn)化為外顯的社會行為。隨著學(xué)習者內(nèi)在知識結(jié)構(gòu)的不斷更新,其外在行為也隨之變化,表現(xiàn)出更加成熟合理的社會互動。內(nèi)化和外化相互促進、交替進行,兩者共同構(gòu)成了一個有序、規(guī)則驅(qū)動的有機閉環(huán),推動學(xué)習者從知識的吸收和理解轉(zhuǎn)為應(yīng)用與創(chuàng)造。因此,活動理論中外在活動與內(nèi)在思想的交織融合,恰恰反映了在線學(xué)習空間中學(xué)習者在知識建構(gòu)過程中的認知與行為轉(zhuǎn)變。
2 學(xué)習投入內(nèi)涵理解下的話語互動質(zhì)量評價理論框架搭建
在線學(xué)習空間中的大規(guī)模學(xué)習具有復(fù)雜性和無邊界性,因此教師難以全面把握學(xué)習者活動交互的發(fā)展狀態(tài)[30]。學(xué)習投入作為學(xué)習者投入體力和心理的總和[31],是反映學(xué)習活動質(zhì)量與決定教學(xué)效果的關(guān)鍵因素,為在線話語互動質(zhì)量評價提供了切入視角。學(xué)習投入具有多維度特征,涵蓋學(xué)習者的行為、情感、認知等多個方面,它強調(diào)“以學(xué)習者為主體”的教學(xué)理念,關(guān)注學(xué)習者實際需求,能有效評估學(xué)習者的學(xué)習體驗。在大規(guī)模在線學(xué)習中,學(xué)習投入可以幫助教師更好地理解學(xué)習者的學(xué)習過程、互動方式和情感變化。
本研究梳理整合國內(nèi)外文獻后發(fā)現(xiàn),研究者通常從行為觀、心理觀、社會文化觀等方面開展學(xué)習投入的相關(guān)評價研究。其中,行為觀認為學(xué)習投入主要指學(xué)習者付出的時間和努力[32],側(cè)重于分析和測評大學(xué)生認知、情感與技能投入水平,涵蓋學(xué)業(yè)挑戰(zhàn)度、主動合作學(xué)習水平、師生互動水平、教育經(jīng)驗豐富度等指標。心理觀主張將學(xué)習投入視為多維心理結(jié)構(gòu)[33],傾向于評估行為、認知和情感狀態(tài),具體包括學(xué)習行為、學(xué)習策略、學(xué)習動機、自我效能感、興趣等指標。社會文化觀強調(diào)社會文化情景對學(xué)習投入質(zhì)量效果的影響[34],囊括行為、社交、認知等多維指標。本研究對學(xué)習投入內(nèi)涵和學(xué)習投入評價文獻進行歸納分析,多數(shù)學(xué)習投入模型的一級要素涵蓋社交、行為、情感、認知等多維組合。換而言之,在大規(guī)模在線學(xué)習環(huán)境中,學(xué)習投入測量能夠揭示學(xué)習者在學(xué)習過程中社交互動、情感波動與認知提升的變化。
學(xué)習投入的多維特性(如社交、行為、情感、認知等維度),可以通過活動理論的整合機制進行更深刻的理解。該理論指出,學(xué)習是通過外部行為的“外化”和內(nèi)在認知結(jié)構(gòu)的“內(nèi)化”共同推動的。因此可以說,學(xué)習投入的各個維度,與學(xué)習者外顯行為和內(nèi)在認知的變化緊密相聯(lián)。其中,社交維度反映了學(xué)習者在話語互動中的參與程度和協(xié)作行為,這不僅是學(xué)習者外化過程的體現(xiàn),也是其情感體驗、知識積累和認知發(fā)展的基礎(chǔ);情感維度影響學(xué)習者學(xué)習動機和社交互動的效果,積極情感能夠促進學(xué)習者的主動參與,而消極情感可能抑制其外化行為;認知維度關(guān)注學(xué)習者在知識構(gòu)建過程中的深度應(yīng)用、分析和創(chuàng)新,它與學(xué)習者通過社交行為外化的認知成果密切相關(guān)。
此外,在學(xué)習者話語互動情境中,“知識”具有信息聯(lián)通作用[35],貫穿于活動全過程,是學(xué)習主體與共同體之間社會行為和關(guān)系形成的基礎(chǔ),也是學(xué)習目標達成的重要表征形式。綜上,在線學(xué)習空間下的話語互動質(zhì)量評價需考慮這些多維度的動態(tài)變化與相互作用,因此本研究從學(xué)習投入視角出發(fā),將學(xué)習投入的內(nèi)涵和在線學(xué)習空間的實際需求相結(jié)合,納入知識要素,拓展社交特征維度,由外向內(nèi)地形成包含社交(行為和關(guān)系)、情感、認知和知識四個維度的在線學(xué)習空間話語互動質(zhì)量評價理論框架,如圖1所示。
在線學(xué)習空間話語互動質(zhì)量評價理論框架聯(lián)合了學(xué)習者話語交互的外顯社交行為與內(nèi)隱情感、認知、知識特征,強調(diào)這些因素之間的緊密耦合關(guān)系。具體而言,社交維度考察學(xué)習者的參與和沉浸程度,包括其交互行為與協(xié)作關(guān)系,是學(xué)習者情感演變、認知發(fā)展和知識積累的前提基礎(chǔ)[36]。積極的社交行為不僅有助于學(xué)習共同體的形成和發(fā)展,還能顯著提高其情感滿意度和學(xué)習動力。情感維度指學(xué)習者的感受和體驗。積極情感有助于激發(fā)學(xué)習動機,促進學(xué)習者內(nèi)在信息加工及其與他人的主動交互[37];消極情感則會降低學(xué)習動機,減少學(xué)習者與共同體互動交流的意愿。情感維度與社交維度相互影響,良好的情感狀態(tài)能提升社交行為的效果。認知維度監(jiān)測學(xué)習者對知識的“深層”應(yīng)用、分析、評價與創(chuàng)作,以區(qū)分學(xué)習者知識建構(gòu)層次和高階思維的發(fā)展[38]。認知維度與知識維度緊密相連,學(xué)習者通過理解和掌握知識,實現(xiàn)認知能力的提升。知識維度考察學(xué)習者的資源儲備覆蓋面以及能否解決課程學(xué)習相關(guān)的問題[39],在學(xué)習者話語互動活動中具有信息聯(lián)通作用,是主體與共同體之間社會關(guān)系形成的基礎(chǔ),也是學(xué)習者認知發(fā)展的結(jié)果表征。知識維度與認知維度相互促進,學(xué)習者通過獲取和分享知識不斷提升其認知水平。
3 在線學(xué)習空間下的話語互動質(zhì)量評價指標體系確立
基于在線學(xué)習空間話語互動質(zhì)量評價理論框架,本研究擬構(gòu)建一套服務(wù)于實踐應(yīng)用的評價指標體系,旨在將抽象的評價目標轉(zhuǎn)換為可觀測、可檢驗的內(nèi)容描述,為評價實踐提供價值支撐與操作指南[40]。本研究綜合考慮指標可監(jiān)測、可操作等標準,整合歸納話語互動相關(guān)文獻的重要信息,確定社交、情感、認知和知識四個一級指標,逐層對其進行維度發(fā)散與收斂,并采用德爾菲法征求教育信息化相關(guān)領(lǐng)域?qū)<业囊庖姾徒ㄗh,測算指標權(quán)重,以進一步修正、完善評價指標體系。
(1)指標發(fā)散與收斂
本研究面向差異化的在線學(xué)習平臺場景(如討論區(qū)、答疑室、點評區(qū)等),結(jié)合學(xué)習者話語表達的通用和特有屬性特征,對社交、情感、認知、知識四個一級維度逐層向下發(fā)散與收斂,構(gòu)建了包含三級目錄結(jié)構(gòu)和四維特征要素的在線學(xué)習空間下的話語互動質(zhì)量評價指標體系。指標發(fā)散是指在大量文獻調(diào)研的基礎(chǔ)上,收集各個一級維度指標的二級指標和三級指標,形成各級指標庫。例如,社交維度主要考察學(xué)習者的參與行為和沉浸程度,那么一級指標“社交”可發(fā)散為交互行為、交互關(guān)系2個二級指標。其中,“交互行為”進一步細分為發(fā)帖、回帖、點贊、引用、轉(zhuǎn)載、發(fā)帖長度、反饋度7個關(guān)鍵指標[41][42],“交互關(guān)系”可發(fā)散為密度、中心勢、互惠性、傳遞性4個三級指標[43]。指標收斂是指為了確保指標之間具有內(nèi)容相互獨立和維度相對統(tǒng)一的特征,修改/刪除含義重疊或與上級指標關(guān)聯(lián)度不高的同級指標。例如,“交互行為”包括“引用”和“轉(zhuǎn)載”,然而在話語互動過程中,引用和轉(zhuǎn)載均是對他人話語的認可與佐證,存在一定的重復(fù)性,因此將“引用”的含義納入“轉(zhuǎn)載”。經(jīng)過指標發(fā)散與收斂,本研究形成了包含4個一級指標、10個二級指標、26個三級指標的在線學(xué)習空間下的話語互動質(zhì)量評價指標體系初稿。
(2)各級指標修正
為確保評價指標體系全面、精準地衡量學(xué)習者在在線學(xué)習空間下的話語互動質(zhì)量,本研究采用德爾菲法修正和完善指標體系初稿,共邀請了10位教育信息化相關(guān)領(lǐng)域的專家就指標體系初稿的合理性、完備性、準確性、可操作性等多個方面提出修改意見,進而根據(jù)專家意見對指標體系初稿進行調(diào)整與完善。專家對于評價指標體系的整體框架表示認同,主要對三級指標的描述提出了一些修改意見。例如,專家認為針對“知識”維度,三級指標“策略知識”和“元認知知識”存在語義解釋和表述不清的問題,“中立情緒密度”存在數(shù)據(jù)采集可操作性較弱的問題;針對“認知”維度,三級子指標“深化認知”存在表述不當、容易引起思維混淆等問題。針對上述問題,本研究對“策略知識”和“元認知知識”三級指標的表述進行了更細致的劃分與澄清,將“深化認知”修改為“認知沖突”,確保各級指標之間的相互獨立性和科學(xué)性。
(3)指標權(quán)重確定
本研究通過收集專家對修正后評價指標重要性的評分結(jié)果,采用德爾菲法計算各級指標權(quán)重[44],具體過程如下:①遴選專家?;谧栽冈瓌t,邀請10位教育信息化領(lǐng)域研究話語分析的專家參與專家咨詢。所有專家均在核心刊物上至少公開發(fā)表過1篇話語分析相關(guān)主題的論文。②開展兩輪專家咨詢。在進行第一輪專家咨詢時,現(xiàn)場發(fā)放咨詢問卷,請專家對各級指標的重要性分別進行10級評分,并整理形成第一輪專家打分結(jié)果匯總表。在進行第二輪專家咨詢時,同時發(fā)放咨詢問卷和隱藏專家信息的第一輪專家打分結(jié)果匯總表,請專家對各級指標的重要性再次評分,并且整理形成第二輪專家打分結(jié)果匯總表。③檢驗指標權(quán)重的一致性?;诘诙唽<掖蚍纸Y(jié)果,采用肯德爾和諧系數(shù)測算出專家評分一致性為0.414,表明專家評分結(jié)果協(xié)調(diào)性較好,可停止咨詢,故以第二輪專家打分均值為最終指標權(quán)重。④形成指標體系。結(jié)合修正后的各級指標及其權(quán)重,形成最終的在線學(xué)習空間下的話語互動質(zhì)量評價指標體系,具體如表1所示。
三 評價指標體系的實踐應(yīng)用
為進一步完善并應(yīng)用在線學(xué)習空間下的話語互動質(zhì)量評價指標體系,本研究開展了相應(yīng)的評價實踐,從實證角度探究指標體系的可監(jiān)測性和可操作性,發(fā)現(xiàn)問題并予以改進,為學(xué)校和教師對在線學(xué)習空間下話語互動質(zhì)量的監(jiān)測與評價提供參考。
1 評價指標計算
本研究針對華中師范大學(xué)云課堂平臺,選擇大一師范生公共必修課“數(shù)據(jù)科學(xué)導(dǎo)論”的討論區(qū)展開研究,時間范圍為2020年3月~2020年6月。該討論區(qū)有36名學(xué)生參與在線話語交互活動,本研究通過人工編碼剔除重復(fù)帖、無意義帖以及純標點符號帖,共收集1674條討論帖。
依托在線學(xué)習空間下的話語互動質(zhì)量評價指標體系,本研究對討論帖進行語義建構(gòu)和深度分析,針對社交維度三級指標的測量,采用社交網(wǎng)絡(luò)分析(Social Network Analysis,SNA)和社會網(wǎng)絡(luò)分析軟件UCINET(University of California at Irvine NETwork),其中互惠性、傳遞性指標計算分別如公式(1)、公式(2)所示。針對認知和知識維度三級指標的測量,本研究采用內(nèi)容語義分析方法。
公式(1)
公式(2)
學(xué)習者群體的情感密度計算分為兩步:計算單個帖子的情感密度和計算學(xué)習者群體的情感密度。在計算單個帖子的情感密度時,本研究考慮到單個帖子由多個語義單元獨立的句子組成的特點,使用正則表達式將每個帖子分割為多個句子(問號、句號、省略號等作為分隔符號),并將細粒度的句子作為最小的情感計算單元。本研究首先使用情感詞典統(tǒng)計句子中積極、困惑、消極的情感詞詞頻[45],并將詞頻最高的情感標注為句子的情感極性。如果出現(xiàn)三類詞數(shù)量相等或兩類詞數(shù)量相等且大于另一類詞數(shù)量的情況,則將該句子標記為中立情感。本研究通過公式(3)計算帖子k中情感的情感密度,考慮到每個學(xué)習者發(fā)帖的數(shù)量存在差異,本研究使用群體發(fā)帖的情感密度均值計算群體的情感密度,如公式(4)所示。
公式(3)
公式(4)
上述公式中,R取值介于0~1,表示互惠二元組(雙向有向邊)的比例;T取值介于0~1,表示閉合三元組(Xij>0,Xjk>0且Xik>0)的比例;τ?代表閉合三元組,τ3代表三元組;表示第k個帖子中情感的概率,表示該帖子中情感為的句子數(shù)量,表示帖子k的句子數(shù)量;表示群體中情感概率;N表示用戶數(shù)量;表示第j個用戶的發(fā)帖數(shù)量。
在獲取三級指標的評分值后,本研究采用歸一化和線性加權(quán)模型對群體話語互動質(zhì)量水平進行測算。具體而言,先對三級指標數(shù)據(jù)進行歸一化處理,消除不同指標之間的量綱差異,使其可以直接運算和比較。在此基礎(chǔ)上,本研究進一步采用線性加權(quán)方法,將各三級指標標準化數(shù)值與相應(yīng)權(quán)重的乘積進行加和匯總,逐層得到二級指標、一級指標以及整體話語互動質(zhì)量水平的具體數(shù)值。最終,本研究測算的話語互動質(zhì)量數(shù)值位于[0,"1]的閉區(qū)間內(nèi),即指標最高值為1,數(shù)值越靠近1,代表話語互動質(zhì)量越好。
2 綜合性評價結(jié)果分析
經(jīng)過上述評價指標值的計算,本研究發(fā)現(xiàn):整體而言,學(xué)習者課程討論的話語互動質(zhì)量分值為0.75,位于[0,"1]區(qū)間靠1的上四分位(接近1的四分之一區(qū)域),這在一定程度上表明學(xué)習者保持了較高的話語參與水平。
針對一級指標,知識維度(0.86)和社交維度(0.80)的得分較為突出,這表明學(xué)習者在課程討論中不僅能夠深入交流知識,還能進行有效的社交互動。然而,情感維度(0.67)和認知維度(0.66)的得分相對較低,說明在未來的課程設(shè)計與教學(xué)實施中,需要更多地關(guān)注并提升學(xué)習者的情感投入和認知水平。
針對二級指標,本研究可視化呈現(xiàn)了在線學(xué)習空間下的話語互動質(zhì)量評價得分,如圖2所示。值得注意的是,二級指標分值的高低并不直接對應(yīng)話語互動質(zhì)量的優(yōu)劣,如困惑情緒過大會增加學(xué)習者的學(xué)習負擔和心理體驗,而困惑情緒不足不利于學(xué)習者進行深度學(xué)習,適中的困惑情緒有利于學(xué)習者開展高質(zhì)量的活動交互和知識建構(gòu)的意義加工。因此,二級指標質(zhì)量水平應(yīng)該依賴學(xué)習空間規(guī)則進行差異化判定。
具體而言,學(xué)習者的話語交互行為(0.79)和交互關(guān)系(0.80)得分較高,交互較頻繁,形成了相對稠密的交互網(wǎng)絡(luò),有利于學(xué)習者在交流過程中促進知識的內(nèi)化。通過進一步分析學(xué)習者發(fā)帖內(nèi)容,學(xué)習者主動發(fā)起了27個討論主題,每個主題平均產(chǎn)生了61個回帖,并且學(xué)習者社交關(guān)系的密度、中心勢、互惠度和傳遞性等屬性值均超過0.4,這表明學(xué)習者之間溝通順暢,形成了良好的雙向社會交互關(guān)系。
學(xué)習者的積極情緒(0.89)和中立情緒(0.83)得分較高,困惑情緒(0.42)和消極情緒(0.52)得分較低,整體呈現(xiàn)出積極情緒傾向。學(xué)習者在討論交互過程中表現(xiàn)出更多好奇、興趣和樂趣等積極情緒,將有助于降低其認知負荷和促進知識點掌握。然而,學(xué)習者較少表現(xiàn)出困惑情緒,不利于學(xué)習者發(fā)揮自我效能感優(yōu)勢,需要采取一定的教學(xué)干預(yù)手段,以提升學(xué)習者主動發(fā)現(xiàn)問題、研究問題和解決問題的能力。
學(xué)習者的深度認知加工(0.64)和淺層認知加工(0.68)分值較低,表明學(xué)習者的整體認知加工水平偏低,且呈現(xiàn)出以淺層認知為主導(dǎo)的認知加工特性。進一步分析發(fā)現(xiàn),部分學(xué)習者能夠運用意義協(xié)商、檢驗修改等深度認知加工方式形成共識,而多數(shù)學(xué)習者主要依賴信息分享等淺層認知加工方式進行知識表達。這表明,學(xué)習者在交互過程中存在認知層次分化且整體表現(xiàn)出高階認知能力不足的問題。
學(xué)習者的知識相關(guān)(0.83)和知識無關(guān)(0.90)分值較高,表明其高度重視知識內(nèi)容學(xué)習。通過進一步分析學(xué)習者發(fā)帖內(nèi)容,事實知識、概念知識、策略知識、元認知知識等具體知識類型出現(xiàn)的頻率分別達到49%、28%、8%、7%,尤其是策略知識和元認知知識的總占比為77%。這些具體知識類型在話語互動過程中通常以專業(yè)術(shù)語和學(xué)科概念的形式呈現(xiàn),不僅反映出學(xué)習者對學(xué)科領(lǐng)域知識的掌握和應(yīng)用情況,也體現(xiàn)了其對學(xué)習內(nèi)容的深度理解和專業(yè)性思考。
四 結(jié)語
話語互動是促進學(xué)習者認知發(fā)展和深度學(xué)習的關(guān)鍵渠道與重要路徑。因此,構(gòu)建在線學(xué)習空間下的話語互動質(zhì)量評價指標體系并進行實踐應(yīng)用,對于掌握學(xué)習者在線話語互動質(zhì)量水平、促進學(xué)習活動的可持續(xù)良性發(fā)展具有重要意義。本研究引入活動理論,解析在線學(xué)習者的話語交互活動內(nèi)在機制,并通過對學(xué)習投入的內(nèi)涵式理解,梳理并整合學(xué)習者話語互動的特征結(jié)構(gòu)和核心要素,強調(diào)學(xué)習者話語互動過程的外顯社交行為和內(nèi)隱情感、認知、知識聯(lián)合特征關(guān)聯(lián),構(gòu)建了包含三級目錄結(jié)構(gòu)和四維特征要素(即社交、情感、認知、知識)的在線學(xué)習空間下的話語互動質(zhì)量評價指標體系。基于此評價指標體系,本研究進一步開展了教學(xué)效果評價的實踐應(yīng)用。教學(xué)實踐的綜合性評價結(jié)果表明,該評價指標體系能夠作為一種評價話語互動質(zhì)量手段,為新時代質(zhì)量導(dǎo)向的在線教育評價改革提供理論和實踐支撐:在理論價值方面,該評價指標體系具有多元、細化、可測等優(yōu)勢,拓展了話語互動評價標準的邊界,推動了學(xué)習者話語互動質(zhì)量評價研究從單一評價走向綜合評價,助力話語互動質(zhì)量的全面和精準評價;在實踐價值方面,該評價指標體系能夠為高校管理者、教師和學(xué)生提供可操作的反饋評價工具,為教學(xué)質(zhì)量考核、教師精準化教學(xué)、學(xué)習者深度學(xué)習提供評測依據(jù)[46],有助于服務(wù)新時代質(zhì)量導(dǎo)向的在線教育評價改革。
參考文獻
[1]新華社.中華人民共和國國民經(jīng)濟和社會發(fā)展第十四個五年規(guī)劃和2035年遠景目標綱要[OL].lt;http://www.gov.cn/xinwen/2021-03/13/content_5592681.htmgt;
[2]新華社.中共中央 國務(wù)院印發(fā)《深化新時代教育評價改革總體方案》[OL].lt;http://www.gov.cn/zhengce/2020-10/13/content_5551032.htmgt;
[3]周宇,應(yīng)鑫迪,陳文智.在線學(xué)習過程評價模型研究——以“學(xué)在浙大”在線教學(xué)平臺為例[J].現(xiàn)代教育技術(shù),2023,(7):118-125.
[4]蔡旻君,趙欣媛.將評價融入學(xué)習:在線課程設(shè)計之探索[J].現(xiàn)代教育技術(shù),2023,(4):83-91.
[5][15]李毅,石曉利,何莎薇.網(wǎng)絡(luò)異步交互環(huán)境中社會性交互質(zhì)量的分析——以學(xué)歷繼續(xù)教育網(wǎng)絡(luò)課程為例[J].現(xiàn)代遠距離教育,2020,(4):35-42.
[6]李良,喬海英,王淑平.基于Moodle平臺的學(xué)習者社會性交互特征研究[J].電化教育研究,2012,(7):48-53.
[7]彭晛,王偉,何珍珍,等.高校SPOC討論區(qū)的學(xué)習者話題演化分析研究[J].現(xiàn)代遠距離教育,2020,(3):42-50.
[8][41]Peng X, Xu Q. Investigating learners’ behaviors and discourse content in MOOC course reviews[J]. Computers amp; Education, 2020,143:103673.
[9]劉智,張文靜,孫建文,等.云課堂論壇中的學(xué)習者互動話語行為分析研究[J].電化教育研究,2016,(9):95-102.
[10][14]呂春祥.基于MOOC和SPOC的論壇交互研究[J].中國教育信息化2018,(21):12-17.
[11]Flanders N A. Analyzing teaching behavior[M]. USA: Addison Wesley Publishing Company, 1970:34.
[12]Bates A W. Interactivity as a criterion for media selection in distance education[J]. Never Too Far,"1991,16:5-9.
[13]王濟軍.基于SPOC的翻轉(zhuǎn)課堂教學(xué)模式及其效果研究——以“攝影基礎(chǔ)”為例[J].現(xiàn)代遠距離教育,2018,(1):44-49.
[16]Ninaus M, Greipl S, Kiili K, et al. Increased emotional engagement in game-based learning: A machine learning approach on facial emotion detection data[J]. Computers amp; Education, 2019,142:103641.
[17]Chi M T H, Wylie R. The ICAP framework: Linking cognitive engagement to active learning outcomes[J]. Educational Psychologist,"2014,(4):219-243.
[18]張思,何晶銘,上超望,等.面向在線學(xué)習協(xié)同知識建構(gòu)的認知投入分析模型及應(yīng)用[J].遠程教育雜志,2020,(4):95-104.
[19]Gunawardena C N, Lowe C A, Anderson T. Analysis of a global online debate and the development of an interaction analysis model for examining social construction of knowledge in computer conferencing[J]. Journal of Educational Computing Research, 1997,(4):397-431.
[20]Huang C"Q, Han Z"M, Li M"X, et al. Investigating students’ interaction patterns and dynamic learning sentiments in online discussions[J]. Computers amp; Education, 2019,140:103589.
[21]Zou W, Hu X, Pan Z, et al. Exploring the relationship between social presence and learners’ prestige in MOOC discussion forums using automated content analysis and social network analysis[J]. Computers in Human Behavior, 2021,115:106582.
[22]Garrison D R, Arbaugh J B. Researching the community of inquiry framework: Review, issues, and future directions[J]. Internet amp; Higher Education, 2007,(3):157-172.
[23]Liu S, Liu S, Liu Z, et al. Automated detection of emotional and cognitive engagements in MOOC discussions to predict learning achievement[J]. Computers amp; Education, 2022,181:104461.
[24][43]李艷燕,彭禹,康佳,等.在線協(xié)作學(xué)習中小組學(xué)習投入的分析模型構(gòu)建及應(yīng)用[J].中國遠程教育,2020,(2):40-48、77.
[25]王珊.學(xué)生課堂教學(xué)參與質(zhì)量評價體系研究[J].教育科學(xué)研究,2017,(7):54-58.
[26]Henri F. Computer conferencing and content analysis[A]. Collaborative Learning Through Computer Conferencing[C]. Berlin: Springer, 1992:117-136.
[27]Engestr?m Y. Learning by expanding[M]. Cambridge: Cambridge University Press, 2014:89.
[28][35]鄭榮,楊競雄,魏明珠,等.活動理論視角下的產(chǎn)業(yè)競爭情報智慧服務(wù)分析框架研究[J].情報雜志,2021,(8):38-44、52.
[29]吳振謙,鐘才明,殷金曙,等.基于活動理論的泛在化實踐教學(xué)平臺的構(gòu)建和實證[J].高等工程教育研究,2020,(6):194-200.
[30]萬亞玲,劉淑雅,塔衛(wèi)剛,等.MOOC課程高質(zhì)量發(fā)展的飛輪效應(yīng):從因素挖掘到機制誘發(fā)——以MOOC平臺上的19門“現(xiàn)代教育技術(shù)”公修課為例[J].現(xiàn)代教育技術(shù),2024,(11):58-68.
[31]Trowler, V. Student engagement literature review[J]. The Higher Education Academy, 2020,(1):1-15.
[32]羅燕,海蒂·羅斯,岑逾豪.國際比較視野中的高等教育測量——NSSE-China工具的開發(fā):文化適應(yīng)與信度、效度報告[J].復(fù)旦教育論壇,2009,(5):12-18.
[33]Wolters C A, Taylor D J. A self-regulated learning perspective on student engagement[A]. Handbook of Research on Student Engagement[C]. New York: Springer, 2012:635-651.
[34]Sinha S, Rogat T K, Adams-wiggins K R, et al. Collaborative group engagement in a computer-supported inquiry learning environment[J]. International Journal of Computer-Supported Collaborative Learning, 2015,(3):273-307.
[36]Casimiro L. Cognitive engagement in online intercultural interactions: Beyond analytics[J]. International Journal of Information and Education Technology, 2016,(6):441-447.
[37]Dixson M D. Creating effective student engagement in online courses: What do students find engaging?[J]. Journal of the Scholarship of Teaching and Learning, 2010,(2):1-13.
[38]周平紅,周洪茜,張屹,等.深度學(xué)習視域下學(xué)習者協(xié)同知識建構(gòu)歷程的社會認知網(wǎng)絡(luò)特征分析[J].電化教育研究,2021,(9):99-107.
[39]Wise A F, Cui Y, Jin W, et al. Mining for gold: Identifying content-related MOOC discussion threads across domains through linguistic modeling[J]. The Internet and Higher Education, 2017,32:11-28.
[40]陳敏,周馳,吳砥.中小學(xué)教師信息素養(yǎng)評估指標體系研究[J].中國電化教育,2020,(8):78-85.
[42]劉三女牙,郭美伶,胡天慧,等.不同關(guān)系定義下在線交互網(wǎng)絡(luò)特點及其與學(xué)習績效關(guān)系——以SPOC論壇為例[J].開放教育研究,2020,(3):80-90.
[44]朱炎軍,郭婧.高校教師教學(xué)學(xué)術(shù)發(fā)展力指標體系的構(gòu)建——基于德爾菲法的研究[J].高教探索,2019,(3):110-117.
[45]Liu"Z, Yang C, Rüdian S, et al. Temporal emotion-aspect modeling for discovering what students are concerned about in online course forums[J]. Interactive Learning Environments, 2019,(5-6):598-627.
[46]王佑鎂,李寧宇,南希烜,等.基于層次分析法的數(shù)字閱讀素養(yǎng)測評指標體系建構(gòu)研究[J].現(xiàn)代遠距離教育,2022,(4):23-31.
Quality Evaluation of Discourse Interaction and Its Practice"Research"in Online Learning Space
PENG"Xian1""""JIN"Yan-Yan1""""LIU"San-Ya1""""YANG Wei2""""LIU"Zhi1[Corresponding Author]
(1. Faculty of Artificial Intelligence in Education, Central China Normal University, Wuhan, Hubei, China"430079;
2. Wuhan Academy of Educational Sciences, Wuhan,"Hubei, China"430079)
Abstract:"At present, the rapid development"of online learning has posed novel challenges in assessing the quality of learner interactions. How to comprehensively evaluate the quality level of learner discourse interaction such as"social engagement, emotional attitude, and cognitive construction has become a practical problem that has long troubled educators."Therefore, this paper utilized"activity theory as the upper lead,"adopted"literature review and Delphi methods to analyze the multi-element fabric"components"of discourse interaction quality evaluation in online learning space, determined"the index weighting coefficients and integrated"learners’ explicit social behaviors with their implicit emotion, cognition, and knowledge"characteristics, thereby establishing"an evaluation index system of discourse interaction quality in online learning space"with three-level directory structure"and four-dimensional feature element"(social, emotion, cognition, and knowledge)."Then, this paper carried out practical application of this index system, and the results showed that this index system can be used as a comprehensive evaluation and measurement tool to evaluate the discourse interaction quality in online learning space, and its digital computation-driven comprehensive evaluation results can help teachers carry out precision teaching and provide appropriate feedback for learners’"autonomous learning process to promote their social interaction, emotional regulation and cognitive processing, so as to improve the learning effect and learning experience. This paper aimed to provide theoretical guidance and practical support for the new paradigm of learner discourse interactive evaluation in the online learning space.
Keywords:"online learning"space; discourse interaction quality; evaluation index system; practice"research
*基金項目:本文為國家重點研發(fā)計劃項目“中小學(xué)科學(xué)教育智能導(dǎo)師關(guān)鍵技術(shù)研究及應(yīng)用”(項目編號:2024YFC3308200)、教育部人文社會科學(xué)青年基金項目“在線學(xué)習環(huán)境下學(xué)習者話語互動質(zhì)量建構(gòu)方法與應(yīng)用研究”(項目編號:21YJC880057)、華中師范大學(xué)2024年度“AI+考評測”專項教學(xué)改革項目“‘AI+’視閾下基于‘問題驅(qū)動、數(shù)智融合’的課程學(xué)習質(zhì)量多元評價體系研究與實踐”(項目編號:CCNU24GJ10)的階段性研究成果。
作者簡介:彭晛,副教授,博士,研究方向為學(xué)習分析、文本挖掘,郵箱為pengxian@ccnu.edu.cn。
收稿日期:2024年10月12日
編輯:小時