自適應學習對大學生學習結果的影響研究
——基于51項實驗和準實驗研究的元分析

王靜賢,周 恬,葉 童,羅江華

(西南大學 西南民族教育與心理研究中心, 重慶 400715)

一、問題提出

自適應學習是實現(xiàn)高等教育學習革命、質量革命和高質量發(fā)展的戰(zhàn)略選擇。我國高質量教育支撐體系構建的重點在于實現(xiàn)規(guī)模化教育與個性化培養(yǎng)的有機結合［1］。盡管“中國大學MOOC”等在線教育平臺為大學生自主學習提供了良好的學習條件,但現(xiàn)實中各大在線教育平臺大都面臨“高注冊率、低完成率”的問題,而自適應學習能有效解決這一問題——可以有效判斷在線學習者的優(yōu)勢和差異,為不同的大學生匹配適合的學習資源,實現(xiàn)定制學習和個性化人才培養(yǎng)［2］。正是由于自適應學習在實現(xiàn)高等教育高質量發(fā)展方面發(fā)揮著重要作用,自適應學習已經(jīng)成為教育技術研究界的一個重要學習范式。

盡管國際上關于自適應學習的實證研究逐年增加,但關于自適應學習對大學生學習結果的影響以及相關因素的作用方面的研究,學界尚未達成一致的結論。例如,有研究表明自適應學習不僅能顯著促進大學生的認知發(fā)展［3］,還能提升大學生學習的體驗感、愉悅感和沉浸感［4］。然而,也有學者認為自適應學習帶來了一些棘手問題,諸如難以關照不同學習者的情緒、情感和價值觀需求［5］,尤其對于認知先決條件較弱的學習者而言,自適應學習可能對學習者的知識回憶和保留造成不利影響［6］。而且從研究范式看,現(xiàn)有關于高等教育自適應學習的元分析研究主要從研究情境和方法論等宏觀視角出發(fā),然而,在技術增強學習環(huán)境中,從自適應策略和技術的視角進行研究,更有助于明確影響大學生學習結果的潛在調(diào)節(jié)變量的范圍［7］。

基于自適應學習的研究熱潮與當前學界關于自適應學習對大學生學習結果的影響存在的爭議,本研究采用元分析方法,探究自適應學習對大學生認知和非認知學習結果的影響,并從研究情境、方法論、自適應策略和技術4個方面進行調(diào)節(jié)效應分析,以期為我國自適應學習的產(chǎn)品研發(fā)、應用與評估提供相關借鑒。

二、自適應學習概述與分析框架

(一)自適應學習的定義

自適應學習(adaptive learning)的發(fā)展經(jīng)歷了6個階段:程序教學、計算機輔助教學、智能導學系統(tǒng)、智能代理教學系統(tǒng)、智能超媒體教學系統(tǒng)和智能化自適應學習系統(tǒng)［5］。這些階段在一定程度上反映了自適應學習概念的更新和迭代。本研究采納Martin等人提出的最新定義,即自適應學習是一種新興的學習技術,通過動態(tài)調(diào)整教學內(nèi)容,為個人提供交互式和個性化的學習路徑以促進學習［7］。從整體來看,自適應學習的價值和意義不僅僅在于實現(xiàn)教學的“量身定制”,更在于讓更多學習者享受到規(guī)模化、個性化的普惠教育。從具體特征來看,自適應學習包括學習者模型、教學模型、內(nèi)容模型和自適應引擎4個部分。

(二)有關自適應學習元分析的回顧

多項元分析探究了自適應學習和學習結果的因果關系。早期元分析有兩個共同的特征,即主題都局限于智能導學系統(tǒng),且納入分析的研究大多發(fā)表于2012年以前［8-10］。但隨著自適應學習技術的發(fā)展,有學者呼吁進一步納入新一代自適應學習的因果實踐,全面考察“適應性”的各個方面,并報告所用的自適應策略和技術［7］。已有自適應學習研究的元分析存在以下不足:一是在學段上,僅有兩篇元分析文獻專注于高等教育領域［8,11］,且計算得出的合并效應量差異較大;二是樣本量偏小,最新的研究僅納入10余項研究［12-13］,研究結果可能會產(chǎn)生偏差;三是對學習結果的測量多聚焦于認知領域,如考試成績、技能等［11,14］;四是研究主要聚焦于特定的學科領域,如數(shù)學、醫(yī)學、教育游戲等［10-12］。

(三)分析框架

本研究采取以下措施以提高研究質量:一是檢索年限從2012年開始,檢索策略相對完善,從多個來源搜集文獻。二是自變量不局限于智能導學系統(tǒng),關注更多類型的自適應學習。三是因變量同時考慮認知學習結果和非認知學習結果。認知學習結果是指學習者的知識保留或回憶,以及智力能力和技能發(fā)展情況［15］;非認知學習結果則反映學習者的情緒及其對自適應學習的體驗和看法,以及學習者的個體行為或互動交流［16］。四是基于已有的陳述性綜述［7］和元分析［9,14］,從研究情境、方法論、自適應策略和技術等角度確定潛在的調(diào)節(jié)變量。綜合以上4個方面,我們構建了本研究的分析框架(如圖1),旨在回答以下兩個研究問題:(1)自適應學習對大學生學習結果(認知學習結果、非認知學習結果)的影響;(2)哪些變量會對自適應學習和學習結果之間的因果關系產(chǎn)生調(diào)節(jié)作用。

圖1 分析框架

三、研究設計

(一)文獻檢索策略

為獲得全面的文獻資料,我們在2021年5月進行首次文獻檢索,并于2023年5月更新了數(shù)據(jù)。文獻檢索過程包括兩個層面:首先對Web of Science、Elsevier、ERIC等英文數(shù)據(jù)庫進行檢索。以“adaptive learning”“adaptive feedback”“adaptive game”等為“自適應學習”關鍵詞,以“technology”“tool”“game”等為“技術”關鍵詞,以“student”為“人口”關鍵詞,以“experimental”“quasi-experimental”為“實驗設計”關鍵詞,以“assessment”“evaluation”“post-test”“l(fā)earning outcome” 等為“學習結果”關鍵詞。不同主題的關鍵詞以布爾運算符“AND”連接,同一主題的關鍵詞則用布爾運算符“OR”連接。其次,以“adapt”為關鍵詞,對6種與教育技術學相關且影響因子均大于3的SSCI國際學術期刊官網(wǎng)進行檢索,包括“Computers &Education”“Educational Technology &Society” “British Journal of Educational Technology”“Educational Technology Research and Development”“Interactive Learning Environments”“Journal of Computer Assisted Learning”。論文發(fā)表時間為2012—2023年,最終得到6 293篇英文文獻。

(二)文獻納入標準

本研究制定了6條納入標準:(1)研究的對象是大學生;(2)研究主題是關于技術增強的自適應學習及其對大學生學習結果影響的實證研究;(3)研究方法采用的是隨機實驗或準實驗設計,且實驗干預為自適應學習;(4)研究的實驗干預使用獨立的比較條件;(5)研究結果應測量自適應學習對至少一個學習結果的影響,且提供必要的量化數(shù)據(jù)以便計算或估計效應量大小;(6)研究成果發(fā)表于2012—2023年經(jīng)過同行評審的期刊上,用英文撰寫,并且可獲得全文內(nèi)容。

本研究遵循PRISMA聲明［17］,最終篩選出50篇期刊文獻,具體文獻的篩選流程如圖2所示。

圖2 文獻篩選PRISMA流程

(三)文獻特征值編碼

如表1所示,文獻編碼維度涉及原始文獻基本信息等4個部分,共計34個特征值。

表1 原始文獻信息編碼

本研究從研究情境、方法論、自適應策略和技術4個方面確定了13個潛在調(diào)節(jié)變量,并對這些變量進行編碼。其中,研究情境包括學段(本科生、研究生、混合)和學科(純硬科學、純軟科學、應用硬科學、應用軟科學)。參考托尼·比徹(Tony Becher)等人對學科知識的劃分方式,將研究所應用的學科劃分為四大類:純硬科學(Hard-Pure)、純軟科學(Soft-Pure)、應用硬科學(Hard-Applied)和應用軟科學(Soft-Applied)［18］。方法論包括干預時長(0至1天、1天至4周、4周以上［19］)、實驗設計類型(準實驗和真實驗［20］)、教師效應(不同教師、同一教師、無教師［21］)和提取數(shù)據(jù)的方式(描述性統(tǒng)計和推斷性統(tǒng)計［21］)。自適應策略包括學習者特征(認知、非認知、混合［13］)、自適應目標(內(nèi)容、評估、導航、呈現(xiàn)、多種自適應目標［7］)、反饋類型(結果反饋、正誤反饋、詳細反饋、混合式反饋［22］)和反饋時間(及時反饋和延遲反饋［23］)。技術包括自適應技術(自適應學習系統(tǒng)或應用、自適應教學或設計方法［7］)、對照組應用技術程度(無技術、有技術［19］)和對照組處理(班級授課教學、個別教學［9］)。

所有信息由兩位研究者進行獨立編碼,總體的Kappa系數(shù)為0.936(95%CI［0.916,0.956］),表明編碼的一致性較高。隨后,兩位研究者討論并解決了編碼不一致的地方,并達成一致意見。

(四)效應量計算

本研究以Hedges’s g作為效應量指標,采用軟件CMA 2.0計算研究的效應量(Effect Size,簡稱ES)。當效應值g為0.2、0.5和0.8時,分別對應低度影響、中度影響和高度影響［24］。在納入的原始研究中,存在一些特殊情況,其中一種涉及多重比較研究,對此我們通過敏感性分析來探究這些可能的影響。此外,本研究參照Wang等的分析方法處理數(shù)據(jù)獨立性問題［21］。為保證數(shù)據(jù)分析結果的穩(wěn)健性,本研究只對包含等于或大于4個研究變量的文獻進行調(diào)節(jié)效應分析［25］。

四、研究結果

(一)發(fā)表偏倚和異質性檢驗

1.發(fā)表偏倚檢驗

本研究采用漏斗圖法與剪補法進行檢驗。結果發(fā)現(xiàn),漏斗圖顯示出細微的不對稱性,說明在認知和非認知學習結果的納入研究上可能存在發(fā)表偏倚。然而,由于漏斗圖檢驗結果較為主觀,因此進一步采用剪補法進行檢驗。結果顯示,大學生認知學習結果剪補前后的平均效應值均為0.588(95%CI［0.550,0.953］),大學生非認知學習結果剪補前后的平均效應值均為0.506(95%CI［0.364, 0.721］)。由此可見,自適應學習對大學生認知和非認知學習結果的發(fā)表偏倚可能性較小,研究結果較為可靠。

2.異質性檢驗

本研究采用隨機效應模型,通過Cochrane Q檢驗［26］和I2檢驗［27］考察研究間的異質性程度。分析結果顯示,認知學習結果的Q值為822.150(P<0.001),非認知學習結果的Q值為99.229(P<0.001),說明研究間存在一定的異質性。I2檢驗結果顯示,認知學習結果I2的值為90.999%,非認知學習結果I2的值為69.767%,說明研究間存在高度或較高的異質性。

(二)主效應檢驗

為回答自適應學習對大學生學習結果(認知學習結果、非認知學習結果)的影響,本研究從認知和非認知兩個維度對大學生自適應學習的具體作用效果進行分析,結果共涉及75個認知學習結果和31個非認知學習結果(見表2)。其中,認知學習結果的合并效應值為0.751(95%CI［0.550,0.953］),非認知學習結果的合并效應值為0.542(95%CI［0.364,0.721］)。進一步而言,納入的所有研究中只有15項研究包含研究內(nèi)組間的多重比較。通過敏感性分析,我們對每項研究僅納入一個效應量進行分析來檢驗其對大學生學習結果存在的可能影響。結果顯示,大學生認知學習結果的異質性檢驗結果具有統(tǒng)計學意義(I2=65.595,P=0.033<0.05),表明認知學習結果的變異程度較大,并且不能完全歸因于隨機誤差;大學生非認知學習結果的異質性檢驗結果不具有統(tǒng)計學意義(I2=0,P=0.541>0.05),表明非認知學習結果的變異程度較小,效果更加穩(wěn)定。

表2 自適應學習對學習結果的主效應檢驗

(三)調(diào)節(jié)效應檢驗

為了明確哪些變量會對自適應學習與學習結果之間的因果關系產(chǎn)生調(diào)節(jié)作用,本研究還進行了調(diào)節(jié)效應檢驗。結果顯示,在認知學習結果方面,本研究發(fā)現(xiàn)3個顯著的調(diào)節(jié)變量:(1)自適應目標。不同自適應目標對大學生學習結果具有顯著差異,按合并效應量大小排列依次是內(nèi)容、導航、評估、呈現(xiàn)以及多種自適應目標。(2)反饋時間。及時反饋的效應值顯著大于延遲反饋的效應值。(3)自適應技術。自適應系統(tǒng)或應用的效應值顯著大于自適應教學或設計方法的效應值(見表3)。

表3 潛在調(diào)節(jié)變量對認知學習結果影響的調(diào)節(jié)效應檢驗

在非認知學習結果方面,如表4所示,未發(fā)現(xiàn)顯著的調(diào)節(jié)變量。

表4 潛在調(diào)節(jié)變量對非認知學習結果影響的調(diào)節(jié)效應檢驗

五、研究討論與啟示

(一)研究討論

1.自適應學習對認知和非認知學習結果影響的主效應

與非自適應學習相比,自適應學習對大學生的認知和非認知學習結果有中等正向的積極影響。一方面,自適應學習對大學生認知學習結果的主效應值為0.751(95%CI ［0.550, 0.953］),表明自適應學習對大學生認知學習結果具有中上程度的促進作用。然而,與其他研究相比,本研究的效應值較大或較小,這可能受多個因素的綜合影響。第一,本研究聚焦于高等教育,而其他研究主要集中在中小學階段。不同學段的學習者之間存在學習能力和學習方式的差異,在自適應學習環(huán)境下,中小學生容易出現(xiàn)注意力不集中和學習缺乏持久性的情況。因此,關注中小學領域的研究結果的主效應值均低于本研究。第二,技術的演進也可能導致研究結論之間的差異。例如,Knewton擴展了傳統(tǒng)的項目反應理論,認為學生的能力參數(shù)是隨時間變化的,并通過利用聚焦于概念層面的知識圖譜對學生的能力進行評估和表征［28］,從而優(yōu)化了自適應學習的效果。由于本研究納入新的自適應學習技術,因此本研究的效應值高于Steenbergen-Hu等［8］所納入的僅涉及智能導學系統(tǒng)的元分析結果。第三,學科的差異也可能導致研究結論之間的差異。Fontaine等［11］的研究聚焦于醫(yī)療專業(yè),其觀察到自適應學習在應用硬科學領域中具有顯著高效的效果。本研究也發(fā)現(xiàn)自適應學習應用在應用硬科學的效果比其他學科較好,但在綜合考慮各個學科的綜合研究結果時,本研究的效應值相對較低。

另一方面,自適應學習對大學生非認知學習結果也具有中等程度的正向影響,其整體效應值為0.542。目前只有Liu等的研究發(fā)現(xiàn),將適應性融入教育游戲中可以提高學生的學習參與度(g=0.405),但在游戲表現(xiàn)方面其效應值有所下降(g=-0.273)［12］。然而,他們的研究僅限于教育游戲,樣本數(shù)量相對較小,可能存在發(fā)表偏倚,這可能是導致兩項元分析整體效應值不一致的原因之一。

2.研究情境、方法論、自適應策略和技術變量的調(diào)節(jié)效應

調(diào)節(jié)效應的結果顯示,只有自適應策略和技術類別中的個別調(diào)節(jié)變量(自適應目標、反饋時間和自適應技術)共同解釋了自適應學習和非自適應學習之間關于大學生認知學習結果的差異。

對于研究情境,本研究未發(fā)現(xiàn)存在具有顯著影響的調(diào)節(jié)變量。已有元分析發(fā)現(xiàn)自適應學習受到研究情境的影響。例如,一項關于智能導師系統(tǒng)的元分析表明:學段和學科之間存在顯著差異,學科和學段對大學生、小學生的影響較為顯著,而對中學生的影響較小;理工科的效應值顯著高于文科［29］。然而,本研究由于專注于高等教育階段,所以并未發(fā)現(xiàn)學段對大學生認知學習結果的影響存在顯著差異,并且在應用托尼·比徹等提出的知識領域分類框架后,也未發(fā)現(xiàn)學科之間的顯著差異。

在方法論方面,本研究也未發(fā)現(xiàn)存在具有顯著影響的調(diào)節(jié)變量。根據(jù)研究結果,無論是大學生認知學習結果還是非認知學習結果,在經(jīng)過4周的干預后,其效應值都較小。對于認知學習結果而言,采用準實驗設計,并且實驗組和控制組之間存在不同的教師因素,這樣的研究設計則帶來較大的效應值。對于非認知學習結果,采用真實驗設計,并且實驗組和控制組之間沒有教師參與,這樣的設計也能帶來較大的效應值?；谶@些結果,未來研究可以將實驗研究的嚴格程度作為一個重要的調(diào)節(jié)變量加以考慮。

從自適應策略和技術的視角來看,自適應目標、反饋時間以及自適應技術均對大學生的認知學習結果具有顯著的調(diào)節(jié)作用。第一,自適應目標中的自適應內(nèi)容、評估、導航、呈現(xiàn)均對大學生認知學習結果具有高度的正向影響,而多種自適應目標對大學生認知學習結果的影響并不顯著。這一發(fā)現(xiàn)支持了認知負荷理論在解釋大學生認知學習結果方面的重要性。自適應學習系統(tǒng)根據(jù)學習者的個體差異和學習需求調(diào)整教材的難度、深度和呈現(xiàn)方式,提供更匹配學習者認知能力和學習風格的學習材料,從而減少內(nèi)部認知負荷,提高學習效果。此外,自適應學習系統(tǒng)的個性化特征還能提供吸引人且導航性強的學習體驗,幫助學習者組織和整合信息,減少外部認知負荷。這些結果也意味著自適應學習系統(tǒng)可能存在一定的交互效應或復雜性,使得多種自適應目標的組合并未帶來額外的收益。第二,相較于延遲反饋策略,及時反饋的自適應策略對大學生認知學習結果更有效。這一發(fā)現(xiàn)與Ma等人［9］的元分析結果存在差異,他們發(fā)現(xiàn)無論是否提供反饋,使用ITS都與統(tǒng)計學上顯著的效應值相關。然而,我們的研究進一步探索了提供及時反饋這一調(diào)節(jié)變量,這在先前的元分析中尚未涉及。這種差異可能是由多個因素引起的,包括樣本特征以及所研究的自適應學習系統(tǒng)的差異等。我們的發(fā)現(xiàn)進一步顯示反饋時效性對大學生認知學習結果的重要性,并強調(diào)及時反饋在自適應策略中的積極作用。第三,自適應系統(tǒng)或應用在認知學習結果上的合并效應值顯著大于自適應教學或設計方法。這一發(fā)現(xiàn)與自適應學習系統(tǒng)或應用綜合了計算機科學、教育科學、心理教育、語言學等多領域的支持密不可分［30］。所以,未來的研究可以進一步探索如何在自適應學習系統(tǒng)或應用中整合情感和動機因素,以更全面地支持學習者的認知學習過程。

(二)研究啟示

1.基于“最佳證據(jù)”推動自適應學習系統(tǒng)的研發(fā)

對于學習的研究,需要一直與軟件開發(fā)相伴［31］。為了最大限度地提高自適應學習系統(tǒng)的有效性,研發(fā)人員應借鑒本研究得出的證據(jù)來進行系統(tǒng)的開發(fā)、測試和應用。(1)強化學習活動的自適應目標。在設計大學生自適應學習產(chǎn)品時,需要重點關注自適應學習的內(nèi)容、評估和導航功能,包括引入多模態(tài)情感分析,提升情感分類性能,改進內(nèi)容推薦;優(yōu)化習題推薦算法,精簡習題,讓學生在最近發(fā)展區(qū)自我構建;結合游戲化設計和解鎖式路徑,提升產(chǎn)品吸引力,增加用戶參與度和活躍度;根據(jù)學生需求和興趣解鎖拓展性課程和內(nèi)容,幫助他們掌握學習節(jié)奏。(2)重視學習活動的靈活反饋。為了培養(yǎng)大學生獨立思考、自主解決問題和元認知的能力,建議改進自適應技術中的反饋方式,采用“靈活反饋”。當答案與參考答案相似度高時,系統(tǒng)提供正誤反饋,強化正向反饋;相似度低時,系統(tǒng)詳細解釋答案并推送類似難度的新內(nèi)容。同時,在自適應學習系統(tǒng)中引入即時反饋機制,幫助大學生了解學習進展并調(diào)整學習目標、心態(tài)和計劃。(3)推進以“學”為導向的自適應系統(tǒng)或應用的研發(fā)。本研究發(fā)現(xiàn)自適應系統(tǒng)或應用對大學生認知學習結果具有積極影響,但自適應教學或設計方法的影響尚不明顯,這表明滿足大學生學以致用需求的“以學習者為中心”原則的重要性。未來研發(fā)應更注重將自適應學習產(chǎn)品作為學習工具而非教學或設計工具;同時企業(yè)應挖掘自適應學習應用的新場景,推動高校教學理念和模式的創(chuàng)新,進一步完善校企、人機的協(xié)同育人機制。

2.從組織層面引導大學生參與自適應學習活動

自適應學習的教育價值、高校師生的心理準備和正確認知,以及高校管理者提供的全方位培訓和強有力的技術保障,都對大學生自適應學習的有效性產(chǎn)生重要影響。(1)挖掘自適應學習在多學科的應用潛力。盡管學科對自適應學習的效果并不存在顯著調(diào)節(jié)作用,但不同學科間仍存在明顯差異,特別是應用硬科學和純軟科學表現(xiàn)出中等偏上的效應。所以,高校在選擇自適應學習產(chǎn)品時應考慮實際需求和發(fā)展定位,與企業(yè)合作進行計算機科學、英語等課程的前瞻性試點和科學布局,以提升產(chǎn)品的實用性和適應性。成功的試點項目可以為其他學科提供借鑒,并逐步推動自適應學習在各學科的大規(guī)模應用和推廣。(2)完善人機協(xié)同的自適應學習生態(tài)環(huán)境。整合自適應技術到在線學習平臺,為大學生提供個性化的學習內(nèi)容和學習體驗,推動大規(guī)模個性化教育。盡管人工智能技術在大學生自適應學習中發(fā)揮重要作用,但在邏輯思維和深刻理解方面仍有局限。因此,教師的核心思想及其與學生的有效溝通必不可少。未來教育是人機協(xié)同共育的時代,教師應善用人工智能技術解決傳統(tǒng)教學中的難題;高校管理者應提供培訓和技術支持,提高師生的人工智能素養(yǎng),構建自適應學習技術治理體系,營造良好的學習生態(tài)環(huán)境。

3.遵循科學的研究方法對自適應學習進行有效評估

自適應學習對大學生學習結果的有效評估取決于研究的質量,低水平的實驗研究會降低實驗結果的可靠性。(1)采取嚴格實驗設計。研究發(fā)現(xiàn),對于認知學習結果,相較于推斷性統(tǒng)計數(shù)據(jù),使用描述性統(tǒng)計數(shù)據(jù)會產(chǎn)生更大效應值;相較于真實驗,準實驗會產(chǎn)生更大效應值。對于非認知學習結果,當實驗組和對照組均不配備教師時,其產(chǎn)生的效應值較高;相較于準實驗,真實驗會產(chǎn)生更大效應值。所以,未來研究人員應嚴格按照實驗設計進行試驗,排除無關變量的干擾,并提供完整的描述性數(shù)據(jù),以提高自適應學習評估的研究質量,為深入了解大學生自適應學習效果和機制提供可靠依據(jù)。(2)豐富研究實施情境。當前研究情境單一且集中,導致調(diào)節(jié)效應分析中一些變量只能識別2～3個類別。建議未來研究持續(xù)探索自適應學習的效果,并考慮與學習結果相關的重要背景因素,如文化和社會經(jīng)濟地位,并在較少被探究的情境中展開研究,如此將揭示和比較自適應學習在不同情境下的有效性,為自適應學習相關的政策制定者和實踐者提供有價值的信息。(3)加強調(diào)節(jié)效應分析。僅關注整體有效性并不能充分挖掘自適應學習的價值,因此應轉變關注重點,從“是或否”問題轉向其他迫切且重要的方面,比如可以進行多變量效應分析,綜合考慮研究情境、自適應策略、技術特征和研究質量的多樣性影響,深入研究干預對特定學習者無效的原因,并提出消除和預防不利影響的方法,以確保大學生自適應學習的有效性。