2002—2022年間我國(guó)學(xué)習(xí)主題元分析研究的質(zhì)量評(píng)價(jià)

胡曉玲 袁民 趙凌霞

[摘 ? 要] 作為一種突破傳統(tǒng)統(tǒng)計(jì)局限的整合性統(tǒng)計(jì)分析方法，元分析方法的應(yīng)用日益增多，但元分析結(jié)論的不可靠性卻往往被忽略。鑒于此，本研究選取我國(guó)近二十年有關(guān)學(xué)習(xí)主題的元分析成果，對(duì)其進(jìn)行方法學(xué)質(zhì)量評(píng)價(jià)和報(bào)告質(zhì)量評(píng)價(jià)。研究首先在確定納入標(biāo)準(zhǔn)后經(jīng)過檢索、篩選，從2002—2022年間CSSCI期刊發(fā)表的1906篇元分析中納入106篇作為評(píng)價(jià)對(duì)象。經(jīng)過數(shù)據(jù)提取和特征分析后，應(yīng)用AMSTAR和PRISMA評(píng)價(jià)工具對(duì)106篇文獻(xiàn)分別開展了方法學(xué)質(zhì)量和報(bào)告質(zhì)量評(píng)價(jià)，評(píng)價(jià)結(jié)論為文獻(xiàn)的方法學(xué)質(zhì)量整體偏低，缺乏方法學(xué)高質(zhì)量文獻(xiàn)；報(bào)告質(zhì)量中等，表現(xiàn)不均衡。其中方法學(xué)質(zhì)量存在研究納入與資料提取的可重復(fù)性較差、納入研究質(zhì)量評(píng)價(jià)缺失及發(fā)表偏倚檢驗(yàn)方法不當(dāng)?shù)葐栴}；報(bào)告質(zhì)量存在摘要報(bào)告結(jié)構(gòu)性不佳、方案和注冊(cè)缺失、納入研究信息報(bào)告不充分、報(bào)告結(jié)果缺乏嚴(yán)謹(jǐn)性、研究局限報(bào)告缺失等問題。最后，研究討論了質(zhì)量風(fēng)險(xiǎn)來源，給出了改進(jìn)建議。

[關(guān)鍵詞] 學(xué)習(xí)主題； 元分析； 方法學(xué)質(zhì)量； 報(bào)告質(zhì)量； 評(píng)價(jià)

[中圖分類號(hào)] G434 ? ? ? ? ? ?[文獻(xiàn)標(biāo)志碼] A

[作者簡(jiǎn)介] 胡曉玲（1975—），女，山東濟(jì)寧人。副教授，博士，主要從事學(xué)習(xí)科學(xué)、循證教育學(xué)研究。E-mail：hxiaoling @lzu.edu.cn。

一、引 ? 言

元分析也稱為Meta分析，或薈萃分析、整合分析等，由美國(guó)教育心理學(xué)家Gene V. Glass于1976年首次提出。Glass指出元分析是以綜合已有的發(fā)現(xiàn)為目的，對(duì)單個(gè)研究結(jié)果進(jìn)行綜合的統(tǒng)計(jì)學(xué)分析方法[1]。元分析突破了一些傳統(tǒng)統(tǒng)計(jì)學(xué)方法的局限，通過元分析可以對(duì)同類研究下不一致的研究結(jié)果進(jìn)行合并，得出具有普遍性的結(jié)論[2]，因而受到多學(xué)科領(lǐng)域的高度重視并普遍應(yīng)用。但并非所有元分析得出的結(jié)論均是可靠的[3]。作為對(duì)已有研究數(shù)據(jù)進(jìn)行合并分析的二次研究，元分析極易在各類偏倚風(fēng)險(xiǎn)的侵害下產(chǎn)生效應(yīng)大小被高估、假陽性等情況[4]，從而導(dǎo)致研究信度降低。因此，為合理判斷元分析結(jié)論的可靠性和有效性，對(duì)元分析進(jìn)行質(zhì)量評(píng)價(jià)是十分必要的。元分析質(zhì)量分為方法學(xué)質(zhì)量和報(bào)告質(zhì)量?jī)刹糠?，?guó)際上先后發(fā)表了AMSTAR、PRISMA等工具用以進(jìn)行元分析方法學(xué)質(zhì)量評(píng)估和幫助研究者改進(jìn)系統(tǒng)評(píng)價(jià)和元分析的撰寫和報(bào)告[5-6]，且事實(shí)證明兩個(gè)工具能夠有效評(píng)估并提升元分析質(zhì)量[7-9]。

近些年在學(xué)習(xí)研究領(lǐng)域，學(xué)者們運(yùn)用元分析方法對(duì)各種學(xué)習(xí)境脈的有效性及其影響因素展開了廣泛研究，獲得了豐富的研究結(jié)論。但元分析質(zhì)量如何，方法使用是否嚴(yán)謹(jǐn)，結(jié)論是否可靠是值得深入探討的。本研究將采用AMSTAR、PRISMA兩個(gè)評(píng)價(jià)工具對(duì)我國(guó)近二十年來學(xué)習(xí)主題的元分析展開方法學(xué)質(zhì)量和報(bào)告質(zhì)量評(píng)價(jià)，對(duì)評(píng)價(jià)結(jié)果進(jìn)行分析，并討論質(zhì)量風(fēng)險(xiǎn)來源，提出改進(jìn)建議。

二、資料與方法

（一）文獻(xiàn)納入標(biāo)準(zhǔn)

文獻(xiàn)納入標(biāo)準(zhǔn)如下：（1）發(fā)表于CSSCI期刊的中文文獻(xiàn)；（2）研究采用元分析方法；（3）以影響學(xué)習(xí)成效的效應(yīng)值為結(jié)果指標(biāo)的研究。這里學(xué)習(xí)成效指學(xué)習(xí)活動(dòng)后學(xué)習(xí)者認(rèn)知水平和學(xué)習(xí)能力產(chǎn)生的可量化的學(xué)習(xí)結(jié)果；（4）研究樣本屬于全日制在校學(xué)生。

（二）文獻(xiàn)檢索策略

本研究以中國(guó)知網(wǎng)、萬方、維普三個(gè)中文數(shù)據(jù)庫為檢索源，檢索了從2002年1月到2022年6月數(shù)據(jù)庫內(nèi)的CSSCI來源期刊文獻(xiàn)，最后一次檢索時(shí)間為2022年10月18日?？紤]到定量系統(tǒng)評(píng)價(jià)也采用元分析方法進(jìn)行科學(xué)量化統(tǒng)計(jì)[10]，檢索詞中增加了有關(guān)系統(tǒng)評(píng)價(jià)的詞匯。最終，檢索詞定為“系統(tǒng)評(píng)價(jià)”“系統(tǒng)綜述”“Meta分析”“薈萃分析”“元分析”“教育”“教學(xué)”“學(xué)習(xí)”。以在中國(guó)知網(wǎng)為例，檢索式為：“TI='元分析'+'薈萃分析'+'Meta分析'+'系統(tǒng)綜述'+'系統(tǒng)評(píng)價(jià)' and SU='教育'+'教學(xué)'+'學(xué)習(xí)'”。

（三）文獻(xiàn)篩選與數(shù)據(jù)提取

文獻(xiàn)查重后，由兩名研究者依據(jù)文獻(xiàn)納入標(biāo)準(zhǔn)，通過閱讀標(biāo)題、摘要、全文獨(dú)立進(jìn)行文獻(xiàn)篩選。篩選后核對(duì)結(jié)果，若出現(xiàn)分歧交由第三方裁定。納入文獻(xiàn)確定后，再由兩名研究者獨(dú)立進(jìn)行文獻(xiàn)數(shù)據(jù)提取，提取內(nèi)容包括：標(biāo)題、作者、發(fā)表時(shí)間、研究主題、研究篇數(shù)、樣本數(shù)量、效應(yīng)值大小、項(xiàng)目資金等。數(shù)據(jù)提取后核對(duì)結(jié)果，若出現(xiàn)分歧交由第三方裁定。

（四）文獻(xiàn)質(zhì)量評(píng)價(jià)

1. 方法學(xué)質(zhì)量評(píng)價(jià)

元分析方法學(xué)質(zhì)量可反映研究過程和研究結(jié)論中的偏倚或效度風(fēng)險(xiǎn)[8]，即元分析過程是否遵循科學(xué)標(biāo)準(zhǔn)以有效控制偏倚，提高結(jié)果的真實(shí)可靠程度[9]。2007年，鑒于已有數(shù)十種元分析評(píng)價(jià)工具卻難以統(tǒng)一推廣的局面，荷蘭與加拿大的醫(yī)學(xué)研究團(tuán)隊(duì)在已有工具、實(shí)踐證據(jù)、專家共識(shí)的基礎(chǔ)上開發(fā)了系統(tǒng)評(píng)價(jià)或元分析方法學(xué)質(zhì)量評(píng)價(jià)工具——AMSTAR（A Measurement Tool to Assess Systematic Reviews）[6]。盡管該評(píng)價(jià)工具開發(fā)之初主要用于循證醫(yī)學(xué)領(lǐng)域，但現(xiàn)在國(guó)外多領(lǐng)域同類研究中得到廣泛使用且為相關(guān)專業(yè)期刊編輯推薦使用[11]。因此，本研究選取AMSTAR作為納入文獻(xiàn)的方法學(xué)質(zhì)量評(píng)價(jià)工具。

AMSTAR共有11個(gè)條目，條目的評(píng)價(jià)選項(xiàng)分為“是”“不清楚”“否”三類，三類選項(xiàng)依次按1分、0分、0分計(jì)分，滿分11分。鑒于AMSTAR的使用局限性[12-13]，本研究依據(jù)增加重要條目權(quán)重以優(yōu)化質(zhì)量評(píng)價(jià)的方法，參照AMSTAR 2和Jacobs等人的評(píng)價(jià)辦法[14-15]，將AMSTAR條目1、2、3、7、8、10視作關(guān)鍵條目。設(shè)置評(píng)價(jià)規(guī)則如下：若6個(gè)關(guān)鍵條目得分合計(jì)為6分，文獻(xiàn)的方法學(xué)質(zhì)量直接被認(rèn)定為高等質(zhì)量；若關(guān)鍵條目得分合計(jì)為4分或5分，則認(rèn)定為中等質(zhì)量；若得分合計(jì)低于4分，則認(rèn)定為低等質(zhì)量。

為避免出現(xiàn)評(píng)價(jià)偏倚，由兩名研究者獨(dú)立進(jìn)行評(píng)價(jià)，評(píng)價(jià)后核對(duì)結(jié)果，如遇分歧交由第三方裁定。

2. 報(bào)告質(zhì)量評(píng)價(jià)

元分析報(bào)告質(zhì)量是指報(bào)告的清晰度和透明度[8]，可反映報(bào)告內(nèi)容的全面性和完整性以及研究結(jié)果的發(fā)表偏倚[16]。2009年，David Moher等人在《英國(guó)醫(yī)學(xué)雜志》上發(fā)表的《系統(tǒng)評(píng)價(jià)和元分析首選報(bào)告項(xiàng)目》（Prefered Reporting Items for Systematic Reviews and Meta-analysis，PRISMA）[5]作為系統(tǒng)評(píng)價(jià)和元分析的規(guī)范性報(bào)告指南，以確保研究者報(bào)告每個(gè)要素，特別是研究?jī)?nèi)部和研究之間偏倚風(fēng)險(xiǎn)的報(bào)告[7]，國(guó)內(nèi)也推薦其為編輯審查系統(tǒng)評(píng)價(jià)/元分析來稿的重要工具[9]。

本研究依據(jù)PRISMA指南對(duì)納入文獻(xiàn)進(jìn)行報(bào)告質(zhì)量審查，PRISMA指南由標(biāo)題、結(jié)構(gòu)式摘要、引言、方法、結(jié)果、討論、資金七個(gè)部分組成，共計(jì)27個(gè)條目，條目的評(píng)估選項(xiàng)分為“完整報(bào)告”“部分報(bào)告”“無報(bào)告”三類，三類選項(xiàng)依次按1分、0.5分、0分計(jì)分，滿分27分。本研究參照拜爭(zhēng)剛等人的評(píng)估賦分方法[8]，若文獻(xiàn)得分在[0，15）區(qū)間內(nèi)，視作信息嚴(yán)重丟失、報(bào)告內(nèi)容不完整，認(rèn)定為低等質(zhì)量；若文獻(xiàn)得分在[15，21）區(qū)間內(nèi)，視作信息有所丟失、報(bào)告有所欠缺，認(rèn)定為中等質(zhì)量；若文獻(xiàn)得分在[21，27]區(qū)間內(nèi)，視作信息較為全面、報(bào)告相對(duì)完整，認(rèn)定為高等質(zhì)量。

為避免出現(xiàn)評(píng)價(jià)偏倚，由兩名研究者獨(dú)立進(jìn)行評(píng)價(jià)，評(píng)價(jià)后核對(duì)結(jié)果，如遇分歧交由第三方裁定。

（五）統(tǒng)計(jì)分析方法

利用Excel 2016整理統(tǒng)計(jì)文獻(xiàn)PRISMA和AMSTAR各條目得分。利用SPSS 23進(jìn)行統(tǒng)計(jì)分析，通過正態(tài)分布檢驗(yàn)了解得分分布，通過單因素方差分析對(duì)文獻(xiàn)質(zhì)量進(jìn)行影響因素探析，再通過多重比較了解差異所在。

三、結(jié) ? 果

（一）文獻(xiàn)篩選結(jié)果

本研究初次檢索共得1906篇相關(guān)文獻(xiàn)，通過EndNote軟件去重、閱讀文獻(xiàn)主題初篩以及閱讀全文復(fù)篩，排除重復(fù)以及不符合納入標(biāo)準(zhǔn)的文獻(xiàn)1800篇，最終得到符合納入標(biāo)準(zhǔn)的106篇文獻(xiàn)。本文在接下來的表述中提及“文獻(xiàn)”時(shí)特指篩選后納入的106篇元分析文獻(xiàn)。

（二）納入文獻(xiàn)基本特征

對(duì)106篇文獻(xiàn)進(jìn)行數(shù)據(jù)提取、整理后獲得了文獻(xiàn)基本特征。如表1所示。特別需要注意，文獻(xiàn)中有43篇文獻(xiàn)沒有提供其研究樣本數(shù)量，這將嚴(yán)重影響質(zhì)量評(píng)價(jià)結(jié)果。同時(shí)，為保證元分析研究的可重復(fù)性和科學(xué)性，作者數(shù)量要求為3人及3人以上，但有46篇文獻(xiàn)作者數(shù)量為1～2人，這部分文獻(xiàn)的科學(xué)性和規(guī)范性是值得質(zhì)疑的。

另外，從圖1可知，學(xué)習(xí)領(lǐng)域的元分析研究主題呈現(xiàn)出多樣豐富的特點(diǎn)，主題主要集中在有關(guān)技術(shù)環(huán)境的學(xué)習(xí)成效分析。例如，虛擬現(xiàn)實(shí)技術(shù)、信息技術(shù)、多媒體環(huán)境、數(shù)字化游戲等。而“互聯(lián)網(wǎng)+”時(shí)代的新型學(xué)習(xí)模式成效的元分析也是研究最廣泛的主題，例如翻轉(zhuǎn)課堂、混合學(xué)習(xí)、STEM學(xué)習(xí)、問題式學(xué)習(xí)、協(xié)作學(xué)習(xí)、項(xiàng)目式學(xué)習(xí)、在線學(xué)習(xí)等。也有一些關(guān)注教育信息化中的微觀因素對(duì)學(xué)習(xí)影響的元分析研究，例如，概念地圖、彈幕、教師在屏、線索效應(yīng)、圖文整合、觸覺反饋等。還有一些涉及師生特質(zhì)的研究主題，例如，師生互動(dòng)模式、教師合作、積極情緒、學(xué)習(xí)初始年齡等。

（三）文獻(xiàn)質(zhì)量評(píng)價(jià)

1. 總體質(zhì)量分布狀況

106篇文獻(xiàn)的方法學(xué)質(zhì)量平均得分5.34分，最高分9分，最低分3分，其中僅有4篇高質(zhì)量文獻(xiàn)，20篇中質(zhì)量文獻(xiàn)，而77篇文獻(xiàn)被認(rèn)定為低等質(zhì)量。文獻(xiàn)方法學(xué)質(zhì)量得分分布偏度檢驗(yàn)顯著，得分呈陡峭的正偏態(tài)分布，大部分文獻(xiàn)得分集中在低分段并低于平均值水平，整體方法學(xué)質(zhì)量表現(xiàn)不佳。而文獻(xiàn)報(bào)告質(zhì)量平均得分18.31分，最高分25.5分，最低分12.5分，其中，13篇為高質(zhì)量文獻(xiàn)，84篇文獻(xiàn)質(zhì)量集中在中等分?jǐn)?shù)段，9篇低質(zhì)量文獻(xiàn)。報(bào)告質(zhì)量得分分布偏度檢驗(yàn)不顯著，得分呈正態(tài)分布，平均值可代表整體情況，整體報(bào)告質(zhì)量表現(xiàn)中等。

2. 方法學(xué)質(zhì)量評(píng)價(jià)

106篇文獻(xiàn)的AMSTAR各條目評(píng)價(jià)結(jié)果見表2。在關(guān)鍵條目的評(píng)價(jià)中，整體而言，文獻(xiàn)在提供前期方案、進(jìn)行全面檢索、檢索發(fā)表偏倚三條中表現(xiàn)較好，不同質(zhì)量等級(jí)的文獻(xiàn)之間也未出現(xiàn)明顯差異。而不足主要體現(xiàn)在106篇文獻(xiàn)的元分析研究過程可重復(fù)性差，并且很少有研究對(duì)其檢索結(jié)果的科學(xué)性作評(píng)估，導(dǎo)致推導(dǎo)研究結(jié)論時(shí)的科學(xué)性表現(xiàn)不佳。在非關(guān)鍵條目的評(píng)價(jià)中，所有文獻(xiàn)均采用元分析的結(jié)果合成計(jì)算方法計(jì)算效應(yīng)值；過半的文獻(xiàn)提供了研究納入排除清單以及納入研究的基本特征；而不足主要體現(xiàn)在僅6篇文獻(xiàn)納入了灰色文獻(xiàn)，且沒有文獻(xiàn)報(bào)告利益沖突。

3. 報(bào)告質(zhì)量評(píng)價(jià)

106篇文獻(xiàn)的PRISMA各條目評(píng)價(jià)結(jié)果見表3。結(jié)果可見，所有文獻(xiàn)都在標(biāo)題中說明了文章類型。在摘要中盡管大部分文獻(xiàn)都有方法、結(jié)果、結(jié)論等內(nèi)容呈現(xiàn)，但絕大多數(shù)并未形成完整的結(jié)構(gòu)式摘要。這與不同的社會(huì)科學(xué)期刊對(duì)文章摘要的書寫表達(dá)要求有關(guān)。在前言里過半數(shù)的文獻(xiàn)詳盡闡述了理論基礎(chǔ)和研究目的。關(guān)于研究方法，所有文獻(xiàn)都提供了納入標(biāo)準(zhǔn)，并最終得出了合并效應(yīng)指標(biāo)和結(jié)果綜合；絕大部分文獻(xiàn)提供了信息來源、檢索和資料提??；而在研究選擇、資料條目、研究偏倚和其他分析方面呈現(xiàn)不足，報(bào)告缺失比例較高。其中，研究選擇部分主要缺少篩選步驟的說明，研究偏倚和其他分析部分缺少研究偏倚預(yù)估以及依據(jù)預(yù)估預(yù)設(shè)其他分析方法。對(duì)于研究方法，最嚴(yán)重的問題是沒有一篇文獻(xiàn)進(jìn)行方案注冊(cè)，僅有兩篇文獻(xiàn)進(jìn)行了單個(gè)研究存在偏倚的檢驗(yàn)。關(guān)于研究結(jié)果，所有的文獻(xiàn)都進(jìn)行了結(jié)果綜合，絕大部分文獻(xiàn)提供了研究間偏倚風(fēng)險(xiǎn)和其他分析，但部分文獻(xiàn)缺失研究篩選結(jié)果、研究特征、單個(gè)研究結(jié)果的報(bào)告，僅有6篇文獻(xiàn)對(duì)研究?jī)?nèi)部偏倚風(fēng)險(xiǎn)作了報(bào)告。關(guān)于研究討論，絕大部分文獻(xiàn)對(duì)整個(gè)研究進(jìn)行了總結(jié)，只有過半文獻(xiàn)完整討論了證據(jù)總結(jié)和研究局限性問題。

（四）文獻(xiàn)質(zhì)量的年度分析

圖2 ? 文獻(xiàn)各年發(fā)文數(shù)量及方法學(xué)質(zhì)量、報(bào)告質(zhì)量平均得分

在所檢文獻(xiàn)中，首篇學(xué)習(xí)主題元分析文章為王立君、顧海根2008年發(fā)表于《心理科學(xué)》的《概念圖對(duì)學(xué)生成績(jī)和態(tài)度影響的元分析》[17]。之后兩年未見相關(guān)文章發(fā)表。在2011至2017年間年均發(fā)文量?jī)H2.86篇，隨后發(fā)文量呈現(xiàn)增長(zhǎng)態(tài)勢(shì)，如圖2所示。鑒于2022年文獻(xiàn)數(shù)據(jù)不完整，年度分析中不涉及2022年文獻(xiàn)。研究中文獻(xiàn)的方法學(xué)質(zhì)量得分和報(bào)告質(zhì)量得分的年度走向呈現(xiàn)出一致性，但沒有出現(xiàn)得分逐年提升的勢(shì)頭，也沒有出現(xiàn)得分隨發(fā)文量增加而逐步提升的局面。由此推斷，元分析研究的質(zhì)量問題并沒有受到足夠重視，研究者對(duì)此沒有形成共識(shí)，研究質(zhì)量依賴于研究個(gè)體的方法素養(yǎng)。

（五）文獻(xiàn)質(zhì)量的影響因素分析

為進(jìn)一步探析質(zhì)量影響因素，以106篇文獻(xiàn)的發(fā)表年份、作者數(shù)量、研究篇數(shù)、研究樣本數(shù)量、資助資金為因子分別對(duì)AMSTAR和PRISMA得分進(jìn)行單因素方差分析，結(jié)果見表4。

經(jīng)檢驗(yàn)，研究篇數(shù)、研究樣本數(shù)量對(duì)文獻(xiàn)的方法學(xué)質(zhì)量有顯著影響，其他因素對(duì)文獻(xiàn)質(zhì)量無顯著影響。其中，研究篇數(shù)少于30篇的文獻(xiàn)方法學(xué)質(zhì)量更高。經(jīng)過AMSTAR各條目得分比對(duì)發(fā)現(xiàn)，這類文獻(xiàn)在提供納入或排除清單上表現(xiàn)更好，而研究篇數(shù)多于30篇的文獻(xiàn)由于納入研究清單過于侵占篇幅而未提供引起方法學(xué)質(zhì)量下降。另外，研究樣本數(shù)量是元分析中納入研究時(shí)必須提取的基本信息，也是效應(yīng)值合并時(shí)必須提供的信息，樣本數(shù)量不清楚的文獻(xiàn)在描述納入研究基本特征上表現(xiàn)更差，從而導(dǎo)致質(zhì)量不佳。

四、分析與討論

（一）方法學(xué)質(zhì)量評(píng)價(jià)的結(jié)果討論

通過方法學(xué)質(zhì)量評(píng)價(jià)可知，學(xué)習(xí)主題元分析研究基本能夠按照元分析方法步驟展開，但存在較多的問題與不足。最終僅有四篇方法學(xué)高質(zhì)量文章。由于偏倚風(fēng)險(xiǎn)是影響元分析質(zhì)量的主要因素，方法學(xué)質(zhì)量評(píng)價(jià)主要評(píng)估在元分析實(shí)施過程中如何控制偏倚[16]。因此接下來主要從元分析常見的三類偏倚[2]——選擇偏倚、研究?jī)?nèi)偏倚（包括提取者偏倚和研究質(zhì)量評(píng)分偏倚）、發(fā)表偏倚角度展開方法學(xué)質(zhì)量問題探討。

1. 元分析的納入研究選擇與資料提取缺少可重復(fù)性

可重復(fù)性高意味著研究者制定了描述明確、范疇清晰的納入/排除標(biāo)準(zhǔn)，并通過可靠的編碼對(duì)研究信息進(jìn)行客觀精準(zhǔn)的捕捉。作為對(duì)多項(xiàng)獨(dú)立研究進(jìn)行系統(tǒng)性綜合的二次研究，元分析研究過程的可重復(fù)性是系統(tǒng)性與客觀性的主要體現(xiàn)，也是極其關(guān)鍵的質(zhì)量指標(biāo)。然而從對(duì)106篇文獻(xiàn)的評(píng)價(jià)可知，低質(zhì)量文獻(xiàn)中鮮有對(duì)納入研究的選擇和資料提取的詳細(xì)過程說明，而兩項(xiàng)操作的可重復(fù)性更無從體現(xiàn)。鑒于研究者自身的主觀因素干擾以及資料提取作為元分析中最為煩瑣耗時(shí)的步驟，提取和編碼時(shí)需要具備嚴(yán)苛的精度和對(duì)細(xì)節(jié)的關(guān)注，并具備較高信度，才能保證效應(yīng)大小及模型的有效性[18]等原因，納入研究與資料提取需要兩名或以上的研究者“背對(duì)背”執(zhí)行，以增加研究的可重復(fù)性，避免產(chǎn)生選擇偏倚和提取者偏倚。

2. 元分析的納入研究質(zhì)量評(píng)價(jià)缺失

為確保元分析結(jié)果的科學(xué)性，避免因納入研究質(zhì)量參差不齊所引發(fā)的偏倚甚至是錯(cuò)誤，現(xiàn)有的元分析指南都要求對(duì)被選擇的研究中實(shí)驗(yàn)分析的偏倚風(fēng)險(xiǎn)或研究設(shè)計(jì)的方法學(xué)質(zhì)量進(jìn)行編碼[18]。然而，在106篇文獻(xiàn)中僅有6篇對(duì)原始研究進(jìn)行了質(zhì)量評(píng)價(jià)并報(bào)告單個(gè)研究質(zhì)量狀況。這表明研究者缺乏質(zhì)量評(píng)價(jià)意識(shí)，從而缺失了對(duì)元分析研究?jī)?nèi)偏倚的控制。另外，這6篇元分析使用的質(zhì)量評(píng)價(jià)方法也不盡相同，可見研究者對(duì)此并沒有統(tǒng)一共識(shí)，評(píng)價(jià)維度、評(píng)價(jià)尺度的差異也會(huì)引發(fā)偏倚。

3. 元分析的發(fā)表偏倚檢驗(yàn)方法不當(dāng)

有研究證明發(fā)表偏倚是對(duì)元分析結(jié)果有效性的最大威脅之一[4]。對(duì)于教育實(shí)驗(yàn)類研究而言，教育干預(yù)措施有影響及正向影響的研究結(jié)論比無影響或負(fù)面影響的研究結(jié)論更容易受到研究者以及期刊編輯的關(guān)注，有學(xué)者在對(duì)教育學(xué)元分析進(jìn)行綜述時(shí)發(fā)現(xiàn)，未發(fā)表文獻(xiàn)所得效應(yīng)值小于已發(fā)表文獻(xiàn)[19]，這一基本規(guī)律致使元分析結(jié)果具有高估影響的風(fēng)險(xiǎn)。因而在元分析的方法學(xué)研究中產(chǎn)生了多種元分析發(fā)表偏倚評(píng)估方法[4]。在106篇元分析文獻(xiàn)中盡管僅有極少部分文獻(xiàn)在發(fā)表偏倚評(píng)價(jià)項(xiàng)上有所缺漏，但存在部分研究使用的發(fā)表偏倚檢驗(yàn)方法不當(dāng)?shù)膯栴}。例如，在《ICT 對(duì)工科學(xué)生創(chuàng)造力的影響效應(yīng)》中，研究者僅能憑借主觀感受判定漏斗圖的對(duì)稱性，并依此判定發(fā)表偏倚存在的可能性[20]。而在《智能導(dǎo)師系統(tǒng)對(duì)學(xué)業(yè)成就的影響研究：量化元分析的視角》中[21]，雖然漏斗圖看似并不對(duì)稱，可能存在發(fā)表偏移，但作者利用Beggs秩相關(guān)性檢驗(yàn)卻發(fā)現(xiàn)發(fā)表偏倚存在可能性很小。因此，盡管本研究中85%以上的文獻(xiàn)對(duì)發(fā)表偏倚進(jìn)行了評(píng)價(jià)，但如果評(píng)價(jià)僅依靠漏斗圖進(jìn)行，評(píng)價(jià)的主觀性較強(qiáng)，容易產(chǎn)生人為誤差，有可能并未得到正確的發(fā)表偏倚評(píng)價(jià)結(jié)果。

（二）報(bào)告質(zhì)量評(píng)價(jià)的結(jié)果討論

元分析作為一種定量綜合方法，對(duì)其報(bào)告的透明性、完整性、可重復(fù)性上有較高要求。通過報(bào)告質(zhì)量評(píng)價(jià)可知，學(xué)習(xí)主題元分析報(bào)告質(zhì)量集中在中等水平，絕大多數(shù)元分析不存在嚴(yán)重的報(bào)告缺失，但也有需要重視和改進(jìn)的方面。

1. 摘要報(bào)告結(jié)構(gòu)性不佳

元分析的摘要具有結(jié)構(gòu)性要求。以PRISMA指南為例，摘要內(nèi)容應(yīng)該包括背景、目的、資料來源、研究納入標(biāo)準(zhǔn)、研究對(duì)象、干預(yù)措施、研究評(píng)價(jià)、結(jié)果、局限性、結(jié)論等[10]。然而106篇元分析中大部分摘要的寫作模式與一般文章的摘要寫作模式無異，缺少元分析特有的資料來源、研究納入標(biāo)準(zhǔn)、研究評(píng)價(jià)等結(jié)構(gòu)性要素。

2. 方案和注冊(cè)缺失

系統(tǒng)評(píng)價(jià)/元分析規(guī)范要求研究者在開展元分析之前要依據(jù)研究計(jì)劃完成平臺(tái)注冊(cè)，因而有一些期刊會(huì)要求元分析類文章投稿時(shí)提供文章平臺(tái)注冊(cè)號(hào)。通過平臺(tái)注冊(cè)，研究者可以重新梳理選題意義和計(jì)劃實(shí)施步驟；也可以監(jiān)督和防止因某些原因，研究者在研究過程中修改納入和排除標(biāo)準(zhǔn)，修改數(shù)據(jù)，最終有選擇地只提供部分報(bào)告；也可以避免出現(xiàn)研究選題撞車現(xiàn)象，由此提升了元分析研究的可信度和透明度。目前學(xué)術(shù)界常用的元分析注冊(cè)平臺(tái)主要為Cochrane系統(tǒng)評(píng)價(jià)注冊(cè)平臺(tái)（http：//www.cochrane.org/）和PROSPERO注冊(cè)平臺(tái)（https：//www.crd.york.ac.uk/prospero/）。鑒于Cochrane是封閉性平臺(tái)，注冊(cè)周期長(zhǎng)，更多的研究者選擇PROSPERO注冊(cè)平臺(tái)，完成注冊(cè)。在本研究中沒有一篇文獻(xiàn)進(jìn)行了方案注冊(cè)，究其原因，首先研究者還沒有形成注冊(cè)意識(shí)；其次，國(guó)內(nèi)相關(guān)期刊并未對(duì)元分析注冊(cè)提出要求。為保障元分析研究過程的嚴(yán)謹(jǐn)性和研究結(jié)論的科學(xué)性，應(yīng)加強(qiáng)方案注冊(cè)的執(zhí)行力度。

3. 納入研究信息報(bào)告不充分

元分析報(bào)告要求納入信息公開透明。元分析應(yīng)提供詳細(xì)的文獻(xiàn)篩選過程，包括研究納入清單、納入研究特征以及單個(gè)研究結(jié)果等。106篇元分析報(bào)告在納入信息方面中都存在一定缺失?？赡苁怯捎谄拗苹虿僮魍暾?，有些報(bào)告僅用語言簡(jiǎn)要描述了文獻(xiàn)篩選過程，沒有采用流程圖呈現(xiàn)。在納入研究特征報(bào)告中，大多數(shù)元分析會(huì)說明提取了哪些特征，但并未將從單個(gè)研究中提取到的特征值進(jìn)行報(bào)告，如未報(bào)告樣本數(shù)量等。而單個(gè)研究結(jié)果的報(bào)告更是隨著研究納入清單和研究特征報(bào)告的缺失而不見蹤影。這些都是導(dǎo)致報(bào)告質(zhì)量差的重要原因。

4. 結(jié)果報(bào)告缺乏嚴(yán)謹(jǐn)性

首先，源于方法學(xué)上的疏漏，元分析內(nèi)部偏倚情況報(bào)告嚴(yán)重缺失。其次，由于樣本的多樣性，學(xué)習(xí)主題元分析往往異質(zhì)性極高，在進(jìn)行結(jié)果綜合時(shí)，要謹(jǐn)慎考慮異質(zhì)性對(duì)結(jié)果的影響。如在《課外輔導(dǎo)對(duì)學(xué)生學(xué)業(yè)成績(jī)影響效應(yīng)的元分析》中[22]，綜合所有研究后得到的結(jié)論是不存在顯著影響，然而這與納入的單個(gè)研究結(jié)果大相徑庭，原因就在于對(duì)于不同特征的群體呈現(xiàn)的相反效應(yīng)值在結(jié)果整合時(shí)出現(xiàn)了相互抵消現(xiàn)象。當(dāng)異質(zhì)性較高時(shí)，應(yīng)該進(jìn)行亞組分析以在同質(zhì)性較高的亞組下進(jìn)行結(jié)果綜合，如《多媒體學(xué)習(xí)中視覺情緒設(shè)計(jì)對(duì)學(xué)習(xí)效果的影響》[23]；或進(jìn)行敏感性分析探析排除不同研究后效應(yīng)值的穩(wěn)健性，如《教師支持、學(xué)業(yè)自我效能感與中小學(xué)生學(xué)業(yè)成績(jī)的關(guān)系：元分析結(jié)構(gòu)方程模型》[24]。

5. 研究局限報(bào)告缺失

元分析作為二級(jí)研究，很難彌補(bǔ)原始研究本身帶有的局限性，且元分析并不能保證在方法學(xué)意義上完美無缺，因此，對(duì)元分析研究的局限性進(jìn)行深入分析與報(bào)告有著重要意義。但在106篇元分析中只有46篇對(duì)研究局限進(jìn)行了完整報(bào)告。

（三）引發(fā)質(zhì)量問題的原因探討

1. 元分析的方法學(xué)研究與推廣缺失

據(jù)不完全統(tǒng)計(jì)，目前國(guó)內(nèi)教育領(lǐng)域期刊有關(guān)元分析主題的發(fā)文達(dá)三百余篇，幾乎所有文章都是元分析方法的應(yīng)用研究，極少數(shù)有關(guān)元分析方法學(xué)的研究成果則發(fā)表于早年間，近十年來未見教育領(lǐng)域內(nèi)有元分析方法學(xué)的研究成果，更難提及配套工具的開發(fā)與應(yīng)用。究其原因，學(xué)者們意識(shí)到元分析的價(jià)值，借由其標(biāo)準(zhǔn)化的操作程序，獲得具有較強(qiáng)說服力的證據(jù)結(jié)論，因此而產(chǎn)生應(yīng)用熱潮。但學(xué)者們似乎更聚焦自身學(xué)術(shù)問題，只是偶爾采用方法，并沒有對(duì)方法本身持續(xù)關(guān)注和深入學(xué)習(xí)的訴求。但元分析方法作為新興研究方法，還有很多不完善之處，還處在發(fā)展之中。因而追蹤研究與提高對(duì)此方法的認(rèn)知是十分必要的。國(guó)外教育領(lǐng)域一直在元分析方法學(xué)方面開展著深入研究，得出了豐富的成果，學(xué)者們批判性地評(píng)價(jià)了已有的元分析研究[25]，概述了元分析的最佳應(yīng)用方法[18]，并提出了有助于研究者間進(jìn)行方法論探討的步驟框架[26]。國(guó)內(nèi)方法學(xué)研究的缺失以及國(guó)外研究成果推介的缺失是影響元分析質(zhì)量的根本原因。

2. 元分析方法跨學(xué)科應(yīng)用的不適應(yīng)性

元分析起源于心理學(xué)并發(fā)展于醫(yī)學(xué)，方法的跨學(xué)科遷移帶來了元分析應(yīng)用的模糊性。首先，有研究表明，已有的高等教育系統(tǒng)評(píng)價(jià)（包含元分析）在方法學(xué)術(shù)語的使用上有明顯差異，在應(yīng)用上也并未達(dá)成共識(shí)[26]。其次，元分析研究具有較強(qiáng)的科學(xué)性與嚴(yán)格的技術(shù)規(guī)范。這一特質(zhì)對(duì)于社會(huì)學(xué)科是有些水土不服的。也有學(xué)者從強(qiáng)調(diào)教育學(xué)科的人文特質(zhì)出發(fā)對(duì)元分析方法、循證的思路展開反思與批評(píng)[27]。這也導(dǎo)致元分析方法在跨入教育領(lǐng)域后的應(yīng)用帶有一些混亂性。再次，目前源自于循證醫(yī)學(xué)領(lǐng)域已經(jīng)非常成熟的AMSTAR評(píng)價(jià)工具和PRISMA報(bào)告指南已普遍運(yùn)用于社會(huì)科學(xué)領(lǐng)域[26]，但源于學(xué)科領(lǐng)域差異，其運(yùn)用仍存在不適應(yīng)現(xiàn)象。

五、改進(jìn)建議

（一）提升元分析研究科學(xué)性

元分析研究的科學(xué)性主要體現(xiàn)在對(duì)各類偏倚風(fēng)險(xiǎn)的評(píng)估與控制，在進(jìn)行研究時(shí)要特別予以重視。文獻(xiàn)篩選和納入時(shí)要盡可能納入灰色文獻(xiàn)，降低發(fā)表偏倚的出現(xiàn)風(fēng)險(xiǎn)；文獻(xiàn)篩選和資料提取的過程由至少兩人獨(dú)立進(jìn)行后交叉核對(duì)，以保護(hù)研究過程的可重復(fù)性；在對(duì)發(fā)表偏倚的評(píng)價(jià)上，應(yīng)減少對(duì)漏斗圖的依賴，盡可能使用Egger回歸分析法或Beggs秩相關(guān)性法等定量檢驗(yàn)方法補(bǔ)充說明[28-29]，以確保發(fā)表偏倚評(píng)價(jià)的準(zhǔn)確性。而在研究?jī)?nèi)部偏倚的排查上，研究者在元分析前應(yīng)對(duì)納入研究質(zhì)量進(jìn)行審查，在工具選擇上可以使用認(rèn)同度較高的GRADE（the Grading of Recommendations Assessment，Development and Evaluation）。GRADE是國(guó)際統(tǒng)一的證據(jù)質(zhì)量分級(jí)和推薦強(qiáng)度系統(tǒng)，但GRADE對(duì)非隨機(jī)對(duì)照實(shí)驗(yàn)研究的證據(jù)質(zhì)量等級(jí)評(píng)定較低，對(duì)于常使用非隨機(jī)對(duì)照實(shí)驗(yàn)的學(xué)習(xí)研究而言，也可以考慮采用由Cochrane制定的針對(duì)非隨機(jī)對(duì)照實(shí)驗(yàn)的風(fēng)險(xiǎn)偏倚評(píng)估工具——ROBIN-I[30]。

（二）增強(qiáng)元分析報(bào)告規(guī)范化

有研究表明，PRISMA指南發(fā)布后，在PRIMA指導(dǎo)下進(jìn)行的元分析報(bào)告數(shù)量增多，且報(bào)告質(zhì)量有所上升[31-32]。研究還發(fā)現(xiàn)方法學(xué)質(zhì)量對(duì)報(bào)告質(zhì)量有一定依從性[32]，隨著報(bào)告質(zhì)量的上升有所上升。因此，研究者可以學(xué)習(xí)掌握AMSTAR、PRISMA和ENTREQ等信效度好的指南，依照指南細(xì)化研究計(jì)劃，完善研究過程并形成研究報(bào)告。其次，建設(shè)公開透明的數(shù)據(jù)庫也是實(shí)現(xiàn)元分析報(bào)告規(guī)范化的重要途徑。數(shù)據(jù)庫既能幫助研究者查詢關(guān)于某研究主題已有的元分析研究成果，直接找到相關(guān)研究的“最佳證據(jù)”，規(guī)避了研究彎路和學(xué)術(shù)浪費(fèi)。同時(shí)，數(shù)據(jù)庫也能幫助研究者明確元分析研究空白，確保新的元分析研究的學(xué)術(shù)價(jià)值。目前國(guó)際上在社會(huì)科學(xué)領(lǐng)域，特別是教育領(lǐng)域比較著名的數(shù)據(jù)庫有Campell圖書館、社會(huì)系統(tǒng)證據(jù)庫（Social System Evidence，SSE）、有效教學(xué)策略網(wǎng)WWC等。而國(guó)內(nèi)教育領(lǐng)域的元分析數(shù)據(jù)庫建設(shè)才剛剛起步，有著較大的發(fā)展空間。

（三）打造健康的元分析研究生態(tài)

要提升元分析質(zhì)量，就需要涉及的多方人員共同努力，一起打造健康、科學(xué)的元分析研究生態(tài)。首先，專家學(xué)者們研究制定適用于本學(xué)科領(lǐng)域的元分析方法學(xué)質(zhì)量評(píng)價(jià)工具以及報(bào)告規(guī)范指南是迫在眉睫的。這是打造健康研究生態(tài)的關(guān)鍵。其次，采用元分析方法開展研究的學(xué)者們要嚴(yán)格依照科學(xué)指南展開研究，獲得可靠的結(jié)論和規(guī)范的報(bào)告，從而提升研究的理論價(jià)值，同時(shí)，在元分析知識(shí)轉(zhuǎn)化上給出有建設(shè)性的建議和意見，以促成研究成果的實(shí)踐轉(zhuǎn)化。這是實(shí)現(xiàn)健康研究生態(tài)的重點(diǎn)。再次，各期刊編輯、審稿專家應(yīng)高度重視元分析相關(guān)稿件質(zhì)量，盡可能依照標(biāo)準(zhǔn)化、規(guī)范化的質(zhì)量評(píng)價(jià)工具和報(bào)告規(guī)范指南進(jìn)行審稿，以提升稿件質(zhì)量。這是打造健康研究生態(tài)的保障。最后，高校教育學(xué)相關(guān)專業(yè)有必要在教育研究方法課程中添加元分析方法知識(shí)，以保證學(xué)習(xí)者能夠獲得全面、系統(tǒng)的方法學(xué)習(xí)，保障研究工作的規(guī)范科學(xué)。這是打造健康研究生態(tài)的基礎(chǔ)。

六、結(jié) ? 語

元分析是針對(duì)現(xiàn)實(shí)問題獲得高級(jí)別科學(xué)證據(jù)的方法。近年來在學(xué)習(xí)領(lǐng)域元分析研究呈現(xiàn)出蓬勃發(fā)展的局面。盡管發(fā)文量不斷攀升，但研究質(zhì)量還存在著不同程度的問題。本研究就該問題展開研究，對(duì)學(xué)習(xí)領(lǐng)域的元分析成果進(jìn)行了方法學(xué)質(zhì)量和報(bào)告質(zhì)量評(píng)價(jià)，得出評(píng)價(jià)結(jié)果，討論結(jié)果產(chǎn)生的原因，并給出改進(jìn)建議。

本研究存在以下局限：（1）本研究在納入文獻(xiàn)基本特征分類、方法學(xué)質(zhì)量評(píng)價(jià)、報(bào)告質(zhì)量評(píng)價(jià)中具有主觀性，盡管研究由兩位經(jīng)過培訓(xùn)的研究人員分別進(jìn)行，最終交由第三方核對(duì)，但仍然可能產(chǎn)生偏倚。（2）本研究?jī)H納入了CSSCI期刊上的元分析文獻(xiàn)，并且只搜索、錄入了2022年上半年的文獻(xiàn)，這都可能導(dǎo)致抽樣偏差，不一定能全面反映學(xué)習(xí)主題元分析的總體水平。（3）由于篇幅限制，本研究沒有提供完整的文獻(xiàn)納入清單和納入研究特征。（4）本研究對(duì)質(zhì)量影響因素的探析不完全充分，有待后續(xù)關(guān)注與研究。

[參考文獻(xiàn)]

[1] GLASS G V. Primary， secondary， and meta-analysis of research[J]. Education research， 1976， 6（5）：3-8.

[2] 夏凌翔. 元分析方法的幾個(gè)基本問題[J]. 山西師大學(xué)報(bào)（社會(huì)科學(xué)版）， 2005（3）：34-38.

[3] IOANNIDIS， JOHN P A. The mass production of redundant， misleading， and conflicted systematic reviews and meta-analyses[J]. Milbank quarterly， 2016， 94（3）：485-514.

[4] VAN AERT R， WICHERTS M， VAN ASSEN M. Publication bias examined in meta-analyses from psychology and medicine： a meta-meta analysis[J]. PLOS ONE， 2019， 14（4）：e0215052.

[5] MOHER D， LIBERATI A， TETZLAFF J， et al. Preferred reporting items for systematic reviews and meta-analyses： the PRISMA statement[J]. Journal of clinical epidemiology， 2009， 62（10）：1006-1012.

[6] SHEA B， GRIMSHAW J， WELLS G， et al. Development of AMSTAR： a measurement tool to assess the methodological quality of systematic reviews[J]. BMC medical research methodology， 2007， 7（10）：1-7.

[7] FOSTER R L.Reporting guidelines： CONSORT， PRISMA， and SQUIRE[J]. Journal for specialists in pediatric nursing， 2012， 17（1）：1-2.

[8] BAI Z G， BING Q， GONG R R， et al. Evidence based social science in China paper 3： the quality of social science systematic reviews and meta-analysis published from 2000 to 2019[J]. Journal of clinical epidemiology， 2019， 141：132-140.

[9] 吳洋. 加強(qiáng)系統(tǒng)綜述/meta分析類論文來稿的編輯審查[J].編輯學(xué)報(bào)， 2020， 32（1）：37-40.

[10] 楊克虎， 李秀霞， 拜爭(zhēng)剛. 循證社會(huì)科學(xué)研究方法：系統(tǒng)評(píng)價(jià)與Meta分析[M]. 蘭州：蘭州大學(xué)出版社， 2018.

[11] 熊俊， 陳日新. 系統(tǒng)評(píng)價(jià)/Meta分析方法學(xué)質(zhì)量的評(píng)價(jià)工具AMSTAR[J].中國(guó)循證醫(yī)學(xué)雜志， 2011， 11（9）：1084-1089.

[12] BURDA B U， HOLMER H K， NORRIS S L. Limitations of a measurement tool to assess systematic reviews （AMSTAR） and suggestions for improvement[J]. Systematic reviews， 2016（5）：58.

[13] 張方圓， 沈傲梅， 強(qiáng)萬敏. AMSTAR使用過程中存在的問題及建議[J]. 中國(guó)循證心血管醫(yī)學(xué)雜志， 2018， 10（2）：138-142.

[14] JAVOBS W C H， RUBINSTEIN S M， WILLEMS P C， et al. The evidence on surgical interventions for low back disorders， an overview of systematic reviews[J]. European spine journal， 2013， 22（9）： 1936-1949.

[15] 張方圓，沈傲梅，曾憲濤，等. 系統(tǒng)評(píng)價(jià)方法學(xué)質(zhì)量評(píng)價(jià)工具AMSTAR 2解讀[J]. 中國(guó)循證心血管醫(yī)學(xué)雜志，2018，10（1）：14-18.

[16] 項(xiàng)明強(qiáng)，肖讓，趙雪平，等. 70篇體育學(xué)元分析文獻(xiàn)的質(zhì)量評(píng)價(jià)與改進(jìn)建議[J]. 上海體育學(xué)院學(xué)報(bào)， 2021， 45（4）：68-76.

[17] 王立君， 顧海根. 概念圖對(duì)學(xué)生成績(jī)和態(tài)度影響的元分析[J]. 心理科學(xué)，2008，31（6）：1510-1512，1506.

[18] TERRI D P， JOSHUA R P. Methodological guidance paper： high-quality meta-analysis in a systematic review[J]. Review of educational research， 2020， 90（1）：24-46.

[19] POLANIN J R， TANNER-SMITH E E， HENNESSY E A. Estimating the difference between published and unpublished effect sizes[J]. Review of educational research， 2016， 86（1）：207-236.

[20] 侯浩翔， 王旦. ICT對(duì)工科學(xué)生創(chuàng)造力的影響效應(yīng)——基于國(guó)內(nèi)外41項(xiàng)實(shí)驗(yàn)與準(zhǔn)實(shí)驗(yàn)研究的Meta分析[J].現(xiàn)代教育技術(shù)， 2021， 31（12）：110-118.

[21] 汪維富， 毛美娟， 閆寒冰. 智能導(dǎo)師系統(tǒng)對(duì)學(xué)業(yè)成就的影響研究：量化元分析的視角[J]. 中國(guó)遠(yuǎn)程教育， 2019（10）：40-51.

[22] 劉珊珊， 楊向東. 課外輔導(dǎo)對(duì)學(xué)生學(xué)業(yè)成績(jī)影響效應(yīng)的元分析[J]. 教育發(fā)展研究， 2015， 35（22）： 55-64.

[23] 楊紅云， 陳旭輝， 顧小清. 多媒體學(xué)習(xí)中視覺情緒設(shè)計(jì)對(duì)學(xué)習(xí)效果的影響——基于31項(xiàng)實(shí)驗(yàn)與準(zhǔn)實(shí)驗(yàn)研究的元分析[J]. 電化教育研究， 2020， 41（1）：76-83.

[24] 紀(jì)春梅， 趙慧. 教師支持、學(xué)業(yè)自我效能感與中小學(xué)生學(xué)業(yè)成績(jī)的關(guān)系：元分析結(jié)構(gòu)方程模型[J]. 教師教育研究， 2021， 33（6）：106-113.

[25] HEW K F， BAI S R， DAWSON P， et al. Meta-analyses of flipped classroom studies： a review of methodology[J]. Educational research review， 2021， 33：18.

[26] CHEN Y L， CHONG S W， LIN T J. A methodological review of systematic literature reviews in higher education： heterogeneity and homogeneity[J]. Educational research review， 2022， 35.

[27] 陳露茜， 蘇藝晴. 循證教育溯源及其困境[J]. 清華大學(xué)教育研究， 2022， 43（4）：44-52，113.

[28] 李彤彤， 龐麗， 王志軍. 翻轉(zhuǎn)課堂教學(xué)對(duì)學(xué)生學(xué)習(xí)效果的影響研究——基于37個(gè)實(shí)驗(yàn)和準(zhǔn)實(shí)驗(yàn)的元分析[J].電化教育研究， 2018， 39（5）：99-107.

[29] 張文蘭， 胡姣. 項(xiàng)目式學(xué)習(xí)的學(xué)習(xí)作用發(fā)生了嗎？——基于46項(xiàng)實(shí)驗(yàn)與準(zhǔn)實(shí)驗(yàn)研究的元分析[J]. 電化教育研究， 2019， 40（2）：95-104.

[30] 金雪娟， 王吉耀. 《如何使用ROBINS-I和其他非隨機(jī)研究偏倚風(fēng)險(xiǎn)評(píng)估工具對(duì)證據(jù)體的質(zhì)量進(jìn)行評(píng)級(jí)》文獻(xiàn)解讀[J]. 中國(guó)循證兒科雜志， 2021， 16（6）：442-445.

[31] NIKOLA P， EMANUELE L， GIULIO B， et al. Evaluation of the endorsement of the Preferred Reporting Items for Systematic Reviews and Meta-Analysis （PRISMA） statement on the quality of published systematic review and meta-analyses[J]. PLOS ONE， 2013， 8（12）：e83138.

[32] ADAM T， MATTHEW M， RAMEZ H， et al. Association of study quality with completeness of reporting： have completeness of reporting and quality of systematic reviews and meta-analyses in major radiology journals changed since publication of the PRISMA statement？[J]. Radiology， 2013， 269（2）：413-426.

Quality Evaluation of Learning Thematic Meta-analysis

Research in China from 2002 to 2022

HU Xiaoling， YUAN Min， ZHAO Lingxia

（Institute of Higher Education， Lanzhou University， Lanzhou Gansu 730000）

[Abstract] As an integrated statistical analysis method that breaks through the traditional statistical limitations， the meta-analysis method is increasingly used， but the unreliability of the meta-analysis conclusions is often ignored. In view of this， this study selects the meta-analysis studies about learning themes in China in the past two decades and evaluates them for methodological quality evaluation and report quality. Firstly， after determining the inclusion criteria， 106 meta-analyses from 1906 papers published in CSSCI journals between 2002 and 2022 are included in the study. After data extraction and feature analysis， the methodological quality and report quality of the 106 papers are evaluated by applying AMSTAR and PRISMA evaluation tools respectively. The evaluation conclusion is that the overall methodological quality of the literature is low， and there is a lack of methodologically high-quality literature; the report quality is moderate， with uneven performance. Among them， the methodological quality has some problems， such as poor reproducibility of research inclusion and data extraction， lack of included research quality evaluation and improper publication bias test methods. Report quality has problems with poorly structured abstract reports， missing protocol and registration， inadequate reporting of included research information， lack of rigor in reporting results， and missing reporting of research limitations. Finally， this study discusses the sources of quality risk and gives suggestions for improvement.

[Keywords] Learning Themes; Meta-analysis; Methodological Quality; Report Quality; Evaluation