線上教學質量雙面性：對照組檢驗與學生偏好評價的不同結果

方士心，陸 一，陳 嘉

（復旦大學高等教育研究所，上海20043）

一、問題的提出

2020 年初，新型冠狀病毒肺炎疫情爆發(fā)。全國高校響應“停課不停學”號召，所有課程轉型為線上教學。2020 年春季學期成為高等教育課程發(fā)展歷史上的重要轉折點。疫情前，國內只有少數(shù)大學提供線上課程，我國對于線上課程的理論探討遠多于有效的實證研究。此次疫情造成的授課方式轉型，為學者們研究線上教學形式及發(fā)展方向提供了大量研究素材，創(chuàng)造了系統(tǒng)評估線上教學優(yōu)劣勢的研究條件。那么，我國在2020 年春季學期全國范圍內的線上高等教育課程質量究竟如何？

測量線上課程的效果涉及兩個角度：第一是學生是否喜歡線上教學形式和為什么喜歡；第二是相較于線下教學形式，線上課程實際教學效果如何。第一種角度的測量通常采取描述性統(tǒng)計和質性研究，通過學生匯報線上線下的主觀偏好來衡量他們對于教學形式的喜好。第二種角度利用組間設計進行定量比較，通過線上線下課程對照組比較，評測線上教學的效果或質量。此類研究須擁有線上和線下兩組數(shù)據(jù)。因為測量角度和方法的差異，兩種方法各有優(yōu)劣。過去的文獻鮮有從兩個角度進行梳理，形成系統(tǒng)的線上教學評測結論。結合這兩個角度后還會引發(fā)新的疑問：學生對于線上課程的喜好可以代表線上課程的實際質量嗎？線上課程教學質量高就可以贏得學生的喜愛嗎？如果學生喜好和教學質量無法達成一致，那又是因為什么呢？

基于以上國際教育發(fā)展趨勢和國內獨特條件，本研究利用“中國高水平大學課程教與學追蹤調查”（CUCE）數(shù)據(jù)庫，探索2020 年春季學期線上課程的教學質量。CUCE 項目對國內多所頂尖大學進行了多年的通識課程評測工作，不僅收集了2020年春季學期的線上教學數(shù)據(jù)，更擁有過去四年線下課程評價數(shù)據(jù)。本文擬結合主觀偏好和對照組比較兩種方法，從兩個層面回答關于線上課程相較于線下課程在課堂體驗、學業(yè)投入和課程滿意度三方面優(yōu)劣的種種疑問。

二、文獻綜述

對于線上教學效果的評價，目前文獻爭議較多，各執(zhí)一詞。最早也最具代表性的研究來自于Russell[1]，他認為如能恰當運用有效教學方法，比如充分的師生互動[2]和清晰的課程設計[3]，線上課程教學效果不遜于現(xiàn)場課程教學。其他一些研究也發(fā)現(xiàn)了類似結論。當老師提供高質量教學和師生互動機會[4]，比如小組討論、角色扮演、案例分析等[5]，線上高等教育課程可以促進學生的學業(yè)投入，保證線上教學效果。

過去線上教學沒有成為學歷教育中的主流，其課程設置和內容很難與線下課程進行系統(tǒng)性的比較。許多人認為線上教學無法提供媲美線下教學的高質量課程。有研究發(fā)現(xiàn)學生在線上課程的學業(yè)表現(xiàn)和現(xiàn)場課程接近[6]，但學生普遍的學業(yè)投入[7-8]、滿意度[9]均低于線下課程。學生對于線上課程的復課率也較低[10-11]。主要原因是線上課程，尤其是錄播課程，缺乏足夠的師生互動，學生在課堂中難以產生強烈的參與感[12]，而課堂互動恰恰是影響學生課堂體驗和學業(yè)投入最重要的因素[13]。同時線上課程需要學生投入更多時間和精力[6]，額外的時間投入會提升學生的學業(yè)成績，但更多的學習時間不代表更好的課堂體驗、學業(yè)投入和滿意度。學生很可能純粹為了成績而去學習，對于課程質量本身并不認同?？梢姡瑢W生的學習行為和主觀滿意度，不代表課程質量，更不等同于他們的學業(yè)表現(xiàn)。因此，衡量線上教學應該從多角度入手，匯總分析。

綜上，線上線下教學形式孰優(yōu)孰劣難以定論的原因是，學生是否喜歡一門課是課程提供的知識層面以外的因素在發(fā)揮作用，師生互動情況、教師的課堂行為、學業(yè)投入等均會造成影響。完整的授課形式比較研究不僅要考慮到課程本身各個層面的評測，也要結合學生主觀傾向層面的影響。所以，本研究從學生主觀偏好與對照組比較兩個層面對線上教學效果進行評測，研究內容涉及三個方面：學生的課堂體驗、學業(yè)投入和課程總體滿意度。

三、研究設計

（一）主觀偏好和對照組比較雙重檢驗的必要性

如上所述，為了結合“學生喜好”和“課程質量程度”兩點，并從研究方法上多角度完善對于線上教學的探索研究，本文采用了學生主觀偏好和對照組比較兩種方法檢驗線上教學效果。

首先，主觀偏好評測對象通常為“學生對于線上課程的喜好和原因”，大多被使用于僅有線上課程數(shù)據(jù)的描述性統(tǒng)計研究，搭配少量定量比較分析。一般采用問卷的形式，讓學生根據(jù)以往線下課程經(jīng)驗來對線上課程打分，自行匯報個人對于線上和線下兩種教學形式在教與學方面的偏好。這樣的研究有幾大缺陷：第一，主觀偏好問卷只能展現(xiàn)學生是否喜歡線上教學課程，以及教與學中哪些方面他們比較滿意等，但無法評測課程實際的質量。第二，即使學生做出主觀比較，學生對于過去線下課程的經(jīng)驗來自不同的課程，和線上課程不具備教學效果的可比性。第三，學生主觀評課分數(shù)側重于習慣和個人偏好。學生多年對于線下教學形式的依賴性，很容易使得線上教學形式分數(shù)較低，實際課程效果被低估。第四，主觀打分的高等教育課程評價問卷很容易存在樣本偏差[14]，愿意完成問卷調查的學生和未參加調查的學生存在樣本差異，導致評分數(shù)據(jù)不一定能夠反映真實且完整的教學體驗[14]。礙于這四點，主觀偏好的研究無法提供有效的線上線下客觀質量優(yōu)劣的比較結論。

雖然有很多局限性，但主觀偏好研究仍可以提供大量學生對于線上教學的看法和感受。正因為其方法的主觀性，缺陷正是優(yōu)勢。主觀評分可以完美展現(xiàn)出學生對于線下教學形式的強烈習慣性，因而對于線下課程形式的依賴性在線上課堂實踐中的影響是不能被忽略的，也是課程評價最重要的層面之一。所以應該將主觀評價應用于學生對于線上教學形式的偏好和傾向性的研究中，同時弱化此方法對于線上線下教學形式效果的比較檢驗。因此，本文設計了一整套關于學生對線上課程偏好的問題，并且搭配對照組比較研究，彌補主觀偏好測評在課程質量評價方面的局限性。

其次，線上線下對照組比較的研究方法，可以從統(tǒng)計上對兩種教學形式在課堂體驗、學業(yè)投入和課程滿意度三方面的課程質量進行比較研究。這種方法著重于比較同一門課程在兩種教學形式下的形態(tài)，來衡量線上教學形式對于這門課程質量的影響程度。但過去使用此方法的文獻經(jīng)常缺乏足夠嚴謹?shù)亩繉嶒炘O計。主要原因是缺少針對本科生、嚴格對照組、跨越多個專業(yè)的線上線下對照組數(shù)據(jù)。這種局限性在國內在線高等教育課程的研究中尤為突出。首先，疫情前，線上高等教育課程通常并不會單純移植線下課程，線上課程的目標學生、內容和老師一般都會為了網(wǎng)絡授課而進行重新設定。其次，過去大部分在線高等教育課程都是錄播形式，學生無法在網(wǎng)絡課程中實時與老師互動，使得過去的線上課程和現(xiàn)場課程在師生互動模式上就存在根本性差異。另外，過去很多線上課程研究都是針對研究生、職業(yè)教育類或非學歷類課程。針對本科生，并且跨越多個專業(yè)的研究較少。因此，形成嚴謹對照組的比較研究在線上課程領域存在大量研究空白。

對照組比較的優(yōu)勢顯而易見，可以通過控制同一門課程在兩種教學形式下，教材、老師、課程內容的統(tǒng)一，減少教學形式以外的潛在協(xié)變量，從而提供嚴謹?shù)慕y(tǒng)計學計算，利用計算顯著性和效應量，來回答同一門課程線上和線下教學效果差距的學術問題。定量比較結果可以從數(shù)字上精準回答“課程變成線上教學形式后，質量到底如何變化”這一問題。

結合主觀偏好和對照組比較兩種方法，既可以再次驗證之前關于線上教學效果的理論，又可以在探索學生對于線上課程形式的偏好和習慣之外，提供一個更加科學有效的關于課程教學形式質量的結論，從而完成一項結合學生主觀感受和教學效果，更加完整的關于線上課堂體驗、學業(yè)投入和滿意度的比較研究。

（二）研究問題與假設

基于以上的研究思路和設計，本文提出以下兩個研究問題與相應假設：

問題及假設一：基于課堂體驗、學業(yè)投入和課程總體滿意度三個方面，學生在主觀評價上是否更加喜歡線上教學形式？基于過去文獻和學生多年線下學習經(jīng)驗，本文假設更多學生會傾向于他們熟悉的線下授課方式。

問題及假設二：基于課堂體驗、學業(yè)投入和課程總體滿意度三個方面，線上教學形式對于課程效果的影響有多大，即同一門課程從線下轉移到線上后，學生對于課程效果評分有多大的變化？本文假設同一門課程在線下教學形式下會取得更加優(yōu)異的學生評價數(shù)據(jù)，即線下教學形式在課堂體驗、學業(yè)投入和課程總滿意度三方面的效果會更好。

四、數(shù)據(jù)說明及描述

（一）數(shù)據(jù)基本情況

本研究數(shù)據(jù)來源于“中國高水平大學課程教與學追蹤調查”（CUCE）數(shù)據(jù)庫，選用了其中A、B、C 三所高校2016年至2019年的部分學期及2020年春季學期的通識課程面板數(shù)據(jù)。A、B、C 三所大學皆為我國知名“雙一流”高校，兩所位于北京，一所位于武漢。本文數(shù)據(jù)有兩大特點，一是來自高水平大學，另一點是以通識課程為研究目標。選取高水平大學初衷是校內學生對于優(yōu)質課程的體驗較豐富，可以反饋更準確的評課數(shù)據(jù)，使研究結論更加科學可信。通識課程的選課學生囊括各個專業(yè)與年級，課程內容更為基礎，而專業(yè)課程受專業(yè)差異的影響較大，故本文只選用通識課程數(shù)據(jù)。本文涵蓋的三所學校的通識核心課程開設時間長，有成熟完整的課程體系，整體教學質量高，可以代表我國高水平本科課程教學的一般情況。

由于新冠肺炎疫情的影響，2020 年春季學期的通識課程實施形式皆為在線教學，因此線上數(shù)據(jù)全部來自2020年春季學期。線下課程數(shù)據(jù)來自2016 年到2019 年部分學期。數(shù)據(jù)采集包括網(wǎng)絡問卷和教務處記錄的客觀課程教學數(shù)據(jù)兩種方式，問卷在結課時通過課程助教或教務處網(wǎng)站進行發(fā)放與回收。

為了保證相對嚴格的比較研究，即線上課程作為實驗組，線下課程作為對照組，本文選取了三所學校2016 年到2019年個別學期和2020年春季學期相同課程進行橫向對比。由于疫情為突發(fā)狀況，各高校臨時將現(xiàn)場教學轉為線上授課，該課程的授課教師、教材、授課內容、教學大綱等無法在短期內做出重大調整，可以推斷兩種教學形式除教學形式和學生群體具有差異性外，課程和老師的其他相關外在因素基本保持一致。

如表1 所示，本研究的有效樣本共10715 份，線下教學樣本占58.46%，在線教學樣本占41.54%；其中56.05%為男生，43.95%為女生。樣本囊括從大一到大四的學生，大四選修通識核心課程的人較少，大一占68.74%，大二到大四分別占17.01%、10.53% 和3.73%。根據(jù)學生高中生源省份，分為東中西部三個地區(qū)；將具體專業(yè)劃分為人文學科、社會學科等五個專業(yè)大類。考慮到父母受教育程度的代際影響，按照學歷層次，將父母受教育程度劃分為五個層級，分別是初中及以下、高中及中專、大專技校、本科和碩博士。除性別和高中生源地信息缺失占6.5%左右外，各人口學和教育學背景變量樣本缺失均在2.5%以內。因為性別和高中生源地作為協(xié)變量在后續(xù)定量分析中基本不顯著，本文對于缺失值不做處理。

樣本內的中部學生最多（47.00%），專業(yè)主要集中在工程技術科學（37.40%），父母整體受教育水平較高，父母受教育水平為大專以上分別占53.89%和46.69%，高于我國公民平均受教育程度。綜上，樣本對于我國高水平“雙一流”大學的本科生具有良好的代表性。

（二）因變量設計

本文針對主觀偏好比較和對照組比較兩種不同研究角度使用了不同的評測量表。

主觀偏好比較量表為本研究專門針對2020 年春季學期線上課程設計的13道題（表2）。學生自我匯報在各個教與學層面下，線上和線下哪種形式教學效果更好，主觀上更加偏好于哪一種。這13道題基于線下課程的三個維度：課堂體驗、學業(yè)投入和課程滿意度。針對每一個題項，學生在“線上學習”“線下學習”“差不多或說不清”中選擇一項，最終的比較數(shù)據(jù)即為每一道題項在三個答題選項中樣本數(shù)量的百分比。

對照組評測為同一門課程在2020 年春季線上授課形式與過去線下授課形式中課程評價得分的橫向比對。礙于疫情的突發(fā)性和線上形式轉化的倉促性，線上線下兩種形式中老師、教材、教學內容和教學大綱大致相同，形成較為嚴格的對照組。為了更加全面、整體地描繪學生在線上及線下課程的學習情況，研究參考了CEQ（Course Experience Questionnaire）、NSSE（National Survey of Student Engagement）、NSSEChina[15]等多個國內外成熟問卷，經(jīng)過多次實踐和適應性調整，設計了線上線下課堂體驗、學業(yè)投入和課程滿意度三個一級對照組比較指標，多角度測評教與學情況（表2）。

課程滿意度采用李克特5 點量表，以1～5 等距賦值（1=不滿意，2=不太滿意，3=一般∕無所謂，4=比較滿意，5=非常滿意）；課堂體驗和學業(yè)投入則以1～4 等距賦值（1=不同意，2=不太同意，3=比較同意，4=非常同意），回答者從中選擇一項。

表2 主觀偏好及對照組比較因變量題項匯總

雖然本文對于課程評價進行了各級別變量維度劃分，但為了更加細致深入了解學生對課程教與學的反饋，將針對性地對每一道題項做出數(shù)據(jù)分析，即報告每一個題項線上線下對比數(shù)據(jù)結果。

除學生主觀課程評價報告外，本文也曾考慮加入成績變量作為學生課程收獲的客觀參考指標。但是我們了解到，受突發(fā)疫情影響，大量線上課程的作業(yè)、期末考核與評分形式臨時進行了調整，使得2020年春季學期的課程成績與往年歷次課程成績不具有可比性。

五、研究方法與結果

針對研究問題一，本文采用描述性統(tǒng)計，展現(xiàn)學生對于各個教與學課程評價維度下對于教學形式的主觀偏好。對于研究問題二，本文采用協(xié)方差分析（Analysis of Covariance）。協(xié)方差分析是在有效控制協(xié)變量的情況下，用于檢驗兩個或多個群組間平均值的顯著差異[16]。檢驗前提假設均通過驗證。協(xié)方差分析對照組間樣本數(shù)量差異小于1.5 倍，針對方差不齊的題項，顯著差異結果也可成立[17-18]。協(xié)方差分析中自變量為上課方式，取值為1=線上教學，0=線下教學。學校、性別、專業(yè)大類、年級、高中生源地區(qū)、父親受教育程度和母親受教育程度作為控制變量加入分析。

（一）主觀偏好方面，學生更傾向于線下學習

學生的線上線下教學形式主觀偏好分析顯示，課堂體驗、學業(yè)投入和課程滿意度的13 個題項內，大部分學生更偏好于線下授課方式，與本文假設一致。尤其最后一道題，47.72%的學生明確表示自己更喜歡線下授課，只有32.53%的學生喜歡線上授課（表3）。而在“課外投入的時間更多”“同學們更樂于發(fā)言或提問”兩個來自學業(yè)投入偏好的題項中，選擇線上與線下教學形式的人數(shù)相近，說明學生主觀上在兩種授課形式下的學習行為投入沒有明顯的傾向性，更多是對現(xiàn)場授課本身的設置和互動形式上存在強烈的習慣性。該結果和以往研究相一致。線下課程更容易產生師生互動[19]，在語言交流外還有更多表情和肢體動作，讓課堂體驗更加立體，也符合人類社交有效溝通和知識傳遞的需求。另外，線下課程是沿襲千年的課堂形態(tài)。在進入大學之前，學生們12 年的基礎教育都是在線下課堂中進行。線下傳授和吸取知識的過程是他們熟知并且習慣的。且不論線上課程是否真的無法比擬現(xiàn)場課程的效果，從習慣轉變角度來說，大學生確實很難在主觀上接受線上課程。但學業(yè)投入中具體的學習行為排除了主觀習慣性的影響，所以在學業(yè)投入兩個題項中選擇線上線下的人數(shù)接近。

表3 主觀偏好比較各選項樣本數(shù)量及百分比

（二）對照組比較中，線上效果優(yōu)于線下

協(xié)方差分析結果表明，同一門課程所收集的2020 年線上課程數(shù)據(jù)，在課堂體驗、學業(yè)投入和課程滿意度三方面的各題項得分均顯著高于此門課程在過去線下授課中的得分（表4）。效應值均不超過0.04，說明線上教學形式最多只提升了大約4%左右的課程效果。這意味著教學形式對于學生課堂體驗和效果有影響，但影響程度非常小。這也從側面反映了課程的形式，無論傳統(tǒng)的線下授課還是通過移動互聯(lián)網(wǎng)上課，并不會對學生的課堂體驗產生很大的影響，課程本身內容質量才是其核心。

課堂體驗方面，轉為線上教學后學生們對于課堂聽講和互動方面更為滿意。學生普遍認為老師準備更加充分且課程設置更加清晰，比如“老師對于開展線上課程有明確的要求和指導”，并“提供了明確的學業(yè)評價標準”。老師對于“激發(fā)學生的求知欲”和“師生互動上”也表現(xiàn)更為優(yōu)異。學業(yè)投入方面，不論是課堂投入還是課后投入，線上學習都優(yōu)于線下學習。學生在線上課程中，會更加頻繁地參與課堂活動，和老師同學的討論也相應增多；課后也花費了更多的時間學習和完成作業(yè)。課程滿意度方面，學生對線上教學中教師、課堂及自身都更為滿意?？傮w來說，在對照組比較中，無論是對老師的準備和安排，課堂的感受，還是對學生自我投入和收獲的評價，2020 年春季線上課程得分都高于同一門通識課程在線下教學的得分。雖然和本文的假設相反，但本文對照組比較結果和過去文獻相呼應：當線上課程運用了大量有效互動教學方法，比如課堂討論和清晰的課程設置，線上課程效果和現(xiàn)場課程相接近，甚至超越現(xiàn)場課程。

表4 對照組比較協(xié)方差分析結果

對照組比較的發(fā)現(xiàn)與主觀偏好比較的結果截然相反。學生主觀上偏好線下課程，但對照組比較得分中，線上教學明顯高于線下教學。無論主觀偏好還是對照組比較，學生都認為兩種教學形式需要大量的學業(yè)投入，線上學習甚至需要額外在課前課后有所投入。

六、結論與討論

在試圖解答“學生是否喜歡線上課程”和“線上課程質量程度高低”兩個問題過程中，本文發(fā)現(xiàn)了似乎相互矛盾的結論。結論的差異性主要是由不同的評測角度和線上課程的實際應用現(xiàn)狀導致。

（一）學生喜好不代表教學效果

如上所述，主觀偏好側重于學生個人對于兩種教學形式的感受，而對照組比較是在衡量兩種教學形式對于同一門課程效果的影響程度，所以相反的結論恰恰描繪了完整的線上教學形式現(xiàn)狀。2020 年春季學期線上課程是在應急和社會隔離狀態(tài)下展開的。這樣前所未有的緊張社會環(huán)境，無所適從的全新教學形式，以及額外的學業(yè)量，都容易讓學生對線上教學產生主觀抵觸情緒和壓力。并且，學生在主觀上還無法擺脫對于線下學習習慣多年以來的依賴性，對于線上形式還有諸多的不適應。但這并不能代表線上教學效果不好。學生一邊自我匯報自己偏好線下教學，一邊在對照組比較實驗中對線上課程給予更高的評價，恰好反映了這種矛盾的狀態(tài)。

（二）授課教師為適應線上教學投入增加

轉變?yōu)樵诰€教學后，老師的投入和準備工作明顯增加，在全新的授課條件下或主動或被動地開展教學創(chuàng)新，并且更關注學生的反饋。這些教學努力很可能提升了學生的課堂體驗并使學生增加了學業(yè)投入。對照組比較數(shù)據(jù)中發(fā)現(xiàn)，學生能感受到老師對于課程的準備工作更加認真。比如在“老師為上好這門課做了充足的準備”“老師的教授過程能夠照顧到我們的接受程度”“在學期初老師明確給出了課程規(guī)劃”這三個題項上，線上教學組的得分遠高于線下教學對照組。當然，本文只關注高水平大學，由于該群體教師和學生的素質較高，樣本代表了中國目前大規(guī)模在線教學所能實現(xiàn)的最佳狀態(tài)。頂尖大學掌握更多硬件資源和教育資源，可以最大程度保證線上課程的技術支持的穩(wěn)定性，同時可以為老師開展一系列線上課程培訓項目，幫助老師從線下教學過渡到線上教學[13]。普通高校教師對于全新線上教學形式的適應性、投入程度和學校的支持程度，都可能降低[12]。因此，本文的結論應用到資源有限的普通高等院校時具有一定局限性。對于不同水平高等院校線上課程的研究還有待學者的分層分析。

（三）線上教學成為一種選擇

本文對照組比較結果的低效應量表明，線上教學形式提高了課程效果，影響存在但影響程度有限。所以就課程質量提升而言，線上教學形式只會在有限程度內影響課程質量。老師的專業(yè)水平和課程內容才是影響課程質量更本質的要素。當師生互動、課程設置、課前準備等教師行為達到一定水準，線下線上便不是主要影響課程質量的因素。所以，線上教學形式作為一種教學工具，不存在較大的對于課程優(yōu)劣性的影響。疫情大大推進了全體師生對線上教學軟硬件的應用，使線上教學成為一種沒有太多技術性障礙的選擇項，而未來要進一步提升課程教學質量和學習效果，討論依舊還要回到人的層面。

疫情突發(fā)導致線下教學無法開展，線上教學臨危受命。這不僅是對學生的巨大考驗，更是對高校管理層和老師們的挑戰(zhàn)[20]。我們的研究明確顯示，雖然學生還無法完全接受線上教學，但老師和學生都積極應對線上教學，投入了大量時間和精力，使得線上課程效果甚至超越了線下課程。從這一角度，疫情下我們國家對于線上高等教育課程的扶持，及高校對于線上課程的工作投入，應該予以肯定。未來如果在線教學成為高校在正常情況下的一種自然選擇，那么在線教學的利弊得失，在線技術對師生關系的影響，對學生學習驅動力和學習方式的塑造等理論問題有待深入研究，以便我們能夠更加明確地回答什么樣的課程能夠揚長避短地利用好在線教學技術與資源，什么樣的課程不適合在線教學，由此達成高校教學質量的全面提升。