在線網(wǎng)課的教學(xué)質(zhì)量評價指標(biāo)及其算法設(shè)計

黃振永

摘要：當(dāng)前，在線教學(xué)模式已成為高等院校重要的教學(xué)模式。按質(zhì)量管理領(lǐng)域中的戴明環(huán)（PDCA理論），教學(xué)質(zhì)量評價是PDCA理論的C環(huán)節(jié)，是檢驗和評價在線網(wǎng)課教學(xué)質(zhì)量的重要環(huán)節(jié)。該文以智慧樹平臺中的國家級在線開放課程《C君帶你玩編程》的近四年數(shù)據(jù)為依托，列舉了12個在線教學(xué)質(zhì)量評價指標(biāo)及其算法。研究表明：詳實的統(tǒng)計數(shù)據(jù)能清晰地表征學(xué)生“學(xué)”網(wǎng)課的質(zhì)量和教師的“教”網(wǎng)課的質(zhì)量，也能清晰地揭示在線網(wǎng)課存在的問題和變化規(guī)律；就同一個平臺的同一門課程而言，雖然選課單位、選課師生形形色色，但是用該校的數(shù)據(jù)和所有選用該課程產(chǎn)生的平均數(shù)據(jù)相比較，由于參照數(shù)據(jù)是確定的和一致的，所以這種相對性評價是具備可比性的。

關(guān)鍵詞：智慧樹平臺?在線網(wǎng)課?慕課課程?教學(xué)質(zhì)量評價?評價指標(biāo)?評價算法

中圖分類號：G642 文獻標(biāo)識碼：Ａ

Design?of?Teaching?Quality?Evaluation?Indexes?and?Their?Algorithms?of?Online?Courses

HUANG?Zhenyong

（School?of?Information?Technology，?Beijing?Institute?of?Technology，?Zhuhai，?Zhuhai，?Guangdong?Province，?519088?China?）

Abstract：?At?present，?the?online?teaching?mode?has?become?an?important?teaching?mode?in?colleges?and?universities.?According?to?the?Deming?Circle?（PDCA?theory）?in?the?field?of?quality?management，?teaching?quality?evaluation?is?the?C?link?of?PDCA?theory，?which?is?an?important?link?to?test?and?evaluate?the?teaching?quality?of?online?courses.?Based?on?the?data?of?the?past?four?years?of?the?national?online?open?course?Mr.?C?Takes?You?to?Play?Programming?in?the?Zhihuishu?platform，?this?paper?lists?12?online?teaching?quality?evaluation?indicators?and?their?algorithms.?The?research?shows?that?detailed?statistical?data?can?clearly?represent?the?quality?of?students'?"learning"?of?online?courses?and?the?quality?of?teachers'?"teaching"?of?online?courses?and?can?also?clearly?reveal?the?problems?and?change?laws?of?online?courses，?and?that，?as?far?as?the?same?course?on?the?same?platform?is?concerned，?although?there?are?various?course?selection?units?and?teachers?and?students，?this?relative?evaluation?is?comparable?because?the?reference?data?is?determined?and?consistent?when?comparing?the?date?of?the?school?with?the?average?data?generated?by?all?participants?in?the?course.

Key?Words：?Zhihuishu?platform;?Online?course;?MOOCs?course;?Teaching?quality?evaluation;?Evaluation?indicator;?Evaluation?algorithm

2019?年中國慕課大會在北京召開，在會議上發(fā)布的《中國慕課行動宣言》贏得了廣泛的共識[1]。2020?年中央全面深化改革委員會審議通過的《深化新時代教育評價改革總體方案》指出，要推進教育評價關(guān)鍵領(lǐng)域改革取得實質(zhì)性突破，堅持科學(xué)有效，改進結(jié)果評價，強化過程評價，探索增值評價，健全綜合評價，充分利用信息技術(shù)，提高教育評價的科學(xué)性、專業(yè)性、客觀性[2]。王曉凡等人[3]采用文本挖掘技術(shù)，選取中國大學(xué)MOOC平臺上12門國家精品在線開放課程作為代表，結(jié)合國內(nèi)外的評價規(guī)范和學(xué)習(xí)體驗的特征與構(gòu)成要素，構(gòu)建了基于學(xué)習(xí)體驗的線上“金課”評價指標(biāo)體系。吳淑娟[4]認為：教學(xué)評價制度是高校教學(xué)管理制度的重要組成部分，基于新時代教育評價制度深化改革新要求，高校應(yīng)不斷深化教學(xué)評價制度改革，優(yōu)化教學(xué)評價體系，構(gòu)建多元化教學(xué)評價制度體系。

文章的數(shù)據(jù)來源于智慧樹平臺中的國家級精品在線開放課程《C君帶你玩編程》。借助慕課平臺的強大功能，學(xué)生除了可以進行在線視頻學(xué)習(xí)外，還可以進行互動問答、作業(yè)提交、測驗考試、視頻見面課等交互活動[5]。隔屏授課的在線教學(xué)與面對面講授的傳統(tǒng)課堂教學(xué)相比，其學(xué)習(xí)效果應(yīng)該如何評價、用什么標(biāo)準(zhǔn)來評價值得研究[6]。

1研究背景與特色

按照戴明環(huán)PDCA理論，質(zhì)量管理可以分為四個階段，即：Plan（計劃）、Do（執(zhí)行）、Check（檢查）和Act（處理）。PDCA理論要求：在質(zhì)量管理活動中需要各項管理工作遵照制定計劃→實施計劃→檢查實施效果→將成功的解決方案納入標(biāo)準(zhǔn)或在下一輪PDCA循環(huán)中找出成功的解決方案。PDCA理論是質(zhì)量管理的基本理論之一，同樣適用于教學(xué)管理。教學(xué)質(zhì)量評價是PDCA理論的Check環(huán)節(jié)，是檢驗和提升在線網(wǎng)課教學(xué)質(zhì)量的重要環(huán)節(jié)。在疫情防控的大背景下，在線教學(xué)模式已經(jīng)成為線下傳統(tǒng)教學(xué)模式的重要補充。種類繁多的網(wǎng)課平臺的教學(xué)質(zhì)量良莠不齊，如何客觀的、準(zhǔn)確的、全面的評價在線網(wǎng)課的教學(xué)質(zhì)量是當(dāng)前在線教育的研究熱點之一。

文章以北京理工大學(xué)珠海學(xué)院信息學(xué)院的“線上線下混合式一流課程”《程序設(shè)計基礎(chǔ)及應(yīng)用》配套的智慧樹平臺中的慕課《C君帶你玩編程》的近四年（2019—2022年）教學(xué)數(shù)據(jù)為依托，研究了12個在線網(wǎng)課的教學(xué)質(zhì)量評價指標(biāo)及其算法?？紤]到在最近四年里，每次開課時都有幾十所高校、數(shù)百個教學(xué)班、過萬名學(xué)生選修《C君帶你玩編程》，由于各高校的辦學(xué)層次和所在地市不同、各教學(xué)班班型和教學(xué)進度不同、選課學(xué)生更是多樣化、教學(xué)模式又分在線模式和線上線下混合式，所以該課程團隊認為：用絕對的數(shù)據(jù)來評價在線網(wǎng)課的教學(xué)質(zhì)量是不合適的（這就好比問：一個學(xué)生身高150?cm，是高還是低？在沒有參照系的情況下，“高還是低”是無法比較的），因此筆者選用相對性的指標(biāo)及其加權(quán)算法來評價在線網(wǎng)課的教學(xué)質(zhì)量。換言之，不同平臺中的、不同學(xué)科的、不同院校的在線網(wǎng)課質(zhì)量是千差萬別的，“有可比性”是評價網(wǎng)課質(zhì)量高低的重要前提；就同一個平臺的同一門課程而言，雖然選課單位、選課師生形形色色，但是用本校的數(shù)據(jù)和所有選用該課程產(chǎn)生的平均數(shù)據(jù)相比較，由于參照數(shù)據(jù)是確定的和一致的，所以這種相對性評價是具備可比性的。

2?在線網(wǎng)課的教學(xué)質(zhì)量評價指標(biāo)及其算法設(shè)計

2.1?選修比率

在教學(xué)實踐中發(fā)現(xiàn)：個別學(xué)生因為種種原因出現(xiàn)了在線網(wǎng)課“選而不修”的現(xiàn)象。為表征學(xué)生“選而不修”的情況，“選修比率”定義為：選修比率=實際修讀人數(shù)÷應(yīng)選課人數(shù)×100%。由表1可知：（1）在近四年里，本校的選修比率高于總體的選修比率，且都呈先降后升的變化規(guī)律；（2）19202學(xué)期是恰逢疫情突發(fā)的首個學(xué)期，因為師生受疫情防控限制不能及時地、面對面地溝通交流、師生不適應(yīng)居家上網(wǎng)課的教學(xué)模式，所以選修比率呈下降變化；（3）在經(jīng)歷了兩年的疫情背景下的在線教學(xué)模式后，因為師生積累了相關(guān)的教學(xué)經(jīng)驗，所以選修比率又呈上升變化。

2.2?成績合格率與成績優(yōu)秀率

為表征學(xué)生修讀在線網(wǎng)課的成績分布，“成績合格率”定義為：成績合格率=網(wǎng)課總成績大于60分（含）的人數(shù)÷實際修讀人數(shù)×100%，“成績優(yōu)秀率”定義為：成績優(yōu)秀率=網(wǎng)課總成績大于90分（含）的人數(shù)÷實際修讀人數(shù)×100%。由表2可知以下結(jié)果。（1）總體合格率、總體優(yōu)秀率、平均成績（百分制，下同）都呈先降后升的變化規(guī)律，首個疫情學(xué)期（19202）的數(shù)據(jù)是低谷值。（2）該校的合格率與、優(yōu)秀率、平均成績都呈逐年下降規(guī)律，形成鮮明對比的是18192學(xué)期的本校情況均好于總體情況，但是21222學(xué)期的本校情況卻都遜于總體情況，這些數(shù)據(jù)的變化給教學(xué)團隊敲響了警鐘。經(jīng)研究分析出現(xiàn)這些問題的主要原因是21222學(xué)期的任課教師團隊出現(xiàn)了重大變動，即：更換了課程負責(zé)人、多名教師出現(xiàn)新老交替（新任課教師的教學(xué)經(jīng)驗不足）。這些數(shù)據(jù)的變化啟迪教學(xué)管理者：作為全學(xué)院的核心基礎(chǔ)課程，維持其教師團隊的穩(wěn)定、循序漸進地培養(yǎng)新人是確保教學(xué)質(zhì)量的重要保障。（3）就近四年課程平均情況而言，該校的平均成績、合格率、優(yōu)秀率均高于總體情況。

2.3?在線課程完成比率

為表征學(xué)生實際修讀網(wǎng)課的學(xué)習(xí)進度、了解學(xué)生自主學(xué)習(xí)網(wǎng)課的規(guī)律，“在線課程完成比率”定義為：以學(xué)生完成在線學(xué)習(xí)進度90%為基準(zhǔn)，超過基準(zhǔn)算完成；在線課程完成比率=實際完成學(xué)生人數(shù)÷實際修讀學(xué)生人數(shù)×100%。由表3可知：（1）本校的在線課程完成比率與總體情況相比較高；（2）本校的在線課程完成比率與總體情況都呈先降后升的變化規(guī)律，首個疫情學(xué)期（19202）的數(shù)據(jù)是低谷值；（3）在線課程完成比率表現(xiàn)出的變化規(guī)律與合格率、優(yōu)秀率、平均成績的變化規(guī)律相似。

2.4?見面課學(xué)習(xí)完成比率

見面課（即網(wǎng)絡(luò)直播課）是在線課程實現(xiàn)教學(xué)互動的重要途徑，也是線上線下混合式教學(xué)的重要橋梁。為表征學(xué)生修讀網(wǎng)課中的見面課（該課程有四次網(wǎng)絡(luò)直播課）的完成情況，“見面課學(xué)習(xí)完成比率”定義為：以學(xué)生參與見面課直播或錄播回放的進度90%為基準(zhǔn)，超過算完成；見面課學(xué)習(xí)完成比率=實際完成學(xué)生人數(shù)÷實際修讀學(xué)生人數(shù)×100%。由表4可知：（1）本校的見面課學(xué)習(xí)完成比率與總體情況相比較高或相差不多；（2）本校的見面課完成比率與總體情況都呈先降后升的變化規(guī)律；（3）在見面課學(xué)習(xí)完成比率表現(xiàn)出的變化規(guī)律與在線課程整體完成比率的變化規(guī)律相似；（4）見面課的平均出勤率與學(xué)習(xí)完成比率變化規(guī)律相似且密切關(guān)聯(lián)。

2.5?視頻學(xué)習(xí)時間比率

視頻是在線課程的重要教學(xué)資源，為表征學(xué)生學(xué)習(xí)網(wǎng)課中視頻的情況，“視頻學(xué)習(xí)時間比率”定義為：實際平均觀看時長÷視頻時長×100%。該指標(biāo)反映了學(xué)生重復(fù)學(xué)習(xí)視頻的情況；同一個視頻被累計學(xué)習(xí)時間越長則該指標(biāo)的值就越大，也側(cè)面說明網(wǎng)課對學(xué)生學(xué)習(xí)的重要性越強。釋義：當(dāng)學(xué)生學(xué)習(xí)某一章節(jié)時，當(dāng)課堂時間不足以讓學(xué)生明白時，學(xué)生就會通過學(xué)習(xí)網(wǎng)課來彌補，當(dāng)看視頻一遍看不懂時，學(xué)生會看視頻多次，直到看明白為止；這正是線上線下混合式教學(xué)的意義和價值所在?！耙曨l學(xué)習(xí)時間比率”也可用來表征每一章的視頻學(xué)習(xí)情況。由表5可知：（1）本校的視頻學(xué)習(xí)時間比率和總體情況都呈先升后降的變化規(guī)律；（2）本校情況與總體情況相比明顯落伍了，尤其是20212學(xué)期差異顯著；（3）近三年的視頻學(xué)習(xí)時間比率都超過了100%，這說明學(xué)生重復(fù)觀看了網(wǎng)課中的視頻，學(xué)生已經(jīng)適應(yīng)了線上線下混合式教學(xué)模式。

2.6?每章作業(yè)的未完成比率

每章作業(yè)也是網(wǎng)課的重要教學(xué)資源，是檢驗網(wǎng)課中每章視頻學(xué)習(xí)成效的重要途徑?！懊空伦鳂I(yè)的未完成比率”定義為：每章作業(yè)的未完成比率=本章未完成人數(shù)÷實際修讀人數(shù)×100%。由表6可知：（1）在疫情發(fā)生的前兩個學(xué)期，學(xué)生缺交網(wǎng)課每章作業(yè)的比率較高，最近一個學(xué)期的數(shù)據(jù)有所改善；（2）首章和最后一章的缺交作業(yè)的比率較低，中間各章的缺交作業(yè)的比率較高，這和學(xué)生的學(xué)習(xí)習(xí)慣與學(xué)風(fēng)、教風(fēng)有關(guān)：兩頭緊，中間松。

2.7?課程整體滿意度值

在網(wǎng)課結(jié)束后，按教學(xué)管理要求，學(xué)生需要填寫課程問卷。近四年的課程整體滿意度的問卷數(shù)據(jù)如表7所示。利用加權(quán)處理的方法，“課程整體滿意度值”定義為：課程整體滿意度值=100×非常滿意比率+80×滿意比率+60×一般滿意比率+0×不滿意比率。課程整體滿意度值的取值范圍是60～100（含端值）。

參考上述計算辦法，可以算出其余學(xué)期的課程整體滿意度值，如表8所示。由表8可知：（1）在疫情發(fā)生期間，本校的課程整體滿意度值與總體情況相比較低；（2）本校的課程整體滿意度值呈先降后升的變化規(guī)律，谷底值發(fā)生在首個疫情學(xué)期；（3）如果設(shè)定90%（含）以上為優(yōu)秀，90%以下為良好，則網(wǎng)課的總體教學(xué)質(zhì)量為優(yōu)秀等級，本校的首個疫情學(xué)期的教學(xué)質(zhì)量為良好等級、其它學(xué)期的教學(xué)質(zhì)量為優(yōu)秀等級，但都比總體情況低，這說明本校的教學(xué)質(zhì)量未達到同門課程的全國平均水平，后續(xù)工作需要反思和改善。

2.8?在線視頻質(zhì)量滿意度值

為表征網(wǎng)課的在線視頻的教學(xué)設(shè)計是否科學(xué)合理、講解是否條理清晰、學(xué)生對視頻質(zhì)量的滿意程度，“在線視頻質(zhì)量滿意度值”定義為：在線視頻質(zhì)量滿意度值=100×非常滿意比率+80×滿意比率+60×一般滿意比率+0×不滿意比率。近四年的在線視頻質(zhì)量滿意度的問卷數(shù)據(jù)如表9所示。18192學(xué)期的在線視頻質(zhì)量滿意度值計算辦法如下：

本校：100×70.0%+80×24.1%+60×3.6%+0×2.3%=72.16%；

總體：100×67.7%+80×25.3%+60×4.7%+0×2.3%=70.52%。

參考上述計算辦法，可以算出其余學(xué)期的在線視頻質(zhì)量滿意度值，如表10所示。由表10可知：學(xué)生對在線視頻質(zhì)量的滿意度值普遍較低。經(jīng)調(diào)研分析其原因是：視頻中的案例與教材中的案例不太一致、視頻內(nèi)容與教材章節(jié)的進程不太一致、運行編程軟件類的界面字號過?。床磺宄?nèi)容）。這些數(shù)據(jù)對開課方制作優(yōu)質(zhì)網(wǎng)課視頻提出了高要求，也為國家級精品課、金課、一流課程建設(shè)指明了努力的方向。

2.9?見面課質(zhì)量滿意度值

因為見面課的開課方是昆明理工大學(xué)，見面課的時間安排與本校的時間安排經(jīng)常沖突，所以一些學(xué)生不能參與直播課，只能看回放視頻，從而降低了本校的直播課堂互動指標(biāo)值。為表征見面課的內(nèi)容設(shè)計是否科學(xué)合理、講授是否精彩和學(xué)生參與情況，“見面課質(zhì)量滿意度值”定義為：見面課質(zhì)量滿意度值=100×非常滿意比率+80×滿意比率+60×一般滿意比率+0×不滿意比率。近四年的見面課質(zhì)量滿意度的問卷數(shù)據(jù)如表11所示。18192學(xué)期的見面課質(zhì)量滿意度值計算辦法如下：

本校：100×69.2%+80×24.8%+60×4.1%+0×2.0%=91.50%；

總體：100×66.5%+80×26.0%+60×5.2%+0×2.4%=90.42%。

參考上述計算辦法，可以算出其余學(xué)期的見面課質(zhì)量滿意度值，如表12所示。由表12可知：（1）在疫情發(fā)生期間，本校的見面課質(zhì)量滿意度值與總體情況相比較低；（2）本校的見面課質(zhì)量滿意度值呈先降后升的變化規(guī)律；（3）本校的前兩個疫情學(xué)期的教學(xué)質(zhì)量為良好等級、其他學(xué)期的教學(xué)質(zhì)量為優(yōu)秀等級，但都比總體情況低，這說明了見面課時間沖突造成的網(wǎng)課學(xué)習(xí)體驗感和滿意度較差。

2.10?本校教師指導(dǎo)滿意度值

本校教師指導(dǎo)學(xué)生學(xué)習(xí)網(wǎng)課是確保在線網(wǎng)課教學(xué)質(zhì)量或線上線下混合式課程教學(xué)質(zhì)量的重要保障。為表征學(xué)生對本校教師指導(dǎo)學(xué)習(xí)網(wǎng)課的滿意情況，“本校教師指導(dǎo)滿意度值”定義為：本校教師指導(dǎo)滿意度值=100×非常滿意比率+80×滿意比率+60×一般滿意比率+0×不滿意比率。近四年的本校教師指導(dǎo)滿意度的問卷數(shù)據(jù)如表13所示。18192學(xué)期的本校教師指導(dǎo)滿意度值計算辦法如下：

本校：100×69.8%+80×25.4%+60×2.9%+0×1.8%=91.86%；

總體：100×67.1%+80×25.3%+60×5.0%+0×2.6%=90.34%。

參考上述計算辦法，可以算出其余學(xué)期的本校教師指導(dǎo)滿意度值，如表14所示。由表14可知：在首個疫情突然發(fā)生的學(xué)期，由于教師對在線網(wǎng)課的準(zhǔn)備不充分、缺少成功的在線教學(xué)經(jīng)驗、教學(xué)管理信息混亂、網(wǎng)課和課程群只安排一人專管且沒有發(fā)揮教師團隊的集體作用等原因，學(xué)生對本校教師指導(dǎo)的滿意度低于總體情況，這種情況在21222學(xué)期有所改善，但仍有進步空間。

2.11?校園網(wǎng)絡(luò)條件滿意度值

校園網(wǎng)絡(luò)條件建設(shè)是影響網(wǎng)課教學(xué)體驗的重要基礎(chǔ)工程，在線視頻觀看是否流暢，聲音、畫面是否清晰，都會直接影響網(wǎng)課的教學(xué)質(zhì)量。為表征學(xué)生對校園網(wǎng)絡(luò)條件的滿意情況，“校園網(wǎng)絡(luò)條件滿意度值”定義為：校園網(wǎng)絡(luò)條件滿意度值=100×非常滿意比率+80×滿意比率+60×一般滿意比率+0×不滿意比率。近四年的校園網(wǎng)絡(luò)條件滿意度的問卷數(shù)據(jù)如表15所示。18192學(xué)期的校園網(wǎng)絡(luò)條件滿意度值計算辦法如下：

本校：100×68.4%+80×26.3%+60×3.8%+0×1.6%=91.72%；

總體：100×66.4%+80×25.9%+60×5.3%+0×2.5%=90.30%。

參考上述計算辦法，可以算出其余學(xué)期的校園網(wǎng)絡(luò)條件滿意度值，如表16所示。由表16可知：學(xué)生對校園網(wǎng)絡(luò)條件建設(shè)滿意度的統(tǒng)計規(guī)律與學(xué)生對課程整體滿意度的統(tǒng)計規(guī)律相似。

3?結(jié)語

科學(xué)合理的教學(xué)評價體系是衡量和提升線上教學(xué)效果的關(guān)鍵。本校的“校級一流課程”《程序設(shè)計基礎(chǔ)及應(yīng)用》與智慧樹網(wǎng)中的“國家級精品在線開放課程”《C君帶你玩編程》密切合作并開展線上線下混合式教學(xué)已有五年的歷史，本文依托近四年的網(wǎng)課數(shù)據(jù)，列舉了12個在線教學(xué)質(zhì)量評價指標(biāo)及其算法。為進一步構(gòu)建在線教學(xué)學(xué)習(xí)效果評價體系提供了借鑒經(jīng)驗，有助于評價和提升在線教學(xué)的質(zhì)量。

參考文獻

[1]楊榮泰，張曉麗，楊春堯，等.高校慕課教學(xué)效果的統(tǒng)計分析[J].計算機教育，2020（1）：96-99.

[2]李璠.基于OBE理念的大規(guī)模在線教學(xué)課程評價指標(biāo)體系設(shè)計：以《計算機程序設(shè)計基礎(chǔ)》為例[J].南昌工程學(xué)院學(xué)報，2021，40（5）：103-108.

[3]王曉凡，馬力，汪娟.線上“金課”評價指標(biāo)體系構(gòu)建研究[J].湖北成人教育學(xué)院學(xué)報，2021，27（5）：26-31.

[4]吳淑娟.地方高校教學(xué)評價制度的審視與優(yōu)化[J].高教論壇，2022（6）：79-82.

[5]姜迪，潘晟旻，方嬌莉.疫情期間基于MOOC的翻轉(zhuǎn)課堂模式在線上教學(xué)中的實踐[J].計算機教育，2021（6）：65-68.

[6]徐迎磊.在線教學(xué)學(xué)習(xí)效果評價指標(biāo)體系的構(gòu)建研究[J].黑龍江生態(tài)工程職業(yè)學(xué)院學(xué)報，2022，35（1）：136-138.