大數(shù)據(jù)驅(qū)動的雙線融合課程教學(xué)質(zhì)量評價體系構(gòu)建

王筱綸 許鈺 滕汶松 劉夢凡 楊長荻

摘要：隨著政策引導(dǎo)和MOOC課程興起，雙線融合課程成為高校教學(xué)實踐新常態(tài)。文章基于CIPP評價模式，將定量和定性方法相結(jié)合，收集政策公告、理論文獻、人工智能問答3類文本，通過高頻詞分析和語義網(wǎng)絡(luò)圖提取雙線融合課程質(zhì)量3級評價指標(biāo)。接著，利用信效度檢驗和層次分析法計算指標(biāo)權(quán)重，構(gòu)建系統(tǒng)的教學(xué)質(zhì)量評價體系。最后，運用多主體問卷和模糊綜合評價法，針對線上比重不同的兩門課程進行數(shù)據(jù)對比，提出相應(yīng)改進策略。

關(guān)鍵詞：雙線融合課程；CIPP評價模式；教學(xué)評價指標(biāo)；數(shù)據(jù)驅(qū)動

中圖分類號：G64文獻標(biāo)志碼：A

0引言

雙線融合課程已成為高校教學(xué)實踐新常態(tài)。國家發(fā)改委強調(diào)，要構(gòu)建線上線下教育常態(tài)化融合發(fā)展機制，形成良性互動格局。線上教學(xué)打破了傳統(tǒng)線下教學(xué)的時空限制，實現(xiàn)優(yōu)質(zhì)教學(xué)資源隨時隨地共享［1］，但也存在著缺乏師生互動等弊端，因而將線上線下教學(xué)有機結(jié)合、優(yōu)勢互補，是當(dāng)下高等教育的必然趨勢［2］。

目前，關(guān)于雙線融合課程的研究，多集中于教學(xué)設(shè)計和實施等操作細節(jié)［3］，課程評價體系研究還未受到重視。其原因有：（1）雖然已有基于線上或線下課程單獨構(gòu)建的評價指標(biāo)，但考慮到兩類課程的差異，兩套指標(biāo)的關(guān)注點不同亦不能通用。（2）部分學(xué)者提出利用線上教學(xué)平臺監(jiān)測數(shù)據(jù)來量化教師和學(xué)生的行為數(shù)據(jù)，但僅依賴于線上數(shù)據(jù)會忽視教師教學(xué)的系統(tǒng)性和學(xué)生學(xué)習(xí)的主體性，導(dǎo)致測量結(jié)果偏差［3］。（3）過往以定性研究為主的課程評價方法趨于主觀，無法將線上線下課程的相關(guān)指標(biāo)有機結(jié)合，而科學(xué)的定量和統(tǒng)計方法能幫助學(xué)者提煉更為客觀有效的課程評價體系［4］。因此，結(jié)合線上線下教學(xué)模式特點，以大數(shù)據(jù)驅(qū)動的定量數(shù)據(jù)為主，定性分析為輔，構(gòu)建一套科學(xué)有效的雙線融合課程教學(xué)質(zhì)量評價體系已迫在眉睫。

本文將結(jié)合政策文本的專業(yè)生成內(nèi)容（Professional Generated Content，PGC）、理論文獻的用戶生成內(nèi)容（User Generated Content，UGC）以及ChatGPT問答的人工智能生成內(nèi)容（Artificial Intelligence Generated Content，AIGC）進行高頻詞分析并構(gòu)建語義網(wǎng)絡(luò)圖，通過定量定性相結(jié)合的方法甄選雙線融合課程教學(xué)質(zhì)量評價體系指標(biāo)。由于CIPP模式的過程性、反饋性和全程性特征與線上課程的“過程”監(jiān)督特征和線下課程的“效果”反饋優(yōu)勢十分契合。筆者借鑒該模式將3類文本中提取的指標(biāo)按照背景、輸入、過程及結(jié)果4個一級指標(biāo)整合歸納，構(gòu)建針對教學(xué)全過程的質(zhì)量評價指標(biāo)體系。通過信效度檢驗和層次分析法確定每一層次的指標(biāo)權(quán)重。最后，采用多主體問卷調(diào)查和模糊綜合評價法對比兩門線上程度有顯著差異的雙線融合課程教學(xué)情況，提出改進建議，進而提升雙線融合課程教學(xué)效果。

1大數(shù)據(jù)驅(qū)動的雙線融合課程教學(xué)質(zhì)量評價指標(biāo)提取與構(gòu)建

1.1政策文本（PGC）采集與挖掘

教育行政管理部門在高校教育中扮演著頂層規(guī)劃的角色。本文整理近5年國務(wù)院和教育部頒布的與高校線上線下教育相關(guān)的法律法規(guī)資料，如2021年，針對線下課程，教育部發(fā)布《普通高等學(xué)校本科教育教學(xué)審核評估指標(biāo)體系（2021—2025年）》；2022年，教育部五部門發(fā)布《關(guān)于加強普通高等學(xué)校在線開放課程教學(xué)管理的若干意見》。通過關(guān)鍵詞抽取的方法進行詞頻分析，挖掘目前課程教學(xué)的側(cè)重點。然而，單純的詞頻無法顯示詞語間的關(guān)系，因此利用ROST CM 6內(nèi)容分析軟件進行語義網(wǎng)絡(luò)構(gòu)建。通過提取高頻詞（301個）、過濾無意義詞、提取行特征詞、得到行特征詞共詞矩陣和構(gòu)建語義網(wǎng)絡(luò)5個步驟，本文基于政策文本構(gòu)建語義網(wǎng)絡(luò)圖（見圖1）。最后，回溯到原始文本，用人工閱讀方式進行分類篩選后提取出13項評價指標(biāo)，劃分為5個類目（見表1）。

1.2理論文獻（UGC）搜索與分析

國內(nèi)外學(xué)者已針對線上或線下課程的教學(xué)質(zhì)量評價展開研究，但關(guān)于雙線融合課程的綜合評價研究較少。本文從理論文獻入手，以“教學(xué)評價指標(biāo)”為關(guān)鍵詞，在中國知網(wǎng)搜索近5年的337篇中文核心期刊論文，通過人工篩查去除不相關(guān)論文后保留256篇論文，通過關(guān)鍵詞抽取法進行詞頻分析，挖掘評價重點。利用ROST CM 6從文獻文本中提取1432個高頻詞條，構(gòu)建語義網(wǎng)絡(luò)圖（見圖2）。最后，回溯到原始文獻，分類篩選后提煉出27項評價指標(biāo)，歸并為11個類目（見表2）。

1.3人工智能問答（AIGC）運用與優(yōu)化

隨著人工智能技術(shù)發(fā)展，ChatGPT因具備強大的語言處理能力而引起教育領(lǐng)域的關(guān)注。本文從人工智能問答入手，結(jié)合從前2類文本中提煉的指標(biāo)內(nèi)容，與ChatGPT進行對話探討，諸如“線上課程教學(xué)資源評價指標(biāo)包括哪些”等問題。最終，對收集到的文本進行歸納梳理，進一步完善指標(biāo)體系。

1.4基于CIPP模式的雙線融合課程教學(xué)質(zhì)量評價指標(biāo)初建

CIPP評價模式由Stufflebeam［5］提出，涵蓋教學(xué)背景（Context）、輸入（Input）、過程（Process）與結(jié)果（Product）4部分。由于CIPP模式的過程性、反饋性和全程性特征與雙線融合課程十分契合，本文選用該模式對教學(xué)質(zhì)量評價指標(biāo)進行歸納和重組。首先，將CIPP模式的4項內(nèi)容作為一級指標(biāo)；其次，基于上述多來源數(shù)據(jù)提取的高頻詞條所屬類目構(gòu)建13項二級指標(biāo)；最后，根據(jù)回溯的高頻詞關(guān)聯(lián)文本分析，提煉40項三級指標(biāo)，初步構(gòu)建雙線融合課程教學(xué)質(zhì)量指標(biāo)體系（見表3）。

2雙線融合課程教學(xué)質(zhì)量評價指標(biāo)體系優(yōu)化與應(yīng)用

2.1問卷分析法確定評價指標(biāo)信效度

根據(jù)表3，本文設(shè)計包含40道題項的預(yù)調(diào)查問卷，要求被試對其重要程度打分。最終，回收120份有效問卷，通過信效度檢驗方法優(yōu)化指標(biāo)體系。信度分析用來檢驗題項設(shè)計的可靠性，當(dāng)克隆巴赫Alpha系數(shù)在0.8～1.0間且修正后的相關(guān)性大于0.5時，表明信度較高。效度分析旨在檢驗題項與測量內(nèi)容的準(zhǔn)確程度，當(dāng)KMO值大于0.7，巴特利球形度檢驗顯著性低于0.05時，表明問卷設(shè)計結(jié)構(gòu)效度好。筆者運用SPSS 25.0分析軟件獲得分析結(jié)果。其中，觀測點D14由于修正后的相關(guān)性為0.473小于0.5，故被刪除。

2.2層次分析法確定評價指標(biāo)權(quán)重

層次分析法（Analytic Hierarchy Process，AHP）是一種多準(zhǔn)則決策分析方法，它將問題分解后基于專家的經(jīng)驗判斷，通過兩兩比較來確定不同要素的相對重要性。本文依據(jù)AHP，基于表3、構(gòu)造判斷矩陣，邀請12名具有雙線教學(xué)經(jīng)歷的專家參與問卷調(diào)查。然后，使用Yaahp軟件進行權(quán)重計算，對一致性比率CR≥0.1的矩陣進行調(diào)整，直到所有判斷矩陣通過一致性檢驗。最終，計算出最大特征值，獲得向量歸一化后的評價指標(biāo)權(quán)重（見表3）。

2.3模糊綜合評價法進行實例應(yīng)用

本文選擇由同一位教師在不同學(xué)期講授的同一門課程“管理信息系統(tǒng)”，采用模糊綜合評價法對雙線融合課程教學(xué)質(zhì)量評價指標(biāo)體系進行實例應(yīng)用。由于疫情原因，兩次課程線上授課的比重分別為80%和20%。因此，在其它條件相同的前提下，唯一區(qū)別為課程雙線融合的程度差異。調(diào)研過程中，邀請上課學(xué)生、授課教師及聽課教師三類群體進行教學(xué)質(zhì)量打分，每位被試需對38項評價指標(biāo)給予評分（1～5）。此外，“線上課程的資源共享互通程度”并非通過問卷測量，是基于線上平臺中學(xué)生的資源下載量計算。最終，將權(quán)重投入模糊隸屬矩陣，采用矩陣乘法得出模糊綜合評價值。該課程教學(xué)質(zhì)量滿意度總體而言較高，如表4所示。然而，線上比重高的課程質(zhì)量整體評價（4.59）顯著低于線上比重低的同樣課程（4.97），尤其體現(xiàn)在教學(xué)背景闡述不清（4.40），教學(xué)過程更加難以集中精力（4.50）。

3結(jié)語

隨著雙線融合課程的興起，構(gòu)建一套科學(xué)有效的課程質(zhì)量評價指標(biāo)體系已是大勢所趨。本文將定量與定性方法相結(jié)合，通過對政策文本、理論文獻和ChatGPT問答3類文本進行高頻詞提取和語義網(wǎng)構(gòu)建，再結(jié)合CIPP模式甄選出三級評價指標(biāo)，輔以信效度檢驗加以優(yōu)化，最終構(gòu)建一套雙線融合課程教學(xué)質(zhì)量評價指標(biāo)體系。在實例運用中，采用多主體問卷調(diào)查和模糊綜合評價法對比兩門線上課程比重不同的雙線融合課程教學(xué)情況，針對數(shù)據(jù)結(jié)果提出改進策略。本研究有利于優(yōu)化線上線下教學(xué)資源配置，提升雙線融合課程教學(xué)效果。

參考文獻

［1］王月芬.線上線下融合教學(xué)：內(nèi)涵、實施與建議［J］.教育發(fā)展研究，2021（6）：19-25.

［2］蔣鴻玲，王曉敏，周全.高校雙線教育融合研究的熱點與前沿：基于CNKI核心期刊論文的知識圖譜分析［J］.教育信息技術(shù)，2023（增刊2）：95-99.

［3］吳爽，陽戀雨.基于CIPP模型的線上線下混合式教學(xué)質(zhì)量評價指標(biāo)體系構(gòu)建［J］.科教文匯，2023（3）：11-14.

［4］姚凱，李思志，李艷紅，等.MOOC評價模型研究［J］.復(fù)旦教育論壇，2017（3）：65-71.

［5］STUFFLEBEAM D S. The use and abuse of evaluation in title III［J］. Theory into Practice，1967（5）：126-133.

（編輯姚鑫）

Data-driven construction of teaching quality evaluation system for online-offline blended courses

Wang ?Xiaolun， Xu ?Yu， Teng ?Wensong， Liu ?Mengfan， Yang ?Changdi

（College of Economics & Management， Nanjing University of Aeronautics and Astronautics， Nanjing 211106， China）

Abstract： ?With policy guidance and rise of MOOC courses， online-offline blended courses become the new trend of teaching practices in universities. Based on CIPP evaluation model， this paper combines quantitative and qualitative methods by collecting three types of texts， policy announcement， theoretical literature and AI-enabled Q&A， and extracting three-level quality evaluation indicator of online-offline blended courses through high-frequency word analysis and semantic network graph. Then， using reliability， validity tests and analytic hierarchy process to calculate the weight of indicators， it constructs the teaching quality evaluation system. Finally， multi-subject survey and fuzzy comprehensive evaluation method were adopted to compare the data of two courses with different online proportions， and proposes improvement strategies.

Key words： online-offline blended course; CIPP evaluation model; teaching evaluation indicator; data-driven analysis

基金項目：國家自然科學(xué)基金面上項目；項目名稱：技能共享平臺負(fù)面跨邊網(wǎng)絡(luò)效應(yīng)內(nèi)在機理及治理策略研究：基于信息不確定性視角；項目編號：72372075。南京航空航天大學(xué)研究生教育教學(xué)改革研究項目；項目名稱：基于CIPP模式的雙線融合研究生課程教學(xué)質(zhì)量評價體系研究；項目編號：2022YJXGG30。

作者簡介：王筱綸（1988—），女，副教授，博士；研究方向：用戶行為分析，教學(xué)評價。