基于大數(shù)據(jù)感知的課程教學(xué)質(zhì)量評(píng)價(jià)研究

張陽 郭權(quán)

（大連東軟信息學(xué)院，遼寧大連 116023）

2020年10月，中共中央國務(wù)院發(fā)布《深化新時(shí)代教育評(píng)價(jià)改革總體方案》，要求高校充分利用信息技術(shù)，提高教育評(píng)價(jià)的科學(xué)性、專業(yè)性、客觀性。其中，針對(duì)一流課程建設(shè)質(zhì)量的評(píng)價(jià)也應(yīng)利用人工智能、大數(shù)據(jù)等現(xiàn)代信息技術(shù)，創(chuàng)新評(píng)價(jià)工具，探索評(píng)價(jià)方法，并完善評(píng)價(jià)結(jié)果運(yùn)用，綜合發(fā)揮導(dǎo)向、鑒定、診斷、調(diào)控和改進(jìn)作用。同時(shí)，疫情期間大規(guī)模在線教學(xué)過后，混合式教學(xué)中不同角色（教師、學(xué)生、教學(xué)管理者）對(duì)基于大數(shù)據(jù)的質(zhì)量監(jiān)測提出了更高的要求。教師端，要求質(zhì)量監(jiān)測平臺(tái)/系統(tǒng)及時(shí)、有效地反饋學(xué)生狀態(tài)信息，能夠掌握微觀操作層面每個(gè)學(xué)生學(xué)到多少，什么方法有效或無效，以促進(jìn)精準(zhǔn)改進(jìn)教學(xué)，提升教學(xué)效果；學(xué)生端，要求得到個(gè)性化學(xué)習(xí)支持，獲得同輩相關(guān)數(shù)據(jù)分析及比較，隨時(shí)掌握自身的優(yōu)勢或不足，以促進(jìn)自主學(xué)習(xí)、積極學(xué)習(xí)和深層學(xué)習(xí)；管理端，要針對(duì)校/院/系/督導(dǎo)，及時(shí)提供師生橫向信息比較、質(zhì)量相關(guān)趨勢分析，反饋個(gè)性化信息，以促進(jìn)調(diào)配教學(xué)資源，改善教學(xué)關(guān)系，提高教學(xué)效率。

一、研究問題與假設(shè)

（一）研究問題

Benazir Quadir①Benazir Quadir,Nian-Shing Chen&Pedro Isaias(2020)Analyzing the educational goals,problems and techniques used in educational big data research f rom2010 to 2018,Interactive Learning Environments,DOI:10.1080/10494820.2020.1.7.12427等進(jìn)行的教育大數(shù)據(jù)方面研究綜述表明，2010年到2018年的143項(xiàng)教育大數(shù)據(jù)研究中排在第一位的應(yīng)用問題是忽視質(zhì)量因素，占比41.2%。陳濤、鄧圓，②陳濤、鄧圓：《技術(shù)如何引領(lǐng)學(xué)習(xí)?——美國密涅瓦大學(xué)推行主動(dòng)式學(xué)習(xí)策略及啟示》，《開放教育研究》2018年第8期，第53-62頁。陳池、王宇鵬等，③陳池、王宇鵬、李超、張勇、邢春曉：《面向在線教育領(lǐng)域的大數(shù)據(jù)研究及應(yīng)用》，《計(jì)算機(jī)研究與發(fā)展》2014年第51卷，第67-74頁。劉寧、王琦等①劉寧、王琦、徐劉杰：《教育大數(shù)據(jù)促進(jìn)精準(zhǔn)教學(xué)與實(shí)踐研究——以“智慧學(xué)伴”為例》，《現(xiàn)代教育技術(shù)》2020第4期，第12-17頁。研究如何應(yīng)用大數(shù)據(jù)技術(shù)促進(jìn)學(xué)生自主學(xué)習(xí)以及面向?qū)W生和教師提供智慧化功能，促進(jìn)個(gè)性化學(xué)習(xí)和教學(xué)改進(jìn)。鐘秉林等②鐘秉林、王新鳳：《普及化階段我國高校教學(xué)質(zhì)量評(píng)價(jià)范式的轉(zhuǎn)變》，《中國大學(xué)教學(xué)》2019年第9期，第80-85頁。研究普及化階段我國高校教學(xué)質(zhì)量評(píng)價(jià)范式和信息技術(shù)賦能教學(xué)改革和評(píng)價(jià)方式轉(zhuǎn)變。毛剛等③毛剛、周躍良、何文濤：《教育大數(shù)據(jù)背景下教學(xué)評(píng)價(jià)理論發(fā)展的路向》，《電化教育研究》2020年第10期，第22-28頁。研究教學(xué)大數(shù)據(jù)評(píng)價(jià)理論發(fā)展的路向，從評(píng)價(jià)融于教學(xué)活動(dòng)過程、數(shù)據(jù)整合教學(xué)評(píng)價(jià)系統(tǒng)和人機(jī)協(xié)同成就智慧評(píng)價(jià)三個(gè)維度闡述基于教育大數(shù)據(jù)的評(píng)價(jià)方法與原則。李逢慶、韓曉玲④李逢慶、韓曉玲：《混合式教學(xué)質(zhì)量評(píng)價(jià)體系的構(gòu)建與實(shí)踐》，《中國電化教育》2017年第11期，第108-113頁。在評(píng)價(jià)指標(biāo)體系的理論基礎(chǔ)和評(píng)價(jià)原則確立的基礎(chǔ)上，結(jié)合混合式教學(xué)設(shè)計(jì)和實(shí)施的流程，構(gòu)建了過程性和終結(jié)性結(jié)合的混合式教學(xué)質(zhì)量評(píng)價(jià)體系。楊春霞、王宏濤等⑤楊春霞、王宏濤、黃穎為：《基于MOOC/SPOC的混合式教學(xué)的質(zhì)量評(píng)價(jià)研究》，《教育現(xiàn)代化》2020年第41卷，第10-13頁。結(jié)合相關(guān)混合式教學(xué)影響因素的理論研究，給出了包含教學(xué)準(zhǔn)備、教學(xué)實(shí)施和教學(xué)評(píng)價(jià)三部分的混合式教學(xué)的質(zhì)量評(píng)價(jià)體系。葉宇平等⑥葉宇平、何笑：《智慧教育引領(lǐng)教學(xué)方式新變革》，《高教發(fā)展與評(píng)估》2020年第4期，第87-96頁。提出智慧教育背景下的學(xué)習(xí)環(huán)境更加智能化，可以感知環(huán)境變化、學(xué)習(xí)者的特征，記錄各項(xiàng)數(shù)據(jù)。在大數(shù)據(jù)分析基礎(chǔ)之上的教學(xué)評(píng)價(jià)體系將更加豐富和全面，注重評(píng)價(jià)的實(shí)時(shí)性、個(gè)性化和科學(xué)化。馬星等⑦馬星、王楠：《基于大數(shù)據(jù)的高校教學(xué)質(zhì)量評(píng)價(jià)體系構(gòu)建》，《清華大學(xué)教育研究》2018年第2期，第38-43頁。認(rèn)為，大數(shù)據(jù)時(shí)代背景下高校要著力于實(shí)現(xiàn)數(shù)據(jù)收集常態(tài)化、數(shù)據(jù)應(yīng)用多樣化和數(shù)據(jù)管理制度化,以科學(xué)有效地利用好大數(shù)據(jù)技術(shù),構(gòu)建基于大數(shù)據(jù)的高校教學(xué)質(zhì)量評(píng)價(jià)體系。

以上研究涵蓋教育大數(shù)據(jù)應(yīng)用與問題研究、基于大數(shù)據(jù)應(yīng)用的教學(xué)評(píng)價(jià)理論研究和混合式教學(xué)質(zhì)量評(píng)價(jià)體系研究，對(duì)于大數(shù)據(jù)背景下開展一流課程質(zhì)量評(píng)價(jià)具有理論指導(dǎo)和實(shí)踐借鑒意義。然而，現(xiàn)行課程教學(xué)質(zhì)量評(píng)價(jià)體系尚缺乏基于大數(shù)據(jù)感知的評(píng)價(jià)研究，未能建立起有效的、滿足教學(xué)新常態(tài)下不同角色新要求的課程教學(xué)質(zhì)量評(píng)價(jià)方法，而以下三個(gè)關(guān)鍵問題是在線教學(xué)、混合式教學(xué)質(zhì)量評(píng)價(jià)方法研究中尚亟待解決的。

1.評(píng)價(jià)結(jié)果的準(zhǔn)確性問題：依托專家的定性評(píng)價(jià)較強(qiáng)，而基于教學(xué)大數(shù)據(jù)的定量評(píng)價(jià)較弱，專家評(píng)分的客觀性、調(diào)閱抽查材料的全面性存在不足，影響了評(píng)價(jià)結(jié)果的準(zhǔn)確性。

2.數(shù)據(jù)感知的有效性問題：應(yīng)用作業(yè)次數(shù)、測試成績、課上回答問題次數(shù)等傳統(tǒng)定量數(shù)據(jù)評(píng)價(jià)較強(qiáng)，而針對(duì)學(xué)習(xí)投入、學(xué)習(xí)效果、學(xué)習(xí)支持等評(píng)價(jià)較弱，多維度數(shù)據(jù)綜合，尤其是關(guān)聯(lián)學(xué)習(xí)效果、學(xué)生主動(dòng)學(xué)習(xí)等數(shù)據(jù)的綜合分析不足，影響了定量評(píng)價(jià)的有效性。

3.反饋改進(jìn)的及時(shí)性問題：課程教學(xué)結(jié)束后的總結(jié)性評(píng)價(jià)較強(qiáng)，而教學(xué)過程中的監(jiān)控作用發(fā)揮較弱，評(píng)價(jià)與反饋都滯后，導(dǎo)致不能及時(shí)地將評(píng)價(jià)中發(fā)現(xiàn)的問題反饋給學(xué)生和教師，以支持教與學(xué)的精準(zhǔn)改進(jìn)、提升學(xué)習(xí)效果。

（二）研究假設(shè)

總假設(shè)：基于大數(shù)據(jù)感知的課程質(zhì)量評(píng)價(jià)能夠解決評(píng)價(jià)結(jié)果的準(zhǔn)確性、數(shù)據(jù)感知的有效性和反饋改進(jìn)的及時(shí)性問題。假設(shè)1：定量與定性有機(jī)結(jié)合，能避免主要依靠定性評(píng)價(jià)帶來的評(píng)價(jià)結(jié)論主觀性和以點(diǎn)帶面的問題。假設(shè)2：合理設(shè)置感知點(diǎn)并準(zhǔn)確感知，能有效掌握教與學(xué)數(shù)據(jù)，并明確微觀操作層面的具體問題。假設(shè)3：階段性實(shí)時(shí)感知并及時(shí)反饋教學(xué)狀態(tài)，能促進(jìn)精準(zhǔn)改進(jìn)。

二、研究設(shè)計(jì)

（一）采用對(duì)照實(shí)驗(yàn)法檢驗(yàn)評(píng)價(jià)效果。ADDIE教學(xué)設(shè)計(jì)模型①李逢慶：《混合式教學(xué)的理論基礎(chǔ)與教學(xué)設(shè)計(jì)》，《現(xiàn)代教育技術(shù)》2016年第9期，第18-24頁。包括：Analysis（分析）、Design（設(shè)計(jì)）、Develop（開發(fā)）、Implement（實(shí)施）、Evaluate（評(píng)價(jià)）。本研究側(cè)重模型中的實(shí)施和評(píng)價(jià)兩個(gè)階段，聚焦課程實(shí)施和效果評(píng)價(jià)，②梁婷婷、張陽：《探索構(gòu)建學(xué)生中心混合式課程質(zhì)量體系》，《中國教育信息化》2020年第6期，第26-29頁。而非分析、設(shè)計(jì)和開發(fā)的課程建設(shè)質(zhì)量評(píng)估。為了檢驗(yàn)評(píng)價(jià)效果，對(duì)大連東軟信息學(xué)院23個(gè)專業(yè)的51門課程進(jìn)行兩輪評(píng)價(jià)。第一輪為“專家主體評(píng)價(jià)”，簡稱“專家評(píng)”，第二輪為“基于大數(shù)據(jù)感知的評(píng)價(jià)”，簡稱“感知評(píng)”。

（二）使用數(shù)據(jù)平臺(tái)和評(píng)價(jià)系統(tǒng)。評(píng)價(jià)數(shù)據(jù)來源于校內(nèi)外智慧教育平臺(tái)，包括課程資源系統(tǒng)、混合式學(xué)習(xí)系統(tǒng)、作業(yè)測試系統(tǒng)、質(zhì)量監(jiān)測系統(tǒng)等。質(zhì)量評(píng)價(jià)通過學(xué)?！罢n程評(píng)估系統(tǒng)”完成。

三、研究過程及數(shù)據(jù)收集（以大連東軟信息學(xué)院為收集基礎(chǔ)）

（一）專家主體評(píng)價(jià)

1.評(píng)價(jià)標(biāo)準(zhǔn)

《課程教學(xué)實(shí)施效果評(píng)價(jià)標(biāo)準(zhǔn)》包括教學(xué)實(shí)施和效果評(píng)價(jià)兩個(gè)維度，涵蓋資源使用更新、課堂教學(xué)、跟蹤反饋、考核評(píng)價(jià)、教學(xué)效果和學(xué)生評(píng)價(jià)6個(gè)二級(jí)指標(biāo)（如圖1）。

圖1 課程教學(xué)實(shí)施效果評(píng)價(jià)標(biāo)準(zhǔn)

2.評(píng)價(jià)對(duì)象

2019-2020-1學(xué)期實(shí)施且通過校級(jí)混合式課程建設(shè)質(zhì)量驗(yàn)收的51門課程。

3.評(píng)價(jià)程序

在課程組自評(píng)的基礎(chǔ)上，學(xué)校組織由教學(xué)相關(guān)職能部門、院系及校外專家組成的評(píng)審組，對(duì)參評(píng)課程的教學(xué)實(shí)施與效果進(jìn)行評(píng)價(jià)。課程負(fù)責(zé)人提供課程教學(xué)實(shí)施的教學(xué)文檔、形成性和終結(jié)性考核存檔材料、課程自評(píng)報(bào)告及相關(guān)佐證材料。專家通過“課程評(píng)估系統(tǒng)”中教師提供的材料、網(wǎng)絡(luò)與信息中心提供的課堂教學(xué)實(shí)錄視頻、從數(shù)據(jù)平臺(tái)獲取的教學(xué)過程的資源使用與師生互動(dòng)等統(tǒng)計(jì)分析數(shù)據(jù)，進(jìn)行綜合評(píng)價(jià)。

4.等級(jí)評(píng)定

評(píng)價(jià)結(jié)果按照二級(jí)指標(biāo)評(píng)價(jià)等級(jí)加權(quán)計(jì)算總分，二級(jí)指標(biāo)評(píng)價(jià)等級(jí)分為A（1）/B（0.8）/C（0.6）/D（0.4）四檔，其中A檔表示完全符合；B檔表示符合度較高；C檔表示基本符合；D檔表示差距很大。最終評(píng)價(jià)結(jié)果分為優(yōu)秀（100-90）、良好（90-80）、合格（80-70）、不合格（小于70）四檔。其中，凡出現(xiàn)二級(jí)指標(biāo)任一項(xiàng)評(píng)價(jià)成績?yōu)镈檔，則最終成績不能評(píng)定為優(yōu)秀和良好（最高為合格）；其他情況按照二級(jí)指標(biāo)加權(quán)總分與等級(jí)對(duì)應(yīng)情況賦予最終成績。

（二）基于大數(shù)據(jù)感知的評(píng)價(jià)

1.科學(xué)量化評(píng)價(jià)指標(biāo)

適合量化的指標(biāo)。若專家評(píng)價(jià)本身依賴于信息化平臺(tái)提供的“教與學(xué)”數(shù)據(jù)支持，則該指標(biāo)適合量化。如圖1中的“多數(shù)學(xué)生資源利用率高，使用效果好”，“多數(shù)學(xué)生積極參與課堂教學(xué)活動(dòng)，師生互動(dòng)效果好”；“教師能夠?qū)W(xué)生線上、線下的課前、課中、課后學(xué)習(xí)任務(wù)完成情況和學(xué)生的問題給予及時(shí)、有效的評(píng)價(jià)反饋和精準(zhǔn)支持，學(xué)生學(xué)習(xí)進(jìn)步較明顯”；“學(xué)生學(xué)習(xí)效果符合課程目標(biāo)，指標(biāo)達(dá)成度高”等。

不適合量化的指標(biāo)。若現(xiàn)階段基于感知的評(píng)價(jià)明顯不能替代或優(yōu)于專家評(píng)價(jià)，則該指標(biāo)不適合量化。如圖1中的“依據(jù)課程標(biāo)準(zhǔn)進(jìn)行考核，命題和評(píng)閱質(zhì)量高”，“成績?cè)u(píng)定規(guī)范、合理”等。

為確保評(píng)價(jià)結(jié)果可相互驗(yàn)證，“感知評(píng)”所使用的評(píng)價(jià)標(biāo)準(zhǔn)與“專家評(píng)”所使用的標(biāo)準(zhǔn)保持一級(jí)、二級(jí)指標(biāo)完全相同，包括內(nèi)涵解讀和權(quán)重設(shè)置。將6個(gè)二級(jí)指標(biāo)分解為13個(gè)三級(jí)指標(biāo)，設(shè)定8個(gè)基于數(shù)據(jù)感知的定量評(píng)價(jià)指標(biāo)P1-P8和5個(gè)依據(jù)專家評(píng)分的定性評(píng)價(jià)指標(biāo)E1-E5（如表1）。

表1 課程教學(xué)實(shí)施效果評(píng)價(jià)指標(biāo)量化

2.有效設(shè)置感知點(diǎn)

首先，根據(jù)有效教學(xué)設(shè)計(jì)與實(shí)施的“四要素”：目標(biāo)、教法、學(xué)法、評(píng)價(jià)，①趙炬明：《聚焦設(shè)計(jì)：實(shí)踐與方法（上）——美國“以學(xué)生為中心”的本科教學(xué)改革研究之三》，《高等工程教育研究》2018年第2期，第30-44頁。對(duì)教學(xué)大數(shù)據(jù)進(jìn)行貼標(biāo)簽分類，將教學(xué)感知點(diǎn)分為5大類：即資源“有效”利用、任務(wù)完成“時(shí)效”、互動(dòng)參與“程度”、教學(xué)反饋“效果”、學(xué)習(xí)目標(biāo)“達(dá)成”。其次，以“充分發(fā)揮專家特長和大數(shù)據(jù)感知的融合優(yōu)勢”為原則，結(jié)合學(xué)校實(shí)際，對(duì)應(yīng)5大類別，設(shè)置可準(zhǔn)確感知的12個(gè)教學(xué)感知點(diǎn)（如表2）。教學(xué)感知①-?涵蓋了教學(xué)全過程中對(duì)教師教和學(xué)生學(xué)的感知，并與有效教學(xué)四要素合理映射。

3.建立數(shù)據(jù)感知模型和映射模型

一是建立感知模型。根據(jù)表2中的算法獲得各感知點(diǎn)的感知數(shù)據(jù)。注重：①數(shù)據(jù)完整性。例如針對(duì)P1，采集多平臺(tái)數(shù)據(jù)，鼓勵(lì)混合式教學(xué)模式下有效利用外部優(yōu)質(zhì)資源。②增值評(píng)價(jià)。例如P5和P7，采集提升率數(shù)據(jù)。③學(xué)生體驗(yàn)。例如P4和P8，挖掘?qū)W生體驗(yàn)數(shù)據(jù)。④鼓勵(lì)評(píng)價(jià)創(chuàng)新。鼓勵(lì)課程以有效評(píng)價(jià)知識(shí)、能力、素質(zhì)三維度預(yù)期學(xué)習(xí)效果達(dá)成情況為目標(biāo)，創(chuàng)新考核方式、增加綜合性、開放性命題、優(yōu)化評(píng)價(jià)量表等。對(duì)于預(yù)計(jì)將對(duì)本輪終結(jié)性考核結(jié)果造成較大影響的調(diào)整，可提出充分理由，并經(jīng)審定委員會(huì)評(píng)議，確定對(duì)采集的課程平均分增加修正分值δ，確保不因試題增加挑戰(zhàn)度等改革導(dǎo)致的考試分?jǐn)?shù)降低影響評(píng)價(jià)結(jié)果。

二是建立映射模型。按照區(qū)間評(píng)級(jí)規(guī)則將感知數(shù)據(jù)轉(zhuǎn)換為區(qū)間等級(jí)。首先選取合適的參考數(shù)據(jù)集。參考數(shù)據(jù)集可以是本校的全集數(shù)據(jù)，也可以是同類高校、同等專業(yè)的數(shù)據(jù)或211院校的常模數(shù)據(jù)等。參考集的選用可優(yōu)先考慮多年相關(guān)數(shù)據(jù)穩(wěn)定或變化趨勢合理的數(shù)據(jù)集。然后計(jì)算參考集中不同年份（一般連續(xù)3年、同期）的平均值與分布情況。最后用評(píng)價(jià)數(shù)據(jù)集比對(duì)參考數(shù)據(jù)集，建立感知數(shù)據(jù)映射模型。映射結(jié)果可選擇五分法{好、較好、合格、較差、差}，其對(duì)應(yīng)值為{1、0.8、0.6、0.4、0.2}。

4.建立綜合評(píng)價(jià)模型

設(shè)專家定性評(píng)價(jià)指標(biāo)為Expert-evaluationi（Ei），數(shù)據(jù)感知定量評(píng)價(jià)指標(biāo)為Pedagogical-perceptioni（Pi），則第i門課對(duì)應(yīng)的第j個(gè)專家指標(biāo)用來表示，對(duì)應(yīng)的影響系數(shù)、指標(biāo)分值分別為；第i門課對(duì)應(yīng)的第j個(gè)數(shù)據(jù)感知定量評(píng)價(jià)指標(biāo)用來表示，對(duì)應(yīng)的影響系數(shù)、指標(biāo)權(quán)重和效果加權(quán)系數(shù)分別為第i門課的最終評(píng)價(jià)結(jié)果Finali（Fi）綜合計(jì)算如下：

式中：效果加權(quán)系數(shù)k取值為(0,1]，當(dāng)k=1時(shí)表示不考慮效果加權(quán)。效果加權(quán)是將指標(biāo)“2-2教學(xué)效果”的數(shù)值通過效果加權(quán)的方式影響其他與效果直接相關(guān)的指標(biāo)最終得分，如P1資源使用、P2活動(dòng)參與、P3有效反饋，即教學(xué)感知①-④等。

式中：影響系數(shù)μ取值為[0,1]，除了指標(biāo)P6，其余指標(biāo)的μ取值均為1（無影響）。的設(shè)置是考慮考核質(zhì)量對(duì)教學(xué)效果的實(shí)際影響。根據(jù)專家對(duì)終結(jié)性考核命題、評(píng)閱、成績?cè)u(píng)定存在的問題分類{無、較小、較大、較嚴(yán)重、嚴(yán)重}，對(duì)應(yīng)確定的值為{1.0、0.8、0.6、0.4、0.2}。

5.總結(jié)性評(píng)價(jià)和過程性評(píng)價(jià)

總結(jié)性評(píng)價(jià)：根據(jù)式一Fi可得到課程i的評(píng)價(jià)結(jié)果。

過程性評(píng)價(jià)：一是依據(jù)反饋及時(shí)性原則，設(shè)定監(jiān)測點(diǎn)，比如課程總學(xué)時(shí)的1/3、1/2和2/3時(shí)間點(diǎn)，及時(shí)將評(píng)價(jià)結(jié)果反饋給當(dāng)前的教、學(xué)、管理端。二是采用總結(jié)性評(píng)價(jià)方法，并根據(jù)情況將部分只在總結(jié)性評(píng)價(jià)中使用的指標(biāo)對(duì)應(yīng)的μ值設(shè)為0，如E1-E5，P6-P8，其他指標(biāo)的μ值仍為1或?qū)嶋H數(shù)值。同時(shí)，過程性評(píng)價(jià)不僅要針對(duì)課程整體，還要針對(duì)學(xué)生個(gè)體，比對(duì)并呈現(xiàn)個(gè)體在相關(guān)指標(biāo)上的優(yōu)勢和薄弱之處，并將結(jié)果呈現(xiàn)給教師、學(xué)生和相關(guān)管理者，以支持過程中的及時(shí)、自主、精準(zhǔn)改進(jìn)。

6.迭代優(yōu)化

以符合事實(shí)的客觀評(píng)價(jià)為目標(biāo)，設(shè)計(jì)了包括感知、轉(zhuǎn)換、評(píng)價(jià)、分析、反饋、改進(jìn)的優(yōu)化6步并不斷迭代。若，ΔX=|評(píng)價(jià)結(jié)果-真實(shí)質(zhì)量|，則，令ΔX→0。評(píng)價(jià)結(jié)果可通過多方相互印證。一是“專家評(píng)”，二是“感知評(píng)”，三是教師對(duì)評(píng)價(jià)結(jié)果的反饋。進(jìn)行多樣本學(xué)習(xí)訓(xùn)練及組織專家合議，如有必要?jiǎng)t修改影響系數(shù)μ、指標(biāo)分值w、效果加權(quán)系數(shù)k和相關(guān)算法等，直到Fi符合真實(shí)情況、教師充分認(rèn)可。

四、研究結(jié)果

將“專家評(píng)”的結(jié)果和“感知評(píng)”的結(jié)果進(jìn)行對(duì)比：

1.評(píng)價(jià)結(jié)果準(zhǔn)確性。從指標(biāo)量化看，量化指標(biāo)從“專家評(píng)”10%，增加到“感知評(píng)”55%，部分專家主觀評(píng)價(jià)中的印象分被客觀合理的感知評(píng)價(jià)替代。從總分分布看，對(duì)應(yīng){優(yōu)秀、良好、中等}的百分比值分布，“專家評(píng)”{13.7，74.5，11.8}，“感知評(píng)”{15.7，54.9，29.4}。表3中總分值和“2-2教學(xué)效果”指標(biāo)的標(biāo)準(zhǔn)差比較顯示，“感知評(píng)”的結(jié)果等級(jí)分布更合理。綜合表3和表4數(shù)據(jù)進(jìn)行原因分析，“感知評(píng)”中，指標(biāo)1-1相關(guān)度最大且標(biāo)準(zhǔn)差相對(duì)大，而“專家評(píng)”中，指標(biāo)1-3相關(guān)度最大但標(biāo)準(zhǔn)差相對(duì)小，說明專家在該項(xiàng)（過程及反饋）的打分過于集中且過大地影響了最終得分。從評(píng)價(jià)反饋看，教師對(duì)“感知評(píng)”的最終評(píng)價(jià)結(jié)果和改進(jìn)意見普遍認(rèn)可。

表3 兩種評(píng)價(jià)的標(biāo)準(zhǔn)差比較

表4 兩種評(píng)價(jià)的指標(biāo)分項(xiàng)與總分的相關(guān)系數(shù)比較

2.數(shù)據(jù)感知有效性。一是感知更有效。表3感知模型顯示，針對(duì)有效教學(xué)要素設(shè)置感知指標(biāo)P1-P8，并綜合分析評(píng)價(jià)學(xué)習(xí)投入、學(xué)習(xí)效果、學(xué)習(xí)支持等，使得數(shù)據(jù)更可靠。二是OBE導(dǎo)向評(píng)價(jià)。采用效果加權(quán)，平均效果加權(quán)系數(shù)0.8，使得評(píng)價(jià)結(jié)果更符合指標(biāo)內(nèi)涵要求，如“資源有效利用”“有效互動(dòng)”等，使得模型和評(píng)價(jià)更可靠。三是改進(jìn)更有效。針對(duì)指標(biāo)得分情況，明確問題在哪里，差距有多少，并提供針對(duì)每個(gè)3級(jí)指標(biāo)的教師維度改進(jìn)建議（資源更新、教學(xué)教法、監(jiān)控調(diào)整、有效反饋、命題質(zhì)量、評(píng)閱評(píng)定、提升效果、提升學(xué)習(xí)體驗(yàn)）和學(xué)生維度改進(jìn)建議（資源利用、互動(dòng)參與、學(xué)習(xí)狀態(tài)、學(xué)習(xí)效果、效果提升），使得教學(xué)改進(jìn)更有效。

采用相對(duì)值比較而非使用絕對(duì)值的方法分析，表4中指標(biāo)2-2列“感知評(píng)”較“專家評(píng)”的相關(guān)系數(shù)明顯增大，說明“感知評(píng)”更突出效果評(píng)價(jià)的重要性；計(jì)算列1-1和列2-2的相關(guān)系數(shù)，得出“感知評(píng)”雖然比“專家評(píng)”更相關(guān)，但相關(guān)度很低，還需進(jìn)一步改進(jìn)完善，以增強(qiáng)感知數(shù)據(jù)的有效性。

3.反饋改進(jìn)及時(shí)性。課程過程性教學(xué)質(zhì)量監(jiān)測為教學(xué)過程中的及時(shí)、自主、精準(zhǔn)的改進(jìn)提供了支持。一方面，及時(shí)向?qū)W生、教師、管理者提供過程監(jiān)測結(jié)果，例如在學(xué)期中不同時(shí)間節(jié)點(diǎn)，針對(duì)學(xué)生個(gè)體呈現(xiàn)指標(biāo)得分變化數(shù)值及位置；針對(duì)教師呈現(xiàn)學(xué)生個(gè)體和班級(jí)整體數(shù)據(jù)；針對(duì)?！骸党尸F(xiàn)相應(yīng)集合的整體數(shù)據(jù)和同層次比較數(shù)據(jù)。另一方面，根據(jù)表3數(shù)據(jù)轉(zhuǎn)化算法，不僅關(guān)注學(xué)生學(xué)習(xí)效果成績絕對(duì)值，而且關(guān)注學(xué)生預(yù)期學(xué)習(xí)效果達(dá)成度提升值，實(shí)時(shí)感知個(gè)體增量，切實(shí)發(fā)揮形成性考核評(píng)價(jià)的促進(jìn)作用。

計(jì)算“過程指標(biāo)”1（1-1、1-2、1-3求和）和“教學(xué)效果”指標(biāo)2-2的協(xié)方差：“感知評(píng)”為：0.363744714，“專家評(píng)”為：-0.161476355。說明：“專家評(píng)”負(fù)相關(guān)，即過程和效果負(fù)相關(guān)，而“感知評(píng)”雖然正相關(guān)，但相關(guān)程度還有提升空間。

五、結(jié)論與啟示

本文結(jié)合大連東軟信息學(xué)院多年的信息化教學(xué)改革實(shí)踐探索，提出了基于大數(shù)據(jù)感知的課程教學(xué)質(zhì)量評(píng)價(jià)方法，并通過效果分析，證明該方法可有效解決現(xiàn)行教學(xué)質(zhì)量評(píng)價(jià)中存在的評(píng)價(jià)結(jié)果準(zhǔn)確性、教學(xué)感知有效性和反饋改進(jìn)及時(shí)性的共性問題。同時(shí)，基于教學(xué)感知的評(píng)價(jià)實(shí)現(xiàn)了高校教學(xué)質(zhì)量評(píng)價(jià)的三個(gè)轉(zhuǎn)變：一是擴(kuò)大了質(zhì)量評(píng)價(jià)的范圍，從原先督導(dǎo)覆蓋課程的聽課評(píng)價(jià)，到現(xiàn)在覆蓋課堂教學(xué)全過程的評(píng)價(jià)，實(shí)現(xiàn)了部分到全部的轉(zhuǎn)變。二是增強(qiáng)了質(zhì)量監(jiān)控的自主性，從原來的教師、學(xué)生被聽課、被評(píng)價(jià)到主動(dòng)自我監(jiān)控，實(shí)現(xiàn)了被動(dòng)到主動(dòng)的轉(zhuǎn)變。三是學(xué)生、教師、管理者都能得到較好的支持，促進(jìn)了混合式教學(xué)中學(xué)的改進(jìn)、教的改進(jìn)和學(xué)的改進(jìn)。

對(duì)高校開展基于大數(shù)據(jù)的教學(xué)質(zhì)量評(píng)價(jià)的啟示如下：

第一，基于可靠性原則建立評(píng)價(jià)模型?？煽啃园ǎ簶?biāo)準(zhǔn)可靠、數(shù)據(jù)可靠、模型可靠、評(píng)價(jià)可靠。①林夢(mèng)泉、任超、陳燕：《破解教育評(píng)價(jià)難題探索“融合評(píng)價(jià)”新方法》，《學(xué)位與研究生教育》2019年第12期，第1-6頁?？茖W(xué)分析、合理設(shè)計(jì)評(píng)價(jià)模型，做到定性、定量評(píng)價(jià)相結(jié)合，專家評(píng)與數(shù)據(jù)評(píng)相結(jié)合，過程性和總結(jié)性評(píng)價(jià)相結(jié)合。要根據(jù)評(píng)價(jià)指標(biāo)本身的特性和當(dāng)前約束條件，充分發(fā)揮專家特長和數(shù)據(jù)感知的優(yōu)勢。

第二，基于有效性原則探索大數(shù)據(jù)感知。有效性包括：設(shè)計(jì)有效、評(píng)價(jià)有效和改進(jìn)有效。設(shè)計(jì)有效即根據(jù)有效教學(xué)要素設(shè)置感知點(diǎn)；評(píng)價(jià)有效即采用OBE導(dǎo)向的效果加權(quán)評(píng)價(jià)；改進(jìn)有效即師生明確微觀操作層面的問題與差距的基礎(chǔ)上實(shí)施有效改進(jìn)。真正觸動(dòng)教、學(xué)兩端的是有效的數(shù)據(jù)及數(shù)據(jù)間關(guān)聯(lián)性的客觀呈現(xiàn)，能夠反映師生教與學(xué)的投入、教與學(xué)的互動(dòng)、教與學(xué)的效果，而不能只是作業(yè)、測試成績、教學(xué)課件等教與學(xué)線下數(shù)據(jù)的簡單線上呈現(xiàn)。

第三，基于及時(shí)促進(jìn)原則完善過程反饋改進(jìn)。及時(shí)促進(jìn)即及時(shí)將評(píng)價(jià)結(jié)果反饋給當(dāng)前的教、學(xué)、管理端，以促進(jìn)精準(zhǔn)改進(jìn)。當(dāng)前采集的信息是在當(dāng)前條件下對(duì)當(dāng)前教、學(xué)、管理相關(guān)情況的即時(shí)反映。通過及時(shí)反饋，為學(xué)生提供機(jī)會(huì)去追蹤、反思、改進(jìn)學(xué)習(xí)；為教師提供機(jī)會(huì)根據(jù)學(xué)生學(xué)習(xí)需求調(diào)整教學(xué)；為管理者提供機(jī)會(huì)促進(jìn)個(gè)性化教學(xué)改進(jìn)，從而及時(shí)縮小和各個(gè)角色預(yù)期目標(biāo)的差距，而非只有延遲到下一輪教學(xué)再改，同時(shí)還要面臨授課對(duì)象變化帶來的針對(duì)性不強(qiáng)等問題。

第四，應(yīng)用大數(shù)據(jù)技術(shù)迭代優(yōu)化綜合評(píng)價(jià)。以符合事實(shí)的客觀評(píng)價(jià)為目標(biāo)，迭代感知、轉(zhuǎn)換、評(píng)價(jià)、分析、反饋、改進(jìn)，不斷優(yōu)化。還應(yīng)建立基于大數(shù)據(jù)信任的質(zhì)量文化，通過宣講，促進(jìn)廣大教師認(rèn)同，通過鼓勵(lì)創(chuàng)新，增強(qiáng)教師改革動(dòng)力，使其在自主改進(jìn)基礎(chǔ)上積極參與大數(shù)據(jù)感知評(píng)價(jià)的探索。

今后將通過指標(biāo)項(xiàng)相關(guān)性等評(píng)價(jià)效果分析和通過機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等算法優(yōu)化指標(biāo)權(quán)重、效果加權(quán)系數(shù)和等級(jí)區(qū)間范圍值等。同時(shí)繼續(xù)優(yōu)化挖掘數(shù)據(jù)感知點(diǎn)，嘗試增加智能感知和改進(jìn)學(xué)、改進(jìn)教的智能助手，進(jìn)一步提升教、學(xué)、管理效能，促進(jìn)師生發(fā)展。