從大數(shù)據(jù)挖掘的視角分析學生評教的有效性

馬秀麟，衷克定，劉立超

(北京師范大學 教育技術(shù)學院，北京 100875)

從大數(shù)據(jù)挖掘的視角分析學生評教的有效性

馬秀麟，衷克定，劉立超

(北京師范大學 教育技術(shù)學院，北京 100875)

對于學生評教的有效性，在學術(shù)界一直存在著爭議。然而，思辨的研究方法無力解決學生評教的有效性問題。隨著教育信息化的深入，網(wǎng)絡(luò)化的學生評教已經(jīng)廣泛應(yīng)用并積累了大量的原始數(shù)據(jù)。該研究借助大數(shù)據(jù)分析和數(shù)據(jù)挖掘的方法，對兩所學校5年多的上百萬條學生評教數(shù)據(jù)展開分析，通過克朗巴哈系數(shù)、基于時間序列的數(shù)據(jù)關(guān)聯(lián)性分析檢測了學生評教的有效性水平。并在此基礎(chǔ)上，利用聚類和主成分分析的方法，探究了影響評教成績的主要原因，從學生評教的視角對教師的專業(yè)化發(fā)展提出建議。

學生評教；大數(shù)據(jù)；數(shù)據(jù)挖掘

隨著高等教育的大眾化，教學質(zhì)量成為影響高等教育可持續(xù)發(fā)展的重要因素。在這個過程中，“尊重學生的主體性地位、聽取學生對教學的看法、依據(jù)學生評教結(jié)論改進教學”等觀點逐步成為教學質(zhì)量控制的重要手段。因此，絕大多數(shù)學校都開展了由學生作為主體的針對教師教學情況的評教活動。盡管學生評教搞得如火如荼，然而，對于“學生評教數(shù)據(jù)是否客觀？學生的評教結(jié)論能否真正地反應(yīng)教學質(zhì)量？在實際的教學管理中應(yīng)該如何應(yīng)用評教數(shù)據(jù)？”等問題，卻在教師群體內(nèi)部和學術(shù)界都存在著強烈的爭論。對教育管理者來講，學生評教數(shù)據(jù)的信度、效度和評教結(jié)論的應(yīng)用形式，都存在著很多的問題，這些問題的核心在于學生評教數(shù)據(jù)的信度和效度水平。

一、研究的焦點及可行性

1. 對學生評教有效性的質(zhì)疑與爭議

自1915年在美國出現(xiàn)第1張學生評教問卷以來，學生評教在各國逐步展開并普及，對學生評教的爭論也隨之出現(xiàn)并日益尖銳。2003年2月15日，《中國教育報》在同一個版面刊登了兩篇觀點針鋒相對的文章，反應(yīng)了兩種觀點的激烈碰撞。《學生心中有桿秤——為學生評教師的做法叫好》，文章認為“采用學生評教師的這種做法，好似冬天里的一把火，讓整個教師考核冰點豁然融化?！备叨荣潛P了學生評教在教師考核中的作用，認為學生評教在教師考核和晉升中的一票否決制突顯了學生的主體地位，有利于教師積極提高自己的教學質(zhì)量。而另外的一篇文章《學生“一票否決”老師，對嗎？》的觀點則截然不同，文中感嘆道：“教學搞得再好，不如把學生哄好！”“教師辛辛苦苦干了一學期的工作，難道就被學生一票給否決了嗎？”

學生評教數(shù)據(jù)的信度和效度，是爭議的焦點。支持方認為：學生評教能真正地反映學生的訴求，體現(xiàn)學生的滿意度，有利于教師改進教學，提升教學質(zhì)量[1]。反對方則認為：由于知識能力的局限性，學生們對整個課程體系的把握很不足，情感、功利心等因素也會影響評教的客觀性。因此，學生評教難以真實地反映教學水平。學生評教不但不能促進教學質(zhì)量，還會導(dǎo)致教師不敢從嚴管理學生，導(dǎo)致教學質(zhì)量滑坡[2]。

2. 研究問題的提出

思辨的方法不能判定學生評教數(shù)據(jù)是否有效的問題，隨著基于Internet的學生評教系統(tǒng)的普及，很多高校都已經(jīng)積累了海量的學生評教數(shù)據(jù)。筆者認為，只有針對真實的海量評教數(shù)據(jù)，分析海量數(shù)據(jù)的可靠性系數(shù)與區(qū)分度并對評教結(jié)果長期跟蹤，才能客觀地判定學生評教的信度和效度。在實證性研究的基礎(chǔ)上，再借助數(shù)據(jù)挖掘的手段，探索評教數(shù)據(jù)內(nèi)部隱藏的規(guī)律，通過評教數(shù)據(jù)發(fā)現(xiàn)教師成長的規(guī)律，為教師的專業(yè)化提供指導(dǎo)[3]。

3.基于大數(shù)據(jù)挖掘技術(shù)分析學生評教效度的可行性

(1)基于Internet的學生評教系統(tǒng)積累了大量的原始數(shù)據(jù)

自1915年在美國出現(xiàn)第1張學生評教問卷以來，學生評教經(jīng)歷了書面評教、機讀卡評教和網(wǎng)絡(luò)評教時期。目前，絕大多數(shù)院校的學生評教系統(tǒng)都是基于Internet平臺的，具有便捷性強、數(shù)據(jù)保存完整、數(shù)據(jù)格式規(guī)范等優(yōu)點。

經(jīng)過近十年網(wǎng)上評教活動的開展，基于Internet的學生評教系統(tǒng)已經(jīng)完成了初步的數(shù)據(jù)積累，形成了規(guī)模宏大的學生評教記錄，為學生評教的元評價積累了海量的數(shù)據(jù)基礎(chǔ)。以北京師范大學為例，自2002年開始啟用網(wǎng)上評教系統(tǒng)以來，已經(jīng)積累了針對2000多名教師、3000門課的多輪評教數(shù)據(jù)，總記錄數(shù)達到了近200萬條。

(2)大數(shù)據(jù)時代來臨，針對大數(shù)據(jù)的研究方法日益成熟

隨著信息化的普及和各類信息系統(tǒng)的應(yīng)用，各類信息系統(tǒng)中都積累了大量的原始數(shù)據(jù)，分析這些數(shù)據(jù)內(nèi)部所蘊含的規(guī)律、預(yù)測相關(guān)系統(tǒng)的運行趨勢，已經(jīng)成為當代信息處理的主要任務(wù)。大數(shù)據(jù)處理就是應(yīng)時代需求出現(xiàn)而發(fā)展起來的，大數(shù)據(jù)知識服務(wù)是為適應(yīng)信息服務(wù)業(yè)智慧化、協(xié)作化、綠色化、先覺化和泛在化的發(fā)展趨勢而衍生的一種基于網(wǎng)絡(luò)的, 用以解決結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)多維度處理的信息服務(wù)新模式，是嵌入式協(xié)作化知識服務(wù)模式的一種新發(fā)展，是現(xiàn)代信息服務(wù)理念的具體體現(xiàn)[4]。

隨著大數(shù)據(jù)的普及，針對大數(shù)據(jù)的研究方法日益完善和成熟。適用于大數(shù)據(jù)的關(guān)鍵技術(shù)包括：遺傳算法、神經(jīng)網(wǎng)絡(luò)、數(shù)據(jù)挖掘、回歸分析、基于時間序列的跟蹤與分析、聚類分析、關(guān)聯(lián)規(guī)則學習等技術(shù)。這些技術(shù)已經(jīng)日益成熟，甚至被集成在各種大型的數(shù)據(jù)庫管理系統(tǒng)(DBMS)中，使之成為大型DBMS的有機組成?；诖髷?shù)據(jù)理念的數(shù)據(jù)分析與數(shù)據(jù)挖掘技術(shù)的成熟，能夠?qū)崿F(xiàn)面向海量評教數(shù)據(jù)實時分析，并能保證分析的科學性，極大地方便了針對網(wǎng)絡(luò)評教數(shù)據(jù)的挖掘和分析、跟蹤[5]。

與已有的信息服務(wù)模式相比, 大數(shù)據(jù)知識服務(wù)模式和構(gòu)建過程越來越趨向于個性化、自主化、虛擬化、智能化、透明化和體驗化，知識創(chuàng)造模式、組織模式、傳播模式和應(yīng)用模式也呈現(xiàn)出規(guī)?；?、集約化、數(shù)字化和網(wǎng)絡(luò)化的趨勢[6]。

二、學生評教及大數(shù)據(jù)理論的研究狀況

1. 對學生評教的理論研究狀況

對學生評教的理論研究，主要包含了兩個維度：其一，學生評教是否有效、客觀；其二，如何正確地應(yīng)用學生評教結(jié)論。

(1)對于學生評教的價值有兩種相互對立的觀點

對于學生的評教，當前存在著兩個非常尖銳的觀點：肯定的觀點高度贊揚了學生評教在教師考核中的作用，認為學生評教在教師考核和晉升中的一票否決制突顯了學生的主體地位，有利于教師積極提高自己的教學質(zhì)量。而否定的觀點則認為由于學生在知識結(jié)構(gòu)、學科水平和個體認知能力方面的差異，導(dǎo)致學生難以從自己的視角準確地衡量教師的教學質(zhì)量[7]；另外由于學生在評教過程中存在隨意性、甚至報復(fù)教師的行為，因而學生評教數(shù)據(jù)也很難保證客觀、科學。

(2)對學生評教數(shù)據(jù)的分析方法呈現(xiàn)多樣化，但樣本量普遍偏少

對于學生評教數(shù)據(jù)的處理與應(yīng)用，多數(shù)學者認為應(yīng)建立在對海量評教數(shù)據(jù)客觀分析與挖掘的基礎(chǔ)上，然而真正地面向大數(shù)據(jù)集的研究卻很少。從目前的研究看，對學生評教數(shù)據(jù)的處理主要有以下幾種方式：a.對一定量的學生評教數(shù)據(jù)進行均值和頻度分析、方差分析，以學生評教數(shù)據(jù)的均值作為教師得分；b.統(tǒng)計各類統(tǒng)計數(shù)據(jù)的頻度，以頻度論證數(shù)據(jù)間的邏輯關(guān)系或者評教數(shù)據(jù)的有效性；c.少量研究者把數(shù)據(jù)挖掘的理論引入到學生評教領(lǐng)域，借助數(shù)據(jù)挖掘的方法開展對學生評教數(shù)據(jù)的研究。例如王佳欣、王旭輝的研究《基于數(shù)據(jù)挖掘的網(wǎng)絡(luò)評教系統(tǒng)》就是借助關(guān)聯(lián)規(guī)則對評教數(shù)據(jù)內(nèi)部隱藏的關(guān)系進行了挖掘，孫彩云、翟建軍的研究則借助Kappa統(tǒng)計量評價指導(dǎo)小組、同行專家及學生評教的一致性[8]。

通過檢索中國學術(shù)期刊網(wǎng)(CNKI)和Springer online Journals的有關(guān)學術(shù)論文發(fā)現(xiàn)，近幾年肯定學生評教合理性的研究在增加，說明學生評教這一行為在逐步地得到教師和學術(shù)界的認可。

2. 大數(shù)據(jù)理論及其研究狀況

對于大數(shù)據(jù)的研究，從來沒有像今天這樣熱烈。對大數(shù)據(jù)的理論研究，主要包括了以下幾個領(lǐng)域：

(1)對大數(shù)據(jù)概念和屬性的研究

到底什么是“大數(shù)據(jù)”呢？維基百科上說：大數(shù)據(jù)指的是“網(wǎng)絡(luò)公司日常運營所生成的和積累用戶網(wǎng)絡(luò)行為所獲得的海量數(shù)據(jù)”?！按髷?shù)據(jù)”的出現(xiàn)不是一個偶然的事情，它是在信息化、網(wǎng)絡(luò)化高度發(fā)達的今天，在這個數(shù)據(jù)滿天飛的時代所必須要經(jīng)歷的過程?！按髷?shù)據(jù)”是一個術(shù)語，是一個帶有文化基因和營銷理念的詞匯，但同時也反映了科技領(lǐng)域發(fā)展中的趨勢，這種趨勢為理解這個世界和做出決策開啟了一扇新的大門[9]。

大數(shù)據(jù)不是一種新技術(shù)，也不是一種新產(chǎn)品，而是一種新現(xiàn)象，大數(shù)據(jù)具有以下4 個特點，即4 個“V”：數(shù)據(jù)體量(Volumes)巨大；數(shù)據(jù)類別(Variety)繁多；價值(Value)密度低；處理速度(Velocity)快，包含大量在線或?qū)崟r數(shù)據(jù)分析處理的需求，1秒定律[10]。

(2)對大數(shù)據(jù)處理流程的研究

大數(shù)據(jù)的處理流程，是指在合適工具的輔助下，對廣泛異構(gòu)的數(shù)據(jù)源進行抽取和集成，對結(jié)果按照一定的標準統(tǒng)一存儲。然后，利用合適的數(shù)據(jù)分析技術(shù)對存儲的數(shù)據(jù)進行分析，從中提取有益的知識并利用恰當?shù)姆绞綄⒔Y(jié)果展現(xiàn)給終端用戶。具體來說，可以分為數(shù)據(jù)抽取與集成、數(shù)據(jù)分析以及數(shù)據(jù)解釋[11]。

大數(shù)據(jù)的一個重要特點就是數(shù)據(jù)類型多樣性，這就意味著數(shù)據(jù)來源極其廣泛，數(shù)據(jù)類型極為繁雜，這種復(fù)雜的數(shù)據(jù)環(huán)境給大數(shù)據(jù)的處理帶來極大的挑戰(zhàn)。要想處理大數(shù)據(jù)，首先必須對數(shù)據(jù)源提供的數(shù)據(jù)進行抽取和集成，從中提取出關(guān)系和實體，經(jīng)過關(guān)聯(lián)和聚合之后采用統(tǒng)一定義的結(jié)構(gòu)來存儲這些數(shù)據(jù)。在此過程中，應(yīng)該注意對數(shù)據(jù)進行必要的清洗，清理掉垃圾數(shù)據(jù)和無效信息，保證數(shù)據(jù)質(zhì)量及可信性，同時還要兼顧大數(shù)據(jù)的模式和數(shù)據(jù)內(nèi)在的關(guān)系。

數(shù)據(jù)分析是整個大數(shù)據(jù)處理流程的核心，因為大數(shù)據(jù)的價值產(chǎn)生于分析過程。從異構(gòu)數(shù)據(jù)源抽取和集成的數(shù)據(jù)構(gòu)成了數(shù)據(jù)分析的原始數(shù)據(jù)，然后根據(jù)不同應(yīng)用的需求可以從這些數(shù)據(jù)中選擇全部或部分進行分析。鑒于大數(shù)據(jù)的特點，傳統(tǒng)的分析技術(shù)如數(shù)據(jù)挖掘、機器學習、統(tǒng)計分析可以應(yīng)用在大數(shù)據(jù)處理中，在特定情況下則需要根據(jù)大數(shù)據(jù)的時代需要做出調(diào)整[12]。

盡管數(shù)據(jù)分析是大數(shù)據(jù)處理的核心，但普通用戶往往更關(guān)心結(jié)果的展示。比較傳統(tǒng)的就是以文本形式簡要地陳述分析結(jié)論，也可以直接在電腦終端上顯示結(jié)果。這種方法在面對小數(shù)據(jù)量時是一種很好的選擇。但是，大數(shù)據(jù)時代的數(shù)據(jù)分析結(jié)果往往也是海量的，同時結(jié)果之間的關(guān)聯(lián)關(guān)系極其復(fù)雜，因此借助于可視化的技術(shù)、或者使用特定的數(shù)字指標來呈現(xiàn)數(shù)據(jù)分析結(jié)果是必要的[13]。

(3)對大數(shù)據(jù)挖掘、分析技術(shù)的研究

隨著大數(shù)據(jù)熱的興起，數(shù)據(jù)分析與數(shù)據(jù)挖掘的算法日益成熟，統(tǒng)計學、數(shù)據(jù)分析的技術(shù)手段被引入到大數(shù)據(jù)處理過程中，起到了重要的作用。

首先，統(tǒng)計學的理論被引入到大數(shù)據(jù)處理領(lǐng)域，數(shù)據(jù)統(tǒng)計分析的手段已經(jīng)變成了數(shù)據(jù)分析的常規(guī)手段。由于大數(shù)據(jù)的規(guī)模比較大，經(jīng)過數(shù)據(jù)清洗的有效數(shù)據(jù)通常符合統(tǒng)計規(guī)律，因此信度系數(shù)檢驗、關(guān)聯(lián)性分析、數(shù)據(jù)的離散度分析(方差、標準差)、聚類分析、主成分分析等被廣泛地應(yīng)用到大數(shù)據(jù)處理的過程中。目前，這些技術(shù)已經(jīng)被集成到多種計算機信息系統(tǒng)中，發(fā)揮著越來越重要的作用。

其次，除了傳統(tǒng)的數(shù)據(jù)分析技術(shù)之外，遺傳算法、神經(jīng)網(wǎng)絡(luò)、語義網(wǎng)絡(luò)、分布式數(shù)據(jù)庫管理等面向大數(shù)據(jù)的處理技術(shù)已經(jīng)成熟。

第三，專業(yè)的數(shù)據(jù)挖掘軟件、數(shù)據(jù)推送技術(shù)快速發(fā)展。應(yīng)大數(shù)據(jù)處理的要求，IBM公司、微軟公司、Oracle公司都在自己的大型DBMS中集成了數(shù)據(jù)挖掘技術(shù)，強化時間序列特點、支持數(shù)據(jù)挖掘技術(shù)的數(shù)據(jù)倉已經(jīng)成為主流數(shù)據(jù)庫系統(tǒng)的重要組件，為基于大數(shù)據(jù)的數(shù)據(jù)挖掘提供了強大的技術(shù)支撐。

三、對學生評教實施元評價的研究方案

1. 研究方案設(shè)計

本研究通過對海量評教數(shù)據(jù)開展實證分析，從數(shù)據(jù)的整體信度、再測信度、多來源數(shù)據(jù)的一致性、基于時間序列的一致性分析論證評教數(shù)據(jù)的客觀性，檢驗學生評教的有效性。另外，借助因素分析的方法，探求評教數(shù)據(jù)中隱藏的規(guī)律，為提升教學質(zhì)量并促進教師專業(yè)化發(fā)展服務(wù)。

根據(jù)主導(dǎo)思想，研究的聚焦點如圖1所示。

圖1 學生評教有效性研究的流程圖

2. 數(shù)據(jù)樣本的采集

由于本研究是一個基于海量數(shù)據(jù)的實證性研究，樣本的質(zhì)量和數(shù)量直接影響著研究結(jié)論。因此需要高度關(guān)注樣本數(shù)據(jù)的質(zhì)與量。

為保證數(shù)據(jù)的質(zhì)與量，課題組選用了兩所高等院校的學生評教數(shù)據(jù)。其中A校是位于北京的一所綜合性重點大學，共采集了該校自2007年下學期—2012年(11個學期)的全部學生評教數(shù)據(jù)，大約有110萬條記錄；B校是位于河南的一所高職院校，獲得了該校近4個學期的評教數(shù)據(jù)，大約有20萬多條記錄。

3.研究流程與主要技術(shù)手段

根據(jù)大數(shù)據(jù)處理的規(guī)范，本研究也按照數(shù)據(jù)抽取與集成(數(shù)據(jù)清洗)、數(shù)據(jù)分析和數(shù)據(jù)解釋三個階段設(shè)計研究流程。

(1)數(shù)據(jù)特點分析與數(shù)據(jù)抽取

從已獲得的樣本看，A校的數(shù)據(jù)比較全面，適合開展較詳細的數(shù)據(jù)分析，B校數(shù)據(jù)的規(guī)模較小，但B校數(shù)據(jù)能部分代表不同層次院校的評教情況，因此可作為對A校數(shù)據(jù)的有益補充。另外，上述數(shù)據(jù)全部是學生評教的原始數(shù)據(jù)，沒有經(jīng)過任何加工處理，能保證樣本的原始性和數(shù)據(jù)純度。也正是由于這一點，在正式開展數(shù)據(jù)挖掘前進行必要數(shù)據(jù)清洗與集成是必要的。

分析A校和B校的原始數(shù)據(jù)，發(fā)現(xiàn)其學生評教指標由21項構(gòu)成。在這些原始數(shù)據(jù)中，存在著部分填寫不完整的數(shù)據(jù)，還有部分僅開課1個學期或間斷性開課的教師的評教數(shù)據(jù)。由于不便于對這些數(shù)據(jù)進行基于時間序列的跟蹤，因此，應(yīng)該先對這些數(shù)據(jù)進行清洗，剔除大數(shù)據(jù)集中的垃圾數(shù)據(jù)和不便于分析的數(shù)據(jù)記錄。最后，按照“至少講授過5門次課程，至少具備5輪完整評教數(shù)據(jù)”的規(guī)則對原始數(shù)據(jù)進行抽取，針對A校，共獲得了針對817名教師的學生評教數(shù)據(jù)，針對B校則獲得了462名教師的有效評教數(shù)據(jù)。

(2)數(shù)據(jù)分析與挖掘過程

對清洗之后的大數(shù)據(jù)集，可采取的數(shù)據(jù)處理方法主要包括兩個階段：其一，先以克朗巴哈信度系數(shù)判斷評教指標體系的信度，接著通過針對每位教師多輪授課得分的相關(guān)性、學生評教數(shù)據(jù)與教學督導(dǎo)評教的相關(guān)性來判斷學生評教的有效性水平；其二，如果數(shù)據(jù)分析結(jié)論能夠驗證學生評教是有效的，則針對現(xiàn)有數(shù)據(jù)進行數(shù)據(jù)挖掘，通過聚類分析、關(guān)聯(lián)性分析探索影響教師教學得分的關(guān)鍵因素，從而為教師的職業(yè)化發(fā)展提供數(shù)據(jù)依據(jù)。

(3)數(shù)據(jù)解釋

對于數(shù)據(jù)分析結(jié)果，主要通過量化指標和圖表來呈現(xiàn)，盡可能用通俗、形象的方式呈現(xiàn)數(shù)據(jù)分析結(jié)論，盡量客觀地說明學生評教的有效性水平。

(4)關(guān)鍵技術(shù)手段

針對學生評教有效性的研究聚焦于兩個技術(shù)部分：數(shù)據(jù)分析和數(shù)據(jù)挖掘。

數(shù)據(jù)分析主要面向?qū)σ延袛?shù)據(jù)的分析，可以通過SPSS 18.0來完成。由于SPSS18.0對數(shù)據(jù)量的限制，需要在利用其開展數(shù)據(jù)分析前，借助SQL Server 2005的SQL語言對數(shù)據(jù)記錄實施必要的清洗、拼合和抽取。

數(shù)據(jù)挖掘則重在對現(xiàn)有數(shù)據(jù)和未來數(shù)據(jù)的處理，希望能夠與現(xiàn)有的學生評教系統(tǒng)相結(jié)合，能夠及時地對最新的學生評教數(shù)據(jù)進行挖掘，從中發(fā)現(xiàn)教育和教學規(guī)律。由于A校的學生評教系統(tǒng)基于SQL Server 2005數(shù)據(jù)庫系統(tǒng)開發(fā)，因此針對A校的數(shù)據(jù)挖掘主要借助于SQL Server 2005自帶的商業(yè)智能分析工具(BI)來完成。

四、基于大數(shù)據(jù)理念檢驗評教數(shù)據(jù)的有效性水平

對教師各輪教學的評教得分進行一致性分析，是衡量數(shù)據(jù)信度的重要手段。本研究通過對評教數(shù)據(jù)開展內(nèi)部一致性分析，進行再測副本的信度檢驗，衡量教師得分的一致性程度，從而檢驗評教數(shù)據(jù)的有效性水平。

1. 對評教數(shù)據(jù)內(nèi)部一致性的檢驗

信度分析主要用于對量表的內(nèi)在信度進行測量，通過初步分析已有數(shù)據(jù)的內(nèi)在信度，獲取信度系數(shù)，并以信度系數(shù)體現(xiàn)信度水平。在信度分析中，通常使用克朗巴哈α系數(shù)和折半信度系數(shù)等[14]反應(yīng)原始數(shù)據(jù)的信度水平。

分別按照學期對A、B兩校的評教數(shù)據(jù)進行一致性信度分析，可直接獲得其克朗巴哈(α系數(shù))。對A、B兩校2011年上半年的評教數(shù)據(jù)執(zhí)行內(nèi)部一致性分析，結(jié)果如表1所示。

表1 A、B兩校2011年評教數(shù)據(jù)的內(nèi)部一致性分析

由表1可知，A校參與處理的個案為817個，共有21個指標項。在計算過程中沒有需要被排除的個案，這些個案的可靠性系數(shù)α=0.999，顯示出極大的可靠性，說明A校2011年的評教數(shù)據(jù)具有極高的內(nèi)部一致性，反應(yīng)出A校的評教數(shù)據(jù)具有極好的信度。其F檢驗的概率值p=0.00，證明了各個子指標項都有自己的語義范圍，具有相對獨立性。

同理，對其他年度的評教數(shù)據(jù)進行分析，獲得如表1所示的表格11張(11個學期)。整理各個年度的克朗巴哈α系數(shù)，其結(jié)果證實，A校各年度的評教數(shù)據(jù)都具有較高的內(nèi)部一致性。對B校的分析結(jié)論與A校相似，α值都在0.85以上。

2. 對同質(zhì)教學班的多輪評教數(shù)據(jù)進行跟蹤分析

由于高校中的很多課程都由固定教師負責，他們會在不同年度重復(fù)地講授同一門課程，每輪課程由不同的學生實施評教。如果把特定教師對同一課程的多輪授課所組成的不同教學班稱為同質(zhì)教學班，那么，對同質(zhì)教學班來講，本輪評教數(shù)據(jù)就是前一輪評教數(shù)據(jù)的再測副本。通過對照多輪數(shù)據(jù)之間的相關(guān)性程度，分析其信度和效度水平，應(yīng)該能夠較客觀地反映出學生評教的有效性水平。

(1)對同質(zhì)教學班的多輪再測副本開展相關(guān)性檢驗

針對A校五個年度的評教數(shù)據(jù)，對同質(zhì)教學班分年度、按主講教師進行相關(guān)性分析，結(jié)果如表2所示。

表2 全體教師中同質(zhì)教學班不同年度評教數(shù)據(jù)的相關(guān)性分析

從表2可知，各年度同質(zhì)教學班評教數(shù)據(jù)的相關(guān)性檢驗概率都低于0.05，相關(guān)性系數(shù)都高于0.6，說明同質(zhì)教學班的多輪評教數(shù)據(jù)之間具有高度相關(guān)性、一致性。

分別對文理科教師的評教數(shù)據(jù)按照同質(zhì)教學班開展分析，發(fā)現(xiàn)各位教師在不同年度獲得的評教成績也有高度相關(guān)性，而且文科教師的年度相關(guān)性更強。

(2)對同質(zhì)教學班的評教結(jié)論開展基于時間序列的跟蹤分析

為了客觀地反應(yīng)同質(zhì)教學班評教結(jié)論的一致性水平，并預(yù)測評教數(shù)據(jù)的未來走向，筆者隨機選擇了10個院系的近200名教師，對他們5年的評教成績進行跟蹤并繪制了隨時間而變化的曲線。結(jié)果顯示：數(shù)據(jù)呈現(xiàn)出強烈的前后一致性，這也從側(cè)面論證了學生評教的有效性。囿于版面限制，舉例呈現(xiàn)承擔同一門課程的6名教師在連續(xù)5年中所獲取的學生評教結(jié)論(教師綜合表現(xiàn)成績)，如圖2所示。

從圖2可以看出，只有曲線C呈現(xiàn)了較大的變化，表示教師C在這5年中評教成績逐年遞增，進步較快。而其他幾位教師的曲線則變化不大，教師D則始終位于底部，表示在他所主講的課程中，學生對他評教成績始終很低，具有較強的一致性規(guī)律。

圖2 六名教師5年評教數(shù)據(jù)的變化曲線

3. 與督導(dǎo)評價的一致性分析

教學督導(dǎo)評價是高校教學質(zhì)量控制的重要組成，其評價結(jié)論深受教務(wù)部門和教師的重視。檢查A校督導(dǎo)評價狀況和學生評教是否一致，無疑對檢驗學生評教的有效性水平有重要意義。為此，根據(jù)已經(jīng)獲取的督導(dǎo)評教數(shù)據(jù)，筆者提取了部分教師在最近4年獲得的學生評教成績，對數(shù)據(jù)之間的關(guān)系進行了相關(guān)性檢驗和對比。檢驗結(jié)論如表3所示。

表3 督導(dǎo)評價與學生評教數(shù)據(jù)的相關(guān)性分析

從表3可知，督導(dǎo)評價結(jié)論與學生評教成績具有高度相關(guān)性(多數(shù)評價的檢驗概率在0.005附近，遠小于5%)，而且相關(guān)性系數(shù)全部在0.65以上，說明學生評教和督導(dǎo)評價具有較好的一致性。

對比督導(dǎo)評價結(jié)論和學生評教成績可知：盡管督導(dǎo)評價與學生評教具有一致性，但若具體到某個教學班，二者還是有一定差異的。督導(dǎo)的評價結(jié)論比較溫和，學生的評教結(jié)論則更加尖銳。

4.對學生評教有效性的研究結(jié)論

本研究通過對兩所院校的評教數(shù)據(jù)開展內(nèi)部一致性分析，發(fā)現(xiàn)評教數(shù)據(jù)具有較高的內(nèi)部信度(α值均在0.85以上)，證明了評教數(shù)據(jù)具有較好的內(nèi)部一致性；通過跟蹤分析同質(zhì)教學班的多輪教學，證明同質(zhì)教學班在不同學期的評教成績存在顯著性相關(guān)，督導(dǎo)的評價也與學生評教結(jié)論高度相關(guān)。因此，從總體上看，A、B兩校的學生評教數(shù)據(jù)是客觀有效的。

研究發(fā)現(xiàn)：學生評教結(jié)果是有效且有偏的。即學生的評教分的大部分可以由教師的能力特質(zhì)來解釋，評教分能較好地反映一個教師的教學能力，是評價教師教學能力的一個比較有效的指標。在肯定學生評教有效性的同時，必須清醒地認識到：確實有些客觀因素會影響到評估分，而且這些影響是比較穩(wěn)定的。當學生人數(shù)低于20人時，學生評教的結(jié)果就可能出現(xiàn)較大的偏差?？傊瑢W生的評價結(jié)果是可信的和穩(wěn)定的，學生對教師的評分和他們的學習成績是相關(guān)的，而且這種評價甚至比同行評價更少受到其他因素的干擾。

五、學生評教所反應(yīng)的規(guī)律及其對教師成長的啟示

基于“評教數(shù)據(jù)是客觀有效的”這一結(jié)論，通過對海量評教數(shù)據(jù)執(zhí)行主成分分析，尋找影響評教成績的關(guān)鍵原因，為促進教師成長提供指導(dǎo)。

1.影響評教成績的關(guān)鍵因素分析

(1)針對評教數(shù)據(jù)的主成分分析

為了解釋評教指標中各子項的作用水平，筆者對評教數(shù)據(jù)分學期執(zhí)行了主成分分析。針對2009年的分析結(jié)論如表4所示。綜合表4的數(shù)據(jù)，獲得了3個主成分，依次是：教學方法的多樣性、教師的師德表現(xiàn)、師生溝通與交流情況。

表4 針對A校2009年評教數(shù)據(jù)的因子分析解釋的總方差

(2)導(dǎo)致部分教師獲得差評的原因分析

對差評教師的自評數(shù)據(jù)和學生評價進行跟蹤和對比，筆者認為導(dǎo)致部分教師獲得差評的原因主要包括以下幾點。

首先，超過40%的差評教師獲得了“教學方法單一，只會單調(diào)地播放PPT”等定性評價，說明不能靈活地運用教學方法，課堂缺乏激情是導(dǎo)致教師獲得差評的重要因素。

其次，在教學活動中，教師能否融洽地與學生相處、能否用清晰簡潔的語言表達個人思想，有效地組織教學，是影響評教成績的重要因素。教師的個人魅力與溝通能力對學生的發(fā)展具有重要影響。

再次，部分教師因知識儲備不充分，開課準備不足，導(dǎo)致授課過程不流利，甚至有時無力應(yīng)對疑難問題，直接導(dǎo)致差評。另外，部分教師因科研項目多、外出會議多，導(dǎo)致停課、調(diào)課較多，甚至有遲到、早退現(xiàn)象，也會導(dǎo)致差評。

對比定性評價數(shù)據(jù)和主成份分析結(jié)論，發(fā)現(xiàn)二者高度一致。學生們對教學的看法通常是整體性的，教師在“教法、師德、溝通”任何一方面的缺失，都會引起整體評價的降低。

2.對提升教師職業(yè)能力的建議

從學生評教數(shù)據(jù)的視角看，導(dǎo)致部分教師獲得差評即職業(yè)能力不強的三個維度是：教學方法、師德和教師的溝通能力。因此，要提升差評教師的職業(yè)能力，也應(yīng)該從這三個方面著手。

首先，學校應(yīng)該加強對教學的投入，加強教師的“師德”教育，鼓勵教師把更多的時間和精力投入到教學活動中。這就需要學校在教師考核、教學獎勵等方面形成一系列的規(guī)章制度，把“鼓勵”和“懲戒”有機地結(jié)合起來。

其次，要加強對教師教學能力的培訓(xùn)，特別要強化教師實現(xiàn)“信息技術(shù)與課程整合”的能力，使一線教師掌握更多的教學策略；與此同時，鼓勵教師在教學過程中靈活地運用各種教學策略，并能在教學活動中綜合運用信息技術(shù)的手段解決具體的教學問題。

第三，對于部分溝通能力較差的教師，要幫助教師分析原因，要求他們盡快改變自己的表達方式，改變與學生溝通的語速、語調(diào)，并從學生心理健康、教師心理健康、溝通技巧訓(xùn)練等維度為教師的成長提供指導(dǎo)。

六、結(jié)語

依據(jù)大數(shù)據(jù)的數(shù)據(jù)規(guī)范化方法，本研究對近200萬條、5個學期的學生評教數(shù)據(jù)進行清理，并按照信度檢驗、聚類分析和歸因分析等理論，分析了學生評教數(shù)據(jù)的效度和影響因素。從數(shù)據(jù)的分析結(jié)果看，絕大多數(shù)的學生評教數(shù)據(jù)是客觀的，能夠比較真實地反應(yīng)教師的教學狀況。另外，導(dǎo)致部分的教師獲得差評的原因是多方面，多層次的，但對教學的投入不足和實踐性知識的欠缺是主因。因此，為了提升教師的職業(yè)能力，應(yīng)該加強對教師的教育，通過規(guī)章制度和一定的激勵措施，促進教師不斷地內(nèi)省和反思自己的教學行為，加強在教學方面的投入，提升自己的交流溝通能力，盡快成長為優(yōu)秀教師。

[1] 王瑛.關(guān)于高?！皩W生評教”中若干問題的探討[J].中國大學教學,2006,(7):46-47.

[2] 楊麗萍,張彥通.是什么影響了高校學生評教的信度和效度[J].中國大學教學,2009,(3):72-74.

[3] 馬秀麟,衷克定,張倩.學生評教偏差分析與控制模型研究[J].現(xiàn)代教育技術(shù),2010,(2)：40-44.

[4] 于長虹,王運武.大數(shù)據(jù)背景下數(shù)字校園建設(shè)的目標、內(nèi)容與策略[J].中國電化教育,2013,(10):30-35.

[5] 嚴霄鳳,張德馨.大數(shù)據(jù)研究[J].計算機技術(shù)與發(fā)展,2013,(4):168-171.

[6] 呂竹筠, 張興旺, 李晨暉等.信息資源管理與云服務(wù)融合的內(nèi)涵及共性技術(shù)體系研究[J] .情報理論與實踐, 2012, 35( 9) : 26-32.

[7] 吳勁松.高校“學生評教”利弊分析[J].高教研究,2009,(3):13-15.

[8] 孫彩云,翟建軍.論Kappa統(tǒng)計量評價指導(dǎo)小組、同行專家及學生評教的一致性[J].黑龍江高教研究,2009,(3):41-43.

[9] 《中國電子科學研究院學報》編輯部.大數(shù)據(jù)時代[J].中國電子科學研究院學報,2013,(1):27-31.

[10] Chen Yu-Hsun，Chen Gen －Huey，Wu E H. Multiple Trees with Network Coding for Efficient and Reliable Multicast in MANETs[A].2010 39th International Conference on Parallel Processing Workshops[C].San Diego, CA:IEEE Computer Society,2010.581－585.

[11][12][13] 孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J].計算機技術(shù)與發(fā)展，2013,(1)：146-149.

[14] 薛薇.SPSS統(tǒng)計分析方法及應(yīng)用[M].北京：電子工業(yè)出版社，2009.88-92.

馬秀麟：博士，副教授，碩士生導(dǎo)師，研究方向為信息技術(shù)教育、教育信息化(maxl@bnu.edu.cn)。

衷克定：博士，教授，博士生導(dǎo)師，研究方向為計算機教育應(yīng)用、教育管理與決策。

劉立超：在讀碩士，研究方向為信息技術(shù)教育。

2014年6月10日

責任編輯：馬小強

Research of the Validity about SETQ by Big Data Analysis

Ma Xiulin, Zhong Keding, Liu Lichao
(School of Education Technology, Beijing Normal university, Beijing 100875)

The Research demonstrates the validity of the data about the Students Evaluation of the Teaching Quality(SETQ)through analysis the relativity and differences on the 11 terms SETQ Data which come from these colleges. And then the research quests for the main factor of influence about the evaluating indicator of SETQ by the instruction and courseware, and decreases the dimension of the evaluating indicator by Factor Analysis Method so the simpler evaluating indicator can be get. Last, the research looks for how to use the SETQ Data in the Teacher’s Professionalization.

the Students Evaluation of the Teaching Quality (SETQ);Big Data; Data Mining

G434

A

1006—9860(2014)10—0078—07