基于大數(shù)據(jù)的教學(xué)督導(dǎo)信息采集與分析系統(tǒng)設(shè)計研究

李前進 ，向凱全 ，孟憲國 ，張 英

（1.陸軍工程大學(xué)石家莊校區(qū) 裝備模擬訓(xùn)練中心，河北 石家莊 050003；2.陸軍工程大學(xué)石家莊校區(qū) 教學(xué)考評中心，河北 石家莊050003）

一、引言

教學(xué)督導(dǎo)目前己經(jīng)成為高校內(nèi)部教學(xué)質(zhì)量監(jiān)控與保障的重要手段。教學(xué)督導(dǎo)信息主要以學(xué)生評價和專家評教信息為主，目前常用的信息采集方式為期末由學(xué)生和專家填寫評價問卷的形式來完成。這種方式存在著一些不可避免的缺點。

1.信息的客觀性差

學(xué)生每學(xué)期都要上十幾門課，到期末集中評教時，學(xué)生和專家會面對如此之多的評教問卷，每份問卷又會包含很多道既有客觀又有主觀的題目，如此操作很難讓學(xué)生做到對每一個指標(biāo)體系的內(nèi)涵都認(rèn)真把握和研讀。當(dāng)學(xué)生評教所需要的投入遠遠超出學(xué)生內(nèi)在責(zé)任感的時候，評教的客觀性、真實性和科學(xué)性就很難保障。

2.信息的完整性少

教學(xué)是一個過程性行為，評價的依據(jù)不僅是結(jié)果更是一個過程。在期末進行評教時，教學(xué)過程的留存，課堂影像的回放，在學(xué)生的記憶中已經(jīng)所剩無幾，這樣就違背了過程性評價的原則，不能基于過程進行全面、完整的評價。

3.信息的利用率低

學(xué)?；ㄙM大量人力、物力用于教學(xué)督導(dǎo)，積累了大量教學(xué)督導(dǎo)數(shù)據(jù)，但是很多時候僅僅給出一個教學(xué)質(zhì)量的分?jǐn)?shù)，很少有學(xué)校把這個結(jié)果進行分析以幫助老師改進教學(xué)。從教育行為學(xué)的角度說，“督導(dǎo)”這個詞其實是兩方面的行為，既包含“督”又包含“導(dǎo)”，“督”只是手段，而“導(dǎo)”才是促進教師教學(xué)提升最重要的外部因素。

利用信息技術(shù)采集有效的教學(xué)評價信息，進行詳盡分析，用于提高教師教學(xué)水平，成為教學(xué)督導(dǎo)有效開展的重要手段。教學(xué)督導(dǎo)信息采集與分析系統(tǒng)建立在校園網(wǎng)基礎(chǔ)之上，能廣泛、全面地搜集來自教師、學(xué)生、督導(dǎo)專家以及其他用戶的建議和意見。利用成熟的大數(shù)據(jù)算法高效處理數(shù)據(jù)，既能使得督導(dǎo)管理人員從重復(fù)性的統(tǒng)計工作中解脫出來，提高教學(xué)督導(dǎo)的工作效率，也能給教師教學(xué)質(zhì)量的提高提供重要參考依據(jù)。

二、教學(xué)督導(dǎo)信息采集與分析系統(tǒng)需求分析

教學(xué)督導(dǎo)信息采集與分析系統(tǒng)的主要功能需求可概括為以下方面：教學(xué)基本數(shù)據(jù)維護、督導(dǎo)專家管理、評價指標(biāo)管理、專家評教管理、學(xué)生評教管理、督導(dǎo)數(shù)據(jù)分析、督導(dǎo)結(jié)果反饋、系統(tǒng)權(quán)限管理以及頁面設(shè)計。

1.教學(xué)基本數(shù)據(jù)維護

基本數(shù)據(jù)是系統(tǒng)運行的基礎(chǔ)，它主要包括教學(xué)督導(dǎo)必須的教師個人信息、學(xué)生選課信息、專家個人信息等。這些信息可通過個人完善或者利用以往積累的信息文件導(dǎo)入的方式，導(dǎo)入系統(tǒng)，并可根據(jù)教師、專家情況隨時進行更改。

2.專家督導(dǎo)管理

校級督導(dǎo)專家一般是由老教授、老專家和一些教學(xué)能力突出的青年教師組成。其個人信息一般都包含在教學(xué)基本數(shù)據(jù)里。督導(dǎo)管理人員可在系統(tǒng)提供的基礎(chǔ)數(shù)據(jù)里，選擇相應(yīng)的人員組成教學(xué)督導(dǎo)組并指定組長。對一些離退休的專家教授若要選擇為督導(dǎo)專家，系統(tǒng)需提供專家信息添加或批量導(dǎo)入功能。

3.評價指標(biāo)管理

確定了本學(xué)期的教學(xué)督導(dǎo)任務(wù)之后，在督導(dǎo)任務(wù)正式開始前，需要對相應(yīng)的評價指標(biāo)進行更新，這項工作影響著教學(xué)督導(dǎo)工作實際評估的信度和效度，督導(dǎo)管理人員應(yīng)及時征求評估中心和督導(dǎo)專家的意見，更新系統(tǒng)中相應(yīng)的評價指標(biāo)體系。因此系統(tǒng)必須提供指標(biāo)編輯功能。

4.專家評教管理

教學(xué)督導(dǎo)專家一般采用常規(guī)督導(dǎo)、專項督導(dǎo)、隨機督導(dǎo)、跟蹤督導(dǎo)相結(jié)合的工作方式來開展學(xué)期的督導(dǎo)工作。深入課堂進行聽課并采集課堂第一手資料是教學(xué)督導(dǎo)專家最基本的常規(guī)督導(dǎo)工作任務(wù)，針對一些臨時性的教學(xué)督導(dǎo)任務(wù)，需安排督導(dǎo)專家開展專項教學(xué)督導(dǎo)工作。因此系統(tǒng)應(yīng)該能夠隨時添加或者修改督導(dǎo)工作計劃，并及時通知教學(xué)督導(dǎo)專家查看相關(guān)工作計劃。

除了對教學(xué)督導(dǎo)工作計劃進行安排之外，相關(guān)部門領(lǐng)導(dǎo)也會對教學(xué)督導(dǎo)專家的工作狀態(tài)進行監(jiān)督和檢查，系統(tǒng)應(yīng)該能記錄并統(tǒng)計督導(dǎo)專家的督導(dǎo)記錄。

5.學(xué)生評教管理

教學(xué)是一個過程化的過程，靠一次評教很難評價整個教學(xué)過程，系統(tǒng)應(yīng)該能提供隨機評教和最終評教兩種方式。在教學(xué)過程中學(xué)生可以隨時對教師的授課進行評價，教師也可以通過電子郵件邀請學(xué)生進行評教，形成一個過程性評教。課程結(jié)束時，學(xué)生應(yīng)該按照自己的隨機評教給出最終的評教結(jié)果，而且此結(jié)果應(yīng)該立足于隨機評教，不能和隨機評教相沖突。這樣既能形成過程性評價，又避免了學(xué)生不負(fù)責(zé)任隨意評教。

6.督導(dǎo)數(shù)據(jù)分析

督導(dǎo)工作開展的各個階段會收集到大量信息，對這些原始的數(shù)據(jù)進行數(shù)據(jù)分析，可以為后續(xù)教學(xué)工作的開展提供判斷依據(jù)。數(shù)據(jù)分析不能僅僅是按照加權(quán)公式計算出一個分?jǐn)?shù)或者結(jié)果，應(yīng)該給出制約教師授課質(zhì)量的影響因素有哪些，具體的就是應(yīng)該計算各教學(xué)指標(biāo)優(yōu)良比率，通過歷年數(shù)據(jù)的對比，來分析各指標(biāo)對教師授課的影響因子。

7.督導(dǎo)結(jié)果反饋

教學(xué)督導(dǎo)工作的每一個階段、每一項任務(wù)最終目的都是為了提升教師課堂教學(xué)效果、提升學(xué)生學(xué)習(xí)動力、提高學(xué)校的教學(xué)質(zhì)量。教學(xué)督導(dǎo)信息只有得到迅速的反饋，才能有效地幫助教師提高教學(xué)質(zhì)量，由于教學(xué)督導(dǎo)結(jié)果涉及個人隱私，不宜公開發(fā)布。督導(dǎo)結(jié)果的發(fā)布對象一般為教師所在單位領(lǐng)導(dǎo)和教師本人。因此系統(tǒng)應(yīng)提供數(shù)據(jù)文件導(dǎo)出功能，按照單位把教學(xué)督導(dǎo)結(jié)果導(dǎo)出為Excel文件，然后利用電子郵件或其它手段下發(fā)到所在單位和個人。

8.權(quán)限管理

教學(xué)督導(dǎo)信息涉及眾多數(shù)據(jù)，不同的用戶角色完成任務(wù)所需要的數(shù)據(jù)是不一樣的，因此系統(tǒng)應(yīng)該按照用戶角色賦予不同的權(quán)限。系統(tǒng)設(shè)計了3種不同的角色：督導(dǎo)管理人員、督導(dǎo)專家、參與評教的學(xué)生。督導(dǎo)管理人員負(fù)責(zé)整個督導(dǎo)教學(xué)活動，需要對全系統(tǒng)的數(shù)據(jù)進行及時監(jiān)控，因此它具有最高權(quán)限，應(yīng)該能訪問所有數(shù)據(jù)。督導(dǎo)專家負(fù)責(zé)聽查課和其它督導(dǎo)活動，他應(yīng)該能訪問課表信息以及調(diào)課信息，以決定如何開展自己的督導(dǎo)活動。學(xué)生只負(fù)責(zé)對本人授課教師的評價，因此只能訪問當(dāng)前授課教師的某些數(shù)據(jù)。

9.頁面設(shè)計

教學(xué)督導(dǎo)信息采集與分析系統(tǒng)的用戶群中，除了學(xué)生、督導(dǎo)管理人員外，需要特別關(guān)注的是教學(xué)督導(dǎo)專家，督導(dǎo)專家一般是由老教授、老專家來擔(dān)任，其中有的督導(dǎo)專家計算機操作水平不高，所以系統(tǒng)的操作界面應(yīng)該盡量簡潔，一目了然，操作盡可能簡單易行，界面統(tǒng)一。

三、教學(xué)督導(dǎo)信息采集與分析系統(tǒng)的功能實現(xiàn)

系統(tǒng)的用戶角色分為教學(xué)管理人員、督導(dǎo)專家、學(xué)生，業(yè)務(wù)上分為教學(xué)信息的管理、評教信息的采集、教學(xué)數(shù)據(jù)的分析，此系統(tǒng)涵蓋了教學(xué)督導(dǎo)過程的各個方面。

1.教學(xué)管理人員功能設(shè)計

教學(xué)管理人員主要負(fù)責(zé)教學(xué)基本信息的維護和評教信息的采集與分析等職責(zé)，其具體功能實現(xiàn)如下：

（1）教員信息管理

教員信息管理主要是對教師基本信息進行管理和完善，包括教師姓名、單位、職稱、職工號等信息。本系統(tǒng)提供了兩種添加教師信息的方式：批量導(dǎo)入可以把符合格式的Excel文件數(shù)據(jù)一次性導(dǎo)入系統(tǒng)；逐個添加則需要在頁面表單上逐個完善教師個人信息。導(dǎo)入個人信息后，系統(tǒng)提供了按照組織機構(gòu)進行教師信息查詢的功能，并可對教師信息進行多次修改。

（2）教學(xué)信息管理

教學(xué)信息主要是指學(xué)生選課表信息的管理，本系統(tǒng)可以把整個課表信息的Excel文件直接導(dǎo)入到系統(tǒng)中，管理人員和聽課專家可以按照組織機構(gòu)查詢相應(yīng)教師的課表信息，方便聽查課和評教。

（3）專家信息管理

可以在導(dǎo)入的教師信息中，選擇相應(yīng)的教師為督導(dǎo)專家，也可以把督導(dǎo)專家表批量導(dǎo)入。專家選擇完畢后，需要對專家進行分組，并指定組長。

（4）教學(xué)督導(dǎo)管理

教學(xué)督導(dǎo)管理包括評教指標(biāo)管理、評教進度管理、評估結(jié)果管理、評教數(shù)據(jù)分析等功能。

評教指標(biāo)管理指定評教指標(biāo)并賦予相應(yīng)的權(quán)重，方便專家和學(xué)生對教師授課進行評教。

評價進度管理實時計算各班次學(xué)生評價完成進度，顯示未完成評價的學(xué)生，并可導(dǎo)出為Excel文件，方便教學(xué)管理人員及時督促學(xué)生進行評教。

評估結(jié)果管理：對學(xué)生和專家的評教數(shù)據(jù)，按照加權(quán)公式，計算各指標(biāo)的優(yōu)秀率和最終評教結(jié)果，并導(dǎo)出為Excel文件，下發(fā)給對應(yīng)的教師。

評教數(shù)據(jù)分析：對歷年形成的評教數(shù)據(jù)，利用數(shù)據(jù)挖掘算法進行深入研究，統(tǒng)計教師各教學(xué)指標(biāo)的發(fā)展趨勢，分析歷年教學(xué)結(jié)果影響因素，從大量數(shù)據(jù)中，找出最大影響因子，為教師改進授課質(zhì)量提供決策依據(jù)。

2.督導(dǎo)專家功能設(shè)計

督導(dǎo)專家主要負(fù)責(zé)聽查課并給教師形成指導(dǎo)性意見，同時對教師的教學(xué)過程進行評教，因此其具有的功能主要如下：

（1）課表查詢

督導(dǎo)專家可以通過網(wǎng)絡(luò)隨時查詢所有教員的授課信息，包括授課時間、授課班次、授課地點等，方便自己進行聽查課。

（2）督導(dǎo)評教

督導(dǎo)專家根據(jù)自己聽查課情況，利用聯(lián)網(wǎng)計算機隨時隨地填寫評教表單，并可根據(jù)多次聽課情況，對已填寫的信息進行修改，完成對教師授課過程的評教。

3.學(xué)生評價功能設(shè)計

學(xué)生是授課的對象，也是評教的主體，他們對教師的授課質(zhì)量有著更為直觀的感受，他們對教師的評價很難通過一個分?jǐn)?shù)來體現(xiàn)，在此我們設(shè)計了教學(xué)評價模型，并據(jù)此模型實現(xiàn)了學(xué)生評教功能，如下：

（1）教師排序

很多時候，學(xué)生的對教師的打分往往很接近或者偏差很大，分?jǐn)?shù)很難體現(xiàn)學(xué)生對教師的評價，但是在學(xué)生的心目中，必然對給自己授課的教師有一個排名，這個排名很好的體現(xiàn)了學(xué)生對教師的評價，在系統(tǒng)中學(xué)生不再直接打分，而是先對授課教師進行排名，且不得出現(xiàn)并列排名。最后利用成績換算模型把排名換算成對應(yīng)的教學(xué)評價成績。

據(jù)往年數(shù)據(jù)分析，如采用百分制，評價成績的最高值一般分布在95分左右，最低值分布在75分左右，因此給出換算模型如下。

其中S為學(xué)生對教師的評價得分；P為學(xué)員對教師的排名；Z為某教學(xué)班總的教師授課人數(shù)；A為所有學(xué)生對此教師評價成績的平均值，即本次教學(xué)評價的最終得分。

（2）指標(biāo)評教

每個教師都有自己鮮明的授課特點，其主要教學(xué)指標(biāo)有弱有強，為了對教師的授課質(zhì)量提高給出建議決策，學(xué)生應(yīng)該對教師的授課指標(biāo)給出評價。指標(biāo)的評價分為優(yōu)秀、良好、合格、不合格四類，且教師授課總質(zhì)量為“優(yōu)”以下的話，其分指標(biāo)不能都為“優(yōu)”。

（3）數(shù)據(jù)提交

在教師授課過程中，學(xué)生可以隨時修改自己對此教師的評教情況，當(dāng)授課完畢后，結(jié)合多次評教記錄給出自己的最終評教。綜合排名得分和指標(biāo)評價等各方面情況，得出最終評教結(jié)果。

四、系統(tǒng)應(yīng)用分析

在保證實用性的基礎(chǔ)上，筆者開發(fā)了一套B/S模式的督導(dǎo)信息采集與分析系統(tǒng)，開發(fā)語言為Java EE，采用流行的“Spring+Structs+Hibernate”輕量級框架。數(shù)據(jù)庫采用的是SQL Server，應(yīng)用服務(wù)器采用的是Tomcat。

2018年春季學(xué)期，教學(xué)督導(dǎo)信息采集與分析系統(tǒng)在本校進行了初次試用，對本學(xué)期312名承擔(dān)本科授課任務(wù)的教師進行評價，采用期末由學(xué)生統(tǒng)一打分的方式。利用期末考試前集中進行學(xué)生評價和專家評價，在不到兩天的時間內(nèi)就完成了信息采集，并按照打分構(gòu)成迅速統(tǒng)計出了每個教師的評價成績，相較以往提高了教學(xué)督導(dǎo)的工作效率。

評價成績構(gòu)成包括10個分指標(biāo)、一個總體評價指標(biāo)與總體得分，指標(biāo)評價采用優(yōu)秀、良好、合格、不合格四階制，總體得分則采用百分制。規(guī)定10個分指標(biāo)都為優(yōu)秀，總體評價指標(biāo)才能為優(yōu)秀，總體指標(biāo)為優(yōu)秀對應(yīng)的總體得分為90-95；有一個分指標(biāo)為不合格，則總體指標(biāo)不能為良好，良好對應(yīng)的總體得分為80-90；合格對應(yīng)的總體得分為70-80，不合格則為70以下。對打分?jǐn)?shù)據(jù)的分析見表1。

表1 2018年春季學(xué)期教師授課質(zhì)量督導(dǎo)數(shù)據(jù)分析

由此可見，采用單純的期末統(tǒng)一打分方式，大部分人的教學(xué)評價都為優(yōu)秀，其分?jǐn)?shù)差距難以拉開，在1分多的差距內(nèi)往往出現(xiàn)幾十人的情況，偶然性因素影響較大，難以準(zhǔn)確反映教師的授課質(zhì)量情況。

有鑒于此，筆者迅速對系統(tǒng)的評價算法做了調(diào)整，取消百分制，采用“隨機評價+期末評價”的方式。隨機評價由學(xué)生在教師授課期間隨時進行評價，且只對教師授課的10個分指標(biāo)進行評價，不進行打分，隨機評價可以作為學(xué)生期末評價時的參考，并且教師可以隨時查詢此評價，以幫助其提高授課質(zhì)量。

期末評價則在期末考試前進行，先由學(xué)生和專家參考平時評價對授課教師進行排序，且排序時不能出現(xiàn)并列排序，然后對10個分指標(biāo)和總體指標(biāo)進行評價，再綜合排名和總體評價指標(biāo)進行分?jǐn)?shù)換算，整個評價過程由于以排名代替打分，教師授課質(zhì)量評價更為客觀合理。并于2018年秋季學(xué)期進行了再次試用，參與評價的教師共計317人，經(jīng)換算后對打分?jǐn)?shù)據(jù)的分析見表2。

表2 2018年秋季學(xué)期教師授課質(zhì)量督導(dǎo)數(shù)據(jù)分析

通過對數(shù)據(jù)進行分析可見教師之間的分值進一步拉開，其分布更為接近正態(tài)分布，在不損失教學(xué)評價效率的情況下，采集的數(shù)據(jù)更為客觀，對教師提高教學(xué)質(zhì)量幫助更大。

五、結(jié)束語

教學(xué)督導(dǎo)要想發(fā)揮預(yù)料中的作用，信息采集的及時性和數(shù)據(jù)的客觀性是基本前提，對數(shù)據(jù)的有效分析和利用是重要手段。本文在教學(xué)督導(dǎo)工作中引入信息技術(shù)和大數(shù)據(jù)技術(shù)，開發(fā)了教學(xué)督導(dǎo)信息采集與分析系統(tǒng)，教學(xué)督導(dǎo)信息采集與分析系統(tǒng)不僅提高了教學(xué)督導(dǎo)效率，更重要的是能利用大數(shù)據(jù)分析工具，及時發(fā)現(xiàn)督導(dǎo)工作中存在的不足，及時修正評價體系，保證了“督”的公正性，同時采用的隨機評價方式可以對教師授課質(zhì)量結(jié)果給予及時反饋，并能從歷年數(shù)據(jù)出發(fā)，分析制約教師授課質(zhì)量提高的主要指標(biāo)因素，對教師提高授課質(zhì)量給予決策支持，保證了“導(dǎo)”效用的發(fā)揮。通過在本校近兩個學(xué)期的運行，該系統(tǒng)很好地支撐了本校的教學(xué)督導(dǎo)工作，可靠性和實用性也得到了驗證。