“數(shù)據(jù)挖掘在高職教學質(zhì)量評價體系構(gòu)建中的研究與應用”成果報告

近年來大多數(shù)職業(yè)院?；窘⒘私虒W質(zhì)量評價體系，但缺乏系統(tǒng)性統(tǒng)計分析，更缺乏對數(shù)據(jù)庫中的大量信息進行挖掘和深層次的利用。該課題通過實地調(diào)查走訪國內(nèi)部分高職院校，了解其教育教學情況和質(zhì)量管理現(xiàn)狀，走訪與其合作的相關企業(yè)，建立數(shù)據(jù)庫，運用多算法數(shù)據(jù)挖掘技術，進行多層次、多角度的分析，探索出一套有利用價值的高職教學質(zhì)量標準，并設計開發(fā)一套符合學院實際需求的實現(xiàn)系統(tǒng)維護、用戶管理、基礎信息管理、評價管理等功能的管理系統(tǒng)。

由山西藥科職業(yè)學院賈文雅主持完成的全國教育科學“十三五”規(guī)劃教育部青年課題“數(shù)據(jù)挖掘在高職教學質(zhì)量評價體系構(gòu)建中的研究與應用”(課題批準號:ЕСА160412)，日前通過了全國教育科學規(guī)劃領導小組辦公室的結(jié)題鑒定，現(xiàn)將成果報告如下。

一、內(nèi)容與方法

（一）研究內(nèi)容

通過文獻檢索和實地調(diào)研，課題組發(fā)現(xiàn)近年來大多數(shù)職業(yè)院?；窘⒘私虒W質(zhì)量評價體系，且具備了檢索查詢等初級功能，但缺乏系統(tǒng)性統(tǒng)計分析，更缺乏對數(shù)據(jù)庫中的大量信息進行挖掘和深層次的利用。如何科學地從大量數(shù)據(jù)中挖掘有利于教學質(zhì)量評價的信息？如何對數(shù)據(jù)進行關聯(lián)分析？如何將分析結(jié)果反饋于教學，促進教學質(zhì)量的提高？都是值得思考的問題。因此，課題組多次實地調(diào)查走訪國內(nèi)部分高職院校，了解其教育教學情況和質(zhì)量管理現(xiàn)狀，走訪與其合作的相關企業(yè)，調(diào)研過程中采集了大量的數(shù)據(jù)（主要包括專業(yè)質(zhì)量、理論實踐教學質(zhì)量、班級整體教學過程質(zhì)量、學校整體教學質(zhì)量的評價、企業(yè)對實習生的考核評價、畢業(yè)生對學院的評價）。將所采集到的數(shù)據(jù)建立數(shù)據(jù)庫，運用多算法數(shù)據(jù)挖掘技術，進行多層次、多角度的分析，探索出一套有利用價值的高職教學質(zhì)量標準，并設計開發(fā)一套符合學院實際需求的管理系統(tǒng)，該系統(tǒng)將實現(xiàn)系統(tǒng)維護、用戶管理、基礎信息管理、評價管理等功能。

1.將數(shù)據(jù)挖掘技術順利遷移、運用到教學質(zhì)量評價體系的構(gòu)建中

采用調(diào)查問卷的方式，一是從培養(yǎng)目標、生源質(zhì)量、“雙師型”師資隊伍、課程體系、教學模式、教學方法、實踐教學、教學管理等共性的影響因子展開高職院校教學質(zhì)量現(xiàn)狀的調(diào)查研究；二是針對目前高職校企合作過程中存在的學校和企業(yè)一頭熱一頭冷的現(xiàn)象，以醫(yī)藥類企業(yè)為例，對企業(yè)參與職業(yè)教育的現(xiàn)狀進行調(diào)查。找出影響高職教學質(zhì)量發(fā)展瓶頸的主要原因，為教學質(zhì)量評價體系的構(gòu)建奠定基礎。主要做法如下。

第一，數(shù)據(jù)準備。實地調(diào)查走訪國內(nèi)部分高職院校，了解其教育教學情況和質(zhì)量管理現(xiàn)狀，走訪與其合作的相關企業(yè)，獲得大量數(shù)據(jù)，建立對專業(yè)設置評價、理論及實踐教學質(zhì)量評價、班級整體教學過程質(zhì)量評價、學校整體教學質(zhì)量的評價、企業(yè)對實習生的考核評價等，然后從相應的源數(shù)據(jù)中提取相關數(shù)據(jù)，并對數(shù)據(jù)進行集成，將多個數(shù)據(jù)源中提取的數(shù)據(jù)存放在統(tǒng)一的數(shù)據(jù)倉庫中。

第二，數(shù)據(jù)選擇。數(shù)據(jù)挖掘中的有些數(shù)據(jù)對挖掘任務是沒有意義的，而且多余的數(shù)據(jù)還可能給數(shù)據(jù)挖掘有負面影響。針對該課題，數(shù)據(jù)挖掘人員在教育領域?qū)＜业南ば闹笇?，從?jīng)過數(shù)據(jù)集成的數(shù)據(jù)倉庫中選擇出與教學質(zhì)量評價體系相關的數(shù)據(jù)集合，排除無關數(shù)據(jù)，選擇有用的數(shù)據(jù)信息。比如對專業(yè)質(zhì)量的數(shù)據(jù)評價主要選擇專業(yè)設置和專業(yè)培養(yǎng)目標、課程體系和課程結(jié)構(gòu)、科目課程、教學環(huán)節(jié)、職業(yè)關鍵能力與素質(zhì)培養(yǎng)、教學環(huán)境、產(chǎn)學研合作、師資隊伍、學生素質(zhì)、畢業(yè)生就業(yè)等十個方面選擇數(shù)據(jù)。

第三，數(shù)據(jù)預處理。數(shù)據(jù)預處理是數(shù)據(jù)挖掘過程中一個很重要的步驟。主要是對前一步驟進行的數(shù)據(jù)進行再加工，消除噪聲、消除重復記錄、轉(zhuǎn)換數(shù)據(jù)類型、檢查數(shù)據(jù)的完整性和數(shù)據(jù)的一致性等，提高數(shù)據(jù)挖掘?qū)ο蟮馁|(zhì)量。該課題將針對數(shù)據(jù)選擇的情況進行數(shù)據(jù)與處理，為下一個步驟的順利進行做好鋪墊。

第四，數(shù)據(jù)挖掘算法設計。數(shù)據(jù)挖掘是整個數(shù)據(jù)挖掘工作的核心步驟。數(shù)據(jù)挖掘算法是根據(jù)數(shù)據(jù)創(chuàng)建數(shù)據(jù)挖掘模型的一組試探法和計算。為了創(chuàng)建模型，算法首先根據(jù)提供的數(shù)據(jù)，查找特定類型的模式和趨勢。在這個階段，需要選擇適當?shù)臄?shù)據(jù)挖掘方法，選擇合適的數(shù)據(jù)挖掘算法來完成數(shù)據(jù)挖掘工作。數(shù)據(jù)挖掘的方法有統(tǒng)計方法、機器學習方法、聚類分析方法、神經(jīng)網(wǎng)絡方法、粗糙集或模糊集方法等。如何對數(shù)據(jù)進行挖掘和分析最主要的是選擇什么樣的算法來實現(xiàn)它，針對該課題的實際情況，主要采用的方法為神經(jīng)網(wǎng)絡、層次分析法和關聯(lián)規(guī)則的經(jīng)典算法--Apfiori 算法等。

第五，算法評估與應用數(shù)據(jù)挖掘過程中發(fā)現(xiàn)的模式需要經(jīng)過評估，去除冗余的或者與挖掘目標無關的模式，或?qū)⒛硞€有用的模式轉(zhuǎn)換成用戶能夠了解的形式。如果發(fā)現(xiàn)的模式不能滿足本次挖掘的要求，為得到更有用的知識，還需要返回前面的各個階段，反復進行。該課題主要對專業(yè)質(zhì)量、教師考核評價、理論實踐教學質(zhì)量、班級整體教學過程質(zhì)量、企業(yè)對實習生的考核評價、學生成績評價等信息進行挖掘，提取出隱藏在數(shù)據(jù)中的有用信息，并對產(chǎn)生的信息進行分析，為全面了解教學運行狀態(tài)的途徑及改進教學管理工作提供重要依據(jù)。

2.通過數(shù)據(jù)挖掘，建立多元化的教學質(zhì)量評價平臺

借助平臺，實現(xiàn)專業(yè)質(zhì)量評價、理論實踐教學質(zhì)量評價、班級整體質(zhì)量評價、學校整體教學質(zhì)量評價、企業(yè)對實習生的考核評價等功能。

對照評價標準，研發(fā)了管理、分析一體的基于智能算法的高職教學質(zhì)量評價系統(tǒng)，該系統(tǒng)采用B/S 三層結(jié)構(gòu)模式，以Visual Studio.NET 作為開發(fā)工具，以Microsoft SQL SERVER 2005 作為系統(tǒng)的后臺數(shù)據(jù)庫開發(fā)完成，借助平臺，實現(xiàn)了系統(tǒng)維護、用戶管理、基礎信息管理、在線評價等功能。完成專業(yè)質(zhì)量評價、理論實踐教學質(zhì)量評價、班級整體質(zhì)量評價、學校整體教學質(zhì)量評價、企業(yè)對實習生的考核評價等，并申請了軟件著作權(quán)。（軟件著作權(quán)編號：2019SR1022414）

成果實現(xiàn)了用戶登錄模塊、題庫編輯模塊和管理員模塊及在線評分模塊等的設計。實踐證明，與傳統(tǒng)手工評分相比，本系統(tǒng)較大的提高了工作效率，節(jié)省了人力、財力、物力，使用效果良好。

3.運用數(shù)據(jù)挖掘技術對采集的教學評價數(shù)據(jù)進行充分深入的挖掘

該課題將數(shù)據(jù)挖掘的目標確定為，利用數(shù)據(jù)挖掘技術從大量數(shù)據(jù)中獲取有利于教學質(zhì)量評價的隱含的有用信息，找到數(shù)據(jù)之間的關聯(lián)。通過對教學質(zhì)量評價數(shù)據(jù)及其相關數(shù)據(jù)進行數(shù)據(jù)挖掘，從中找到影響教學質(zhì)量評價結(jié)果的因素，從而針對這些影響因素分析并提出提高教學質(zhì)量的方法。。

主要調(diào)研山西藥科職業(yè)學院和天津生物工程職業(yè)技術學院及其他幾個高職院校，得到大量的數(shù)據(jù)，數(shù)據(jù)庫總體評價記錄累計28 萬余條，教學過程中分項詳細評價記錄累計3 萬余條，考試結(jié)束后分項詳細評價記錄累計17 萬余條，師生留言數(shù)據(jù)記錄近1萬條。大量的評價數(shù)據(jù)為數(shù)據(jù)挖掘工作的實施奠定了良好的基礎。

比如對教師個人因素對評價結(jié)果的影響進行分析，可選用學生評價數(shù)據(jù)作為分析對象，分析教師性別、教師學歷、教師年齡、職稱等綜合因素與教學質(zhì)量評價分數(shù)的關系；再比如教師授課課堂相關屬性對評價結(jié)果的影響分析，可從課堂學生人數(shù)、課程學時、課程屬性以及課堂相關屬性綜合因素與教學質(zhì)量評價分數(shù)的關系進行分析。在分析教師評價數(shù)據(jù)和學生每個學期的成績變化時，使用的是數(shù)據(jù)挖掘中的關聯(lián)規(guī)則；在找到學生計算機基礎課程成績的影響因素時，使用的是決策樹分析等。

（二）研究方法

1.調(diào)查研究法。通過采用現(xiàn)場問卷、網(wǎng)絡答題、會議研討等方式進行調(diào)研，了解國內(nèi)高職教育教學情況和質(zhì)量管理現(xiàn)狀，走訪與其合作的相關企業(yè)，獲取大量的與教學質(zhì)量評價相關的信息。

2.文獻研究法。查閱國內(nèi)外專家、學者對數(shù)據(jù)挖掘在教學質(zhì)量評價方面的研究，學習并分析研究的結(jié)論和成果，讓其借鑒和指導我們的研究，開闊研究思路。

3.歸納對比分析法。對數(shù)據(jù)、專家學者的研究、院校實際進行科學的定性和定量分析，歸納總結(jié)，運用到我們的研究中。

4.實驗法。采用有效的數(shù)據(jù)挖掘方法對獲得的海量數(shù)據(jù)進行信息挖掘，并對產(chǎn)生的信息進行分析；將實驗結(jié)果和目前存在的數(shù)據(jù)相結(jié)合，完成一個既能對用戶基本信息進行管理，又能行之有效地對教學質(zhì)量進行評價的管理系統(tǒng)。

5.實證研究法。應用調(diào)查結(jié)論，擬定改進措施，并組織實施。

6.經(jīng)驗總結(jié)法。根據(jù)實際經(jīng)驗，進行理論提升和實踐創(chuàng)新。

二、結(jié)論與對策

該課題圍繞數(shù)據(jù)挖掘技術如何在高職教學質(zhì)量評價體系中進行構(gòu)建及應用，如何提高教學質(zhì)量，讓師生受益，進行了研究與實踐。

（一）改變傳統(tǒng)評價標準模糊的問題

該課題率先構(gòu)建了采用神經(jīng)網(wǎng)絡模型而確立的具有醫(yī)藥特色的教學質(zhì)量評價體系，解決了評價標準體系不健全的問題。傳統(tǒng)教學質(zhì)量評價模糊化，方法單一化，不能及時發(fā)現(xiàn)教學工作中哪部分欠缺或不到位，不能形成一個全面的、全員參與的評價體系。教學督導只停留于常規(guī)方法,學生在每學期末給教師評分，教師只看到分數(shù)而看不到問題的存在，處于惡性循環(huán)的打分現(xiàn)狀。

此次改革從專業(yè)質(zhì)量考核的權(quán)重入手，多角度分析教學的全過程，將用人單位的意見以及社會考評的結(jié)果進行綜合考慮，為教學質(zhì)量監(jiān)控提供了一套完善的方法與標準體系。將教學質(zhì)量監(jiān)控內(nèi)容的每一部分確立明確的質(zhì)量監(jiān)控點，并賦予每個監(jiān)控點不同層次的評價與評價標準。在具體量化的過程中，采用神經(jīng)網(wǎng)絡方法，利用數(shù)據(jù)擬合函數(shù)關系，梯度下降對參數(shù)進行迭代，從而找到優(yōu)化的方向，利用特征選擇方法，去掉冗余的考核指標，最終合理確定各項考核權(quán)重，使得每個標準及等級有依有據(jù)。

以實踐教學考核評價為例，采用數(shù)據(jù)挖掘技術中神經(jīng)網(wǎng)絡方法，建立了一個基于人工神經(jīng)網(wǎng)絡的仿真模型，將方案準備、操作訓練、總結(jié)報告、考核鑒定作為輸入層，實踐教學質(zhì)量作為輸出層，建立人工神經(jīng)網(wǎng)絡模型，利用構(gòu)建的模型對數(shù)據(jù)進行預測，將預測的結(jié)果轉(zhuǎn)換為教學經(jīng)驗，運用到實際的教學過程中。不斷地更新數(shù)據(jù)庫，利用新的數(shù)據(jù)進行檢驗，測試其成功的幾率。

結(jié)果表明，使用神經(jīng)網(wǎng)絡方法評價高職實踐教學工作的質(zhì)量精度高,收斂快,計算過程簡單,通過網(wǎng)絡自主學習實現(xiàn)大量的參數(shù)設定，避免了人為主觀因素的影響,評估結(jié)果客觀有效。克服了傳統(tǒng)評價方法的缺點，可以快速、準確地得到評價結(jié)果。

（二）改變傳統(tǒng)教學質(zhì)量評價系統(tǒng)針對性不強的問題

該課題設計研發(fā)了管理、分析與挖掘一體的高職教學質(zhì)量評價系統(tǒng)。目前，有關教學質(zhì)量評價系統(tǒng)的軟件有多種，但市場上出售的這些評價系統(tǒng)，價格昂貴且均為通用評價系統(tǒng)，對于特定的學校，很多通用功能利用率甚低，而需求使用功能尚不存在。

對照教學質(zhì)量評價標準，結(jié)合醫(yī)藥行業(yè)特色，研發(fā)了基于В/S 模式的高職教學質(zhì)量評價系統(tǒng)，形成涵蓋專業(yè)質(zhì)量、理論教學質(zhì)量、實踐教學質(zhì)量、理實一體化教學質(zhì)量、學校整體教學質(zhì)量等的評價體系，實現(xiàn)了系統(tǒng)維護、用戶管理、基礎信息管理、評價項目管理、在線評價等功能。通過信息化手段，將過程評價與結(jié)果評價相結(jié)合，注重每堂課教師教的質(zhì)量和學生學的質(zhì)量，提升教學管理的有效性，實現(xiàn)有效督，快速導，實現(xiàn)從課堂到課外、從學校到企業(yè)、從教師到學生的全程監(jiān)控、跟蹤,達到有效的教學診斷，有效地調(diào)動各部門工作者的積極性。

（三）改變了傳統(tǒng)教學數(shù)據(jù)未深入挖掘的問題

該課題充分運用了數(shù)據(jù)挖掘技術，并將其遷移到教學質(zhì)量評價體系的構(gòu)建中。教務信息是高職院校豐富的資源。面對這些大量的數(shù)據(jù),大多數(shù)院校并未對教務數(shù)據(jù)中的隱含信息進行挖掘和分析。該課題引入了數(shù)據(jù)挖掘技術，將開發(fā)的評價系統(tǒng)和原有的教務管理系統(tǒng)集成到一起，自動提取相關信息，對采集的信息（如課堂教學評價信息、學生的學籍信息、學生的在校課程成績、教師信息）利用數(shù)據(jù)挖掘提取其中隱含的信息,運用數(shù)據(jù)挖掘技術的分類、聚類等方法，進行多層次、多角度的分析，提取出隱藏在數(shù)據(jù)中的有用信息，除了對數(shù)據(jù)進行橫向的比較分析,還對歷年來的數(shù)據(jù)進行縱向的分析挖掘。發(fā)現(xiàn)和診斷問題，更好地指導教學，更好地為教學工作提供公正性和客觀性的評定依據(jù)。