大數(shù)據(jù)視角下經(jīng)管學(xué)科實(shí)踐類課程個(gè)人考核評(píng)價(jià)體系的構(gòu)建

汪海鵬 仲旭 任婷婷 李江霞

摘?要：跨專業(yè)綜合實(shí)訓(xùn)課程，通過(guò)為學(xué)生營(yíng)造虛擬的商業(yè)社會(huì)環(huán)境，給學(xué)生身臨其境的感覺(jué)，培養(yǎng)學(xué)生的創(chuàng)新能力，促進(jìn)創(chuàng)新創(chuàng)業(yè)教育與實(shí)驗(yàn)教學(xué)的有效結(jié)合。但課程的考核方式目前尚不完善。隨著教育信息化的深入應(yīng)用，教學(xué)大數(shù)據(jù)的產(chǎn)生為課程的考核提供了新思路，本文圍繞學(xué)習(xí)態(tài)度、專業(yè)能力、創(chuàng)新能力三方面構(gòu)建了考核評(píng)價(jià)模型，建立考核評(píng)價(jià)指標(biāo)。結(jié)合專家打分法和AHP層次分析法，使用SPSS數(shù)據(jù)分析軟件，得到各項(xiàng)指標(biāo)具體權(quán)重，設(shè)計(jì)了新的考核評(píng)價(jià)體系。

關(guān)鍵詞：考核評(píng)價(jià)體系；教學(xué)大數(shù)據(jù)；評(píng)價(jià)指標(biāo)；權(quán)重設(shè)計(jì)；AHP層次分析法

中圖分類號(hào)：F27?????文獻(xiàn)標(biāo)識(shí)碼：A??????doi：10.19311/j.cnki.16723198.2023.17.025

0?引言

“創(chuàng)新能力顯著提升”被列為是我國(guó)“十四五”時(shí)期經(jīng)濟(jì)社會(huì)發(fā)展的重要目標(biāo)之一，國(guó)家的創(chuàng)新需要依靠掌握專業(yè)知識(shí)和技能的創(chuàng)新型人才，因此對(duì)各高校所設(shè)課程的評(píng)價(jià)模式也提出了新的要求。科學(xué)、有效的評(píng)價(jià)模式不僅是提升學(xué)生專業(yè)素養(yǎng)和創(chuàng)新能力的重要抓手，也是提升課堂教學(xué)效果的重要手段，尤其是實(shí)驗(yàn)實(shí)踐教學(xué)類課程的評(píng)價(jià)模式是否有效對(duì)實(shí)驗(yàn)實(shí)踐教學(xué)效果以及學(xué)生能力的提升等方面起到了關(guān)鍵性作用。

目前許多高校的實(shí)驗(yàn)實(shí)踐教學(xué)課程評(píng)價(jià)體系的改革融入了過(guò)程考核、個(gè)人考核、團(tuán)隊(duì)考核等內(nèi)容，考核指標(biāo)也在逐步從單一化走向多元化，但其中的個(gè)人考核部分依然是以考勤和實(shí)驗(yàn)報(bào)告為主。如今信息化教學(xué)模式愈發(fā)成熟、線上線下交互形式愈發(fā)多樣，在新環(huán)境下可以獲取的學(xué)習(xí)過(guò)程和結(jié)果數(shù)據(jù)變得更加豐富，但大量的教學(xué)數(shù)據(jù)沒(méi)有被充分利用和挖掘，并將其融入個(gè)人考核評(píng)價(jià)指標(biāo)的設(shè)計(jì)和制定上。鑒于此，本文基于學(xué)校——東北大學(xué)秦皇島分校的跨專業(yè)綜合實(shí)訓(xùn)課程，充分挖掘教學(xué)過(guò)程中產(chǎn)生的大數(shù)據(jù)信息，圍繞學(xué)生的學(xué)習(xí)態(tài)度、專業(yè)能力、創(chuàng)新能力等三個(gè)方面展開(kāi)，綜合使用了專家打分法以及AHP層次分析法，對(duì)該課程的個(gè)人考核指標(biāo)體系進(jìn)行了重構(gòu)，并將其應(yīng)用于學(xué)校800多名經(jīng)管專業(yè)學(xué)生，取得了較好的效果，驗(yàn)證了全新的個(gè)人考核指標(biāo)體系的“指揮棒”作用。

1?現(xiàn)有個(gè)人考核評(píng)價(jià)體系存在的問(wèn)題

學(xué)校開(kāi)設(shè)的跨專業(yè)綜合實(shí)訓(xùn)課程屬于典型的創(chuàng)新創(chuàng)業(yè)實(shí)踐類課程，該課程通過(guò)搭建虛擬仿真的業(yè)務(wù)場(chǎng)景，讓學(xué)生在高度仿真的環(huán)境中進(jìn)行角色體驗(yàn)、企業(yè)運(yùn)營(yíng)，學(xué)會(huì)工作、學(xué)會(huì)思考，在實(shí)訓(xùn)教學(xué)中全面考察學(xué)生的專業(yè)知識(shí)、專業(yè)技能、創(chuàng)新實(shí)踐能力、溝通能力、團(tuán)隊(duì)能力等。目前，該課程的考核評(píng)價(jià)體系如圖1所示。

圖1?現(xiàn)有的考核評(píng)價(jià)體系圖

從圖1我們可以看到現(xiàn)有的評(píng)價(jià)體系注重對(duì)學(xué)生過(guò)程性考核、團(tuán)隊(duì)考核、團(tuán)隊(duì)與個(gè)人之間互評(píng)等方面多維度考核評(píng)價(jià)，團(tuán)隊(duì)考核的評(píng)價(jià)指標(biāo)是比較成熟和完善的，它考察了學(xué)生的溝通能力、團(tuán)隊(duì)協(xié)作能力、專業(yè)能力、管理決策能力等方面，但個(gè)人考核部分則主要以考勤和實(shí)驗(yàn)報(bào)告為依據(jù)，評(píng)價(jià)方式相對(duì)來(lái)說(shuō)比較片面、單一，它不能反映出學(xué)生個(gè)人的學(xué)習(xí)態(tài)度、專業(yè)能力、創(chuàng)新能力等方面的綜合表現(xiàn)。

經(jīng)管學(xué)科實(shí)踐類課程的考核評(píng)價(jià)評(píng)價(jià)體系應(yīng)既注重學(xué)生的學(xué)習(xí)成果也重視學(xué)生的學(xué)習(xí)過(guò)程，重點(diǎn)考察學(xué)生的專業(yè)知識(shí)掌握情況，以及學(xué)生的創(chuàng)新水平。由于學(xué)生的主觀情感也會(huì)直接作用于學(xué)習(xí)效果，因此也將學(xué)習(xí)態(tài)度納入其中。最終本文提出的考核評(píng)價(jià)體系將學(xué)習(xí)態(tài)度、專業(yè)能力、創(chuàng)新能力三個(gè)維度作為一級(jí)指標(biāo)，在此基礎(chǔ)上再具體細(xì)化出二級(jí)指標(biāo)，并給出具體量化辦法。

2?個(gè)人考核評(píng)價(jià)體系的重構(gòu)

2.1?學(xué)習(xí)態(tài)度指標(biāo)的選取

學(xué)習(xí)態(tài)度是學(xué)習(xí)的動(dòng)力源，有研究表明，大部分學(xué)生的學(xué)習(xí)效果與投入的時(shí)間和精力呈正相關(guān)，因此評(píng)價(jià)學(xué)生的學(xué)習(xí)態(tài)度是考核的重要內(nèi)容之一。社會(huì)心理學(xué)的有關(guān)研究指出：態(tài)度包括情感體驗(yàn)、認(rèn)知水平和行為傾向三方面，但學(xué)生的認(rèn)知水平和情感體驗(yàn)難以衡量和量化，因此選擇學(xué)生在學(xué)習(xí)過(guò)程中的外顯行為來(lái)反映其學(xué)習(xí)態(tài)度。主要通過(guò)學(xué)生是否參與了課程相關(guān)的學(xué)習(xí)活動(dòng)來(lái)考察，而學(xué)生參加的活動(dòng)又分為教師指定的課程必要活動(dòng)和學(xué)生自主發(fā)起的學(xué)習(xí)活動(dòng)兩方面。能夠反映學(xué)生學(xué)習(xí)態(tài)度的指標(biāo)有：出勤率、測(cè)試完成情況、作業(yè)完成情況、參與投票次數(shù)、線上資源觀看時(shí)長(zhǎng)、線上資源訪問(wèn)次數(shù)、提問(wèn)次數(shù)、回答問(wèn)題次數(shù)等，受益于學(xué)習(xí)通、騰訊課堂等線上教學(xué)工具，獲取這些數(shù)據(jù)非常方便。

2.2?專業(yè)能力指標(biāo)的選取

專業(yè)知識(shí)是學(xué)生的立身之本，傳授專業(yè)知識(shí)也是高等教育的重要目標(biāo)，過(guò)硬的專業(yè)基本功是學(xué)生解決問(wèn)題、創(chuàng)新創(chuàng)業(yè)的基礎(chǔ)。本文通過(guò)學(xué)習(xí)通中產(chǎn)生的預(yù)習(xí)自測(cè)成績(jī)、課堂測(cè)試成績(jī)以及最后教師打分的實(shí)驗(yàn)報(bào)告成績(jī)反映學(xué)生的專業(yè)知識(shí)掌握程度。此外，有研究表明，深入地學(xué)習(xí)與研究，可以加深學(xué)生對(duì)專業(yè)知識(shí)的理解，也可以促進(jìn)其創(chuàng)新思維和實(shí)踐能力的提升，因此本文還對(duì)學(xué)生的學(xué)習(xí)深度進(jìn)行考量，主要通過(guò)學(xué)生對(duì)線上教學(xué)資源的訪問(wèn)質(zhì)量以及實(shí)訓(xùn)過(guò)程中的工作日志深度來(lái)體現(xiàn)。

2.3?創(chuàng)新能力指標(biāo)的選取

培養(yǎng)學(xué)生的創(chuàng)新能力是本課程的主要教學(xué)目標(biāo)，檢驗(yàn)學(xué)生的創(chuàng)新實(shí)踐能力是否得到提高是考核的重點(diǎn)內(nèi)容。

首先，考察的是學(xué)生的創(chuàng)新意識(shí)，提出具有新意的問(wèn)題是學(xué)生創(chuàng)新意識(shí)的體現(xiàn)，也是開(kāi)啟創(chuàng)新實(shí)踐的第一步，因此本文會(huì)將多人關(guān)注并回答，并且得到教師采納的提問(wèn)作為衡量學(xué)生創(chuàng)新意識(shí)的重要指標(biāo)，與之相對(duì)，那些被多人贊同的回答也被納入其中。

其次，本次實(shí)訓(xùn)課程需要學(xué)生設(shè)計(jì)多個(gè)創(chuàng)新作品，包括企業(yè)海報(bào)、企業(yè)營(yíng)銷策劃方案、企業(yè)戰(zhàn)略規(guī)劃方案等，這些創(chuàng)新作品作為學(xué)生創(chuàng)新能力的外顯表現(xiàn)被納入考核體系。

最后，還需要考察學(xué)生在創(chuàng)新實(shí)踐活動(dòng)中的參與程度，可以通過(guò)課程QQ群、學(xué)習(xí)通空間的熱門動(dòng)態(tài)，以及學(xué)生組內(nèi)評(píng)選出的1至3名團(tuán)隊(duì)核心人員等形式來(lái)對(duì)這一指標(biāo)進(jìn)行量化。

綜上，本文提出的改進(jìn)后的個(gè)人考核評(píng)價(jià)體系如表1所示。

2.4?個(gè)人考核評(píng)價(jià)體系指標(biāo)權(quán)重的確定

確定指標(biāo)權(quán)重有多種方法可以選擇，其中比較主流的有：專家打分法、利用信息濃縮原理的主成分法和因子分析法、利用數(shù)字的相對(duì)大小信息的AHP層次分析法和優(yōu)序圖法、利用數(shù)據(jù)熵值的熵值法等。本文涉及的考核體系比較復(fù)雜，僅通過(guò)數(shù)學(xué)計(jì)算難以得到合適的決策結(jié)果，因此采用專家打分法和AHP層次分析法相結(jié)合的形式確定權(quán)重，用專業(yè)的數(shù)據(jù)分析軟件SPSS實(shí)現(xiàn)，既借鑒了專家豐富的教育教學(xué)經(jīng)驗(yàn)，又輔之以嚴(yán)密的數(shù)學(xué)計(jì)算，可以在一定程度上規(guī)避專家打分的主觀因素，使評(píng)價(jià)結(jié)果相對(duì)客觀、科學(xué)。AHP層次分析法由以下四步完成：

步驟1?確定標(biāo)度、構(gòu)造判斷矩陣

通過(guò)兩兩比較同一層級(jí)的指標(biāo)，按照重要程度賦值，結(jié)合專家打分結(jié)果得到判斷矩陣表格。此過(guò)程判斷各指標(biāo)重要程度時(shí)的依據(jù)如表2所示，例如，假設(shè)指標(biāo)x比指標(biāo)y重要，則量化值為相應(yīng)的整數(shù)，反之，y比x重要?jiǎng)t為相對(duì)應(yīng)的倒數(shù)。例如，x比y強(qiáng)烈重要?jiǎng)t量化為7，y比x強(qiáng)烈重要?jiǎng)t為1/7，即0.1429。

步驟2?特征向量、特征根計(jì)算和權(quán)重計(jì)算

計(jì)算各項(xiàng)指標(biāo)的權(quán)重首先需要計(jì)算特征向量值，SPSS軟件會(huì)提供特征向量指標(biāo)，得到最大特征根值，即CI，CI值會(huì)在接下來(lái)一致性驗(yàn)證分析時(shí)被進(jìn)一步使用。

步驟3?一致性驗(yàn)證分析

在構(gòu)建判斷矩陣時(shí)，可能會(huì)出現(xiàn)邏輯性錯(cuò)誤，比如指標(biāo)i比指標(biāo)j重要，指標(biāo)j比指標(biāo)k重要，但卻又出現(xiàn)k比i重要的矛盾結(jié)果。為了避免該問(wèn)題，需要進(jìn)行一致性檢驗(yàn)，一致性檢驗(yàn)的原理是使用CR值進(jìn)行檢測(cè)，如果CR值小于0.1，表示可以通過(guò)一致性檢驗(yàn)，反之則說(shuō)明專家意見(jiàn)存在較大分歧，CR的具體計(jì)算公式為：CR=CI/RI。其中CI值在步驟2已經(jīng)得到，RI的具體含義是隨機(jī)一致性指標(biāo)，RI的具體數(shù)值和判斷矩陣的階數(shù)有關(guān)，一般來(lái)說(shuō)，判斷矩陣的階數(shù)越高，出現(xiàn)一致性隨即偏離的幾率也越高，相對(duì)應(yīng)的RI值也就越大。具體值可以直接查表得出，見(jiàn)表3。

步驟4?分析結(jié)論

如果每一份專家投票的結(jié)果CR值均滿足一致性檢驗(yàn)，可由此得出最終的指標(biāo)權(quán)重結(jié)果。

根據(jù)上述步驟，本文設(shè)計(jì)并發(fā)放有關(guān)考核評(píng)價(jià)指標(biāo)的調(diào)查問(wèn)卷，調(diào)研對(duì)象包含跨專業(yè)綜合實(shí)踐課程任課教師、經(jīng)管學(xué)院教學(xué)研究人員、以及學(xué)校教務(wù)管理人員三類，每一類人員各6人，共發(fā)放問(wèn)卷18份，回收問(wèn)卷17份。對(duì)其中的無(wú)效問(wèn)卷進(jìn)行清理后，共得到16份專家問(wèn)卷，利用數(shù)據(jù)分析工具SPSS對(duì)問(wèn)卷數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，經(jīng)驗(yàn)證，所有專家打分?jǐn)?shù)據(jù)均通過(guò)一致性檢驗(yàn)，其CR值都小于0.1，成功得到各考核評(píng)價(jià)指標(biāo)的具體權(quán)重結(jié)果，見(jiàn)表4。

3?新的考核評(píng)價(jià)體系實(shí)施效果

本文提出的大數(shù)據(jù)視角下的考核評(píng)價(jià)體系是面向?qū)嵱?xùn)課程全過(guò)程的，既可以激發(fā)學(xué)生的創(chuàng)新熱情，樂(lè)于討論，勇于嘗試不同的方案，又可以幫助教師借助過(guò)程性和結(jié)果性考核，對(duì)學(xué)生的創(chuàng)新創(chuàng)業(yè)能力做出全面的評(píng)價(jià)，學(xué)生在整個(gè)實(shí)訓(xùn)課程中的精神狀態(tài)、活躍程度與往屆相比都有顯著的提升。過(guò)去的實(shí)訓(xùn)課程中，有個(gè)別小組僅有少數(shù)的幾名學(xué)生完成企業(yè)經(jīng)營(yíng)業(yè)務(wù)，其余學(xué)生對(duì)團(tuán)隊(duì)的貢獻(xiàn)較少，僅在臨近結(jié)束時(shí)突擊完成實(shí)驗(yàn)報(bào)告，在此情況下學(xué)生的專業(yè)素養(yǎng)和創(chuàng)新能力都很難得到提升。在新的評(píng)價(jià)體系的要求下，“躺平式”的學(xué)習(xí)方式會(huì)直接影響學(xué)生的個(gè)人成績(jī)，倒逼學(xué)生全程主動(dòng)、積極地參與到課程中來(lái)。

新的個(gè)人考核評(píng)價(jià)體系重視學(xué)生與學(xué)生之間，學(xué)生與教師之間的討論和溝通，進(jìn)一步促進(jìn)了課程的教學(xué)模式由“教師教、學(xué)生學(xué)”的被動(dòng)教學(xué)模式變?yōu)橐匀蝿?wù)為驅(qū)動(dòng)的“學(xué)生為主體，教師為主導(dǎo)”的雙主模式。學(xué)生在實(shí)訓(xùn)過(guò)程中能夠充分利用線上教學(xué)資源，遇到問(wèn)題時(shí)可以隨時(shí)查詢線上授課錄像，也可以在線上討論組向其他同學(xué)或教師求助，學(xué)生的專業(yè)知識(shí)和創(chuàng)新能力都得到了很大程度的提高。

此外，本文提出的考核評(píng)價(jià)體系，其數(shù)據(jù)支撐均來(lái)自于教學(xué)過(guò)程中產(chǎn)生的大數(shù)據(jù)，數(shù)據(jù)源真實(shí)可靠，數(shù)據(jù)獲取方便，并且評(píng)價(jià)模型的擴(kuò)展性強(qiáng)。大多數(shù)結(jié)構(gòu)化數(shù)據(jù)可以從系統(tǒng)中一鍵導(dǎo)出，非結(jié)構(gòu)化數(shù)據(jù)可以設(shè)計(jì)簡(jiǎn)單的爬蟲(chóng)自動(dòng)獲取，經(jīng)處理后轉(zhuǎn)化成結(jié)構(gòu)化數(shù)據(jù)。后續(xù)教研過(guò)程中可以對(duì)這些數(shù)據(jù)進(jìn)行更加深入的挖掘，進(jìn)一步完善該課程的考核方式。

4?結(jié)束語(yǔ)

本文以客觀、真實(shí)的教學(xué)大數(shù)據(jù)為支撐，以學(xué)習(xí)態(tài)度、專業(yè)能力、創(chuàng)新能力三個(gè)角度作為一級(jí)指標(biāo)構(gòu)建了跨專業(yè)綜合實(shí)踐課程新的考核評(píng)價(jià)體系，并對(duì)各項(xiàng)指標(biāo)賦予科學(xué)的權(quán)重。本文提出的評(píng)價(jià)體系能夠科學(xué)、系統(tǒng)、全面地評(píng)價(jià)創(chuàng)新創(chuàng)業(yè)教育成果，即學(xué)生是否具備創(chuàng)新意識(shí)和能力。也為同類型的電子商務(wù)創(chuàng)業(yè)、ERP沙盤模擬等其他創(chuàng)新創(chuàng)業(yè)類課程提供了借鑒和參考。本課題的研究還存在一定的不足，接下來(lái)還需要更深入的研究和完善。

（1）目前的評(píng)價(jià)體系中用到的學(xué)生的行為數(shù)據(jù)大多從線上獲取，很少涉及線下數(shù)據(jù)，后續(xù)的研究過(guò)程中應(yīng)逐步擴(kuò)大數(shù)據(jù)采集的范圍，挖掘線下數(shù)據(jù)的價(jià)值，繼續(xù)豐富和完善課程的考核體系。

（2）學(xué)生作為獨(dú)立存在的學(xué)習(xí)個(gè)體，具體的學(xué)習(xí)效果可能受到其個(gè)人的學(xué)習(xí)風(fēng)格、學(xué)習(xí)習(xí)慣、認(rèn)知方式的影響，本文提出的評(píng)價(jià)體系對(duì)這些因素的考慮相對(duì)較少，后續(xù)研究中應(yīng)在評(píng)價(jià)指標(biāo)中引入更多的學(xué)生個(gè)性化的元素，并且對(duì)其提出合理的量化方法。

參考文獻(xiàn)

［1］趙楊，仲旭，李江霞，等.VBSE跨專業(yè)虛擬仿真綜合實(shí)訓(xùn)實(shí)踐教學(xué)評(píng)價(jià)體系的建立與實(shí)踐[J].黑龍江科學(xué)，2022，13（03）：3233.

[2]李金玲，張濤，馬海群，等.大學(xué)生學(xué)習(xí)態(tài)度對(duì)數(shù)據(jù)素養(yǎng)效果影響因素研究——基于SEM的量化分析[J].文獻(xiàn)與數(shù)據(jù)學(xué)報(bào)，2022，4（04）：6881.

[3]沈一丹，汪慧蓉，阮珊珊，等.基于ABC模型的非英語(yǔ)系大學(xué)生英語(yǔ)態(tài)度研究[J].海外英語(yǔ)，2021，452（16）：1213.

[4]姚佳佳，李艷，潘金晶，等.同伴對(duì)話反饋對(duì)大學(xué)生在線深度學(xué)習(xí)的影響研究[J].華東師范大學(xué)學(xué)報(bào)（教育科學(xué)版），2022，40（03）：112126.

[5]馬玉瑩.基于網(wǎng)絡(luò)層次分析法的高職混合教學(xué)評(píng)價(jià)指標(biāo)權(quán)重計(jì)算[J].電腦與信息技術(shù)，2021，29（06）：4142+46.

[6]劉雙.基于“學(xué)習(xí)通+騰訊會(huì)議”雙平臺(tái)的線上教學(xué)模式研究——以“SPSS統(tǒng)計(jì)軟件應(yīng)用”為例[J].現(xiàn)代信息科技，2023，7（02）：195198.

[7]余新橋.基于表達(dá)式的AHP群決策在教學(xué)質(zhì)量評(píng)價(jià)中的應(yīng)用[J].信息技術(shù)與信息化，2022，271（10）：111114.

[8]陳彬，張世良，鄒文景，等.非結(jié)構(gòu)化數(shù)據(jù)特征建模與存儲(chǔ)方法研究[J].電子設(shè)計(jì)工程，2021，29（22）：4750.