基于大數(shù)據(jù)技術(shù)的高職學(xué)生多維評(píng)價(jià)體系的研究

趙 麗,柴造坡

(黑龍江生態(tài)工程職業(yè)學(xué)院 機(jī)電信息工程系,哈爾濱 150025)

繼2019年《國(guó)家職業(yè)教育改革實(shí)施方案》推出后,2020年10月13日中共中央、國(guó)務(wù)院印發(fā)《深化新時(shí)代教育評(píng)價(jià)改革總體方案》明確指出:“堅(jiān)持科學(xué)有效,改進(jìn)結(jié)果評(píng)價(jià),強(qiáng)化過程評(píng)價(jià),探索增值評(píng)價(jià),健全綜合評(píng)價(jià),充分利用信息技術(shù),提高教育評(píng)價(jià)的科學(xué)性、專業(yè)性、客觀性。”[1]

大數(shù)據(jù)技術(shù)在各行業(yè)領(lǐng)域中的應(yīng)用越來(lái)越廣泛,其在教學(xué)評(píng)價(jià)、學(xué)生評(píng)價(jià)中也將成為重要的工具。本文從《中國(guó)學(xué)生發(fā)展核心素養(yǎng)》出發(fā),確定評(píng)價(jià)的一級(jí)指標(biāo)、二級(jí)指標(biāo),同時(shí)采用多角度、多方法的評(píng)價(jià)方式,構(gòu)造多維度評(píng)價(jià)模型,通過綜合評(píng)價(jià)指標(biāo)加權(quán)的方式,進(jìn)行數(shù)據(jù)分析與數(shù)據(jù)挖掘,形成學(xué)生的數(shù)字畫像,從而在學(xué)生的學(xué)業(yè)預(yù)警、就業(yè)升學(xué)等方面形成決策支持。

一、高職學(xué)生評(píng)價(jià)體系的現(xiàn)狀及存在的問題

目前,大多數(shù)高職院校對(duì)學(xué)生評(píng)價(jià)的依據(jù)是職業(yè)學(xué)校學(xué)生綜合素質(zhì)測(cè)評(píng)方法,秉承以德智體美勞五育全面衡量的原則。學(xué)生綜合測(cè)評(píng)成績(jī)由基礎(chǔ)分?jǐn)?shù)、加分項(xiàng)目、減分項(xiàng)目組成,其中基礎(chǔ)分?jǐn)?shù)為學(xué)期各門課程的總和,加分項(xiàng)目為品行評(píng)定加分、大賽加分、社會(huì)實(shí)踐加分等項(xiàng)目,減分項(xiàng)目為學(xué)生所受處分累計(jì)結(jié)果。每學(xué)期進(jìn)行一次綜合測(cè)評(píng),測(cè)評(píng)結(jié)果作為學(xué)生評(píng)優(yōu)及獎(jiǎng)學(xué)金的依據(jù)。測(cè)評(píng)工作主要由學(xué)校學(xué)工部門負(fù)責(zé),統(tǒng)計(jì)工作集中在開學(xué)初一次性完成。

1.評(píng)價(jià)維度及指標(biāo)相對(duì)簡(jiǎn)單

基于綜合素質(zhì)測(cè)評(píng)方法的學(xué)生評(píng)價(jià)以課程成績(jī)作為主要衡量標(biāo)準(zhǔn),德育、體育、文娛加分按級(jí)別累計(jì),最終的得分將成為學(xué)生排名的依據(jù)。測(cè)評(píng)方法中的指標(biāo)側(cè)重于權(quán)重和級(jí)別,在縱向上詳細(xì)的劃分,但在橫向上的覆蓋面有所不足,即存在維度缺失的情況,同時(shí)指標(biāo)偏向?qū)蛹?jí)劃分,此種方式便于計(jì)算,但在全面評(píng)價(jià)方面略顯單薄。

2.評(píng)價(jià)的作用具有局限性

綜合素質(zhì)測(cè)評(píng)方式雖然能夠起到一定的衡量作用,但未考慮學(xué)生的差異性及增值評(píng)價(jià),同時(shí)綜合素質(zhì)測(cè)評(píng)傾向于結(jié)果評(píng)價(jià),具有滯后性。綜合素質(zhì)測(cè)評(píng)方式與本科學(xué)生的評(píng)價(jià)體系大致相仿,沒有體現(xiàn)職教的特點(diǎn),學(xué)生的職業(yè)素養(yǎng)、崗位能力并不能從測(cè)評(píng)中得到有效評(píng)估,不能對(duì)就業(yè)起到指導(dǎo)作用。

二、注重增值和層次的評(píng)價(jià)體系

隨著國(guó)家對(duì)職業(yè)教育日益重視,越來(lái)越多的教育工作者開始深入研究如何評(píng)估學(xué)生在接受專業(yè)教育后的提升程度。其中,基于CIPP模式的評(píng)估體系注重培養(yǎng)學(xué)生的專業(yè)認(rèn)知、團(tuán)隊(duì)合作、實(shí)踐創(chuàng)新和職業(yè)技能[2],而基于AHP的綜合素質(zhì)評(píng)估體系則注重多層次的評(píng)估。這兩種基于數(shù)學(xué)模型的評(píng)估都為課題研究提供參考。

1.基于CIPP模式的評(píng)價(jià)體系

CIPP模式由背景評(píng)價(jià)、輸入評(píng)價(jià)、過程評(píng)價(jià)、成果評(píng)價(jià)四部分組成,基本觀點(diǎn)是“評(píng)價(jià)目的不在于證明而在于發(fā)展改進(jìn)”,注重評(píng)價(jià)對(duì)象的個(gè)體差異、進(jìn)步幅度及評(píng)價(jià)主體的多元化,既著眼基礎(chǔ)更看重發(fā)展,既重共性更重個(gè)性[2]。在此模式下,更多的是考慮學(xué)生的增值評(píng)價(jià),通過大量的指標(biāo)調(diào)查學(xué)生的滿意度和能力增值水平,進(jìn)而從專業(yè)信息處理維度、學(xué)術(shù)閱讀理解維度、領(lǐng)導(dǎo)組織協(xié)調(diào)維度、人際交往維度、組織創(chuàng)新維度、專業(yè)技能維度、職業(yè)領(lǐng)域遷移維度進(jìn)行數(shù)據(jù)采集和分析,最終得出學(xué)生的增值評(píng)價(jià)。

2.基于AHP的綜合素質(zhì)評(píng)價(jià)體系

AHP層次分析法可以幫助人們快速、準(zhǔn)確地解決一些比較復(fù)雜、模糊的問題,尤其是在需要進(jìn)行深入探究的情況下更加有效。層次分析法大致按四個(gè)步驟進(jìn)行:第一步,建立遞階層次結(jié)構(gòu)模型;第二步,構(gòu)造出各個(gè)層次中的兩兩比較判斷矩陣;第三步,層次排序及一致性檢驗(yàn);第四步,層次總排序及一致性檢驗(yàn)[3]。面向高等學(xué)校的AHP綜合素質(zhì)評(píng)價(jià)體系一般會(huì)有總體評(píng)價(jià)目標(biāo),即核心能力評(píng)價(jià),在總體評(píng)價(jià)目標(biāo)下細(xì)化為一級(jí)指標(biāo)和二級(jí)指標(biāo),在核心能力評(píng)價(jià)結(jié)果上每個(gè)指標(biāo)產(chǎn)生的影響并不相同,所以需要確定指標(biāo)的權(quán)重。

三、基于大數(shù)據(jù)技術(shù)的高職學(xué)生多維評(píng)價(jià)體系

基于大數(shù)據(jù)技術(shù)的高職學(xué)生多維評(píng)價(jià)體系的研究,參考CIPP模式評(píng)價(jià)體系中學(xué)生增值評(píng)價(jià)的維度,根據(jù)《中國(guó)學(xué)生發(fā)展核心素養(yǎng)》和基本要點(diǎn),建立高職學(xué)生遞階層次結(jié)構(gòu)評(píng)價(jià)體系,在核心能力評(píng)價(jià)的基礎(chǔ)上細(xì)化評(píng)價(jià)指標(biāo),同時(shí)采用直接評(píng)價(jià)和間接評(píng)價(jià)法,進(jìn)行多角度、多方法評(píng)價(jià),使評(píng)價(jià)結(jié)構(gòu)更加嚴(yán)謹(jǐn)和準(zhǔn)確。在數(shù)據(jù)處理上,本課題使用基于區(qū)分矩陣的DMNI算法進(jìn)行數(shù)據(jù)凈化,并通過數(shù)據(jù)分析、挖掘、對(duì)比調(diào)整權(quán)重,使用基于神經(jīng)元的BP算法訓(xùn)練模型,不斷迭代從而優(yōu)化模型,最終得出學(xué)生的數(shù)字畫像。

1.構(gòu)建評(píng)價(jià)模型,做好評(píng)價(jià)體系結(jié)構(gòu)

高職院校的評(píng)價(jià)體系側(cè)重于學(xué)生的學(xué)業(yè)成績(jī)、社會(huì)實(shí)踐、比賽等常規(guī)數(shù)據(jù),數(shù)據(jù)相對(duì)單一,為了能夠更加客觀、科學(xué)地對(duì)學(xué)生進(jìn)行評(píng)價(jià),并對(duì)其實(shí)習(xí)就業(yè)能夠作出預(yù)測(cè)及指導(dǎo),本課題目標(biāo)研究構(gòu)造了更加細(xì)致全面的評(píng)價(jià)體系結(jié)構(gòu),增加評(píng)價(jià)主體,加強(qiáng)過程評(píng)價(jià),做到多角度、全方位評(píng)價(jià),從而使評(píng)價(jià)更為科學(xué)化,能夠體現(xiàn)職業(yè)教育的特色,最終為學(xué)生崗位實(shí)習(xí)、就業(yè)及職業(yè)發(fā)展作出預(yù)測(cè)及導(dǎo)向,評(píng)價(jià)體系構(gòu)建的具體思路及工作流程如圖1所示。

2.依據(jù)《中國(guó)學(xué)生發(fā)展核心素養(yǎng)》確定評(píng)價(jià)體系指標(biāo)

由北京師范大學(xué)牽頭,多所高校共同參與的聯(lián)合課題組歷經(jīng)三年研究后得出,《中國(guó)學(xué)生發(fā)展核心素養(yǎng)》以培養(yǎng)“全面發(fā)展的人”為核心,分為文化基礎(chǔ)、自主發(fā)展、社會(huì)參與三個(gè)方面,并綜合表現(xiàn)為人文底蘊(yùn)、科學(xué)精神、學(xué)會(huì)學(xué)習(xí)、健康生活、責(zé)任擔(dān)當(dāng)、實(shí)踐創(chuàng)新等六大素養(yǎng),具體細(xì)化為國(guó)家認(rèn)同等18個(gè)基本要點(diǎn)[4]。

根據(jù)國(guó)家對(duì)《中國(guó)學(xué)生發(fā)展核心素養(yǎng)》的描述及多方面調(diào)研的基礎(chǔ)上,本課題確定了評(píng)價(jià)體系的一級(jí)指標(biāo)和二級(jí)指標(biāo),同時(shí)確定相應(yīng)指標(biāo)的權(quán)值,具體可見表1。

3.直接評(píng)價(jià)與間接評(píng)價(jià)相結(jié)合,提升評(píng)價(jià)的客觀性和準(zhǔn)確度

相對(duì)單一的課程評(píng)價(jià),本課題采用直接評(píng)價(jià)和間接評(píng)價(jià)的方式,將評(píng)價(jià)主體由教師延展至學(xué)生個(gè)體、企業(yè)導(dǎo)師、用人單位。同時(shí),借助“1+X”證書、職業(yè)技能大賽、社會(huì)實(shí)踐等客觀事件,通過學(xué)生的參與度、完成情況,對(duì)學(xué)生進(jìn)行評(píng)量,從而使評(píng)價(jià)體系更加客觀和完善,具體的評(píng)價(jià)方式及方法見圖2。

直接評(píng)價(jià)是通過專業(yè)課程、公共課程、職業(yè)認(rèn)證、技能大賽等數(shù)據(jù)直接進(jìn)行量化,數(shù)據(jù)客觀、及時(shí);間接評(píng)價(jià)是通過用人單位、校友的反饋形成評(píng)價(jià)結(jié)果,評(píng)價(jià)相對(duì)主觀且具有一定的滯后性,但其在學(xué)生職業(yè)生涯發(fā)展中具有舉足輕重的作用。直接評(píng)價(jià)和間接評(píng)價(jià)相結(jié)合,可以彌補(bǔ)各自的不足,從而提升評(píng)價(jià)的客觀性和準(zhǔn)確度,同時(shí)也使評(píng)價(jià)具有可持續(xù)性。

4.多渠道采集數(shù)據(jù),加強(qiáng)過程評(píng)價(jià),及時(shí)反饋評(píng)價(jià)結(jié)果

本課程研究的多維評(píng)價(jià)體系借助大數(shù)據(jù)采集技術(shù)拓寬數(shù)據(jù)采集的渠道。例如,專業(yè)課程任課教師可以通過課堂中學(xué)生實(shí)踐任務(wù)完成的情況、學(xué)生對(duì)提問的回應(yīng)情況、課堂中的小測(cè)及學(xué)生完成當(dāng)堂課作業(yè)的情況給出評(píng)定,使課程的過程評(píng)價(jià)更加具備實(shí)時(shí)性,對(duì)于學(xué)習(xí)上懈怠的學(xué)生能夠及時(shí)發(fā)現(xiàn)、及時(shí)預(yù)警,盡早發(fā)現(xiàn)學(xué)生在學(xué)業(yè)上存在的問題并予以糾正。

高職院校學(xué)生的崗位能力及職業(yè)素養(yǎng)相對(duì)抽象,在測(cè)評(píng)時(shí)難以量化,針對(duì)這樣的情況,多維評(píng)價(jià)體系在過程評(píng)價(jià)中加入專業(yè)技能指標(biāo)、數(shù)字能力指標(biāo),通過實(shí)訓(xùn)課程教師評(píng)價(jià)、企業(yè)導(dǎo)師評(píng)價(jià)等方式采集相應(yīng)數(shù)據(jù),結(jié)合“1+X”認(rèn)證等評(píng)價(jià)組織對(duì)學(xué)生實(shí)踐能力的考核,形成學(xué)生職業(yè)能力圖譜,讓學(xué)生直觀了解自身在實(shí)踐能力上的優(yōu)勢(shì)和劣勢(shì),在對(duì)標(biāo)相應(yīng)崗位能力要求的基礎(chǔ)上有目的地進(jìn)行提升,為崗位實(shí)習(xí)作好相應(yīng)準(zhǔn)備。

5.DMNI算法做好數(shù)據(jù)預(yù)處理

評(píng)價(jià)體系指標(biāo)確定后,通過多渠道采集學(xué)生數(shù)據(jù),其中學(xué)科考試成績(jī)、日常行為、生理健康指標(biāo)等客觀數(shù)據(jù)結(jié)構(gòu)簡(jiǎn)單卻具備真實(shí)性,但心理評(píng)測(cè)、認(rèn)知診斷等數(shù)據(jù)主管性較強(qiáng),通常以問卷形式進(jìn)行數(shù)據(jù)采集。如果學(xué)生態(tài)度不夠認(rèn)真,隨機(jī)選擇選項(xiàng),會(huì)導(dǎo)致評(píng)價(jià)結(jié)果不準(zhǔn)確。針對(duì)這種情況,本課題采用DMNI算法,即在數(shù)據(jù)量較大時(shí),先對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。如,對(duì)于屬性相容的記錄存放于集合A,對(duì)于屬性不相容的記錄存放于集合B,接下來(lái)對(duì)B建立區(qū)分矩陣,當(dāng)兩條記錄的評(píng)測(cè)結(jié)果為不相容數(shù)據(jù),加入同類的第三條數(shù)據(jù),與屬性不相容的兩條數(shù)據(jù)進(jìn)行屬性匹配,保留屬性相容的兩條數(shù)據(jù),刪除與之不匹配的記錄,從而去除臟數(shù)據(jù),讓評(píng)測(cè)的結(jié)果更加接近于真實(shí)情況。

6.使用專業(yè)數(shù)據(jù)分析軟件形成學(xué)生能力圖譜及數(shù)字畫像

圍繞學(xué)生、教師、學(xué)校、企業(yè)等多元主體,針對(duì)學(xué)生的綜合素質(zhì)和個(gè)性化差異,多方位全方面采集數(shù)據(jù)。同時(shí),在獲取數(shù)據(jù)后,通過DMNI算法去除臟數(shù)據(jù),將預(yù)處理后的數(shù)據(jù)投入專業(yè)數(shù)據(jù)分析軟件,以權(quán)值作為標(biāo)準(zhǔn)調(diào)整相應(yīng)閾值,即可得出學(xué)生能力圖譜。能力圖譜分對(duì)應(yīng)一級(jí)指標(biāo),宏觀反映學(xué)生的思想道德素質(zhì)、科學(xué)文化素質(zhì)、職業(yè)技能素質(zhì)、身心健康及創(chuàng)新創(chuàng)業(yè)能力,教師可以通過能力圖譜對(duì)學(xué)生作出更專業(yè)的就業(yè)導(dǎo)向;數(shù)字畫像對(duì)應(yīng)二級(jí)指標(biāo),從更為細(xì)致的角度反映出學(xué)生差異性和各自的特點(diǎn),以便于學(xué)生更好地對(duì)自身進(jìn)行評(píng)價(jià),從而在發(fā)展方向上作出更好的選擇。

7.生成數(shù)字畫像后,采用BP算法優(yōu)化模型

為了提升數(shù)字畫像的準(zhǔn)確度,本課題采用人工神經(jīng)元中的BP算法訓(xùn)練評(píng)價(jià)模型,采集2019級(jí)、2020級(jí)學(xué)生的就業(yè)實(shí)習(xí)數(shù)據(jù),投入評(píng)價(jià)模型,通過數(shù)字畫像預(yù)測(cè)其就業(yè)趨勢(shì),將其與學(xué)生真實(shí)的就業(yè)狀況和職業(yè)發(fā)展情況進(jìn)行對(duì)比,并根據(jù)所得學(xué)生畫像分析其專業(yè)能力、身心成長(zhǎng)狀況。如果評(píng)估體系實(shí)際輸出結(jié)果與真實(shí)結(jié)果不相符,則將輸出的誤差通過隱含層逐層反傳到輸入層,同時(shí)將誤差分?jǐn)偟礁鲗拥母鱾€(gè)單元中,從各層中得到誤差信號(hào),作為調(diào)整各層即評(píng)估指標(biāo)權(quán)值的依據(jù)。通過反復(fù)訓(xùn)練,最終使評(píng)價(jià)系統(tǒng)的評(píng)價(jià)結(jié)果和趨勢(shì)預(yù)測(cè)與真實(shí)值達(dá)到較高匹配度,從而提升評(píng)價(jià)系統(tǒng)的準(zhǔn)確性。

四、形成學(xué)生綜合成像體系,在學(xué)業(yè)及學(xué)生職業(yè)生涯中提供輔助決策

評(píng)價(jià)體系對(duì)學(xué)生進(jìn)行的數(shù)據(jù)采集是全時(shí)空多方位的,學(xué)生的數(shù)字畫像可在學(xué)期中和學(xué)期末分時(shí)段形成,因此可根據(jù)數(shù)據(jù)預(yù)測(cè)學(xué)生可能出現(xiàn)的問題,從而及時(shí)發(fā)出預(yù)警,尤其在心理健康方面,學(xué)校可以及早進(jìn)行疏導(dǎo)和督促,以避免嚴(yán)重后果的發(fā)生。

評(píng)價(jià)體系通過不同角度、多層面收集的數(shù)據(jù),在不間斷持續(xù)分析的基礎(chǔ)上,能夠觀測(cè)學(xué)生的學(xué)業(yè)成長(zhǎng)路徑以及思想、身心成熟情況,通過BP算法能夠形成收斂的趨勢(shì),從而指導(dǎo)學(xué)生選擇更為適合的崗位,更好地服務(wù)學(xué)生就業(yè)及職業(yè)生涯發(fā)展。

五、結(jié)語(yǔ)

學(xué)生評(píng)價(jià)是教學(xué)過程中比較重要的環(huán)節(jié),本課題研究基于國(guó)家對(duì)《中國(guó)學(xué)生發(fā)展核心素養(yǎng)》的描述確立了一級(jí)宏觀指標(biāo)和二級(jí)微觀指標(biāo),在此基礎(chǔ)上構(gòu)建評(píng)價(jià)體系。在評(píng)價(jià)體系確立后,利用大數(shù)據(jù)采集技術(shù)多途徑采集數(shù)據(jù),多指標(biāo)客觀衡量,DMNI算法去除無(wú)效數(shù)據(jù),專業(yè)數(shù)據(jù)分析軟件生成可視化能力圖譜和數(shù)字畫像,在學(xué)生的學(xué)習(xí)過程中對(duì)學(xué)業(yè)成績(jī)和學(xué)生的身心健康進(jìn)行監(jiān)測(cè),從而實(shí)現(xiàn)動(dòng)態(tài)監(jiān)測(cè)、及時(shí)預(yù)警。同時(shí),課題組對(duì)畢業(yè)生進(jìn)行回訪,通過問卷、座談方式得到學(xué)生的就業(yè)數(shù)據(jù),結(jié)合就業(yè)質(zhì)量評(píng)價(jià),與評(píng)價(jià)系統(tǒng)得出的數(shù)字畫像相對(duì)比,通過BP算法訓(xùn)練多維評(píng)價(jià)體系,使其能夠快速收斂,從而使學(xué)生的能力圖譜、數(shù)字畫像更為準(zhǔn)確,教師可據(jù)此對(duì)學(xué)生進(jìn)行崗位推薦,學(xué)生可據(jù)此其進(jìn)行更好的自我認(rèn)知,便于在崗位實(shí)習(xí)時(shí)作出正確的選擇。