大數(shù)據(jù)支持下學(xué)生綜合素質(zhì)評價(jià)模型的構(gòu)建研究

方遠(yuǎn)豪 章賽鳳 羅力強(qiáng) 王晶晶 韓孟羽

摘要：綜合素質(zhì)評價(jià)應(yīng)用于教育場景雖然在一定程度上變革了教育評價(jià)的方向，但在實(shí)踐中也存在一些困境，如數(shù)據(jù)采集單一、評價(jià)結(jié)果割裂、評價(jià)缺乏立體化與整體性等。為突破這一困境，本文結(jié)合大數(shù)據(jù)技術(shù)，構(gòu)建立體全面的中小學(xué)生綜合素質(zhì)評價(jià)體系，從整體性出發(fā)對學(xué)生的素質(zhì)發(fā)展進(jìn)行綜合評價(jià)。

關(guān)鍵詞：大數(shù)據(jù)；綜合素質(zhì)評價(jià)；核心素養(yǎng)；層次分析法

中圖分類號：G434? 文獻(xiàn)標(biāo)識碼：A? 論文編號：1674-2117（2024）10-0071-05

問題的提出

盡管綜合素質(zhì)評價(jià)已在大部分中小學(xué)得到落實(shí)，但從其開展評價(jià)工作的實(shí)際效果來看，現(xiàn)有的中小學(xué)綜合素質(zhì)評價(jià)方式雖然已經(jīng)從教師主觀評價(jià)向?qū)W生量表自評過渡，但仍然以主觀性評價(jià)和總結(jié)性評價(jià)為主。學(xué)術(shù)界和教育界普遍采用量表或階段性分?jǐn)?shù)來從不同維度評價(jià)學(xué)生的五育表現(xiàn)，但缺少對學(xué)生發(fā)展的立體化評價(jià)以及綜合素質(zhì)整體表現(xiàn)的評價(jià)。隨著大數(shù)據(jù)、人工智能技術(shù)的發(fā)展，基于多模態(tài)數(shù)據(jù)的采集與分析實(shí)現(xiàn)追蹤學(xué)生的成長記錄，但如何將不同維度的數(shù)據(jù)轉(zhuǎn)化為對學(xué)生綜合素質(zhì)的整體性評價(jià)是實(shí)現(xiàn)學(xué)生綜合評價(jià)的關(guān)鍵環(huán)節(jié)。因此，本研究采用層次分析法構(gòu)建學(xué)生綜合素質(zhì)評價(jià)體系，以期為學(xué)生綜合素質(zhì)的整體性評價(jià)和立體化評價(jià)提供思路。

研究現(xiàn)狀

1.學(xué)生綜合素質(zhì)評價(jià)指標(biāo)體系研究現(xiàn)狀

研究表明，中小學(xué)綜合素質(zhì)評價(jià)體系主要包括中國特色的綜合素質(zhì)評價(jià)體系和源自聯(lián)合國經(jīng)合組織的核心素養(yǎng)評價(jià)體系。我國學(xué)者對核心素養(yǎng)評價(jià)體系進(jìn)行本土化后，面向我國中小學(xué)生發(fā)布了《中國學(xué)生發(fā)展核心素養(yǎng)框架》。學(xué)生綜合素質(zhì)評價(jià)的研究存在三個(gè)階段：①研究之初，以學(xué)生的學(xué)業(yè)成績作為學(xué)生綜合素質(zhì)評價(jià)的主要內(nèi)容。②隨著素質(zhì)教育理念的深入，開始聚焦于五育體系或核心素養(yǎng)體系單一視角的評價(jià)。③隨著學(xué)生綜合素質(zhì)評價(jià)研究的深入，學(xué)術(shù)界開始關(guān)注兩者融合的復(fù)合型視角評價(jià)，即構(gòu)建既能體現(xiàn)學(xué)生五育水平，又能考核學(xué)生未來發(fā)展基本素養(yǎng)的評價(jià)指標(biāo)體系。

2.學(xué)生綜合素質(zhì)評價(jià)范式的研究現(xiàn)狀

對于如何精準(zhǔn)評價(jià)學(xué)生的綜合素質(zhì)，討論集中在兩個(gè)方面：①數(shù)據(jù)采集方式。在評價(jià)實(shí)踐中，存在著數(shù)據(jù)維度不全面、采集方式主觀化的問題，其表現(xiàn)為關(guān)注總結(jié)性評價(jià)，忽視發(fā)展性評價(jià)；注重主觀性評價(jià)，忽視客觀性評價(jià)。實(shí)踐表明，綜合素質(zhì)評價(jià)數(shù)據(jù)采集體量較為龐大，數(shù)據(jù)采集渠道較為復(fù)雜，因此對數(shù)據(jù)采集方法提出了更高的要求。②評價(jià)方式的探討。劉志軍等指出綜合素質(zhì)是分項(xiàng)評價(jià)還是綜合評價(jià)，需要在認(rèn)識層面進(jìn)一步思考。[1]其原因在于對綜合的概念存在爭議，一種觀點(diǎn)認(rèn)為綜合是融合了各種能力與素養(yǎng)的復(fù)合體，另一種觀點(diǎn)認(rèn)為綜合屬于一種可測量的能力。綜合素質(zhì)評價(jià)目前仍處在探索的初級階段，因此其概念沒有得到明確的定義。[2]綜上所述，本研究認(rèn)同第一種觀點(diǎn)，即綜合素質(zhì)評價(jià)應(yīng)是面向?qū)W生全面能力的評價(jià)，因此需要挖掘不同評價(jià)維度間的內(nèi)在關(guān)系，對學(xué)生的發(fā)展進(jìn)行立體化評價(jià)。

學(xué)生綜合素質(zhì)評價(jià)指標(biāo)體系的基本框架

1.數(shù)據(jù)采集模型

目前，綜合素質(zhì)評價(jià)實(shí)踐的數(shù)據(jù)采集局限于學(xué)生的學(xué)業(yè)成績、體測成績以及量表采集，數(shù)據(jù)采集的覆蓋面較小，無法精準(zhǔn)評價(jià)學(xué)生的綜合素質(zhì)。教育大數(shù)據(jù)可以實(shí)現(xiàn)外顯數(shù)據(jù)的采集，通過模型轉(zhuǎn)換，完成內(nèi)隱數(shù)據(jù)的分析。然而，我國大部分學(xué)校雖然已經(jīng)建設(shè)了智慧校園，但已有的基礎(chǔ)設(shè)備尚無法實(shí)現(xiàn)所有數(shù)據(jù)的智能化采集與分析，且基于外顯數(shù)據(jù)的采集無法全面分析學(xué)生的心理狀態(tài)，因此需要使用間接采集與伴隨式數(shù)據(jù)采集相結(jié)合的方式全面采集學(xué)生的行為與心理數(shù)據(jù)。伴隨式數(shù)據(jù)采集即通過系統(tǒng)、設(shè)備對學(xué)生的行為數(shù)據(jù)進(jìn)行采集；間接采集則是通過測試、量表、同伴評價(jià)、教師評價(jià)等方式采集信息。綜上所述，本研究構(gòu)建了學(xué)生綜合素質(zhì)的數(shù)據(jù)采集模型，如圖1所示。

2.綜合素質(zhì)評價(jià)模型

綜合素質(zhì)和核心素養(yǎng)都是時(shí)代發(fā)展對學(xué)生發(fā)展提出的要求，其結(jié)果均是為了推動(dòng)學(xué)生全面而個(gè)性化地發(fā)展。[3]從兩者內(nèi)涵來看，綜合素質(zhì)（以“五育融合”為代表）聚焦于學(xué)生在學(xué)習(xí)成長過程中的基本能力與學(xué)業(yè)表現(xiàn)，是學(xué)生成長發(fā)展中的基礎(chǔ)性成分；核心素養(yǎng)聚焦于學(xué)生在未來發(fā)展的重要能力與必備品質(zhì)，是學(xué)生自我發(fā)展中的必要性成分。[4]因此，從內(nèi)容復(fù)雜度而言，核心素養(yǎng)比綜合素質(zhì)更全面。此外，核心素養(yǎng)聚焦于學(xué)生的能力，無法給出直接的評價(jià)，需要采集學(xué)生在不同維度的行為表現(xiàn)構(gòu)建相應(yīng)的評價(jià)模型，對學(xué)生的核心素養(yǎng)進(jìn)行賦值評價(jià)。[5]綜上所述，本研究在中國學(xué)生發(fā)展核心素養(yǎng)框架的基礎(chǔ)上，融合五育評價(jià)采集的數(shù)據(jù)模型，從教育實(shí)際出發(fā)，構(gòu)建了核心素養(yǎng)視域下的綜合素質(zhì)評價(jià)體系，具體內(nèi)容如上頁圖2所示。

指標(biāo)體系的權(quán)重計(jì)算

1.層次分析法

計(jì)算科學(xué)合理的指標(biāo)權(quán)重是對學(xué)生綜合素質(zhì)進(jìn)行評價(jià)的關(guān)鍵前提。權(quán)重的計(jì)算方法包括熵權(quán)法、層次分析法、均值法等。學(xué)生綜合素質(zhì)評價(jià)是一個(gè)多目標(biāo)決策問題，因此需要將各子維度數(shù)值通過一定的算法轉(zhuǎn)化成為綜合的數(shù)值，由此從多目標(biāo)決策問題轉(zhuǎn)變?yōu)閱文繕?biāo)決策問題，而層次分析法融合了量化分析與質(zhì)性分析，多目標(biāo)決策問題轉(zhuǎn)化為不同層次的單目標(biāo)決策問題，質(zhì)性問題轉(zhuǎn)變?yōu)榱炕?jì)算問題[6]，適用于綜合素質(zhì)評價(jià)指標(biāo)權(quán)重的計(jì)算。

2.問卷調(diào)研

本次調(diào)研的對象均為教育學(xué)類研究生，包括中小學(xué)一線教師、大學(xué)教師、教育系在讀博士、教育科研機(jī)構(gòu)（如教育科學(xué)研究院、教育技術(shù)中心等）研究人員。

（1）專家積極性系數(shù)

專家積極性系數(shù)反映調(diào)研對象對本次調(diào)研的積極性。學(xué)術(shù)界普遍認(rèn)為量表回收率70%以上代表專家積極性系數(shù)達(dá)到了較高的水平，本次調(diào)研共發(fā)出量表30份，收回量表30份，回收率為100%，表明專家積極性系數(shù)較高。

（2）專家權(quán)威系數(shù)

相關(guān)領(lǐng)域內(nèi)權(quán)威專家給出的結(jié)論一般具有較高的可信度。專家權(quán)威系數(shù)反映在學(xué)生評價(jià)的研究領(lǐng)域內(nèi)，調(diào)研對象是否具有權(quán)威性，同時(shí)反映了本次調(diào)研結(jié)果的信度與合理性。專家權(quán)威系數(shù)（Cr）通過專家熟悉程度（Cs）和判斷依據(jù)（Ca）來計(jì)算：Cr=（Cs+Ca）/2。

其中，專家熟悉程度是指調(diào)研對象對研究內(nèi)容的了解程度，一般采用量表收集。做出判斷的依據(jù)是指專家對問卷做出回答的影響因素，包括相關(guān)理論、實(shí)踐經(jīng)驗(yàn)、文獻(xiàn)閱讀和個(gè)人直覺，對應(yīng)量化賦值如表1所示。專家權(quán)威系數(shù)越大，表明調(diào)研結(jié)果可信度越高，學(xué)術(shù)上認(rèn)為Cr≥0.7即表明調(diào)研結(jié)果可信度高。本次調(diào)研的專家熟悉程度（Cs）為0.7455，判斷依據(jù)（Ca）賦值后結(jié)果為0.7873，專家權(quán)威系數(shù)（Cr）為0.7664，表明本研究的調(diào)研結(jié)果可信度較高。

3.學(xué)生綜合素質(zhì)評價(jià)指標(biāo)權(quán)重的計(jì)算

層次分析法計(jì)算權(quán)重的步驟如下：

（1）構(gòu)建層次結(jié)構(gòu)模型

根據(jù)文獻(xiàn)調(diào)研，確定3個(gè)一級指標(biāo)、6個(gè)二級指標(biāo)及19個(gè)三級指標(biāo)。

（2）構(gòu)造判斷矩陣

為了精準(zhǔn)得出矩陣中各個(gè)指標(biāo)的權(quán)重，需要在同一層級各指標(biāo)之間進(jìn)行兩兩互比，判斷哪個(gè)指標(biāo)更為重要以及重要的程度。本研究采用9級比例標(biāo)尺計(jì)算權(quán)重，判斷矩陣的賦值規(guī)則如下頁表2所示。

根據(jù)調(diào)研的結(jié)果，構(gòu)造n階判斷矩陣Aij（nxn）。以構(gòu)造的其中一個(gè)判斷矩陣為例，如下頁表3所示。判斷矩陣需滿足以下條件：①Aij>0；②Aij=1/Aji；③Aii=1。

（3）層次排序一致性檢驗(yàn)

為了判斷本研究所構(gòu)建的矩陣是否滿足具有完全的一致性，需要對層次的排序進(jìn)行一致性檢驗(yàn)。其步驟如下：

①指標(biāo)一致性（CI）的計(jì)算。對矩陣歸一化處理后，得到判斷矩陣的特征向量，其次計(jì)算最大特征根λmax。計(jì)算公式如下所示，其中A為判斷矩陣，（AW）i表示AW的第i個(gè)元素。

在得出最大特征根后，計(jì)算指標(biāo)一致性，計(jì)算公式如下所示，其中n為判斷矩陣的階數(shù)。指標(biāo)一致性的值越小，表明判斷矩陣的一致性越高。

②一致性比率（CR）的計(jì)算。若一致性比率的值小于0.10，表明判斷矩陣的一致性較高。計(jì)算公式如下所示。

本研究共構(gòu)造300個(gè)判斷矩陣，經(jīng)計(jì)算所有矩陣的一致性比率均小于0.10，表明層次排序一致性檢驗(yàn)結(jié)果良好。以一級指標(biāo)構(gòu)造的判斷矩陣為例，層次總排序的一致性檢驗(yàn)結(jié)果如表4所示。

（4）計(jì)算指標(biāo)權(quán)重

本研究采用幾何平均法對學(xué)生綜合素質(zhì)評級權(quán)重進(jìn)行計(jì)算，結(jié)果如表5所示。其具體步驟為：

①計(jì)算判斷矩陣每一行各因素的乘積。

②每一行的乘積開m次方，m為判斷矩陣的階數(shù)。

③通過公式計(jì)算得到各指標(biāo)的權(quán)重，計(jì)算公式如下所示。

結(jié)論與討論

本研究依托大數(shù)據(jù)環(huán)境，在中國學(xué)生發(fā)展核心素養(yǎng)框架下構(gòu)建學(xué)生綜合素質(zhì)評價(jià)指標(biāo)體系，同時(shí)采用層次分析法對指標(biāo)的權(quán)重進(jìn)行計(jì)算?？傮w而言，自我發(fā)展最為重要，社會參與次之，文化基礎(chǔ)最小。結(jié)合已有的研究成果和新時(shí)代的教育理念，該結(jié)果具有較高的合理性。

在6個(gè)二級維度中，在各自一級維度中占比最高的分別是責(zé)任擔(dān)當(dāng)、人文底蘊(yùn)和學(xué)會學(xué)習(xí)。隨著素質(zhì)教育的提出，培養(yǎng)學(xué)生責(zé)任擔(dān)當(dāng)?shù)娜蝿?wù)成為學(xué)生發(fā)展素養(yǎng)的重中之重。就人文底蘊(yùn)與科學(xué)精神的重要性排序而言，劉慶昌從理論層面論證了人文底蘊(yùn)的重要性大于科學(xué)精神。[7]本研究從數(shù)據(jù)層面驗(yàn)證了這一結(jié)論。從權(quán)重上看，學(xué)會學(xué)習(xí)與健康生活的權(quán)重相近，表明兩者的重要性差異較小，兩者相輔相成。在19個(gè)三級維度中，在各自二級維度中占比最高的是道德行為、問題解決、人文積淀、科學(xué)理解、心理狀態(tài)和學(xué)習(xí)策略。該結(jié)論與已有的研究較為匹配，同時(shí)驗(yàn)證了其科學(xué)性。

需要指出的是，本研究認(rèn)為量化分析（為學(xué)生的綜合素質(zhì)提供客觀的評價(jià)）可以作為學(xué)生整體表現(xiàn)的參考指標(biāo)，但不否認(rèn)主觀評價(jià)的作用。數(shù)據(jù)為教育決策者提供參考而不是取代決策。綜合素質(zhì)評價(jià)應(yīng)是量化評價(jià)與主觀評價(jià)之間的結(jié)合。本研究提出的綜合素質(zhì)評價(jià)框架作為教師對學(xué)生發(fā)展評價(jià)的一個(gè)參考，結(jié)合教師對學(xué)生的主觀認(rèn)知，提供更加立體化的畫像，從而使得學(xué)生綜合素質(zhì)評價(jià)更具完整性與立體性。

綜上所述，本研究對綜合素質(zhì)評價(jià)的研究現(xiàn)狀與實(shí)踐困境進(jìn)行了梳理，在此基礎(chǔ)上借鑒學(xué)生發(fā)展核心素養(yǎng)框架，融合五育評價(jià)構(gòu)建了綜合素質(zhì)評價(jià)指標(biāo)體系，并通過層次分析法計(jì)算各指標(biāo)的權(quán)重，同時(shí)對計(jì)算結(jié)果的合理性進(jìn)行了分析與討論。結(jié)果表明，綜合素質(zhì)評價(jià)指標(biāo)體系的權(quán)重較為合理，可以為學(xué)生綜合素質(zhì)的診斷與預(yù)測提供參考依據(jù)。同時(shí)，本研究也存在一些不足，如：評價(jià)對象面向中小學(xué)的學(xué)生，需要進(jìn)一步細(xì)化；權(quán)重調(diào)研的專家數(shù)量有限；未能開展大量的綜合素質(zhì)評價(jià)，因此需要進(jìn)一步地研究與驗(yàn)證。在今后的工作中，為了更好地驗(yàn)證綜合素質(zhì)評價(jià)指標(biāo)體系的信效度，本研究要將評價(jià)工具應(yīng)用于學(xué)生綜合素質(zhì)一線評價(jià)，實(shí)現(xiàn)對評價(jià)指標(biāo)體系的驗(yàn)證與迭代優(yōu)化，不斷修正相關(guān)指標(biāo)與權(quán)重等，最終形成完整、成熟的中小學(xué)生綜合素質(zhì)評價(jià)指標(biāo)體系。

參考文獻(xiàn)：

[1]劉志軍，袁月.初中學(xué)生綜合素質(zhì)評價(jià)的現(xiàn)實(shí)困境與破解之道[J].中國考試，2021（12）：32-38.

[2]董秀華.綜合素質(zhì)評價(jià)實(shí)施過程中的共識、爭議與隱憂[J].教育發(fā)展研究，2020，40（22）：28-41.

[3]張紅霞，侯小妮.綜合素質(zhì)與核心素養(yǎng)辨析[J].上海教育科研，2020（05）：15-19.

[4]柴喚友，陳麗，鄭勤華，等.學(xué)生綜合評價(jià)研究新趨向：從綜合素質(zhì)、核心素養(yǎng)到綜合素養(yǎng)[J].中國電化教育，2022（03）：36-43.

[5]程龍.綜合素質(zhì)評價(jià)對學(xué)生發(fā)展核心素養(yǎng)評價(jià)的啟示[J].現(xiàn)代教育管理，2019（12）：36-42.

[6]王佑鎂，李寧宇，南希烜，等.基于層次分析法的數(shù)字閱讀素養(yǎng)測評指標(biāo)體系建構(gòu)研究[J].現(xiàn)代遠(yuǎn)距離教育，2022（04）：23-31.

[7]劉慶昌.人文底蘊(yùn)與科學(xué)精神——基于《中國學(xué)生發(fā)展核心素養(yǎng)》的思考[J].教育發(fā)展研究，2017，37（04）：35-41.

作者簡介：方遠(yuǎn)豪（1995—），通訊作者，浙江萬朋數(shù)智科技股份有限公司產(chǎn)品經(jīng)理，碩士研究生，研究方向?yàn)榻逃髷?shù)據(jù)。章賽鳳（1996—），碩士研究生，杭州市拱墅區(qū)教育研究院研究員，碩士研究生，研究方向?yàn)榻逃u價(jià)。羅力強(qiáng)（1996—），碩士研究生，華南師范大學(xué)附屬小學(xué)信息技術(shù)教師，研究方向?yàn)榻逃畔⒒?。王晶晶?995—），碩士研究生，?？谑薪逃芯颗嘤?xùn)院教研員，研究方向?yàn)榻逃u價(jià)。韓孟羽（1996—），碩士研究生，浙江萬朋數(shù)智科技股份有限公司產(chǎn)品經(jīng)理，研究方向?yàn)橹腔壅n堂。