大規(guī)模教育考試診斷性分?jǐn)?shù)報(bào)告的研發(fā)與應(yīng)用
——以青島市初中畢業(yè)生學(xué)業(yè)水平考試成績報(bào)告單為例

劉海龍

我國大規(guī)模教育考試承擔(dān)著評價(jià)、診斷、選拔等多重任務(wù)，是教育評價(jià)制度改革的關(guān)鍵一環(huán)?，F(xiàn)階段的大規(guī)模教育考試如中考和高考，考試組織嚴(yán)密規(guī)范，考試命題和數(shù)據(jù)的質(zhì)量很高，但也存在一些有待完善之處，如考試大多只報(bào)告原始分?jǐn)?shù)而缺少對內(nèi)容領(lǐng)域、能力層級、學(xué)科素養(yǎng)發(fā)展水平的深層次診斷與反饋，如此，考試分?jǐn)?shù)容易變成評價(jià)學(xué)生學(xué)業(yè)發(fā)展和教師教學(xué)質(zhì)量的唯一價(jià)值導(dǎo)向，更可能進(jìn)一步加劇教育質(zhì)量觀和成才觀為考試分?jǐn)?shù)所左右的狀況。[1]在這樣的背景下，創(chuàng)新考試分?jǐn)?shù)報(bào)告模式，為公眾提供更加專業(yè)化、多樣化的服務(wù)型評價(jià)[2]，充分發(fā)揮大規(guī)模教育考試的評價(jià)、診斷和反饋功能勢在必行。

到目前為止，國內(nèi)對改革和創(chuàng)新大規(guī)模考試分?jǐn)?shù)報(bào)告的實(shí)踐研究尚不多見，較有影響力的是2011 年云南和海南兩省在教育部考試中心的主導(dǎo)下實(shí)施的“云海工程”。[3][4]“云海工程”采用原始分和百分等級分?jǐn)?shù)為高考考生提供學(xué)科及內(nèi)容領(lǐng)域的分?jǐn)?shù)報(bào)告，就改革和完善高考分?jǐn)?shù)報(bào)告方式進(jìn)行了有意義的探索。

國際上的許多大型教育測評項(xiàng)目都研發(fā)了比較成熟的分?jǐn)?shù)報(bào)告系統(tǒng)。作為美國高等學(xué)校入學(xué)考試之一的ACT，可為考生提供StudentReport[5]、High School Report[6]、College Report[7]等分?jǐn)?shù)報(bào)告，這些分?jǐn)?shù)報(bào)告從多個(gè)維度評價(jià)學(xué)生的學(xué)業(yè)水平[8]，同時(shí)為考生提供大學(xué)專業(yè)規(guī)劃建議，有效地實(shí)現(xiàn)了考試的選拔、診斷、生涯規(guī)劃指導(dǎo)等功能[9]。國際學(xué)生評價(jià)項(xiàng)目（PISA）設(shè)計(jì)使用基于內(nèi)容領(lǐng)域的評價(jià)框架，構(gòu)建能力水平量表對學(xué)生素養(yǎng)進(jìn)行測評，并結(jié)合影響學(xué)業(yè)成就的背景因素，提供直觀的多元化評價(jià)報(bào)告，其測評理念與方法非常值得我們借鑒參考。[10][11]

青島市招生考試院以為大眾提供優(yōu)質(zhì)的考試評價(jià)服務(wù)為價(jià)值取向，于2017 年開始研發(fā)面向初中畢業(yè)生的網(wǎng)絡(luò)版診斷性分?jǐn)?shù)報(bào)告——“青島市初中畢業(yè)生學(xué)業(yè)水平考試成績報(bào)告單”。該分?jǐn)?shù)報(bào)告自2018 年正式發(fā)布以來，經(jīng)持續(xù)的研究和調(diào)整改進(jìn)，已經(jīng)可以為中考考生提供能直接運(yùn)用于學(xué)習(xí)改進(jìn)以及初高中階段學(xué)習(xí)銜接的多角度、深層次的評價(jià)信息，并能幫助考生在高中階段課程選擇、生涯規(guī)劃等方面進(jìn)行初步的定位，獲得了良好的社會(huì)反響。這充分說明在大規(guī)模教育考試中合理運(yùn)用分?jǐn)?shù)報(bào)告，可以從更多的維度解釋考試分?jǐn)?shù)的含義，從而更好地促進(jìn)考試的評價(jià)、診斷和反饋功能的發(fā)揮，助力教育評價(jià)的深層次改革。本文嘗試通過對青島市初中畢業(yè)生學(xué)業(yè)水平考試成績報(bào)告單的已有研究與實(shí)踐進(jìn)行總結(jié)，探析大規(guī)模教育考試診斷性分?jǐn)?shù)報(bào)告研發(fā)和應(yīng)用的方法。

一、診斷性分?jǐn)?shù)報(bào)告的研發(fā)路徑

1.測量評價(jià)層面的核心任務(wù)

診斷性分?jǐn)?shù)報(bào)告的研發(fā)在測量評價(jià)層面的核心任務(wù)有3 個(gè)：建構(gòu)分?jǐn)?shù)報(bào)告的診斷性測評框架；依據(jù)所建構(gòu)的測評框架命制試題，并標(biāo)定試題屬性；考試數(shù)據(jù)分析建模與測評框架效度驗(yàn)證。

（1）建構(gòu)分?jǐn)?shù)報(bào)告的診斷性測評框架

如圖1 所示，診斷性測評框架的建構(gòu)就是確定分?jǐn)?shù)報(bào)告的結(jié)構(gòu)和分?jǐn)?shù)轉(zhuǎn)換的方式，并基于學(xué)科知識(shí)領(lǐng)域評價(jià)維度開發(fā)描述性評價(jià)模型。診斷性測評框架應(yīng)在有關(guān)理論、實(shí)踐經(jīng)驗(yàn)以及測評目標(biāo)的基礎(chǔ)上構(gòu)建，各診斷維度的定義要求清晰、可測，并具有積極的教育意義和診斷評價(jià)的價(jià)值，可以被廣泛接受，同時(shí)測評框架對命題而言應(yīng)具有良好的可操作性。

圖1 分?jǐn)?shù)報(bào)告的診斷性測評框架

（2）依據(jù)所建構(gòu)的測評框架命制試題，并標(biāo)定試題屬性

只有以測評框架為藍(lán)圖進(jìn)行命題，所得到的分?jǐn)?shù)報(bào)告才是有意義的，因此需要在命題環(huán)節(jié)依據(jù)測評框架設(shè)計(jì)多維細(xì)目表等命題工具，以管控試題結(jié)構(gòu)和質(zhì)量，保證其診斷效度。首先應(yīng)通過培訓(xùn)，讓命題專家充分理解分?jǐn)?shù)報(bào)告的目標(biāo)、建構(gòu)診斷性測評框架的原理、命題工具的編制與操作方法，以保證所命制的試題能對測評框架進(jìn)行充分表征，使試題真正成為測評框架的實(shí)現(xiàn)形式[12]；其次應(yīng)組建獨(dú)立的審題組進(jìn)行規(guī)范的試題審核[13]；最后，由命、審題專家和測評專家共同完成對試題屬性的標(biāo)定，并綜合分析評估試題對所屬測評維度測量和診斷的效度。

（3）考試數(shù)據(jù)分析建模與測評框架效度驗(yàn)證

在獲取施測數(shù)據(jù)后，需要運(yùn)用經(jīng)典測量理論（CTT）和項(xiàng)目反應(yīng)理論（IRT）來分析評估命題的質(zhì)量?；贑TT方法的評估雖有一定局限性，但也具有易理解、時(shí)效性強(qiáng)等優(yōu)勢。青島市招生考試院主要通過自主開發(fā)的考試數(shù)據(jù)分析系統(tǒng)獲取試卷與試題分?jǐn)?shù)的集中量、差異量、難度、區(qū)分度、作答分布、得分分布等統(tǒng)計(jì)指標(biāo)進(jìn)行分析?；贗RT 的質(zhì)量評估，則主要運(yùn)用Conquest[14]等軟件，采用分部計(jì)分模型（PCM）[15]，獲取能力難度分布圖、ICC 曲線、題總相關(guān)等信息，用以評估測評框架下的命題及其作答反應(yīng)之間的因果關(guān)系是否成立[16]。特別地，由于描述性評價(jià)模型涉及水平等級的劃分，故還需要對其進(jìn)行效度驗(yàn)證，即運(yùn)用AMOS 結(jié)構(gòu)方程模型進(jìn)行驗(yàn)證性因子分析[17]，對描述性評價(jià)模型的試題標(biāo)定進(jìn)行調(diào)整，以求獲得較好的“數(shù)據(jù)—模型”擬合效果。之后，組織學(xué)科專家抽樣審閱試卷，借助對考試數(shù)據(jù)的分析，結(jié)合學(xué)生實(shí)際作答表現(xiàn)對描述性評價(jià)模型進(jìn)行調(diào)整，并逐步明晰考生的不同能力水平與各評價(jià)維度中的分?jǐn)?shù)表現(xiàn)的對應(yīng)關(guān)系。

2.技術(shù)路徑

診斷性分?jǐn)?shù)報(bào)告的研發(fā)由3 個(gè)團(tuán)隊(duì)協(xié)作完成：測量評價(jià)專家和命題專家組成測評組，負(fù)責(zé)分?jǐn)?shù)報(bào)告的理論設(shè)計(jì)、命題及數(shù)據(jù)分析；考務(wù)管理組負(fù)責(zé)考試的組織實(shí)施及閱卷質(zhì)量監(jiān)測；網(wǎng)絡(luò)系統(tǒng)組負(fù)責(zé)根據(jù)測評組的需求進(jìn)行軟件開發(fā)、數(shù)據(jù)處理、系統(tǒng)調(diào)試及網(wǎng)絡(luò)管理。

在實(shí)際操作層面，診斷性分?jǐn)?shù)報(bào)告研發(fā)的技術(shù)實(shí)現(xiàn)路徑如圖2 所示。在中考這樣的高利害考試中分析并報(bào)告考生分?jǐn)?shù)，存在較高的風(fēng)險(xiǎn)，且對分?jǐn)?shù)報(bào)告的科學(xué)性要求也非常高。所以，首先要進(jìn)行充分的調(diào)研，廣泛征求意見，研判風(fēng)險(xiǎn)并采取有效的保障措施，要組織高水平專家評審，對研發(fā)思路和方法進(jìn)行指導(dǎo)，并在此基礎(chǔ)上完成分?jǐn)?shù)報(bào)告的初步設(shè)計(jì)。其次，要集中測評專家、學(xué)科專家以及軟件工程師進(jìn)行多輪研討，研發(fā)測評框架、討論分?jǐn)?shù)報(bào)告的呈現(xiàn)方式、開發(fā)網(wǎng)絡(luò)系統(tǒng)，并使用往年數(shù)據(jù)進(jìn)行初步效果測試。在入闈命題期間，要組織針對性培訓(xùn)，以提升命題的質(zhì)量和診斷效能。最后，在實(shí)施考試獲取數(shù)據(jù)后，要依靠數(shù)據(jù)支撐來完善測評框架。在分?jǐn)?shù)報(bào)告正式發(fā)布前，要進(jìn)行充分的測試，確保分?jǐn)?shù)報(bào)告發(fā)布的萬無一失。

二、診斷性分?jǐn)?shù)報(bào)告的設(shè)計(jì)

圖2 診斷性分?jǐn)?shù)報(bào)告研發(fā)流程

圖3 A 考生分?jǐn)?shù)報(bào)告示例——整體報(bào)告+數(shù)學(xué)學(xué)科報(bào)告

診斷性分?jǐn)?shù)報(bào)告包括整體報(bào)告和學(xué)科報(bào)告兩個(gè)部分，圖3 展示的就是A 考生分?jǐn)?shù)報(bào)告的部分內(nèi)容。

1.整體報(bào)告

整體報(bào)告包含學(xué)科學(xué)業(yè)發(fā)展評價(jià)和綜合能力與素養(yǎng)發(fā)展評價(jià)兩個(gè)維度。

（1）學(xué)科學(xué)業(yè)發(fā)展評價(jià)

學(xué)科學(xué)業(yè)發(fā)展評價(jià)是對考生考試成績的整體評價(jià)，首先包含考生的語文、數(shù)學(xué)、英語、道德與法治、物理、化學(xué)、歷史、地理、生物等9 個(gè)筆試學(xué)科的分?jǐn)?shù)及相應(yīng)等級（等級按區(qū)域中考錄取政策以固定比例劃定）。以往，學(xué)生考試后得到的主要反饋信息是這些科目的原始成績，以青島市初中學(xué)業(yè)水平考試為例，語文、數(shù)學(xué)、英語科的滿分為120 分，物理科的滿分為100 分，化學(xué)、歷史、地理、生物科的滿分為80 分，道德與法治的學(xué)科成績轉(zhuǎn)換為“合格”與“不合格”兩個(gè)等級。因?yàn)楦鱾€(gè)學(xué)科的分?jǐn)?shù)并不在同一個(gè)評價(jià)量尺上，學(xué)生單從原始分?jǐn)?shù)無法獲取更多自己學(xué)科發(fā)展水平的有效信息。同時(shí)，還要考慮在基礎(chǔ)教育階段，學(xué)生成績不允許進(jìn)行排名、在分?jǐn)?shù)報(bào)告中使用百分等級分?jǐn)?shù)可能會(huì)引起誤解等情況。在這樣的情況下，分?jǐn)?shù)報(bào)告可以將各學(xué)科的原始分?jǐn)?shù)以線性轉(zhuǎn)換的方式轉(zhuǎn)換為導(dǎo)出分?jǐn)?shù)T 分?jǐn)?shù)[18]，再將導(dǎo)出分?jǐn)?shù)通過可視化技術(shù)（雷達(dá)圖）來呈現(xiàn)。這種基于統(tǒng)一評價(jià)量尺的分?jǐn)?shù)轉(zhuǎn)換和報(bào)告方式，既能使考生不必糾結(jié)于導(dǎo)出分?jǐn)?shù)的含義，又能清晰顯示學(xué)生在各個(gè)維度上的發(fā)展情況，可以幫助學(xué)生找到自己的優(yōu)勢學(xué)科和劣勢學(xué)科，分?jǐn)?shù)報(bào)告更加直觀易讀。在分?jǐn)?shù)報(bào)告的其他評價(jià)維度中，也采用了同樣的分?jǐn)?shù)轉(zhuǎn)換和報(bào)告方式。

（2）綜合能力與素養(yǎng)發(fā)展評價(jià)

素養(yǎng)是學(xué)生通過長期學(xué)習(xí)積累而生成的高階綜合思維能力。[19]2017 年版普通高中課程標(biāo)準(zhǔn)凝練了各學(xué)科的核心素養(yǎng)，盡管2011 年版義務(wù)教育課程標(biāo)準(zhǔn)沒有明確提出初中階段的學(xué)科核心素養(yǎng)，但聚焦素養(yǎng)的評價(jià)是教育測評發(fā)展的重要趨勢，在分?jǐn)?shù)報(bào)告中設(shè)計(jì)綜合能力與素養(yǎng)發(fā)展評價(jià)維度就是基于上述認(rèn)知和教育實(shí)踐經(jīng)驗(yàn)的一種嘗試。綜合能力與素養(yǎng)發(fā)展評價(jià)維度由學(xué)科專家依據(jù)義務(wù)教育課程標(biāo)準(zhǔn)，同時(shí)以普通高中課程標(biāo)準(zhǔn)提出的核心素養(yǎng)體系為參考，經(jīng)深入的探討而建構(gòu)，劃分為人文素養(yǎng)和科學(xué)素養(yǎng)兩個(gè)子維度，其內(nèi)涵與結(jié)構(gòu)如圖4 所示。

圖4 綜合能力與素養(yǎng)發(fā)展評價(jià)結(jié)構(gòu)

以科學(xué)素養(yǎng)評價(jià)維度的建構(gòu)為例，首先由學(xué)科專家從學(xué)科測評目標(biāo)中抽取出相關(guān)的素養(yǎng)要素，并進(jìn)行充分的細(xì)化解構(gòu)（見表1），同時(shí)廣泛征求一線教師的意見以擴(kuò)大討論范圍，對評價(jià)維度的解構(gòu)進(jìn)行有效的補(bǔ)充，確保每一個(gè)評價(jià)維度的定義能被普遍接受，并且能夠清晰地與試題建立映射關(guān)系。

表1 科學(xué)素養(yǎng)評價(jià)維度解構(gòu)

聚焦學(xué)生素養(yǎng)發(fā)展的綜合能力與素養(yǎng)發(fā)展評價(jià)，部分基于理論，部分基于實(shí)踐，意義不止于診斷，更多指向反饋和引導(dǎo)，即在對評價(jià)框架的建構(gòu)與解構(gòu)、考試命題、評價(jià)與分析的研究過程中，引導(dǎo)測評專家、學(xué)科專家、一線教師思考和探索對素養(yǎng)進(jìn)行測量與評價(jià)的途徑，同時(shí)通過分?jǐn)?shù)報(bào)告引導(dǎo)考生進(jìn)入高中階段學(xué)習(xí)后更加關(guān)注學(xué)科核心素養(yǎng)的提升。

2.學(xué)科報(bào)告

考生的分?jǐn)?shù)報(bào)告包含9 個(gè)學(xué)科報(bào)告，每個(gè)學(xué)科報(bào)告包含知識(shí)領(lǐng)域評價(jià)和能力層級評價(jià)兩個(gè)維度。

（1）學(xué)科知識(shí)領(lǐng)域評價(jià)

學(xué)科知識(shí)領(lǐng)域評價(jià)一方面使用雷達(dá)圖展示學(xué)生學(xué)科知識(shí)領(lǐng)域的表現(xiàn)情況；另一方面，根據(jù)學(xué)生在各學(xué)科知識(shí)領(lǐng)域中的作答表現(xiàn)提供個(gè)性化的描述性評價(jià)，并提出與學(xué)生自身能力相適應(yīng)的、有利于學(xué)生能力提升的建議。

學(xué)科知識(shí)領(lǐng)域評價(jià)維度源自課程標(biāo)準(zhǔn)對學(xué)科知識(shí)的分類，這種分類不僅對學(xué)生和教師來說比較容易理解，而且對于學(xué)生知識(shí)領(lǐng)域表現(xiàn)的診斷來說也非常有意義。因?yàn)榧词故菍W(xué)科分?jǐn)?shù)相同的考生，他們在學(xué)科內(nèi)各領(lǐng)域中的表現(xiàn)也不盡相同，所以知識(shí)領(lǐng)域評價(jià)可以提供比學(xué)科分?jǐn)?shù)更為深入也更有價(jià)值的信息。

關(guān)于學(xué)科知識(shí)領(lǐng)域的劃分（見表2），需要重點(diǎn)考慮“夠不夠測”的問題，即如果一門學(xué)科的某知識(shí)領(lǐng)域在試卷中涉及的題量較少，則這個(gè)領(lǐng)域的測試信度不容易得到保證，所獲取的考試數(shù)據(jù)將無法充分支持對此領(lǐng)域的評價(jià)。這就需要學(xué)科專家、測評專家進(jìn)行聯(lián)動(dòng)，使劃分出的每個(gè)知識(shí)領(lǐng)域都具有一定的題量和合理的難度分布，以保證每個(gè)知識(shí)領(lǐng)域的測量數(shù)據(jù)都有較好的信度和效度。初中學(xué)業(yè)水平考試的學(xué)科試題題量以得分點(diǎn)記，一般都在50 個(gè)以上，每門學(xué)科以設(shè)置5～6個(gè)知識(shí)領(lǐng)域比較合適。而對于題量較少的部分知識(shí)領(lǐng)域，就需要進(jìn)行具體的分析和評估，如考慮與其他領(lǐng)域整合，或減少描述性評價(jià)等級。

盡管分?jǐn)?shù)報(bào)告在知識(shí)領(lǐng)域評價(jià)維度采用了基于導(dǎo)出分?jǐn)?shù)的可視化圖表報(bào)告分?jǐn)?shù)，但本質(zhì)上仍然是對考試結(jié)果的抽象表達(dá)。[20]因此，診斷性分?jǐn)?shù)報(bào)告還需要通過描述性評價(jià)的方式清楚地告知學(xué)生“能做什么”，即在學(xué)科知識(shí)領(lǐng)域下建立描述性評價(jià)模型，以明確在每一個(gè)知識(shí)領(lǐng)域中，不同分?jǐn)?shù)考生的外顯的作答反應(yīng)是怎樣的，并在此模型的基礎(chǔ)上，生成學(xué)科知識(shí)領(lǐng)域描述性評價(jià)報(bào)告。圖5 就是B 考生英語學(xué)科報(bào)告中的知識(shí)領(lǐng)域描述性評價(jià)與能力提升建議部分。

圖5 B 考生英語學(xué)科報(bào)告截圖——知識(shí)領(lǐng)域描述性評價(jià)與能力提升建議

描述性評價(jià)模型由描述性評價(jià)建構(gòu)圖、試題知識(shí)領(lǐng)域?qū)傩詷?biāo)定、知識(shí)領(lǐng)域原始分?jǐn)?shù)與導(dǎo)出分?jǐn)?shù)、等級分?jǐn)?shù)劃界值表組成。知識(shí)領(lǐng)域的描述性評價(jià)建構(gòu)圖是依據(jù)Mark Wilson 提出的建構(gòu)圖方法[16]建立的。以表3 的英語學(xué)科“閱讀理解與表達(dá)”知識(shí)領(lǐng)域?yàn)槔涸撝R(shí)領(lǐng)域表現(xiàn)水平劃分為5個(gè)等級，箭頭向上的方向表示高水平表現(xiàn)；表格第一列的作答表現(xiàn)由學(xué)科專家依據(jù)經(jīng)驗(yàn)進(jìn)行歸納預(yù)設(shè)，可以用得分率描述，也可以根據(jù)學(xué)科各知識(shí)領(lǐng)域的特點(diǎn)設(shè)置針對某些典型、關(guān)鍵問題作答情況的要求；描述性評價(jià)的內(nèi)容是由學(xué)科專家歸納的不同作答水平考生的能力表現(xiàn)特征；還要根據(jù)各級能力表現(xiàn)特征，找出學(xué)生在相應(yīng)領(lǐng)域的“最近發(fā)展區(qū)”[21]，以便提出與學(xué)生能力水平相適應(yīng)的學(xué)習(xí)建議。

需要說明的是：①描述性評價(jià)建構(gòu)圖的等級數(shù)要根據(jù)學(xué)科知識(shí)領(lǐng)域所涉及題目的難度來確定，一般劃分為2～5 個(gè)等級，如對于部分學(xué)科要求較為基礎(chǔ)的領(lǐng)域就可以只設(shè)置2 個(gè)等級；②描述性評價(jià)建構(gòu)圖在歸納時(shí)可先從兩端開始考慮，即先確定最高水平和最低水平應(yīng)有的表現(xiàn)，然后通過對行為動(dòng)詞的逐步強(qiáng)化或弱化[22]，同時(shí)考慮內(nèi)容、能力的不同層次的要求，逐步完成對各等級作答表現(xiàn)水平的描述，在這里應(yīng)盡量使用激勵(lì)性評價(jià)的表述；③描述性評價(jià)建構(gòu)圖同時(shí)也是命題的標(biāo)準(zhǔn)，在命題時(shí)需要考慮什么樣的問題可以引發(fā)足夠的作答反應(yīng)信息來診斷這些不同的能力水平，只有這樣，才能依靠題目進(jìn)行測量。

雖然初中學(xué)業(yè)水平考試在屬性和特征上更加傾向于常模參照考試，但并不妨礙在分?jǐn)?shù)報(bào)告中運(yùn)用標(biāo)準(zhǔn)參照的方法進(jìn)行診斷，這里依靠建構(gòu)圖建立的描述性評價(jià)模型就是一個(gè)標(biāo)準(zhǔn)參照模型。在實(shí)施考試獲取數(shù)據(jù)后，測評專家和學(xué)科專家在數(shù)據(jù)的支持下抽樣研判不同層次考生的具體作答情況，來對評價(jià)等級與作答表現(xiàn)的描述性評價(jià)內(nèi)容進(jìn)行調(diào)整，并制定等級劃界值表。

（2）學(xué)科能力層級評價(jià)

設(shè)置學(xué)科能力層級評價(jià)的目的，是為了診斷并報(bào)告考生在不同能力水平的題目上的作答表現(xiàn)，主要依據(jù)的是布盧姆的教育目標(biāo)分類理論。但布盧姆教育目標(biāo)分類理論在實(shí)際的框架設(shè)計(jì)過程中不能直接使用，需要綜合考慮測評性質(zhì)與目標(biāo)、學(xué)科背景、文化和語言背景、學(xué)生的認(rèn)知水平等諸多因素來進(jìn)行調(diào)整。例如，在選擇其中的高階能力層級如“評價(jià)”“創(chuàng)造”進(jìn)行評價(jià)時(shí)就需要非常慎重，因?yàn)槌踔袑W(xué)生的認(rèn)知水平尚未完全達(dá)到這些層級，學(xué)生的學(xué)習(xí)內(nèi)容也較少能夠達(dá)到這些層級的標(biāo)準(zhǔn)，因此命題時(shí)涉及的題目非常少，也就無法在這些層級進(jìn)行明確的診斷與評價(jià)。這就要求學(xué)科專家根據(jù)課程標(biāo)準(zhǔn)和教學(xué)實(shí)際合理劃分能力層級（見表4），同時(shí)對各層級要求、所涉題目比例等進(jìn)行解構(gòu)，這也是編制命題工具的基本要求。

表3 英語科“閱讀理解與表達(dá)”知識(shí)領(lǐng)域的描述性評價(jià)建構(gòu)

表4 各學(xué)科能力層級劃分

三、診斷性分?jǐn)?shù)報(bào)告的發(fā)布與使用

在診斷性分?jǐn)?shù)報(bào)告正式發(fā)布之前，我們需要對分?jǐn)?shù)報(bào)告的實(shí)際展示效果進(jìn)行廣泛驗(yàn)證，重點(diǎn)評估包含極低分、極高分、數(shù)據(jù)部分缺失等極端情況的分?jǐn)?shù)報(bào)告效果。同時(shí)，通過電視新聞、報(bào)紙、網(wǎng)絡(luò)等途徑積極宣傳、解讀發(fā)布分?jǐn)?shù)報(bào)告的目的和意義，合理引導(dǎo)社會(huì)預(yù)期，同時(shí)編制簡潔易懂的分?jǐn)?shù)報(bào)告使用手冊[23]，幫助考生正確理解和使用分?jǐn)?shù)報(bào)告。最終的分?jǐn)?shù)報(bào)告以網(wǎng)絡(luò)形式發(fā)布，考生只需在發(fā)布頁面登錄，即可瀏覽自己的網(wǎng)頁版分?jǐn)?shù)報(bào)告，同時(shí)也可下載PDF 格式的報(bào)告。

運(yùn)用診斷性分?jǐn)?shù)報(bào)告，考生可以全方位、更加深入地了解自己在學(xué)業(yè)成長過程中一次關(guān)鍵考試的表現(xiàn)。在考試整體評價(jià)方面，如圖6 所示，C 考生可以通過雷達(dá)圖找到自己的優(yōu)勢學(xué)科為英語、語文、數(shù)學(xué)，且英語學(xué)科表現(xiàn)最為突出，而物理、生物、地理學(xué)科表現(xiàn)稍差。圖6 還表明，該考生在人文素養(yǎng)上有一定的優(yōu)勢，在創(chuàng)新思維能力、信息處理能力、抽象邏輯思維能力等方面則需要多下功夫。

又如前文圖3 中的A 考生可以通過診斷性分?jǐn)?shù)報(bào)告，清楚地了解到自己在各學(xué)科都呈現(xiàn)了均衡發(fā)展的良好態(tài)勢，在數(shù)學(xué)、物理、地理學(xué)科上更是優(yōu)勢明顯。更進(jìn)一步地，從能力素養(yǎng)的角度來看，該考生明顯在科學(xué)素養(yǎng)方面具有一定優(yōu)勢，特別是抽象邏輯思維能力和創(chuàng)新思維能力表現(xiàn)較好（見圖7）。

診斷性分?jǐn)?shù)報(bào)告在提供整體評價(jià)的同時(shí)，還深入到學(xué)科內(nèi)部，評價(jià)了考生學(xué)科知識(shí)領(lǐng)域和能力層級的深層次表現(xiàn)。仍以前文圖3 中的A 考生為例，盡管該考生各學(xué)科成績均具有明顯的優(yōu)勢，但在學(xué)科內(nèi)部，他仍然能夠找到自己相對突出或薄弱的領(lǐng)域（見圖8）。

四、總結(jié)與思考

1.總結(jié)

本研究中的診斷性分?jǐn)?shù)報(bào)告運(yùn)用了教育測評理論和信息技術(shù)，實(shí)現(xiàn)了科學(xué)的、普惠的、個(gè)性化的診斷性評價(jià)，提升了大規(guī)?？荚嚪?jǐn)?shù)的可解釋性，為考生提供了更多的、有效的考試反饋信息，可以引導(dǎo)考生從“分分必究”的“應(yīng)試”思維中走出來，根據(jù)分?jǐn)?shù)報(bào)告提供的描述性評價(jià)及學(xué)習(xí)建議，及時(shí)調(diào)整自己的學(xué)習(xí)策略，這對于考生初高中階段的學(xué)習(xí)銜接、高中學(xué)段課程的選擇，乃至職業(yè)生涯規(guī)劃都有著直接的幫助。診斷性分?jǐn)?shù)報(bào)告的研發(fā)與實(shí)踐，串接了區(qū)域初中學(xué)業(yè)水平考試的標(biāo)準(zhǔn)設(shè)計(jì)、考試命題、考試數(shù)據(jù)統(tǒng)計(jì)分析、分?jǐn)?shù)報(bào)告等各個(gè)環(huán)節(jié)，促使市域管理的一項(xiàng)重大教育考試的各方面工作融合為一個(gè)有機(jī)整體；同時(shí)引領(lǐng)考試評價(jià)回歸教育本質(zhì)，從關(guān)注分?jǐn)?shù)轉(zhuǎn)向聚焦學(xué)生發(fā)展，體現(xiàn)了教育評價(jià)的素質(zhì)教育導(dǎo)向。診斷性分?jǐn)?shù)報(bào)告的研發(fā)與實(shí)踐還極大地帶動(dòng)了區(qū)域測評專業(yè)團(tuán)隊(duì)的建設(shè)，通過組織學(xué)習(xí)培訓(xùn)和實(shí)踐操作，逐步促使整個(gè)團(tuán)隊(duì)對項(xiàng)目研究從認(rèn)知到認(rèn)同、從實(shí)踐到回饋，進(jìn)而使整個(gè)區(qū)域教育測評研究的水平獲得提升。

圖6 C 考生分?jǐn)?shù)報(bào)告局部——考試整體評價(jià)

圖7 A 考生分?jǐn)?shù)報(bào)告局部——考試整體評價(jià)

圖8 A 考生成績報(bào)告單局部

2.進(jìn)一步完善的思考

第一，診斷性分?jǐn)?shù)報(bào)告以雷達(dá)圖和描述性評價(jià)的方式呈現(xiàn)，直觀易讀。但是，該診斷性分?jǐn)?shù)報(bào)告給出的描述性評價(jià)仍舊缺乏可比較的參照標(biāo)準(zhǔn)，導(dǎo)致所提供的診斷信息仍然不夠直接和明確?？蛇M(jìn)一步考慮在學(xué)科內(nèi)部評價(jià)維度上建立百分等級常模，使用百分等級分?jǐn)?shù)進(jìn)行報(bào)告，以便考生和家長使用分?jǐn)?shù)報(bào)告時(shí)可以獲取清晰的參照信息。[24]

第二，診斷性分?jǐn)?shù)報(bào)告在進(jìn)行描述性評價(jià)時(shí)，選擇了在學(xué)科知識(shí)領(lǐng)域框架下進(jìn)行，這更多地是考慮到在研究剛起步的狀態(tài)下，這種局部的描述性評價(jià)在理解和操作層面相對于面向?qū)W科素養(yǎng)的分級評價(jià)來說要容易一些。但隨著2017版普通高中課程標(biāo)準(zhǔn)以及高考評價(jià)體系[25]的發(fā)布，構(gòu)建以素養(yǎng)為主要維度的測評框架將是未來考試分?jǐn)?shù)報(bào)告的重要研究目標(biāo)。

第三，診斷性分?jǐn)?shù)報(bào)告通過專家評估的方式將考生的測評結(jié)果與學(xué)習(xí)行為進(jìn)行聯(lián)結(jié)，嘗試為學(xué)生提供可操作性的學(xué)習(xí)建議。但在這種模式下，無法保證分?jǐn)?shù)報(bào)告中的學(xué)習(xí)建議與每位考生的實(shí)際情況完全相符。理想的方式是深度發(fā)揮分?jǐn)?shù)報(bào)告網(wǎng)絡(luò)平臺(tái)的作用，開發(fā)在過程性評價(jià)中同樣可以操作和應(yīng)用的互動(dòng)式考試分?jǐn)?shù)報(bào)告和評價(jià)系統(tǒng)。如此，既可對學(xué)生的日常學(xué)業(yè)水平發(fā)展情況進(jìn)行實(shí)時(shí)監(jiān)控與反饋，又能利用網(wǎng)絡(luò)平臺(tái)開展學(xué)生學(xué)習(xí)行為的問卷調(diào)查，還可通過對學(xué)生的學(xué)習(xí)行為與其考試作答情況進(jìn)行相關(guān)性分析，找到學(xué)生學(xué)習(xí)行為與學(xué)習(xí)結(jié)果之間的良性與不良相關(guān)因素，從而真正實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)下的學(xué)習(xí)改進(jìn)。