基于PISA的學(xué)習(xí)素養(yǎng)評價模式設(shè)計與實證研究

齊宇歆

摘要：當前國際上，一種以場耦合、整體論和自然生成為旨趣的自然人文主義教育思潮漸成主流。在學(xué)習(xí)評價領(lǐng)域，OECD的PISA模式可謂個中翹楚。為此，該文首先從詞源學(xué)視角解讀了PISA中“Literacy”的社會文化功能，接著從認知與進化層面探討了學(xué)習(xí)的發(fā)生與本質(zhì)，對“學(xué)習(xí)素養(yǎng)”給出了一個描述性定義，提出了形成模型，最后，構(gòu)建了評價指標體系，運用基于計算機的項目反應(yīng)理論測試方法在鄭州E中學(xué)開展了實證研究。結(jié)論如下：（1）學(xué)習(xí)素養(yǎng)有三個公因子，它們分別是顯著影響學(xué)習(xí)素養(yǎng)形成的素養(yǎng)因子、反映考試成績高低的成績因子和能否積極利用身邊各種學(xué)習(xí)資源的資源利用因子，其中素養(yǎng)因子對學(xué)習(xí)素養(yǎng)的影響最為顯著；（2）就總體而言，學(xué)生表現(xiàn)最出色的是交流合作和記憶策略，最差的是信息資源利用情況；（3）成績優(yōu)異的學(xué)生和絕大部分學(xué)生主要采用記憶策略，而成績中上者則常用精致策略；（4）在所有指標中，學(xué)科成績的標準差最大；（5）精致策略等四個指標都會顯著影響知識遷移水平。在當前背景下，學(xué)生的學(xué)習(xí)參與度普遍偏低，活學(xué)活用能力明顯欠缺，兩極分化現(xiàn)象嚴重，這些問題不能不引起業(yè)界關(guān)注。

關(guān)鍵詞：PISA；Literacy；學(xué)習(xí)素養(yǎng)模型；評價指標體系；項目反應(yīng)理論；實證研究

中圖分類號：G434 文獻標識碼：A

PISA（Program for International Students Assessment）是美、英等國在知識經(jīng)濟背景下針對自身基礎(chǔ)教育質(zhì)量連續(xù)下滑而進行反思后的產(chǎn)物。自上海2009年作為我國第一個大陸地區(qū)參加OECD的PISA評估項目并兩次同時在閱讀、數(shù)學(xué)和科學(xué)三個領(lǐng)域獲得第一之后，PISA得到了全社會有識之士的共同關(guān)注，在我國教育界也涌起了一股PISA研究熱。如何借鑒PISA的精髓來扎實推進我國處于瓶頸狀態(tài)的素質(zhì)教育改革是擺在業(yè)界同仁面前一項嶄新的課題。從宏觀層面來看，要將PISA移植于素質(zhì)教育評價必須考慮三個因素。首先，PISA的研究對象是即將結(jié)束義務(wù)教育的十五歲初中生，它屬于一種基于常模參照測試的相對性評價。這種評測方式主要是通過各樣本在常模中的相對位置來判斷樣本間的差異，看重的是對樣本的區(qū)分能力，這對于從宏觀層面依據(jù)總體分布特征來制定教育政策、預(yù)測各參與國的創(chuàng)新型人才儲備和經(jīng)濟、社會發(fā)展后勁的相對優(yōu)劣狀況無疑是合適的，但是，對于通過一系列教學(xué)活動后，重在判定被試是否掌握了該目標領(lǐng)域中最重要的概念群、基本命題和基本技能，被試是否存在結(jié)構(gòu)性缺陷以及怎樣有針對性地進行補救的絕對性評價，即基于某一標準、理念的學(xué)業(yè)水平達成度評價則是不合適的。其次，我國于2001年頒布了基礎(chǔ)教育各學(xué)科的課程標準。這些課程標準在課程性質(zhì)、目標和知識點上都做出了詳細規(guī)定，而且具有強制性，因此，在進行具體實踐時有必要將二者結(jié)合起來。最后，雖說有必要借鑒PISA評價模式來進行全國性或跨地區(qū)的專業(yè)調(diào)查，但考慮到我國地域廣闊，東、西部地區(qū)之間經(jīng)濟、文化差異較大，在現(xiàn)階段，以學(xué)生個體、班級、學(xué)校甚至較小地區(qū)進行學(xué)習(xí)狀況的自我監(jiān)測和自我評價，更能有的放矢地改進自身教學(xué)過程中的不足以實現(xiàn)內(nèi)涵式提升。概言之，我們不能簡單地因襲PISA評價模式，必須充分考慮評價目標上的差異、國情制約和學(xué)校、學(xué)生個體的自身實際需要，才能在實踐中逐步探索出一種真正意義上的本土化學(xué)習(xí)評價模式。六年來，筆者以我國現(xiàn)階段的課程標準為基本依據(jù)，借鑒PISA評價的基本思想，增設(shè)部分能充分反映被試現(xiàn)實表現(xiàn)的真實性評價指標，突出個體和小規(guī)模團隊的學(xué)習(xí)狀態(tài)自診斷，并先后在鄭州、廈門的多所初、高中進行了實證研究，現(xiàn)將研究結(jié)果進行整理論述。

一、“Literacy”的功能分析

自O(shè)ECD設(shè)立PISA評估項目以來，我國為什么會有如此多的人群聚焦該項目呢？在筆者看來，除了人們的求新求異心理，這一現(xiàn)象更多地是承載了人們對徘徊在十字路口的素質(zhì)教育評價能否得到根本性突破的一種期待?？陀^地說，PISA一改過去評價的鑒定性質(zhì)，轉(zhuǎn)而以促進發(fā)展為己任，具有其獨特的社會文化功能。在宏觀層面，PISA以即將完成義務(wù)教育的初中畢業(yè)生為觀察對象，以各參與國學(xué)習(xí)質(zhì)量的橫向比較為手段，以學(xué)習(xí)有效內(nèi)化和學(xué)習(xí)持續(xù)性為紐帶，其初衷是教育質(zhì)量的持續(xù)改善，創(chuàng)新型人才與合格公民的培養(yǎng)是其雙重任務(wù)，最終目標則是實現(xiàn)經(jīng)濟、社會的可持續(xù)性發(fā)展和培養(yǎng)能有效溝通、合作的社會公民。在微觀層面，PISA制定了嚴格而詳盡的技術(shù)標準以確保流程的規(guī)范性，采用項目反應(yīng)理論（Item Response Theory，IRT）以確保測試具有更好的效度；利用分層隨機抽樣和問卷調(diào)查法從學(xué)生、學(xué)校、家庭等方面全方位地收集原始信息。另外一個最為突出的原因就在于其別具一格的學(xué)習(xí)評價理念——“Literacy”。

從詞源學(xué)的角度考察，“Literacy”由詞根“Liter”和后綴“-acy”兩個詞素構(gòu)成。其中，“Liter”來源于拉丁語“Littera”，構(gòu)成了該詞的核心義，意為“字母”“文字”；后綴“-acy”是一個表示“過程”“狀態(tài)”的抽象名詞后綴。因此，“Literacy”也就表示“能識字”“有文化”的狀態(tài)。時至今日，“Literacy”的文化功能又有了新的拓展。如圖1所示，PISA中的“Literacy”由六部分構(gòu)成。它以個體生存為基點，沿著兩條線索發(fā)展：一條是認知→情境問題解決→批判性反思；另一條是人際交流、合作→哈格公民，可分別稱為認知主線和社會化主線。該外延整合了知識、能力和態(tài)度，打破了原有的“學(xué)科中心”桎梏，突出知識必須面向生活、回歸社會。該理念的提出有利于突出基本活動經(jīng)驗中的真切感受和在此基礎(chǔ)上通過歸納、概括、轉(zhuǎn)換、推衍、抽象而習(xí)得的概念框架和詮釋體系，使學(xué)習(xí)者將凝固的知識和經(jīng)驗升華到開放、動態(tài)的智慧層次。

二、學(xué)習(xí)素養(yǎng)形成探微

學(xué)習(xí)與學(xué)習(xí)素養(yǎng)形成的動因是什么呢？進化心理學(xué)認為：（1）在漫長的進化過程中，人類自身逐步形成了一套獨特的環(huán)境適應(yīng)系統(tǒng)；（2）大腦與心理是上述系統(tǒng)的兩個不同層次，前者主要受物理、化學(xué)定律支配，而后者則按照一定的邏輯序列負責(zé)進行信息加工，彼此以互補方式來協(xié)同工作；（3）人類并不能意識到自己的全部活動，大多數(shù)適應(yīng)問題仍然依靠潛意識甚至本能來解決。

按照上述理論，在這一復(fù)雜的自適應(yīng)系統(tǒng)中，大腦大致相當于電腦硬件，而心理則可視作軟件。事實上，兩個神經(jīng)元之間是通過突觸（Synapse）并依賴于神經(jīng)遞質(zhì)、神經(jīng)調(diào)質(zhì)來實現(xiàn)連接的。由于一個突觸后神經(jīng)元有上千條樹突同時在接收信息，因此，每一神經(jīng)元都是一個多路輸入系統(tǒng)。面對不同的環(huán)境刺激，每一個突觸后神經(jīng)元都能依據(jù)信號強弱來靈活地選擇并傳遞來自不同軸突上的神經(jīng)沖動。不過，信號能被選擇并傳遞的前提是該信號疊加后的強度必須達到某一閾值，因此，編碼上只有“全”或者“無”。假如某一個體長期接受同一或類似環(huán)境的刺激，突觸上將合成新的蛋白質(zhì)，在某些神經(jīng)回路中形成某種相對固定的行為模式，這種類似本能的模式化行為就是反射（Reflex）的前身。長時間以來，這些既準確又快速的反射機能進化成了自身不可或缺的生理性適應(yīng)機能，而且可通過基因形式遺傳給后代。其中，那些直接而具體的刺激物就是巴甫洛夫所說的“第一信號系統(tǒng)”，它為人類和動物所共有。然而，學(xué)習(xí)是一種特殊的反射，它具有目標性，并且是以語言、文字這種“信號的信號”即概念化符號為媒介來進行的，其最大特點間接性與抽象性，也就是說人類能將各感覺器官所收集到的環(huán)境信息依據(jù)時間接近律在大腦的不同功能中樞中加以分析與整合，形成了以特征為基礎(chǔ)的框架性記憶和表象，再依據(jù)相似原則將同類刺激物加以總括，形成字、詞并賦予一定的意義。然而，這種符號化的作用是雙重的：一方面，它拓展了人類進行條件反射、認識的廣度和深度；另一方面，由于個體的經(jīng)歷存在差異，其觀察、統(tǒng)合、類比、概括化的程度常常不一致，而且人們可以在明確指稱某一具體事物的“指示義”或帶有自身情感寄托、影射的“引申義”上進行選擇性使用，這樣就容易造成“能指”（形式）和“所指”（內(nèi)容）的脫節(jié)。解決這一問題的辦法是運用“思維場”，即聯(lián)系上下文或情境進行邏輯推斷。如果把“學(xué)習(xí)”看作為個體因“思維場”所引起的某種行為或行為潛能相對穩(wěn)定的改變，那么，學(xué)習(xí)的本質(zhì)是改變，而改變的目的是適應(yīng)。當然，這種改變的結(jié)果有兩種：一種是同一層次上的水平增長，另一種是從較低層次到較高層次的縱向躍遷。從這個意義上來說，學(xué)習(xí)素養(yǎng)是一種高階思維能力，是“互聯(lián)網(wǎng)+”時代的“五大核心素養(yǎng)”之一。

上述命題只是對學(xué)習(xí)素養(yǎng)的一種初步判斷，內(nèi)涵尚不清晰，筆者通過“描述性定義”法為其下一個初步定義，即：學(xué)習(xí)素養(yǎng)是學(xué)習(xí)者在長期的學(xué)習(xí)活動中，以生活中的靈活運用為目標，以深度探索和透徹理解為途徑，將前后學(xué)習(xí)活動進行內(nèi)容、方法和意義上的整合之后所形成的一種個性化認知習(xí)慣與品質(zhì)。其主要特點是認知情境化、內(nèi)化深刻性、學(xué)用一致性和個體獨特性。

在系統(tǒng)論看來，事物的結(jié)構(gòu)及其所處環(huán)境共同決定了系統(tǒng)的功能，一切事物皆可從環(huán)境、功能、結(jié)構(gòu)、層次、運行機制等方面加以考察，因此，學(xué)習(xí)素養(yǎng)也是由許多功能模塊和要素構(gòu)成的有序存在，其子系統(tǒng)均具備一定的子功能。它們在相互激勵、相互補充、相互制約的耦合關(guān)系中形成了一種動態(tài)的心理機制與行為模式，并呈現(xiàn)出具有一定結(jié)構(gòu)的“分布式認知”格局，共同完成了學(xué)習(xí)素養(yǎng)所預(yù)設(shè)的全部功能。在如圖2所示的模型中，動力部分是統(tǒng)括了學(xué)習(xí)動機、學(xué)習(xí)興趣、學(xué)習(xí)態(tài)度在內(nèi)的“學(xué)習(xí)參與度”。內(nèi)容部分是“知識技能”，它通過課程以“概念”“命題”為基本形式，服務(wù)于特定培養(yǎng)目標，內(nèi)容經(jīng)過精選，各知識點之間具有嚴密邏輯性。方法部分是“學(xué)習(xí)策略”，它是指學(xué)習(xí)者對具體學(xué)習(xí)內(nèi)容的加工方法選擇、加工路線安排與所需資源的調(diào)配使用情況，因此，它包括了認知和調(diào)控兩部分。其中，“認知策略”又包括“記憶策略”和“精致策略”。“學(xué)習(xí)調(diào)控策略”主要涉及學(xué)習(xí)對象選擇、時間分配與調(diào)整、環(huán)境選擇、自我激勵、尋求他人支持等資源組織能力?？紤]到互聯(lián)網(wǎng)資源的日益豐富和當代協(xié)同創(chuàng)新活動的日趨頻繁，健全人格在未來社會中的作用日益重要，筆者提出了“信息資源運用”能力和“人際交流合作”能力兩個概念模塊。調(diào)節(jié)部分是個體運用自身所學(xué)知識和技能去解決情境化問題的反饋情況，這種反饋有正向和負向之分。“知識遷移”是一種將所學(xué)知識技能予以靈活運用的能力，注重在記憶中針對原型（Prototype）的多側(cè)面、多層次信息進行模型、概念、原理等的最大相似性（Similarity）概括及其類比推理能力。

三、評價指標體系的構(gòu)建

通過評價，人們可發(fā)現(xiàn)當前或過去的活動能在多大程度上能滿足自身需要，并對未來情況進行預(yù)測，將不利因素予以控制或排除，或者從眾多方案中找出最有價值的一種，進行有效決策。如果說評價就是一種基于行為方式層面的質(zhì)的描述或量的測量之上的價值判斷活，那么，每一評價指標都必須清晰而典型地從某一側(cè)面或環(huán)節(jié)反映出該系統(tǒng)的某一狀態(tài)或過程。此外，指標體系除了層次清晰、同一層次的指標在外延上不能有交叉重疊現(xiàn)象之外，還要使每一層次、側(cè)面或環(huán)節(jié)都有恰當數(shù)量的指標作為代表，也就是說，只有在符合完備性原則時，整個評價指標體系才能在既相互獨立標識，又相互補充、相互制衡的動態(tài)關(guān)系中立體化、多層次地反映出被評價對象的總體特征與功能狀態(tài)。當然，指標體系的最后一級指標還必須是外顯化行為或狀態(tài)，這樣才有可能依據(jù)某種規(guī)則對終極指標進行賦值并做數(shù)據(jù)處理?？傊u價指標體系建立必須遵守典型性原則、完備性原則、終極指標外顯化原則。在實際操作中有三個關(guān)鍵問題也需引起注意。

（一）指標的層次與數(shù)量問題

有學(xué)者認為：在對影響評價目標的因素進行篩選與歸并時，除了要遵守層次性與典型性原則，同時也要遵守簡約性原則，評價體系通常以不超過三層為宜，這樣，評價指標體系更便于操作。圖2的形成模型提出了學(xué)習(xí)素養(yǎng)的評價要素集，它屬于一個多目標系統(tǒng)，而評價指標體系則是它們與評價要素集之間的一種映射，二者之間存在一對一、一對多，多對一和多對多四種可能映射關(guān)系。其中，一對一關(guān)系最為理想，但不具備普遍現(xiàn)實性；其次是一對多關(guān)系，它們不存在交叉與重疊；多對一和多對多情況下存在交叉與重疊，應(yīng)該盡量避免。因此，筆者將學(xué)習(xí)素養(yǎng)分解為學(xué)習(xí)活動組織、學(xué)習(xí)結(jié)果情境化應(yīng)用、學(xué)習(xí)過程的元評價及其優(yōu)化三個遞進層次。在學(xué)習(xí)活動組織方面，保留了PISA中的學(xué)習(xí)參與度和學(xué)習(xí)調(diào)控策略，將認知策略細化為記憶策略和精致策略，同時將模型中的“知識技能”明確為教材上的“學(xué)科知識”，以便今后在評價中用課程的考試分數(shù)來進行具體表征；在學(xué)習(xí)結(jié)果的情境化應(yīng)用層次，依然保持了PISA中的知識遷移和（人際）交流合作；在元評價及其優(yōu)化層次，重點描述學(xué)生的反思與創(chuàng)新能力、將信息化資源運用于學(xué)習(xí)過程和具體問題解決的能力。指標的層次體系如圖3所示。

（二）各評價指標的權(quán)重問題

指標權(quán)重，又稱權(quán)系數(shù)，它表征了該指標在整個指標體系中的相對重要性，它通常用一個[0，1]之間的小數(shù)來表示。目前，確定權(quán)重最有效的辦法仍是依賴于專業(yè)判斷。因此，筆者采用了較為常見的Delphi法，即專家調(diào)查法。在確定權(quán)重的過程中，首先由研究人員提供專家調(diào)查表，在調(diào)查表上簡要描述指標內(nèi)容和可以備選的相對重要性等級；然后交由一組互不見面的專家憑借自己的專業(yè)經(jīng)驗進行判斷，勾選一個他認為最切合的數(shù)值；經(jīng)回收與統(tǒng)計后再將平均數(shù)、眾數(shù)等趨同性數(shù)值、持有異議的少數(shù)專家態(tài)度及其理由反饋給各個專家，再次征詢專家們的意見；經(jīng)過數(shù)輪咨詢后，專家結(jié)果會趨向于穩(wěn)定與收斂，最終獲得了具有統(tǒng)計意義的專家小組意見。專家代表的遴選與無預(yù)設(shè)導(dǎo)向性評判意見是Delphi法成功的關(guān)鍵。在兩輪的調(diào)查研究中，筆者選擇了來自9所高校、分布在8個不同省份的31名長期研究學(xué)習(xí)理論或?qū)W習(xí)評價的專家，他們長期從事一線教學(xué)、科研工作，均具有博士學(xué)位或副教授以上職稱。專家的專業(yè)權(quán)威性、地域代表性和人數(shù)規(guī)模都符合Delphi法的要求，鑒于筆者已另外撰文介紹了這一研究的詳細過程，故在此從略。各指標內(nèi)容及經(jīng)歸一化等計算后所得到的各指標權(quán)重如表1所示。

（三）各指標的量表設(shè)計

前述的指標體系只是解決了具體評價什么的問題，接下來就要確定評價標準，即如何圍繞評價指標來精準地選擇并度量各指標，它實質(zhì)上是一組行為樣本的合理選擇與規(guī)范化賦值。通常，它要解決三個基本問題：（1）究竟該從評價對象上選擇哪些最為典型而又便于測量的行為或狀態(tài)作為各指標的行為樣本；（2）行為樣本的可能取值范圍如何以及根據(jù)什么標準在上述取值范圍內(nèi)劃分等級；（3）各個指標行為樣本的不同等級、程度該如何分派一組合適的數(shù)字或代號。對于第一個問題，行為樣本的選擇必須符合完備性原則，即這組行為樣本的集合最好能包含該指標全部內(nèi)容，最起碼也能包含該指標的全部重要特征。在實際操作中，根據(jù)評價對象性質(zhì)的不同，可選擇使用某些時空條件下的行為頻率去定量描述，無法進行定量描述時一般選擇能典型代表內(nèi)心感受的某些強度指標去作定性描述。至于第二、第三個問題，必須結(jié)合行為樣本的特征、性質(zhì)并依據(jù)量化水平就高不就低的原則分別從類別量表、等級量表、等距量表、比率量表中加以選擇。學(xué)習(xí)素養(yǎng)評價各指標的量化和賦值情況如表2所示。

在表2中，F(xiàn)1（學(xué)科知識）并不是嚴格意義上的等距量表，而是一種介于等級量表和等距量表之間的量化形式。和PISA一樣，它的測量是基于項目反應(yīng)理論（IRT）進行的，因此，必須借助計算機和某些專門軟件來完成。與經(jīng)典測試理論（CTT）只考慮隨機誤差、假定每次測量都是互不影響的做法不同，IRT一方面通過數(shù)學(xué)模型把項目得分與項目自身性質(zhì)、被試的潛在特質(zhì)（Latent Trait）聯(lián)系起來，從而使測試項目的難度特性與被試的能力特質(zhì)處于同一張量表之上；另一方面，通過使用信息函數(shù)而非方差來估測每個項目或試卷的效度，也不存在樣本依賴性問題。此外，項目參數(shù)的估計可獨立于被試進行，便于編制試題庫。鑒于IRT的以上特點，有國內(nèi)學(xué)者明確指出：除了適合于編排各種較大規(guī)模能力水平的精細量化考試外，IRT還可有效應(yīng)用于學(xué)習(xí)者以學(xué)習(xí)品質(zhì)的自我檢查為目的的自適應(yīng)測試（CAT）中，或者與認知科學(xué)結(jié)合起來，以便開發(fā)具有認知特點、認知結(jié)構(gòu)分析功能的學(xué)習(xí)品質(zhì)診斷系統(tǒng)。

在具體操作上，考慮到方法的成熟性，筆者選擇單維性假設(shè)下雙值計分方式的邏輯斯蒂三參數(shù)模型（見式（1），式中a、b、c分別為區(qū)分度、難度和猜測度，p為正答率），測試項目庫的建設(shè)經(jīng)歷了項目試測、模型四假設(shè)驗證、篩選項目、項目的等值化處理、依據(jù)雙向細目表和信息函數(shù)大小編制試卷等主要過程。其余8個指標都是采用五級計分制的總加評分式李克特（Likert）量表，每一個指標同時從四個不同側(cè)面進行提問，以便相互印證，及時淘汰不合理答案；每一個提問都力求措辭清晰、明確，而且都是采用很贊成/同意、贊成/同意、不一定/無所謂、不贊成/同意、很不贊成/同意的無導(dǎo)向陳述模式。對此，有學(xué)者指出：當量表中的測試項目不少于50個時，同樣能具有令人滿意的信度。

四、實證研究

根據(jù)以上設(shè)計的評價指標體系，筆者圍繞數(shù)學(xué)素養(yǎng)、閱讀素養(yǎng)先后在鄭州E中學(xué)、廈門L中學(xué)開展了多次實證研究，現(xiàn)將于鄭州E中學(xué)進行的研究過程進行簡要論述。

（一）研究對象的選擇

與PISA一樣，此次研究對象是初三學(xué)生。而PISA之所以選擇他們，一方面是考慮到他們中有一少部分人從此就要離開學(xué)校，獨立地走上了社會舞臺，即將成為所在參與國中的一名普通公民；而另一方面，現(xiàn)在的知識更新周期不足三個月，以學(xué)習(xí)興趣、學(xué)習(xí)習(xí)慣、學(xué)習(xí)結(jié)果靈活運用為基本內(nèi)容的終身學(xué)習(xí)能力又是個體是否具備良好學(xué)習(xí)素養(yǎng)的表征。因此，通過調(diào)查他們在閱讀、數(shù)學(xué)和科學(xué)領(lǐng)域的學(xué)習(xí)素養(yǎng)水平，就能大體上判斷該參與國的創(chuàng)新人才儲備情況?？紤]到數(shù)學(xué)領(lǐng)域不僅是三個基礎(chǔ)性領(lǐng)域之一，更有抽象性、嚴謹性與廣泛應(yīng)用性的顯著特征，而且已有比較成熟的認知目標分類標準，故筆者在研究中選擇了初三的數(shù)學(xué)作為測試領(lǐng)域。

（二）基本研究過程

本實證研究過程主要從兩個方面來收集原始數(shù)據(jù)：一是圍繞“學(xué)科知識”即初三（上）數(shù)學(xué)，依據(jù)IRT測試的要點與程序?qū)ι鲜鲅芯繉ο筮M行試測，然后篩選出難度、區(qū)分度等指標都合格的試題，依據(jù)雙向細目表要求再次編制一套試卷，擇機返回現(xiàn)場正式施測；二是在測試結(jié)束時，馬上組織對其余8個指標的問卷調(diào)查。

1.項目篩選

在基于IRT的測試中，為了確保效度，必須進行單維性驗證、特征曲線形狀檢查、模型擬合度驗證以及最后的項目難度、項目區(qū)分度、項目猜測度的具體數(shù)值計算等過程。

（1）單維性驗證：其目的既要保證試卷中所有項目之間具有良好的相關(guān)性，同時每次測試又只測量一個主要因素。判斷辦法是：查看因子分析中因子載荷矩陣的第一個公因子的方差貢獻率是否達到了20%。然而，進行因子分析也需符合兩個條件：一是KMO值≥0.7；二是Bartlett球形檢驗的顯著水平≤0.01。其中，第一個條件保證了皮爾遜相關(guān)系數(shù)的平方和遠大于其偏相關(guān)系數(shù)的平方和，即項目之間具有較大的關(guān)聯(lián)性；第二個條件則保證了因子載荷矩陣近似于單位矩陣，各項目之間又相對獨立。在此次測試中，通過SPSS 20.0計算發(fā)現(xiàn)：A、B卷的KMO值分別為0.81和0.85，Sig.值都是0.00，并且第一個公因子的方差貢獻率分別為21.69%和26.89%，因此完全符合單維性假設(shè)。

（2）特征曲線形狀檢查：每一個項目的難度應(yīng)適中，不能過難或過易，這樣項目才具有一定的辨識力。這一要求反映在三參數(shù)邏輯斯蒂模型中就是項目難度一正確率的關(guān)系必須近似于一條“S”形曲線，對于那些近似于直線的題項則直接予以剔除。在此次檢查中，A、B卷各刪除了兩道題。

（3）模型擬合度驗證：在這一過程中，主要考察測試數(shù)據(jù)分布是否符合三參數(shù)邏輯斯蒂模型的理論分布。它屬于離散型非參數(shù)檢驗，主要考慮樣本實際頻數(shù)與總體理論頻數(shù)的差異大小，故一般采用卡方檢驗?？紤]到即使樣本很大時X²檢驗也可能拒絕零假設(shè)，故此次模擬度檢查采用服從n-k的X²分布的楊統(tǒng)計量（Yen Statistic）檢驗，其最大特點是當樣本數(shù)在500-1000之間時擬合效果最佳。通過專業(yè)軟件ANOTE 1.6計算后，如果其X²檢驗的楊統(tǒng)計量超出了顯著水平，則將該項目予以剔除，如A卷中的第10題和B卷中的第6題。

（4）項目的參數(shù)計算：由于項目參數(shù)和能力參數(shù)均為未知，故一般采用聯(lián)合極大似然估計法，這實際是一個先給定初值，然后雙向交替迭代直至收斂的過程。在ANOTE 1.6軟件上，通過選定項目反應(yīng)理論程序模塊上的“二級評分三參數(shù)項目估計”即可得到各項目的難度、區(qū)分度和猜測度參數(shù)。此外，對于項目的參數(shù)還要進行閾值檢查，即區(qū)分度、難度、猜測度分別在[0.3，2.0]、[-3.0，3.0]、[0，0.25]之間。超過閾值的項目也要予以剔除。如果要實現(xiàn)隨機組卷功能，還要在A、B卷中設(shè)置錨點，這樣才能進行等值化處理。

2.組卷

一份高質(zhì)量的試卷不僅要涉及所學(xué)課程的全部知識與技能，還應(yīng)重點突出、比例恰當。為此，筆者首先運用ISM法（Interpretive Structural Modeling Method）對教材的知識點進行結(jié)構(gòu)關(guān)聯(lián)性分析，這樣便于從宏觀上依據(jù)知識點之間的相關(guān)性大小去把握教材的內(nèi)容比例與難度；接著緊密結(jié)合義務(wù)教育數(shù)學(xué)課程標準中的內(nèi)容——目標要求，重點考察學(xué)生對相關(guān)知識點的理解程度和進行應(yīng)用時所表現(xiàn)出來的思維深度，具體劃分為識記、理解、應(yīng)用、分析與探究五個精熟度水準，其中識記、理解題的分值約總分數(shù)的50%，而應(yīng)用分析類、探究類所占分值分別是總分數(shù)的35%和15%。整個試卷由25道題組成，具體說明試卷中各章節(jié)知識點、考核目標、內(nèi)容比例、難易性質(zhì)的雙向細目表如表3所示。

3.施測

整個測試分為試測和正式施測兩個階段。在第一輪的項目試測中，被測人數(shù)和測試項目理論上都是越多越好，故從E中學(xué)初三年段的全部10班中隨機選擇了6個班，合計332人，其中三個班用A卷測試，另外三個班用B卷測試。在第二輪的正式施測中，筆者從剩余的4個班中隨機抽取了1個學(xué)習(xí)狀況處于中間水平的班級，該班有學(xué)生57人，除去因病事假學(xué)生，實際參測人數(shù)為54人，去掉無效問卷3份，實際有效樣本為51個。

（三）主要指標分析

1.學(xué)習(xí)素養(yǎng)的因子分析

以表1中的F1-F9分別作為縱軸和橫軸，以彼此間的相關(guān)系數(shù)構(gòu)造因子載荷矩陣，經(jīng)SPSS 20.0計算后，發(fā)現(xiàn)其KMO=0.816≥0.7，且Sig.=0.000≤0.01，故適合進行因子分析。主成分分析后的各變量方差解釋結(jié)果如表4所示。由表4可看出：前三個公因子合計解釋了方差貢獻率的74.9%，故提取這三個公因子就可以較好地解釋原來9個變量的變化情況。

經(jīng)坐標旋轉(zhuǎn)后的因子載荷矩陣如表5所示，表中數(shù)值是該變量與所在公因子之間的相關(guān)系數(shù)。為了清晰起見，將相關(guān)系數(shù)在0.5以上的指標在表中以方框標注。由表5可見：公因子1以精致策略為代表，還受到記憶策略、知識遷移、交流合作、學(xué)習(xí)調(diào)控策略、反思與創(chuàng)新、學(xué)習(xí)參與度的影響，但它們的相關(guān)系數(shù)漸次減小，而且它幾乎不受學(xué)科成績（F1）和信息資源利用（F9）兩個指標的影響。由于它對學(xué)習(xí)素養(yǎng)的方差貢獻率達到了近一半，能較好地代表了學(xué)習(xí)素養(yǎng)水平，故可以將其稱為素養(yǎng)因子。同理，與第一公因子相互獨立的第二公因子和第三公因子則分別反映了學(xué)生的考試得分情況和信息資源利用情況，因此，可分別命名為成績因子和資源利用因子。

2.認知策略的使用分析

如前所述，認知策略包括傳統(tǒng)的記憶策略和以知識點的深度理解與整合為基礎(chǔ)的精致策略。為了統(tǒng)一量綱，筆者將學(xué)生的測試成績按照[0，20]，[21，40]，…，[81，100]五個間隔轉(zhuǎn)換為五級計分制。不同成績水平的學(xué)生使用記憶策略與精致策略的情況如圖4所示。

從圖4可以看出：不同成績水平的學(xué)生使用記憶策略和精致策略的情況是不同的。在當前狀況下，成績優(yōu)秀的學(xué)生更多使用記憶策略，而中等成績的學(xué)生反而更注意使用精致策略，由于他們的知識得到了較好的理解和整合，反而使得他們在日后的工作、生活中具有較高的情商和創(chuàng)新意識。這也與在當前的教育背景下成績最優(yōu)秀的學(xué)生往往很難成為各行業(yè)的領(lǐng)軍人物這一社會現(xiàn)象相符合。

3.知識遷移水平

知識遷移反映了學(xué)生學(xué)習(xí)后是否獲得了觸類旁通的情境問題解決能力，這與學(xué)習(xí)后所形成的語義知識網(wǎng)絡(luò)的規(guī)模大小和層次有關(guān)?？紤]到指標數(shù)據(jù)主要是非連續(xù)型的等級數(shù)據(jù)，故采用的是Spearman相關(guān)檢驗。在樣本數(shù)N=51時，各評價指標對知識遷移水平的影響程度如表6所示。在該表中，精致策略F4、交流合作F7、反思與創(chuàng)新F8和學(xué)習(xí)參與度F2都會明顯影響知識遷移水平，而學(xué)科成績F1和信息資源利用F9則對知識遷移水平幾乎沒有影響。

如按照對因變量貢獻最大且符合判斷條件：F≤0.05時進入，F(xiàn)≥0.1時予以刪除的規(guī)則逐一引進各自變量，還可得到知識遷移水平預(yù)測的回歸方程：

4.各指標均值與標準差比較

指標的集中量和差異量往往可以通過其均值和標準差來加以刻畫。經(jīng)計算，9個指標的平均值為3.29。各指標的均值和標準差如圖5所示，均值最大的為交流合作指標F7，其次是記憶策略F3，最小的是信息資源利用F9，其數(shù)值分別為3.59、3.44和2.76。這一現(xiàn)象與學(xué)習(xí)是一種社會活動、具有很強的互動性這一特點有關(guān)。不過，被試的學(xué)習(xí)目的重在獲取比較理想的分數(shù)，認知方法主要是機械記憶，這不利于形成自己的立體化語義知識網(wǎng)絡(luò)，從而間接影響了日后創(chuàng)新能力和知識遷移能力的提高。此外，信息資源利用F9的均值最小，這也在一定程度上說明在當今學(xué)習(xí)背景下，學(xué)生普遍還沒有養(yǎng)成充分利用萬維網(wǎng)上的各種數(shù)字化學(xué)習(xí)資源作為學(xué)習(xí)手段有效補充的習(xí)慣。在差異量方面，學(xué)科知識（成績）F1的標準差為0.934，是9個指標中最大的一個，而標準差最小的是反思與創(chuàng)新F8，這說明初中生學(xué)習(xí)中的兩極分化現(xiàn)象比較嚴重，而反思與創(chuàng)新能力都在較低水平徘徊，不具有明顯差異。

5.反思與創(chuàng)新等四個指標的橫向比較

學(xué)生通過學(xué)習(xí)活動汲取知識，但其根本目的還是要解決自身所面臨的問題。能否在應(yīng)用中收獲創(chuàng)新與效率是判斷教育成敗的關(guān)鍵指標之一。從研究結(jié)果看，學(xué)科成績F1、學(xué)習(xí)參與度F2、知識遷移F6和反思與創(chuàng)新F8這四個指標的均值依次是3.35、3.24、3.39和3.28，只有學(xué)科知識F1在平均值3.29之上，而學(xué)習(xí)參與度F2和反思與創(chuàng)新F8均沒有達到平均水平。上述四個指標在不同成績水準學(xué)生的頻數(shù)分布如圖6所示。從該圖可以看出，四條曲線都呈準正態(tài)分布，但它們的峰度和偏度明顯不同，眾數(shù)所在區(qū)間也不同。反思與創(chuàng)新F8和學(xué)科成績F1較為同步，知識遷移水平最高的那部分學(xué)生成績表現(xiàn)為中等和中等偏上，學(xué)習(xí)參與度F2則呈現(xiàn)明顯的負偏態(tài)。

（四）研究的效度

本研究通過雙向細目表來保證了內(nèi)容效度，但在此次測試與調(diào)查中，學(xué)生能力是否得到了穩(wěn)定發(fā)揮尚不得而知。為此，本研究將此次測試成績分別與該班期中考試和上一次月考的平均成績進行了t檢驗，按式（3）進行計算并查表得知：在顯著性水平α=0.05、自由度df=51條件下均接納了測試樣本總體的平均分μ與假設(shè)總體平均分μ₀之間沒有區(qū)別的零假設(shè)。

五、反思與展望

概括地說，價值是活動對象的客體屬性、功能與主體需要的一種關(guān)系表征。學(xué)習(xí)評價是一種對學(xué)習(xí)活動能在多大程度上滿足主體需要的價值判斷活動。因此，評價研究中特別注重三個基本問題，即為什么而評、評什么、怎么評、從本質(zhì)上來說，學(xué)習(xí)評價歸根結(jié)底是一個認識問題，更確切地說，是一個由點及面、由淺入深、由現(xiàn)象到本質(zhì)的認識過程。

首先是取樣規(guī)模問題。模型驗證的樣本來源越廣，項目參數(shù)的適應(yīng)范圍也就越廣。如果考慮到數(shù)據(jù)處理的工作量大小，也可嚴格按比例進行隨機抽樣。在類別差異較為顯著時還可采用分層隨機抽樣的方式。受時間、精力所限，本研究的樣本都來自于同一所學(xué)校，同一年級的學(xué)生規(guī)模不超過1000人，因此，研究結(jié)論屬于個案性質(zhì)。當然，從鄭州E中學(xué)所處的地理位置和生源結(jié)構(gòu)來看，其結(jié)論也有較強的普適性。

其次是擬合模型的選擇問題。對于IRT來說，不同性質(zhì)的測試會有不同的最佳適應(yīng)模型，因此，在模型擬合階段可以嘗試使用不同的數(shù)學(xué)模型。由于數(shù)學(xué)和科學(xué)領(lǐng)域往往具有客觀性和精確計量的特點，可選擇二值計分模型。但是，對于重在捕捉信息和意義的閱讀領(lǐng)域來說，答案往往是基于情感和意義的選擇，具有一定的主觀性，此時選擇多級計分模型更為合適。因此，筆者在對廈門L中學(xué)高一學(xué)生閱讀策略的評價研究中改用了五級計分的等級反應(yīng)模型（Graded Response Model）。

再次是信息函數(shù)的使用問題。信息函數(shù)I（θ）反映了某一項目對某被試能力的分辨程度。因此，只有在測試中找出那些難度與被試能力最為接近的項目（此時項目的信息函數(shù)值最大），才能保證測量誤差最小。具體來說，在組卷時，如果一套試卷的信息量達到25，其標準誤差將小于0.2。在進行自適應(yīng)測試時，如何圍繞最大信息量設(shè)計一種快速而有效的算法也是一個值得研究的問題。對于CAT，筆者嘗試將所有項目按照難度大小分成數(shù)層，然后依據(jù)信息量不斷增大的原則進行試測，直到前后兩次信息量之差小于某一可接受的誤差之后才停止。為充分利用第一手項目測試數(shù)據(jù)和減少調(diào)試工作量，整個選題流程在經(jīng)過蒙特卡羅（Monte Carlo）模擬實驗予以證實并且取得滿意效果后才正式形成算法，編寫代碼。

最后是該評價模式的應(yīng)用前景問題。歷經(jīng)六年多的探索驗證，該評價模式已相對成熟。預(yù)計在未來一段時間內(nèi)，研究將從目前以初中生為研究主體，逐步擴展到小學(xué)五、六年級和高中一、二年級學(xué)生，內(nèi)容涉及閱讀、數(shù)學(xué)和科學(xué)三個領(lǐng)域，建設(shè)一個中等規(guī)模的多媒體試題庫，在學(xué)習(xí)素養(yǎng)評估專題網(wǎng)站中采用實時問卷調(diào)查和基于IRT測試相結(jié)合的辦法，以本研究中的指標權(quán)重為基礎(chǔ)，轉(zhuǎn)換成一個百分制數(shù)值，將結(jié)果解釋和未來完善建議一并即時反饋給該網(wǎng)站用戶。這些用戶可能是廣大學(xué)習(xí)愛好者或?qū)W校教師和教育研究人員，甚至可以是家長。