合作問(wèn)題解決能力測(cè)量：真實(shí)性與過(guò)程性評(píng)價(jià)視角

袁建林 劉紅云

[摘? ?要] 合作問(wèn)題解決能力是一種復(fù)雜的高階技能，其有效測(cè)量面臨困境。文章遵循真實(shí)性與過(guò)程性評(píng)價(jià)理念，嘗試建構(gòu)全新教育測(cè)驗(yàn)形式，探索合作問(wèn)題解決能力有效測(cè)量的方法與過(guò)程。首先，基于真實(shí)性評(píng)價(jià)理念建構(gòu)真實(shí)任務(wù)情境，開(kāi)發(fā)具有真實(shí)性、交互性、動(dòng)態(tài)性的測(cè)驗(yàn)任務(wù)。其次，獲取學(xué)生在測(cè)驗(yàn)任務(wù)中的過(guò)程性表現(xiàn)，從過(guò)程數(shù)據(jù)中提取有意義的行為模式作為觀測(cè)指標(biāo)，以此形成合作問(wèn)題解決能力的測(cè)量證據(jù)。再次，鑒于“兩人交互”的合作形式和三種觀測(cè)指標(biāo)并存的項(xiàng)目結(jié)構(gòu)，應(yīng)用兩維度Rasch模型進(jìn)行測(cè)驗(yàn)分析和估計(jì)學(xué)生能力。模型擬合結(jié)果顯示測(cè)驗(yàn)項(xiàng)目的MNSQ值處于0.87～1.34之間，項(xiàng)目的整體分離度為0.981，大部分項(xiàng)目的區(qū)分度大于0.3，學(xué)生能力分布符合一般實(shí)際，表明測(cè)量模型擬合較好，測(cè)驗(yàn)項(xiàng)目質(zhì)量較高。研究結(jié)果說(shuō)明基于真實(shí)任務(wù)與過(guò)程性測(cè)驗(yàn)表現(xiàn)測(cè)量合作問(wèn)題解決能力是一種可行的途徑，這種新測(cè)驗(yàn)形式對(duì)復(fù)雜技能的有效測(cè)量具有重要借鑒意義。

[關(guān)鍵詞] 合作問(wèn)題解決能力; 測(cè)量; 真實(shí)性評(píng)價(jià); 過(guò)程性評(píng)價(jià)

[中圖分類(lèi)號(hào)] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

[作者簡(jiǎn)介] 袁建林（1983—），男，湖南邵陽(yáng)人。副教授，博士，主要從事教育測(cè)量與評(píng)價(jià)、技術(shù)支持的復(fù)雜能力測(cè)評(píng)研究。E-mail：jianlinyuan@hnu.edu.cn。劉紅云為通訊作者，E-amil：hyliu@bnu.edu.cn。

一、引? ?言

源于核心素養(yǎng)研究熱潮，如何科學(xué)有效地測(cè)量核心素養(yǎng)這類(lèi)復(fù)雜技能是教育領(lǐng)域備受關(guān)注的問(wèn)題，也是教育測(cè)量所面臨的難題和挑戰(zhàn)[1-2]。合作問(wèn)題解決能力（Collaborative Problem Solving）是一種重要的核心素養(yǎng)，大型國(guó)際測(cè)評(píng)項(xiàng)目PISA2015和ATC21S（Assessment & Teaching of 21st Century Skills）采用不同方法開(kāi)展了大規(guī)模測(cè)評(píng)實(shí)踐[3]，以促進(jìn)合作問(wèn)題解決能力科學(xué)有效測(cè)量的進(jìn)展，驅(qū)動(dòng)教育測(cè)量理念、方法與技術(shù)的系統(tǒng)性革新，對(duì)教育測(cè)評(píng)的發(fā)展具有深遠(yuǎn)影響。但從測(cè)量的科學(xué)性與有效性來(lái)看，兩個(gè)項(xiàng)目都存在一定局限，需要更深入研究。在國(guó)內(nèi)，合作問(wèn)題解決能力測(cè)量的實(shí)踐研究缺乏，有關(guān)復(fù)雜能力測(cè)量方法與過(guò)程的討論也不多。本研究著眼于“真實(shí)性”與“過(guò)程性”測(cè)評(píng)理念解構(gòu)合作問(wèn)題解決能力的測(cè)量方法與過(guò)程，以期解決現(xiàn)有測(cè)量方法所存在的問(wèn)題，促進(jìn)復(fù)雜能力測(cè)量的發(fā)展。

二、已有研究與問(wèn)題

伴隨經(jīng)濟(jì)與社會(huì)的全球化、網(wǎng)絡(luò)化，分工協(xié)作是當(dāng)代社會(huì)生產(chǎn)生活的基本組織形式和人際交往準(zhǔn)則，與此相適應(yīng)，能有效參與合作、解決現(xiàn)實(shí)問(wèn)題成為21世紀(jì)公民必備的能力與素養(yǎng)。在教育領(lǐng)域，合作問(wèn)題解決一般被認(rèn)為是一種核心素養(yǎng)或者21世紀(jì)技能，PISA2015和ATC21S都對(duì)其內(nèi)涵進(jìn)行了詳細(xì)的界定。綜合多方討論，合作問(wèn)題解決能力是指“為達(dá)成共同任務(wù)目標(biāo)，個(gè)體參與合作小組問(wèn)題解決過(guò)程的能力”[4]。對(duì)其內(nèi)涵的理解基本達(dá)成共識(shí)：合作問(wèn)題解決是一種個(gè)人能力，而不是合作小組的共同能力;這種能力體現(xiàn)在個(gè)體參與小組問(wèn)題解決活動(dòng)過(guò)程中，為了完成共同任務(wù)，合作小組成員需要交流各自信息、討論問(wèn)題解決方案、協(xié)同各自行為，最終達(dá)成共同任務(wù)目標(biāo)[4]。因此，合作問(wèn)題解決能力是一種涉及社會(huì)交互的個(gè)體層面能力，也是一類(lèi)高度抽象、結(jié)構(gòu)復(fù)雜的高階技能。

從教育測(cè)量的視角來(lái)看，復(fù)雜構(gòu)念的有效測(cè)量，首先需要對(duì)其進(jìn)行詳細(xì)界定，提出與復(fù)雜理論構(gòu)念“等同”的測(cè)評(píng)框架。PISA2015和ATC21S都提出了具有廣泛公信力的測(cè)評(píng)框架[5]，具體框架內(nèi)容存在較大差別但也具有共性，基本思路是將抽象的能力進(jìn)一步具體化、細(xì)化，形成可觀察、可測(cè)量的指標(biāo)體系。以ATC21S提出的測(cè)評(píng)框架為例，其遵從復(fù)雜概念解構(gòu)還原的基本范式，通過(guò)逐層分解，將合作問(wèn)題解決能力具體化為18種元素，所形成的框架見(jiàn)表1。

關(guān)于合作問(wèn)題解決能力的測(cè)量方法，PISA2015和ATC21S所探索的兩種原創(chuàng)性方法最具代表性。PISA2015采用“人—機(jī)”交互的測(cè)驗(yàn)形式，被測(cè)學(xué)生與代理（Agent）之間通過(guò)對(duì)話完成問(wèn)題解決過(guò)程。代理指的是任務(wù)情境中設(shè)計(jì)的具有一定智能的虛擬人物，模擬被測(cè)學(xué)生的搭檔。其測(cè)量的基本原理是：精心設(shè)計(jì)對(duì)話流程與路徑，在對(duì)話過(guò)程中嵌入一系列問(wèn)題且提供相應(yīng)選項(xiàng)，被測(cè)學(xué)生選擇相應(yīng)選項(xiàng)完成對(duì)話進(jìn)而促進(jìn)問(wèn)題解決進(jìn)程的發(fā)展，學(xué)生對(duì)問(wèn)題的作答被用于推論其合作問(wèn)題解決能力，其實(shí)質(zhì)是巧妙利用學(xué)生與代理之間的“問(wèn)—答”對(duì)話從而將交互性的動(dòng)態(tài)測(cè)驗(yàn)轉(zhuǎn)化成標(biāo)準(zhǔn)化的單項(xiàng)選擇測(cè)驗(yàn)[3]。國(guó)內(nèi)有研究通過(guò)對(duì)合作問(wèn)題解決過(guò)程行為和被試輸入語(yǔ)言進(jìn)行結(jié)構(gòu)化編碼，應(yīng)用會(huì)話管理技術(shù)進(jìn)行人機(jī)對(duì)話，嘗試突破PISA2015的結(jié)構(gòu)化測(cè)驗(yàn)流程[6]。ATC21S采用“人—人”交互的測(cè)驗(yàn)形式，由兩位學(xué)生組成合作小組完成共同任務(wù)、達(dá)成共同目標(biāo)。其測(cè)量的基本過(guò)程是：基于信息不對(duì)稱(chēng)機(jī)制設(shè)計(jì)任務(wù)，學(xué)生通過(guò)對(duì)話交流信息、討論解決方案、執(zhí)行相關(guān)操作達(dá)成共同任務(wù)目標(biāo)，測(cè)試系統(tǒng)實(shí)時(shí)記錄兩位學(xué)生的關(guān)鍵操作行為和對(duì)話內(nèi)容并形成過(guò)程數(shù)據(jù)，從過(guò)程數(shù)據(jù)中提取關(guān)鍵行為或行為模式作為合作問(wèn)題解決能力框架中元素的觀測(cè)指標(biāo)，然后基于這些觀測(cè)指標(biāo)推論學(xué)生的問(wèn)題解決能力。

對(duì)于兩種測(cè)量形式的優(yōu)劣，學(xué)者們持有不同的看法。有研究者認(rèn)為“人—機(jī)”交互測(cè)驗(yàn)為參與測(cè)試的學(xué)生提供了等同的小組構(gòu)成，能夠確保被試受到等同刺激，但預(yù)先設(shè)定的“人—機(jī)”對(duì)話路徑與流程限制了交互的開(kāi)放性，缺乏現(xiàn)實(shí)場(chǎng)景中對(duì)話的真實(shí)性，“人—機(jī)”合作不能等同于真實(shí)世界的合作[7-8]。Griffin等認(rèn)為“人—人”交互測(cè)驗(yàn)?zāi)Ｊ绞钦鎸?shí)的人與人之間的合作，具有現(xiàn)實(shí)合作場(chǎng)景中的開(kāi)放性、真實(shí)性，與“人—機(jī)”交互模式相比具有更高的測(cè)驗(yàn)效度[8]。但ATC21S為合作小組的兩位學(xué)生定義了相同的試題，采用傳統(tǒng)Rasch模型估計(jì)學(xué)生的能力，兩位學(xué)生之間的交流合作違背了測(cè)量模型個(gè)體獨(dú)立性假設(shè)[4]。此外，“人—人”交互測(cè)驗(yàn)產(chǎn)生的過(guò)程數(shù)據(jù)包含豐富的信息，有利于合作問(wèn)題解決能力這類(lèi)復(fù)雜技能抽取多樣化的測(cè)量證據(jù)?？傮w上，“人—機(jī)”交互提供等同刺激，避免了“人—人”交互的非獨(dú)立性問(wèn)題，不需要對(duì)交流語(yǔ)言進(jìn)行處理，適用于PISA這類(lèi)大規(guī)模標(biāo)準(zhǔn)化測(cè)驗(yàn)的需求?！叭恕恕苯换ナ钦鎸?shí)的人與人之間的合作，從測(cè)驗(yàn)形式來(lái)看更具現(xiàn)實(shí)世界合作的真實(shí)性與開(kāi)放性，因而測(cè)驗(yàn)可能更真實(shí)有效。

教育測(cè)評(píng)形式與方法的變革根源于測(cè)評(píng)思想與理念的發(fā)展。PISA2015和ATC21S關(guān)于合作問(wèn)題解決能力的新測(cè)驗(yàn)形式超越了傳統(tǒng)標(biāo)準(zhǔn)化紙筆考試，其突破性的進(jìn)步除了技術(shù)便捷性的助催，變革的本質(zhì)根源于教育測(cè)評(píng)自我反思與批判所衍生的新評(píng)價(jià)思想與理念。具體來(lái)說(shuō)，是真實(shí)性評(píng)價(jià)與過(guò)程性評(píng)價(jià)理念在教育測(cè)評(píng)實(shí)踐中的運(yùn)用。真實(shí)性評(píng)價(jià)倡導(dǎo)創(chuàng)設(shè)具有現(xiàn)實(shí)意義的真實(shí)問(wèn)題情境、采用多樣化評(píng)估方式，改變過(guò)度關(guān)注事實(shí)性知識(shí)再認(rèn)和回憶的評(píng)價(jià)形態(tài)，從而實(shí)現(xiàn)對(duì)有現(xiàn)實(shí)價(jià)值的高層次思維能力的評(píng)價(jià)[9]。真實(shí)性評(píng)價(jià)的靈魂在于“真實(shí)性”。一方面評(píng)價(jià)任務(wù)與評(píng)價(jià)情境要具有真實(shí)性。Wiggins認(rèn)為真實(shí)性評(píng)價(jià)在于考查學(xué)生在有價(jià)值的任務(wù)上的表現(xiàn)[10]，所謂有價(jià)值的任務(wù)是指構(gòu)建的任務(wù)情境與現(xiàn)實(shí)社會(huì)生活相同或相似，即真實(shí)性任務(wù)。另一方面，真實(shí)性評(píng)價(jià)強(qiáng)調(diào)測(cè)評(píng)的內(nèi)容具有現(xiàn)實(shí)意義和價(jià)值，其核心是要考查學(xué)生整合已有知識(shí)、技能、態(tài)度、個(gè)體傾向等特質(zhì)應(yīng)用于有意義的現(xiàn)實(shí)問(wèn)題情境中的能力[11]，也就是在真實(shí)任務(wù)與情境中解決問(wèn)題的能力。過(guò)程性評(píng)價(jià)發(fā)軔于對(duì)終結(jié)性評(píng)價(jià)的批判，主張采取目標(biāo)與過(guò)程并重的價(jià)值取向，對(duì)學(xué)習(xí)過(guò)程、學(xué)習(xí)結(jié)果以及相關(guān)非智力因素進(jìn)行全面評(píng)價(jià)[12]，其出發(fā)點(diǎn)是倡導(dǎo)評(píng)價(jià)要關(guān)注學(xué)習(xí)過(guò)程。近年來(lái)隨著技術(shù)的發(fā)展及在教育測(cè)評(píng)中的應(yīng)用，衍生出游戲化測(cè)驗(yàn)、嵌入式測(cè)驗(yàn)等具有交互性、動(dòng)態(tài)性的過(guò)程性測(cè)驗(yàn)形式[13]，其核心是基于學(xué)生完成任務(wù)的過(guò)程性表現(xiàn)而不僅僅是“作答結(jié)果”進(jìn)行測(cè)評(píng)，此為過(guò)程性評(píng)價(jià)的另一層內(nèi)涵。通過(guò)對(duì)兩種新測(cè)評(píng)理念與思想的闡釋?zhuān)梢钥闯鯬ISA2015和ATC21S關(guān)于合作問(wèn)題解決能力的測(cè)量具備真實(shí)性和過(guò)程性特征。首先，“人—機(jī)”交互與“人—人”交互測(cè)驗(yàn)都需要構(gòu)建真實(shí)性情境、開(kāi)發(fā)真實(shí)性測(cè)評(píng)任務(wù)。其次，所測(cè)評(píng)的合作問(wèn)題解決能力是真實(shí)問(wèn)題情境中的能力，具有現(xiàn)實(shí)意義和價(jià)值。再次，兩種測(cè)驗(yàn)形式都具有動(dòng)態(tài)性、過(guò)程性特征，學(xué)生需要與同伴或代理交流信息、討論解決方案、執(zhí)行問(wèn)題解決步驟等，測(cè)驗(yàn)進(jìn)程是動(dòng)態(tài)發(fā)展的過(guò)程，關(guān)注完成任務(wù)的過(guò)程而不是結(jié)果。

綜合來(lái)看，PISA2015和ATC21S采用全新測(cè)驗(yàn)形式測(cè)量合作問(wèn)題解決能力是新測(cè)評(píng)理念引領(lǐng)與新方法技術(shù)應(yīng)用雙重驅(qū)動(dòng)的結(jié)果。對(duì)于兩種測(cè)驗(yàn)形式的優(yōu)劣，從真實(shí)性評(píng)價(jià)和過(guò)程性評(píng)價(jià)的角度來(lái)看，“人—人”交互測(cè)驗(yàn)是真實(shí)的人與人之間的合作，更具有人類(lèi)社會(huì)合作交互的開(kāi)放性與非預(yù)見(jiàn)性，更符合真實(shí)性與過(guò)程性測(cè)評(píng)理念，因此本研究將采用“人—人”交互的測(cè)驗(yàn)形式。然而，對(duì)于這類(lèi)真實(shí)的“人—人”交互式測(cè)驗(yàn)，如何設(shè)計(jì)與開(kāi)發(fā)測(cè)驗(yàn)任務(wù)？如何獲取學(xué)生完成測(cè)驗(yàn)任務(wù)的過(guò)程？如何從學(xué)生完成任務(wù)的過(guò)程中抽取指標(biāo)推論學(xué)生的潛在能力？如何基于這種真實(shí)性的交互式測(cè)驗(yàn)確保合作問(wèn)題解決能力的測(cè)量更加科學(xué)有效？對(duì)于這些基本問(wèn)題的回答，需要實(shí)踐層面的經(jīng)驗(yàn)與證據(jù)。本研究著眼于合作問(wèn)題解決能力的測(cè)量，嘗試從真實(shí)性與過(guò)程性評(píng)價(jià)視角解構(gòu)這類(lèi)復(fù)雜測(cè)驗(yàn)的實(shí)施流程，以期為復(fù)雜技能的有效測(cè)量、新型交互性測(cè)驗(yàn)的實(shí)施提供經(jīng)驗(yàn)與借鑒。

三、真實(shí)性測(cè)驗(yàn)任務(wù)設(shè)計(jì)

由于合作問(wèn)題解決能力的復(fù)雜性，設(shè)計(jì)與開(kāi)發(fā)測(cè)驗(yàn)任務(wù)是合作問(wèn)題解決能力有效測(cè)量的首要難題。遵循真實(shí)性評(píng)價(jià)理念，我們嘗試構(gòu)建基于信息技術(shù)的真實(shí)性測(cè)驗(yàn)任務(wù)，以期能有效誘發(fā)被試合作性地參與問(wèn)題解決，實(shí)現(xiàn)對(duì)合作問(wèn)題解決能力的有效測(cè)量。真實(shí)性測(cè)驗(yàn)任務(wù)設(shè)計(jì)主要包括“合作”的誘發(fā)機(jī)制設(shè)計(jì)、任務(wù)原型設(shè)計(jì)和任務(wù)表現(xiàn)形式設(shè)計(jì)三方面。

（一）合作問(wèn)題解決能力的誘發(fā)機(jī)制

在傳統(tǒng)紙筆測(cè)驗(yàn)中，測(cè)驗(yàn)試題是誘發(fā)被試能力反應(yīng)的刺激因素，試題與被測(cè)能力存在內(nèi)容關(guān)聯(lián)性，試題設(shè)計(jì)主要從學(xué)習(xí)范圍之內(nèi)進(jìn)行內(nèi)容抽樣。合作問(wèn)題解決是一種復(fù)雜的高階技能，難以基于傳統(tǒng)紙筆測(cè)驗(yàn)中的試題誘發(fā)學(xué)生合作性的解決問(wèn)題，需要設(shè)計(jì)新穎的刺激形式達(dá)到有效測(cè)量的目標(biāo)。合作問(wèn)題解決主要包括合作與問(wèn)題解決兩個(gè)維度，對(duì)于問(wèn)題解決，傳統(tǒng)“提問(wèn)題”的形式能有效誘發(fā)問(wèn)題解決過(guò)程，而對(duì)于合作的誘發(fā)，教育測(cè)驗(yàn)中缺少較為成熟的機(jī)制。

在ATC21S和PISA關(guān)于合作問(wèn)題解決的測(cè)評(píng)研究中，合作的誘發(fā)機(jī)制在于讓學(xué)生們參與解決同一個(gè)問(wèn)題，達(dá)到共同目標(biāo)，但具體方式有所區(qū)別。PISA“人—機(jī)”交互的合作由虛擬的“代理人”提問(wèn)、學(xué)生作答的形式完成。ATC21S“人—人”交互的合作采用“信息不對(duì)稱(chēng)”的誘發(fā)機(jī)制，主要包括以下兩方面：一是讓兩位學(xué)生解決同一問(wèn)題，達(dá)到共同目標(biāo);二是在任務(wù)開(kāi)始之初為兩位學(xué)生分配不同的資源、工具，讓學(xué)生獲得不同信息，需要學(xué)生充分利用各自掌握的信息與資源交互協(xié)作才能完成任務(wù)、達(dá)到共同目標(biāo)?！靶畔⒉粚?duì)稱(chēng)”的合作誘發(fā)機(jī)制更接近現(xiàn)實(shí)中合作情境，構(gòu)建的合作任務(wù)更具有真實(shí)性，更符合本研究真實(shí)性評(píng)價(jià)的初衷，因此我們采用該形式設(shè)計(jì)測(cè)驗(yàn)任務(wù)。

（二）真實(shí)性任務(wù)原型設(shè)計(jì)

所謂任務(wù)原型，是指測(cè)驗(yàn)任務(wù)所包含的問(wèn)題情境、問(wèn)題結(jié)構(gòu)。合作問(wèn)題解決能力的真實(shí)性測(cè)評(píng)以真實(shí)性任務(wù)為基礎(chǔ)，真實(shí)性任務(wù)需要真實(shí)性問(wèn)題情境。真實(shí)情境是源于現(xiàn)實(shí)世界、貼近學(xué)生經(jīng)驗(yàn)的生活場(chǎng)景[14]，它缺乏傳統(tǒng)測(cè)驗(yàn)試題所具有的學(xué)科化問(wèn)題結(jié)構(gòu)，需要學(xué)生綜合應(yīng)用自身知識(shí)、技能和經(jīng)驗(yàn)探明現(xiàn)實(shí)生活場(chǎng)景的問(wèn)題解決過(guò)程，而不是簡(jiǎn)單的學(xué)科知識(shí)應(yīng)用。

合作問(wèn)題解決能力真實(shí)性測(cè)驗(yàn)任務(wù)情境創(chuàng)設(shè)主要考慮以下因素。一是任務(wù)情境要能夠誘發(fā)學(xué)生參與合作，主要通過(guò)“信息不對(duì)稱(chēng)”機(jī)制達(dá)到該目標(biāo)。二是問(wèn)題情境源于學(xué)生學(xué)習(xí)與生活中的真實(shí)性體驗(yàn)，主要包括學(xué)科有關(guān)問(wèn)題情境和學(xué)科無(wú)關(guān)問(wèn)題情境。學(xué)科有關(guān)問(wèn)題情境源于學(xué)科學(xué)習(xí)的現(xiàn)實(shí)場(chǎng)景，解決該類(lèi)任務(wù)主要以學(xué)科知識(shí)為支撐;學(xué)科無(wú)關(guān)問(wèn)題情境源于真實(shí)的生活場(chǎng)景，是學(xué)生真實(shí)生活中會(huì)遇到現(xiàn)實(shí)問(wèn)題，解決該類(lèi)問(wèn)題需要綜合應(yīng)用自身知識(shí)、技能與經(jīng)驗(yàn)?；谝延袦y(cè)驗(yàn)任務(wù)改編和重新設(shè)計(jì)，本研究共設(shè)計(jì)開(kāi)發(fā)了五個(gè)任務(wù)。以“裝水”任務(wù)為例，表2詳細(xì)描述了其設(shè)計(jì)原理。圖1是“裝水”任務(wù)完成開(kāi)發(fā)的界面截圖。

（三）任務(wù)表現(xiàn)形式設(shè)計(jì)

在基于計(jì)算機(jī)的表現(xiàn)性測(cè)驗(yàn)中，技術(shù)的便捷性使得建構(gòu)豐富的問(wèn)題情境成為可能，同時(shí)也會(huì)產(chǎn)生多種類(lèi)型的測(cè)驗(yàn)表現(xiàn)，比如學(xué)生交流討論中的言語(yǔ)行為，單擊、拖拽等操作行為，也有可能是任務(wù)完成后的成果與產(chǎn)品。對(duì)于這些類(lèi)型迥異、意義繁雜的表現(xiàn)形式，需要在任務(wù)設(shè)計(jì)時(shí)加以規(guī)定、規(guī)范，確保測(cè)驗(yàn)表現(xiàn)形式結(jié)構(gòu)化、系統(tǒng)化，為數(shù)據(jù)分析和抽取測(cè)量證據(jù)提供基礎(chǔ)。

測(cè)驗(yàn)表現(xiàn)的結(jié)構(gòu)性規(guī)范設(shè)計(jì)在于對(duì)任務(wù)活動(dòng)過(guò)程進(jìn)行統(tǒng)一界定，重點(diǎn)關(guān)注學(xué)生在任務(wù)情境中的行為過(guò)程，以及任務(wù)活動(dòng)所引起問(wèn)題情境的狀態(tài)變化。本研究以“事件”對(duì)問(wèn)題情境中的活動(dòng)以及有關(guān)問(wèn)題情境的狀態(tài)進(jìn)行統(tǒng)一規(guī)范。事件是指學(xué)生在任務(wù)活動(dòng)中的行為和問(wèn)題情境狀態(tài)的更新，結(jié)合其發(fā)生的時(shí)間順序可以反映學(xué)生的行為過(guò)程和問(wèn)題情境狀態(tài)的變化過(guò)程。例如，“裝水”任務(wù)中，學(xué)生A打開(kāi)水龍頭接水是一個(gè)行為事件;接水以后，水杯中的水會(huì)變成3L，該事件屬于問(wèn)題情境狀態(tài)的變化。表3是對(duì)“裝水”任務(wù)問(wèn)題情境的結(jié)構(gòu)性界定，包含該任務(wù)部分需要捕獲的關(guān)鍵事件。所謂關(guān)鍵事件，是指對(duì)于揭示學(xué)生問(wèn)題解決過(guò)程有重要意義的事件，而不是與問(wèn)題解決無(wú)關(guān)緊要的事件。比如，學(xué)生在任務(wù)界面中隨意單擊鼠標(biāo)，該事件對(duì)于揭示問(wèn)題解決過(guò)程意義有限，不是關(guān)鍵事件。關(guān)鍵事件包含兩類(lèi)，共同事件和獨(dú)立事件。共同事件是指在所有任務(wù)中都會(huì)出現(xiàn)的事件，比如任務(wù)的開(kāi)始和結(jié)束、學(xué)生的對(duì)話。單獨(dú)事件是指在該任務(wù)中特有而在其他任務(wù)中不會(huì)發(fā)生的事件。

關(guān)鍵事件對(duì)于復(fù)雜技能的過(guò)程性測(cè)量具有重要意義。學(xué)生在問(wèn)題情境中的行為與活動(dòng)過(guò)程是一個(gè)連續(xù)的整體，難以整體性記錄。通過(guò)界定關(guān)鍵事件將連續(xù)行為過(guò)程進(jìn)行離散化表達(dá)，從而能實(shí)現(xiàn)對(duì)連續(xù)行為過(guò)程進(jìn)行離散化記錄。從任務(wù)活動(dòng)的整體來(lái)看，如果將所有反映學(xué)生問(wèn)題解決過(guò)程的操作行為和問(wèn)題情境狀態(tài)的變化都以事件的形式進(jìn)行離散，則能完整反映學(xué)生的測(cè)驗(yàn)過(guò)程表現(xiàn)。同時(shí)，通過(guò)對(duì)關(guān)鍵事件進(jìn)行結(jié)構(gòu)化設(shè)計(jì)，使得學(xué)生在任務(wù)情境中的活動(dòng)過(guò)程具有統(tǒng)一結(jié)構(gòu)，盡管學(xué)生在不同任務(wù)情境中的活動(dòng)過(guò)程千差萬(wàn)別，但統(tǒng)一的結(jié)構(gòu)使得我們能對(duì)不同學(xué)生活動(dòng)過(guò)程所產(chǎn)生的記錄進(jìn)行挖掘和解釋更為便捷，這為大規(guī)模的標(biāo)準(zhǔn)化測(cè)量證據(jù)抽取提供基礎(chǔ)。

四、過(guò)程性測(cè)驗(yàn)表現(xiàn)中抽取測(cè)量證據(jù)

從測(cè)驗(yàn)表現(xiàn)來(lái)看，本研究獲取的是學(xué)生完成任務(wù)的行為表現(xiàn)過(guò)程，形成過(guò)程流數(shù)據(jù)。這類(lèi)數(shù)據(jù)形式多樣，蘊(yùn)含信息豐富，但是單點(diǎn)數(shù)據(jù)缺乏解釋力，難以直接應(yīng)用測(cè)量模型推論學(xué)生能力。也就是說(shuō)，過(guò)程流數(shù)據(jù)不是推論學(xué)生能力的直接證據(jù)，需要先從過(guò)程流數(shù)據(jù)中抽取推論合作問(wèn)題解決能力的證據(jù)。如何從過(guò)程流數(shù)據(jù)抽取測(cè)量證據(jù)、設(shè)計(jì)觀測(cè)指標(biāo)需要深入探討。

（一）測(cè)驗(yàn)過(guò)程流數(shù)據(jù)

在任務(wù)設(shè)計(jì)過(guò)程中，每個(gè)任務(wù)定義了若干關(guān)鍵事件。學(xué)生完成任務(wù)時(shí)，操作任務(wù)情境中的相關(guān)元素將會(huì)觸發(fā)關(guān)鍵事件，系統(tǒng)依據(jù)關(guān)鍵事件發(fā)生的時(shí)間順序、遵從統(tǒng)一的格式將學(xué)生觸發(fā)的關(guān)鍵事件實(shí)時(shí)記錄到數(shù)據(jù)庫(kù)中，形成過(guò)程流數(shù)據(jù)。圖2是某個(gè)小組的兩位學(xué)生完成“裝水”任務(wù)時(shí)所記錄的過(guò)程流數(shù)據(jù)的一部分。過(guò)程流數(shù)據(jù)記錄了學(xué)生從進(jìn)入任務(wù)到完成任務(wù)之間的所有行為事件，包括對(duì)話、操作行為以及問(wèn)題情境狀態(tài)的改變等。

從數(shù)據(jù)特點(diǎn)來(lái)看，過(guò)程流是離散事件在時(shí)間上的連續(xù)，真實(shí)而全面地反映了學(xué)生完成任務(wù)的過(guò)程，而不僅僅是操作任務(wù)的結(jié)果。從測(cè)驗(yàn)的角度來(lái)看，學(xué)生的具體測(cè)驗(yàn)表現(xiàn)為關(guān)鍵事件流，即行為過(guò)程流。這種測(cè)驗(yàn)表現(xiàn)與傳統(tǒng)測(cè)驗(yàn)直接獲得學(xué)生對(duì)于試題的作答結(jié)果有巨大不同。首先，過(guò)程流數(shù)據(jù)只是對(duì)學(xué)生完成任務(wù)過(guò)程的詳細(xì)記錄，難以直接用于評(píng)判學(xué)生能力，需要從中提取測(cè)量證據(jù)，才能對(duì)學(xué)生的合作問(wèn)題解決能力進(jìn)行有效推論。其次，過(guò)程流數(shù)據(jù)中絕大多數(shù)單個(gè)關(guān)鍵事件對(duì)于推論學(xué)生能力缺乏意義，需要深入挖掘行為模式蘊(yùn)含的信息及其測(cè)量意義。比如，單獨(dú)考察學(xué)生的某一次發(fā)言或某一個(gè)操作行為，難以形成有意義的測(cè)量證據(jù)，需要結(jié)合該事件的前后多次行為事件才能提取有意義的測(cè)量證據(jù)。再次，過(guò)程流數(shù)據(jù)真實(shí)反映了學(xué)生完成任務(wù)的完整過(guò)程，蘊(yùn)含著學(xué)生問(wèn)題解決的策略與路徑，蘊(yùn)含著學(xué)生情感、動(dòng)機(jī)、態(tài)度等變化，這有利于獲取合作問(wèn)題解決這類(lèi)復(fù)雜能力的多元化測(cè)量證據(jù)。

（二）基于過(guò)程數(shù)據(jù)抽取測(cè)量證據(jù)的原理

教育測(cè)量是基于證據(jù)進(jìn)行推理的過(guò)程[15]，建構(gòu)測(cè)量證據(jù)是復(fù)雜測(cè)驗(yàn)工作的核心。證據(jù)與推論有關(guān)。所謂測(cè)量證據(jù)，是指能直接增加或者降低對(duì)潛在構(gòu)念水平判斷的依據(jù)。合作問(wèn)題解決能力的測(cè)量證據(jù)，是指能對(duì)合作問(wèn)題解決能力水平高低進(jìn)行直接推論的依據(jù)。本測(cè)驗(yàn)獲取的數(shù)據(jù)是操作與言語(yǔ)行為的過(guò)程數(shù)據(jù)，難以直接基于過(guò)程流數(shù)據(jù)對(duì)合作問(wèn)題解決能力進(jìn)行有效推論，需要建構(gòu)橋接合作問(wèn)題解決能力與過(guò)程流數(shù)據(jù)之間的測(cè)量證據(jù)鏈條。

對(duì)于合作問(wèn)題解決能力這類(lèi)抽象的復(fù)雜技能，盡管權(quán)威的大型測(cè)驗(yàn)項(xiàng)目明確了其概念與具體維度的內(nèi)涵，取得一定說(shuō)服力和廣泛認(rèn)可。然而，這種界定是一般理論意義上的描述，是跨越不同任務(wù)情境的理論抽象。在具體測(cè)驗(yàn)工作中，需要結(jié)合具體任務(wù)情境對(duì)合作問(wèn)題解決能力各維度進(jìn)行具體化，明確其在具體任務(wù)中的實(shí)質(zhì)意義。從測(cè)量的角度來(lái)看，就是依據(jù)復(fù)雜技能的理論內(nèi)涵對(duì)其進(jìn)行操作化界定，將理論意義上的復(fù)雜技能的組成元素具體化為任務(wù)情境中的操作行為模式，并將學(xué)生在操作行為模式上的表現(xiàn)視為合作問(wèn)題解決能力的觀測(cè)指標(biāo)，以此形成合作問(wèn)題解決能力的測(cè)量證據(jù)。因此，證據(jù)鏈條的建構(gòu)過(guò)程轉(zhuǎn)化為在過(guò)程數(shù)據(jù)中尋找映射構(gòu)念元素的有意義行為模式的過(guò)程。所謂有意義的行為模式，是指學(xué)生在某特定行為模式上的表現(xiàn)對(duì)于評(píng)判學(xué)生能力水平能提供有用信息，能直接依據(jù)它增加或者降低對(duì)學(xué)生能力水平的判斷，即測(cè)量證據(jù)。

本研究采用ATC21S的測(cè)評(píng)框架，見(jiàn)表1，其三級(jí)維度包含18種元素，ATC21S對(duì)每種元素都有相應(yīng)的內(nèi)涵界定。但這個(gè)界定是對(duì)構(gòu)念元素一般意義上的理論說(shuō)明，需要對(duì)構(gòu)念元素進(jìn)行操作性界定。也就是在不同的任務(wù)中尋找與構(gòu)念元素關(guān)聯(lián)的有意義行為模式，將學(xué)生在該行為模式上的表現(xiàn)視為構(gòu)念元素的觀測(cè)指標(biāo)。觀測(cè)指標(biāo)類(lèi)似傳統(tǒng)測(cè)驗(yàn)中的試題，是推論學(xué)生合作問(wèn)題解決能力水平的直接依據(jù)。表4是“裝水”任務(wù)中“行動(dòng)”元素的觀測(cè)指標(biāo)設(shè)計(jì)。在測(cè)評(píng)框架中，“行動(dòng)”的內(nèi)涵是指“在環(huán)境中的活躍度”，這是對(duì)“行動(dòng)”一般意義上的理論闡釋。在觀察指標(biāo)設(shè)計(jì)中，需要對(duì)其進(jìn)行操作性界定，在這里界定為“發(fā)送消息和操作行為的數(shù)量”。“抽取方法”是指在過(guò)程流數(shù)據(jù)中提取該行為模式的具體方法過(guò)程，用于之后編寫(xiě)評(píng)分程序。表現(xiàn)水平主要分為等級(jí)計(jì)分和計(jì)數(shù)值兩種輸出，計(jì)數(shù)值需要結(jié)合學(xué)生整體表現(xiàn)情況和專(zhuān)家意見(jiàn)設(shè)定截?cái)嘀?，轉(zhuǎn)化為等級(jí)水平性質(zhì)的數(shù)據(jù)。

（三）兩人交互測(cè)驗(yàn)形式下的測(cè)驗(yàn)項(xiàng)目設(shè)計(jì)

“信息不對(duì)稱(chēng)”的合作誘發(fā)機(jī)制使得測(cè)驗(yàn)項(xiàng)目的設(shè)計(jì)面臨兩難選擇：一方面，“信息不對(duì)稱(chēng)”的機(jī)制導(dǎo)致兩位學(xué)生所受到的“刺激”不完全等同，合作過(guò)程中的任務(wù)分工不同導(dǎo)致測(cè)驗(yàn)表現(xiàn)也有差別;另一方面，為了等同地測(cè)量個(gè)體能力，需要相同的測(cè)驗(yàn)項(xiàng)目以確保對(duì)參與合作的兩位學(xué)生進(jìn)行公平、可比較的測(cè)量。

綜合考慮該特殊情況與測(cè)量模型的應(yīng)用，本研究為參與合作的兩位學(xué)生設(shè)計(jì)了三類(lèi)項(xiàng)目：共同項(xiàng)目、獨(dú)立項(xiàng)目、小組項(xiàng)目。共同項(xiàng)目是指，在兩位學(xué)生的行為過(guò)程流中，能夠映射某構(gòu)念元素的相同行為模式，且這種行為模式的發(fā)生在兩位學(xué)生的任務(wù)完成過(guò)程中具有必然性，可以理解為兩位學(xué)生測(cè)試了相同的題目。獨(dú)立項(xiàng)目是指，從兩位學(xué)生的行為過(guò)程流中定義的相對(duì)獨(dú)特的行為模式，可以理解為兩位學(xué)生測(cè)試了不同的試題。小組項(xiàng)目是指，反映兩位學(xué)生共同作用結(jié)果的指標(biāo)。例如，是否達(dá)成任務(wù)目標(biāo)可以作為衡量小組合作的指標(biāo)，該指標(biāo)凝結(jié)著兩位學(xué)生作用的結(jié)果。

依據(jù)測(cè)驗(yàn)項(xiàng)目設(shè)計(jì)的原理和方法，本研究基于小丑機(jī)器人、植物生長(zhǎng)、平衡木和裝水四個(gè)任務(wù)分別為學(xué)生A和學(xué)生B定義了17個(gè)共同項(xiàng)目，8個(gè)小組項(xiàng)目，學(xué)生A的獨(dú)立項(xiàng)目12個(gè)，學(xué)生B的獨(dú)立項(xiàng)目11個(gè)?？傮w上，學(xué)生A和學(xué)生B所設(shè)計(jì)的測(cè)驗(yàn)項(xiàng)目數(shù)量基本相同，每位學(xué)生在合作問(wèn)題解決的每個(gè)維度上都有一定數(shù)量的測(cè)驗(yàn)項(xiàng)目，確保測(cè)驗(yàn)內(nèi)容的有效性。

（四）過(guò)程流數(shù)據(jù)評(píng)分及項(xiàng)目初步檢驗(yàn)

完成測(cè)驗(yàn)項(xiàng)目的設(shè)計(jì)之后，需要依據(jù)測(cè)驗(yàn)項(xiàng)目的定義對(duì)每一個(gè)被試的行為過(guò)程流數(shù)據(jù)進(jìn)行評(píng)分。本研究基于R語(yǔ)言編寫(xiě)自動(dòng)化評(píng)分程序，程序的算法根據(jù)測(cè)驗(yàn)項(xiàng)目定義中的抽取方法。最后利用自動(dòng)化程序完成對(duì)過(guò)程流數(shù)據(jù)的評(píng)分。

測(cè)驗(yàn)項(xiàng)目設(shè)計(jì)取決于研究者主觀經(jīng)驗(yàn)與個(gè)人理解，項(xiàng)目設(shè)計(jì)是否科學(xué)、能否有效測(cè)量合作問(wèn)題解決能力，自動(dòng)評(píng)分程序是否可靠，需要進(jìn)行外部驗(yàn)證。一是測(cè)驗(yàn)項(xiàng)目專(zhuān)家驗(yàn)證。測(cè)驗(yàn)項(xiàng)目設(shè)計(jì)完成后，邀請(qǐng)5位專(zhuān)家對(duì)所有測(cè)驗(yàn)項(xiàng)目進(jìn)行評(píng)審，從項(xiàng)目的有效性、公平性等方面綜合評(píng)判所設(shè)計(jì)的項(xiàng)目是否合理。37個(gè)項(xiàng)目被完全評(píng)為“合理”，其他36個(gè)項(xiàng)目依據(jù)專(zhuān)家意見(jiàn)進(jìn)行了修改。二是開(kāi)展測(cè)驗(yàn)項(xiàng)目評(píng)分者信度驗(yàn)證。自動(dòng)化評(píng)分完成之后，選取兩位對(duì)本項(xiàng)目非常熟悉的教育測(cè)評(píng)領(lǐng)域的研究人員作為評(píng)分者，兩位評(píng)分者和自動(dòng)化評(píng)分程序分項(xiàng)目獨(dú)立地對(duì)30位學(xué)生的過(guò)程流數(shù)據(jù)進(jìn)行評(píng)分，然后計(jì)算評(píng)分者之間、評(píng)分者與評(píng)分程序之間的Kappa一致性。結(jié)果表明評(píng)分者之間、評(píng)分者與評(píng)分程序之間在大部分項(xiàng)目上的Kappa系數(shù)大于0.4以上，說(shuō)明評(píng)分者之間、人工評(píng)分和算法程序評(píng)分之間有較高的一致性，自動(dòng)化評(píng)分程序具有較高的可靠性。

五、測(cè)驗(yàn)分析與結(jié)果

測(cè)驗(yàn)系統(tǒng)開(kāi)發(fā)完成之后，在北京、浙江、湖南、江西各選1所學(xué)校進(jìn)行實(shí)測(cè)，測(cè)試對(duì)象為15歲左右的初三學(xué)生。完成數(shù)據(jù)清理和篩選之后，共有434人（217個(gè)小組）構(gòu)成測(cè)驗(yàn)分析的樣本。

（一）項(xiàng)目結(jié)構(gòu)與模型選擇

從測(cè)量的角度看，測(cè)驗(yàn)形式與項(xiàng)目結(jié)構(gòu)共同決定測(cè)量模型的使用?！皟扇私换ァ睖y(cè)驗(yàn)形式中，被試完成任務(wù)的過(guò)程是一個(gè)相互影響的過(guò)程，測(cè)驗(yàn)形成的數(shù)據(jù)被稱(chēng)為二元體數(shù)據(jù)（Dyadic Data）。這種測(cè)驗(yàn)形式違背了被試之間獨(dú)立性假設(shè)，傳統(tǒng)測(cè)量模型難以直接應(yīng)用。針對(duì)二元體數(shù)據(jù)的建模問(wèn)題，已有研究提出多維度IRT模型、多水平模型等多種建模思路[16]。本研究設(shè)計(jì)有三類(lèi)項(xiàng)目，為了充分利用所獲得的測(cè)量證據(jù)，同時(shí)避免傳統(tǒng)IRT建模的被試局部獨(dú)立性假設(shè)問(wèn)題，依據(jù)多維度IRT模型對(duì)“二元體”數(shù)據(jù)進(jìn)行建模的思想，選用了項(xiàng)目?jī)?nèi)兩維度Rasch模型作為測(cè)驗(yàn)數(shù)據(jù)的分析模型，具體思路如圖3所示。學(xué)生A和學(xué)生B被視為模型的兩個(gè)維度，分別為學(xué)生A和學(xué)生B的合作問(wèn)題解決能力。CA1、CA2…是學(xué)生A的共同項(xiàng)目，DA1、DA2…是學(xué)生A的獨(dú)立項(xiàng)目;CB1、CB2…為學(xué)生B的共同項(xiàng)目，DB1、DB2…為學(xué)生B的獨(dú)立項(xiàng)目;G1、G2…是小組項(xiàng)目，同時(shí)附著于學(xué)生A和學(xué)生B。

（二）測(cè)驗(yàn)分析結(jié)果

采用Conquest軟件基于項(xiàng)目?jī)?nèi)兩維度Rasch模型對(duì)測(cè)驗(yàn)項(xiàng)目進(jìn)行了兩輪分析。第一輪分析結(jié)果表明，大部分測(cè)驗(yàn)項(xiàng)目的測(cè)量學(xué)指標(biāo)表現(xiàn)較好，只有部分個(gè)人層面項(xiàng)目的區(qū)分度較低，結(jié)合個(gè)人項(xiàng)目與小組任務(wù)目標(biāo)達(dá)成的相關(guān)分析，剔除了部分個(gè)人項(xiàng)目，最后包含個(gè)人層面項(xiàng)目36個(gè)、小組層面項(xiàng)目8個(gè)，再進(jìn)行第二輪分析。結(jié)果表明模型擬合較好。測(cè)驗(yàn)項(xiàng)目的整體分離度為0.981，項(xiàng)目分離信度較高。模型的兩個(gè)維度信度分別為0.886和0.891，說(shuō)明模型對(duì)于兩位學(xué)生的分離信度較高。兩維度相關(guān)為0.561，說(shuō)明兩位學(xué)生之間具有較強(qiáng)相互依賴(lài)性。

表5為測(cè)驗(yàn)項(xiàng)目擬合結(jié)果。從中可以看出，所有項(xiàng)目的MNSQ值處于0.87～1.34之間，平均值1.0，說(shuō)明項(xiàng)目的擬合情況較好。項(xiàng)目難度值處于-2.0～1.516之間，平均難度為-0.107，總體來(lái)說(shuō)，項(xiàng)目稍顯容易。此外，基于CTT方法計(jì)算項(xiàng)目區(qū)分度，項(xiàng)目的區(qū)分度處于0.25～0.66之間，大部分項(xiàng)目的區(qū)分度基本滿足要求。

此外，Conqest軟件估計(jì)了每位學(xué)生的合作問(wèn)題解決能力，能力量尺范圍為-2～2，被試在能力值0附近分布較多，以0為中心，被試向兩端分布越趨減少，這與一般教育測(cè)驗(yàn)中學(xué)生能力的正態(tài)分布假設(shè)比較符合，反映了本測(cè)驗(yàn)符合一般實(shí)際情況。

六、結(jié)? ?語(yǔ)

對(duì)于合作問(wèn)題解決能力這類(lèi)復(fù)雜技能，傳統(tǒng)教育測(cè)量范式面臨功效瓶頸，探索復(fù)雜技能的新測(cè)量方法與手段是當(dāng)前教育測(cè)評(píng)的前沿課題。本研究遵從真實(shí)性與過(guò)程性評(píng)價(jià)視角，探索基于真實(shí)任務(wù)中的過(guò)程性測(cè)驗(yàn)表現(xiàn)測(cè)量合作問(wèn)題解決能力，取得較好成效。從合作問(wèn)題解決能力測(cè)量角度來(lái)看，本研究采用“兩人交互”的測(cè)驗(yàn)形式更具有真實(shí)性，設(shè)計(jì)了不同于以往研究的項(xiàng)目結(jié)構(gòu)、應(yīng)用多維度IRT測(cè)量模型具有創(chuàng)新性，對(duì)破解被試獨(dú)立性問(wèn)題提供新的思路;測(cè)驗(yàn)結(jié)果表明，這種新測(cè)驗(yàn)設(shè)計(jì)具有較高測(cè)量學(xué)質(zhì)量。從教育測(cè)量發(fā)展視角來(lái)看，本研究闡明了這種新型測(cè)驗(yàn)形式的兩大核心問(wèn)題——真實(shí)性任務(wù)設(shè)計(jì)和過(guò)程性測(cè)驗(yàn)表現(xiàn)中測(cè)量證據(jù)抽取，表明基于真實(shí)任務(wù)的過(guò)程性測(cè)驗(yàn)表現(xiàn)測(cè)量復(fù)雜技能是一種可行途徑，對(duì)核心素養(yǎng)這類(lèi)復(fù)雜技能的測(cè)量研究具有重要參考價(jià)值。當(dāng)然，本研究作為一種新測(cè)驗(yàn)形式的探索，并不完善，還有很多問(wèn)題需要更深入的研究。

[參考文獻(xiàn)]

[1] 袁建林，劉紅云. 核心素養(yǎng)測(cè)量：理論依據(jù)與實(shí)踐指向[J]. 教育研究，2017，38（7）：21-28.

[2] 孫宏志，解月光，張于. 核心素養(yǎng)指向下高階思維發(fā)展的表現(xiàn)性評(píng)價(jià)設(shè)計(jì)[J]. 電化教育研究，2021，42（9）：91-98.

[3] 袁建林，劉紅云. 合作問(wèn)題解決能力的測(cè)評(píng)：PISA2015和ATC21S的測(cè)量原理透視[J]. 外國(guó)教育研究，2016，43（12）：45-56.

[4] 袁建林. 基于行為過(guò)程表現(xiàn)測(cè)量合作問(wèn)題解決能力的研究[D]. 北京：北京師范大學(xué)，2018.

[5] 檀慧玲，李文燕，萬(wàn)興睿. 國(guó)際教育評(píng)價(jià)項(xiàng)目合作問(wèn)題解決能力測(cè)評(píng)：指標(biāo)框架、評(píng)價(jià)標(biāo)準(zhǔn)及技術(shù)分析[J]. 電化教育研究，2018， 39（9）：123-128.

[6] 吳忭，王戈，胡藝齡，等. 基于會(huì)話代理的協(xié)作問(wèn)題解決能力測(cè)評(píng)工具設(shè)計(jì)與效果驗(yàn)證[J]. 遠(yuǎn)程教育雜志，2019，37（6）：91-99.

[7] SIDDIQ F， SCHERER R. Revealing the processes of students' interaction with a novel collaborative problem solving task： an in-depth analysis of think-aloud protocols[J]. Computers in human behavior， 2017（76）：509-525.

[8] GRIFFIN P， CARE E. Assessment and teaching of 21st century skills： methods and approach[M]. Netherlands： Springer， 2015： 156-158.

[9] 楊向東. “真實(shí)性評(píng)價(jià)”之辨[J]. 全球教育展望，2015，44（5）：36-49.

[10] WIGGINS G. The case for authentic assessment[J]. Practical assessment， research & evaluation，1990，2（2）：1-3.

[11] DARLING-HAMMOND L， SNYDER J. Authentic assessment of teaching in context[J]. Teaching and teacher education，2000，16（5）：523-545.

[12] 高凌飚. 過(guò)程性評(píng)價(jià)的理念和功能[J]. 華南師范大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2004（6）：102-106.

[13] BENNETT R E. Educational assessment： what to watch in a rapidly changing world[J]. Educational measurement： issues and practice，2018，37（4）：7-15.

[14] 楊向東. 指向?qū)W科核心素養(yǎng)的考試命題[J]. 全球教育展望，2018，47（10）：39-51.

[15] MISLEVY R J， ALMOND R G， LUKAS J F. A brief introduction to evidence-centered design[R]. Princeton： Educational Testing Service， 2003.

[16] ALEXANDROWICZ R W. Analyzing dyadic data with IRT models[M]// STEMMLER M， VON EYE A， WIEDERMANN W. Dependent data in social sciences research. Switzerland： Springer， 2015：173-202.