國(guó)際學(xué)生技術(shù)與工程素養(yǎng)評(píng)估項(xiàng)目的比較研究

顧乃景

[ 摘 要 ] 為促進(jìn)我國(guó)技術(shù)與工程教育的發(fā)展，提升學(xué)生科學(xué)與技術(shù)素養(yǎng)水平，實(shí)現(xiàn)“以評(píng)促教”“以評(píng)促學(xué)”，從框架目標(biāo)和項(xiàng)目特點(diǎn)兩方面出發(fā)，比較分析ICILS 2018與NAEP TEL 2018兩種典型模式的異同，得出兩者在維度劃分、重視情境、采用量規(guī)等方面存在相似點(diǎn)，在評(píng)估重點(diǎn)、試題分布、編制依據(jù)等方面存在不同點(diǎn)的結(jié)論。結(jié)合我國(guó)實(shí)際，提出了科學(xué)與技術(shù)素養(yǎng)評(píng)估今后的發(fā)展思路：統(tǒng)一課程標(biāo)準(zhǔn)，完善評(píng)估體系；明確評(píng)估目標(biāo)，構(gòu)建三維架構(gòu)；營(yíng)造真實(shí)情境，提升解決能力；凸顯整體平衡，科學(xué)編制試題；重視人機(jī)交互，增強(qiáng)現(xiàn)實(shí)體驗(yàn)；強(qiáng)化過(guò)程評(píng)價(jià)，實(shí)現(xiàn)“質(zhì)”“量”結(jié)合；重視環(huán)境影響，改進(jìn)后續(xù)教學(xué)。

[ 關(guān)鍵詞 ] ICILS 2018；TEL 2018；技術(shù)與工程素養(yǎng)；比較研究

[ 中圖分類號(hào) ] G632.0? [ 文獻(xiàn)標(biāo)識(shí)碼 ] A? [ 文章編號(hào) ] 1005-4634（2023）02-0009-09

當(dāng)今，作為促進(jìn)經(jīng)濟(jì)增長(zhǎng)和提升國(guó)家競(jìng)爭(zhēng)力的重要戰(zhàn)略，STEAM教育日益成為全球教育變革的核心議題。21世紀(jì)以來(lái)，技術(shù)與工程的重要性不斷增加，而作為STEAM教育重要組成部分，除藝術(shù)（Art，A）外，技術(shù)（Technology，T）與工程（Engineering，E）相較于科學(xué)（Science，S）及數(shù)學(xué)（Mathematics，M）長(zhǎng)期以來(lái)“評(píng)估核心學(xué)科”的地位而言[1]，重視程度及相關(guān)評(píng)估力度嚴(yán)重不足。

技術(shù)與工程素養(yǎng)評(píng)估作為評(píng)價(jià)學(xué)生科學(xué)素養(yǎng)的有效方式，對(duì)技術(shù)與工程教育的發(fā)展、學(xué)生技術(shù)與工程素養(yǎng)水平的提高起著重要的導(dǎo)向作用。由國(guó)際教育成就評(píng)價(jià)協(xié)會(huì)（International Association for the Evaluation of Educational Achievement，IEA）主持的國(guó)際計(jì)算機(jī)與信息素養(yǎng)研究項(xiàng)目（International Computer and Information Literacy Study，ICILS）和美國(guó)國(guó)家教育評(píng)測(cè)中心（National Center for Education Statistics，NCES）推行的美國(guó)NAEP技術(shù)與工程素養(yǎng)評(píng)估（NAEP Technological and Engineering Literacy Assessment，NAEP TEL）作為當(dāng)前國(guó)際上大規(guī)模評(píng)估學(xué)生技術(shù)與工程素養(yǎng)的典型模式，其成熟的運(yùn)作體系對(duì)我國(guó)的科學(xué)素養(yǎng)評(píng)估有著重要的借鑒意義[2]。本研究從“測(cè)什么”（即架構(gòu)目標(biāo)）和“怎么測(cè)”（即項(xiàng)目特點(diǎn)）兩方面來(lái)比較ICILS 2018和NAEP TEL 2018（以下簡(jiǎn)稱TEL 2018）評(píng)估體系的異同，歸納有益經(jīng)驗(yàn)，從而為我國(guó)的技術(shù)與工程素養(yǎng)評(píng)估及相關(guān)問(wèn)題研究解決提供參考建議。

1 架構(gòu)目標(biāo)的比較

1.1 總體框架

在框架設(shè)計(jì)目的方面，ICILS 2018的主要目的是“系統(tǒng)評(píng)估學(xué)生為實(shí)現(xiàn)一系列不同目的，從而利用信通技術(shù)能力的有效度”，次要目的是“調(diào)查學(xué)生、教師使用計(jì)算機(jī)與其他數(shù)字設(shè)備的情況，以及對(duì)使用計(jì)算機(jī)技術(shù)的態(tài)度”[3]。而TEL 2018突出“作為數(shù)字信息時(shí)代NAEP評(píng)估的重要補(bǔ)充”特點(diǎn)，主要包括三個(gè)目的：一是評(píng)估學(xué)生對(duì)技術(shù)與工程知識(shí)的掌握程度；二是了解技術(shù)和工程知識(shí)在日常生活中的使用程度；三是了解工程師設(shè)計(jì)和開(kāi)發(fā)技術(shù)的程度。

在具體框架內(nèi)容（或維度）方面，ICILS 2018包含兩個(gè)維度：“領(lǐng)域”（Areas）、“情境”（Contexts/Contextual Factors）；TEL 2018包含三個(gè)維度：“領(lǐng)域”（Areas）、“實(shí)踐”（Practices）及“情境”（Contexts）。

1.2 內(nèi)容領(lǐng)域

ICILS 2018主要涉及三個(gè)核心領(lǐng)域：計(jì)算機(jī)與信息素養(yǎng)（Computer Information Literacy，CIL）、計(jì)算思維（Computational Thinking，CT）、學(xué)習(xí)中使用數(shù)字技術(shù)（Use of Digital Technologies in Learning）。TEL 2018也包含三個(gè)領(lǐng)域：技術(shù)與社會(huì)（Technology and Society，TS）、設(shè)計(jì)與系統(tǒng)（Design and Systems，DS）、信息和通信技術(shù)（Information and Communication Technology，ICT）。ICILS 2018和TEL 2018各自三大領(lǐng)域都有具體的子領(lǐng)域，且子領(lǐng)域又包含具體的評(píng)估方面（見(jiàn)圖1、圖2）[4]。

就核心領(lǐng)域看，ICILS 2018基于其“系統(tǒng)評(píng)估學(xué)生利用信通技術(shù)能力的有效度”的主要目標(biāo)，將計(jì)算機(jī)與信息素養(yǎng)（CIL）定義為“個(gè)人使用計(jì)算機(jī)進(jìn)行調(diào)查、創(chuàng)造和交流的能力，以便在家庭、學(xué)校、工作場(chǎng)所和社會(huì)生活中得到有效參與”；計(jì)算思維（CT）定義為“個(gè)人識(shí)別現(xiàn)實(shí)世界問(wèn)題的各方面的能力，采用計(jì)算公式，評(píng)估和開(kāi)發(fā)解決問(wèn)題的相關(guān)方案，并實(shí)施以相關(guān)計(jì)算機(jī)操作”。值得一提的是，ICILS 2018首次創(chuàng)造性地對(duì)學(xué)生的計(jì)算思維進(jìn)行了大規(guī)模國(guó)際測(cè)評(píng)，這為各國(guó)深入理解計(jì)算思維、把握學(xué)生計(jì)算思維發(fā)展?fàn)顩r、明確相關(guān)影響因素等提供了科學(xué)有效的途徑與工具。在TEL 2018方面，將技術(shù)與社會(huì)（TS）定義為“涉及技術(shù)對(duì)社會(huì)和自然的影響，以及由此產(chǎn)生的倫理問(wèn)題”；設(shè)計(jì)與系統(tǒng)（DS）定義為“涵蓋技術(shù)的性質(zhì)、開(kāi)發(fā)設(shè)計(jì)及日常處理的基本原則，包括相關(guān)維護(hù)及故障排除”；信息和通信技術(shù)（ICT）定義為“包括計(jì)算機(jī)和軟件學(xué)習(xí)工具、網(wǎng)絡(luò)系統(tǒng)協(xié)議、數(shù)字化設(shè)備及獲取、新建和推進(jìn)創(chuàng)造性表達(dá)的其他技術(shù)”[5]。由此可見(jiàn)，TEL 2018對(duì)“技術(shù)與工程”的關(guān)注比ICILS 2018對(duì)“計(jì)算機(jī)信息素養(yǎng)及計(jì)算思維”的關(guān)注更廣泛。

1.3 情境方面

情境，即上下文因素，是ICILS 2018及TEL 2018評(píng)估的重要方面。ICILS 2018強(qiáng)調(diào)將測(cè)評(píng)設(shè)置在校內(nèi)外不同影響因素之下，讓學(xué)生通過(guò)自身不同知識(shí)經(jīng)驗(yàn)來(lái)解決系列問(wèn)題（見(jiàn)圖3）[3]。ICILS 2018認(rèn)為影響學(xué)生計(jì)算機(jī)與信息素養(yǎng)（CIL）及計(jì)算思維（CT）水平的背景因素復(fù)雜，如不同的學(xué)習(xí)場(chǎng)所、不同的家庭環(huán)境以及學(xué)生自身經(jīng)歷，等等。ICILS 2018將其細(xì)化為四個(gè)方面，一是宏觀（社區(qū)）環(huán)境：學(xué)生計(jì)算機(jī)與信息素養(yǎng)、計(jì)算思維學(xué)習(xí)的廣泛背景，如整個(gè)教育系統(tǒng)、教育政策等；二是學(xué)校（課堂）環(huán)境：學(xué)校及課堂條件，包括學(xué)校的ICT課程、教師引導(dǎo)能力等；三是個(gè)人因素：學(xué)生自身特征，如年齡、性別、學(xué)習(xí)動(dòng)機(jī)等；四是家庭環(huán)境：學(xué)生的家庭背景特征，如家長(zhǎng)的社會(huì)經(jīng)濟(jì)地位、學(xué)生ICT資源使用頻率等。圖3 ICILS 2018情境（上下文）因素

由圖3可見(jiàn)，宏觀環(huán)境對(duì)個(gè)人、家庭及學(xué)校環(huán)境均產(chǎn)生作用，其中學(xué)生成長(zhǎng)受到學(xué)校和家庭環(huán)境的雙重影響。按照關(guān)聯(lián)程度，ICILS 2018將影響學(xué)生信息素養(yǎng)的情境分為間接因素和直接因素。間接因素，也稱前置因素，即限制學(xué)生信息素養(yǎng)的外在條件，如家長(zhǎng)的社會(huì)經(jīng)濟(jì)地位；直接因素，也稱過(guò)程因素，即影響學(xué)生信息素養(yǎng)的直接條件，其受間接因素及更高層次因素的影響，如課堂中教師CIL與CT的引導(dǎo)能力[6]。上述提到的個(gè)人、家庭、社區(qū)、學(xué)校四個(gè)層次都涉及到間接因素和直接因素。其中，間接因素直接作用于直接因素，如教育系統(tǒng)的相關(guān)特征決定著Internet網(wǎng)絡(luò)課程的設(shè)置[7]；直接因素與結(jié)果相互影響、相互制約，如學(xué)生在家庭中ICT資源使用頻率越高，其計(jì)算機(jī)與信息素養(yǎng)越高，反過(guò)來(lái)又在一定程度上增進(jìn)了學(xué)生ICT資源使用的頻率，從而形成了一個(gè)良性循環(huán)。

TEL 2018圍繞“社會(huì)議題（Issues）”“設(shè)計(jì)問(wèn)題（Problems）”“學(xué)校和社區(qū)目標(biāo)（Goals）”三方面，突出“將相關(guān)任務(wù)及問(wèn)題設(shè)置于相關(guān)情境下”的理念，重在獲取真實(shí)的學(xué)生測(cè)試及反應(yīng)數(shù)據(jù)[1]。由于三個(gè)領(lǐng)域內(nèi)問(wèn)題類型、測(cè)試目標(biāo)側(cè)重點(diǎn)不同，評(píng)估項(xiàng)目的背景情況也會(huì)有所不同[8]。四年級(jí)、八年級(jí)和十二年級(jí)學(xué)生的評(píng)估難度由“相對(duì)簡(jiǎn)單”到“相對(duì)復(fù)雜”遞進(jìn)。以八年級(jí)學(xué)生為例，其信息與技術(shù)素養(yǎng)評(píng)估的三個(gè)領(lǐng)域情境各不相同（見(jiàn)表1[4]），在每個(gè)領(lǐng)域?qū)?yīng)的子領(lǐng)域（及情境下）下，又包含著相應(yīng)的核心原則和具體的情境描述（見(jiàn)表2[4]）。

1.4 實(shí)踐方面

實(shí)踐是技術(shù)與工程素養(yǎng)的重要內(nèi)容。在ICILS 2018方面，雖未明確提出“實(shí)踐”這一概念，但其著重強(qiáng)調(diào)“在學(xué)習(xí)中使用數(shù)字技術(shù)”，并提出“使用計(jì)算機(jī)進(jìn)行調(diào)查、創(chuàng)造和交流的能力，以便在家庭、學(xué)校、工作場(chǎng)所和社會(huì)生活中有效參與”，突出數(shù)字技術(shù)運(yùn)用的重要性，足見(jiàn)其對(duì)“實(shí)踐”的重視程度。而在TEL 2018層面，將“實(shí)踐”定義為“對(duì)學(xué)生技術(shù)與工程思維及推理的期望”，即期望學(xué)生在實(shí)際生活中展現(xiàn)出其對(duì)技術(shù)知識(shí)和技能的理解和運(yùn)用。TEL強(qiáng)調(diào)學(xué)生所進(jìn)行的實(shí)踐活動(dòng)是帶有“普遍性”和“跨領(lǐng)域”特點(diǎn)的推理過(guò)程，并將其分為“理解技術(shù)原則”“設(shè)計(jì)方案與實(shí)現(xiàn)目標(biāo)”以及“交流與合作”[1]。由此可見(jiàn)，ICILS 2018與TEL 2018均重視“實(shí)踐”的作用，即要培養(yǎng)一個(gè)精通技術(shù)與工程知識(shí)，且思維活躍、推理和行動(dòng)能力強(qiáng)的人。

此外，評(píng)估的內(nèi)容領(lǐng)域、實(shí)踐和情境三者構(gòu)成了TEL 2018評(píng)估的三維架構(gòu)。由圖3[4]可知，整個(gè)架構(gòu)由內(nèi)到外分別為三個(gè)內(nèi)容領(lǐng)域、三個(gè)實(shí)踐目標(biāo)和三種情境。其中，內(nèi)容領(lǐng)域構(gòu)成了一個(gè)三面金字塔，顯示了其基礎(chǔ)作用。而最外側(cè)為情境，充分展現(xiàn)了“內(nèi)容領(lǐng)域與實(shí)踐都依賴于情境的實(shí)現(xiàn)”這一理念[9]。

2 項(xiàng)目特點(diǎn)的比較

2.1 試題類型分布

ICILS 2018針對(duì)計(jì)算機(jī)與信息素養(yǎng)（CIL）和計(jì)算思維（CT）兩大內(nèi)容領(lǐng)域，采用“模塊”概念，將整個(gè)測(cè)評(píng)分為CIL和CT兩個(gè)測(cè)試模塊，并將相關(guān)模塊劃分為六種任務(wù)類型，其中：CIL測(cè)試模塊包含基礎(chǔ)信息響應(yīng)任務(wù)（Information-Based Response Tasks）、技能任務(wù)（Skills Tasks）、編輯任務(wù)（Authoring Tasks）；CT測(cè)試模塊包含非線性系統(tǒng)傳輸任務(wù)（Nonlinear Systems Transfer Tasks）、仿真模擬任務(wù)（Simulation Tasks）、可視化編碼任務(wù)（Visual Coding Tasks）。ICILS 2018題型主要為情境任務(wù)題，按照難易程度和耗時(shí)長(zhǎng)短，可分為簡(jiǎn)短任務(wù)、持續(xù)性任務(wù)等類型。一般來(lái)講，學(xué)生有120分鐘的時(shí)間完成整個(gè)測(cè)評(píng)的四個(gè)模塊。

TEL 2018主要包含兩種題型：一是基于場(chǎng)景的任務(wù)題（Scenario-Based Item Sets，SBT）；二是傳統(tǒng)的獨(dú)立題（Discrete Item Sets）。其具體的時(shí)間及反應(yīng)類型見(jiàn)表3[4]。

在TEL 2018評(píng)估中，基于場(chǎng)景的任務(wù)題（SBT）通過(guò)構(gòu)建真實(shí)世界的場(chǎng)景，使學(xué)生處在宏觀的背景之下，著重強(qiáng)調(diào)學(xué)生“必須使用ICT工具來(lái)分析技術(shù)對(duì)人類社會(huì)的影響”，最為典型的就是計(jì)算機(jī)交互任務(wù)，即計(jì)算機(jī)構(gòu)建相關(guān)虛擬情境，學(xué)生在相關(guān)提示下通過(guò)操作計(jì)算機(jī)來(lái)逐步完成相關(guān)任務(wù)。可見(jiàn)，SBT任務(wù)可以“復(fù)制”生活中可能遇到的真實(shí)情況，從而為學(xué)生提供“其他類型評(píng)估任務(wù)中無(wú)法展現(xiàn)的真實(shí)性”，大大提升了評(píng)估的有效性。但在SBT任務(wù)中，由于相關(guān)問(wèn)題多與同一場(chǎng)景相關(guān)，導(dǎo)致許多度量相互依賴，為抵消這種相互依賴性并確保可靠性，TEL 2018還采用了傳統(tǒng)的獨(dú)立題（Discrete Item Sets），包含10～15個(gè)獨(dú)立項(xiàng)目，并通過(guò)建構(gòu)或選擇的響應(yīng)類型，讓學(xué)生在60分鐘內(nèi)完成。

在評(píng)分方面，ICILS 2018與TEL 2018均采用評(píng)分量規(guī)（Scoring Rubric）對(duì)學(xué)生的答案進(jìn)行測(cè)評(píng)，根據(jù)學(xué)生答案中所包含答題要點(diǎn)的多少，由高到低分為三個(gè)層次，分別給予滿分、部分分和零分。

2.2 試題編制方式

評(píng)價(jià)試題的編制是評(píng)估體系的核心。ICILS 2018試題是根據(jù)其測(cè)評(píng)目標(biāo)進(jìn)行編制，測(cè)評(píng)內(nèi)容在其評(píng)估框架中有詳細(xì)規(guī)定。而TEL 2018遵循NAEP的試題編制的依據(jù)，主要根據(jù)《美國(guó)國(guó)家科學(xué)教育標(biāo)準(zhǔn)》和《科學(xué)素養(yǎng)基準(zhǔn)》兩個(gè)基本文件，基于學(xué)生的“表現(xiàn)期望”（Performance Expectation），編制相關(guān)測(cè)評(píng)試題。由試題引發(fā)出學(xué)生相關(guān)反應(yīng)，以此作為測(cè)評(píng)學(xué)生科學(xué)素養(yǎng)的依據(jù)（見(jiàn)圖5）[2]。此外，TEL 2018特別強(qiáng)調(diào)測(cè)評(píng)時(shí)間分布的整體平衡，如在內(nèi)容領(lǐng)域，四年級(jí)強(qiáng)調(diào)信息與通信技術(shù)，八年級(jí)強(qiáng)調(diào)設(shè)計(jì)與系統(tǒng)，而十二年級(jí)則注重信息與通信技術(shù)、設(shè)計(jì)與系統(tǒng)間的平衡。具體的時(shí)間占比見(jiàn)表4[4]。

2.3 相關(guān)比較

基于探究ICILS 2018與TEL 2018兩個(gè)評(píng)估框架之間異同的目的，美國(guó)國(guó)家教育統(tǒng)計(jì)中心（NCES）于2018年對(duì)兩個(gè)評(píng)估相關(guān)項(xiàng)目（主要涉及八年級(jí)學(xué)生）進(jìn)行編碼，具體為：ICILS 2018包含113個(gè)基于場(chǎng)景的測(cè)試題（SBT）；TEL 2018包含184個(gè)項(xiàng)目，其中：基于場(chǎng)景的測(cè)試題（SBT）107題，獨(dú)立題77題（見(jiàn)表5、表6）[10]。

接下來(lái)，按照主題、實(shí)踐、情境、評(píng)分級(jí)別、評(píng)分方法對(duì)兩個(gè)評(píng)測(cè)項(xiàng)目進(jìn)行比較。

2.3.1 相關(guān)主題（科目）

“相關(guān)主題（科目）”是指測(cè)評(píng)內(nèi)容（或題目）所涉及到的相關(guān)科目，如數(shù)學(xué)、科學(xué)、藝術(shù)等。通過(guò)相關(guān)科目的講授、學(xué)習(xí)，可以更好地評(píng)估學(xué)生所需的內(nèi)容及能力。由表7[10]可知：在ICILS 2018方面，有近一半（49%）的項(xiàng)目進(jìn)入計(jì)算機(jī)科學(xué)。在TEL 2018方面，SBT任務(wù)中，有41%的項(xiàng)目進(jìn)入科學(xué)，34%進(jìn)入社會(huì)研究；獨(dú)立題中，均有43%的項(xiàng)目進(jìn)入科學(xué)和社會(huì)研究。可見(jiàn)，ICILS 2018側(cè)重于計(jì)算機(jī)科學(xué)，而TEL 2018則側(cè)重于科學(xué)和社會(huì)研究領(lǐng)域方面，這與其各自的評(píng)估框架目標(biāo)是一致的。

2.3.2 實(shí)踐

TEL 2018明確提出“實(shí)踐”是其評(píng)測(cè)框架的主要組成部分，而ICILS 2018未明確提出“實(shí)踐”這一詞。為了更好地進(jìn)行比較，美國(guó)國(guó)家教育統(tǒng)計(jì)中心（NCES）把ICILS相關(guān)項(xiàng)目也進(jìn)行了編碼（見(jiàn)表8）[10]。由表8可知，兩個(gè)評(píng)估框架均強(qiáng)調(diào)方案制定和目標(biāo)實(shí)現(xiàn)的重要性。

2.3.3 情境（上下文）因素

情境（上下文）因素是影響測(cè)評(píng)的重要因素，兩個(gè)評(píng)估項(xiàng)目所涉及到的情境因素編碼情況見(jiàn)表9[10]。ICILS 2018中，有一半的項(xiàng)目是在娛樂(lè)及課外活動(dòng)的情境下提出的。而TEL 2018項(xiàng)目則涵蓋了更多的上下文因素，如政府、工業(yè)、工程和商業(yè)等。

2.3.4 評(píng)分級(jí)別

ICILS 2018與TEL 2018均采用評(píng)分量規(guī)（Scoring Rubric）對(duì)學(xué)生的答案進(jìn)行測(cè)評(píng)，即根據(jù)學(xué)生答案中所包含的答題要點(diǎn)由高到低分為三個(gè)層次（多個(gè)級(jí)別），分別給予滿分、部分分和零分。由表10[10]可見(jiàn)，在ICILS 2018中，分別有42%的項(xiàng)目有兩個(gè)或三個(gè)評(píng)分級(jí)別，有約10%的項(xiàng)目有八個(gè)或更多的評(píng)分級(jí)別。在TEL 2018 SBT任務(wù)中，大約一半（47%）的項(xiàng)目有三個(gè)評(píng)分級(jí)別，只有4%的項(xiàng)目有五個(gè)或六個(gè)評(píng)分級(jí)別。對(duì)于TEL 2018獨(dú)立題，只有兩個(gè)和三個(gè)評(píng)分級(jí)別，其中60%的項(xiàng)目只有兩個(gè)評(píng)分級(jí)別，這意味著學(xué)生要么得到全部學(xué)分，要么得到零分。

2.3.5 評(píng)分方法

關(guān)于評(píng)分方法，ICILS 2018與TEL 2018 SBT任務(wù)是較為相似的：大約一半為機(jī)器評(píng)分，一半為人工評(píng)分。而在TEL 2018獨(dú)立題中，機(jī)器評(píng)分的比例（62%）遠(yuǎn)高于人工評(píng)分（38%）（見(jiàn)表11[10]）。

總之，兩項(xiàng)評(píng)估具有很多相似的特點(diǎn)，如均包含“領(lǐng)域”“情境”兩大維度，并采用“分層”概念，確立核心領(lǐng)域并劃分具體的子領(lǐng)域；均高度重視“情境”（上下文）因素的作用，采用“基于場(chǎng)景的測(cè)試題（SBT）”這一題型，并使用評(píng)分量表加以評(píng)判等。然而，兩項(xiàng)評(píng)估又存在許多不同，如評(píng)估重點(diǎn)上，TEL 2018更注重技術(shù)和工程整體素養(yǎng)，而ICILS 2018更側(cè)重計(jì)算機(jī)和信息素養(yǎng)；試題設(shè)置上，TEL 2018除SBT任務(wù)外，還配置了相當(dāng)數(shù)量的獨(dú)立題等。

3 相關(guān)啟示

就我國(guó)技術(shù)與工程素養(yǎng)評(píng)估而言，當(dāng)前存在“評(píng)測(cè)目標(biāo)籠統(tǒng)”“重知識(shí)輕實(shí)踐”“評(píng)價(jià)模式傳統(tǒng)”“試題類型單一”“輕視過(guò)程性評(píng)價(jià)”“忽視非正式環(huán)境作用”等問(wèn)題。為解決上述問(wèn)題，實(shí)現(xiàn)“以評(píng)促教”“以評(píng)促學(xué)”的評(píng)測(cè)目的，通過(guò)ICILS 2018與TEL 2018評(píng)估框架的比較，可以得出以下啟示。

3.1 統(tǒng)一課程標(biāo)準(zhǔn)，重視評(píng)估體系構(gòu)建

2017年，教育部頒布《小學(xué)科學(xué)課程標(biāo)準(zhǔn)》，將技術(shù)與工程作為一個(gè)獨(dú)立領(lǐng)域納入課程體系，標(biāo)志著我國(guó)科學(xué)教育特別是技術(shù)工程教育進(jìn)入了一個(gè)新的發(fā)展階段。但學(xué)前、中學(xué)階段尚未有相應(yīng)的政策規(guī)定，造成學(xué)前、小學(xué)、中學(xué)三個(gè)階段技術(shù)與工程教育的“脫節(jié)”。對(duì)我國(guó)而言，為達(dá)到“從幼兒階段便開(kāi)始以螺旋式上升的方式提升學(xué)生的技術(shù)與工程素養(yǎng)”的目標(biāo)，制定學(xué)前、小學(xué)、中學(xué)統(tǒng)一連貫的技術(shù)與工程課程標(biāo)準(zhǔn)是十分必要的[11]。而課程標(biāo)準(zhǔn)的實(shí)施成效需要一定的評(píng)測(cè)予以展現(xiàn)，如TEL 2018重點(diǎn)評(píng)估四年級(jí)、八年級(jí)和十二年級(jí)學(xué)生，形成了小學(xué)及中學(xué)一以貫之的評(píng)價(jià)體系，有力保障了學(xué)生技術(shù)與工程素養(yǎng)培養(yǎng)的連續(xù)性。同時(shí)，針對(duì)我國(guó)學(xué)生的技術(shù)與工程素養(yǎng)評(píng)估“數(shù)量龐大”“復(fù)雜度高”的特征，我國(guó)需要借鑒ICILS及TEL“由專門的機(jī)構(gòu)實(shí)施推進(jìn)”的經(jīng)驗(yàn)，建立自上而下的評(píng)估領(lǐng)導(dǎo)、組織、執(zhí)行體系，構(gòu)建科學(xué)有效的評(píng)估體系，強(qiáng)化政府、學(xué)校、家庭的交流合作，保證學(xué)生技術(shù)與工程素養(yǎng)評(píng)估的持續(xù)有效推進(jìn)。

3.2 明確評(píng)估目標(biāo)，構(gòu)建評(píng)估三維結(jié)構(gòu)

為實(shí)現(xiàn)教育部《小學(xué)科學(xué)課程標(biāo)準(zhǔn)》（2017版）明確提出的具體的技術(shù)與工程領(lǐng)域的學(xué)段目標(biāo)，取得“了解技術(shù)是人類能力的延伸，技術(shù)是改變世界的力量，技術(shù)推動(dòng)人類社會(huì)的發(fā)展和文明的進(jìn)程”[12]的效果，我國(guó)技術(shù)與工程素養(yǎng)評(píng)估體系的構(gòu)建應(yīng)當(dāng)秉持“以人為本”理念，實(shí)施差異化的評(píng)測(cè)定位和發(fā)展目標(biāo)，進(jìn)一步細(xì)化評(píng)測(cè)目標(biāo)的層次，如借鑒ICILS 2018和TEL 2018設(shè)立“維度”的概念，通過(guò)構(gòu)建“內(nèi)容”“情境”及“實(shí)踐”三維結(jié)構(gòu)，凸顯“評(píng)測(cè)學(xué)生技術(shù)與工程知識(shí)掌握及運(yùn)用水平高低，全面提升學(xué)生的技術(shù)與工程素養(yǎng)”的目標(biāo)。建立協(xié)調(diào)一致的評(píng)估框架是評(píng)估得以實(shí)施的重要基礎(chǔ)，如在內(nèi)容方面，可以借鑒兩個(gè)評(píng)估體系“分層”的方式，確立核心領(lǐng)域并劃分具體的子領(lǐng)域，并參照TEL 2018技術(shù)與社會(huì)（TS）、設(shè)計(jì)與系統(tǒng)（DS）及信息和通信技術(shù)（ICT）的領(lǐng)域劃分，使得學(xué)生充分理解現(xiàn)實(shí)問(wèn)題，提出相應(yīng)解決方案，并通過(guò)利用信息技術(shù)等手段進(jìn)行實(shí)際操作，解決實(shí)際問(wèn)題。

3.3 營(yíng)造真實(shí)情境，評(píng)測(cè)解決問(wèn)題能力

《中國(guó)STEAM教育發(fā)展報(bào)告》認(rèn)為，STEAM以解決真實(shí)世界的問(wèn)題為導(dǎo)向，以工程和技術(shù)為核心。但長(zhǎng)期以來(lái)，我國(guó)學(xué)科教學(xué)過(guò)程中，呈現(xiàn)出“忽視情境”“缺少實(shí)踐”及“高分低能”的傾向，即重視知識(shí)傳授，忽視動(dòng)手實(shí)踐。而實(shí)踐是技術(shù)與工程素養(yǎng)的重要內(nèi)容，又與相關(guān)情境緊密相連。ICILS 2018及TEL 2018明確提出：“上下文情境是其評(píng)估的重要方面”，“內(nèi)容與實(shí)踐都依賴于情境的實(shí)現(xiàn)?！盜CILS 2018和TEL 2018均采用“基于情境的任務(wù)”，將需要評(píng)估的內(nèi)容，如知識(shí)、能力等融入模擬的現(xiàn)實(shí)問(wèn)題中，通過(guò)解決問(wèn)題的系列活動(dòng)，從而評(píng)估出學(xué)生的“技術(shù)原則的理解度”“方案設(shè)計(jì)的有效度”和“交流合作的協(xié)同度”。為此，在評(píng)估中需要構(gòu)建真實(shí)的情境，積極評(píng)測(cè)學(xué)生的實(shí)踐能力。評(píng)估前，通過(guò)問(wèn)卷等形式，了解學(xué)生所處的學(xué)校環(huán)境、家庭環(huán)境以及學(xué)生個(gè)人因素，從學(xué)生的實(shí)際出發(fā)，制定科學(xué)可行的評(píng)估內(nèi)容及學(xué)習(xí)任務(wù)。評(píng)估中，讓學(xué)生在特定環(huán)境下進(jìn)行評(píng)估，更好地激發(fā)學(xué)生對(duì)科學(xué)知識(shí)的求知欲，重點(diǎn)評(píng)測(cè)學(xué)生合理運(yùn)用相關(guān)知識(shí)，采用多種方法收集、解釋數(shù)據(jù)，提升自身解決實(shí)際問(wèn)題的能力。評(píng)估后，要對(duì)學(xué)生的評(píng)測(cè)信息進(jìn)行及時(shí)的分析挖掘，總結(jié)經(jīng)驗(yàn)，彌補(bǔ)不足。

3.4 科學(xué)編制試題，凸顯評(píng)測(cè)整體平衡

試題編制是評(píng)估體系的核心。在我國(guó)，科學(xué)素養(yǎng)試題的編制以課程標(biāo)準(zhǔn)為基礎(chǔ)，這與TEL 2018“根據(jù)《美國(guó)國(guó)家科學(xué)教育標(biāo)準(zhǔn)》和《科學(xué)素養(yǎng)基準(zhǔn)》兩個(gè)基本文件進(jìn)行試題編制”不謀而合，均強(qiáng)調(diào)試題編制要體現(xiàn)出“對(duì)國(guó)家課程標(biāo)準(zhǔn)所規(guī)定要求的具體量化”。但不同的是，TEL 2018更加注重以“任務(wù)驅(qū)動(dòng)”和“問(wèn)題解決”作為學(xué)習(xí)和研究活動(dòng)的主線，基于學(xué)生的“表現(xiàn)期望”（Performance Expectation）編制相關(guān)評(píng)測(cè)試題，并通過(guò)試題引發(fā)出學(xué)生相關(guān)反應(yīng)，以此作為評(píng)測(cè)學(xué)生素養(yǎng)水平的依據(jù)，取得了良好的效果。為此，在我國(guó)技術(shù)與工程素養(yǎng)評(píng)估試題編制過(guò)程中，要積極貫徹“將評(píng)測(cè)能力外顯為具體化、可測(cè)量的行為”的理念。首先，要重視評(píng)測(cè)的“整體平衡性”。根據(jù)學(xué)生的實(shí)際與相關(guān)表現(xiàn)期望，規(guī)劃并建構(gòu)相關(guān)的評(píng)估內(nèi)容、實(shí)踐、題型及反應(yīng)類型，將相關(guān)評(píng)估難度按年級(jí)順序依次遞增，從易到難。同時(shí)，合理分配相關(guān)主題（科目）的比例，體現(xiàn)跨學(xué)科知識(shí)及方法的融合，平衡自然科學(xué)與社會(huì)科學(xué)等主題及“基于場(chǎng)景的測(cè)試題（SBT）”題型的使用比例等。其次，試題類型應(yīng)當(dāng)多樣化。通過(guò)情境任務(wù)題（SBT）構(gòu)建真實(shí)世界的場(chǎng)景，將學(xué)生置于特定背景之下，促使其制定相應(yīng)實(shí)施方案，更具有現(xiàn)實(shí)性與社會(huì)性。此外，在充分發(fā)揮情境任務(wù)題（SBT）優(yōu)勢(shì)的基礎(chǔ)上，結(jié)合傳統(tǒng)試題，通過(guò)不同題型的組合更全面地評(píng)估學(xué)生的技術(shù)與工程素養(yǎng)狀況，從而實(shí)現(xiàn)新穎性、獨(dú)立性和可靠性的融合。

3.5 注重人機(jī)交互，增強(qiáng)學(xué)生“現(xiàn)實(shí)體驗(yàn)”

當(dāng)前，我國(guó)科學(xué)素養(yǎng)評(píng)價(jià)方式仍然較為單一，主要集中于標(biāo)準(zhǔn)化測(cè)驗(yàn)（如紙筆測(cè)試）、量表設(shè)計(jì)及問(wèn)卷調(diào)查等傳統(tǒng)方式[13]。伴隨信息技術(shù)的發(fā)展，具備良好的ICT能力日益成為學(xué)生的基本素養(yǎng)之一，學(xué)生的知識(shí)與能力已不能簡(jiǎn)單地通過(guò)一張?jiān)嚲砘蛞环輪?wèn)卷進(jìn)行衡量。以計(jì)算機(jī)為依托的評(píng)測(cè)項(xiàng)目，憑借其人機(jī)交互與虛擬現(xiàn)實(shí)的特點(diǎn)，已成為ICILS 2018、TEL 2018等國(guó)際主流評(píng)測(cè)框架的發(fā)展方向。為此，在我國(guó)技術(shù)與工程素養(yǎng)評(píng)估體系構(gòu)建中，要以計(jì)算機(jī)交互任務(wù)為主要評(píng)測(cè)方式，積極創(chuàng)設(shè)現(xiàn)實(shí)問(wèn)題情境，通過(guò)虛擬任務(wù)，增強(qiáng)學(xué)生的“現(xiàn)實(shí)體驗(yàn)”，考查學(xué)生信息技術(shù)的實(shí)操作能力，衡量學(xué)生利用信息技術(shù)工具解決真實(shí)問(wèn)題的能力，促進(jìn)技術(shù)與工程素養(yǎng)內(nèi)化為學(xué)生知識(shí)經(jīng)驗(yàn)的內(nèi)在組成部分，從而打破傳統(tǒng)紙筆測(cè)試的局限性，取得“評(píng)測(cè)過(guò)程也是不斷學(xué)習(xí)新知識(shí)的過(guò)程”的效果[14]。此外，要充分發(fā)揮計(jì)算機(jī)ICT技術(shù)數(shù)字智能、實(shí)時(shí)存儲(chǔ)及省時(shí)省力的優(yōu)勢(shì)，推廣大規(guī)模評(píng)測(cè)，存儲(chǔ)海量信息，以供后續(xù)深入挖掘。

3.6 強(qiáng)化過(guò)程評(píng)價(jià)，實(shí)現(xiàn)評(píng)定“質(zhì)”“量”結(jié)合

長(zhǎng)期以來(lái)，我國(guó)關(guān)于科學(xué)素養(yǎng)的評(píng)價(jià)評(píng)分標(biāo)準(zhǔn)主要體現(xiàn)出“量化評(píng)定”的特點(diǎn)，即學(xué)生通過(guò)完成相關(guān)紙筆測(cè)試或問(wèn)卷調(diào)查，得出具體分?jǐn)?shù)并以此作為素養(yǎng)高低的衡量依據(jù)。這種量化評(píng)定方式在操作程序上簡(jiǎn)單易行，便于大規(guī)模評(píng)測(cè)的開(kāi)展與實(shí)施，但由于各個(gè)評(píng)測(cè)試題編制的理念、方式不同，導(dǎo)致評(píng)估結(jié)果效度不高，可解釋性較差。而ICILS 2018與TEL 2018采用人工評(píng)分與機(jī)器評(píng)分相結(jié)合的方式，并使用專門的評(píng)分指南即評(píng)分量規(guī)（Scoring Rubric）對(duì)學(xué)生的答案進(jìn)行評(píng)測(cè)，實(shí)現(xiàn)了技術(shù)與工程素養(yǎng)評(píng)價(jià)量與質(zhì)的結(jié)合。為此，我國(guó)在評(píng)價(jià)標(biāo)準(zhǔn)的制定上，要在運(yùn)用量化方式進(jìn)行評(píng)價(jià)的基礎(chǔ)上，更加注重開(kāi)展形成性評(píng)價(jià)質(zhì)性評(píng)價(jià)標(biāo)準(zhǔn)的構(gòu)建，如利用計(jì)算機(jī)的情境任務(wù)，并結(jié)合檔案袋等形式對(duì)學(xué)生的信息素養(yǎng)進(jìn)行過(guò)程性評(píng)價(jià)。同時(shí)，應(yīng)當(dāng)積極借鑒ICILS 2018與TEL 2018“評(píng)分方式、級(jí)別與題型相對(duì)應(yīng)”的特點(diǎn)，針對(duì)不同的題型，平衡人工評(píng)分、機(jī)器評(píng)分的比例，并合理安排評(píng)分級(jí)別，從而實(shí)現(xiàn)科學(xué)高效的評(píng)測(cè)。

3.7 重視非正式環(huán)境，改進(jìn)后續(xù)教學(xué)

ICILS 2018及TEL 2018均重視上下情境及非正式環(huán)境因素[15]。特別是ICILS 2018強(qiáng)調(diào)校內(nèi)外不同影響因素，讓學(xué)生通過(guò)自身不同知識(shí)經(jīng)驗(yàn)來(lái)解決系列問(wèn)題，主要涉及到宏觀環(huán)境、學(xué)校環(huán)境、家庭環(huán)境以及學(xué)生個(gè)人因素。國(guó)家層面，需要為技術(shù)與工程教育提供良好的教育資源支持，建議加大信息基礎(chǔ)設(shè)施建設(shè)力度，并出臺(tái)全國(guó)性文件，指導(dǎo)各級(jí)部門、學(xué)校研發(fā)或開(kāi)展更多的技術(shù)與工程課程項(xiàng)目。學(xué)校層面，合理安排課程設(shè)置，增加技術(shù)與工程課程開(kāi)設(shè)節(jié)次，如將選修改為必修，破除“輕視技術(shù)和工程”現(xiàn)象；強(qiáng)化教師專業(yè)培訓(xùn)，如學(xué)習(xí)大數(shù)據(jù)、學(xué)習(xí)分析等技術(shù)，增強(qiáng)“以人為本”的培育理念，精準(zhǔn)提取學(xué)生學(xué)習(xí)需求，為后續(xù)開(kāi)展科學(xué)有效的教學(xué)設(shè)計(jì)做好準(zhǔn)備。家庭層面，由于學(xué)生原生家庭的背景，如收入等具有一定的穩(wěn)定性和差異性，在短時(shí)間內(nèi)難以得到改變。為此，可以采取家校合作機(jī)制，如在收集學(xué)生家庭相關(guān)信息的基礎(chǔ)上，圍繞技術(shù)與工程特別是學(xué)生計(jì)算思維發(fā)展等問(wèn)題，為受教育程度相對(duì)不高（主要指學(xué)士以下）的家長(zhǎng)提供切實(shí)可行的咨詢和建議，提升其對(duì)技術(shù)與工程教育的重視程度。

參考文獻(xiàn)

[1] 楊玉琴.美國(guó)NAEP技術(shù)與工程素養(yǎng)評(píng)估述評(píng)[J].外國(guó)教育研究，2017（8）：22-35.

[2] 夏小俊，顧乃景，柏毅.TIMSS 2015與NAEP 2015科學(xué)評(píng)估框架的比較研究[J].考試研究，2016（1）：96-101.

[3] IEA.ICILS 2018 International Computer and Information Literacy Study 2018 [EB/OL].[2022-02-14].https：//www.iea.nl/studies/iea/icils/2018.

[4] NAEP.technological and engineering literacy framework for the 2018 national assessment of educational progress[EB/OL].[2021-02-14].https：//www.nagb.gov/content/nagb/assets/documents/publications/frameworks/technology/2018-technology-framework.pdf.

[5] 張娣.美國(guó)NAEP技術(shù)與工程素養(yǎng)評(píng)估及其進(jìn)展[J].世界教育信息，2020（3）：66-71.

[6] FRAILLON J，SCHULZ W，AINLEY J.International computer and information literacy study：assessment framework[R].Amsterdam：International Association for the Evaluation of Educational Achievement，2013.

[7] 唐曉玲.國(guó)際學(xué)生信息素養(yǎng)測(cè)評(píng)框架、方法與評(píng)價(jià)[J].圖書情報(bào)工作，2015（15）：12-19.

[8] 馮達(dá).NAEP2014技術(shù)與工程素養(yǎng)評(píng)估試題編制框架研究[J].考試周刊，2018（74）：1-2.

[9] 柏毅，黃雪瑩，周安然.NAEP信息與通信技術(shù)素養(yǎng)測(cè)評(píng)框架、評(píng)估設(shè)計(jì)及啟示[J].教育測(cè)量與評(píng)價(jià)，2019（9）：38-44.

[10] NAEP.A comparison study of NAEP TEL and ICILS[EB/OL].（2020-08-12）[2022-02-14].https：//nces.ed.gov/nationsreportcard/subject/tel/pdf/tel_icils_study.pdf.

[11] 蘇洵，丁邦平.美國(guó) PreK-12年級(jí)技術(shù)與工程素養(yǎng)標(biāo)準(zhǔn)解讀與啟示[J].比較教學(xué)學(xué)報(bào)，2021（2）：150-166.

[12] 中華人民共和國(guó)教育部.義務(wù)教育小學(xué)科學(xué)課程標(biāo)準(zhǔn)[M].北京：北京師范大學(xué)出版社，2003.

[13] 李新.國(guó)際大規(guī)模中小學(xué)生信息素養(yǎng)測(cè)評(píng)工具的研究[D].武漢：華中師范大學(xué)，2020.

[14] 陳慧珍.小學(xué)科學(xué)六年級(jí)技術(shù)與工程素養(yǎng)評(píng)測(cè)研究[D].南京：東南大學(xué)，2018.

[15] 林靜.美國(guó)STEM教育質(zhì)量評(píng)價(jià)新動(dòng)向——NAEP技術(shù)與工程素養(yǎng)評(píng)價(jià)要點(diǎn)與啟示[J].華東師范大學(xué)學(xué)報(bào)（教育科學(xué)版），2017（1）：78-86.

Abstract In order to promote the development of China′s technology and engineering education，improve the level of students′ scientific and technological literacy，and achieve "promoting teaching by evaluation" and "promoting learning by evaluation".We should proceed from the frame goal and the characteristics of the project，by comparing and analyzing the similarities and differences between ICILS 2018 and NAEP TEL 2018.It is concluded that there are some similarities between the two models in dimension division，emphasis on context，and the use of gauges，and there are different conclusions in the aspects of assessment emphasis，distribution of test questions and compilation basis. Combining with the reality of our country，this paper puts forward the development ideas of science and technology literacy evaluation in the future：unify curriculum standards to build an assessment system;clarify assessment goals and build a three-dimensional structure;create a real situation and improve solving capabilities;highlight the overall balance and scientifically prepare test questions;pay attention to humans and machines Interaction，augmented reality experience;strengthen process evaluation to achieve the combination of "quality" and "quantity";attach importance to environmental impact and improve follow-up teaching.

Keywords ICILS 2018;TEL 2018;technological and engineering literacy;comparative study

[責(zé)任編輯 馬曉寧]