美國2014NAEP技術(shù)與工程素養(yǎng)評估試題研究

楊玉琴 熊新華 辛艷

摘要： 技術(shù)與工程是STEM教育的重要內(nèi)容領(lǐng)域，美國國家教育進展評估（NAEP）于2014年首次在全國范圍內(nèi)對8年級學(xué)生的技術(shù)與工程素養(yǎng)進行了測評。其試題編制以“領(lǐng)域”、“實踐”與“情境”的三維架構(gòu)為理論依據(jù)，題型由基于場景的試題和獨立題組成，且大多是建構(gòu)反應(yīng)題。所有的任務(wù)皆通過計算機呈現(xiàn)且由學(xué)生在計算機上完成，有力保證了測量的信度與效度。

關(guān)鍵詞： 國家教育進展評估（NAEP）; 技術(shù)與工程素養(yǎng); 領(lǐng)域; 實踐; 場景題

文章編號： 10056629（2018）3001806 中圖分類號： G633.8 文獻標(biāo)識碼： B

國家教育進展評估（National Assessment of Educational Progress，簡稱 NAEP）是美國最具權(quán)威的持續(xù)性中小學(xué)生學(xué)業(yè)成就評價系統(tǒng)，定期對閱讀、寫作、數(shù)學(xué)、科學(xué)、美國歷史、公民學(xué)以及地理等學(xué)科進行測評，了解4、 8、 12年級學(xué)生在這些領(lǐng)域中的學(xué)業(yè)成就水平現(xiàn)狀及發(fā)展趨勢，為美國國家教育政策的制定和改革提供有力依據(jù)[1]。進入21世紀(jì)，由于STEM（數(shù)學(xué)、技術(shù)、工程和數(shù)學(xué)）教育的興起，美國國家評估委員會于2008年發(fā)起和資助開發(fā)技術(shù)（T）和工程（E）素養(yǎng)國家評估框架，于2013年正式出臺了《2014NAEP技術(shù)與工程素養(yǎng)評估框架》（以下簡稱《框架》），并在2014年首次在全國范圍內(nèi)抽選8年級學(xué)生進行技術(shù)與工程素養(yǎng)的測評，以提供數(shù)據(jù)促進技術(shù)與工程教育[2]。目前，我國STEM課程已經(jīng)入校，但其評價方式方法的合理性、科學(xué)性等問題仍需進一步的探索和回答[3]。美國NAEP技術(shù)與工程素養(yǎng)評估試題的開發(fā)經(jīng)驗具有重要借鑒價值。

1 試題編制的依據(jù)

2014NAEP技術(shù)與工程素養(yǎng)評估試題的編制以《框架》中對技術(shù)與工程素養(yǎng)內(nèi)涵及其表現(xiàn)目標(biāo)的界定為依據(jù)。《框架》將技術(shù)與工程素養(yǎng)界定為“理解、應(yīng)用、操縱和評估技術(shù)的能力”。具體內(nèi)容包括如表1所示的“領(lǐng)域”（Areas）和“實踐”（Practices）[4]。

如上，三個領(lǐng)域是評估的核心部分，每個領(lǐng)域又包含各自的二級主題。三個領(lǐng)域在評估目標(biāo)中雖然分開說明，但并非分開學(xué)習(xí)或應(yīng)用，而是相互重疊、相互作用。如，在解決“潔凈的水”“清潔能源”等議題時，不僅要理解技術(shù)與社會的相互關(guān)系，掌握技術(shù)系統(tǒng)和工程設(shè)計過程，還要能夠運用不同的信息和通信技術(shù)來研究問題和解決問題;三種實踐活動則是期望學(xué)生在解決技術(shù)與工程相關(guān)問題時展示思維和推理，即對技術(shù)與工程知識和技能的理解及運用。它們并不隸屬于哪一個領(lǐng)域，而是普遍性的、跨領(lǐng)域的，如，交流與合作既是理解技術(shù)對自然世界影響，也是設(shè)計一個現(xiàn)實問題的工程解決方法以及應(yīng)用通信工具達到目標(biāo)的重要技能?！犊蚣堋分芯唧w描述了三個領(lǐng)域的每個二級主題在4、8、12年級的評估目標(biāo)，即學(xué)生應(yīng)該知道什么和能做什么。如“設(shè)計與系統(tǒng)”領(lǐng)域下二級主題“工程設(shè)計”的8年級學(xué)生的評估目標(biāo)是“學(xué)生應(yīng)該知道： （1）工程設(shè)計是滿足人類需求的創(chuàng)造性、系統(tǒng)性和迭代性過程。包括陳述問題、產(chǎn)生想法、選擇最好的方法、制作和測試模式或原型以及重新設(shè)計等步驟。通常會有幾種可能的方法。（2）設(shè)計要求包括產(chǎn)品標(biāo)準(zhǔn)和限制條件等，可能包括時間、花費、材料等。設(shè)計通常需要在各種限制條件和設(shè)計要求之間進行權(quán)衡;學(xué)生能夠： （3）通過設(shè)計解決一個中等難度的問題，包括界定產(chǎn)品標(biāo)準(zhǔn)和限制條件，研究和產(chǎn)生想法，權(quán)衡各種可能的方法。（4）構(gòu)建和測試一個模型，收集數(shù)據(jù)以證明其是否滿足要求。交流設(shè)計結(jié)果，并利用語言和可視化手段說明設(shè)計背后的原理。說明一個設(shè)計的優(yōu)勢以及可能的后果”。

“領(lǐng)域”知識的理解及運用依賴于“實踐”活動?！犊蚣堋方o出了每個二級主題下某個特定內(nèi)容目標(biāo)的三種“實踐”任務(wù)樣例。如表2所示為8年級可用于“設(shè)計和系統(tǒng)”下的特定內(nèi)容目標(biāo)的“實踐”任務(wù)。這些樣例為設(shè)計試題的具體任務(wù)或問題提供了方向。

技術(shù)和工程素養(yǎng)不僅要求學(xué)生知道技術(shù)而且能識別他們身邊的技術(shù)，理解技術(shù)與社會互相影響的復(fù)雜關(guān)系，而且能運用技術(shù)原理和工具解決問題和實現(xiàn)目標(biāo)。因此，評估要求將學(xué)生置于與現(xiàn)實需求相關(guān)的社會議題、工程設(shè)計目標(biāo)以及學(xué)校和社區(qū)問題情境中來展示其技術(shù)和工程素養(yǎng)。如可用于技術(shù)和社會的情境為： 農(nóng)業(yè)和健康情境（如水作為一種緊缺的資源）、能源情境（如家庭使用的風(fēng)力發(fā)電機）、電子通信情境（如個人通信設(shè)備）等;可用于“設(shè)計和系統(tǒng)”的情境為： 農(nóng)業(yè)和相關(guān)生物技術(shù)建筑技術(shù)、能源和電力技術(shù)、信息和通信技術(shù)、材料和制造、制藥技術(shù)、交通運輸技術(shù)等;可用于信息和通信技術(shù)為需要通過開發(fā)和運用技術(shù)來達到目標(biāo)或解決問題的任何情境。

如此，“領(lǐng)域”、“實踐”和“情境”形成了NAEP技術(shù)與工程素養(yǎng)測量的三維架構(gòu)。領(lǐng)域和實踐的相互作用構(gòu)成了技術(shù)與工程素養(yǎng)的內(nèi)涵，通過情境巧妙地把領(lǐng)域目標(biāo)和實踐任務(wù)融合在一起，學(xué)生通過解決真實情境中的問題來展示對三個領(lǐng)域內(nèi)容的理解以及三種實踐活動的應(yīng)用，從而達到相應(yīng)的評估目標(biāo)。

2 題型設(shè)計

基于上述理論框架，NAEP技術(shù)與工程素養(yǎng)測評利用計算機技術(shù)，將學(xué)生置于豐富復(fù)雜的反映現(xiàn)實情境的場景中，通過與計算機模擬工具的互動以及對系統(tǒng)元素的操控來完成測量任務(wù)。與NAEP其他學(xué)科測量不同的是，所有問題情境和任務(wù)的呈現(xiàn)以及學(xué)生的答題行為都在計算機上進行。測試題由場景題（scenario-based assessment sets）和獨立題（discrete item sets）兩類題所組成，反應(yīng)類型（response type）則包括傳統(tǒng)的選擇題（selected-response items）和建構(gòu)反應(yīng)題（constructed-response items）。建構(gòu)反應(yīng)題要求被試組織或建構(gòu)一份答案，在考查學(xué)生的高層次能力上具有優(yōu)勢，答案有封閉性和開放性兩種。NAEP官網(wǎng)上公布了2014年8年級學(xué)生技術(shù)與工程素養(yǎng)測評的24道試題[5]。

2.1 場景題

場景題以反映社會生活、學(xué)術(shù)活動或校外生活的情境為背景，利用計算機技術(shù)如視頻、動畫、文本、數(shù)字或圖表等來呈現(xiàn)，并由此引入驅(qū)動性目標(biāo)或者問題，利用故事線的方式逐步展開所要完成的任務(wù)或解決的問題。學(xué)生在真實的任務(wù)情境中利用計算機提供的工具解決系列問題。場景題由于其情境的真實性、任務(wù)的復(fù)雜性以及思維水平的高階性有助于提高整個測量工具的效度。

場景題都是建構(gòu)反應(yīng)題。根據(jù)完成任務(wù)所需的時間不同，場景題又分為長場景題（LCR）和短場景題（SCR），兩種題型在復(fù)雜程度和要求學(xué)生完成的任務(wù)和項目數(shù)上不一樣。長場景題一般測量10～15個表現(xiàn)，完成時間為25～30分鐘;短場景題一般測量5～10個表現(xiàn)，完成時間為15～20分鐘。場景包括兩種類型，一種類型的場景包括系統(tǒng)要素，依據(jù)特殊的情境，可能是一個工程系統(tǒng)，如灌溉系統(tǒng)或供水系統(tǒng)等。不管哪一種系統(tǒng)，都包括動態(tài)相聯(lián)的元素，以讓學(xué)生觀察到某個特殊元素的作用（如觀察當(dāng)一個閥門打開時供水系統(tǒng)會發(fā)生什么）或者元素之間的相互作用（如改變系統(tǒng)中的某個參數(shù)，或移動系統(tǒng)中的某個部分，觀察由此帶來的系統(tǒng)狀態(tài)的變化）;第二種類型的場景是展示一個總的目標(biāo)或問題，學(xué)生需要通過不同的相關(guān)任務(wù)來達到目標(biāo)或解決問題。如例1所示。

例1 場景題示例——第21題

總目標(biāo)： 幫助史密斯博物館制作在線展示，以讓中學(xué)生了解19世紀(jì)末期芝加哥水污染問題的產(chǎn)生和解決過程。

步驟1： 了解水污染問題的原因。學(xué)生通過視頻（如圖1）查閱19世紀(jì)末期生活在芝加哥的埃德娜的日記和信件，了解水污染問題的原因，并制作事件的因果關(guān)系圖（如圖2： 污染劇增、工業(yè)增長、鐵路發(fā)展、河水污染之間的因果關(guān)系）。

步驟2： 產(chǎn)生解決問題的想法。學(xué)生首先觀看一個污染物從芝加哥河流入密歇根湖的影片（如圖3），然后閱讀4種不同的解決水污染問題的觀點陳述，將不同的觀點與適合的利益相關(guān)者（商人、工程師、地區(qū)決策者以及農(nóng)場主）匹配起來（如圖4）。

步驟3： 設(shè)計解決問題的方法。學(xué)生通過編輯視頻展示水污染問題的工程設(shè)計解決方案（如圖5）。

步驟4： 推理背后的設(shè)計原理。學(xué)生需要解釋為什么芝加哥選擇建一個運河以改變河流的流動方向而不是其他解決方案。為此，學(xué)生評價當(dāng)時的四個領(lǐng)導(dǎo)人的陳述，并選擇有助于解釋決定的陳述（如圖6）。

步驟5： 評估解決方案的后果。學(xué)生評估亞洲鯉魚泛濫信息，解釋運河建設(shè)和鯉魚入侵的關(guān)系（如圖7）。

步驟6： 確定展覽的主要思想。學(xué)生選擇表達技術(shù)與社會的關(guān)系的最佳語句（如圖8）。

上述試題，學(xué)生在19世紀(jì)芝加哥水污染問題這一場景中，通過6個相關(guān)任務(wù)的完成，展示其因果關(guān)系的推理技能，對社會和技術(shù)的相互關(guān)系的理解，并利用技術(shù)編輯污水問題解決工程設(shè)計方案，分析設(shè)計步驟或診斷故障，用證據(jù)來解釋水污染問題解決后未曾預(yù)料到的環(huán)境后果等。

在NAEP工程與素養(yǎng)測試題中，場景的選擇要求盡可能地利用學(xué)生熟悉的生活情境，任務(wù)必須是與真實世界的問題和情境相關(guān)的。在場景中，學(xué)生需要從計算機所提供的工具包中選擇工具在解決問題時應(yīng)用。如，要求學(xué)生選擇和操作一個制圖工具，或電子表工具，或網(wǎng)頁制作工具，或某個模擬工具等。根據(jù)不同的場景任務(wù)選擇利用不同的工具。命題人員在設(shè)計提供的工具時，需要決定工具的哪種元素對于場景中活動是必須的，工具的哪個特征是學(xué)生將要使用的，而不必提供或者模擬工具的所有特征。如，只要提供電子表工具的某些功能學(xué)生就可以處理從系統(tǒng)中獲得的數(shù)據(jù)并制作表格，或者選擇將之轉(zhuǎn)換成圖形（如直線圖、柱形圖或扁狀圖），而沒有必要提供工具表的其他功能，否則反而會分散學(xué)生的注意力，產(chǎn)生測量的“噪音”。在與計算機系統(tǒng)的互動中，學(xué)生也會被要求使用工具尋找相關(guān)資源、與他人交流方案、決定或結(jié)果（如發(fā)送信息給一個虛擬的團隊成員），或者在最后要呈現(xiàn)他們的成果（如制作一個展示的幻燈片）等。通過學(xué)生對復(fù)雜的真實場景中多項任務(wù)或項目的反應(yīng)來評估學(xué)生的表現(xiàn)，很大程度上保證了技術(shù)與工程素養(yǎng)測量的真實性和有效性，因此這種題型的使用有助于保證測量的效度。

2.2 獨立題

獨立題組一般由10～15個獨立的項目所組成，可以是選擇題或短的建構(gòu)反應(yīng)題，要求在25分鐘之內(nèi)完成。獨立題雖然也包含著情境要素，但是不屬于任何一個復(fù)雜情境中的某個部分，或者與另一個題目有關(guān)。每個獨立題都會提供相應(yīng)的題干材料，包含足夠的信息以回答問題。

獨立題雖短，但都包含著情境、領(lǐng)域和實踐三要素。由于獨立題互相之間沒有依賴性，有助于增加整個測量的內(nèi)容和長度，以提高測量的信度。獨立題的反應(yīng)類型包括選擇題（如例2所示）和短的建構(gòu)反應(yīng)題（如例3所示）。

例2 獨立題示例——第6題

根據(jù)圖表所示，循環(huán)利用過程所產(chǎn)生的一個重要結(jié)果是什么？在下面的4個選項中選擇1個，正確的答案是： 。

A 回收導(dǎo)致人們消費更多的原材料。

B 回收直接刺激消費者對回收產(chǎn)品的需求。

C 回收提供了發(fā)現(xiàn)原材料新來源的動力。

D 回收使得利用更少原材料就能制成產(chǎn)品。

該題以材料的循環(huán)利用過程（從原材料、廠家、產(chǎn)品、消費者到廢棄物回收處理的過程）為情境，考查學(xué)生對技術(shù)是什么及技術(shù)可以用來做什么等相關(guān)知識的理解，認(rèn)識技術(shù)過程對社會的積極影響。學(xué)生在解題過程中需要讀懂表示技術(shù)過程的流程圖，分析系統(tǒng)過程中各要素之間的相互作用，從而能夠預(yù)測技術(shù)使用的結(jié)果。

例3 獨立題示例——第18題

你與項目小組一起研究一種叫做“ByeByeCold”的感冒藥的可能利弊。你的團隊成員Tammi搜索了網(wǎng)頁，找到了以下信息：

Tammi認(rèn)為網(wǎng)頁是研究關(guān)于“ByeByeCold”利弊的主要信息來源，但其他成員并不同意。解釋為什么該網(wǎng)頁的信息并不可靠，給出一個理由支持你的答案。

該題以小組合作研究一種感冒藥的利弊為情境，以生產(chǎn)廠家網(wǎng)頁上所提供的諸如該感冒藥的治愈率、與其他感冒藥的比較，以及藥廠代言人的言論等信息為內(nèi)容，考查學(xué)生利用信息工具和技能來解決真實情境中的問題從而實現(xiàn)既定目標(biāo)，要求學(xué)生對信息來源進行批判性思考。

3 測試題平衡設(shè)計

測試題分為長場景題（L）、短場景題（S）及獨立題（D）等不同模塊，一個學(xué)生若完成所有的測驗?zāi)K約需5個小時。為了保證測量在實施上的可行性，NAEP規(guī)定的測量時間一般都是60min，因此，測試題需要對測試內(nèi)容、題型及所需時間進行適當(dāng)?shù)钠胶庠O(shè)計。在時間設(shè)計上，從不同模塊中分別抽選不同的題型進行組合，形成不同組塊，如L—S—S、 D—S—L、 S—D—D—S、 L—D—S等，這些組塊分別由不同的學(xué)生完成，每個學(xué)生完成一個組塊所需時間大約60分鐘，這樣既保證了所有的測量內(nèi)容都有學(xué)生完成，又不需延長測量所需的時間。

8年級的測評在內(nèi)容領(lǐng)域稍偏重“設(shè)計與系統(tǒng)”（占40%），“技術(shù)與社會”及“信息與通信技術(shù)”分別占25%、 35%;而在實踐層面，則偏重于“理解技術(shù)原理”（占40%）及“制定方案實現(xiàn)目標(biāo)”（占40%），這與“交流與合作”（占20%）能力不易通過測試題考查相關(guān)。由于各年級學(xué)生的心理和認(rèn)知發(fā)展及教育經(jīng)驗的不同，三個領(lǐng)域的比例也不相同，《框架》規(guī)定“技術(shù)與社會”、“設(shè)計與系統(tǒng)”以及“信息與通信技術(shù)”在4年級測試中的比例為25%、 30%、 45%， 12年級的比例則為30%、 35%、 35%。在題型分布上，場景題高達80%，通過與計算機虛擬情境的相互作用能夠在較廣的范圍內(nèi)充分測量學(xué)生的實踐表現(xiàn)。20%獨立題的存在增加了所能測量的知識和技能內(nèi)容。而在反應(yīng)類型上，建構(gòu)反應(yīng)題的比例（60%）高于選擇題（40%），因為場景題更需要學(xué)生去創(chuàng)造答案而非在既定的答案中選擇，有利于考查學(xué)生的高層次思維能力。

4 啟示

NAEP各學(xué)科評估框架的開發(fā)皆建立在國家課程標(biāo)準(zhǔn)或各州課程標(biāo)準(zhǔn)的基礎(chǔ)上，將內(nèi)容標(biāo)準(zhǔn)轉(zhuǎn)化為可測量的表現(xiàn)標(biāo)準(zhǔn)，再根據(jù)表現(xiàn)標(biāo)準(zhǔn)開發(fā)試題以形成測量工具。為了應(yīng)對21世紀(jì)公民技術(shù)與工程素養(yǎng)的需求，美國國家評估委員會于2008年成立了包括學(xué)校、工程、教育、21世紀(jì)技能、網(wǎng)絡(luò)，企業(yè)、科學(xué)教育、一般教育、教育評估等不同領(lǐng)域?qū)＜业闹笇?dǎo)委員會，共同開發(fā)評估框架。在框架中界定了技術(shù)與工程素養(yǎng)的內(nèi)容領(lǐng)域和實踐活動，以及不同年級的評估目標(biāo)，構(gòu)建了領(lǐng)域、實踐和情境有機結(jié)合的三維框架，使得試題的編制有據(jù)可依。無論是場景題還是獨立題的編制皆涵蓋了內(nèi)容、實踐和情境三要素，聚焦于評估普遍運用的比較穩(wěn)定的知識和技能基礎(chǔ)。試題與框架之間的一致性有力地保證了試題質(zhì)量。場景題在2014評估中比例高達80%，而且建構(gòu)反應(yīng)題的比例也高達60%，凸顯了對學(xué)生高級思維能力與復(fù)雜認(rèn)知活動的評價。固然這些變革給試題開發(fā)、閱卷評分等帶來一些挑戰(zhàn)，但由于場景題及建構(gòu)反應(yīng)題在考察學(xué)生思維過程及認(rèn)知水平上的作用，這一變革無疑也是有益的，將對教學(xué)起著良好的導(dǎo)向作用。

技術(shù)與工程已成為21世紀(jì)社會不可或缺的元素，技術(shù)與工程素養(yǎng)應(yīng)該與閱讀、數(shù)學(xué)和科學(xué)等素養(yǎng)齊頭并進，成為學(xué)校重要培養(yǎng)目標(biāo)。教育評價歷來對教育改革起著重要的促進作用，技術(shù)與工程教育的推進需要評價數(shù)據(jù)的支持。2014年NAEP第一次對技術(shù)與工程素養(yǎng)進行測評，其測試題的編制遵循嚴(yán)格的開發(fā)程序，借助有效的技術(shù)手段，保證了試題的有效性和可靠性，體現(xiàn)了較高的科學(xué)性和專業(yè)化水平，對于我國相應(yīng)領(lǐng)域評價工具的開發(fā)具有重要的借鑒意義。

參考文獻：

[1]劉在花.美國2010全國教育進展評估述評[J].外國教育研究， 2012，（7）： 95～102.

[2]楊玉琴.美國NAEP技術(shù)與工程素養(yǎng)評估述評[J].外國教育研究， 2017，（8）： 22～35.

[3]教育部教育管理信息中心，北京師范大學(xué)等.中國STEAM教育發(fā)展報告[EB/OL].{2015[4]NAGB.Technology and Engineering Literacy Framework for the 2014 National Assessment of Educational Progress [EB/OL]. [ 20170713]. https：//www.nagb.org/content/nagb/assets/documents/publications/frameworks/technology/2014-technology-framework.pdf.0426}. http：//www.jiemodui.com/N/67772.html.

[5]NAEP. Examples of the discrete questions[EB/OL] . [20170715].http：//nces.ed.gov/NationsReportCard/nqt/Search.