創(chuàng)客教育視角下機器人教學PTA表現(xiàn)性評價量規(guī)的設(shè)計與應(yīng)用

楊海茹 葉梨萍 魏倩倩 劉彩鰻 周橋

摘要：機器人教育作為創(chuàng)客教育的主要形式，在培養(yǎng)學生的創(chuàng)新能力、綜合實踐能力等方面發(fā)揮著巨大作用。針對機器人教育中教學評價指標不夠明確、評價方式單一的問題，文章構(gòu)建了PTA表現(xiàn)性評價設(shè)計流程，開發(fā)了小學機器人PTA表現(xiàn)性評價量規(guī)，包含設(shè)計、搭建、優(yōu)化、展示等四個維度，采用德菲爾法、肯德爾系數(shù)法確定了評分信度和權(quán)重。并選擇某小學開展機器人教學行動研究，結(jié)果表明學生的PTA成績、課堂的滿意度和創(chuàng)新能力都有了顯著提升。

關(guān)鍵詞：機器人教學;PTA量規(guī);表現(xiàn)性評價;創(chuàng)新能力

中圖分類號：G433 ? ? ? ? ? 文獻標志碼：A ? ? ? ? ?文章編號：1673-8454（2020）06-0039-04

創(chuàng)客教育是培養(yǎng)適應(yīng)第三次工業(yè)革命所需創(chuàng)新人才的措施之一，受到教育界的關(guān)注[1]。機器人教學是創(chuàng)客教育的一種新型教育方式，通過設(shè)計、組裝、編程、運行機器人組件，實現(xiàn)對學生創(chuàng)新思維和綜合實踐能力的培養(yǎng)[2]。同時，智能機器人是中小學綜合實踐活動和技術(shù)課程的載體，智能機器人教學評價是促進學生創(chuàng)新能力提升的重要環(huán)節(jié)[3]。但是，當前中小學機器人教學多以競賽成績作為評價標準，缺少過程性指導評價，課堂上多以批評、表揚等口頭評價為主，缺少任務(wù)性的評價指標，忽略了教學中學生的人文素養(yǎng)等能力的評價[4]。為解決上述問題，本文設(shè)計機器人教學表現(xiàn)性評價量規(guī)并驗證了其在教學實踐中對學生成績及創(chuàng)新能力的有效性。

一、文獻綜述

1.創(chuàng)客教育

創(chuàng)客教育是隨著互聯(lián)網(wǎng)的普及以及新興技術(shù)的出現(xiàn)衍生出的一種新的教育理念[5]。鄭燕林強調(diào)創(chuàng)客教育要求學生在創(chuàng)造中學習[6];祝智庭認為創(chuàng)客教育是注重DIY 教育理念的一種教育模式[7]。創(chuàng)客教育能夠快速普及有兩個大前提：一是開源的硬件、3D打印機以及一些可視化的編程語言;二是日益成熟的在線教育模式。創(chuàng)客教育模式已經(jīng)成為塑造創(chuàng)新型人才的重要新形式[8]。創(chuàng)客教育作為教育領(lǐng)域的新生事物，傳統(tǒng)的評價方式已經(jīng)不能滿足它的需求，需要通過開展不同形式的評價活動來促進其健康持續(xù)發(fā)展[9]。表現(xiàn)性評價比較符合創(chuàng)客教育的理念，它在一定程度上滿足了創(chuàng)客教育中對人才培養(yǎng)的需求[10]。

2.機器人教學評價

機器人教學，是在課堂上使用教育機器人組件來改進中小學教學成效、提升學生創(chuàng)新能力的一種活動形式，是創(chuàng)客教育的一種形式[11]。McGill認為機器人相關(guān)課程能夠?qū)W生編程能力產(chǎn)生積極作用，有效提升學生綜合實踐能力，受到教育、社會各界一致好評[12]。曾慶斌提出小學機器人教學評價包含對機器人零件的認識、機器人的搭建及優(yōu)化、協(xié)作及交流等方面，并依據(jù)教學實踐設(shè)計了小學機器人教學評價指標列表[13]。張家華認為對于機器人課程的評價應(yīng)該從機器人知識、編程能力、組裝能力、創(chuàng)新能力、合作能力、學習態(tài)度等方面進行[14]。但已有研究缺少詳細的評價標準，缺乏客觀衡量學生表現(xiàn)性水平的評價標準，教師無法具體衡量學生各項能力，學生無法對自己的學習過程進行評價。因此，機器人教學需要探尋更具操作性的評價工具。

3.表現(xiàn)性評價

表現(xiàn)性評價是國外提倡的評價復雜學習的一種方法。Stiggins認為，表現(xiàn)性評價是“對學生使用已有知識處理全新問題或完成某些指定任務(wù)而進行的一種系統(tǒng)的評價方式”[15]。Wiggins認為“表現(xiàn)性評價對學生的要求是通過設(shè)計作品或完成實踐活動的方式，證明自身已經(jīng)擁有的知識和掌握的技能”[16]。總之，表現(xiàn)性評價強調(diào)“實作”與“表現(xiàn)”。表現(xiàn)性評價工具常用的有PTA（Primary Trait Analysis，基本要素分析）量規(guī)等，是美國Andrade H、Valtcheva A等人設(shè)計的評價方法，它在一定程度上能反映學生提出問題的能力，同時在教學中使用PTA量規(guī)能夠提升教師評價的有效性[17]。

綜上，機器人教育對學生的綜合能力提升很有幫助，但是評價存在問題，我們需要嘗試設(shè)計和應(yīng)用表現(xiàn)性評價量規(guī)，探索提升機器人教學質(zhì)量及學生創(chuàng)新能力的路徑。

二、小學機器人教學PTA表現(xiàn)性評價量規(guī)的設(shè)計

小學機器人教學是基于小組合作學習方式的一項綜合實踐活動，是創(chuàng)客教育的一種形式。創(chuàng)客教育著重發(fā)展的是學生的創(chuàng)新能力、學習能力、發(fā)現(xiàn)問題能力、設(shè)計解決問題方案能力和實踐其方案的能力。因此，小學機器人教學要遵循創(chuàng)客教育的理念，并依據(jù)評價標準的可行性、多層次性和全面性原則進行表現(xiàn)性評價。PTA量規(guī)的引入使教師的評價更客觀、有效，學生的實踐操作行為更清晰。本研究依據(jù)張家華等 PTA 量規(guī)的設(shè)計思想[14]，對小學機器人表現(xiàn)性評價量規(guī)進行設(shè)計。

1.表現(xiàn)性評價量規(guī)設(shè)計的需求

本團隊對成都市成華區(qū)開展機器人教學活動的教學評價現(xiàn)狀進行調(diào)查，結(jié)果發(fā)現(xiàn)：在進行機器人教學時，54.55%的教師會針對性地評價，45.45%會偶爾評價;關(guān)于影響評價的因素，63.64%的教師認為評價方法掌握得不好，50.09%認為教學評價會占用課堂太多的時間而不好把控，50.09%認為機器人教學評價維度指標不清晰，需要有專家指導[18]。針對以上問題，本研究將表現(xiàn)性評價引入機器人教學。表現(xiàn)性評價是由教師設(shè)計真實的情境，并設(shè)定好學生要達到的學習目標，讓學生在情境中解決問題，教師針對學生在活動中的表現(xiàn)，根據(jù)客觀的評價標準對學生的行為及表現(xiàn)給以評分的一種評價方式。那么，表現(xiàn)性評價工具如何設(shè)計呢？評價工具怎樣使用才能解決以上問題？它的有效性如何？這些問題的解決是本研究的重點。

2.表現(xiàn)性評價PTA量規(guī)設(shè)計流程

PTA 量規(guī)設(shè)計包括三個步驟：教師制定對評價起重要作用的評價要素;教師對每一個評價要素制定2～5個標準水平，并確定要素可測量和具體化;教師利用制定好的評價標準對學生進行預測試，在此過程根據(jù)學生反饋以及觀察進行修改和完善[19]。

根據(jù)PTA量規(guī)設(shè)計步驟及小學機器人課程的活動設(shè)計，本團隊制定了小學機器人教學PTA表現(xiàn)性評價量規(guī)的設(shè)計流程（如圖1所示）：①確定小學機器人教學評價目的：學生機器人設(shè)計思想的表述、設(shè)計轉(zhuǎn)化成草圖與作品的能力以及解決問題和同伴交流的能力。②選擇機器人教學評價任務(wù)：表現(xiàn)性評價是在真實情景中圍繞某有效任務(wù)展開的評價方式，任務(wù)包含設(shè)計性任務(wù)、問題解決性任務(wù)和口頭表達任務(wù)等。③確定小學機器人評價要素：包括設(shè)計機器人方案、搭建機器人組件、優(yōu)化機器人作品、展示與評價作品等。④確定小學機器人教學評價要素權(quán)重：教師需要采用肯德爾系數(shù)對每個要素確定權(quán)重，這決定著評價的科學性和有效性，有利于教師評價內(nèi)容的主次之分。⑤建立小學機器人教學要素水平標準，要求清晰界定學生行為的表現(xiàn)水平，盡量使用行為描述性語言[20]。

3.德菲爾法和肯德爾系數(shù)確定量規(guī)權(quán)重及評分信度

本研究采用德菲爾法，征求6名專家確定權(quán)重系數(shù)，用肯德爾系數(shù)法檢驗評分信度。根據(jù)項目數(shù)和評判人數(shù)，利用公式1進行顯著性檢驗。W為肯德爾和諧系數(shù)，K為專家人數(shù)，N為權(quán)重項數(shù)，Ri是第i個維度等級的總和，n表示相同等級的個數(shù)，S為每題等級之和的離差平方和。

（1）計算W值?！芌i=20+21+11+8=60，∑Ri2=202+212+112+82=1026 。計算T值：專家A賦值前2個維度都為4，n1=2，后兩個維度都為1，n2=2，因此TA =（23-2）/12+（23-2）/12=1，同理，計算出TC=2，TF=1，∑T=4。將以上計算數(shù)值以及K=6、N=4帶入公式，計算得出W=0.808。

（2）檢驗W值的顯著性水平。依據(jù)K=6、N=4查肯德爾和諧系數(shù)臨界值表，發(fā)現(xiàn)系數(shù)S0.05=75.7，S0.01=99.5，再計算S=∑Ri2-（∑Ri）2/N=（1026-602）/4=106，可以得出S> S0.05，S> S0.01，所以W達到極顯著水平，表明專家評價標準一致，每個要素權(quán)重為專家的平均值[20]。同時，應(yīng)用SPSS統(tǒng)計分析中非參數(shù)檢驗分析，選擇K相關(guān)樣本檢驗方式，選擇Kendalls W參數(shù)，進行統(tǒng)計分析得出W和諧系數(shù)是0.808，顯著性0.002，表明W達到極顯著水平，平均權(quán)重系數(shù)可作為這評價量規(guī)的系數(shù)。采用兩種統(tǒng)計檢驗方法確定了評分的信度。

（3）計算權(quán)重系數(shù)W。遵循小學機器人教學中評價計算的方便性，各項的權(quán)重近似為：W1設(shè)計=0.3，W2搭建=0.4，W3優(yōu)化=0.2，W4展示=0.1[18]。

4.撰寫評價標準完善量規(guī)

在進行表現(xiàn)性評價之前，通過多次與一線教師討論小學機器人教學的評價標準，最終完善并確定了本研究的PTA量規(guī)，如表1所示。

三、PTA表現(xiàn)性評價量規(guī)在小學機器人教學中的應(yīng)用

為了驗證機器人教學PTA表現(xiàn)性評價量規(guī)的有效性，按照計劃、行動、觀察、反思的流程開展了教育行動研究。研究對象是30名小學三年級學生，三名學生為一組，使用一套能力風暴機器人材料，分為10個小組。教學實施是由具有豐富機器人教學經(jīng)驗的張老師在課堂教學中應(yīng)用表現(xiàn)性評價量規(guī)來進行的。本研究學習效果的測量工具為機器人教學PTA表現(xiàn)性評價量規(guī)與創(chuàng)新能力量規(guī)，后者是借鑒創(chuàng)新能力評價指標體系及小學機器人教學創(chuàng)新能力評價標準修改而成[21]，包含基礎(chǔ)理論知識能力、思維判斷能力、現(xiàn)實創(chuàng)新能力、未來創(chuàng)新能力四個維度;最后是課后反思訪談提綱。本研究過程進行三輪行動研究：

1.第一輪行動：研究以《手搖風扇》為例

（1）表現(xiàn)性評價目標講解

本課是機器人搭建操作課，旨在引導學生解決生活中的實際問題，體會機器人的價值。學生觀察齒輪的嚙合和傳動，掌握力作用在不同軸上會決定此裝置是加速系統(tǒng)還是減速系統(tǒng);學生掌握手搖風扇機器人組裝的過程以及機器人實驗教學中的行為規(guī)則;通過小組集體創(chuàng)作，學生體會協(xié)作學習方式，并集思廣益在實踐中提升創(chuàng)新能力。

（2）表現(xiàn)性評價量規(guī)實施

教師任務(wù)：創(chuàng)設(shè)真實問題情境;帶領(lǐng)學生觀察齒輪的嚙合和傳動，明白其產(chǎn)生原理;講解學習任務(wù)，帶領(lǐng)學生認識機器人組件，示范組裝手搖風扇的操作過程。

學生任務(wù)：小組協(xié)作討論設(shè)計方案，并嘗試組裝和優(yōu)化作品;實踐過程匯總，參照標準進行創(chuàng)作實踐，嚴格規(guī)范自己的行為。

教師評價：教師依據(jù)各小組學生在各要素中出現(xiàn)的符合標準的行為個數(shù)評價其表現(xiàn)，并給出小組得分，及時在備注欄中記錄該組學生表現(xiàn)較好和不足的地方。學生在進行小組實驗時進行同伴互評。教師結(jié)合小組評分和同伴互評分數(shù)，各占50%，最終得出該生在本輪實驗中的表現(xiàn)性評價得分，并記錄在冊。

（3）表現(xiàn)性評價量規(guī)實施的反思

實驗后仍有部分學生對PTA量規(guī)評價標準理解不到位，學生出現(xiàn)違反操作規(guī)范的行為。課后反思：后續(xù)課需要多次重復強調(diào)任務(wù)，及時反饋學生的疑問，積極觀察并引導學生的創(chuàng)作行為。

2.第二輪行動研究和第三輪行動研究

兩輪行動研究實施過程如第一輪。第二輪研究以《托盤天平》為例，本次課學生可以按照表現(xiàn)性評價任務(wù)及評價標準進行操作，規(guī)范自己的行為，小組協(xié)作完成作品，教師及時反饋幫助優(yōu)化作品，但是在展示環(huán)節(jié)還不流暢。

第三輪研究以《剪刀變形機械手抓手》為例，課程的內(nèi)容貼近學生生活，學生興趣很高，認識到任務(wù)設(shè)計的情景性和趣味性的重要性，這次課程比較完善。

四、PTA表現(xiàn)性評價量規(guī)在小學機器人教學應(yīng)用的評價

1.PTA成績前后測分析

本研究應(yīng)用SPSS對第一輪和第三輪實驗得出的PTA量規(guī)分數(shù)進行統(tǒng)計分析。第三次實驗PTA量規(guī)平均值較第一次提高了6.33分。數(shù)據(jù)表明：在小學機器人課堂教學中使用基于PTA量規(guī)的評價工具提高了課堂的有效性。對兩組實驗數(shù)據(jù)進行差異性檢驗，p值為0.000<0.05，差異性非常顯著，表明三次實驗之后學生的PTA成績有了顯著提升。

2.創(chuàng)新能力前后測分析

本研究將第一輪和第三輪行動后學生填寫的創(chuàng)新能力評價量規(guī)數(shù)據(jù)進行前后測配對樣本T檢驗，結(jié)果得到p值為0.02<0.05，差異性顯著，表明機器人教學實施表現(xiàn)性PTA量規(guī)后，前后兩次學生的創(chuàng)新能力差異顯著，其中掌握基礎(chǔ)理論知識能力、思維判斷能力均值較高，現(xiàn)實創(chuàng)新能力和未來創(chuàng)新能力還有待提升。第三輪研究后，比較了第一輪和第三輪這兩個維度的分值差異，發(fā)現(xiàn)方案設(shè)計與制作達到水平一的學生從12人上升到18人，且平均分值由24.3升為25.8;作品展示與交流達到水平一的學生由20人上升到24人，且平均分由7.9升為8.3，表明學生創(chuàng)新能力顯著提升。

3.師生訪談分析

為了檢驗PTA量規(guī)的評價工具在課堂中的有效性，筆者在第三輪課后隨機選取了得分較高、一般和較低的3名學生進行訪談。結(jié)果表明：3名學生均表示喜歡PTA評價量規(guī)，認為清晰的教學目標及詳細的評價標準規(guī)范了操作行為，作品搭建和展示過程提升了協(xié)作和交流能力。教師訪談?wù)J為，應(yīng)用PTA表現(xiàn)性評價量規(guī)提升了學生的創(chuàng)新能力和協(xié)作學習能力，并能給與學生精準評價，提升了機器人教學的質(zhì)量。

五、小結(jié)

文章研究了表現(xiàn)性評價在創(chuàng)客教育下機器人教學中的應(yīng)用，開發(fā)了小學機器人教學表現(xiàn)性PTA量規(guī)，并通過實施三輪行動研究驗證量規(guī)的有效性。結(jié)果表明：表現(xiàn)性評價與創(chuàng)客教育中對創(chuàng)新型人才培養(yǎng)的目標相契合。表現(xiàn)性評價量規(guī)可以有效提升學生的學習成績和滿意度以及創(chuàng)新能力;可以給學生提供及時的反饋;任務(wù)清單的設(shè)計提高了學生的學習興趣與積極性。本研究設(shè)計的機器人教學PTA量規(guī)，對于高年級學生涉及到的軟件編程、調(diào)試運行等環(huán)節(jié)沒有測量，后續(xù)需繼續(xù)完善。

參考文獻：

[1]創(chuàng)客教育運動[DB/OL].http：//makered.org/，2015-05-21.

[2]徐多，胡衛(wèi)星，趙苗苗.困境與破局：我國機器人教育的研究與發(fā)展[J].現(xiàn)代教育技術(shù)，2017，27（10）：94-99.

[3]林厚從，劉波.智能機器人課程基地建設(shè)的實踐與反思[J].江蘇教育研究，2015（31）：53-56.

[4]王同聚.“微課導學”教學模式構(gòu)建與實踐——以中小學機器人教學為例[J].中國電化教育，2015（2）：112-117.

[5]王小根，張爽.面向創(chuàng)客教育的中小學機器人教學研究[J].現(xiàn)代教育技術(shù)，2016，26（8）：116-121.

[6]鄭燕林.美國高校實施創(chuàng)客教育的路徑分析[J].開放教育研究，2015，21（3）：21-29.

[7]祝智庭，孫妍妍.創(chuàng)客教育：信息技術(shù)使能的創(chuàng)新教育實踐場[J].中國電化教育，2015（1）：14-21.

[8]楊剛.創(chuàng)客教育：我國創(chuàng)新教育發(fā)展的新路徑[J].中國電化教育，2016（3）：8-13.

[9]鐘柏昌.談創(chuàng)客教育的背景、本質(zhì)、形式與支持系統(tǒng)[J].現(xiàn)代教育技術(shù)，2016，26（6）：13-19.

[10]徐劉杰，韓美玲，汪凡淙.創(chuàng)客教育中表現(xiàn)性評價的設(shè)計與實現(xiàn)研究——以“創(chuàng)A2.0：力所能及”創(chuàng)客課程中的“遠古武器”單元為例[J].現(xiàn)代教育技術(shù)，2018，28（4）：95-101.

[11]楊緒輝，沈書生.創(chuàng)客教育評價模式探究——基于“教育鑒賞與教育評論”的視角[J].現(xiàn)代教育技術(shù)，2018，28（3）：120-126.

[12]Monica McGill.Learning to Program with Personal Robots：Influences on Student Motivation[M].TOCE，2012，12.

[13]曾慶斌，馮衛(wèi)強.基于虛實結(jié)合的小學機器人教學評價[J].教育信息技術(shù)，2014（09）：35-37.

[14]張家華，張國民.人工智能與機器人課程的教學資源分析[J].中國電化教育，2008（10）：99-102.

[15]Stiggins R J.Two disciplines of educational assessment[J]. Measurement & Evaluation in Counseling & Development，1993（26）：93-104.

[16]李坤崇.多元化教學評量[M].臺北：臺北心理出版社，1999：134.

[17]Andrade H，Valtcheva A.Promoting learning and achievement through self-assessment[J]. Theory into practice，2009，48（1）：12-19.

[18]魏倩倩.小學機器人教學的表現(xiàn)性評價研究與實踐[D].南充：西華師范大學，2016.

[19]吳紅梅.PTA量表在“新課程”教學評價中的應(yīng)用[J].上海教育科研，2006（5）：47-49.

[20]張敏強.教育與心理統(tǒng)計學[M].北京：人民教育出版社，1993.

[21]陳國華，劉貴仲，陳旭，等.工科大學生創(chuàng)新能力評價方法研究[J].桂林電子科技大學學報，2008（2）：167-170.

（編輯：魯利瑞）