國外計(jì)算思維評(píng)價(jià)發(fā)展現(xiàn)狀及啟示

趙福生，劉力

（沈陽師范大學(xué)教師教育學(xué)院，沈陽110034）

0 引言

國外，計(jì)算思維作為21世紀(jì)的一系列關(guān)鍵技能已經(jīng)進(jìn)入了K-12[1]。國內(nèi)，計(jì)算思維作為核心素養(yǎng)之一成為信息技術(shù)學(xué)科的核心議題，現(xiàn)正在向義務(wù)教育階段普及[2]。然而，計(jì)算思維評(píng)價(jià)仍然是具有挑戰(zhàn)性的任務(wù)，它不只評(píng)價(jià)專門領(lǐng)域內(nèi)的技術(shù)和技能，也要評(píng)價(jià)與領(lǐng)域無關(guān)的元技能。找到這樣的解決方法是很關(guān)鍵的，因?yàn)樵u(píng)價(jià)不僅決定教育的目標(biāo)是否達(dá)到，而且它還用于課程設(shè)計(jì)[1]。

Roman-Gonzalez等人將現(xiàn)存的k-12階段計(jì)算思維評(píng)價(jià)方法基于不同的視角分成了五類[3]：①終結(jié)性評(píng)價(jià)：一般是通過標(biāo)準(zhǔn)化測試進(jìn)行；②形成性迭代工具，指的是在一個(gè)特定的編程環(huán)境下，通常是通過自動(dòng)的反饋提高計(jì)算思維技能；③技術(shù)轉(zhuǎn)移工具，它是用來評(píng)價(jià)將計(jì)算思維技能轉(zhuǎn)移成不同類型的問題；④感知—態(tài)度量表，一個(gè)典型的例子是CTS，它用來檢測學(xué)生的創(chuàng)造力、算法思維、合作性，批判思維及問題解決能力；⑤詞匯評(píng)估，它基于這樣的理念，即領(lǐng)域內(nèi)的語言可以幫助更有效地思考計(jì)算思維。

近5年，國內(nèi)外學(xué)者對(duì)計(jì)算思維評(píng)價(jià)的研究都取得了一定成果，但鮮有文獻(xiàn)對(duì)最新的研究發(fā)展情況進(jìn)行梳理。因此，為揭示國外計(jì)算思維評(píng)價(jià)的發(fā)展，本研究在對(duì)國外計(jì)算思維評(píng)價(jià)研究進(jìn)展梳理與分析的基礎(chǔ)上，對(duì)國內(nèi)計(jì)算思維評(píng)價(jià)研究提出一些期望與建議，以期為我國今后計(jì)算思維評(píng)價(jià)研究與實(shí)踐的開展提供借鑒與參考。

1 研究設(shè)計(jì)

本研究選取ACM Digital Library（國際計(jì)算機(jī)協(xié)會(huì)數(shù)字圖書館）刊發(fā)的“計(jì)算思維評(píng)價(jià)”近5年相關(guān)期刊文獻(xiàn)，作為研究樣本。樣本的獲取方法為：使用Ad?vanced Search（高級(jí)檢索）功能，檢索項(xiàng)目選擇The ACM full-Text collection，內(nèi)容檢索條件選擇Title，并輸入關(guān)鍵詞computational thinking，邏輯條件選擇“&”，同樣Title輸入assess，檢索日期選擇01/01/2016到03/31/2020，共檢索出文獻(xiàn)43篇，剔除非學(xué)術(shù)性及與計(jì)算思維無關(guān)的文獻(xiàn)后，將剩余的26篇作為本研究的有效樣本。主要采用內(nèi)容分析法，從細(xì)節(jié)入手，闡述國外計(jì)算思維評(píng)價(jià)研究的最新進(jìn)展。

2 國外研究進(jìn)展

國外學(xué)界對(duì)于計(jì)算思維的解讀存在著多樣性，但評(píng)價(jià)的依據(jù)多是根據(jù)Brennan&Resnick對(duì)計(jì)算思維三個(gè)維度的劃分，計(jì)算概念、計(jì)算實(shí)踐和計(jì)算觀點(diǎn)。這種劃分有利于將計(jì)算思維的培養(yǎng)融合到具體課程和不同的課程中[2]，尤其是在K-12階段，極大地促進(jìn)了計(jì)算思維概念突破了計(jì)算機(jī)科學(xué)的局囿，廣泛地用于指導(dǎo)具體的實(shí)踐，也有利于研究者們利用已被證實(shí)有效的工具進(jìn)行評(píng)價(jià)或開發(fā)新的工具。現(xiàn)在國外學(xué)界計(jì)算思維評(píng)價(jià)的研究在工具內(nèi)容上呈現(xiàn)兩個(gè)方面：非計(jì)算機(jī)科學(xué)的和計(jì)算機(jī)科學(xué)的。

2.1 非計(jì)算機(jī)科學(xué)的

這類評(píng)價(jià)主要針對(duì)低年級(jí)的學(xué)生，無須經(jīng)過培訓(xùn)，由于他們?cè)谏钪泻蛯W(xué)習(xí)中無意識(shí)地接觸了一些計(jì)算概念，為了測量他們的水平，采用了智力游戲類的工具。

基于游戲?qū)W習(xí)的測試工具（GBLA），這種類型以闖關(guān)游戲?yàn)闇y試環(huán)境，通過學(xué)生闖關(guān)的“行為記錄”測試其計(jì)算思維。Elizabeth Rowe等人用Zoombinis學(xué)習(xí)游戲軟件測試3-8年級(jí)學(xué)生的隱性計(jì)算思維[4]。他們認(rèn)為隱性思維雖然難以言述，但可以通過行為表露出來，于是用Zoombinis評(píng)價(jià)計(jì)算實(shí)踐中的問題分解、模式識(shí)別、抽象和算法思維等計(jì)算思維技能，并根據(jù)它們?cè)诮鉀Q問題過程中的發(fā)生順序排列成線性關(guān)系，與之對(duì)應(yīng)交織在一起的是人類問題解決的行為迭代過程——從試錯(cuò)開始，至歸納通解結(jié)束。研究圍繞著“人類能可靠地標(biāo)記出什么樣的內(nèi)隱計(jì)算思維的行為作為測試指標(biāo)”問題展開。首先，對(duì)不同年齡、不同經(jīng)驗(yàn)玩家闖關(guān)時(shí)采取的策略錄制視頻并加以分析；其次，將視頻中出現(xiàn)的人類行為指標(biāo)和游戲產(chǎn)生的腳本合并，將日志數(shù)據(jù)提取為對(duì)測量策略有用的特征，尤其是那些與計(jì)算思維一致的策略；再次，在游戲腳本中建立玩家計(jì)算思維策略探測器，驗(yàn)證探測器的有效性。Elizabeth已經(jīng)找到了12個(gè)闖關(guān)游戲中的5個(gè)，下一步將用一致性信度驗(yàn)證指標(biāo)系統(tǒng)，最終建立隱性計(jì)算思維的自動(dòng)探測工具[4-5]。

Satabdi Basu等人對(duì)計(jì)算概念中的“數(shù)據(jù)與分析”進(jìn)行評(píng)價(jià)，他將這個(gè)概念進(jìn)一步細(xì)分為：數(shù)據(jù)收集、存儲(chǔ)、可視化、轉(zhuǎn)換[6]，并為每個(gè)子模塊設(shè)計(jì)了一套評(píng)價(jià)原則。實(shí)驗(yàn)過程是讓學(xué)生使用一款形成性評(píng)價(jià)工具Beats Empire，這是一款音樂制作管理游戲，學(xué)生收集聽眾的興趣，使用收集的數(shù)據(jù)決定由哪位藝術(shù)家獻(xiàn)歌，獻(xiàn)什么歌并進(jìn)行錄制。結(jié)論發(fā)現(xiàn)：①43%的錄制歌曲沒有依據(jù)任何歌曲的數(shù)據(jù)分析，而是更多的依賴“喜好”和“生活經(jīng)驗(yàn)”，說明學(xué)生的數(shù)據(jù)素養(yǎng)不高；②學(xué)生不能熟練地使用線型圖，區(qū)分線型圖和條狀圖上也存在困難。

Satabdi Basu等人采用循證方法（ECD）設(shè)計(jì)了12個(gè)任務(wù)[7]，所有的任務(wù)都是基于情節(jié)的且不依附于編程知識(shí)。經(jīng)過對(duì)香港54所學(xué)校14787名4-6年級(jí)學(xué)生測試后的數(shù)據(jù)信效度分析后，他們認(rèn)為，盡管擁有實(shí)踐知識(shí)不等于在實(shí)踐中能夠創(chuàng)造出作品，但是學(xué)生在工具上的表現(xiàn)可以提供它們?cè)趪L試參與這些實(shí)踐時(shí)將面臨的挑戰(zhàn)。

Kanaki Kalliopi等人用PhysGramming游戲軟件評(píng)價(jià)希臘1-2年級(jí)學(xué)生[8]。盡管游戲的項(xiàng)目與計(jì)算思維的維度建立了良好的對(duì)應(yīng)關(guān)系，但是關(guān)于測試分?jǐn)?shù)與計(jì)算思維水平之間的關(guān)系，即“高分?jǐn)?shù)是高水平計(jì)算思維的充要條件嗎？”這個(gè)問題，Kanaki沒有回答。

Brandon Rodriguez等人將創(chuàng)始人Tim Bell的“不插電”的計(jì)算機(jī)科學(xué)活動(dòng)（CS Unplugged）擴(kuò)充到了10個(gè)[9]。他們假設(shè)“不插電”活動(dòng)可以向其他方法一樣有效地教授基本的計(jì)算概念，例如二進(jìn)制數(shù)、二元搜索和排序網(wǎng)絡(luò)。因此設(shè)計(jì)了兩個(gè)實(shí)驗(yàn)，經(jīng)過對(duì)兩個(gè)組測試的數(shù)據(jù)分析后，發(fā)現(xiàn)學(xué)生通過“不插電”活動(dòng)至少是記住了計(jì)算概念，也學(xué)到了很多計(jì)算方面的知識(shí)。但是對(duì)每一個(gè)活動(dòng)的數(shù)據(jù)分析后，Brandon認(rèn)為，學(xué)生在被認(rèn)為與數(shù)據(jù)表達(dá)技能對(duì)應(yīng)的二進(jìn)制字符編碼上的優(yōu)秀表現(xiàn)，不意味著就能完全理解數(shù)據(jù)表達(dá)任務(wù)。

綜上，非計(jì)算機(jī)科學(xué)測試工具主要采用游戲類軟件，它的關(guān)鍵是什么內(nèi)容的測試題目能準(zhǔn)確地反映計(jì)算思維的維度及水平的高低。

2.2 計(jì)算機(jī)科學(xué)的

這類工具的開發(fā)者認(rèn)為編程是計(jì)算思維形成的土壤，只有用專業(yè)的知識(shí)評(píng)價(jià)，才能獲得準(zhǔn)確的信息。它針對(duì)的是具有專業(yè)知識(shí)的學(xué)生或教師，否則要培訓(xùn)后再測評(píng)。

Siu-Cheung Kong和Andrew Chan-chio Lao認(rèn)為最有效的培養(yǎng)教師計(jì)算思維的方法就是通過編程培訓(xùn)[10]。為此，他們?cè)O(shè)計(jì)了兩門課程，課程1聚焦于計(jì)算思維概念、實(shí)踐和觀點(diǎn)，課程2重點(diǎn)內(nèi)容是計(jì)算思維培養(yǎng)的教學(xué)方法。測試后，經(jīng)過數(shù)據(jù)分析和信效度計(jì)算，他們給出了在教學(xué)方面的建議：教師參加課程培訓(xùn)后，取得了計(jì)算思維實(shí)踐能力的提高，教師應(yīng)該在他們的教學(xué)初期和職業(yè)發(fā)展過程中接受編程訓(xùn)練，并參與如何培養(yǎng)計(jì)算思維教學(xué)方法的研討，有助于教師在以后的職業(yè)生涯中回顧和反思他們?nèi)肼毘跗谒鶎W(xué)，并在職業(yè)發(fā)展中不斷積累經(jīng)驗(yàn)。最后，認(rèn)為未來值得研究的是，教師計(jì)算思維的形成對(duì)學(xué)生的影響。

Amy K.Hoover等人基于設(shè)計(jì)游戲能表達(dá)被試的計(jì)算思維的理念，且游戲的高復(fù)雜性和意圖代表著高層次的計(jì)算思維[11]，他們對(duì)5位初中女生進(jìn)行前期游戲設(shè)計(jì)培訓(xùn)后，讓她們用Scratch設(shè)計(jì)一款反映“氣候變化”的游戲，并用三角驗(yàn)證法（triangulation），目的是探索混合評(píng)價(jià)方式的約束條件，改進(jìn)測評(píng)分?jǐn)?shù)，為教師和學(xué)生提供更有意義的反饋。經(jīng)過對(duì)比學(xué)生的作品，發(fā)現(xiàn)盡管量表得到了驗(yàn)證，修復(fù)了對(duì)未使用的“積木塊”也進(jìn)行了加分的弊端，但是在邏輯上、內(nèi)容的合理性上還是存在天生的缺陷。質(zhì)性分析得出的游戲設(shè)置過于簡單、不現(xiàn)實(shí)甚至不合理的判斷都無法通過量化分析體現(xiàn)，因?yàn)榱炕治鲆罁?jù)的是“代碼出現(xiàn)的頻率”，復(fù)雜代碼出現(xiàn)的頻率大（如if...else），得分就高，而不考慮復(fù)雜代碼的必要性、目標(biāo)的可達(dá)到性與功能的關(guān)系等。

Eric Wiebe等人將Roman-Gonzalez的CTt量表和Bebras結(jié)合起來，開發(fā)了一個(gè)適用于6-8年級(jí)的“精益”的具有較高表面效度的計(jì)算思維評(píng)價(jià)工具[12]。CTt和Bebras天生的具有互補(bǔ)性，且都是經(jīng)過驗(yàn)證的成熟的工具。盡管它使用了類似于編程方式的“積木”工具，但是研究并沒有在預(yù)先沒有編程經(jīng)驗(yàn)的學(xué)生身上發(fā)現(xiàn)“地板效應(yīng)”。二者的測量對(duì)象都是無編程背景的學(xué)生，CTt側(cè)重于實(shí)踐，使用了“積木式”工具，如圖1所示，Bebras更偏向于概念，所以使用了“填圖”類工具，如圖2所示。

圖1 CTt的一個(gè)樣例

圖2 Bebras競賽的一個(gè)樣例

綜上，計(jì)算機(jī)科學(xué)測試工具克服了尋找“替代品”的障礙，但被測對(duì)象要具備一定的編程基礎(chǔ)。還有，如何識(shí)別出代碼之間內(nèi)部的邏輯關(guān)系也是一個(gè)難點(diǎn)。

3 對(duì)我國計(jì)算思維評(píng)價(jià)研究的啟示與建議

目前，國內(nèi)的研究相對(duì)落后，仍是以測試題或量表為主流工具。郁曉華（2019）采用測試題前后測方法證明培養(yǎng)實(shí)踐的有效性[13]，顧小清（2019）以CT量表為工具，采用李克特5點(diǎn)計(jì)分法，對(duì)我國南方某省1015名學(xué)生測量計(jì)算思維[14]。去年，教育部印發(fā)的《2019年教育信息化和網(wǎng)絡(luò)安全工作要點(diǎn)》的通知[15]，明確提出，將推動(dòng)在中小學(xué)階段設(shè)置人工智能相關(guān)課程，普及人工智能教育，并逐步推廣編程教育。最近，教育部又發(fā)文，將編程課列為中小學(xué)必修課程[16]。鑒于此，我們?cè)诮梃b國外計(jì)算思維評(píng)價(jià)研究進(jìn)展的基礎(chǔ)上，提出以下建議：

使用計(jì)算機(jī)科學(xué)（編程類）軟件工具作為測評(píng)環(huán)境，且按照以下順序評(píng)價(jià)計(jì)算思維。第一，以結(jié)果實(shí)現(xiàn)為第一準(zhǔn)則。程序?qū)崿F(xiàn)是計(jì)算思維評(píng)價(jià)的根本，復(fù)雜度再高的代碼，如果沒有實(shí)現(xiàn)程序要求，也無濟(jì)于事，因?yàn)檫@可能意味著程序邏輯上的錯(cuò)誤；第二，在結(jié)果實(shí)現(xiàn)的基礎(chǔ)上，優(yōu)先考慮代碼量最少（積木塊最少）。代碼行數(shù)少，意味著邏輯嚴(yán)謹(jǐn)，計(jì)算實(shí)踐性強(qiáng)，使用算法的可能性很大。如遞歸算法要比循環(huán)代碼量??；之所以不優(yōu)先考慮代碼復(fù)雜性，因?yàn)闊o限制的代碼復(fù)雜性不一定代表著計(jì)算思維能力強(qiáng)。如，實(shí)現(xiàn)switch...de?fault語句功能可能需要多層if...else嵌套，但顯然前者執(zhí)行效率高；第三，在前二者的基礎(chǔ)上，代碼嵌套層次越多，意味著程序越復(fù)雜，計(jì)算思維能力越強(qiáng)，國外已經(jīng)開發(fā)出測試閱讀代碼能力的工具Nester[17]。

4 結(jié)語

教育測量與評(píng)價(jià)是教育科學(xué)研究的三大領(lǐng)域之一，而思維的測量與評(píng)價(jià)是其中的難點(diǎn)，計(jì)算思維評(píng)價(jià)作為新興產(chǎn)物，在我國處于起步階段。縱觀國外的研究進(jìn)展，大都在使用軟件自動(dòng)測評(píng)法，并用三角驗(yàn)證法衡量量化結(jié)果的有效性。鑒于國外測評(píng)軟件的使用情況及國內(nèi)即將在中小學(xué)開設(shè)編程課程，筆者認(rèn)為，我國學(xué)者應(yīng)關(guān)注計(jì)算機(jī)科學(xué)類測評(píng)軟件的研究，并提出了提高評(píng)價(jià)有效性的3點(diǎn)建議，希望對(duì)相關(guān)研究提供一些幫助，共同推動(dòng)我國計(jì)算思維教育教學(xué)的健康發(fā)展。