基于ECD的學(xué)生信息素養(yǎng)評(píng)價(jià)研究框架

朱莎 吳砥 楊浩 孫澤軍 余麗芹 楊灑

摘要：學(xué)生信息素養(yǎng)評(píng)價(jià)是全面提升學(xué)生信息素養(yǎng)水平的重要前提，而獲取學(xué)生信息素養(yǎng)真實(shí)表現(xiàn)相關(guān)的過(guò)程性數(shù)據(jù)是實(shí)現(xiàn)精準(zhǔn)評(píng)價(jià)的重要依據(jù)。針對(duì)傳統(tǒng)的學(xué)生信息素養(yǎng)評(píng)價(jià)范式中存在的評(píng)價(jià)內(nèi)容有限、評(píng)價(jià)結(jié)果效度較低，且缺乏對(duì)過(guò)程性數(shù)據(jù)的采集與分析等問(wèn)題，該研究基于“證據(jù)中心設(shè)計(jì)”（Evidence-Centered Design，ECD）的核心思想，采用理論研究與實(shí)踐應(yīng)用相結(jié)合的方法，設(shè)計(jì)多類型的復(fù)雜情境任務(wù)，基于xAPI采集與存儲(chǔ)復(fù)雜、細(xì)粒度的過(guò)程性數(shù)據(jù)，利用機(jī)器學(xué)習(xí)算法挖掘?qū)W生信息素養(yǎng)評(píng)價(jià)指標(biāo)與過(guò)程性數(shù)據(jù)的關(guān)聯(lián)機(jī)制，識(shí)別并提取學(xué)生信息素養(yǎng)行為特征變量，構(gòu)建貝葉斯網(wǎng)絡(luò)并訓(xùn)練樣本數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的學(xué)生信息素養(yǎng)精準(zhǔn)評(píng)價(jià)，從而為培育與提升學(xué)生信息素養(yǎng)提供決策參考。

關(guān)鍵詞：證據(jù)中心設(shè)計(jì);學(xué)生信息素養(yǎng)評(píng)價(jià);情境任務(wù);機(jī)器學(xué)習(xí);貝葉斯網(wǎng)絡(luò)

中圖分類號(hào)：G434

文獻(xiàn)標(biāo)識(shí)碼：A

信息素養(yǎng)是融合意識(shí)、知識(shí)、能力、態(tài)度與價(jià)值觀的綜合素養(yǎng)，是信息社會(huì)公民的基本素養(yǎng)，是人們應(yīng)對(duì)信息化環(huán)境下的生活、學(xué)習(xí)所必備的核心素養(yǎng)之一。當(dāng)前，大數(shù)據(jù)、人工智能等新技術(shù)的發(fā)展正不斷重塑社會(huì)生活和學(xué)習(xí)的新形態(tài)，提升學(xué)生信息素養(yǎng)水平對(duì)實(shí)現(xiàn)我國(guó)從信息社會(huì)向智能社會(huì)的轉(zhuǎn)型升級(jí)、促進(jìn)創(chuàng)新人才培養(yǎng)以及貫徹落實(shí)我國(guó)教育信息化相關(guān)政策方針至關(guān)重要。義務(wù)教育階段學(xué)生信息素養(yǎng)的監(jiān)測(cè)、評(píng)價(jià)與培養(yǎng)，是新時(shí)期我國(guó)義務(wù)教育階段的重要任務(wù)。2018年，教育部發(fā)布《教育信息化2.0行動(dòng)計(jì)劃》，明確提出“制定學(xué)生信息素養(yǎng)評(píng)價(jià)指標(biāo)體系，開(kāi)展規(guī)?；瘻y(cè)評(píng)，實(shí)施有針對(duì)性的培養(yǎng)和培訓(xùn)”[1]。2020年，教育部發(fā)布了《2020年教育信息化和網(wǎng)絡(luò)安全工作要點(diǎn)》，提出“大力實(shí)施信息素養(yǎng)全面提升行動(dòng)”的工作任務(wù)，即“培養(yǎng)提升學(xué)生的信息素養(yǎng)，發(fā)布中小學(xué)生信息素養(yǎng)評(píng)價(jià)指標(biāo)體系，在‘智慧教育示范區(qū)創(chuàng)建區(qū)域開(kāi)展評(píng)測(cè)工作”[2]。2020年初疫情防控期間大規(guī)模在線教學(xué)活動(dòng)對(duì)學(xué)生信息素養(yǎng)提出了較高的要求，這進(jìn)一步凸顯了學(xué)生信息素養(yǎng)培育提升工作的重要性和緊迫性[3]。

學(xué)生信息素養(yǎng)評(píng)價(jià)可以量化反映學(xué)生信息素養(yǎng)培養(yǎng)的成效與不足，是學(xué)生信息素養(yǎng)水平提升的關(guān)鍵環(huán)節(jié)，是制定學(xué)生信息素養(yǎng)全面提升計(jì)劃的基礎(chǔ)和前提。目前，學(xué)生信息素養(yǎng)評(píng)價(jià)主要沿用傳統(tǒng)的教育測(cè)量與評(píng)價(jià)范式，評(píng)價(jià)方法以標(biāo)準(zhǔn)化測(cè)試及自陳式量表為主，其評(píng)價(jià)結(jié)果效度低、解釋力度不強(qiáng)，難以準(zhǔn)確把握學(xué)生信息素養(yǎng)水平[4]。盡管有少數(shù)研究利用情境任務(wù)測(cè)評(píng)系統(tǒng)獲取學(xué)生信息素養(yǎng)表現(xiàn)數(shù)據(jù)，但側(cè)重考察學(xué)生的信息獲取、處理、應(yīng)用等知識(shí)與低階能力，對(duì)智能時(shí)代需要的信息創(chuàng)造、問(wèn)題解決、計(jì)算思維等高階能力的評(píng)價(jià)較少涉及，更難獲取與信息素養(yǎng)相關(guān)的態(tài)度、價(jià)值觀方面的數(shù)據(jù)?？傮w而言，現(xiàn)有的學(xué)生信息素養(yǎng)評(píng)價(jià)基于“依據(jù)規(guī)則給潛在特質(zhì)賦值”的經(jīng)典測(cè)量觀，采用的是傳統(tǒng)的“試題一答案”的測(cè)驗(yàn)設(shè)計(jì)范式，缺乏對(duì)復(fù)雜、細(xì)粒度的過(guò)程性數(shù)據(jù)的采集與分析，無(wú)法實(shí)現(xiàn)精準(zhǔn)評(píng)價(jià)，難以為學(xué)生信息素養(yǎng)培育和提升提供決策支持。

隨著大數(shù)據(jù)、人工智能技術(shù)在教育領(lǐng)域的日益發(fā)展與融合，數(shù)據(jù)驅(qū)動(dòng)的學(xué)生綜合素質(zhì)評(píng)價(jià)成為當(dāng)前教育測(cè)量與評(píng)價(jià)領(lǐng)域的主要趨勢(shì)。 “證據(jù)中心設(shè)計(jì)”（Evidence-Centered Design，ECD）的理論強(qiáng)調(diào)“基于證據(jù)進(jìn)行推理”，力圖構(gòu)建復(fù)雜的任務(wù)情境，獲取多類型的過(guò)程性數(shù)據(jù)，致力于解決復(fù)雜測(cè)驗(yàn)設(shè)計(jì)的理論問(wèn)題，適用于高度抽象、結(jié)構(gòu)復(fù)雜的高階思維能力的評(píng)價(jià)，是數(shù)據(jù)驅(qū)動(dòng)的新型教育評(píng)價(jià)的一種范式。本研究擬基于ECD，探索多類型的評(píng)價(jià)任務(wù)如何誘發(fā)學(xué)生在情境任務(wù)中的真實(shí)反應(yīng)，如何挖掘信息素養(yǎng)評(píng)價(jià)指標(biāo)與關(guān)鍵過(guò)程性數(shù)據(jù)的關(guān)聯(lián)機(jī)制，旨在構(gòu)建過(guò)程性數(shù)據(jù)驅(qū)動(dòng)的學(xué)生信息素養(yǎng)自動(dòng)評(píng)價(jià)機(jī)制，從而精準(zhǔn)、客觀、全面地評(píng)價(jià)學(xué)生信息素養(yǎng)水平，為學(xué)生信息素養(yǎng)水平提升提供決策支持。

一、學(xué)生信息素養(yǎng)評(píng)價(jià)的研究現(xiàn)狀

（一）信息素養(yǎng)的內(nèi)涵與及組成要素

1974年，美國(guó)信息產(chǎn)業(yè)協(xié)會(huì)主席保羅·澤考斯基（Paul Zurkowski）最早提出信息素養(yǎng)的概念，自此之后，信息素養(yǎng)的概念在世界范圍內(nèi)得到了廣泛傳播和使用，其內(nèi)涵得到了不斷的延伸和發(fā)展。信息素養(yǎng)的內(nèi)涵演變大致可劃分為：20世紀(jì)70年代以前的萌芽階段，強(qiáng)調(diào)手工檢索文獻(xiàn)的技能[5];20世紀(jì)70年代至80年代末的發(fā)展階段，強(qiáng)調(diào)運(yùn)用信息工具及主要信息資源解決問(wèn)題的技術(shù)和能力[6];20世紀(jì)90年代以后的成熟階段，人文屬性得到彰顯，批判、評(píng)價(jià)信息的能力被充分重視[7]。隨著信息社會(huì)的快速發(fā)展，信息素養(yǎng)被賦予了新的時(shí)代內(nèi)涵，信息意識(shí)以及信息社會(huì)的倫理、道德被充分重視。

在20世紀(jì)90年代中期，信息素養(yǎng)的概念被引入國(guó)內(nèi)。王吉慶認(rèn)為信息素養(yǎng)是一種在信息社會(huì)中獲取信息、利用信息、開(kāi)發(fā)信息方面的修養(yǎng)和能力[8];陳維維等認(rèn)為信息素養(yǎng)是對(duì)信息活動(dòng)的態(tài)度以及對(duì)信息的獲取、分析、加工、評(píng)價(jià)、創(chuàng)新、傳播等方面的能力[9];鐘志賢等認(rèn)為信息素養(yǎng)是一種為實(shí)現(xiàn)特定目的而合理合法地利用各種信息工具的能力[10];吳砥等提出信息素養(yǎng)是信息社會(huì)的公民適應(yīng)信息化環(huán)境下的學(xué)習(xí)、工作和生活所需的基本素養(yǎng)，同時(shí)也是中小學(xué)生必備的核心素養(yǎng)之一[11]。近年來(lái)，人工智能技術(shù)推動(dòng)人類社會(huì)從信息時(shí)代向智能時(shí)代發(fā)展，信息素養(yǎng)被賦予了新的時(shí)代內(nèi)涵。熊璋認(rèn)為編程能力、計(jì)算思維及對(duì)智能化社會(huì)的深度認(rèn)知，是人工智能時(shí)代學(xué)生信息素養(yǎng)內(nèi)涵的重要內(nèi)容[12];陳凱泉等提出智能化社會(huì)要求學(xué)生的信息素養(yǎng)內(nèi)涵進(jìn)行轉(zhuǎn)型與再造，其中計(jì)算思維、編程能力和人機(jī)協(xié)同能力是核心[13];于曉雅提出，智能時(shí)代的信息素養(yǎng)應(yīng)強(qiáng)調(diào)利用信息技術(shù)解決問(wèn)題的思維和行為以及應(yīng)對(duì)智能社會(huì)的倫理道德問(wèn)題的能力等[14]。

關(guān)于信息素養(yǎng)組成要素，國(guó)外比較典型的有：（1）二要素說(shuō)，包括認(rèn)識(shí)信息環(huán)境、參與和豐富信息兩個(gè)要素[15]。（2）三要素說(shuō)，包括信息行為、信息獲取、信息道德三個(gè)要素[16]。（3）四要素說(shuō)，包含尋找和獲取利用信息、信息意識(shí)、信息社會(huì)責(zé)任和信息倫理四個(gè)要素[17];或者包括信息檢索、信息獲取和交流、信息傳播、信息重組四個(gè)要素口[18]。（4）七要素說(shuō)，包括信息技術(shù)經(jīng)驗(yàn)、獲取信息源、信息處理、信息控制、信息知識(shí)建設(shè)、信息知識(shí)延伸、信息智慧體驗(yàn)七個(gè)要素[19]。（5）九要素說(shuō)，包括認(rèn)識(shí)信息、確認(rèn)信息完整、確定潛在信息來(lái)源、信息搜索策略、獲取信息來(lái)源、評(píng)價(jià)信息、整理信息、整合信息、運(yùn)用信息九個(gè)要素[20]。國(guó)內(nèi)學(xué)者對(duì)信息素養(yǎng)組成要素的看法主要包含：（1）二要素說(shuō)，包含信息意識(shí)和信息能力[21][22]。（2）三要素說(shuō)，由信息知識(shí)、信息意識(shí)和信息能力構(gòu)成[23][24];或者由信息意識(shí)、信息能力和信息倫理道德構(gòu)成[25][26]。（3）四要素說(shuō)，包含信息知識(shí)、信息意識(shí)、信息能力和信息道德[27-29]。

（二）學(xué)生信息素養(yǎng)評(píng)價(jià)方法研究

標(biāo)準(zhǔn)化測(cè)試、基于自陳式量表的評(píng)價(jià)是應(yīng)用較早的學(xué)生信息素養(yǎng)評(píng)價(jià)方法。典型的標(biāo)準(zhǔn)化測(cè)試工具包括美國(guó)肯特州立大學(xué)設(shè)計(jì)的大學(xué)生信息素養(yǎng)測(cè)評(píng)工具（SAILS）和中小學(xué)生信息素養(yǎng)測(cè)評(píng)工具（TRAILS）。還有針對(duì)特定對(duì)象，如醫(yī)學(xué)生的信息素養(yǎng)標(biāo)準(zhǔn)化測(cè)評(píng)工具。標(biāo)準(zhǔn)化測(cè)試盡管是了解信息素養(yǎng)的最佳評(píng)價(jià)方法[30]，卻不能有效評(píng)價(jià)學(xué)生在真實(shí)場(chǎng)景中的信息素養(yǎng)能力[31]?；谧躁愂搅勘淼脑u(píng)價(jià)主要根據(jù)被試的主觀報(bào)告來(lái)確定其信息素養(yǎng)水平，例如PISA的ICT素養(yǎng)測(cè)評(píng)中采用自陳式量表評(píng)價(jià)學(xué)生ICT的熟練程度，以及其他研究者自主研制信息素養(yǎng)量表。

鑒于基于自陳式量表評(píng)價(jià)的結(jié)果具有主觀性，其測(cè)試結(jié)構(gòu)與其實(shí)際水平之間的相關(guān)性較低等問(wèn)題。近年來(lái)研究者開(kāi)始關(guān)注學(xué)生在真實(shí)場(chǎng)景的信息素養(yǎng)表現(xiàn)，并采用電子檔案袋、基于計(jì)算機(jī)的情境任務(wù)等對(duì)學(xué)生信息素養(yǎng)進(jìn)行過(guò)程性評(píng)價(jià)。有研究者設(shè)計(jì)信息素養(yǎng)能力檔案袋評(píng)價(jià)學(xué)生的信息、媒體和技術(shù)技能或信息素養(yǎng)水平[32]，還有研究者綜合采用書目分析與檔案袋評(píng)價(jià)學(xué)生的信息素養(yǎng)[33]。利用檔案袋收集學(xué)生的信息作品與測(cè)評(píng)反思，反映了學(xué)生信息素養(yǎng)水平的提升過(guò)程[34]，能夠考查學(xué)生對(duì)信息知識(shí)或技能的掌握程度，還能對(duì)學(xué)生的信息思維、信息意識(shí)等非智力因素進(jìn)行評(píng)價(jià)[35]。然而，檔案袋評(píng)價(jià)需要教師投入大量時(shí)間和精力，且難以制定客觀、公正的評(píng)價(jià)標(biāo)準(zhǔn)，限制了檔案袋評(píng)價(jià)在學(xué)生信息素養(yǎng)評(píng)價(jià)中的應(yīng)用[36]。

基于計(jì)算機(jī)的情境任務(wù)測(cè)評(píng)系統(tǒng)采集并分析學(xué)生完成任務(wù)時(shí)的過(guò)程性數(shù)據(jù)，從而評(píng)價(jià)學(xué)生的知識(shí)、技能與能力。根據(jù)任務(wù)呈現(xiàn)的形式，情境任務(wù)一般包含以下三類：（1）基于信息應(yīng)答的任務(wù)，即簡(jiǎn)單建構(gòu)響應(yīng)任務(wù)以及拖拽響應(yīng)任務(wù)等，適合評(píng)價(jià)信息素養(yǎng)相關(guān)的知識(shí)和簡(jiǎn)單技能等[37][38]，其測(cè)評(píng)結(jié)果比較客觀、準(zhǔn)確，有利于評(píng)分和比較。（2）模擬真實(shí)情境的任務(wù)，即模擬真實(shí)情境設(shè)計(jì)的技能操作任務(wù)與作品創(chuàng)作任務(wù)，適合評(píng)價(jià)學(xué)生的軟件應(yīng)用技能以及檢索、選擇、評(píng)價(jià)、轉(zhuǎn)換、創(chuàng)造、交流與共享信息的能力[39]，可提供關(guān)于任務(wù)過(guò)程與結(jié)果的豐富觀測(cè)數(shù)據(jù)。（3）基于游戲的任務(wù)，即在游戲化的活動(dòng)中設(shè)置的任務(wù)，其具有豐富性、可玩性、仿真性等特點(diǎn)，適合評(píng)價(jià)學(xué)生的信息素養(yǎng)知識(shí)[40]，信息檢索等操作技能[41]，以及問(wèn)題解決能力、邏輯推理能力等高階思維能力[42][43]。

（三）目前學(xué)生信息素養(yǎng)評(píng)價(jià)的局限性

作為21世紀(jì)核心素養(yǎng)的重要組成部分，學(xué)生信息素養(yǎng)成為了當(dāng)前倍受關(guān)注的熱點(diǎn)問(wèn)題，其評(píng)價(jià)也受到國(guó)內(nèi)外學(xué)者的廣泛重視?，F(xiàn)有研究在學(xué)生信息素養(yǎng)評(píng)價(jià)領(lǐng)域取得了較豐碩的成果，為本研究奠定了堅(jiān)實(shí)的研究基礎(chǔ)。但是也具有一定的局限性。具體表現(xiàn)為：（1）現(xiàn)有研究局限于信息素養(yǎng)相關(guān)的知識(shí)和低階技能的評(píng)價(jià)，對(duì)信息思維、信息行為、信息創(chuàng)造、問(wèn)題解決等高階思維能力的評(píng)價(jià)較少涉及，缺乏一套面向智能時(shí)代的學(xué)生信息素養(yǎng)評(píng)價(jià)標(biāo)準(zhǔn);（2）現(xiàn)有研究主要采用標(biāo)準(zhǔn)化測(cè)驗(yàn)、自陳式量表等評(píng)價(jià)工具，忽視了對(duì)學(xué)生信息素養(yǎng)評(píng)價(jià)指標(biāo)與關(guān)鍵過(guò)程性數(shù)據(jù)的關(guān)聯(lián)機(jī)制挖掘;（3）現(xiàn)有的研究已將ECD廣泛應(yīng)用于核心素養(yǎng)、計(jì)算思維等高階思維能力的評(píng)價(jià)，但是在學(xué)生信息素養(yǎng)評(píng)價(jià)領(lǐng)域的應(yīng)用極其少見(jiàn)，基于ECD的學(xué)生信息素養(yǎng)自動(dòng)評(píng)價(jià)技術(shù)尚處于探索階段;（4）現(xiàn)有研究局限于對(duì)學(xué)生信息素養(yǎng)水平的監(jiān)測(cè)、評(píng)價(jià)，忽視了對(duì)學(xué)生存在問(wèn)題的診斷和動(dòng)態(tài)反饋，難以指導(dǎo)學(xué)生信息素養(yǎng)的培育和提升。

二、ECD及其在教育測(cè)評(píng)中的應(yīng)用

ECD是一套強(qiáng)調(diào)“基于證據(jù)進(jìn)行推理”的系統(tǒng)化評(píng)價(jià)方法，它力圖借助信息技術(shù)獲取證據(jù)，應(yīng)用數(shù)理統(tǒng)計(jì)模型對(duì)個(gè)體的高階能力進(jìn)行基于證據(jù)的推理[44]。ECD的概念評(píng)價(jià)框架包含三個(gè)核心模型，分別是學(xué)生模型、證據(jù)模型和任務(wù)模型。學(xué)生模型回答“測(cè)量什么”的問(wèn)題，包含需要測(cè)量的知識(shí)、技能和能力的相關(guān)變量及其相互關(guān)系，研究者通常采用文獻(xiàn)研究法來(lái)確定所測(cè)能力的評(píng)價(jià)指標(biāo)和對(duì)應(yīng)的可觀察行為。證據(jù)模型回答“如何測(cè)量”的問(wèn)題，包括證據(jù)規(guī)則和測(cè)量模型。證據(jù)規(guī)則是指評(píng)分標(biāo)準(zhǔn)，描述的是如何從個(gè)體完成情境任務(wù)的行為過(guò)程中抽取觀測(cè)變量，形成與擬測(cè)量的學(xué)生能力水平相對(duì)應(yīng)的證據(jù);測(cè)量模型是將觀測(cè)變量的數(shù)值和學(xué)生模型變量以特定結(jié)構(gòu)和方式聯(lián)系起來(lái)的概率模型[45]。任務(wù)模型回答“用什么測(cè)量”的問(wèn)題，探討怎樣構(gòu)建復(fù)雜的任務(wù)情境，刺激學(xué)生在評(píng)價(jià)指標(biāo)上的行為反應(yīng)，從而獲取證據(jù)模型所需的證據(jù)。概念模型框架不是一個(gè)簡(jiǎn)單的線性結(jié)構(gòu)[46]，而是一個(gè)不斷完善、迭代的環(huán)形結(jié)構(gòu)。總的來(lái)說(shuō)，基于ECD模型的測(cè)驗(yàn)邏輯主要包括三個(gè)核心：一是建構(gòu)情境任務(wù)誘發(fā)個(gè)體行為表現(xiàn)，二是依據(jù)表現(xiàn)提取反映個(gè)體能力水平的可靠證據(jù)，三是依據(jù)證據(jù)對(duì)個(gè)體能力水平進(jìn)行推理[47]。

證據(jù)是ECD的核心，是建立基于學(xué)生模型、任務(wù)模型和證據(jù)模型推理鏈條的關(guān)鍵所在。證據(jù)抽取是基于ECD評(píng)價(jià)的核心，包含定義證據(jù)規(guī)則，依據(jù)證據(jù)規(guī)則完成評(píng)分，為觀測(cè)變量賦值。當(dāng)前研究采用的證據(jù)抽取方法主要包含兩種：一是依據(jù)證據(jù)規(guī)則編寫算法程序[48]，主要針對(duì)簡(jiǎn)單的證據(jù)規(guī)則;二是利用機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等高級(jí)統(tǒng)計(jì)模型從復(fù)雜數(shù)據(jù)中挖掘、推論與需要測(cè)量的能力相關(guān)的模式與規(guī)則，從中識(shí)別與提取可靠證據(jù)[49]，主要針對(duì)復(fù)雜的證據(jù)規(guī)則?；谧C據(jù)的推論提供學(xué)生模型變量和觀測(cè)變量之間的關(guān)聯(lián)信息，通常采用多維項(xiàng)目反應(yīng)理論（IRT）模型、診斷分類模型、貝葉斯網(wǎng)絡(luò)和雙因子模型等高級(jí)統(tǒng)計(jì)測(cè)量模型。

ECD已被廣泛應(yīng)用于國(guó)際教育測(cè)評(píng)項(xiàng)目中。PISA、ATC21S、NAEP等許多國(guó)際大規(guī)模測(cè)評(píng)項(xiàng)目基于ECD模型開(kāi)發(fā)了在線測(cè)評(píng)系統(tǒng)，用于評(píng)價(jià)學(xué)生的合作解決問(wèn)題能力;美國(guó)教育考試中心基于ECD開(kāi)發(fā)了計(jì)算機(jī)自適應(yīng)（CAT）版本的研究生入學(xué)考試（GRE）和iSkills評(píng)價(jià)項(xiàng)目。此外，國(guó)內(nèi)外學(xué)者也將ECD廣泛用于核心素養(yǎng)、21世紀(jì)技能、合作問(wèn)題解決能力、計(jì)算思維、數(shù)據(jù)素養(yǎng)、邏輯推理能力等高階思維能力的評(píng)價(jià)。

三、基于ECD的學(xué)生信息素養(yǎng)評(píng)價(jià)的研究?jī)?nèi)容

基于ECD的學(xué)生信息素養(yǎng)評(píng)價(jià)的研究?jī)?nèi)容主要包含五個(gè)方面，即學(xué)生信息素養(yǎng)評(píng)價(jià)標(biāo)準(zhǔn)研究、學(xué)生信息素養(yǎng)過(guò)程性數(shù)據(jù)采集與存儲(chǔ)研究、學(xué)生信息素養(yǎng)觀測(cè)變量的抽取與處理研究、基于貝葉斯網(wǎng)絡(luò)的學(xué)生信息素養(yǎng)自動(dòng)評(píng)價(jià)關(guān)鍵技術(shù)研究、學(xué)生信息素養(yǎng)自動(dòng)評(píng)價(jià)技術(shù)的應(yīng)用效果研究。研究?jī)?nèi)容框架如圖1所示。

（一）學(xué)生信息素養(yǎng)評(píng)價(jià)標(biāo)準(zhǔn)研究

1.學(xué)生信息素養(yǎng)評(píng)價(jià)指標(biāo)研究

為了確定需要測(cè)量的學(xué)生信息素養(yǎng)相關(guān)的知識(shí)、技能和能力的相關(guān)變量，需要首先研究學(xué)生信息素養(yǎng)評(píng)價(jià)指標(biāo)。結(jié)合國(guó)內(nèi)外學(xué)生信息素養(yǎng)評(píng)價(jià)指標(biāo)及國(guó)內(nèi)學(xué)生信息素養(yǎng)培育現(xiàn)狀與發(fā)展需求，研究團(tuán)隊(duì)研制了《中小學(xué)生信息素養(yǎng)評(píng)價(jià)指標(biāo)》，并于2017年6月在CELTSC獲得正式立項(xiàng)。截至2019年，在全國(guó)累計(jì)征求了70名不同領(lǐng)域?qū)＜业囊庖?jiàn)，通過(guò)多輪修訂，標(biāo)準(zhǔn)的框架、內(nèi)容已得到專家普遍認(rèn)同?！吨行W(xué)生信息素養(yǎng)評(píng)價(jià)指標(biāo)》包括信息意識(shí)與態(tài)度、信息知識(shí)與技能、信息思維與行為和信息社會(huì)責(zé)任四個(gè)一級(jí)指標(biāo)，每個(gè)一級(jí)指標(biāo)分別包含2-3個(gè)二級(jí)指標(biāo)。信息意識(shí)與態(tài)度主要考查學(xué)生對(duì)信息的感知意識(shí)、應(yīng)用意識(shí)和安全意識(shí)，以及學(xué)生在學(xué)習(xí)和生活中利用信息與技術(shù)的態(tài)度;信息知識(shí)與技能主要考查中小學(xué)生對(duì)信息科學(xué)知識(shí)和信息應(yīng)用技能的理解和掌握程度;信息思維與行為主要考查學(xué)生利用信息技術(shù)來(lái)輔助自身思維的綜合意識(shí)與能力傾向，如計(jì)算思維、非線性思維、創(chuàng)造性思維、智能化思維等，以及學(xué)生使用信息技術(shù)的行為與習(xí)慣;信息社會(huì)責(zé)任主要考查學(xué)生對(duì)信息道德與倫理、信息法律與法規(guī)的認(rèn)識(shí)與踐行水平。

2.學(xué)生信息素養(yǎng)能力模型研究

在學(xué)生信息素養(yǎng)評(píng)價(jià)標(biāo)準(zhǔn)研究基礎(chǔ)之上，構(gòu)建學(xué)生信息素養(yǎng)能力模型，即從教育測(cè)量的視角，描述需要測(cè)量的內(nèi)容及其相互關(guān)系。學(xué)生信息素養(yǎng)能力模型研究包含以下三個(gè)關(guān)鍵環(huán)節(jié)：一是在學(xué)生信息素養(yǎng)評(píng)價(jià)標(biāo)準(zhǔn)的基礎(chǔ)上，深入分析學(xué)生信息素養(yǎng)相關(guān)的知識(shí)、技能、情感等領(lǐng)域的評(píng)價(jià)指標(biāo)及其相互關(guān)系;二是厘清知識(shí)、技能和情感領(lǐng)域的學(xué)生信息素養(yǎng)評(píng)價(jià)指標(biāo)與其能力表現(xiàn)的實(shí)質(zhì)性聯(lián)系;三是確定每個(gè)評(píng)價(jià)指標(biāo)對(duì)應(yīng)的不同水平等級(jí)的行為表現(xiàn)特征，界定可觀察的行為及其操作性定義。表1為初步確定的學(xué)生信息素養(yǎng)各評(píng)價(jià)指標(biāo)對(duì)應(yīng)的可觀察行為。

（二）學(xué)生信息素養(yǎng)過(guò)程性數(shù)據(jù)采集與存儲(chǔ)

1.學(xué)生信息素養(yǎng)任務(wù)模型構(gòu)建

學(xué)生信息素養(yǎng)任務(wù)模型旨在通過(guò)設(shè)置不同類型的任務(wù)，刺激學(xué)生在信息素養(yǎng)評(píng)價(jià)指標(biāo)上的行為反應(yīng)，因此，構(gòu)建學(xué)生信息素養(yǎng)任務(wù)模型是采集學(xué)生信息素養(yǎng)過(guò)程性數(shù)據(jù)的基礎(chǔ)和前提。根據(jù)信息素養(yǎng)評(píng)價(jià)指標(biāo)的不同類型，即知識(shí)相關(guān)指標(biāo)、技能相關(guān)指標(biāo)和情感相關(guān)指標(biāo)，分別設(shè)計(jì)三種類型的任務(wù)，如表2所示。第一類是信息應(yīng)答任務(wù)，適合評(píng)估學(xué)生對(duì)信息素養(yǎng)相關(guān)知識(shí)的掌握情況，其測(cè)評(píng)結(jié)果較為客觀、準(zhǔn)確，有利于評(píng)分和比較。如學(xué)生在多個(gè)主題中選擇并拖動(dòng)相應(yīng)的選項(xiàng)來(lái)完成任務(wù);第二類是模擬真實(shí)情景任務(wù)，適合評(píng)估學(xué)生的信息檢索、信息處理、信息應(yīng)用等低層次技能，其為任務(wù)測(cè)評(píng)過(guò)程與結(jié)果提供復(fù)雜觀測(cè)數(shù)據(jù)，如利用文字處理軟件或圖形處理軟件制作電子海報(bào)、利用搜索引擎搜索信息等;第三類是基于模擬游戲的任務(wù)，適合評(píng)估學(xué)生的高水平技能和情感相關(guān)的指標(biāo)，包括信息溝通、信息評(píng)價(jià)和信息倫理，其具有豐富性、可玩性、仿真性等特點(diǎn)，如學(xué)生與游戲伙伴的合作。

2.基于xAPI的過(guò)程性數(shù)據(jù)采集與存儲(chǔ)

在任務(wù)模型構(gòu)建的基礎(chǔ)上，構(gòu)建基于xAPI的過(guò)程性數(shù)據(jù)模型，進(jìn)而對(duì)學(xué)生測(cè)評(píng)任務(wù)中產(chǎn)生的過(guò)程性數(shù)據(jù)進(jìn)行采集與存儲(chǔ)。如圖2所示，該數(shù)據(jù)模型以Task（任務(wù)）為中心，Task的執(zhí)行者是參與測(cè)評(píng)的學(xué)生（Actor），Actor元素包含學(xué)生的身份文檔（Learner Profile），身份文檔中記錄了學(xué)生的個(gè)人基本信息。Actor元素與Task元素之間補(bǔ)充了任務(wù)發(fā)生的情境信息（Context）。Task元素由學(xué)生的動(dòng)作（Verb，表示學(xué)生的一系列任務(wù)操作行為）、對(duì)象（Object，行為的執(zhí)行對(duì)象）、工具（Tool，學(xué)生在測(cè)試中使用工具的情況）、時(shí)間戳（Timestamp，動(dòng)作發(fā)生的時(shí)間）構(gòu)成。

結(jié)合情境任務(wù)測(cè)評(píng)系統(tǒng)獲取數(shù)據(jù)的可能性，擬采集的學(xué)生信息素養(yǎng)過(guò)程性數(shù)據(jù)如表3所示。

（三）學(xué)生信息素養(yǎng)觀測(cè)變量的抽取與處理

在情境任務(wù)測(cè)評(píng)系統(tǒng)中，學(xué)生與測(cè)評(píng)系統(tǒng)、情境任務(wù)交互的多類型、細(xì)粒度、全過(guò)程數(shù)據(jù)都會(huì)被自動(dòng)采集、記錄下來(lái)，對(duì)這些復(fù)雜的數(shù)據(jù)進(jìn)行梳理、整合和匯聚，挖掘?qū)W生信息素養(yǎng)評(píng)價(jià)指標(biāo)與過(guò)程性數(shù)據(jù)的關(guān)聯(lián)機(jī)制，抽取學(xué)生信息素養(yǎng)行為特征變量，是精準(zhǔn)評(píng)價(jià)學(xué)生信息素養(yǎng)水平的前提。學(xué)生信息素養(yǎng)觀測(cè)變量的抽取與處理，包括圖3所示的三個(gè)關(guān)鍵步驟：一是識(shí)別有意義行為;二是抽取觀測(cè)變量;三是觀測(cè)變量的效度驗(yàn)證。

1.學(xué)生信息素養(yǎng)有意義行為識(shí)別

在情境任務(wù)測(cè)評(píng)的過(guò)程中，學(xué)生的信息素養(yǎng)集中體現(xiàn)于一些關(guān)鍵的有意義行為。然而，由于測(cè)評(píng)環(huán)境和被試學(xué)生行為習(xí)慣的復(fù)雜性，有意義行為的表現(xiàn)極其復(fù)雜。因此，如何在情境任務(wù)測(cè)評(píng)系統(tǒng)記錄的過(guò)程性數(shù)據(jù)中識(shí)別這些有意義行為是本研究面臨的一個(gè)關(guān)鍵問(wèn)題。學(xué)生在各類任務(wù)中有意義行為的識(shí)別可視為一種序列分類問(wèn)題，即判斷給定的行為序列是否屬于某一個(gè)類別。我們將Log文件中記錄的輸入、點(diǎn)擊、拖拽等去情境化的操作行為數(shù)據(jù)提煉為信息查詢、任務(wù)完成、信息發(fā)布等低階的可觀察行為;將學(xué)生在測(cè)試中表現(xiàn)出的猶豫、猜測(cè)等狀態(tài)行為提煉為對(duì)信息的感知、判斷、反思等高階的認(rèn)知行為。高階的認(rèn)知行為很難通過(guò)編寫統(tǒng)一的算法來(lái)對(duì)數(shù)據(jù)進(jìn)行處理，需要依靠人工識(shí)別部分行為，并對(duì)相關(guān)數(shù)據(jù)進(jìn)行標(biāo)注;再以這部分?jǐn)?shù)據(jù)作為訓(xùn)練數(shù)據(jù)，運(yùn)用機(jī)器學(xué)習(xí)算法建立模型，在模型達(dá)到滿意的精度以后進(jìn)行其余數(shù)據(jù)的自動(dòng)標(biāo)注。

BILSTM+CRF模型因其具有對(duì)上下文的理解能力而被廣泛應(yīng)用于序列數(shù)據(jù)的標(biāo)注。如首先基于xAPI的過(guò)程性數(shù)據(jù)模型將Log數(shù)據(jù)轉(zhuǎn)換為包含Actor、Verb、Object、Context、Timestamp的向量;其次定義情境中的有意義操作集合，再選取集合內(nèi)的操作對(duì)每一個(gè)包含此情境的向量進(jìn)行人工標(biāo)注;再次，使用訓(xùn)練數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練，將向量輸入BiLSTM模型，并將BiLSTM的輸出作為CRF層的輸入，識(shí)別標(biāo)簽之間的關(guān)系，進(jìn)一步提高預(yù)測(cè)的準(zhǔn)確性;最后，輸出向量對(duì)應(yīng)每個(gè)操作的概率，選擇概率最大的作為最終標(biāo)簽。

2.學(xué)生信息素養(yǎng)觀測(cè)變量的抽取

通?；谌蝿?wù)結(jié)果的觀測(cè)變量能直接反應(yīng)被測(cè)學(xué)生知識(shí)、技能的掌握情況，基于任務(wù)過(guò)程的觀測(cè)變量可以解釋學(xué)生完成任務(wù)中的思維過(guò)程與情感狀態(tài)。我們可從行為序列抽取基于任務(wù)結(jié)果的觀測(cè)變量，如任務(wù)完成與否、完成進(jìn)度、消耗時(shí)間等;也可直接通過(guò)統(tǒng)計(jì)分析、聚類分析、時(shí)間序列分析和模式識(shí)別等復(fù)雜的算法處理獲取基于任務(wù)過(guò)程的觀測(cè)變量，如低階的認(rèn)知行為指標(biāo)（動(dòng)作總數(shù)、交流的數(shù)量等）、高階的認(rèn)知行為指標(biāo)（對(duì)信息的感知、判斷、反思等）。此外，我們還可通過(guò)頻繁模式挖掘、因子分析等方法對(duì)行為序列模式進(jìn)行處理，發(fā)現(xiàn)學(xué)生行為的自然分類并總結(jié)其特征。

在基于情境任務(wù)的學(xué)生信息素養(yǎng)測(cè)評(píng)中，既包含了有預(yù)設(shè)正確或最優(yōu)步驟的結(jié)構(gòu)化操作過(guò)程，也包括沒(méi)有預(yù)設(shè)正確或最優(yōu)步驟的非結(jié)構(gòu)化操作過(guò)程。結(jié)構(gòu)化過(guò)程體現(xiàn)了被試學(xué)生信息知識(shí)與技能的熟練程度，而在非結(jié)構(gòu)化過(guò)程則更能體現(xiàn)被試學(xué)生更深層次的思維與習(xí)慣。對(duì)于數(shù)據(jù)分析，結(jié)構(gòu)化與非結(jié)構(gòu)化的過(guò)程可抽象為結(jié)構(gòu)化與非結(jié)構(gòu)化的行為序列。對(duì)于結(jié)構(gòu)化序列，可利用SPADE算法，采用廣度優(yōu)先搜索（BFS）和深度優(yōu)先搜索（DFS）策略來(lái)產(chǎn)生頻繁序列;對(duì)于非結(jié)構(gòu)化的行為序列，可先采用用戶行為模式檢測(cè)（UBPD）算法，將每個(gè)測(cè)試者Log數(shù)據(jù)按任務(wù)進(jìn)行切分;再按一定的窗口大小和滑動(dòng)步長(zhǎng)轉(zhuǎn)換為子序列集，統(tǒng)計(jì)每人每種子序列出現(xiàn)次數(shù)，形成用戶矩陣;然后，綜合方差解釋、基序數(shù)選擇合適的因子數(shù)量，并進(jìn)行因子分析;最后總結(jié)每一類共同的基序及這一類測(cè)試者的行為模式，解釋其意義。

3.學(xué)生信息素養(yǎng)觀測(cè)變量的效度驗(yàn)證

由于信息素養(yǎng)的復(fù)雜性和機(jī)器學(xué)習(xí)算法的不確定性，某些觀測(cè)變量與信息素養(yǎng)的相關(guān)性、可解釋性可能較差。同時(shí)在以上步驟中，通常會(huì)將盡可能多的信息納入分析，導(dǎo)致觀測(cè)變量在不同維度分布可能不均衡，甚至出現(xiàn)冗余?；谝陨显颍枰獙?duì)觀測(cè)變量的有效性進(jìn)行檢驗(yàn)。驗(yàn)證觀測(cè)變量的有效性可采用主客觀相結(jié)合的分析方法：一是通過(guò)德?tīng)柗品ǎ磳＜遗袛嘤^測(cè)變量是否與可觀察行為關(guān)聯(lián)恰當(dāng)，可觀察行為的觀測(cè)變量是否充足;二是通過(guò)數(shù)據(jù)分析，分析基于任務(wù)過(guò)程的觀測(cè)變量的值與基于任務(wù)結(jié)果的觀測(cè)變量的值的相關(guān)性。若基于任務(wù)過(guò)程的觀測(cè)變量與基于任務(wù)結(jié)果的觀測(cè)變量的相關(guān)性低或與其他觀測(cè)變量存在高度共線性，即認(rèn)定為質(zhì)量不佳的觀測(cè)變量，可考慮刪除;接下來(lái)計(jì)算每個(gè)觀測(cè)變量的信息增益率，結(jié)合上一步的分析結(jié)果，剔除信息增益率較低的觀測(cè)變量，從而獲得最終的觀測(cè)變量。由此確定的觀測(cè)變量能夠有效表征學(xué)生信息素養(yǎng)，增強(qiáng)其可解釋性，同時(shí)也能避免觀測(cè)變量的冗余，這對(duì)提高學(xué)生信息素養(yǎng)評(píng)價(jià)結(jié)果的準(zhǔn)確性至關(guān)重要。

（四）基于貝葉斯網(wǎng)絡(luò)的學(xué)生信息素養(yǎng)自動(dòng)評(píng)價(jià)關(guān)鍵技術(shù)研究

為了建立學(xué)生信息素養(yǎng)評(píng)價(jià)指標(biāo)與觀測(cè)變量之間的關(guān)聯(lián)規(guī)則，完成基于證據(jù)的學(xué)生信息素養(yǎng)推理過(guò)程，本研究利用貝葉斯網(wǎng)絡(luò)實(shí)現(xiàn)學(xué)生信息素養(yǎng)自動(dòng)評(píng)價(jià)。貝葉斯網(wǎng)絡(luò)具有較強(qiáng)的建模功能以及較完善的推理機(jī)制，能夠建立證據(jù)累積自動(dòng)評(píng)分過(guò)程，最終通過(guò)有效融合先驗(yàn)知識(shí)和當(dāng)前觀察值來(lái)完成各種查詢、預(yù)測(cè)與評(píng)估[50]。貝葉斯網(wǎng)絡(luò)在評(píng)估研究和實(shí)踐中得到了廣泛的應(yīng)用，特別是在ECD理論框架下，研究者大多采用基于貝葉斯網(wǎng)絡(luò)的自動(dòng)評(píng)分技術(shù)?；谪惾~斯網(wǎng)絡(luò)的自動(dòng)評(píng)分技術(shù)主要包含以下幾個(gè)關(guān)鍵階段：首先構(gòu)建能力模型和證據(jù)模型的貝葉斯網(wǎng)絡(luò)片段;其次，確定貝葉斯網(wǎng)絡(luò)先驗(yàn)概率，并計(jì)算條件概率表，構(gòu)建完整的貝葉斯網(wǎng)絡(luò)并訓(xùn)練樣本數(shù)據(jù);最后，輸入新的樣本數(shù)據(jù)更新條件概率表，選擇最大概率值作為該條數(shù)據(jù)的自動(dòng)評(píng)價(jià)依據(jù)。

在基于貝葉斯網(wǎng)絡(luò)的學(xué)生信息素養(yǎng)自動(dòng)評(píng)價(jià)中，首先根據(jù)學(xué)生信息素養(yǎng)評(píng)價(jià)標(biāo)準(zhǔn)，分別建立信息意識(shí)與態(tài)度、信息知識(shí)與技能、信息思維與行為、信息社會(huì)責(zé)任的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)片段，明確每個(gè)貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)片段中的可觀察行為及其觀測(cè)變量，并構(gòu)建對(duì)應(yīng)的能力模型貝葉斯網(wǎng)絡(luò)片段。根據(jù)能力模型貝葉斯網(wǎng)絡(luò)片段，明確觀測(cè)變量的證據(jù)抽取規(guī)則，構(gòu)建對(duì)應(yīng)的證據(jù)模型貝葉斯網(wǎng)絡(luò)片段。接下來(lái)，將貝葉斯網(wǎng)絡(luò)模型片段進(jìn)行整合，形成完整的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)圖。在這個(gè)過(guò)程中，專家需要結(jié)合情境任務(wù)的難度、區(qū)分度，對(duì)每個(gè)情境任務(wù)下各項(xiàng)操作的難度系數(shù)進(jìn)行評(píng)價(jià)，確定各個(gè)觀測(cè)變量的參數(shù)。然后根據(jù)專家確定的變量參數(shù)及先驗(yàn)條件概率，確定父節(jié)點(diǎn)與子節(jié)點(diǎn)的關(guān)系以及每個(gè)變量的概率估計(jì)值，進(jìn)一步細(xì)化和更新更多的觀測(cè)變量值。最后，可將實(shí)證研究中獲取的觀測(cè)變量數(shù)據(jù)有序輸入已訓(xùn)練完畢的貝葉斯網(wǎng)絡(luò)中。貝葉斯網(wǎng)絡(luò)將根據(jù)數(shù)據(jù)更新各節(jié)點(diǎn)的條件概率表，形成該數(shù)據(jù)的貝葉斯網(wǎng)絡(luò)拓?fù)鋱D，并選擇最大概率值作為該條數(shù)據(jù)的評(píng)價(jià)依據(jù)，從而實(shí)現(xiàn)學(xué)生信息素養(yǎng)的自動(dòng)評(píng)價(jià)。

（五）學(xué)生信息素養(yǎng)自動(dòng)評(píng)價(jià)技術(shù)的應(yīng)用效果研究

為了驗(yàn)證基于ECD的學(xué)生信息素養(yǎng)評(píng)價(jià)的科學(xué)性和有效性，需要開(kāi)展過(guò)程性數(shù)據(jù)驅(qū)動(dòng)的學(xué)生信息素養(yǎng)自動(dòng)評(píng)價(jià)實(shí)證研究，驗(yàn)證學(xué)生信息素養(yǎng)評(píng)價(jià)結(jié)果的效度，分析學(xué)生信息素養(yǎng)任務(wù)模型的有效性，基于評(píng)價(jià)結(jié)果建立動(dòng)態(tài)反饋與干預(yù)策略。

1.學(xué)生信息素養(yǎng)自動(dòng)評(píng)價(jià)結(jié)果效度驗(yàn)證

首先，遴選試點(diǎn)中小學(xué)校，采用標(biāo)準(zhǔn)化測(cè)試、自陳式量表和情境任務(wù)測(cè)評(píng)的方法同時(shí)開(kāi)展學(xué)生信息素養(yǎng)評(píng)價(jià)實(shí)踐?；跍y(cè)評(píng)結(jié)果，以標(biāo)準(zhǔn)化測(cè)試分?jǐn)?shù)和量表分?jǐn)?shù)作為效標(biāo)分?jǐn)?shù)，分析情境任務(wù)測(cè)評(píng)結(jié)果的效標(biāo)關(guān)聯(lián)效度;依據(jù)測(cè)評(píng)結(jié)果，從不同信息素養(yǎng)水平等級(jí)學(xué)生中分別遴選出5-10名學(xué)生進(jìn)行持續(xù)追蹤調(diào)查，采用課堂觀察法分析學(xué)生在真實(shí)的學(xué)習(xí)場(chǎng)景中應(yīng)用信息技術(shù)的能力，采用半結(jié)構(gòu)化訪談法讓教師評(píng)價(jià)不同類別學(xué)生信息素養(yǎng)的日常表現(xiàn)，分析不同類別學(xué)生的測(cè)試結(jié)果與其實(shí)際信息素養(yǎng)表現(xiàn)之間的關(guān)系，驗(yàn)證情境任務(wù)測(cè)評(píng)結(jié)果的區(qū)分效度。

2.學(xué)生信息素養(yǎng)任務(wù)模型有效性研究

學(xué)生在完成情境任務(wù)時(shí)會(huì)生成大量的證據(jù)數(shù)據(jù)，這些證據(jù)數(shù)據(jù)可用于驗(yàn)證學(xué)生信息素養(yǎng)任務(wù)模型的有效性。通過(guò)多面Rasch分析得到項(xiàng)目難度值與學(xué)生能力值，將項(xiàng)目難度值與學(xué)生能力值比較，考察項(xiàng)目難度是否與大部分學(xué)生能力水平匹配。此外，任務(wù)難度的分隔指數(shù)（Separation）與分隔信度（Reliability）代表了任務(wù)之間的難易程度的差異，可據(jù)此調(diào)整項(xiàng)目難易程度或進(jìn)行篩選，從而使整個(gè)測(cè)試具有適中的難度與較好的區(qū)分度。

3.學(xué)生信息素養(yǎng)動(dòng)態(tài)反饋與干預(yù)

為了促進(jìn)學(xué)生信息素養(yǎng)的培育和提升，必須及時(shí)反饋學(xué)生信息素養(yǎng)評(píng)價(jià)結(jié)果，并給學(xué)生提供個(gè)性化的信息素養(yǎng)提升建議?；趯W(xué)生信息素養(yǎng)情境任務(wù)測(cè)評(píng)的結(jié)果，利用數(shù)據(jù)可視化工具將學(xué)生信息素養(yǎng)評(píng)估的全過(guò)程以直觀明了的圖形、圖像信息呈現(xiàn)出來(lái)，包括學(xué)生信息素養(yǎng)水平的整體評(píng)估結(jié)果，學(xué)生在完成每個(gè)情境任務(wù)時(shí)的可觀察行為表現(xiàn)，以及學(xué)生在各個(gè)觀測(cè)變量上的量化得分，并向?qū)W生提供全面的個(gè)人信息素養(yǎng)評(píng)估報(bào)告;基于學(xué)生信息素養(yǎng)評(píng)估結(jié)果，科學(xué)診斷學(xué)生信息素養(yǎng)整體水平，深入學(xué)生在完成情境任務(wù)時(shí)表現(xiàn)出的信息素養(yǎng)不足的問(wèn)題，研究有針對(duì)性的、切實(shí)可行的學(xué)生信息素養(yǎng)培育與提升策略。

四、總結(jié)與展望

學(xué)生信息素養(yǎng)是一種復(fù)雜的高階能力素養(yǎng)，對(duì)其進(jìn)行科學(xué)、精準(zhǔn)的評(píng)價(jià)是極具挑戰(zhàn)性的任務(wù)。幸運(yùn)的是，人工智能時(shí)代的教育測(cè)評(píng)理論、數(shù)理統(tǒng)計(jì)方法與技術(shù)的發(fā)展為實(shí)現(xiàn)學(xué)生信息素養(yǎng)精準(zhǔn)評(píng)價(jià)提供了契機(jī)。本研究試圖構(gòu)建基于ECD的學(xué)生信息素養(yǎng)的新型評(píng)價(jià)范式，通過(guò)設(shè)計(jì)任務(wù)、構(gòu)建情境、提取證據(jù)、建立證據(jù)與中小學(xué)生信息素養(yǎng)評(píng)價(jià)指標(biāo)的推理鏈條，實(shí)現(xiàn)面向復(fù)雜任務(wù)情境的學(xué)生信息素養(yǎng)自動(dòng)精準(zhǔn)評(píng)價(jià)，從而為培育與提升學(xué)生信息素養(yǎng)提供參考。盡管本研究提出了一個(gè)理論可行的研究框架，但是本研究在實(shí)踐過(guò)程中可能面臨以下幾個(gè)主要的困難和挑戰(zhàn)：一是在初期建立機(jī)器學(xué)習(xí)模型時(shí)，可能存在樣本量有限、樣本不均衡的問(wèn)題，且初期的數(shù)據(jù)標(biāo)注可能大部分需要人工完成;二是應(yīng)用BILSTM+CRF模型對(duì)序列數(shù)據(jù)標(biāo)注時(shí)，由于數(shù)據(jù)處理過(guò)程較多，不同步驟間的誤差可能累積，能否在有限的時(shí)間內(nèi)達(dá)到滿意的精度將是一大挑戰(zhàn);三是對(duì)行為序列挖掘結(jié)果進(jìn)行解釋時(shí)，如何有效地將行為序列分析結(jié)果與有意義行為及其對(duì)應(yīng)的信息素養(yǎng)評(píng)價(jià)指標(biāo)建立直接或間接的相關(guān)關(guān)系，也是一大挑戰(zhàn)。下一階段，研究團(tuán)隊(duì)將重點(diǎn)圍繞基于過(guò)程性數(shù)據(jù)的學(xué)生信息素養(yǎng)特征變量抽取與處理方法，以及學(xué)生信息素養(yǎng)評(píng)價(jià)指標(biāo)與觀測(cè)變量的關(guān)聯(lián)規(guī)則挖掘展開(kāi)研究，設(shè)計(jì)基于復(fù)雜情境任務(wù)的學(xué)生信息素養(yǎng)測(cè)評(píng)系統(tǒng)，獲取大量實(shí)測(cè)數(shù)據(jù)，初步建立過(guò)程性數(shù)據(jù)驅(qū)動(dòng)的學(xué)生信息素養(yǎng)精準(zhǔn)評(píng)價(jià)機(jī)制。

參考文獻(xiàn)：

[1]教育部.教育部關(guān)于印發(fā)《教育信息化2.0行動(dòng)計(jì)劃》的通知[E B/OL].http：//www.moe.gov.cn/sre sit e/A 16/s3 342/201 804/t2018 0425_3 34188.html，2020-06-01.

[2]教育部《2020年教育信息化和網(wǎng)絡(luò)安全工作要點(diǎn)>XEB/OL].https：//www.edu.cn/xx h/foc us/rd_xin_wen/202003/t202 003 03—17148 14.shtml，2020-06-01.

[3]吳砥，余麗芹等.大規(guī)模長(zhǎng)周期在線教學(xué)對(duì)師生信息素養(yǎng)的挑戰(zhàn)與提升策略[J].電化教育研究，2020，（5）：12-17+26.

[4][31] Samson，S.Information literacy learning outcomes and studentsuccess [J].The Joumal of Academic Lihrarianship，2010，36（3），202-210.

[5]柯平.信息素養(yǎng)與信息檢索概論[M].天津：南開(kāi)大學(xué)出版社，2005.

[6] Zurkowski P C.The Information Service Environment Relationshipsand Priorities [R].Washington，DC：National Commission on Librariesand Information Science.Related Paper No.5，1974.

[7][20] Doyle C.Outcome Measures for Information Literacy Withinthe National Education Coals of 1990：Final Report of the NationalForum on Information Literacy [R].Washington，DC：US Depmtment ofEducation.Related ERIC document NO.ED 351033，1992.

[8][23]王吉慶.信息素養(yǎng)論[M].上海：上海教育出版社，1999.

[9]陳維維，李藝.信息素養(yǎng)的內(nèi)涵、層次及培養(yǎng)[J].電化教育研究，2002，（11）：7-9.

[10]鐘志賢，汪維富.Weh2.0學(xué)習(xí)文化與信息素養(yǎng)2.O[J].遠(yuǎn)程教育雜志，2010，28（4）：34-40.

[11]吳砥，許林等.信息時(shí)代的中小學(xué)生信息素養(yǎng)評(píng)價(jià)研究[J].中國(guó)電化教育，2018，（8）：54-59.

[12]熊璋.加強(qiáng)青少年信息素養(yǎng)教育的重要意義[J].國(guó)家治理，2016，（3）：41-45.

[13]陳凱泉，何瑤等.人工智能視域下的信息素養(yǎng)內(nèi)涵轉(zhuǎn)型及AI教育目標(biāo)定位：兼論基礎(chǔ)教育階段AI課程與教學(xué)實(shí)施路徑[J].遠(yuǎn)程教育雜志，2018，（1）：61-71.

[14]于曉雅.人工智能視域下教師信息素養(yǎng)內(nèi)涵解析及提升策略研究[J].中國(guó)教育學(xué)刊，2019，（8）：70-75.

[15] Lloyd A.Working （In）formation：Conceptualizing Information Literacyin the Workplace [C].Rockhampton，Queensland：Central QueenslandUniversity Press，2003.218-224.

[16] Johnston B，Webber S.Information Literacy in HigherEducation：a review and case study [J].Studies in HigherEducation，2003，28（3）：335-352.

[17] Lupton M，Clanville C，et al.lnformation Literacy Toolkit[DB/OL].http：//www.griffith.edu.au/centre/gihe/ griffith_graduate，2004- 12-1 1.

[18] Bawden D.Information and digital literacies：a review of concepts [J].Journal of Documentation，2001，57（2）：218-259.

[19] BRUCE，C.The Seven Faces oflnformation Literacy [M].Adelaide：AuslibPress，1997.

[21]任燕麗.信息與信息素質(zhì)[J].北京成人教育，1999，（6）：43-44.

[22]霸桂芳.大學(xué)生信息素養(yǎng)的內(nèi)涵與培養(yǎng)策略研究[J].教育探索，2007，（2）：15-16.

[24]張亞莉.信息素養(yǎng)內(nèi)涵的建構(gòu)[J].圖書館論壇，2005，（5）：53-55+117.

[25]呂慶陽(yáng)，劉孝文.國(guó)內(nèi)外信息素質(zhì)概念的界定[J].河北科技圖苑，2008，（2）：40-42.

[26]鐘志賢.面向終身學(xué)習(xí)：信息素養(yǎng)的內(nèi)涵、演進(jìn)與標(biāo)準(zhǔn)[J].中國(guó)遠(yuǎn)程教育，2013，（8）：21-29+95.

[27]仇誠(chéng)誠(chéng).大學(xué)生信息素養(yǎng)及評(píng)價(jià)標(biāo)準(zhǔn)研究[J].圖書情報(bào)論壇，2011，（Z1）：38-41.

[28]夏秋萍，諶新華.高校圖書館提升大學(xué)生信息素養(yǎng)的策略研究——大數(shù)據(jù)時(shí)代背景下[J].學(xué)理論，2017，（12）：181-182.

[29]石映輝，彭常玲等.中小學(xué)生信息素養(yǎng)評(píng)價(jià)指標(biāo)體系研究[J].中國(guó)電化教育，2018，（8）：78-82+98.

[30]盧敏.大學(xué)生信息素養(yǎng)評(píng)價(jià)方法淺析[J].現(xiàn)代情報(bào)，2014，34（12）：141-144.

[32] Newell Terrance S.Learning in Simulations：Examining theEffectiveness of Information Literacy Instruction Using MiddleSchool Students' Portfolio Products[J].Evidence Based Library andInformation Practice，2010，5 （3）：20-38.

[33] Scharf D，Elliot N，et al.Direct Assessment of Information LiteracyUsing Writing Portfolios [J].The Journal of Academic Librarianship，2007，33（4），462-477.

[34]楊陽(yáng).“互聯(lián)網(wǎng)+”時(shí)代下新型學(xué)生檔案袋評(píng)價(jià)的探索[J].華中師范大學(xué)研究生學(xué)報(bào)，2018，25（3）：109-113.

[35]魏鐵軍，呂蕊.教育檔案式評(píng)價(jià)研究[J].教育教學(xué)論壇，2011，（9）：163-164.

[36]江彬，邱立中.科學(xué)認(rèn)識(shí)檔案袋評(píng)價(jià)[J]上海教育科研，2003，（11）：37-39.

[37] Katz I R.Testing information literacy in digital environments：ETS'siSkills assessment [J].Information technology andLibraries，2007，26（3）：3-12.

[38] Gobert J D，Kim Y J，et al.Using educational data mining toassess students' skills at designing and conducting experimentswithin a complex systems microworld [J].Thinking Skills andCreativity，2015，（18）：81-90.

[39] Cuo Y R，Goh D H L，et al.Tertiary students' acceptance of agame to teach information literacy [J].Aslih Journal of InformationManagement，2017，69（1），46-63.

[40] Siddiq F，Hatlevik O E，et al.Taking a future perspective hy learningfrom the past-A systematic review of assessment instruments that aimto measure primary and secondary school students' ICT literacy [J].Educational Research Review，2016，19：5 8-84.

[41]孫鑫，黎堅(jiān)等.利用游戲log - file預(yù)測(cè)學(xué)生推理能力和數(shù)學(xué)成績(jī)——機(jī)器學(xué)習(xí)的應(yīng)用[J].心理學(xué)報(bào)，2018，50（7）：761-770.

[42][英]維克托.邁爾一舍恩伯格，肯尼斯.庫(kù)克耶，盛楊燕周濤譯.大數(shù)據(jù)時(shí)代：生活、工作與思維[M].杭州：浙江人民出版社，2013.

[43]李菲茗，張浩等.計(jì)算機(jī)交互式評(píng)價(jià)的開(kāi)發(fā)研究——以科學(xué)探究為例[J].中國(guó)遠(yuǎn)程教育，2020，（5）：29-37+77.

[44] Mislevy R J，Almond R G&Lukas J F.A Brief Introduction toEvidence-centered Design [R].Princeton，NJ：ETS Research&Development Division.RR-03-16，2003.

[45]張娜，李峰.合作問(wèn)題解決能力評(píng)價(jià)的本土化研究——基于以證據(jù)為中心的設(shè)計(jì)模型[J].中國(guó)考試，2019，（8）：59-65.

[46] Shute V J，Masduki I&Donmez O.Conceptual frameworkfor modeling， assessing and supporting competencies withingame environments [J].Technology，Instruction，Cognition&Leaming，2010，8（2）：137-161.

[47]袁建林，劉紅云.核心素養(yǎng)測(cè)量：理論依據(jù)與實(shí)踐指向[J].教育研究，2017，38（7）：21-28+36.

[48] Yuan J，Liu H，et al.Assessment of Collahorative ProblemSolving Based on Process Stream Data：A New Paradigm forExtracting Indicators and Modeling Dyad Data [J].Frontiers inpsychology，2019，10：1-14.

[49] Rohert J & Mislevy，et al.，Design and Discovery in EducationalAssessment： Evidence-Centered Design，Psychometrics，andEducational Data Mining [J].JEDM-Journal of Educational DataMining，2012，（4）：11-48.

[50] Pearl，J.Prohahilistic reasoning in intelligent systems：networks ofplausible inference [M].San Mateo：Morgan Kaufmann，1988.

作者簡(jiǎn)介：

朱莎：講師，博士，研究方向?yàn)樾畔⑺仞B(yǎng)、教育信息化績(jī)效評(píng)估（zhusha@mail.ccnu.edu.cn）。

吳砥：教授，博士生導(dǎo)師，研究方向?yàn)閹熒畔⑺仞B(yǎng)評(píng)價(jià)、區(qū)校教育信息化評(píng)價(jià)（wudi@mail.ccnu.edu.cn）。

楊浩：教授，博士生導(dǎo)師，研究方向?yàn)閿?shù)字公民素養(yǎng)、數(shù)字化學(xué)習(xí)理論與實(shí)踐（harrison.yang@oswego.edu）。

收稿日期：2020年5月5日

責(zé)任編輯：邢西深

*本文系中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金“基于證據(jù)中心設(shè)計(jì)理論的學(xué)生信息素養(yǎng)評(píng)價(jià)研究”（項(xiàng)目編號(hào)：CCNU20XJ014）、國(guó)家重點(diǎn)研發(fā)計(jì)劃“基于大數(shù)據(jù)分析挖掘技術(shù)及其智慧教育示范應(yīng)用”項(xiàng)目課題“基于大數(shù)據(jù)的教學(xué)效果評(píng)價(jià)技術(shù)”（課題編號(hào)：2018YFB1004504）階段性研究成果。