占亞劍
(廣東機(jī)電職業(yè)技術(shù)學(xué)院,廣東 廣州)
教育部在2016年發(fā)布的《教育信息化“十三五”規(guī)劃》提出,要積極探索信息技術(shù)在“眾創(chuàng)空間”、跨學(xué)科學(xué)習(xí)、創(chuàng)客教育等新型教育模式的應(yīng)用。當(dāng)前,國內(nèi)眾多高校通過開展面向創(chuàng)客的創(chuàng)新創(chuàng)業(yè)教育來提高學(xué)生的創(chuàng)新意識(shí)和創(chuàng)新能力,培養(yǎng)創(chuàng)新型人才。然而,創(chuàng)客培養(yǎng)作為一種教學(xué)活動(dòng)類型,如何使之有機(jī)融入高校學(xué)科專業(yè)人才培養(yǎng),探索高校創(chuàng)新創(chuàng)業(yè)教育改革的可行路徑已成為學(xué)界研究的熱點(diǎn),在這其中,教學(xué)評(píng)價(jià)視域下的創(chuàng)客學(xué)習(xí)效果評(píng)價(jià)是對其價(jià)值潛能和積極作用進(jìn)行判斷的關(guān)鍵。本研究基于學(xué)習(xí)分析相關(guān)理論及技術(shù),構(gòu)建創(chuàng)客學(xué)習(xí)效果評(píng)價(jià)模型,并利用K-means聚類分析算法,刻畫學(xué)習(xí)者學(xué)習(xí)過程畫像,探索創(chuàng)客學(xué)習(xí)效果評(píng)價(jià)的量化分析方案。
評(píng)教評(píng)學(xué)是學(xué)習(xí)效果評(píng)價(jià)的重要方式,其理論基礎(chǔ)源自不斷發(fā)展的教學(xué)理論,如肯普提出的刺激反應(yīng)學(xué)說、奧蘇貝爾的認(rèn)知同化學(xué)說和維特羅克的建構(gòu)主義學(xué)說。以建構(gòu)主義為代表的當(dāng)代教育理論認(rèn)為,學(xué)習(xí)是主動(dòng)建構(gòu)和生成意義的過程,學(xué)習(xí)過程不完全依賴教師傳授的知識(shí)信息,更主要的是完成主動(dòng)構(gòu)建信息意義的生成過程。因此,以學(xué)習(xí)為中心的教學(xué)思想逐漸替代了以教為中心的傳統(tǒng)教育觀念,教師和學(xué)習(xí)者的地位、作用發(fā)生了根本性的轉(zhuǎn)變。對于“評(píng)教”而言,“評(píng)學(xué)”的重要性變得更為突出。然而,學(xué)習(xí)的過程屬性決定了學(xué)習(xí)效果蘊(yùn)含在學(xué)習(xí)結(jié)果和學(xué)習(xí)過程中,單純依據(jù)學(xué)習(xí)結(jié)果還是跟蹤學(xué)習(xí)過程的綜合評(píng)價(jià)成為“評(píng)學(xué)”有效性的關(guān)鍵問題。顯然,依據(jù)學(xué)習(xí)成績的結(jié)果性評(píng)價(jià)不能全面刻畫學(xué)習(xí)者的學(xué)習(xí)情況,學(xué)習(xí)者學(xué)習(xí)過程的評(píng)價(jià)則能夠較全面反映出學(xué)習(xí)者的個(gè)體差異、內(nèi)部和外部的學(xué)習(xí)特征,還可以發(fā)現(xiàn)學(xué)習(xí)過程中潛在的問題并預(yù)測未來表現(xiàn)。但隨之而來的問題是,描述學(xué)習(xí)者學(xué)習(xí)過程的數(shù)據(jù)量非常龐大,并且學(xué)習(xí)者樣本數(shù)量眾多。面對如此海量的數(shù)據(jù),如何挖掘、分析和利用是一直以來困擾教育工作者的難題。
大數(shù)據(jù)挖掘技術(shù)在教育領(lǐng)域的創(chuàng)新發(fā)展,以及e-learning相關(guān)技術(shù)的廣泛應(yīng)用促進(jìn)了學(xué)界對教育數(shù)據(jù)挖掘(EDM)領(lǐng)域的研究。教育數(shù)據(jù)挖掘以計(jì)算機(jī)算法和信息技術(shù)為手段,從各種學(xué)習(xí)支持或教育信息管理等系統(tǒng)中提取有價(jià)值的數(shù)據(jù)并導(dǎo)入預(yù)設(shè)模型,實(shí)現(xiàn)教育過程自動(dòng)檢測,為學(xué)習(xí)者學(xué)習(xí)質(zhì)量評(píng)估、教學(xué)效果反饋和資源使用績效提供量化依據(jù)。全球性學(xué)術(shù)組織國際教育數(shù)據(jù)挖掘協(xié)會(huì)于2008年舉行了第一屆教育數(shù)據(jù)挖掘國際會(huì)議,引發(fā)學(xué)術(shù)界對EDM的興趣與探索。諸多技術(shù)手段如統(tǒng)計(jì)分析與可視化技術(shù)、關(guān)系挖掘、預(yù)測和聚類算法得到廣泛應(yīng)用,技術(shù)促進(jìn)學(xué)習(xí)(TEL)的理念逐漸成為學(xué)界共識(shí),利用數(shù)據(jù)分析改進(jìn)教學(xué)、運(yùn)用技術(shù)變革教育的時(shí)代已然來臨。
學(xué)習(xí)科學(xué)理論認(rèn)為,學(xué)習(xí)的本質(zhì)是行為能力的持久固化,是一種具有過程屬性的活動(dòng)。因此,對教育過程的評(píng)價(jià)并不能替代對學(xué)習(xí)過程的評(píng)價(jià),學(xué)習(xí)過程是學(xué)習(xí)效果最有效的預(yù)測依據(jù)。國外學(xué)者試圖采用教育數(shù)據(jù)挖掘技術(shù),回歸學(xué)習(xí)本位,開拓了以采集、分析學(xué)習(xí)過程中數(shù)據(jù)信息為主要手段的學(xué)習(xí)數(shù)據(jù)挖掘研究領(lǐng)域。2011年,德州大學(xué)Siemens教授、阿薩巴斯卡大學(xué)Dragan教授和悉尼理工大學(xué)Shum教授等知名學(xué)者發(fā)起成立學(xué)習(xí)分析研究學(xué)會(huì)(SoLAR),并創(chuàng)辦了學(xué)術(shù)期刊《學(xué)習(xí)分析》。學(xué)習(xí)分析研究學(xué)會(huì)在學(xué)習(xí)分析領(lǐng)域是世界公認(rèn)的頂尖研究機(jī)構(gòu),每年舉辦學(xué)習(xí)分析與知識(shí)國際會(huì)議。此外,德克薩斯大學(xué)學(xué)習(xí)創(chuàng)新與網(wǎng)絡(luò)化知識(shí)研究實(shí)驗(yàn)室、英國開發(fā)大學(xué)知識(shí)媒體研究所和美國高校教育信息化協(xié)會(huì)等機(jī)構(gòu)將學(xué)習(xí)分析作為重點(diǎn)研究項(xiàng)目,學(xué)習(xí)分析已成為目前教育研究的熱點(diǎn)領(lǐng)域之一。
Siemens提出基于工作流程的分析框架,包括學(xué)習(xí)者及學(xué)習(xí)過程的數(shù)據(jù)采集、監(jiān)控、分析預(yù)測和反饋等四個(gè)過程階段。德國亞琛工業(yè)大學(xué)Chatti認(rèn)為學(xué)習(xí)分析的流程包括數(shù)據(jù)采集與清洗、數(shù)據(jù)分析與預(yù)測、分析及后處理等環(huán)節(jié),提出學(xué)習(xí)情境、分析過程、技術(shù)手段和參與主體的四維度分析框架。在此基礎(chǔ)上,Elians將學(xué)習(xí)分析的資源要素從工作流程中分離出來,提出了一個(gè)由四個(gè)資源要素和六個(gè)分析階段組成的改進(jìn)型分析框架。四個(gè)資源要素指包括學(xué)習(xí)者、教育者、學(xué)習(xí)系統(tǒng)和分析模型。與此類似,荷蘭開放大學(xué)Greller和Drachsler利用四個(gè)資源要素和兩個(gè)約束條件對應(yīng)的六個(gè)關(guān)鍵領(lǐng)域來建構(gòu)分析框架(見圖1粗線條方框),他們認(rèn)為每個(gè)關(guān)鍵領(lǐng)域中都包含若干個(gè)子項(xiàng)目,每個(gè)子項(xiàng)目在分析流程中都有具體的指代,子項(xiàng)目并可以根據(jù)學(xué)習(xí)分析的設(shè)計(jì)需要進(jìn)行擴(kuò)展,該框架被學(xué)者們認(rèn)為是學(xué)習(xí)分析的通用研究框架。
圖1 Greller和Drachsler提出的關(guān)鍵領(lǐng)域分析框架
研究框架是開展一項(xiàng)學(xué)術(shù)研究的路線圖和方法論,諸多學(xué)者從多個(gè)維度為學(xué)習(xí)分析提供了研究框架,推動(dòng)了學(xué)習(xí)分析領(lǐng)域的理論探索,為廣泛開展的學(xué)習(xí)分析提供了重要的指導(dǎo)。然而,學(xué)習(xí)行為的多樣性、復(fù)雜性使得學(xué)習(xí)過程呈現(xiàn)多模態(tài)特征,學(xué)習(xí)分析的研究框架的普適性和準(zhǔn)確性難以兼顧,導(dǎo)致通用理論框架在分析實(shí)踐中出現(xiàn)結(jié)構(gòu)性缺陷,符合分析實(shí)踐要求并能經(jīng)受驗(yàn)證的理論研究框架仍然比較缺乏[1]。
分析模型是針對學(xué)習(xí)分析系統(tǒng)中對某一項(xiàng)流程或?qū)ο笞鳛檠芯磕繕?biāo),對其進(jìn)行特征描述和結(jié)論推導(dǎo)的通用分析工具。在學(xué)習(xí)分析領(lǐng)域,學(xué)習(xí)分析模型構(gòu)建與實(shí)踐走在理論研究框架的探索之前,如哥倫比亞大學(xué)Baker、美國高等教育信息化協(xié)會(huì)Brown和華東師范大學(xué)顧小清等學(xué)者嘗試從描述性和預(yù)測性兩個(gè)方面來建構(gòu)分析模型,以更好地指導(dǎo)學(xué)習(xí)分析實(shí)踐研究。學(xué)習(xí)分析模型刻畫出的學(xué)習(xí)過程與學(xué)習(xí)者特征是否全面與科學(xué),將影響到學(xué)習(xí)分析結(jié)果的有效性、客觀性。
學(xué)習(xí)分析以學(xué)習(xí)行為研究為邏輯起點(diǎn),聚焦學(xué)習(xí)者和學(xué)習(xí)情境,對學(xué)習(xí)過程實(shí)施科學(xué)的評(píng)判。因此,采集學(xué)習(xí)者的信息特征與學(xué)習(xí)者的知識(shí)建構(gòu)過程等兩個(gè)維度可來構(gòu)建學(xué)習(xí)分析模型。學(xué)習(xí)者的信息特征是學(xué)習(xí)者的學(xué)習(xí)行為主體顯性變量的集合,包括學(xué)習(xí)者的外顯和內(nèi)隱特征,外顯特征主要指個(gè)體學(xué)習(xí)行為、社會(huì)性學(xué)習(xí)行為和學(xué)習(xí)成果等方面特征,內(nèi)隱特征包括學(xué)習(xí)者情感狀態(tài)、認(rèn)知及元認(rèn)知能力和認(rèn)知策略等。對于學(xué)習(xí)者的知識(shí)構(gòu)建維度,主要研究對象是學(xué)習(xí)者知識(shí)體系形成的過程,將學(xué)習(xí)者知識(shí)生成狀態(tài)進(jìn)行量化反饋,不僅體現(xiàn)了學(xué)習(xí)者的學(xué)習(xí)成果,還實(shí)時(shí)反映出學(xué)習(xí)者的學(xué)習(xí)過程是否達(dá)到既定標(biāo)準(zhǔn),為判定學(xué)習(xí)者的學(xué)習(xí)效果、學(xué)習(xí)情境提供科學(xué)依據(jù)。在學(xué)習(xí)分析模型中,諸多特征變量并非獨(dú)立存在,還具有一定的關(guān)聯(lián)性。例如對學(xué)習(xí)者學(xué)習(xí)成果進(jìn)行評(píng)價(jià)的過程中,通過查擺學(xué)習(xí)者在知識(shí)理解、分析和固化等方面的不足與缺陷,對學(xué)習(xí)行為進(jìn)行修正優(yōu)化,在反思性實(shí)踐的過程中獲得學(xué)習(xí)效果的提升,這個(gè)過程也就是學(xué)習(xí)者元認(rèn)知能力和認(rèn)知能力提升的過程。
1.學(xué)習(xí)分析數(shù)據(jù)的來源與采集。以采集技術(shù)來劃分,學(xué)習(xí)分析數(shù)據(jù)通常可分為文本語義、生物識(shí)別和心理情感等三大類。數(shù)據(jù)采集需要借助相關(guān)工具或設(shè)備,如視頻監(jiān)控、生理感知設(shè)備等,不少學(xué)者為此開展了大量探索。如安德雷德借助圖像傳感器記錄學(xué)習(xí)者在學(xué)習(xí)過程中的手部動(dòng)作,分析學(xué)習(xí)者在學(xué)習(xí)情境中的外顯行為特征;美國心理學(xué)教授埃克曼設(shè)計(jì)了面部動(dòng)作編碼系統(tǒng)(FACS),通過比對學(xué)習(xí)者面部表情的細(xì)微變化,判斷其在學(xué)習(xí)行為中的心理活動(dòng)特征;扎亞等人將學(xué)習(xí)情境中的文本和語義數(shù)據(jù)、學(xué)習(xí)者情緒調(diào)動(dòng)程度和行為特征識(shí)別等數(shù)據(jù)信息融合,提出了基于學(xué)習(xí)過程的學(xué)習(xí)者多模態(tài)數(shù)據(jù)采集系統(tǒng)(EMODA儀表盤)。雖然物聯(lián)網(wǎng)技術(shù)發(fā)展推動(dòng)可穿戴設(shè)備、眼球追蹤儀、視頻監(jiān)控等設(shè)備儀器應(yīng)用于教學(xué)實(shí)踐成為可能,但在課堂環(huán)境下采用大量監(jiān)控設(shè)備存在倫理問題爭議,加上生理信息采集需要特定的傳感儀器支持,其侵入性較大,難以保證數(shù)據(jù)的真實(shí)性。另外,儀器設(shè)備的介入會(huì)影響學(xué)習(xí)者的過程體驗(yàn),降低學(xué)習(xí)者的思維活躍度,數(shù)據(jù)真實(shí)性與準(zhǔn)確性難以取得平衡,進(jìn)而影響研究結(jié)果的可靠性。一般而言,輕量化設(shè)備更有適用于學(xué)習(xí)分析數(shù)據(jù)采集,利用伴隨式采集方式可有效降低采集過程對數(shù)據(jù)的干擾。同時(shí),借助學(xué)習(xí)者自我報(bào)告或?qū)<矣^察的方式,收集學(xué)習(xí)過程中的質(zhì)性數(shù)據(jù)進(jìn)行校驗(yàn)擬合,進(jìn)一步提高學(xué)習(xí)分析的準(zhǔn)確性。
2.學(xué)習(xí)分析工具的設(shè)計(jì)及應(yīng)用。常見的學(xué)習(xí)分析工具的設(shè)計(jì)思路遵循學(xué)習(xí)者中心、多元化、簡約性和實(shí)用性等多個(gè)原則。基于若干個(gè)設(shè)計(jì)原則,結(jié)合學(xué)習(xí)分析模型,利用算法處理學(xué)習(xí)分析數(shù)據(jù),可以實(shí)現(xiàn)學(xué)習(xí)分析工具的設(shè)計(jì)功能。例如,美國普渡大學(xué)采用的學(xué)習(xí)分析工具Course Singals,以學(xué)習(xí)行為目標(biāo)達(dá)成率為預(yù)測變量,自動(dòng)識(shí)別“風(fēng)險(xiǎn)學(xué)生”并實(shí)施預(yù)警干預(yù);美國東田納西州立大學(xué)采用D2L分析工具通過可視化的圖表界面展示學(xué)習(xí)者的課程學(xué)習(xí)情況,并預(yù)測課程學(xué)習(xí)可能會(huì)出現(xiàn)的情況,幫助學(xué)習(xí)者優(yōu)化學(xué)習(xí),該工具的技術(shù)核心是名為Students Success System的學(xué)習(xí)分析引擎,可以對學(xué)習(xí)者學(xué)習(xí)過程實(shí)施動(dòng)態(tài)監(jiān)測[2]。
創(chuàng)客學(xué)習(xí)是一種基于項(xiàng)目式的工程化實(shí)踐學(xué)習(xí),學(xué)習(xí)者通過“做中學(xué)”吸收顯性的“編碼知識(shí)”并轉(zhuǎn)化為隱性的“默會(huì)知識(shí)”,在動(dòng)手實(shí)踐中培養(yǎng)創(chuàng)新創(chuàng)造能力。創(chuàng)客學(xué)習(xí)以項(xiàng)目行動(dòng)為導(dǎo)向,項(xiàng)目實(shí)踐結(jié)果并不能夠全面反映創(chuàng)客學(xué)習(xí)效果,對學(xué)習(xí)過程的評(píng)價(jià)同樣值得我們重視?;趯W(xué)習(xí)分析理論框架,本研究嘗試構(gòu)建創(chuàng)客學(xué)習(xí)效果分析模型,利用創(chuàng)客在線學(xué)習(xí)平臺(tái)數(shù)據(jù)和項(xiàng)目實(shí)踐分布式成績,采用聚類分析算法量化創(chuàng)客學(xué)習(xí)效果,技術(shù)路線圖如圖2所示。
圖2 基于學(xué)習(xí)分析的創(chuàng)客學(xué)習(xí)效果評(píng)價(jià)技術(shù)路線
創(chuàng)客學(xué)習(xí)具有分散性、自發(fā)性、階段性等特點(diǎn),學(xué)習(xí)者未必具有相同的專業(yè)背景,一般以小組為單位開展學(xué)習(xí)實(shí)踐活動(dòng),以某個(gè)或若干個(gè)項(xiàng)目任務(wù)為學(xué)習(xí)目標(biāo)。我們認(rèn)為,可以從學(xué)習(xí)者、學(xué)習(xí)參與特征、交互特點(diǎn)、認(rèn)知發(fā)展等方面設(shè)計(jì)學(xué)習(xí)分析模型,考察創(chuàng)客學(xué)習(xí)過程與分布式項(xiàng)目任務(wù)的完成情況,實(shí)時(shí)反映學(xué)習(xí)者的學(xué)習(xí)效果,為學(xué)習(xí)者改進(jìn)學(xué)習(xí)、教師優(yōu)化教學(xué)提供參考建議。
創(chuàng)客學(xué)習(xí)的過程是在工程化項(xiàng)目實(shí)踐中將知識(shí)學(xué)習(xí)與能力培養(yǎng)有機(jī)融合、互相促進(jìn)的過程。根據(jù)現(xiàn)代信息加工心理學(xué)理論,創(chuàng)客學(xué)習(xí)的內(nèi)容可以分為陳述性知識(shí)、程序性知識(shí)和策略性知識(shí)。具體而言,陳述性知識(shí)是項(xiàng)目實(shí)踐中涉及的有關(guān)理論知識(shí),要解決“為什么”“是什么”的問題;程序性知識(shí)是在實(shí)踐中的掌握的操作性知識(shí),即對工程化項(xiàng)目“做什么”“怎么做”的認(rèn)知;策略性知識(shí)是靈活運(yùn)用陳述性知識(shí)和程序性知識(shí)的技能所必備的知識(shí),體現(xiàn)學(xué)習(xí)者學(xué)會(huì)學(xué)習(xí)和對工程化項(xiàng)目創(chuàng)新迭代的能力。為更好地采集學(xué)習(xí)分析數(shù)據(jù),本研究借助在線學(xué)習(xí)平臺(tái),并根據(jù)創(chuàng)客學(xué)習(xí)效果分析模型,將在線學(xué)習(xí)平臺(tái)的學(xué)情數(shù)據(jù)進(jìn)行分類,加入教師對分布式項(xiàng)目執(zhí)行情況的打分?jǐn)?shù)據(jù),編制了描述學(xué)習(xí)過程畫像的學(xué)習(xí)分析數(shù)據(jù)集(如表1所示)。在數(shù)據(jù)處理方面,把預(yù)處理后的學(xué)習(xí)分析數(shù)據(jù)分為四類,采用K-means聚類算法將每個(gè)學(xué)習(xí)者的學(xué)習(xí)數(shù)據(jù)按不同類別劃分為K個(gè)組,每個(gè)數(shù)據(jù)都從屬于距離最近的聚類中心。由于所有數(shù)據(jù)聚合為K個(gè)簇,若K值過大,每個(gè)簇中的數(shù)據(jù)偏少將不利于分析。一般而言,教學(xué)班級(jí)的人數(shù)大多在50~100人,將簇?cái)?shù)量定為8個(gè)較合適。在每個(gè)簇內(nèi),簇點(diǎn)的加權(quán)平均值為代表點(diǎn)數(shù)值,由此得到表征學(xué)習(xí)者學(xué)習(xí)效果的量化數(shù)據(jù),對于學(xué)習(xí)者優(yōu)化學(xué)習(xí)和教師實(shí)施教學(xué)干預(yù)具有統(tǒng)計(jì)觀測與參考意義。
基于學(xué)習(xí)分析的創(chuàng)客學(xué)習(xí)效果評(píng)價(jià)將定性與定量分析相結(jié)合,擺脫了評(píng)學(xué)評(píng)教對學(xué)習(xí)結(jié)果的過度依賴,將學(xué)習(xí)過程評(píng)價(jià)納入學(xué)習(xí)效果量化評(píng)價(jià),較好地回應(yīng)了教學(xué)過程評(píng)價(jià)與教學(xué)結(jié)果評(píng)價(jià)相統(tǒng)一的教改要求。對于學(xué)習(xí)者而言,學(xué)習(xí)分析抽取學(xué)習(xí)過程信息刻畫出學(xué)習(xí)者畫像,幫助其調(diào)整學(xué)習(xí)策略、優(yōu)化學(xué)習(xí)進(jìn)程,實(shí)現(xiàn)學(xué)習(xí)過程監(jiān)控與預(yù)警,確保學(xué)習(xí)者順利完成學(xué)習(xí)任務(wù)。對于教師而言,學(xué)習(xí)分析能幫助教師洞察學(xué)習(xí)者個(gè)體和整體的知識(shí)理解、認(rèn)知調(diào)節(jié)、參與情況以及學(xué)習(xí)者之間組織配合等多方面信息,有助于教師優(yōu)化教學(xué)促進(jìn)教學(xué)目標(biāo)實(shí)現(xiàn)。
表1 創(chuàng)客學(xué)習(xí)效果分析框架
本研究系統(tǒng)梳理了學(xué)習(xí)分析理論研究進(jìn)展和相關(guān)技術(shù)路線,在理論層面深入討論學(xué)習(xí)分析應(yīng)用于創(chuàng)客學(xué)習(xí)效果評(píng)價(jià)的技術(shù)路線。本研究從學(xué)習(xí)者、學(xué)習(xí)參與特征、交互特點(diǎn)和認(rèn)知發(fā)展等方面探索構(gòu)建了創(chuàng)客學(xué)習(xí)效果評(píng)價(jià)模型,采用K-means聚類分析方法處理學(xué)習(xí)分析數(shù)據(jù),計(jì)算簇點(diǎn)加權(quán)平均值得到基于學(xué)習(xí)者分組的學(xué)習(xí)效果量化數(shù)據(jù)。在實(shí)證分析中,我們發(fā)現(xiàn)創(chuàng)客學(xué)習(xí)效果分析模型中各子模對結(jié)論的影響并不相同,需要以系統(tǒng)化視角分解各評(píng)價(jià)子模塊的權(quán)重準(zhǔn)則,可采用層次分析法按不同層次凝聚組合,形成一個(gè)多層次分析結(jié)構(gòu)模型。此外,本研究的實(shí)證分析工作還不夠充分,聚類分析算法參數(shù)K選取、聚類均值計(jì)算方法都是需要深入研究的問題。