基于問題的web-CKB學習績效評價研究*

□石娟

基于問題的web-CKB學習績效評價研究*

□石娟

本文從學生的角度開展學習績效研究，通過觀察法、訪談法、問卷調查法、評價研究法等，分析基于問題的網(wǎng)絡協(xié)作知識建構的（web-based Collaborative Knowledge Building，web-CKB）學習績效評價內(nèi)容、方法、工具等。研究表明基于問題的web-CKB的學習績效評價內(nèi)容包括學習行為（感知、共享、論證、協(xié)商、創(chuàng)作、評價、反思）與學習成就（測驗成績、智慧制品、能力水平等）；評價方法有測驗法、訪談法、行為錨定等級評價法、行為觀察量表法、關鍵事件法、360度績效評價法等；評價工具主要是電子量規(guī)和電子學檔。

協(xié)作知識建構；基于問題的學習；學習績效

教育信息化的出現(xiàn)在全球范圍內(nèi)引發(fā)了教育理念和教育方式的深刻變革。但是教育信息化的巨額投入，及教育信息化應用與之前預期效果的巨大差距，使得人們越來越關注教育信息化的戰(zhàn)略決策、投資收益等深層問題。教育信息化評價也逐步由以投入為主轉變?yōu)橐钥冃橹鱽泶_定教育信息化水平。然而對教育信息化開展績效評價是一項比較困難的事情，由于教育信息化是一個動態(tài)發(fā)展過程，其產(chǎn)出不易用量化指標來衡量；而且教育信息化的效益具有多樣性，不僅要看其經(jīng)濟效益，更主要的是社會效益；不僅要看當前效益，更多地表現(xiàn)為長遠效益；不僅要看固有效益，更多地表現(xiàn)為派生效益[1]。教育信息化的最終目的是促進教與學，本文從學生角度進行學習績效研究，以期為教育信息化績效評價研究提供參考。

知識經(jīng)濟時代要求教育改革要關注協(xié)作學習和知識建構。以計算機和通訊技術為基礎的網(wǎng)絡技術，由于具有共享、協(xié)作等特點，可以為協(xié)作知識建構創(chuàng)設全新的學習環(huán)境[2]?；趩栴}解決來建構知識是研究者關注的熱點之一[3]。開展基于問題的網(wǎng)絡協(xié)作知識建構（Collaborative Knowledge Building，簡稱CKB）研究，可提高學生的協(xié)作能力、發(fā)現(xiàn)問題和解決問題等能力。如何檢驗基于問題的網(wǎng)絡協(xié)作知識建構的有效性，怎樣評估基于問題的web-CKB的學習績效，是本研究重點解決的問題。本文將從學習績效評價的內(nèi)容、方法、工具等角度進行分析。

一、基于問題的web-CKB學習績效評價內(nèi)容

基于問題的學習（Problem-Based Learning，簡稱PBL）是指學生利用知識和技能解決一系列實際問題，從而達到建構經(jīng)驗的目的[4]。該模式廣泛應用于在線教學、師資培訓、醫(yī)學培訓等領域，主要步驟包括：感知問題、分析問題、解決問題、創(chuàng)作作品、評價作品、總結反思。在基于問題的學習中，學生的學習興趣獲得極大提高，個性和綜合能力（合作能力、反思能力、信息素養(yǎng)、發(fā)現(xiàn)問題及解決問題的能力）得到發(fā)展。[5]

協(xié)作知識建構的研究最先由加拿大的斯卡德瑪利亞（Scardamalia）等人發(fā)起。斯塔爾提出了保證協(xié)作知識建構過程質量的要素，包括：頭腦風暴、話語表達、反應、組織、分析、概括。費希爾等人認為協(xié)作知識建構過程包括四個階段，即：任務知識的具體化、任務知識的抽象化、形成基于沖突的意見和形成基于整合的意見”。漢森等人提出了六階段協(xié)作知識建構過程。[6]綜合以上觀點，本研究中協(xié)作知識建構是指個體在特定的組織中互相協(xié)作、共同參與某種有目的的活動，最終形成某種觀點、思想、方法等智慧產(chǎn)品的過程。協(xié)作知識建構過程可以概括成共享、論證、協(xié)商、創(chuàng)作、反思，從共享到反思是一個螺旋上升的過程。[7]在協(xié)作知識建構過程中，學生自身獲得了相關知識[8]，得到某種智慧制品（如word文稿、電腦繪畫、PPT文稿、電子學檔等），且協(xié)作能力、信息素養(yǎng)、思維能力得到了發(fā)展。

考察基于問題的web-CKB的學習績效，首先要明確學習績效的定義。學習指學習者因經(jīng)驗而引起的行為、能力和心理傾向的比較持久的變化[9]?？冃е概c組織總體目標及價值追求相一致的行為傾向和業(yè)績成就[10]。通過文獻調研發(fā)現(xiàn)目前國內(nèi)的企業(yè)培訓中較多關注學習績效，從認知心理學、神經(jīng)心理學等角度展開研究。國外學習績效研究主要是從心理學視角，研究組織學習、培訓、e-learning、課堂學習以及CSCL中的學習績效。參考已有的學習績效的定義，可將學習績效界定義為：學生為達到行為、能力和心理傾向的比較持久的變化而產(chǎn)生的外顯的學習行為與可測量的學習成就。

基于問題的web-CKB指學生利用網(wǎng)絡學習平臺與資源，采用基于問題的學習策略，進行協(xié)作知識建構的學習行為及學習成就。本研究先羅列出所有的基于問題的web-CKB的學習行為及學習成就，遵循系統(tǒng)性、實踐性、人本性、客觀性原則，進行學習績效內(nèi)容體系的初步構建。再通過課堂觀察（采用參與式的定量觀察，觀察者是課題組的6位研究生。觀察對象是廣州市東山培正小學四年級二班和廣州市東風東路小學四年級六班的學生，共86人）及深度訪談（采用個別訪談法，分別訪談了8名相關的研究者與8名參與本課題的科研教師。訪談地點分別為廣州市天河區(qū)華景小學校長室、廣州市天河區(qū)天榮中學辦公室、廣州市東風東路小學辦公室、廣州市培正小學辦公室等，部分訪談在網(wǎng)上進行），不斷修正與完善學習績效內(nèi)容體系，最終確定基于問題的web-CKB學習績效評價內(nèi)容為學習行為（感知、共享、論證、協(xié)商、創(chuàng)作、評價、反思）與學習成就（測驗成績：形成性測驗成績、總結性測驗成績；智慧制品：word文稿、電腦繪畫、PPT文稿、網(wǎng)頁、電子學檔；能力水平：信息素養(yǎng)、協(xié)作能力、高階思維能力等）。

二、基于問題的web-CKB學習績效評價方法與工具

常用的傳統(tǒng)教育評價方法主要是測驗法，輔以問卷法、觀察法、訪談法等。企業(yè)中常用的績效評價方法有：目標管理法、關鍵事件法、平衡計分卡、行為錨定等級評價法、行為觀察量表法、強制分布法等[11]?；趩栴}的web-CKB的學習績效的評價不僅可以延用傳統(tǒng)教育評價中的有效方法，如練習與測試等，還應汲取企業(yè)績效評價中的適當成份，來充盈、完善學習績效評價方法，以求做到評價的客觀與公平。本研究根據(jù)具體的評價內(nèi)容及教學情境，綜合選用傳統(tǒng)教育評價方法和績效評價方法。

本研究采用測驗法、問卷法、觀察法、訪談法等傳統(tǒng)教學評價方法，即利用習題與試卷、量表、調查問卷等工具收集學習績效評價的相關資料；運用行為錨定等級評價法[12]（即通過對特定行為特征進行統(tǒng)一的標準規(guī)定，考評者可以根據(jù)行為錨定等級評價法給予的標準來對被評價者的能力、技能以及價值觀等進行評價）對學習行為方面進行評價；運用行為觀察量表法[13]（即通過工作分析或者資深人員的頭腦風暴來發(fā)現(xiàn)關鍵行為或關鍵事件，采用頻率指標來衡量被評價者的績效）收集學生學習行為評價的相關資料；選用關鍵事件法[14]（評價者記錄被評價者工作過程中特別好的或特別差的典型行為，然后據(jù)此確定被評價者的績效水平）分析學習行為及學習成就；使用360度績效評價法[15]（即由被考評人的上級、同級、下級、內(nèi)部客戶、外部客戶甚至本人擔任考評者，對被評者進行全方位的評價），從多個角度來反映學習績效，使績效評價結果更加客觀、全面和可靠。

不同的評價方法使用的評價工具也不盡相同?；趩栴}的web-CKB的學習績效的評價工具有練習與測試、調查問卷、量表、電子學檔等。本研究依據(jù)“量表編制建構的流程”[16]，參照斯卡德瑪麗亞的知識建構的評價標準[17]、薩普、杜赫提等人提出的有效的建構教學的五條標準[18]、奧地利薩樂茲堡大學的研究者阿斯特雷特納及其合作者提出的關于“良好教學”的六條原則[19]、辛自強、池麗萍、張麗2006年修訂的建構教學評估問卷[20]，初步編制評價量表，之后在廣州市省級重點小學華景小學、東山培正小學、廣州市省級重點中學天榮中學等實驗學校開展了教學試驗研究，通過量表試測、相關分析、因素分析、信度分析、再測信度分析，編制了基于問題的web-CKB的學習行為評價量表，該量表主要用于學生自評、教師評價、家長評價、同伴互評、觀察者評價等。同時借鑒已有的針對Word文稿、電腦繪畫、PPT文稿、網(wǎng)頁、電子學檔、信息素養(yǎng)、協(xié)作能力等的評價量規(guī)[21]，根據(jù)實際情況略作修改，得到針對智慧制品、能力水平的評價量表等。下圖是部分評價量表的截圖。

圖1 部分評價量表截圖

為開展基于問題的web-CKB的學習績效評價，本研究開發(fā)了學習績效評價電子量規(guī)及電子學檔。電子學檔包括：個人簡介、學習計劃、我的作品、自評反思、測試成績。主要是學生個人的學習計劃、作品、反思、成績的集合體。還有“作品展區(qū)”（含所有學生作品，以單元內(nèi)容和時間為序排列，方便師生瀏覽和評價）、“研討區(qū)”（用于師生直接進行網(wǎng)上交流與討論）。

圖2 電子量規(guī)界面截圖

圖3 電子學檔界面截圖

三、基于問題的web-CKB學習績效評價實施

本文通過理論研究與實踐總結，探索出一整套基于問題的web-CKB的學習績效評價方法與評價工具。之后在華景小學開展學習績效評價的教學試驗，以驗證基于問題的web-CKB的學習績效的評價方法與工具的可用性及有效性，并針對學習績效評價結果，分析學習績效差距及其產(chǎn)生原因。

華景小學四年級二班（共30人）在《JOB》專題學習中開展了基于問題的web-CKB的學習績效的評價研究。該專題整合了小學英語課本中所有有關職業(yè)知識的句型和單詞，可安排表示職業(yè)的單詞（teacher、factory worker、 farmer、 soldier、 policeman、doctor、nurse、driver）和句型（What’s…job？）的學習，可安排擴展單詞和句型（What do(does)…do）的學習，還可開展介紹My family的拓展寫作練習。從基于問題的學習的角度分析，《JOB》專題綜合了概念性問題（生詞、句型、課文等）的學習與設計性問題（作文創(chuàng)作等）的學習。

《JOB》專題的教學試驗研究中，師生利用“快樂英語”學習網(wǎng)站，開展基于問題的協(xié)作知識建構。即學生利用網(wǎng)站中的專題知識，學習英語單詞、句型、課文等，利用 “討論區(qū)”進行交流討論等。學習網(wǎng)站共包含“背景文化”、“課文學習”、“歌曲欣賞”、“游戲”、“資源庫”、“練習”、“論壇區(qū)”、“互動區(qū)”、“電子學檔”、“相關網(wǎng)站”等十個模塊。

圖4《JOB》學習網(wǎng)站首頁

圖5 《JOB》學習網(wǎng)站論壇區(qū)

在該教學試驗中，筆者利用電子量規(guī)評價學生的學習行為及信息素養(yǎng)、協(xié)作能力等能力水平，利用電子學檔評價學生的測試成績、智慧制品等。

（一）學習行為評價

通過對所收集的數(shù)據(jù)（學生自評、教師評價、研究者觀察）進行統(tǒng)計，測得四年級二班學習行為評價的最高分為56分（量表滿分為56分，每小題滿分為4分），最低分為33分，平均分為47.5分。

圖6 用量規(guī)評價學習行為

圖7 用電子學檔評價智慧智品

圖8 學習行為評價結果分析

由上圖可以發(fā)現(xiàn)，四年級二班學生的學習行為評價處于中等偏上水平，在“感知”與“論證”方面表現(xiàn)很好。通過分析課堂觀察結果與訪談結果，發(fā)現(xiàn)教師精心創(chuàng)設問題情境、營造討論與協(xié)作學習環(huán)境會促進學生在感知、論證方面的表現(xiàn)。同時發(fā)現(xiàn)學生的協(xié)作知識建構行為表現(xiàn)存在差異。本研究抽取表現(xiàn)較差（得分為41）、表現(xiàn)一般（得分為49）、表現(xiàn)較好（得分為56）的三位學生進行訪談，并分析三位學生在論壇中的發(fā)帖數(shù)量與質量及電子學檔中作品的質量，發(fā)現(xiàn)學生的初始能力（如信息素養(yǎng)、人際交流、協(xié)作能力等）、學習態(tài)度（投入的學習時間、努力程度等）等都會影響到學生的學習績效。

（二）學習成就

本次教學試驗中的學習成就主要包括測驗成績、智慧制品、信息素養(yǎng)及協(xié)作能力等。

1.學習成就評價——測驗成績

在教學試驗中，授課教師針對表示職業(yè)的英語詞匯及描述或詢問職業(yè)的相關句型等知識進行了一次課堂測驗，平均成績?yōu)?3.8分，略高于對照班。筆者將參與本次教學試驗的學生的學習行為得分同學習成績進行相關分析，發(fā)現(xiàn)學習行為同測驗成績顯著相關（P=0.000＜0.05），因此學生要想取得較好的測驗成績，就要更多地參與到學習過程，參與到小組協(xié)作討論及電子作品制作中。

2.學習成就評價——智慧制品

智慧制品評價主要使用了電子學檔，采用匿名評價的方式，教師、學生同伴或學生自己依據(jù)提供的智慧制品的評價標準，對電子作品進行評價，并發(fā)表評價留言。本研究對智慧制品的評價是利用360度評價法，將各種評價得分匯總，求出平均值，作為最終的評價結果（滿分為100分）。

表1 《JOB》專題中智慧制品PPT評價結果

分析智慧制品評價結果發(fā)現(xiàn)第四小組的作品質量要優(yōu)于第二小組，通過訪談組內(nèi)的同學發(fā)現(xiàn)，第四小組的同學有更多的使用電腦的機會，小組成員的信息素養(yǎng)也優(yōu)于其他小組的同學。因此可推出學生智慧制品的優(yōu)劣與其初始學習能力如信息素養(yǎng)等因素有關。

3.學習成就評價——能力水平

在華景小學的教學試驗中，筆者針對四年級二班學生的信息素養(yǎng)與協(xié)作能力進行了評價（因為小學生的高階思維能力本身就處于較初級的階段，且在較短時間內(nèi)變化不明顯，因此本研究沒有針對學生的高階思維能力展開評價）。

限于時間與精力，本研究主要采用學生自評的方式來分析學生的信息素養(yǎng)與協(xié)作能力。本研究在開展《JOB》內(nèi)容學習之前，對學生的信息素養(yǎng)與協(xié)作能力進行評價，在完成基于問題的協(xié)作知識建構之后，再次用同樣的評價工具測量學生的信息素養(yǎng)與協(xié)作能力。筆者針對學生的前測與后測結果，進行了配對樣本的T檢驗，以檢測學生的信息素養(yǎng)及協(xié)作能力是否有顯著提高，具體的數(shù)據(jù)分析結果，如下表所示。

表2 配對樣本T檢驗的相關數(shù)值

由上表可以發(fā)現(xiàn)，《JOB》專題中華景小學四年級二班學生的信息素養(yǎng)的前測與后測的T檢驗分析中，t值等于-3.564，顯著性概率（雙側）為0.001。因為是單測檢驗，所以要將顯著性概率除以2。單側顯著性概率為0.0005，小于0.01，后測分數(shù)顯著高于前測分數(shù)，即通過基于問題的web-CKB，學生的信息素養(yǎng)有非常顯著的提升。華景小學四年級二班的學生的協(xié)作能力，顯著性概率（雙側）為0.264。單側顯著性概率為0.132，大于0.01，后測分數(shù)沒有顯著高于前測分數(shù)，即通過基于問題的web-CKB，學生協(xié)作能力沒有顯著的提升。

針對能力水平方面的學習績效評價結果，筆者訪談了華景小學《JOB》專題的執(zhí)教教師，發(fā)現(xiàn)學生通過瀏覽學習網(wǎng)站、網(wǎng)上發(fā)表帖子、制作電子作品，有了更多的電腦操作機會，因此信息素養(yǎng)有顯著提升。但是學生不太習慣基于網(wǎng)絡進行討論，平時討論較少，討論技巧、協(xié)作技術等方面都會有所欠缺，且教學試驗時間較短，很難發(fā)現(xiàn)學生協(xié)作能力方面的提升，但是會有潛移默化的影響，學生協(xié)作能力方面的提升會在一個學期或更長時間之后才能顯現(xiàn)出來。

（三）總結反思

針對評價結果，筆者進行了總結分析。

1.學習績效評價方法與工具

本研究采用“三角互證法”[22]，檢驗基于問題的web-CKB評價方法與工具的可用性及有效性。

通過訪談教師與四年級二班的部分同學，發(fā)現(xiàn)大家都比較喜歡這種評價方式，認為針對學習行為方面的評價能夠及時地提供反饋，電子學檔可供學生上傳電子作品，可按照既定評價標準評價自己或別人的電子作品，可查看別人對自己作品的評價情況等。因此本套基于問題的web-CKB學習績效評價方法及工具具有較強的操作性與實用性，即可用性較好。

本研究應用以上評價方法與工具得到的學習績效評價結果，同通過研究者課堂觀察所得的結果，以及通過訪談學生、教師所得的結果，進行比較分析，發(fā)現(xiàn)基于問題的web-CKB的學習績效的評價方法與評價工具，能基本測量出學生的學習績效的真實水平，有效性較高。

2.學習績效影響因素及改進策略

針對學習行為方面的績效評價結果的差異，筆者訪談了學習行為評價得分較高與得分較低的部分同學，發(fā)現(xiàn)學生的學習行為與學生的初始能力，如初始成績、信息素養(yǎng)、性格愛好、家庭背景等密切相關。在教學試驗中學習成就方面的學習績效評價結果表明，學生的測驗成績同學生的學習行為顯著相關；學生的智慧制品與學生的信息素養(yǎng)也有一定的關系；通過基于問題的web-CKB，可提高學生的信息素養(yǎng)，但對學生協(xié)作能力影響并不顯著。

通過以上分析發(fā)現(xiàn)，學生的學習行為方面的學習績效的影響因素有學生的初始成績、信息素養(yǎng)、性格愛好等。因此針對學習行為方面的學習績效的提升策略可以是提高學生的信息素養(yǎng)、培養(yǎng)學生的學習興趣、增強學生的基礎知識儲備、引導學生的學習行為等。學生的學習成就方面的學習績效的影響因素較多，如學生的學習行為、學生的信息素養(yǎng)等方面。因此針對學生的學習成就方面的學習績效的提升策略可以是引導學生的學習行為、增強學生的信息素養(yǎng)、告知學生評價方式及教學目標等。

[1]蔣篤運，張豪鋒，王萍等.教育信息化若干重大問題研究[M].北京市：科學出版社，2008：185.

[2][3][4]謝幼如.網(wǎng)絡課程協(xié)作知識建構模式研究[D].西南大學，2009，（5）.

[5]劉柳.網(wǎng)絡環(huán)境下基于問題的學習（PBL）的研究[D].廣西師范大學，2006，（4）：6-10.

[6]Gerry Stahl.(2000).A Model of Collaborative Knowledge-Building.Fourth International Conference of the Learning Sciences.Mahwah,NJ:Erlbaum,70-77.

[7]謝幼如，宋乃慶，劉鳴.基于網(wǎng)絡的協(xié)作知識建構及其共同體的分析研究[J].電化教育研究，2008，（4）：38-40.

[8]趙建華.CSCL的基礎理論模型[J].電化教育研究，2005，（10）：16-17.

[9]施良方.學習論[M].北京：人民教育出版社，2001：6.

[10]張祖忻.績效技術概論[M].上海：上海外語教育出版社，2005：2-3.

[11][12][13][14][15]張云德，田中禾.現(xiàn)代企業(yè)績效管理——策略與應用[M].蘭州市：蘭州大學出版社，2006.

[16][22]李克東，教育技術學研究方法[M].北京：北京師范大學出版社，2003：30，108.

[17]甘永成.虛擬學習社區(qū)中的知識建構和集體智慧發(fā)展——知識管理與e-learning結合的視角[M].北京：教育科學出版社，2005：251-252.

[18]辛自強.知識建構研究：從主義到實證[M].北京：教育科學出版社，2006：251-252.

[19]辛自強.建構主義視野下的教學評估[J].教育研究，2006，（4）：58-59.

[20]鐘志賢，曹東云.網(wǎng)絡協(xié)作學習評價量規(guī)的開發(fā)[J].中國電化教育，2004，（12）：51-52.

[21]李有華.基于電子學檔的發(fā)展性評價的行動研究[D].華南師范大學，2006，（6）：124-129.

A Study of Problem-based Learning Performance in Web-CKB

Shi Juan

Problem-based Collaborative Knowledge Building(CKB)in the Web-based environment is conducive to improving students’abilitiesto collaborate with each other and identify and solve problems.Thisarticle aims to analyze the evaluation methods for learning performance in Web-CKB.Adopting the research instruments of observation,interview and evaluation,the article focuses on the evaluation content,methodology and tool for Web-CKB learning performance.As indicated in the findings,in terms of content,evaluation covers learning behaviors (i.e.perception,sharing,argumentation,negotiation,creation,appraisal,and reflection)and learning achievements(i.e.test scores,artifacts,and intelligence level).Evaluation methodology ranges from test,interview,behaviorally anchored rating scale,behavior observation scale,critical incident method,and 360 degree performance appraisal.Tools used for evaluation are mainly E-rubric and E-portfolio.

Collaborative Knowledge Building;Problem-based Learning;learning performance

G434

A

1009—458x（2011）11—0017—05

*本研究受中央電教館“十一五”全國教育技術研究重點課題（教電館研066211334號） 《珠江三角洲地區(qū)中小學信息資源應用模式與績效研究》的專項課題《網(wǎng)絡環(huán)境下協(xié)作知識建構的教學設計與學習績效研究》資助。

2011－04－15

石娟，助理工程師，在讀碩士，華南理工大學教育技術中心（510640）。

責任編輯 池 塘