基于Kirkpatrick模式的移動學習績效評價設計探究

袁齊齊 李華 黃典霞

摘 要：為了完善移動學習績效評價理論，梳理移動學習概念及特性，以及學習績效評價在移動學習領域發(fā)展現(xiàn)狀，通過借鑒美國 Kirkpatrick 評估模式與教學系統(tǒng)設計理論，探索性地提出移動學習績效評價模式設計原則及五層次績效評價模式，并提出績效評價還需進一步研究的問題。該績效評價模式與傳統(tǒng)評價方式相比，具有兩大特點：一是關注學習者動態(tài)學習過程，包括學習者知識、技能、潛能、態(tài)度、行為和實踐能力的改變;二是關注學習對學習者未來長期潛在影響以及學習者完成學習后對組織和社會的影響。

關鍵詞：移動學習;績效評價;Kirkpatrick評估模式;評價設計

DOI：10. 11907/rjdk. 192686 開放科學（資源服務）標識碼（OSID）：

中圖分類號：G434文獻標識碼：A 文章編號：1672-7800（2020）008-0271-04

Abstract： In order to improve the theory of mobile learning performance evaluation， this paper sorts out the concepts and characteristics of mobile learning， and the current development status of learning performance evaluation in the field of mobile learning. Based on the Kirkpatrick assessment model and teaching system design theory in the United States， it proposes an exploratory study of mobile learning. The design principles of the performance evaluation model，the five-level performance evaluation model and the issues that need to be further studied in performance evaluation are put forward. Compared with traditional evaluation， the performance evaluation model proposed in this paper has two major characteristics， i.e. it focuses on the dynamic learning process of learners， including changes in learners knowledge， skills， potentials， attitudes， behaviors and practical abilities， and it focuses on the future of learning for learners，long-term potential impacts and organizational and social impacts of learners after learning.

Key Words： mobile learning; performance evaluation; Kirkpatrick evaluation model; evaluation design

0 引言

隨著網(wǎng)絡通信技術的飛速發(fā)展以及移動設備（如智能手機、平板電腦、手持閱讀器、筆記本電腦等）的普及，移動學習應運而生，尤其在近年來受到了極大關注。美國新媒體聯(lián)盟發(fā)布的《2012年地平線報告》中也強調(diào)移動應用程序和平板電腦將在未來一年甚至更短時間內(nèi)成為教育應用中的主流。我國學者對該領域的研究始于21世紀初，也即自2000年荷蘭遠程教育學家Desmond[1]在我國作了年會主題報告并同期發(fā)表學術論文之后，我國開始掀起移動學習研究風潮。之后該領域的文獻逐年增加，最近3年達到鼎盛，每年約有1 400篇，說明移動學習已逐漸成為當前教育研究中的熱點。

1 移動學習概念及特性

移動學習最開始被認為是一種數(shù)字化學習，應用領域是遠程教育[2]，也有學者認為移動學習是在數(shù)字化學習基礎上發(fā)展起來的，是數(shù)字化學習的擴展。但隨著移動學習開始發(fā)展出獨立的支持服務系統(tǒng)，其逐漸演化成為基于互聯(lián)網(wǎng)的主要學習方式之一[4]。

移動學習是指學習者通過移動設備，借助無線通信技術，可在任何時間、地點開展學習活動的一種學習方式。其形態(tài)表現(xiàn)為終端（如手機、平板電腦等）、內(nèi)容（如微課程等）和活動（呈現(xiàn)翻轉化與互聯(lián)網(wǎng)化特征）3個要素[5]。其主要優(yōu)勢表現(xiàn)在學習者可根據(jù)自己的需求隨時隨地進行碎片化學習，內(nèi)容自定、時間靈活、方式多樣。與傳統(tǒng)學習模式相比，移動學習具有對象廣泛、即時性與情景化等特征。

2 移動學習績效定義

教育領域并非是最早關注績效的領域，企業(yè)最早關注績效，隨后才進入教育領域，績效也隨之向“學習績效”轉變。1949年，Ryle將績效定義為“成就、行為的效益”;1994年，張祖忻[7]將“績效”引入國內(nèi)，并撰寫了相關理論文章，此后開始引起教育領域的關注;2004年，AECT在定義教育技術時也強調(diào)了學習績效，將學習績效定義為學習者運用新知識與技術的能力[8]。

本文將移動學習績效定義為：在一定學習任務的指引下，學習者通過移動學習在知識獲取、技能提升、態(tài)度轉變以及行為改變方面的情況，以及學習后對周圍環(huán)境、社會、組織與學習者自身產(chǎn)生的積極影響。

3 績效評價在移動學習領域發(fā)展現(xiàn)狀

績效評價又稱為表現(xiàn)性評價，是“測量學習者運用先前獲得的知識解決新問題或完成具體任務能力的一系列嘗試”[9]，具有診斷、反饋、調(diào)節(jié)、激勵和導向等功能。研究表明，其對于促進學習者學習起著重要作用，是學習模式中不可缺少的組成部分。但通過對移動學習研究文獻的收集整理，當前移動學習研究熱點大多集中在技術可行性分析、系統(tǒng)終端軟件研發(fā)和理論研究等方面[10]，關于學習績效評價方面的文獻相對較少。其中，對于網(wǎng)絡學習、遠程教育等領域研究較為深入，吳嵐[9]、張肖[11]、王冬[12]、田小丹[13]等學者紛紛從各自的角度提出網(wǎng)絡學習績效評估體系等。但在已有的移動學習績效評價文獻中，尚未形成一個統(tǒng)一的評價體系，而且學習績效評價中還存在以下幾個問題：各環(huán)節(jié)的評價方法不足、對移動學習動態(tài)行為關注較少[16]以及難以對長期影響進行評價等。因此，如何科學地設定學習績效評價層次與指標成為當前移動學習發(fā)展亟待解決的問題之一。

為此，本文在借鑒企業(yè)培訓領域比較成熟的績效評價模式——Kirkpatrick模式的基礎上，結合移動學習特性，探索性地提出適合移動學習特征的績效評價模式及評價流程。

4 基于Kirkpatrick評估模式的移動學習績效評價設計

4.1 Kirkpatrick評估模式

Kirkpatrick四層評估模式是由著名學者Kirkpatrick于1959年提出的績效評估模型，在企業(yè)培訓領域應用已較為成熟，很多學者將其應用于教育領域以從績效角度評價學習過程[14]。其主要從反應、學習、行為、成果4個層面對學習進行評價，各層次對應的評價內(nèi)容如表1所示。

該模式改善了傳統(tǒng)學習績效評價中重結果、輕過程的現(xiàn)狀，不僅關注學習者學習結果，更關注學習者在學習過程中知識、技能、態(tài)度、行為等方面的動態(tài)變化情況，以及對組織、社會等周圍環(huán)境產(chǎn)生的影響，這些特征正是目前移動學習績效評價中所缺失的[15]。

4.2 移動學習績效評價設計

移動學習績效評價是指根據(jù)已有學習目標與任務，對學習過程和學習成效進行動態(tài)、科學地評估與分析，并適時作出評價[16]?；贙irkpatrick模型的評價方式克服了傳統(tǒng)教學評價中普遍存在的問題：重結果、輕過程，評價方式單一，客觀測試多，針對行為改變的評價少，忽視學習者心理認知變化過程以及學習對學習者自身能力及周圍環(huán)境的影響等。通過整理已有移動學習績效評價文獻，發(fā)現(xiàn)目前針對學習績效評價設計的相關研究較少。本文借鑒現(xiàn)有學習績效評價研究與實踐經(jīng)驗，基于Kirkpatrick評估模式，對移動學習績效評價模式作出以下設計。

4.2.1 移動學習績效評價原則

本文提出以下設計原則：克服傳統(tǒng)教學評價普遍存在的問題;關注學習者自身學習需求和學習目標;重點關注學習者在學習過程中的動態(tài)變化;根據(jù)移動學習的移動性、對象廣泛等特點，注重學習者的個性化、學習的碎片化和隨意性，以及評價方式的多元化;根據(jù)移動學習的即時性特點，在移動學習資源開發(fā)過程中，注重學習資源的短時長、娛樂性及情景性。

4.2.2 移動學習績效評價各層次設計

筆者在Kirkpatrick模型基礎上，對移動學習績效評價各個層次進行設計。從橫向來看，Kirkpatrick模型第四層——結果層考慮的是移動學習影響范圍是否廣泛。筆者認為，還應從縱向來看移動學習績效，即是否對學習者未來有著長遠影響。另外，學習者前期分析與定位對高績效學習而言也非常重要，因此本文在反應層之前加入可行性層次，以下將對移動學習績效評價各層次進行分析。

（1）可行性層次?？尚行詫哟沃饕獙W習者需求、學習意愿和動機進行調(diào)查。該層次在前期進行，也即進行移動學習前，針對學習者既定目標和期望設計個性化學習任務和績效評價目標，屬于診斷性評價。主要實現(xiàn)方法包括問卷調(diào)查法和訪談法。

（2）反應層次。這一層次評價學習者對學習資源與平臺等方面的滿意度，使整個評價體系開始關注學習主體的情感與個性，而不僅是功用。該層次在移動學習過程中或學習完成后進行，屬于形成性評價。使用的方法主要包括問卷調(diào)查、用戶訪談、評分網(wǎng)站評分、在線投票等。學習者主要從資源的專題化、多樣化、個性化、碎片化以及平臺穩(wěn)定性、易操作性和安全性等方面考慮，對學習資源與平臺進行打分[16] 。

（3）學習層次。學習層次主要評價學習者對學習內(nèi)容（知識、技能）的掌握程度以及學習后態(tài)度的轉變。該層次主要在移動學習過程中或學習完成后進行，屬于形成性評價。對于一般文本類知識，使用的方法主要有小結測驗、課程測驗、檔案袋和平臺實時記錄，如上線時間和次數(shù)、練習時間與平時練習得分等;對于技能類知識，則除以上方式外，還需要考慮學生將理論知識運用于實際項目的熟練程度，即對實際任務完成情況進行評價。

（4）行為層次。行為層主要是對學習者在學習后的行為轉變及對學習內(nèi)容的運用熟練程度進行評價，屬于總結性評價。該層次在學習后或參加實踐活動后進行，主要通過調(diào)查報告，從學習者能否熟練運用所學知識與技能、能否良好完成知識遷移等方面進行評價。

（5）結果層次。結果層主要是評價學習者對環(huán)境（組織及社會）產(chǎn)生的影響以及移動學習對學習者自身產(chǎn)生的長期影響。該層次在實踐活動結束一段時間后進行，屬于總結性評價。該層次不僅考慮了移動學習給學習者帶來的橫向影響，還考慮了學習對學習者現(xiàn)在及未來的長期縱向影響。使用的方法主要包括大數(shù)據(jù)采集、訪談法、跟蹤調(diào)查等。通過運用網(wǎng)絡信息技術與大數(shù)據(jù)技術等，可實現(xiàn)對學習者縱向與橫向兩方面的評價。但由于受到技術限制，該評價方式還未能普及?？傮w而言，了解學習對學習者的影響及學習者對社會、組織及環(huán)境的影響，主要還是通過對學習者跟蹤訪談以及通過學習者周圍家人、朋友或同事對學習者的評價加以實現(xiàn)。隨著未來信息技術及手段的進一步成熟與普及，五層次的評估會變得更加便捷、準確、科學。

5個層次中，可能性層次屬于診斷性評價;反應層和學習層屬于形成性評價，這兩個層次貫穿整個動態(tài)的學習過程;行為層和結果層屬于總結性評價。總體而言，評價設計克服了傳統(tǒng)教學評價的缺點，開始關注學習者學習的前期、中期及后期。

移動學習績效評價模式中各層次特征如表2所示。

傳統(tǒng)教學系統(tǒng)設計包括對學習過程進行分析、設計、開發(fā)、實施和評價5個環(huán)節(jié)[17]。本文在設計移動學習績效評價時除強調(diào)學習者的前期分析與定位外，還強調(diào)了移動學習結果的影響范圍。評估模式結果層加入了移動學習是否對學習者未來潛力有影響這一內(nèi)容，即從長遠時間范圍內(nèi)考慮移動學習績效。鑒于此，移動學習績效評價流程應在傳統(tǒng)教學評價流程基礎上，加入跟蹤評價環(huán)節(jié)，即在學習者完成學習或參加實踐活動一段時間后，追蹤調(diào)查學習對學習者及其周圍環(huán)境產(chǎn)生的長期影響，以實現(xiàn)全方位的績效評價[18]。

因此，移動學習績效評價流程可歸納為：績效需求分析、評價系統(tǒng)設計、評價系統(tǒng)開發(fā)、績效評價實施、績效評價反饋、績效評價跟蹤優(yōu)化[19]6個環(huán)節(jié)，以對學習者績效進行全方位、客觀、準確的評價，具體流程如圖1所示。

5 結語

本文通過引入用于企業(yè)績效評估的Kirkpatrick評估模型，對移動學習績效評估模式進行設計，并結合移動學習自身特點，對五層次評價過程中的測量內(nèi)容、評估方法、評估指標、評估時間進行深入闡述，對移動學習績效評估流程進行歸納總結。然而，本文的不足之處在于提出的評估模型并未經(jīng)過實踐，尚處于理論探究階段。相較于傳統(tǒng)教學績效評價，本文提出的評估模式具有更大優(yōu)勢，但仍存在一些亟待解決的問題。例如，如何科學、有效地評估學習者能力的轉變;如何使移動學習評價平臺更加適應廣泛的學習對象;應根據(jù)哪些指標對學習者長期績效進行評價，才能更加科學、客觀與個性化等。相信這些問題的解決，將會進一步推動移動學習的發(fā)展。

參考文獻：

[1] DESMOND K. 從遠程學習到電子學習再到移動學習[J]. 開放教育研究，2000（5）：6-10.

[2] 傅騫，魏順平，賀龍祥. ?移動學習領域概念圖的構建研究[J]. ?中國電化教育，2007（10）：96-99.

[3] 王晗. 基于微信的移動學習資源設計研究[J]. 軟件導刊，2019，18（11）：183-185.

[4] 李金林. 移動學習發(fā)展及其績效評價設計探究[J]. 中國電化教育，2017（7）：95-98.

[5] 胡立攀，李新成，唐國菊. 國內(nèi)移動學習的研究現(xiàn)狀與發(fā)展趨勢[J]. 中國醫(yī)學教育技術，2010，24（6）：616-619.

[6] 徐媛媛. 移動學習資源建設方案研究[J]. 軟件導刊，2018，17（3）：224-226.

[7] 張祖忻. 從教學設計到績效技術[J]. 中國電化教育，2000（7）：5-8.

[8] 賈斌，徐恩芹，張景生. 國內(nèi)學習績效研究發(fā)展綜述[J]. 電化教育研究，2013，34（11）：53-58.

[9] 吳嵐，鐘志賢. 績效評估：一種有效的遠程教育學習評價方式[J]. 遠程教育雜志， 2007（4）：14-17.

[10] 任海峰，趙君. 移動學習國內(nèi)外研究現(xiàn)狀分析[J]. 成人教育， 2010，30（1）：95-96.

[11] 張肖. 基于網(wǎng)絡學習環(huán)境的學習績效評價指標體系研究[D]. ?武漢：華中師范大學，2014.

[12] 王冬. 學習績效的內(nèi)涵及其評價研究[J]. 南昌教育學院學報，2008（2）：37-41.

[13] 田小丹. 基于移動學習的實踐教學績效評價指標體系設計[J]. ?實驗室研究與探索，2019，38（2）：224-228.

[14] 宋慧玲，張地坷，帥傳敏，等. 我國網(wǎng)絡學習績效研究文獻的可視化計量分析[J]. 中國遠程教育，2017（3）：30-36.

[15] 陳灝. 新一代無線技術、移動終端在移動學習中的應用研究——以教育部直屬機關干部網(wǎng)絡學院為例[J]. 中國教育信息化，2015（13）：76-78.

[16] 王瑞華，宋薇. 基于Kaufman績效評價的移動學習評價研究[J]. 課程教育研究，2018（24）：254-255.

[17] 連紅. 移動學習中教學設計模式的研究[J]. 現(xiàn)代遠程教育研究，2008（1）：65-67.

[18] 姜強，趙蔚，李松，等. 個性化自適應學習研究——大數(shù)據(jù)時代數(shù)字化學習的新常態(tài)[J]. 中國電化教育，2016（2）：25-32.

[19] 祝智庭， 彭紅超. 信息技術支持的高效知識教學：激發(fā)精準教學的活力[J]. 中國電化教育， 2016（1）：18-25.

[20] KIRKPATRICK D. Great ideas revisited： revisiting ?kirkpatricks four-lever model[J]. Training & Development，1996，50（1）：54-59.

（責任編輯：黃 ?。?/p>