開放教育360度學習資源開發(fā)評價體系的構建

古小華

(國家開放大學，北京 100039)

開放教育的一個本質(zhì)特征就是教的行為和學的行為在時空上是分離的(Desmond Keegan)。這樣的特征，決定了開放教育主要是基于學習資源的教育，學習資源承擔著教師、教學、教室的功能。在互聯(lián)網(wǎng)時代，開放教育學生使用的主要學習資源是網(wǎng)絡課程，因而，網(wǎng)絡課程開發(fā)質(zhì)量對于開放教育質(zhì)量保證至關重要。然而，目前影響我國開放教育發(fā)展的瓶頸是網(wǎng)絡課程的設計與開發(fā)(魏志慧等，2005)。好的網(wǎng)絡課程是設計出來的，也是開發(fā)出來的。網(wǎng)絡課程開發(fā)是一個科學的過程，它由多個開發(fā)環(huán)節(jié)構成，包括規(guī)劃—立項—制定設計方案—樣例制作—評價—全面制作—中期評價—上線試運行—整體評價—正式上線，每一環(huán)節(jié)都很重要，僅僅重視網(wǎng)絡課程設計，未必能夠開發(fā)出好的網(wǎng)絡課程。在開發(fā)過程中，通過對學習資源設計方案、開發(fā)質(zhì)量進行評價，可以驗證學習資源設計是否科學、合理并修訂、補充、完善設計方案，通過事前控制，保證學習資源開發(fā)質(zhì)量；可以驗證學習資源開發(fā)是否達到了預期的標準，通過過程控制，及時糾偏，保證學習資源開發(fā)質(zhì)量；可以驗證學習資源開發(fā)體系、評價體系的科學性，通過事后反饋控制，完善學習資源開發(fā)體系、評價體系，保證學習資源開發(fā)質(zhì)量。學習資源開發(fā)評價是學習資源質(zhì)量保障機制的重要環(huán)節(jié)，也是重要保證。

國家開放大學(以下簡稱國開)是我國開放教育的龍頭，整體辦學規(guī)范、成熟。本文以國開的網(wǎng)絡課程開發(fā)評價為對象進行分析，通過分析發(fā)現(xiàn)問題，并針對問題提出有效解決方案，從而充分發(fā)揮學習資源開發(fā)評價的作用，建設優(yōu)質(zhì)學習資源，為國開學歷教育創(chuàng)優(yōu)提質(zhì)戰(zhàn)略服務。

一、國開學習資源開發(fā)評價現(xiàn)狀與問題

(一)國開學習資源開發(fā)評價現(xiàn)狀

國開學習資源開發(fā)評價主要有三個環(huán)節(jié)，具體見下表。

評價環(huán)節(jié)時間節(jié)點評價形式評價主體評價內(nèi)容評價結果第一個環(huán)節(jié)制定出設計方案并開發(fā)出樣例線下審定會形式教育技術專家從教學設計角度評價學習欄目設計、學習內(nèi)容設計、交互設計、學習路徑設計、頁面設計、測評設計等。學科專家從學科內(nèi)容角度評價內(nèi)容的科學性、合理性、適用性等。專家組給出一個審定意見,主要闡明學習資源設計方案及樣例是否可行,需要進行哪些修改;課程組需要根據(jù)專家意見對設計方案和樣例進行修訂。第二個環(huán)節(jié)全面開發(fā)完成線下審定會形式教育技術專家是否按照專家意見對設計方案和樣例進行了修訂。學科專家學科內(nèi)容是否存在科學性和政治性問題。課程上線試運行或者修改后課程上線試運行。第三個環(huán)節(jié)課程上線試運行一年后遠程匿名方式教育技術專家從教學設計角度對網(wǎng)絡課程進行整體評價。學科專家從學科內(nèi)容角度對網(wǎng)絡課程進行整體評價。專家對課程進行打分,60分以上為合格,課程可以正式使用;60分以下為不合格,課程需要根據(jù)專家意見整改。

由上表可知，國開學習資源評價主體主要是學科專家和教育技術專家，是一種專家評審。評價的內(nèi)容主要有兩個方面：一是內(nèi)容的科學性，二是教學設計的合理性。評價的形式主要是通過現(xiàn)場會議的形式進行。這樣的評價設計比較合理，但也存在一些問題。

(二)國開學習資源開發(fā)評價存在的問題

1.評價制度設計不完善，主體單一，容易出現(xiàn)評價結果失真問題

在學習資源評價中，專家評價與“客戶”評價是不可或缺的。然而，在國開的學習資源評價制度中，學科專家和教育技術專家是主體，學生和輔導教師作為“客戶”，卻沒有實際參與評價。這樣的設計與“權威崇拜”有關，也與制度設計理念是“以教師、教學為中心”而不是“以學生、學習為中心”有關。在國開的學習資源評價中，學生和輔導教師的評價是在課程開發(fā)完成后，在進行整體評價時，通過問卷調(diào)查的方式參與評價。這樣的設計存在的主要問題是：問卷是由課程組從分部找輔導教師填寫，再由輔導教師組織學生填寫。課程團隊一般都會找自己熟悉的分部教師組織填寫。國開體系是分級辦學，國開總部教師對于分部教師來講，近似于“領導”。在“官本位”文化影響下，容易出現(xiàn)評價失真問題。并且，學生和輔導教師參與評價被安排在學習資源開發(fā)的末端，而不是過程中，學生與輔導教師的意見只是打分的一個參考，影響的主要是課程的評分高低，并不涉及課程的修改完善，從這個意義上講，是一種“形式意義”上的評價而不是“實質(zhì)評價”。

2.現(xiàn)場會議評價形式，容易出現(xiàn)評價結果失真問題

國開的學習資源評價采取的是現(xiàn)場會議形式。我國是一個人情味較濃的國家，采用現(xiàn)場會議形式開展評價容易出現(xiàn)結果“失真”問題。評審時，學科專家由課程組聘請，課程組多會聘請自己熟悉的專家。教育技術專家由學習資源部或者教學部聘請，聘請的專家有本校的教師，也有來自普通高校、行業(yè)、企業(yè)的專家。本校教師與課程組教師是同事關系，有些又互為評審專家。評價者與被評價者都是知識分子，當面提意見往往會把握分寸，給被評價者留面子。在這種“熟人文化”與“面子文化”的雙重影響下，評價者經(jīng)常是提一些不痛不癢的、普適化的問題，很少提出真問題。

3.缺乏對專家的培訓、監(jiān)督，容易出現(xiàn)評價結果失真問題

評價標準是評價的依據(jù)和“指揮棒”，熟悉標準、嚴格按照標準進行評價是做好評價的基礎，也是基本要求。通過調(diào)查我們發(fā)現(xiàn)，國開聘請的專家并不都了解國開學習資源評價標準的內(nèi)容。國開也沒有對專家進行培訓，以使他們對評價標準及如何評價有詳細的了解。因而，他們只是根據(jù)個人的理解、認識與喜好提意見而不是“標準評價”，這樣的專家意見經(jīng)常說不到“點子”上。

在實際評價過程中，國開對專家的評價活動也沒有監(jiān)督，所以，評價容易出現(xiàn)“應付”現(xiàn)象。據(jù)我們調(diào)查，一是熟人原因，二是體系外專家是“稀缺資源”，他們一般比較繁忙，沒有時間充分準備，會前也很少認真審看課程，經(jīng)常是在會上邊聽課程組匯報邊提意見，不能全面準確地評價課程，是一種“出席式”評價。

由此觀之，國開學習資源評價存在虛化、弱化、形式化和結果“失真”的問題。

二、建立360度學習資源開發(fā)評價體系，充分發(fā)揮評價的作用

學習資源評價無論是流程設計、評價主體選擇、采取的方式方法，還是要實現(xiàn)的目的，都是一種管理行為。只有加強對學習資源評價的綜合管理，改革完善評價主體的選擇方式與結構構成，改革完善評價標準及方式、方法，才能保證學習資源開發(fā)評價質(zhì)量。360度績效評估法是在管理實踐中被證明有效的評價方法。學習資源評價本質(zhì)上評價的是被評價者和評價者，是對人的評價。我們可以借鑒這一評價方法，通過建立360度評價體系(見下圖)，即全方位評價體系來提高評價質(zhì)量與效度。該評價包括“自評價”“他評價”(客戶評、專家評、對評價者評)和“元評價”(對整個評價體系評)，并且引入量化評價，能夠確保評價的真實性、有效性。

360度學習資源評價體系

(一)通過課程組“自評價”建立“自控機制”

改革完善國開學習資源開發(fā)評價，首先需要建立課程組自我評價。課程組撰寫出設計方案并開發(fā)出樣例后，要對照評價標準逐條自評并寫出自評報告，通過“對標”“對表”找出差距、發(fā)現(xiàn)問題，自行糾正。課程組自我整改后，要將自評報告作為設計方案的一部分，發(fā)給評審專家評價，自評報告是專家評價的一項內(nèi)容。自評是一種自我總結、自我反思，是一種事前預防措施，也是一種開發(fā)人員的“自控機制”。通過這種方式也可以提高開發(fā)者的標準意識，建立起學習資源內(nèi)部質(zhì)量保證，以內(nèi)動力推動學習資源開發(fā)，即通過激發(fā)開發(fā)者的責任意識和責任感來自我糾正開發(fā)過程中出現(xiàn)的偏差，預防問題發(fā)生。

(二)通過改革完善“他評價”建立有效的“他控機制”

1.開展遠程匿名評價，建立“過程控制”

為避免人情因素“面子文化”導致的問題，國開需要改革評價主體構成、產(chǎn)生方式以及評價方式。國開的學習資源評價主體應由教育技術專家、學科專家和輔導教師三部分人組成。由學習資源部建立教育技術專家?guī)欤鱾€專業(yè)建立學科專家?guī)?包括行業(yè)專家)和輔導教師庫。需要開展評價時，由學習資源部從三個庫里，隨機抽取組成一個評價組，并指定一名組長組成評審專家組。評價采用遠程匿名方式(這種方式也可以打破地域限制，從全國聘請專家，豐富專家資源)。由三名專家各自對設計方案(含自評報告)及樣例按照評價標準逐條寫出評價意見，同時寫出總的意見。學科專家側重于內(nèi)容科學性的審定，教育技術專家側重于教學設計審定，輔導教師主要從教學運行角度和學生角度對教學設計和內(nèi)容易學性進行審定。專家意見由組長匯總，對于專家意見不一致的地方，由組長通過微信、QQ、電話、郵件等方式溝通協(xié)調(diào)，必要時可以利用微信群視頻、QQ群視頻、騰訊會議等方式召開遠程會議，達成一致意見后，將評價意見提交給學習資源部。學習資源部隱去專家姓名，將評價意見發(fā)給各教學部負責人，負責人審看后發(fā)給課程組。課程組需要對專家意見逐條給予答復，對于專家意見有異議的地方，要詳細寫明理由，提交給教學部負責人，負責人審看后給出意見并發(fā)給學習資源部，學習資源部發(fā)給專家組長。課程組對于專家意見有異議的地方，專家組要研商，如果專家組仍堅持自己的意見，則由學習資源部根據(jù)有異議的地方是屬于學科問題，還是教學設計問題，另外聘請專家給出最終意見。開發(fā)完成后，由相同的專家按照上面的程序和方法繼續(xù)開展評價。這樣的評價主體構成、產(chǎn)生方式與評價方式能夠保證評價的真實、有效。

2.引入“客戶”評價建立“反饋控制”

由于客觀原因，國開的學習資源開發(fā)過程缺乏學生的參與，雖然在學習資源開發(fā)和評價過程中，輔導教師在一定程度上能夠彌補這一不足。但是真正學生的意見，更真實、更客觀、更有價值。國開學習資源部要會同各專業(yè)教師，設計各專業(yè)的學生調(diào)查問卷，要求每一個學習課程的學生在課程學習結束后，均要在網(wǎng)上填寫調(diào)查問卷，檢驗“用戶”對于“產(chǎn)品”質(zhì)量的滿意度。國開需要開發(fā)出智能分析軟件，對于問卷進行智能分析，自動形成分析報告。分析報告要發(fā)給課程組，課程組要根據(jù)分析報告對課程進行修訂。

3.對評價者進行評價

國開要對實施學習資源評價的主體及其評價行為進行評價，建立起對評價者的監(jiān)督機制。學習資源部和各教學部要定期對各個專家實際參與的評價行為，包括所提意見的科學性、客觀性和適切性及完成評價的時效性等方面進行評價。對于表現(xiàn)差的專家要移出專家?guī)?，同時補充新的人員。對于好的評價者要給予更多參與評價的機會。通過這樣的機制，確保專家?guī)炖锒际秦熑涡膹?、工作認真、工作效果好的專家，以強專家確保優(yōu)評價。

(三)開展學習資源開發(fā)質(zhì)量“元評價”

學習資源開發(fā)“元評價”是對學習資源開發(fā)質(zhì)量評價的評價，即對學校學習資源開發(fā)質(zhì)量保障體系及運轉情況的評價。它評價的是：學校為達成質(zhì)量目標而采取的質(zhì)量保障機制是否有效，學校采取的達成質(zhì)量標準的手段與方式的效率。通過“元評價”推動國開學習資源開發(fā)質(zhì)量保障體系及運轉的完善。國開可以委托社會上權威性評價機構組織專家開展評價，專家組成員要包括政府教育行政部門官員、質(zhì)量管理專家、網(wǎng)院專家、開放教育研究專家、行業(yè)企業(yè)專家、國開辦學體系的管理者、教師以及學生共同組成。專家組要評價國開為達成既定目標而建立的學習資源開發(fā)質(zhì)量保障機制，國開學習資源開發(fā)質(zhì)量保障機制與程序的效度，國開學習資源開發(fā)存在的問題及改進的建議。學習資源開發(fā)“元評價”其實是一種第三方評價，是國開給自己建立的一個獨立的外部監(jiān)督系統(tǒng)。這種評價更客觀、更有權威性。“元評價”除了能夠改進國開學習資源開發(fā)質(zhì)量，也能夠通過這種評價，逐步建立比較完善的第三方評估，樹立國開品牌。

(四)利用智能評估技術開展量化評價

在評價時，除了專家與“客戶”的定性評價外，還要利用智能評估技術進行量化評價，將質(zhì)性評價與量性評價結合起來，提高評價的全面性與科學性。國開需要對網(wǎng)絡學習平臺進行技術開發(fā)與改進，使學習平臺能夠自動統(tǒng)計學生的上線時間，學習時長，瀏覽網(wǎng)頁的時長、內(nèi)容，完成測評的數(shù)量，交互情況等，利用智能評價和大數(shù)據(jù)對學習資源使用情況進行有效監(jiān)控。監(jiān)控的結果應能夠自動生成分析報告，并將分析報告發(fā)給專家，作為整體評價的依據(jù)。分析報告也要發(fā)給課程組，課程組要根據(jù)分析報告對課程進行修改、完善。

(五)筑牢學習資源評價工作基礎

1.完善學習資源評價標準

學習資源評價標準是學習資源開發(fā)的目標導向和評價依據(jù)。在學習資源開發(fā)過程中，國開要針對開發(fā)中發(fā)現(xiàn)的問題、學生的變化、學習資源發(fā)展變化趨勢、國開辦學特色，及時修訂和完善學習資源評價標準，保證標準的科學性、可比性和操作性，使之更加科學、合理，符合學校學習資源開發(fā)的總體目標，充分發(fā)揮“指揮棒”作用，指引課程組開發(fā)出高質(zhì)量的學習資源。

2.對專家進行培訓，提高評價質(zhì)量

為了提高專家評價的針對性和有效性，國開需要對專家進行培訓，使其明晰國開學習資源評價標準、評價要點及注意事項。由于國開聘請的一些專家是國開辦學體系外的，采用現(xiàn)場培訓的方式不現(xiàn)實，可以由學習資源部制作出《國家開放大學學習資源評價標準解讀》，對評價標準逐條詳細說明，并結合評價案例說明應該怎樣把握標準，《解讀》要做成微課形式和文本形式。在聘請專家時，提前將《解讀》發(fā)給專家學習。

以上我們以國開學習資源開發(fā)評價為例，指出了存在的問題，并針對這些問題，構建了360度學習資源評價體系。該評價體系通過全方位、全鏈條評價，能夠充分發(fā)揮評價在學習資源開發(fā)中的作用，保證并提高學習資源開發(fā)質(zhì)量，進而有助于保證開放教育人才培養(yǎng)質(zhì)量，這一評價體系也適用于開放教育其他類型學習資源開發(fā)。