美國一流大學在線課程評價研究

崔曉燕，宋 磊，錢 玲

(1.河北大學 教育學院，河北 保定 071000；2.石家莊裝備制造學校， 河北 石家莊 050000)

美國在線課程近年來發(fā)展迅速，形成了較為成熟的在線課程設計思路和方法，尤其是在在線課程的評價方面，取得了許多新進展。美國在線課程設計注重評價，并將評價與學習目標直接關聯。作為檢驗學習者學習結果的重要環(huán)節(jié)，評價活動已成為在線課程設計的核心。筆者通過闡述美國在線課程中評價設計的最新功能與分類，分析主流的兩類評價和支持工具，介紹提高在線評價質量和信度的最新發(fā)展的遠程監(jiān)考支持軟件，以期為我國教育工作者提供參考。

一、美國在線課程評價活動分類

課程評價活動設計旨在評估學生是否達成了學習目標。根據布魯姆的教育目標分類，學習目標既可以是概念的理解和記憶，也可以是技能的運用，還可以是綜合應用和評價。[1]課程評價既可以在課程學習中進行，對階段性學習目標進行評估，也可以在課程學習末期進行，對學生的學習結果進行總結性評價。在通常的教學設計中，評價活動主要分為過程性評價和總結性評價。這種分類方式有助于教師根據學習進程對評價活動進行分類，但對在線學習過程中“以學生為中心”這一理念的關注度不夠。

基于此，近年來，美國在線課程的評價活動更加關注兩個功能。第一，關注學生在線學習過程中的困難和及時的反饋。由于在線課程中教師的教與學生的學處于時空分離的狀況，因此如何及時了解學生的學習進展，獲得實時反饋，并幫助學生最終實現學習目標的達成，成為在線課程評價活動設計的核心之一。第二，關注學生課程學習后的整體評價。這種評價幫助教師和課程設計者了解學生是否達成了課程要求，是否能夠獲得相應學分。因此，美國在線課程評價活動設計的一個新趨勢為將評價活動分為低風險評價和高風險評價，從而直接支持學生學習的發(fā)生。

(一)低風險評價活動

低風險評價活動指被用來衡量學生學習效果，找出學習問題，從而進行調整的學習評價活動。[2]這種評價主要是在教學過程中進行的，其目的是了解學生的學習進程，發(fā)現學生現階段存在的問題，并及時對這些問題進行糾正解決，以改進教學過程，促進學生學習。通過評價，教師也可對自己的教學工作進行反思檢查，及時根據學生的學習進程調整教學進度、策略、方式方法等，以期能獲得教學的連續(xù)性反饋，使教育教學得到最優(yōu)化發(fā)展。因此,這種評價在總成績中占比不是很高，主要起督促和改進的作用。

在線課程評價活動設計中，低風險評價活動往往在總成績中占比較小，因此，一兩次失誤不會對學生的總成績產生決定性影響。同時，低風險評價活動在設計時給予學生多次試錯機會，例如，在低風險評價活動設計時，會對學生進行多次評價，選最好成績計入最終成績。這樣，學生在評價過程中學習壓力較小，能夠更好地關注是否全面掌握學習內容。

(二)高風險評價活動

高風險評價是指用于對學生作出重要決定的評價活動，例如，決定學生是否能夠獲得學分的重要考試，占有課程評價較大比例的評價活動。高風險評價在整個在線課程評價中所起的作用與總結性評價相類似，但功能更為全面，內涵更為豐富。這種評價在整個課程中占比較高，往往在一門課程結束時或重要節(jié)點進行。高風險評價通常注重學習結果，其目的主要是檢驗學生的學業(yè)水平是否達到了課程要求，評價結果用于確定學生是否能夠進入下一階段的學習或是否有資格獲得文憑。

在線課程評價活動設計中，高風險評價通常在課程總成績中占比較大。因此，學生需要投入較多時間和精力進行準備。同時，這類評價活動只給學習者一次機會，例如，期末考試。因此，高風險評價活動給予學生的評價壓力也較大。

(三)高低風險評價活動的比較

高風險評價活動與低風險評價活動可以有多種不同的形式，但其最本質區(qū)別是對學生最終學業(yè)成績的影響因子不同。例如，若一項評價活動能夠確定學生是否獲得所學課程的全部學分，那么無論是多項選擇考試、小組報告，還是作文考試，這項評價活動都將被視為高風險評價活動。 而低風險評價活動通常不會帶來重大后果，即評價結果不會對學生造成重大影響。表1列出了高風險評價活動和低風險評價活動的特點比較。

表1 高風險評價活動和低風險評價活動特點比較

在美國最新的在線課程評價活動設計中，教師通常將這兩類評價活動結合起來使用，這樣不僅提高了考試形式的靈活性，也使評價具有科學性和合理性。在高風險評價和低風險評價中，教師又給予了學生一定的彈性，如若同一類型的測驗進行多次時，教師允許去掉一個最低成績，取剩下的較好成績計入總分，這也使得在線課程的評價更具人文精神。表2為2020年卡內基·梅隆大學在線課程《信息系統》的評價活動設計。課程的評價活動由低風險評價活動和高風險評價活動組成。其中，出勤、家庭作業(yè)、課堂表現、案例研究和項目開發(fā)所占總體成績比例相對較低，并且學生有多次嘗試機會，因此，屬于低風險評價活動。即使學生在某一項評價活動中表現較差，只要能及時調整，對其最后總成績影響較小。小組合作和期末考試則為高風險評價活動。學生如果在這兩項評價活動中，尤其是期末考試中表現較差，則很有可能導致整門課程得分較低，最終導致不及格。為此，學生將在這兩項測驗上花費更多的時間和精力來取得一個較好的成績，否則將會給整門課程帶來失敗的高風險，因此這兩個評價項目屬于高風險評價活動。

表2 卡內基·梅隆大學在線課程《信息系統》評價活動設計[3]

再如表3波士頓大學在線課程《計算機科學》的評價設計活動。其中，考勤問答在總成績中占比僅為10%，即使學生在這項評價中表現不佳，其對學生課程總成績影響也較小，因此本項評價屬于低風險評價活動。而家庭作業(yè)這項評價在總成績中占比30%，占比較高。但由于這項評價有多次嘗試機會，學生只需保證大部分的家庭作業(yè)完成質量較高就可以在這項評價中獲得較高成績，因此本項評價也屬于低風險評價活動。在此項評價活動中，并不是每一次的家庭作業(yè)成績都是平均劃分的，較難、內容較多的家庭作業(yè)占成績比重較大，因此，這也需要學生對每一次家庭作業(yè)的比重進行權衡。學生通常在家庭作業(yè)與考勤問答這兩項評價中花費的時間、精力較少。而期中考試和期末考試這兩項評價活動則屬于高風險評價活動。原因在于期中考試和期末考試這兩項評價在總成績占比中分別占20%和40%，占比較高，且考試機會只有一次，若學生在這兩項評價活動中表現不佳，則很有可能導致學生整門課程成績不佳，甚至不合格。因此，學生需要對這兩項測驗精心準備，花費較多的時間和精力以求取得較好的成績。

表3 波士頓大學在線課程《計算機科學》評價活動設計[4]

二、支持在線課程評價活動的實踐工具

美國在線課程評價的整體發(fā)展已相對成熟，其支持工具多種多樣，其中常用的學習管理系統(Learning Management System，以下簡稱為LMS)有Canvas、Blackboard等。哈佛大學、斯坦福大學、普林斯頓大學、杜克大學、華盛頓大學、卡內基·梅隆大學、波士頓大學、威斯康辛大學麥迪遜分校等美國知名高校都在使用Canvas、Blackboard等LMS進行在線教學與評價活動。不同的學習管理系統雖各有其特點，但就功能來說大致相同。一般包括學生名冊管理、課程作業(yè)布置、在線評價(測前調試、創(chuàng)建試題、發(fā)布任務、測后管理)等在線教學必備功能，是傳統教學與在線教學的深度融合。[5]因此，本文在介紹高低風險評價活動的支持工具時將不再做具體平臺區(qū)分，而是統一使用LMS進行介紹。

美國在線課程評價活動多種多樣，其中經常使用的類型有論壇、課堂參與、班級測試、問題與案例、項目任務、小論文、家庭作業(yè)、期中測評、期末考試。一般來說，家庭作業(yè)、課堂表現、出勤、案例項目、隨堂測驗屬于低風險評價，而期中、期末考試則常被歸為高風險評價。評價活動具體如何歸類受課程性質、課程內容、課程目標等條件的制約。筆者將以表2卡內基·梅隆大學在線課程《信息系統》為例，對低風險評價活動及其支持工具進行闡述。以表3波士頓大學在線課程《計算機科學》為例，對高風險評價活動及其支持工具進行分析。

(一)低風險在線課程評價活動實踐工具

1. 作業(yè)。作業(yè)通常被歸為低風險評價，且其形式多種多樣，并不拘泥于某一固定形式，如項目作業(yè)和音視頻作業(yè)等。如卡內基·梅隆大學《信息系統》課程中家庭作業(yè)、案例研究作業(yè)和項目開發(fā)作業(yè)在總成績中占比分別為5%、10%和20%，這三項作業(yè)占比較小，且由多次同類型評價組成，因此屬于低風險評價活動。項目作業(yè)通常是以文檔的形式進行提交，而音視頻作業(yè)的形式更為豐富，如視頻、音頻、圖片等。

學習管理系統中“課程”板塊的“作業(yè)”功能能夠對學生作業(yè)完成度進行很好地評價。教師在“作業(yè)”模塊中發(fā)布項目作業(yè)、音視頻作業(yè)等，并要求學生在規(guī)定時間內提交。教師通過學習者作業(yè)的完成情況來了解學習者對課程內容的掌握程度，并及時對作業(yè)進行批改打分以及有針對性的線上講解與點評，給予學生及時的反饋。學生可根據反饋情況了解自身對知識掌握和學習態(tài)度等方面存在的問題，并且做出相應的調整。

作業(yè)這一評價活動的抄襲問題一直以來深受各方關注。由于視頻作業(yè)具有直觀、靈活、可視性強等特性，教師可直接對學生作業(yè)完成情況進行評定，因此學生在視頻作業(yè)中作弊幾率很小。那么如何排除學生在項目作業(yè)中提交的文檔作業(yè)的抄襲嫌疑，卡內基·梅隆大學使用Turnitin這一工具對學生提交的文檔作業(yè)進行檢查。其原理是學生在提交作業(yè)時，文本內容會被自動錄入到Turnitin中，Turnitin將對學生作業(yè)和其文庫中的資料進行對比查重，若重復率超過作業(yè)要求中的規(guī)定，則該學生的作業(yè)將被視為作弊。[6]由于Turnitin這一工具的使用，學生在作業(yè)中特別注意避免抄襲，因此，文檔重復率大大降低。

2.考勤與課堂表現?？记谂c課堂表現在美國在線課程評價中是一種十分常見的評價活動，如在卡內基·梅隆大學《信息系統》課程中出勤和課堂表現共占總成績的10%。一般來說，考勤與課堂表現這一評價形式在課程總成績中占比較低，主要起到督促激勵作用，不以評定學生為目的，因此其屬于低風險評價。由于考勤與課堂表現這一評價活動較易觀察與記錄，因此其應用工具種類較多， 常用的學習管理系統都可實現，且這幾種工具均設有數據記錄功能，直觀性強也易于統計，如考勤功能，輔助教師記錄學生出勤情況。

隨堂測驗這一評價活動通常與課堂表現直接掛鉤，因此隨堂測驗成績是衡量學生課堂表現情況的一個重要指標。隨堂測驗能很好地激活專業(yè)理論課堂教學的手段與環(huán)節(jié)。在課堂中進行隨堂測試，巧妙地設計一些與課程聯系緊密的、靈活的、學生感興趣的且完成時間不長的題目，能夠提高學生的學習興趣，對學生的學習起直接促進作用。一般情況下，隨堂測驗在總課程評價中占比不高，其作用往往是當堂檢測學生是否掌握課上所講內容，給予教師和學生以反饋，根據反饋結果進行相應改進。因此，隨堂測驗一般屬于低風險評價，并不強調分數的重要性。

隨堂測驗亦可通過學習管理系統中的“作業(yè)”模塊進行展開，教師只需提前編寫好試題，并將其上傳到此模塊當中，規(guī)定好答題時間后要求學生作答即可。在學生提交測驗后，教師可對學生作答內容進行問題標注和成績評定，并給予學生及時反饋。

3.論壇討論。由于論壇的功能也是強調對學生學習的促進以及對教學過程的改進，因此論壇通常也屬于低風險評價。論壇具體分為兩種，即“觀點論壇”與“問題論壇”。“觀點論壇”指教師開設一個論壇并提出一個問題，學生就此問題發(fā)表自己的想法見解等。教師通過查看學生的觀點記錄來判斷學生是否掌握了教學內容，是否達到了學習目標，并對每一個學生進行評分，且錄入到學生的課程總分數當中?！皢栴}論壇”如字面意思所示，指學生在論壇中提問學習過程中的疑難問題，教師對問題進行答疑解惑。論壇中的問題對教師和其他學生同樣可見，因此若其他學生有同樣的問題，可一次性得到解答，從而有效地避免了同一問題提問和解答的重復性。

學習管理系統中“討論”模塊為論壇的開展提供了很好的平臺。教師可以就長期的、中期的、短期的學習規(guī)劃、重難點問題或者容易引起學生困惑的地方來設置一個討論，這個討論可以是全體學生共同參與的，也可以是小組之間的。學生在“討論”模塊中表達自己的所感所想，教師則可以根據學習者之間的交流、答疑，對學習者知識掌握程度及學習效果差異進行在線評價，從而進行有針對性的指導。

(二)高風險在線課程評價活動實踐工具

1. 評價活動及主流平臺的工具支持。 高風險評價類型并不局限在具體的評價活動中，高風險評價主要以其是否對學生的總成績占決定性影響來進行劃分。例如，考試、作業(yè)、項目等都可以作為高風險評價活動。高風險評價活動往往發(fā)生在學期末或者學期中等重要節(jié)點，期中考試和期末考試可以被看做高風險評價。期中考試的性質是診斷性考試，作用包括兩個方面，即診斷學習和診斷教學。診斷學習指根據期中考試成績落實學生現階段學習情況及困難所在，并及時給予學生支持，以促進學生后續(xù)發(fā)展； 而診斷教學的目的在于經過診斷總結經驗和教訓，促使教與學相互溝通，最終達到優(yōu)化教育教學效果的目的。而期末考試在很大程度上決定了學生本學期的學習是否達到課程要求以及是否有資格進入下一階段的學習，重要性不言而喻。因此，期中考試和期末考試通常在課程評價中占比較高，如波士頓大學《計算機科學》課程期中考試和期末考試分別占課程總成績的20%和40%，且分別只有一次考試機會。學生需要付出較多的時間和精力進行兩項考試的準備，以獲得一個較好的成績。美國在線課程中期中、期末考試這兩項評價活動通常由學習管理系統中的“在線考試”這一工具進行組織，考試流程包括測前調試、創(chuàng)建試題、發(fā)布任務、測后管理四大步驟。

2.保持誠信的監(jiān)測工具。誠信考試一直是美國教育活動中學生必須嚴格遵守的一項準則，這不僅關乎著學校、教師教育教學工作質量的評定，更是關乎學生為學為人的態(tài)度。那么如何保證學生對于這些工具的使用合乎規(guī)范，如何規(guī)避學生在在線課程評價的過程中的不誠信考試行為，這就需要保持誠信的監(jiān)測工具發(fā)揮重要作用。美國在線課程評價中保持誠信的監(jiān)測工具有Respondus、Proctorio等，它們功能強大，著重強調監(jiān)考的安全性、透明性和有效性，且與Canvas、Blackboard、Brightspace、Moodle等學習管理系統有效整合在一起。若高?；蛘咂渌逃龣C構使用了多個LMS,或者當一個教師使用了不同的LMS時，監(jiān)測工具也能很容易地將考試在不同的LMS之間進行轉換。其操作僅需在選用的監(jiān)測工具中“檢索”原始考試，然后將其“發(fā)布”到新系統即可。監(jiān)測工具主要包括鎖定瀏覽器和音視頻實時監(jiān)考兩個主要功能。

第一， 鎖定瀏覽器工具(Lock Down Browser)。Lock Down Browser可以對學習管理系統中的在線評價環(huán)境進行鎖定，用于確保在線評價活動在封閉的環(huán)境中進行，從而使在線評價順利完成。Lock Down Browser可對學生的計算機或平板電腦等考試設備進行瀏覽器鎖定，使學生無法在在線考試期間使用虛擬機、遠程桌面、屏幕共享、即時通信、屏幕記錄等數百種常見和先進的數字作弊手段。一旦監(jiān)測到學生考試設備出現上述情況，Lock Down Browser的警報就會自動啟動，并對學生的作弊行為進行記錄。

Lock Down Browser在當前美國在線課程評價中發(fā)揮了極為重要的作用，主要有8個功能。一是顯示全屏，不能最小化。在線評價的過程中，學生的計算機或平板電腦將被鎖定為全屏模式，不可以進行最小化和鎖屏操作。二是刪除菜單和工具欄選項。在線評價的過程中，Lock Down Browser僅保留了瀏覽器中“下一步”“上一步”“刷新”和“停止”這幾個工具欄選項，菜單及其他選項均被刪除，這也在一定程度上防止學生考試作弊。三是禁止訪問其他程序。Lock Down Browser在在線評價期間將學生的計算機或筆記本電腦鎖定在特定的瀏覽器上，其他程序的訪問操作都是不被允許的。四是禁用打印和截屏功能。此項功能明確顯示了學生在考試時將無法將考試信息以打印和截屏形式傳送、泄露給其他人，從而降低了學生作弊概率。五是禁止復制粘貼。也就是說，考生既無法將在線評價界面上的考試信息復制粘貼到其他界面，也無法將其他界面的與考試有關的信息復制粘貼到在線評價的界面中進行作答。六是右鍵菜單選項、功能鍵、鍵盤快捷鍵和任務切換鍵被禁止使用。七是在學生提交作答試卷以進行評分之前，學生不能退出考試界面。這項功能很好地避免了學生退出考試界面，查閱考試相關資料后重新進入考試界面繼續(xù)作答這一作弊行為。八是禁止訪問其他瀏覽器。用于在線評價的瀏覽器一旦被鎖定，Lock Down Browser將會禁止考生訪問其他瀏覽器，從而有效防止考生作弊。[7]

第二，音視頻實時監(jiān)考(Monitor)。如果說Lock Down Browser僅僅是對考生的計算機或筆記本電腦等考試設備進行了監(jiān)控和限制，而考生本人的其他行為依然游離在在線評價監(jiān)考的視線之外，那么音視頻實時監(jiān)考就是在Lock Down Browser的基礎上，利用考生設備的攝像頭和行業(yè)領先的視頻分析技術來防止學生在考試期間作弊。這就是監(jiān)測工具的第二個功能，在鎖定瀏覽器的基礎上進行音視頻實時監(jiān)考。

音視頻實時監(jiān)控功能主要作用于三個時段：一是考前。監(jiān)考系統頁面會彈出“啟動序列”按鈕，按鈕包括了教師提前設置好的要求，學生需按照按鈕指示，如人臉識別驗證考生信息、打開設備攝像頭并向教師展示考場環(huán)境等，而拍攝記錄只有教師能夠進行查看監(jiān)測；二是考中。考中實時監(jiān)控包括三個層面。第一層是AI識別，包括面部檢測、動作記錄和明暗測定的高級算法，以分析學生和考試環(huán)境。例如，一個畫面中是否同時出現了考生和其他與考試無關人員，考試過程中是否出現更換考生，即替考現象等。第二層是通過對學生考試設備數據(鍵盤活動、鼠標移動、硬件更改等) 的識別來判斷學生是否存在考試作弊行為以及其他異常情況。第三層是機器學習算法，利用眼動追蹤和監(jiān)視背景噪音來自動標記任何可疑行為，且能實時掃描作弊行為，并為每個學生自動生成一個風險評估報告；三是考后。監(jiān)考系統實時監(jiān)控考生考試行為后，將監(jiān)控視頻進行保存，并將具有作弊嫌疑的監(jiān)控視頻進行標記，以備考試相關工作人員進行查看確認。

三、結語

評價活動一直是教學活動的核心，它直接指向學生學習結果和學習目標是否達成，尤其是在在線課程情境下，許多學習活動是在異步學習環(huán)境下發(fā)生，教師不能如在傳統課堂中關注學生學習的全過程，因此，如何有效評價學生的學習則更為關鍵。

與傳統的在線課程評價活動相比，美國在線課程中評價活動的新分類和工具應用體現出美國在線課程設計的實用主義和人文主義。形成性評價與總結性評價被低風險評價和高風險評價代替。評價的重點從關注評價過程轉變?yōu)殛P注學生的學習過程。學生是否掌握了階段性學習目標，是否需要對內容進行重新學習，由低風險評價活動評價。學生是否達到了掌握本課程的學習目標，是否能夠獲得學分則由高風險評價活動來決定。在線課程的靈活性、對學生需求的人文關懷，則由低風險評價的多次評價、多次試錯體現。美國在線課程的評價活動并非完美，可以看到美國在線教育工作者和研究者依然在嘗試和摸索。

近年來，我國在線教育也在快速發(fā)展。國家相關政策的扶持、教育技術的更新與應用、教育工作者理念的前瞻性趨勢、適合于在線教育發(fā)展的大環(huán)境作用等都是推進在線課程不斷進步的內在動力。與此同時，根據國家相關教育文件精神，我國教育評價越來越關注對學生綜合素質的評價。核心素養(yǎng)體系的構建與發(fā)展，要求教育對學生的培養(yǎng)不單單要關注學生知識與技能的掌握情況，更要關注學生內在需求、全面性素質與創(chuàng)新能力等方面的發(fā)展。目前，美國相對成熟的在線課程評價實踐與進展能夠給予一定啟示。但是，在此基礎上，如何將國家教育教學評價的新理念與我國在線課程快速發(fā)展的時機相契合，探索適合我國教育實踐的在線課程評價活動體系值得我國教育工作者關注與思考。