基于概率圖模型的主觀題同行互評(píng)系統(tǒng)的開發(fā)與實(shí)踐*

許嘉 李秋云 劉靜 呂品

摘 要：為了提高在線教育的教學(xué)效率和教學(xué)效果，文章開發(fā)了基于概率圖模型的主觀題同行互評(píng)系統(tǒng)。該系統(tǒng)提供面向主觀題的同行互評(píng)功能，讓學(xué)生參與到主觀題作業(yè)的評(píng)價(jià)中來?；诟怕蕡D模型對(duì)學(xué)生的評(píng)分偏見性和評(píng)分可靠性進(jìn)行建模，保障了基于學(xué)生給出的評(píng)價(jià)分?jǐn)?shù)估計(jì)主觀題作業(yè)真實(shí)分?jǐn)?shù)的準(zhǔn)確性。在多個(gè)本科教學(xué)班的教學(xué)實(shí)踐中應(yīng)用了該系統(tǒng)。教學(xué)實(shí)踐結(jié)果表明該系統(tǒng)在有效減輕教師的主觀題作業(yè)批改負(fù)擔(dān)的同時(shí)，提升了學(xué)生的課程參與度并促進(jìn)學(xué)生間的互助學(xué)習(xí)。

關(guān)鍵詞：概率圖模型;主觀題;同行互評(píng)系統(tǒng);教學(xué)實(shí)踐

中圖分類號(hào)：TP393? ? ?文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1673-8454（2021）10-0087-05

一、引言

隨著大數(shù)據(jù)、云計(jì)算和互聯(lián)網(wǎng)技術(shù)的發(fā)展，以Coursera、edX、中國大學(xué)MOOC 和學(xué)堂在線為代表的國內(nèi)外在線教育平臺(tái)成為當(dāng)下智能教育研究領(lǐng)域的關(guān)注熱點(diǎn)。在線教育平臺(tái)的興起有助于學(xué)生訪問到優(yōu)質(zhì)的教學(xué)資源，從而提升教育的公平性，然而也給平臺(tái)上的任課教師帶來了嚴(yán)峻的教學(xué)挑戰(zhàn)。其中最突出的教學(xué)挑戰(zhàn)在于如何高效批改大規(guī)模選課學(xué)生在平臺(tái)上提交的作業(yè)。批改作業(yè)的方式大致可分為教師批改、機(jī)器自動(dòng)批改、同行互評(píng)三種。教師批改是傳統(tǒng)教育中慣用的作業(yè)評(píng)估方式，可靠性較高。然而，一個(gè)熱門的線上課程的選課人數(shù)可高達(dá)幾千甚至上萬，因此大規(guī)模線上課程顯然不適于采用教師批改的方式評(píng)估學(xué)生作業(yè)。機(jī)器自動(dòng)批改的方式對(duì)擁有固定答案的客觀題（例如選擇題和判斷題）非常友好，大大減輕了教師批改作業(yè)的負(fù)擔(dān)。相對(duì)于客觀題，主觀題更能考察學(xué)生的語言表達(dá)能力、知識(shí)運(yùn)用能力與創(chuàng)新思維能力，[1]然而由于沒有固定答案，主觀題的批改很難由計(jì)算機(jī)自動(dòng)完成，[2]極大加重了任課教師的作業(yè)批改負(fù)擔(dān)，使他們無法將精力用于課程內(nèi)容的改進(jìn)和提高?？梢?，如何有效進(jìn)行大規(guī)模主觀題作業(yè)的批改是當(dāng)前教育研究領(lǐng)域亟待解決的重要問題。

同行互評(píng)是在線教育領(lǐng)域用以解決大規(guī)模主觀題作業(yè)批改問題的重要途徑。同行互評(píng)是指學(xué)生依照教師制定的得分指導(dǎo)對(duì)其他學(xué)生的作業(yè)進(jìn)行評(píng)價(jià)，具有諸多益處：一方面減輕了任課教師主觀題作業(yè)的批改負(fù)擔(dān);另一方面學(xué)生通過評(píng)判他人的主觀題作業(yè)可以學(xué)習(xí)到不同的解題思路，還能提高學(xué)生的課程參與度。[3][4]雖然不少主流在線教育平臺(tái)已提供主觀題作業(yè)的同行互評(píng)功能（例如Coursera和中國大學(xué)慕課），然而這些平臺(tái)只是簡單基于一份作業(yè)對(duì)應(yīng)的所有學(xué)生評(píng)分的中位數(shù)或平均分來估計(jì)這份作業(yè)的真實(shí)分?jǐn)?shù)?？紤]到參與評(píng)價(jià)的學(xué)生擁有不同的評(píng)分偏見和評(píng)分可靠性，[5]簡單基于平均分或中位數(shù)來估計(jì)作業(yè)的真實(shí)分?jǐn)?shù)顯然不夠準(zhǔn)確。[6]近年來，研究人員將同行評(píng)價(jià)者的評(píng)分可靠性及評(píng)分偏見作為模型變量，構(gòu)建了支持同行互評(píng)的概率圖模型，能夠基于多個(gè)學(xué)生的評(píng)價(jià)分?jǐn)?shù)更準(zhǔn)確地估計(jì)主觀題作業(yè)的真實(shí)分?jǐn)?shù)。[7-10]鑒于此，本文基于目前最好的概率圖模型PG7[10]開發(fā)了主觀題同行互評(píng)系統(tǒng)。該系統(tǒng)的教師端支持布置主觀題作業(yè)、設(shè)置主觀題作業(yè)得分指導(dǎo)、設(shè)置互評(píng)前的學(xué)生評(píng)價(jià)訓(xùn)練、查看學(xué)生互評(píng)反饋等功能。該系統(tǒng)的學(xué)生端則提供主觀題作業(yè)提交、評(píng)價(jià)訓(xùn)練、學(xué)生互評(píng)打分、學(xué)生針對(duì)其他學(xué)生給出的評(píng)價(jià)分?jǐn)?shù)進(jìn)行反饋的功能。此外，系統(tǒng)還提供互評(píng)作業(yè)自動(dòng)分配以及基于概率圖模型PG7的作業(yè)真實(shí)分?jǐn)?shù)估計(jì)等重要功能?；诙鄠€(gè)本科教學(xué)班參與的課堂教學(xué)實(shí)踐表明該系統(tǒng)有效減輕了教師作業(yè)批改負(fù)擔(dān)，激發(fā)了學(xué)生的課程參與度，取得了良好的教學(xué)實(shí)踐效果。

二、主觀題同行互評(píng)技術(shù)應(yīng)用現(xiàn)狀

近年來，國內(nèi)外提出了不少主觀題評(píng)判技術(shù)。例如，國內(nèi)主流的MOOC平臺(tái)“中國大學(xué)MOOC”實(shí)現(xiàn)了主觀題作業(yè)的布置與互評(píng)功能。國外的大規(guī)模開放在線課程平臺(tái)Coursera和edX也均支持主觀題作業(yè)的同行互評(píng)。以上平臺(tái)均以一份作業(yè)得到的多個(gè)互評(píng)分?jǐn)?shù)的中位數(shù)來估計(jì)該作業(yè)的真實(shí)分?jǐn)?shù)，進(jìn)而設(shè)定為該作業(yè)的最終得分。為了進(jìn)一步提高對(duì)主觀題作業(yè)真實(shí)分?jǐn)?shù)的估計(jì)準(zhǔn)確性，Alfaro等人[11]提出一個(gè)協(xié)同評(píng)閱和打分系統(tǒng)，命名為CrowdGrader。與中國大學(xué)MOOC不同，CrowdGrader系統(tǒng)在學(xué)生完成互評(píng)之后要求學(xué)生對(duì)同行評(píng)價(jià)者針對(duì)其作業(yè)給出的評(píng)分和評(píng)語做出評(píng)價(jià)反饋，以表明同行評(píng)價(jià)者給出的評(píng)分是否合理、評(píng)語是否有幫助。除了考慮某學(xué)生提交的作業(yè)所得到的同行評(píng)分，CrowdGrader系統(tǒng)還將綜合考慮該生在同行評(píng)價(jià)中表現(xiàn)出的評(píng)分準(zhǔn)確性和反饋幫助性來確定該生所提交作業(yè)的最終分?jǐn)?shù)。

然而，以上主觀題互評(píng)平臺(tái)或技術(shù)均未考慮學(xué)生在互評(píng)過程中的偏見和可靠性，使它們所給出的作業(yè)最終分?jǐn)?shù)往往不夠準(zhǔn)確。鑒于此，本文基于目前最好的同行互評(píng)概率圖模型——PG7[10]設(shè)計(jì)與實(shí)現(xiàn)了主觀題同行互評(píng)系統(tǒng)，通過對(duì)學(xué)生的評(píng)分偏見和評(píng)分可靠性建模，以期更準(zhǔn)確地估計(jì)主觀題作業(yè)的真實(shí)分?jǐn)?shù)，有效推進(jìn)同行互評(píng)技術(shù)于在線教育中的應(yīng)用。

三、基于概率圖模型的主觀題同行互評(píng)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

1.系統(tǒng)關(guān)鍵技術(shù)與開發(fā)環(huán)境

（1）概率圖模型PG7[10]

PG7是近年來最有效的同行互評(píng)應(yīng)用背景下的概率圖模型，該模型對(duì)同行評(píng)價(jià)者的評(píng)分偏見和評(píng)分可靠性建模，以學(xué)生的互評(píng)分?jǐn)?shù)、互評(píng)相對(duì)分?jǐn)?shù)（即同一個(gè)評(píng)價(jià)者針對(duì)不同作業(yè)給出的評(píng)分間的差值）為輸入，推斷模型中各個(gè)潛在變量（即評(píng)價(jià)者偏見、評(píng)價(jià)者可靠性和每份作業(yè)的真實(shí)分?jǐn)?shù)）的后驗(yàn)分布，進(jìn)而采用Gibbs采樣技術(shù)[12]估計(jì)每份作業(yè)的真實(shí)分?jǐn)?shù)。本文基于概率圖模型PG7提出了主觀題同行互評(píng)系統(tǒng)，以期保障基于同行評(píng)價(jià)分?jǐn)?shù)估計(jì)作業(yè)真實(shí)分?jǐn)?shù)的準(zhǔn)確性。

（2）Spring Boot框架

開源的Spring Boot框架簡化了Spring項(xiàng)目的初始搭建環(huán)境以及開發(fā)過程，具有很多優(yōu)勢。本文采用Spring Boot框架配置基于概率圖模型的主觀題同行互評(píng)系統(tǒng)，簡化配置過程，使jar文件的依賴管理、應(yīng)用編譯和應(yīng)用部署更為簡單，提高開發(fā)效率。

（3）數(shù)據(jù)持久化工具

在進(jìn)行主觀題同行互評(píng)系統(tǒng)的開發(fā)和應(yīng)用時(shí)，需要對(duì)關(guān)系型數(shù)據(jù)庫中的大量數(shù)據(jù)頻繁進(jìn)行增刪改查的操作。關(guān)系—對(duì)象映射（ORM）的出現(xiàn)解決了關(guān)系數(shù)據(jù)和程序?qū)ο箢l繁轉(zhuǎn)換的問題。[13]MyBatis是目前主流的 ORM 框架，本文采用MyBatis框架對(duì)JDBC的訪問接口進(jìn)行封裝，在對(duì)數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行增刪改查時(shí)通過簡單的XML或注解來配置和映射原生信息，可以自定義 SQL語句、存儲(chǔ)過程以及高級(jí)映射。通過此框架，開發(fā)過程中不再需要手動(dòng)設(shè)置參數(shù)和獲取結(jié)果集，提高了開發(fā)效率。

（4）安全框架

本文采用Apache Shiro安全框架實(shí)現(xiàn)了用戶登錄過程的身份認(rèn)證、授權(quán)、加密和會(huì)話管理等等，以此保障主觀題互評(píng)系統(tǒng)用戶信息的安全。

2.系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

（1）系統(tǒng)架構(gòu)

MVC（即Model View Controller）是一種軟件架構(gòu)模式，支持用一種業(yè)務(wù)邏輯、數(shù)據(jù)與界面顯示分離的方法來組織代碼，具有耦合性低、重用性高、部署快、生命周期成本低、可維護(hù)性高的優(yōu)勢。因此，本文采用MVC架構(gòu)設(shè)計(jì)與構(gòu)建基于概率圖模型的主觀題同行互評(píng)系統(tǒng)，該系統(tǒng)的架構(gòu)如圖1所示。系統(tǒng)中的主觀題同行互評(píng)平臺(tái)包括客戶端和Web服務(wù)器兩部分，該平臺(tái)通過與數(shù)據(jù)庫進(jìn)行交互讀取或?qū)懭胂嚓P(guān)信息。為了提高系統(tǒng)應(yīng)對(duì)大量學(xué)生同時(shí)訪問的并發(fā)處理能力，使用Redis對(duì)數(shù)據(jù)進(jìn)行緩存處理。Redis是基于內(nèi)存的數(shù)據(jù)庫，具備訪問速度快的優(yōu)勢，同時(shí)也支持?jǐn)?shù)據(jù)持久化功能。

（2）系統(tǒng)功能模塊設(shè)計(jì)

基于概率圖模型的主觀題同行互評(píng)系統(tǒng)支持管理員、教師、學(xué)生三種角色。不同角色對(duì)系統(tǒng)功能有不同的操作權(quán)限。圖2展示了該系統(tǒng)的功能模塊。管理員角色可操作的功能有用戶管理、權(quán)限管理、日志管理;教師角色可操作的功能為布置作業(yè)、批改作業(yè)、修改成績;學(xué)生角色可操作的功能是提交作業(yè)、作業(yè)互評(píng)、互評(píng)反饋。本文對(duì)不同角色的權(quán)限管理采用主流的Shiro安全框架實(shí)現(xiàn)。

（3）數(shù)據(jù)庫設(shè)計(jì)

從基于概率圖模型的主觀題同行互評(píng)系統(tǒng)的功能需求出發(fā)可歸納出用戶、角色、權(quán)限、課程、作業(yè)、主觀題題目、答案、互評(píng)評(píng)價(jià)等數(shù)據(jù)庫實(shí)體。這些實(shí)體對(duì)應(yīng)于關(guān)系數(shù)據(jù)庫中的不同數(shù)據(jù)表。以作業(yè)表和互評(píng)評(píng)價(jià)表為例，作業(yè)表涉及的數(shù)據(jù)庫字段為作業(yè)ID、作業(yè)描述、作業(yè)名稱、批改方式、互評(píng)開始結(jié)束時(shí)間、反饋開始時(shí)間和反饋結(jié)束時(shí)間，互評(píng)評(píng)價(jià)表擁有的數(shù)據(jù)庫字段為評(píng)價(jià)ID、作業(yè)ID、評(píng)價(jià)者ID、被評(píng)價(jià)者ID、互評(píng)評(píng)分和評(píng)語。

（4）系統(tǒng)開發(fā)環(huán)境

本文提出的基于概率圖模型的主觀題同行互評(píng)系統(tǒng)的軟件開發(fā)環(huán)境為：Spring Boot+MyBatis-Plus+Shiro，Windows 7操作系統(tǒng)，開發(fā)語言為Java，數(shù)據(jù)庫管理系統(tǒng)是MySQL Server 8.0。系統(tǒng)的硬件開發(fā)環(huán)境為：Intel Xeon E7-4850 V2 2.30GHZ CPU、16GB內(nèi)存、300GB硬盤。

四、系統(tǒng)應(yīng)用

系統(tǒng)登錄是用戶訪問系統(tǒng)的初始界面，用戶必須通過系統(tǒng)身份驗(yàn)證才能進(jìn)入系統(tǒng)主界面。在登錄時(shí)，用戶需要輸入自己的用戶名和密碼，系統(tǒng)則會(huì)基于數(shù)據(jù)庫中存儲(chǔ)的用戶數(shù)據(jù)判斷用戶輸入的用戶名和密碼是否正確，從而確定登錄操作的執(zhí)行結(jié)果。若用戶登錄成功，系統(tǒng)會(huì)確定該用戶的角色，并根據(jù)用戶角色的系統(tǒng)功能訪問權(quán)限呈現(xiàn)系統(tǒng)的主界面。下面以教師角色和學(xué)生角色為例介紹各自的系統(tǒng)應(yīng)用功能。

1.教師端

布置作業(yè)：教師進(jìn)入作業(yè)管理界面后點(diǎn)擊新增按鈕即可布置作業(yè)。作業(yè)管理界面如圖3所示，教師需要填寫作業(yè)名稱、作業(yè)描述、選擇包含主觀題的試卷、設(shè)置作業(yè)提交開始與截止的時(shí)間，以及選擇批改方式（互評(píng)或者教師批改）。若教師選擇以互評(píng)的方式批改作業(yè)，則其還需設(shè)置作業(yè)互評(píng)的截止時(shí)間和反饋的截止時(shí)間。在作業(yè)提交截止日期之前，教師都可以根據(jù)需要修改以上作業(yè)的基本信息。

設(shè)置得分指導(dǎo)與互評(píng)訓(xùn)練：教師在完成主觀題作業(yè)的基本設(shè)置之后，可以在得分指導(dǎo)設(shè)置界面為該作業(yè)設(shè)置得分指導(dǎo)，用于指導(dǎo)學(xué)生完成互評(píng)。得分指導(dǎo)設(shè)置界面如圖4所示，教師需要填寫得分指導(dǎo)的內(nèi)容、指定得分指導(dǎo)對(duì)應(yīng)的分值、設(shè)置得分指導(dǎo)可評(píng)分?jǐn)?shù)（即在該得分指導(dǎo)下，學(xué)生互評(píng)時(shí)可以選擇的分?jǐn)?shù)）。在完成得分指導(dǎo)設(shè)置后，教師還可以設(shè)置互評(píng)訓(xùn)練?；ピu(píng)訓(xùn)練的目的是讓學(xué)生在參與正式互評(píng)之前熟悉互評(píng)流程，從而提高學(xué)生的互評(píng)質(zhì)量。設(shè)置互評(píng)訓(xùn)練時(shí)教師需要設(shè)置示例答案和評(píng)語，學(xué)生在互評(píng)訓(xùn)練中則需要針對(duì)教師給出的示例答案和評(píng)語完成批改練習(xí)。

查看成績和互評(píng)信息：在互評(píng)活動(dòng)結(jié)束后，教師可以在學(xué)生成績查閱界面查看系統(tǒng)基于概率圖模型PG7預(yù)測得到的每名學(xué)生作業(yè)的最終成績和互評(píng)相關(guān)的數(shù)據(jù)信息。學(xué)生成績查閱界面如圖5所示，教師可以在該界面查看和調(diào)整學(xué)生作業(yè)的最終成績，可以查看每個(gè)同行評(píng)價(jià)者針對(duì)該作業(yè)給出的評(píng)價(jià)分?jǐn)?shù)和評(píng)語，還可以查看提交作業(yè)的學(xué)生針對(duì)同行評(píng)價(jià)者的評(píng)價(jià)給出的反饋。

2.學(xué)生端

主觀題作業(yè)互評(píng)：對(duì)一份學(xué)生提交的主觀題作業(yè)，系統(tǒng)以隨機(jī)分配的方式將該作業(yè)分配給3個(gè)學(xué)生批改。由于每個(gè)提交作業(yè)的學(xué)生都需要參與作業(yè)互評(píng)，因此系統(tǒng)的作業(yè)分配機(jī)制最終保證一個(gè)學(xué)生被分配3份主觀題作業(yè)進(jìn)行批改。學(xué)生互評(píng)界面如圖6所示，學(xué)生在該界面依照教師給出的得分指導(dǎo)對(duì)同行提交的主觀題作業(yè)進(jìn)行打分并給出評(píng)語。

互評(píng)反饋：作業(yè)互評(píng)活動(dòng)截止后，學(xué)生可以對(duì)同行評(píng)價(jià)者針對(duì)其提交的作業(yè)給出的評(píng)分和評(píng)語進(jìn)行反饋，以表明同行評(píng)價(jià)者給出的評(píng)分是否合理、評(píng)語是否對(duì)自己有幫助。教師則可以在教師端依據(jù)學(xué)生的互評(píng)反饋信息調(diào)整學(xué)生作業(yè)的最終成績。學(xué)生互評(píng)反饋界面如圖7所示。

五、基于概率圖模型的主觀題同行互評(píng)系統(tǒng)的教學(xué)實(shí)踐

本文提出的基于概率圖模型的主觀題同行互評(píng)系統(tǒng)在廣西大學(xué)《數(shù)據(jù)庫原理》課的多個(gè)本科教學(xué)班的教學(xué)實(shí)踐中得到應(yīng)用。涉及的本科教學(xué)班為5個(gè)，參與互評(píng)的學(xué)生為284人，布置的主觀題作業(yè)數(shù)為3。基于該系統(tǒng)實(shí)施同行互評(píng)的3次主觀題作業(yè)的相關(guān)統(tǒng)計(jì)數(shù)據(jù)如表1所示。

教學(xué)實(shí)踐表明，概率圖模型PG7對(duì)主觀題作業(yè)真實(shí)分?jǐn)?shù)的預(yù)測準(zhǔn)確性高，只有不到2%的學(xué)生在互評(píng)反饋環(huán)節(jié)中提出PG7基于同行評(píng)價(jià)者評(píng)分預(yù)測給出的作業(yè)最終成績不合理，需要教師對(duì)該作業(yè)進(jìn)行人工評(píng)判。同時(shí)，77%的學(xué)生表示同行評(píng)價(jià)者針對(duì)其作業(yè)給出的評(píng)語對(duì)其是有幫助的?？梢?，本文提出的基于概率圖模型的主觀題同行互評(píng)系統(tǒng)不但可以有效減輕任課教師對(duì)主觀題作業(yè)的批改工作量，還能提升學(xué)生的課程參與度和促進(jìn)學(xué)生間互助學(xué)習(xí)，最終有效提高了在線教育的教學(xué)效率和教學(xué)效果。

六、總結(jié)與展望

本文設(shè)計(jì)與實(shí)現(xiàn)了基于概率圖模型的主觀題同行互評(píng)系統(tǒng)。系統(tǒng)提供主觀題作業(yè)布置、得分指導(dǎo)設(shè)置、互評(píng)訓(xùn)練設(shè)置、作業(yè)互評(píng)與互評(píng)反饋等重要互評(píng)功能。系統(tǒng)基于概率圖模型對(duì)學(xué)生在作業(yè)互評(píng)活動(dòng)中的評(píng)分偏見和評(píng)分可靠性進(jìn)行建模，從而有效保障了基于學(xué)生給出的評(píng)價(jià)分?jǐn)?shù)估計(jì)作業(yè)真實(shí)分?jǐn)?shù)的準(zhǔn)確性。由多個(gè)本科教學(xué)班參與的主觀題作業(yè)互評(píng)教學(xué)實(shí)踐表明該系統(tǒng)的互評(píng)功能完善，基于同行評(píng)價(jià)者提供的互評(píng)分?jǐn)?shù)所預(yù)測的作業(yè)分?jǐn)?shù)質(zhì)量高，在減輕教師作業(yè)批改負(fù)擔(dān)的同時(shí)提升了學(xué)生的課程參與度、促進(jìn)了學(xué)生間的互助學(xué)習(xí)。

參考文獻(xiàn)：

[1]Paré D E，Joordens S.Peering into large lectures：examining peer and expert mark agreement using peerScholar， an online peer assessment tool[J].Journal of Computer Assisted Learning，2008，24（6）：526-540.

[2]Caragiannis I，Krimpas G A， Voudouris A A.Aggregating partial rankings with applications to peer grading in massive online open courses[C].AAMAS，2015：675-683.

[3]Kulkarni C E，Wei W P，Le H，et al.Peer and self assessment in massive online classes[J].ACM Transactions on Computer-Human Interaction，2013，20（6）.

[4]Gehringer E F.A survey of methods for improving review quality[C].ICWL Workshops，2014：92-97.

[5]Alfaro L D，Shavlovsky M.Dynamics of peer grading： an empirical study[C]. EDM，2016：62-69.

[6]Capuano N，Caballé S.Towards Adaptive peer assessment for MOOCs[C].3PGCIC， 2015：64-69.

[7]Piech C，Huang J，Chen Z，et al.Tuned models of peer assessment in moocs[C].EDM，2013：153-160.

[8]Mi F，Yeung D Y.Probabilistic graphical models for boosting cardinal and ordinal peer grading in moocs[C].AAAI，2015：454-460.

[9]Chan H P，King I.Leveraging social connections to improve peer assessment in moocs[C].WWW，2017：341-349.

[10]Wang T Q，Li Q，Gao J，et al.Improving peer assessment accuracy by incorporating relative peer grades[C].EDM，2019：450-455.

[11]Alfaro L D，Shavlovsky M.Crowdgrader：a tool for crowdsourcing the evaluation of homework assignments[C].SIGCSE，2014：415-420.

[12]Geman S，Geman D.Stochastic relaxation， gibbs distributions， and the bayesian restoration of images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1984（6）：721-741.

[13]喬嵐.基于Mybatis和Spring的JavaEE數(shù)據(jù)持久層的研究與應(yīng)用[J].信息與電腦，2017（8）：73-76.

（編輯：王天鵬）