基于Delphi平臺(tái)軟件的某考試作弊甄別研究

劉叔才， 張泉慧， 何佳， 丁一民， 沈瑞文

考試作弊是許多大型考試中普遍存在的現(xiàn)象。隨著科技的發(fā)展，作弊的方式也變得多樣化，這給考試的監(jiān)管帶來(lái)了極大的挑戰(zhàn)。為了杜絕作弊，除了事前防范，現(xiàn)場(chǎng)偵查，事后舉報(bào)等傳統(tǒng)手段，先進(jìn)的統(tǒng)計(jì)方法也逐漸成為作弊甄別的一個(gè)較為有效的手段。國(guó)外在20世紀(jì)20年代就已開始對(duì)考試作弊進(jìn)行甄別研究，其中包括Angoff（1974）的B指數(shù)、g2方法、CP統(tǒng)計(jì)量、錯(cuò)同分析、K指數(shù)方法、kappa統(tǒng)計(jì)量等方法；國(guó)內(nèi)的研究起步較晚，主要有趙世明［1］（2002及2003）的錯(cuò)同率方法、kappa方法、K指數(shù)方法等。這些方法中，以錯(cuò)同率方法應(yīng)用最廣，這是因?yàn)樽鞅捉Y(jié)果主要體現(xiàn)在作答雷同，答錯(cuò)雷同就成為了重要指標(biāo)。但實(shí)際上，作答雷同包括答對(duì)相同和答錯(cuò)相同，因此本研究中選擇了答錯(cuò)雷同和錯(cuò)同、對(duì)同雷同進(jìn)行分析驗(yàn)證。

1 對(duì)象與方法

1.1 研究對(duì)象

研究對(duì)象來(lái)自某年某類考試科目一成績(jī)低于一個(gè)標(biāo)準(zhǔn)差，且科目四成績(jī)大于一個(gè)標(biāo)準(zhǔn)差的考生群體，共3 100人，稱為異常考生。樣本選取依據(jù)切比雪夫（Chebyshev）不等式數(shù)據(jù)生成方法［2］。

1.2 研究方法

使用基于Delphi開發(fā)的平臺(tái)軟件，以該軟件分析錯(cuò)同率和錯(cuò)同對(duì)同率。

2 某考試作弊判斷標(biāo)準(zhǔn)

2.1 研究中所涉及的定義

總選同數(shù)：A考生答卷和B考生答卷選項(xiàng)相同的題目數(shù)。

總選同率：A考生答卷和B考生答卷選項(xiàng)相同的題目數(shù)占總題目數(shù)的比例。

錯(cuò)同數(shù)：A考生答卷和B考生答卷都答錯(cuò)且選項(xiàng)相同的題目數(shù)。

對(duì)同數(shù)：A考生答卷和B考生答卷都答對(duì)且選項(xiàng)相同的題目數(shù)。

錯(cuò)同率A：A考生答卷和B考生答卷都答錯(cuò)且選項(xiàng)相同的題目數(shù)占A考生答卷答錯(cuò)題目數(shù)的比例。

對(duì)同率A：A考生答卷和B考生答卷都答對(duì)且選項(xiàng)相同的題目數(shù)占A考生答卷答對(duì)題目數(shù)的比例。

錯(cuò)同率B：A考生答卷和B考生答卷都答錯(cuò)且選項(xiàng)相同的題目數(shù)占B考生答卷答錯(cuò)題目數(shù)的比例。

對(duì)同率B：A考生答卷和B考生答卷都答對(duì)且選項(xiàng)相同的題目數(shù)占B考生答卷答對(duì)題目數(shù)的比例。平均錯(cuò)同率：錯(cuò)同率A和錯(cuò)同率B的平均值。平均對(duì)同率：對(duì)同率A和對(duì)同率B的平均值。錯(cuò)同對(duì)同率：錯(cuò)同率和對(duì)同率的乘積。

2.2 用錯(cuò)同率法進(jìn)行某考試作弊判斷標(biāo)準(zhǔn)既往的研究結(jié)果

用錯(cuò)同率法作為某考試5選項(xiàng)選擇題作弊雷同答卷的判斷標(biāo)準(zhǔn)，既往的研究結(jié)果主要有：①在無(wú)作弊行為的正常常規(guī)考場(chǎng)（室）情況下，錯(cuò)同率在不同分?jǐn)?shù)段具有一定穩(wěn)定性，且接近選項(xiàng)的隨機(jī)選項(xiàng)選擇率0.20［1］；②在考慮5選項(xiàng)選擇題錯(cuò)同率影響因素的條件下，可以得出每年的錯(cuò)同率的上限浮動(dòng)在0.5上下，可以作為適當(dāng)情況下的判斷標(biāo)準(zhǔn)［3］。

2.3 用錯(cuò)同對(duì)同率法進(jìn)行考試作弊判斷標(biāo)準(zhǔn)的初步嘗試

在本次研究中，以上述異常考生3 100人為主要研究對(duì)象。根據(jù)上述研究結(jié)論，篩選出錯(cuò)同率≥0.54的考生［1］，同時(shí)篩選出錯(cuò)同率≥0.735，且對(duì)同率≥0.735的考生，即錯(cuò)同對(duì)同率≥0.54的考生，對(duì)這兩組人群進(jìn)行分析。從科目一數(shù)據(jù)分析來(lái)看，錯(cuò)同率法和錯(cuò)同對(duì)同率法得出的疑似作弊考生完全一致的有2 950人，占95%以上；對(duì)科目四做了同樣的分析，疑似作弊考生完全一致的比例也大于95%。由此可見，用錯(cuò)同率法和錯(cuò)同對(duì)同率法篩選疑似作弊考生的結(jié)果非常接近。以下主要采用錯(cuò)同法對(duì)作弊甄別進(jìn)行分析論述。

3 作弊甄別分析

對(duì)異?？忌? 100人用錯(cuò)同率法分析軟件進(jìn)行分析，首先按考試的不同類別進(jìn)行分析匯總，如表1和表2，發(fā)現(xiàn)：類別1中，科目四的雷同率均＞96%，而科目一雷同率均＜10%，說(shuō)明相關(guān)考生科目四存在的疑似作弊人數(shù)比較多，科目一的疑似作弊人數(shù)少，差異比較大；類別2中，相關(guān)考生科目四和科目一可能存在作弊人數(shù)在50%左右，差異不太大；其他類別中，科目四和科目一雷同人數(shù)少，存在可疑的作弊人數(shù)非常少。其次，對(duì)異?？忌? 100人用錯(cuò)同率法分析軟件進(jìn)行分析，篩選出科目四疑似作弊考生2 800人，按省、市進(jìn)行分布匯總（表格在此從略），在實(shí)際工作中可以將結(jié)果反饋至相關(guān)考區(qū)，提示其對(duì)雷同率較高地區(qū)重點(diǎn)關(guān)注。最后，將科目四疑似作弊考生2 800人按雷同人次數(shù)排序匯總，得出雷同人次數(shù)最多為1 200的考生，雷同人次數(shù)最少為1的考生，其他介于兩者之間。必要時(shí)，這些數(shù)據(jù)可以為相關(guān)部門調(diào)查大規(guī)模通訊工具作弊情況提供支持。

表1 某年某類考試科目一部分疑似作弊考生雷同卷全國(guó)統(tǒng)計(jì) n，%

表2 某年某類考試科目四部分疑似作弊考生雷同卷全國(guó)統(tǒng)計(jì) n，%

4 基于Delphi平臺(tái)軟件的分析程序

4.1 錯(cuò)同率法比對(duì)算法

4.2 錯(cuò)同對(duì)同率法比對(duì)算法

4.3 兩種算法比較一致的SQL命令

4.4 兩種算法比較不一致的SQL命令

5 結(jié)論與建議

防止考試作弊是考試管理者所需考慮的重要方面之一，是確保考試公平、公正關(guān)鍵所在，也是規(guī)范考試秩序、提升考試質(zhì)量的重要一環(huán)。除了考試現(xiàn)場(chǎng)加強(qiáng)監(jiān)管，提高防止作弊的技術(shù)手段外，考試后對(duì)試卷的作弊甄別也十分必要。由此，國(guó)際上有諸多研究，特別是一些統(tǒng)計(jì)學(xué)方法的應(yīng)用也成為了作弊甄別的一種有效工具［4］。本文利用Delphi平臺(tái)軟件的分析程序，采用“答錯(cuò)雷同、錯(cuò)同對(duì)同雷同”對(duì)某大學(xué)考試作弊甄別的分析驗(yàn)證，所得結(jié)果具有很強(qiáng)的參考價(jià)值，能敏感地分析出雷同率較高地區(qū)，可為相關(guān)部門針對(duì)重點(diǎn)的疑似作弊地區(qū)（或考點(diǎn)）進(jìn)行稽查提供反饋信息支持。為此，建議全國(guó)或區(qū)域性的大型考試要充分利用行之有效的統(tǒng)計(jì)學(xué)方法加強(qiáng)考試后作弊甄別，建立對(duì)雷同率偏高的省、市的反饋機(jī)制，加大對(duì)甄別出雷同人次數(shù)較高的地區(qū)（或考點(diǎn)）及可能作弊的相關(guān)考生的稽查與打擊力度，以進(jìn)一步完善防止考試作弊的管理工作，規(guī)范考試秩序。

［1］趙世明，著.資格考試的理論與實(shí)踐［M］.上海：上海社會(huì)科學(xué)院出版社，2007.

［2］盛驟，謝式千，潘承毅，編.概率論與數(shù)理統(tǒng)計(jì)［M］.第4版.北京：高等教育出版社，2008.

［3］牛諍，朱晶晶，郭永松.以錯(cuò)同率作為醫(yī)師資格考試多選題作弊檢測(cè)指標(biāo)及意義的研究［J］.中國(guó)高等醫(yī)學(xué)教育，2010，（1）：12－13.

［4］劉叔才，劉博雷，葛利榮，等.基于J2EE的醫(yī)學(xué)外語(yǔ)考試網(wǎng)上閱卷系統(tǒng)的研究［J］.中國(guó)社會(huì)醫(yī)學(xué)雜志，2011，28（6）：380－382.