基于TF-IDF及LSI模型的主觀題自動評分系統(tǒng)研究

周洲 侯開虎 姚洪發(fā)

摘? 要： 隨著計算機輔助教學，多媒體處理以及計算機網(wǎng)絡技術(shù)的發(fā)展與成熟，目前已經(jīng)有許多考試都采用無紙化考試，即機考的形式進行。采取電子化考試的優(yōu)點在于考試可監(jiān)控性強，考試效率高，考試標準化和程序化。并且對于選擇題判斷題這樣的客觀題自動化批改技術(shù)已經(jīng)十分成熟，極大的縮減了改卷時間，提高了改卷效率。但是，由于受到自然語言理解的限制，至今沒有比較完善的主觀題自動批改系統(tǒng)對主觀題進行批改和評分。本文采用TF-IDF及LSI兩種模型作為文本分析模型，使用jieba中文分詞工具進行文本預處理，使用Python語言實現(xiàn)該系統(tǒng)。通過考生答案與標準答案的語義相似度分析，對考生作答的主觀題進行批改和評分。之后隨機抽取5份大學考試中的考生試卷，使用該主觀題自動評分系統(tǒng)進行測試，與改卷老師所給出的評分進行對比分析和說明。實驗結(jié)果表明，本文所提出的主觀題自動評分系統(tǒng)在一般情況下可以滿足主觀題自動評分的功能，是一種值得繼續(xù)深入研究的可行方法。

關(guān)鍵詞： 無紙化考試;主觀題;自動評分;Python;TF-IDF;LSI

【Abstract】： With the development and maturity of computer aided instruction， multimedia processing and computer network technology， many examinations have been conducted in the form of paperless tests， that is， computer tests. The advantage of electronic examination is that it can be monitored well， the efficiency of examination is high， the examination is standardized and programmed. And for the multiple choice judgment questions such as automatic marking technology has been very mature， greatly reduced the time to correct the paper， improve the efficiency of paper correction. However， due to the limitation of natural language understanding， there is no perfect automatic subjective question marking system. In this paper， TF-IDF and LSI models are used as text analysis models， jieba Chinese word segmentation tools are used for text preprocessing， and Python language is used to implement the system. By analyzing the semantic similarity between the test answers and the standard answers， the subjective questions are corrected and graded. Then 5 college examination papers were randomly selected and compared with the real scores of teachers. The experimental results show that the automatic scoring system of subjective questions proposed in this paper can meet the function of automatic scoring of subjective questions under general circumstances and is a feasible method worthy of further study.

【Key words】： Paperless test; Subjective questions; Automatic scoring; Python; TF-IDF; LSI

0? 引言

主觀題自動評分系統(tǒng)，是指使計算機能夠“理解”人類自然語言，在此基礎上，對自然語言構(gòu)成的句子，段落進行評價，評分的系統(tǒng)。雖然近幾年人工智能、大數(shù)據(jù)等技術(shù)日益成熟，但是國內(nèi)應用計算機技術(shù)進行的考試還停留在只有選擇題可以進行自動評分的程度，對于填空、簡答、論述等題目尚未出現(xiàn)比較實用可靠的自動評分技術(shù)，而在一般情況下，批改試卷的老師往往需要在極短的時間下對一份試卷中的一個或幾個題目進行打分。因此在試卷數(shù)量多達成千上萬份的時候，不僅會使得人工評分因為評分老師的主觀因素（包括情緒，生理等方面）的影響，造成評分的誤差和不公平性?；谝陨蠁栴}，研究如何通過利用現(xiàn)有的計算機技術(shù)，對填空、簡答等主觀類型的問題實現(xiàn)自動評分，是一個值得我們研究的問題。

早在20世紀60年代，世界上第一個自動評分系統(tǒng)PEG（Project Essay Grader）被研發(fā)出來，用于作文評分。之后，IEA，IntelliMetric，E-rater，BETSY等作文評分系統(tǒng)被提出，并且都投入到了實際使? ?用中[1]。

近幾年來，對于主觀題自動評分技術(shù)的研究主要集中在考生答案與標準答案之間的相似度比較上。如南鉉國通過提出新的相似度計算公式，實現(xiàn)考生答案與標準答案之間的比較，設定得分閥值。從而自動得出評分[2]。吳巧玲采用改進的匈牙利算法完成考生答案與標準答案之間的語義相似度計算，從而實現(xiàn)自動評分[3]。袁軍使用計算字符串之間的單向貼近度方法對考生答案與標準答案進行對比，從而實現(xiàn)自動評分[4]。查衛(wèi)亮使用最大正向匹配法將考生答案的句子切分然后與標準答案進行比較，從而自動得出評分[5]。

以上不同系統(tǒng)所使用的算法都各有優(yōu)勢，比如南鉉國通過提出新的相似度計算公式所設計的自動評分系統(tǒng)把基于詞表面信息的相似度和基于語義信息的相似度計算很好的結(jié)合在了一起，充分發(fā)揮了采用詞性和詞義方法的長處。而查衛(wèi)亮使用的基于最大正向匹配法所設計的系統(tǒng)可以根據(jù)調(diào)整相似度閥值得到最優(yōu)的評分結(jié)果。當然，各個系統(tǒng)也存在一定的局限性和不足之處需要改進和完善。

本文通過對前人研究結(jié)果的學習總結(jié)，提出一種基于TF-IDF與LSI模型的主觀題自動評分系統(tǒng)。使用Python工具實現(xiàn)該系統(tǒng)，其中界面部分使用PyQt5進行設計，分詞部分選擇jieba中文分詞技術(shù)，設計出適合的主觀題自動評分系統(tǒng)。

首先，使用jieba中文分詞工具將待測文本進行分詞，再通過關(guān)鍵詞和核心詞抽取模型、使用TF-IDF及LSI模型對待測文本與標準文本之間進行相似度度量計算，最后將之前通過模型計算得到的文本相似度與該題分值相乘得到待測文本的最后得分。

1? Jieba分詞技術(shù)

jieba分詞一開始是國外比較常見的一種英語分詞技術(shù)，因其原理較容易理解，分詞效果適用于一般情況。因此隨后被開發(fā)成可以進行中文分詞的技術(shù)。jieba分詞技術(shù)目前支持3種分詞模式：精確分詞模式、全分詞模式和搜索引擎分詞模式。精確分詞模式適合拆分單句，比較適用于文本分析;全分詞模式可以把文本中所有可能成為詞的詞語都掃描出來，速度快，但是會出現(xiàn)歧義詞的問題;搜索引擎分詞模式是在精確分詞模式的基礎上對長詞再次進行切分，相對于精確分詞模式，區(qū)別在于提高了召回率，適用于搜索引擎模式。

2? TF-IDF及LSI模型相似度計算

2.1? TF-IDF模型

TF-IDF模型是文本相似度度量方法中最具有代表性的方法之一，TF-IDF方法一開始應用于信息檢索領域，隨著數(shù)據(jù)挖掘的發(fā)展，現(xiàn)在也經(jīng)常應用于文本數(shù)據(jù)挖掘中。一般情況下來說，文本在計算機中的表示是將其轉(zhuǎn)化為文本向量，從而實現(xiàn)將無法量化的文本轉(zhuǎn)化為可量化計算指標的問題。而文本向量的計算則是由在文本中出現(xiàn)（標注）的N個加權(quán)詞項所計算得來的。而TF-IDF模型是建立在這樣一個假設上提出的：如果一個詞或字與文本主題的相關(guān)性越強，那么該詞在這個文本中出現(xiàn)的頻率就會越高，因此在數(shù)量上就會顯示出其重要性，所以詞與文本主題兩者之間的關(guān)系成正相關(guān)，這種關(guān)系就將其稱作詞頻（Term Frequency，簡稱TF）。如果某個詞或字在語料庫中出現(xiàn)的頻率越大，那么就說明它們的區(qū)分能力越差，兩者成負相關(guān)，這種關(guān)系就將其稱作逆文本頻率（Inverse Document Frequency，簡稱IDF）。通過上述基本思想得出計算某一個詞項TF-IDF的值，通常情況下會采用公式（1）及（2）。

2.2? LSI模型

LSI是基于文檔和詞共現(xiàn)關(guān)系以及奇異值分解（SVD）方法來得到文本主題的一種模型，LSI的基本原理是利用矩陣的奇異值分解，把高維空間中

的詞和文檔向量投影到更低維的空間使之降維并更易于得到兩者之間的關(guān)系，將在高維空間中沒有關(guān)系的文本（高維度文本向量不重合），在沒有相同的詞的情況下也可以用同樣的向量進行表達。LSI模型主要有3個步驟：

（1）模型構(gòu)建與優(yōu)化

LSI模型首先需要用詞-文檔矩陣（Term- Document Matrix）來表示整個文本庫，詞-文檔矩陣是指由不同詞在不同文本中的數(shù)量構(gòu)成的矩陣。在中，m表示文本庫中不同詞的數(shù)量，中的每一行對應一個詞;n表示文本庫中的文本總數(shù)量，中的每一列則對應一個文本。則根據(jù)以上定義，矩陣中的某個元素就表示第i個詞在第j個文本中出現(xiàn)的次數(shù)。但是因為的數(shù)量級可能會很大，也有可能為“0”，所以并不能采用的原始值，需要對其進行優(yōu)化以后，再采用其值。對于優(yōu)化值，本文使用局部權(quán)值計算函數(shù)和全局權(quán)值計算函數(shù)的乘積來表示。

3? 主觀題自動評分系統(tǒng)設計

本文分三個階段對基于TF-IDF模型及LSI模型的主觀題自動評分系統(tǒng)進行設計，各個階段的內(nèi)容歸納并為3個模塊，分別是輸入模塊、文本處理模塊、輸出模塊，如圖2所示。

系統(tǒng)的輸入部分由題目分值、標準答案文本、模型權(quán)重、關(guān)鍵詞權(quán)重、核心詞權(quán)重與待檢測文本構(gòu)成，在輸入部分，首先需要對模型的權(quán)重參數(shù)進行設置，然后再根據(jù)實際情況和需要設置所有關(guān)鍵詞與核心詞的權(quán)重值，但是在設置時每個關(guān)鍵詞或核心詞的權(quán)重之和必須為1。

而在文本處理部分由分詞算法、關(guān)鍵詞抽取、核心詞抽取、關(guān)鍵詞相似度計算。核心詞相似度計算。詞語相似度計算與句子相似度計算構(gòu)成。通過jieba分詞之后，待處理文本去除掉停用詞，包括標點符號、數(shù)量詞、代詞、助詞和介詞等。

在輸出部分，通過模型進行標準答案與待測文本的文本相似度計算，所得到的文本相似度值取整并與本題總分值相乘就可以輸出本題得分了。系統(tǒng)中還加入了一個小功能，即當待測文本與標準答案之間的相似度達到95%以上時，計算結(jié)果會變?yōu)榧t色并提示“疑似作弊”。

4? 實驗結(jié)果及分析

在完成基于TF-IDF及LSI的主觀題自動評分系統(tǒng)后，為更好地測試該系統(tǒng)的評分性能。從某學科考試的試題中隨機抽取5個主觀類型的題目，最后抽取了2個名詞解釋題，5分一題，共10分;3個簡答題，第一題8分、第二題10分、第三題10分。再從學習過該門課程的學生中隨機抽取30名學生，采用標準考試的方式作答抽取到的題目，完成之后由授課老師對30名學生的答案進行打分。

在30名學生的答卷中隨機抽取5份試卷，輸入系統(tǒng)讓系統(tǒng)對這5份試卷進行評分。系統(tǒng)的參數(shù)設置參考改卷老師的評分方式進行設置。

最后用教師評分與系統(tǒng)評分進行對比計算，得出兩種評分之間差值的絕對值，以此為依據(jù)分析自動評分系統(tǒng)評分結(jié)果的可靠性與誤差。

4.1? 評分結(jié)果

從圖3、4中可以看出，TF-IDF模型的自動評分系統(tǒng)所計算得到的分數(shù)與教師評分的擬合度較高，與真實情況更加接近。但LSI模型的自動評分系統(tǒng)最后輸出得到的分數(shù)與真實評分偏差較大，與真實情況存在一定的出入。實驗結(jié)果說明同種參數(shù)設置和實驗環(huán)境條件下，TF-IDF算法模型計算得到的評分更接近真實評分，且評分的準確率較高，因此TF-IDF相對于LSI模型是一個更優(yōu)的算法模型。

5? 結(jié)論

本文利用TF-IDF模型和LSI模型，通過Python程序設計語言實現(xiàn)了一種新的主觀題自動評分系統(tǒng)。其次，設計了對應的驗證方法和措施來證明所設計的自動評分系統(tǒng)的有效性。完成之后請授課老師人工評分，再與本文提出的系統(tǒng)計算得到的評分進行對比的實驗，對本文所提出的系統(tǒng)進行了驗證。通過對結(jié)果的對比分析，得出采用TF-IDF模型設計的自動評分系統(tǒng)相比采用LSI模型設計的自動評分系統(tǒng)更加有效真實，且準確率更高的結(jié)果。本文主要得出以下結(jié)論：

（1）本文所設計實現(xiàn)的主觀題評分系統(tǒng)可以根據(jù)實際情況調(diào)整設置不同的關(guān)鍵詞權(quán)重與模型權(quán)重。適用于不同的評分要求和情況，具有較強的泛化能力;

（2）本文分別通過TF-IDF算法模型與LSI算法模型實現(xiàn)了主觀題自動評分，并且將兩個模型算法的輸出結(jié)果與真實評分進行了對比，并進行了分析說明。得到了TF-IDF模型比LSI模型得到的評分更加接近實際評分的結(jié)論;

（3）TF-IDF模型的自動評分系統(tǒng)所輸出的評分結(jié)果與實際評分的擬合度是較高的，因此在實際應用該系統(tǒng)時，可以有效防止人為打分時因為心理或生理等條件的影響而錯誤打分的情況出現(xiàn)，規(guī)避了人為主觀因素對于評分的影響。

6? 結(jié)束語

本文提出、設計實現(xiàn)并分析驗證了基于TF-IDF

及LSI模型的主觀題自動評分系統(tǒng)。通過對系統(tǒng)的理論分析、過程說明和實驗設計，說明了本文所提出的主觀題自動評分系統(tǒng)是具有理論意義和實際使用價值的，是值得推廣和繼續(xù)深入研究的問題。

參考文獻

王金銓， 朱周曄. 近五十年來國內(nèi)外翻譯自動評分系統(tǒng)的發(fā)展與應用[J]. 揚州大學學報（人文社會科學版）， 2016， 20（02）： 123-128.

吳巧玲. 主觀題自動評分系統(tǒng)的設計與實現(xiàn)[J]. 數(shù)字技術(shù)與應用， 2012（01）： 113-114.

袁軍. 網(wǎng)絡主觀題評分系統(tǒng)的算法設計與實現(xiàn)[J]. 職業(yè)時空， 2011， 7（10）： 145-146.

查衛(wèi)亮. 主觀題自動評分算法分析與實現(xiàn)[J]. 軟件導刊， 2011， 10（09）： 43-44.

南鉉國. 基于語句相似度計算的主觀題自動評分技術(shù)研究[D]. 延邊大學， 2007.

Foltz P W. Using latent semantic indexing for information filtering[C]//Proc. of ACM Conference on Office Information Systems. 1990： 40-47.

魯松， 李曉黎， 白碩. 文檔中詞語權(quán)重計算方法的改進[J]. 中文信息學報， 2000， 14（6）： 8-13.

林鴻飛， 李業(yè)麗. 中英文雙語交叉過濾的邏輯模型[J]. 計算機工程與應用， 2000， 36（8）： 48-50.

林鴻飛， 高仁璟. 基于潛在語義索引的文本摘要方法[J]. 大連理工大學學報， 2001， 41（6）： 744-748.

任紀生， 王作英. 一種新的潛在語義分析語言模型[J]. 高技術(shù)通訊， 2005， 15（8）： 1-5.

牛偉霞， 張永奎. 潛在語義索引方法在信息過濾中的應用[J]. 計算機工程與應用， 2001， 37（9）： 57-60.

高思丹， 袁春風. 主觀試題的計算機自動批改技術(shù)研究[J]. 計算機應用研究， 2004， 21（2）： 181-185.

李彬， 劉挺， 秦兵， 等. 基于語義依存的漢語句子相似度計算[J]. 計算機應用研究， 2003， 20（12）： 15-17.

烏慶敏， 楊思春. 概念向量空間模型在智能答疑系統(tǒng)中的應用[J]. 安徽工業(yè)大學學報（自科版）， 2008， 25（2）： 193-196.

丁振國， 陳海霞. 一種基于知網(wǎng)的主觀題閱卷算法[J]. 微電子學與計算機， 2008， 25（5）： 108-109.