多特征相似度計算在考試評閱系統(tǒng)中的應(yīng)用探索

穆煒煒 劉其琛

摘要：在信息化考試的主觀題自動評閱中，文本相似度計算是一個較為復雜的系統(tǒng)，包括詞語、句子相似度計算等。其中，詞語是構(gòu)成語言體系的基本單位，計算其相似度往往是計算句子相似度的基礎(chǔ)，而句子相似度計算則是文本相似度計算的前提。只有通過詞語、句子等多特征的相似度計算，才能得出文本的相似度。

關(guān)鍵詞：多特征;文本;相似度;計算

中圖分類號：TP391.6? ? ?文獻標識碼：A

文章編號：1009-3044（2019）24-0080-02

開放科學（資源服務(wù)）標識碼（OSID）：

1 背景

隨著信息技術(shù)的不斷發(fā)展和互聯(lián)網(wǎng)進入日常教育教學，“互聯(lián)網(wǎng)+教學”已經(jīng)成為教育現(xiàn)代化進程中的重要改革方式，智慧課堂、智慧教學、智能化考試的理念日趨發(fā)展成為實踐，越來越多的教師和學生通過信息網(wǎng)絡(luò)完成日常的教學，這種打破傳統(tǒng)的學習方式，使得學習不再拘束于時間與空間，實現(xiàn)了人人、處處、時時地泛在學習，更加強了教師之間、師生之間和學生之間的交流溝通，實現(xiàn)了優(yōu)質(zhì)資源的共享與應(yīng)用。特別是信息化教學中考試系統(tǒng)的應(yīng)用，為教師和學生的教學評價帶來全新的改變。但考試系統(tǒng)的普遍應(yīng)用還有待改進，尤其是主觀題的自動評閱難以達到人工評閱的準確度，本文采用文本語句相似度、詞語相似度和語義相似度等多個特征相似度計算的方式創(chuàng)新自動評閱算法，達到科學、準確評閱的目的，提升考試系統(tǒng)的公平公正性。

2 多特征相似度計算概念

在現(xiàn)在的各類考試系統(tǒng)中，針對選擇題、判斷題和填空題等客觀題的自動評閱技術(shù)已經(jīng)非常成熟，計算機根據(jù)固定的答案驗證其匹配度即可判斷是否正確。但主觀題自動評閱一直難以廣泛應(yīng)用，其主要原因是漢語言表達的多樣性和復雜性導致系統(tǒng)很難準確把握答案的正確性，特別是對中文的處理技術(shù)等一些關(guān)鍵的核心技術(shù)還在研發(fā)試驗階段，如，自然語言的理解、模式識別、人工智能等一些技術(shù)還未完全成熟。計算機要實現(xiàn)對主觀題的自動評閱，首先要把自然語言處理成機器能理解的形式，然后進行答案的相似度比較計算，才能進行科學評閱。傳統(tǒng)的人工評閱主觀題時，教師是根據(jù)評分細則將學生的答案表述進行理解，再查看學生答案和標準答案的相似程度進行打分，包括同義詞匯及同義語句的關(guān)鍵詞匯判別等，再分為不同的分數(shù)檔次，進行打分和統(tǒng)計。根據(jù)人工閱卷規(guī)律，本文采用詞語語義相似度、句子語義相似度和句長相似度[1]等相結(jié)合的多特征方式對主觀題文本進行相似度計算。

詞語的語義相似度是指兩個詞語或多個詞語在不一樣的語言表述中可以相互替換而使其核心要義不發(fā)生變化，類似于近義詞。目前，詞語語義相似度計算主要有基于統(tǒng)計和基于規(guī)則的兩種方法[2]，其中，基于統(tǒng)計的方法主要是對大量的詞語庫進行統(tǒng)計分析，并將詞語在上下文中的概率分布作為相似度的計算參考依據(jù);而基于規(guī)則的方法主要是采用詞語結(jié)構(gòu)中層次關(guān)系組織的語義詞典，如，同義詞詞林、知網(wǎng)[3]、概念圖等概念間的同位關(guān)系及上下位關(guān)系計算語義相似度。

句子語義相似度計算主要有基于語法分析和不基于語法分析兩種分析計算方法?；谡Z法分析的相似度計算方法，國內(nèi)外均有應(yīng)用，如楊思春等[4]提出根據(jù)句子的語法句型模式來判斷相似度等，但由于漢語言表達的多樣性和不規(guī)則性，特別是不同的專業(yè)有其固定的術(shù)語或表達方式，采用不基于語法分析的句子語義相似度計算方法有利于降低系統(tǒng)計算復雜性，提高適應(yīng)性。

句長相似度主要是指兩個句子在形態(tài)上的相似情況，即兩個句子詞語個數(shù)的多少，根據(jù)相似度比較，兩個句子的長度越接近，兩個語句就越相似。

3 多特征相似度計算原理

3.1 詞語語義相似度計算

本文采用基于同義詞詞林的詞語相似度計算方法，同義詞詞林不僅比較詞語的詞義相似性還涉及詞語的相關(guān)聯(lián)程度，如“上班”與“勞動”詞義相似度較低，但是卻有很強的相關(guān)性?！锻x詞詞林》是梅家駒等人于1983年編纂而成的。目前，在改進的《哈工大同義詞詞林擴展版》中分為5層樹狀結(jié)構(gòu)，隨著層次級別的增加，詞義越來越細分，在第五層，每個分類中詞語只有一個并已不可再細分，即稱為原子詞群或原子節(jié)點。如圖1所示：

根據(jù)上圖形成了8位的5層詞義編碼體系如表1所示[5]。

表中的編碼位是按照從左到右的順序排列。第八位的標記有3 種，“=”表示“相等”或“同義”，“#”表示“不相等”或是“同類”是相關(guān)詞語，“@”代表示“獨立”，既沒有同義詞，也沒有相關(guān)詞。由上圖可看出，不同層級的分類結(jié)果可以提供不同的語言處理服務(wù)，進一步改善和加強信息檢索、文本分類等方面的性能。

3.2 句子語義相似度計算

句子相似度指兩個有待比較的句子在語義上的匹配程度，如，設(shè)定值為a=[0，1]之間的實數(shù)，值越小說明兩個句子的相似度越小，當a=0時，說明兩個句子意義無關(guān)聯(lián);值越大說明相似度越高，當a=1時，說明兩個句子意義相同。由于漢語言表達方式的多樣性和靈活性，本文通過矩陣計算詞語相似度，首先計算出相關(guān)詞語的相似度，并以此為數(shù)據(jù)構(gòu)建句子相似度矩陣，然后通過相應(yīng)算法計算出句子相似度。假設(shè)有兩個句子A和B，A={A1，A2，…Am} B={B1，B2，…Bn} Ai是組成A的詞，Bj是組成B的詞，1≤i≤m， 1≤j≤n。則詞Ai詞的相似度表示為S（Ai，Bj） ;句子A和B的相似度為表示為SIM（A，B）。

[? SIM A，B=i=1maim+j=1nbjn2]

[ai=maxsAi，B1，sAi，B2...sAi，Bn，][bj=maxsBj，A1，sBj，A2...sBj，Am，]

3.3 句長相似度計算

句長的相似度可以表示兩個句子在形態(tài)上的相似情況，設(shè)有兩個句子分別為X和Y，句子X中有l(wèi)en（X）個詞語、句子Y中有l(wèi)en（Y）個詞語，則句子X和Y的相似度為表示為Lensim（X，Y），計算如下所示：

[LensimX，Y=1-lenX-len（Y）lenX+len（Y）]

從而得出了兩個句長X和Y的相似度。

4 多特征相似度計算在考試系統(tǒng)自動評閱中的應(yīng)用

由于中文主觀題答案的表示往往是由字構(gòu)成詞、詞形成句。要判斷已做答案和標準答案兩段文本的相似度，可以將其逐級分成子項，如分句、分詞、詞語相似度及句子相似度等多特征進行計算，并引用決策樹分類器，將關(guān)鍵詞的相似度、句子的相似度及句長相似度作為決策樹的文本屬性，通過決策樹分類器進行分類計算，從而實現(xiàn)自動評閱。

例如：一個試題為10分，可生成如下決策樹。其中SIMi是決策樹屬性。枝節(jié)點為各個屬性的值，葉子節(jié)點是對應(yīng)的答案分值。如圖2所示

主觀題自動評閱主要是基于人工智能和大數(shù)據(jù)分析的自然語言處理技術(shù)。雖然漢語言識別與處理具有很大的難度，但是從人工智能及大數(shù)據(jù)等技術(shù)的發(fā)展趨勢來看，實現(xiàn)考試系統(tǒng)中的主觀題自動評閱是智慧教育的必然。一方面，計算機自動評閱能避免在高強度、高密度的閱卷工作中造成的人為誤差和紕漏，能夠更客觀地反映出考試結(jié)果，保證了閱卷的客觀公正性。另一方面，計算機自動評閱提高了工作效率，并能對學生的得分點和失分點進行大數(shù)據(jù)分析，對教學成效進行科學診斷，有利于教學工作的不斷改進。

參考文獻：

[1] 呂學強， 任飛亮. 句子相似模型和最相似句子查找方法[J]. 東北大學學報： 自然科學版， 2003， 24（6）： 531-534.

[2] 于江生， 俞士汶. 中文概念詞典的結(jié)構(gòu)[J]. 中文信息學報， 2002， 16（4）： 13-21.

[3] 張承立， 陳劍波， 齊開悅. 基于語義網(wǎng)的語義相似度算法改進[J]. 計算機工程與應(yīng)用， 2006， 42（17）： 165-179.

[4] 楊思春. 一種改進的句子相似度計算模型[J]. 電子科技大學學報， 2006（35）： 956-959.

[5] 鄭家恒. 中文分詞中歧義切分處理策略[J]. 山西大學學報： 自然科學版， 2007（2）.

【通聯(lián)編輯：謝媛媛】