主觀題自動評閱在信息化教學中的應用研究

穆煒煒

【摘 要】主觀題自動評閱是信息化教學考試中的瓶頸問題，也是亟待解決的問題，通過自動評閱可以縮短閱卷時間，降低誤判率，進一步確保閱卷公平性，提高閱卷效率，完善考試流程，改進信息化教學方式。

【關(guān)鍵詞】主觀題；自動評閱；應用研究

中圖分類號： TP391.6 文獻標識碼： A 文章編號： 2095-2457（2018）30-0144-002

DOI：10.19694/j.cnki.issn2095-2457.2018.30.062

Application of Automatic Marking of Subjective Questions in Information Teaching

MU Wei-wei

（Hunan Chemical Vocational Technology College，zhuzhou hunan 412000，China）

【Abstract】The automatic marking of subjective questions is the most difficult problem and the most urgent problem in the information examination.Computer marking can shorten the marking time and reduce the rate of misjudgement.To ensure fair marking，improve the efficiency of marking，improve the examination process，and improve the information-based teaching method.

【Key words】Subjective questions；Automatic marking；Application research

信息化教學是目前各級各類學校普遍應用的教學方式，因為通過信息化的手段可以使師生輕松獲得更多優(yōu)質(zhì)教學資源，改善教學方法、提高教學效率、拓展知識視野，真正實現(xiàn)人人處處時時皆可學習。在信息化教學中，考試也逐漸從單一的筆試慢慢過渡到筆試+機試等多樣化的考試方式，通過計算機考試、評閱可以最大限度保證閱卷的公平性，降低誤判、錯判的幾率，節(jié)省人力、物力，克服了人為差錯的可能性。目前，很多考試、測驗系統(tǒng)中客觀題均實現(xiàn)了自動評閱，但主觀題的自動評閱一直是瓶頸問題，本文重點研究了主觀題自動評閱在信息化教學中的重要意義及可實施性。

1 主觀題自動評閱的重要意義

在信息化教學中，我們可以通過網(wǎng)絡獲取資源，通過移動終端進行教學、交互、考試和數(shù)據(jù)統(tǒng)計，從而拓展教學空間，提高教學效率?？荚噷τ诮處熀蛯W生來說都是不可缺少的教學環(huán)節(jié)，通過考試，學生可以了解自己的學習狀況，增強自己的學習效果，鞏固知識的積累；通過考試，教師可以檢驗學生的學習成績，了解學生對知識的掌握程度及教學效果。雖然，學校在很大程度上實現(xiàn)了教學的信息化，但是由于各個專業(yè)、各門課程具有各自不同的特點和要求，并且各科考試的特殊性和重要性，現(xiàn)在學校各類考試基本上都還采用傳統(tǒng)的紙質(zhì)方式進行，傳統(tǒng)的考試方式有其優(yōu)勢，但也有其缺點。傳統(tǒng)的考試都是筆試，人工閱卷容易造成誤判、漏判或傾向性判卷等主觀問題，而且效率不高，難以適應高效率的信息化教學時代。在線考試系統(tǒng)中的最大優(yōu)點就是可以快速、準確、客觀地給出考試成績，有效地縮短考試周期，這一優(yōu)點主要得益于考試系統(tǒng)的自動評閱計分。

目前，在國內(nèi)很多考試如駕照考試、學法考試、專業(yè)科目學習及考試大多都采用了網(wǎng)絡考試方式，用戶只需在聯(lián)網(wǎng)的情況下，通過手機端或PC端學習、考試即可，不過這種考試都是以單選題、多選題和判斷題等客觀題為主要題型，計算機可以根據(jù)事先設定好的答案輕松判斷結(jié)果的對與錯；而以主觀題形式出現(xiàn)的在線考試系統(tǒng)很少應用，究其原因是主觀題的自動評閱一直是在線考試中的瓶頸。因為漢語言的內(nèi)涵豐富，表達方式多樣，往往主觀題的答案不唯一，同一種語句意義可以用多種語句方式表達，計算機難以正確理解和判定，這給計算機自動評閱帶來了很大的困難，導致主觀題的評閱仍然以傳統(tǒng)方式為主，很大程度上影響了教學考核的效率和公平。研究應用主觀題自動評閱方式將徹底改變傳統(tǒng)考核模式，積極促進信息化教學的發(fā)展。

2 主觀題自動評閱的關(guān)鍵技術(shù)

對于主觀題而言，由于漢語言表達方式多樣化和復雜性的特點，主觀題的判斷和批改涉及到自然語言的翻譯、理解及語義的匹配等，這就要求計算機程序設計的復雜度非常高。現(xiàn)在國內(nèi)基于主觀題評閱的研究主要有：字符串匹配的方式，如文字錄入考試中，計算機根據(jù)錄入文字的準確性進行自動比較判斷，確定其正確性，這是相對較為簡單的一種；基于文本語義相似度計算的方式，如同一語義由不同的句子表達，計算機程序通過詞語相似度、文本相似度等多種方式判斷、比較，最終給出正確的評價，這是較為復雜的一種方式，也是用的較多的一種方式，涉及到多種特征相似度的比較計算等。目前，國內(nèi)外有一些主觀題自動評閱系統(tǒng)的應用取得了良好的成效，如，IEA[1]系統(tǒng)基于Latent Semantic Analysis（潛在語義分析）理論，通過對大量的文本集進行統(tǒng)計分析，自動地實現(xiàn)知識提取和表示，從中提取出詞語的上下文使用含義，進一步提高了文本處理的準確度；ATM[2]（Automated Text Marker）是針對開放式問題的任意文本答案的自動匹配，主要利用NLP技術(shù)，先對語法進行預處理、然后解析句子的主要成分及相互關(guān)系，再將結(jié)果與標準答案進行匹配，最后給出分數(shù)；李輝陽[3]等提出了基于關(guān)系的帶權(quán)匹配方法，實現(xiàn)了CAI中對簡單論述自動評閱判斷。王剛[4]等提出了一種基于語義元的相似度計算方法，綜合考慮語義元的相關(guān)性、相似性及支持度等元素，實現(xiàn)相似度的計算。通過分析研究發(fā)現(xiàn)，由于漢語言的復雜性，完全基于自然語言的主觀題評閱還存在準確性不高、差異性較大等很多問題，有待進一步的改進和提高。

主觀題自動評閱主要涉及到文本的預處理、文本分類及相似度比較計算等多個方面技術(shù)。其中文本的預處理是把自然語言通過相應的規(guī)則和方式處理成計算機能理解、能運算的表達形式，是計算機實現(xiàn)自動評閱的第一步。目前，常用的文本預處理方法有哈工大研究的LTP語言技術(shù)平臺（Language Technology Platform），是一種源代碼開放共享的語言處理技術(shù)。LTP提供了包括中文分詞、詞性標注、命名實體識別、依存句法分析、語義角色標注等豐富、 高效、精準的自然語言處理技術(shù)，已經(jīng)被 500 多家國內(nèi)外研究機構(gòu)和企業(yè)使用。從2014年開始，哈工大聯(lián)合科大訊飛共同推出了語言云服務，能夠更好地為用戶提供需求。文本分類技術(shù)[6]是數(shù)據(jù)檢索和挖掘分類的重要支撐，主要作用是在預先設置的類別標識集合下，根據(jù)文本內(nèi)容和數(shù)據(jù)信息進行分類識別。文本分類技術(shù)主要應用在自然語言處理、理解及識別、信息的組織、鑒別及管理、數(shù)據(jù)的過濾等領域。目前，文本分類的主要應用技術(shù)是基于機器學習的分類技術(shù)，主要是通過學習數(shù)據(jù)樣本或是數(shù)據(jù)訓練集來分析挖掘出數(shù)據(jù)分類的規(guī)則信息，然后總結(jié)歸納出數(shù)據(jù)規(guī)則集合或建立文本分類器，再根據(jù)這些分類集合對需要分類的文本進行分類。常用的文本分類算法有：決策樹（Decision Tree）分類算法、K緊鄰（K-Nearest Neighbor）算法、樸素貝葉斯（Naive Bayes）算法、粗糙集（Rough Sets）算法等。其中決策樹分類算法是一種較適用于文本分類的算法，決策樹是一個預測模型，包括一個根節(jié)點、若干枝節(jié)點和葉節(jié)點，樹中每個枝節(jié)點表示某個對象，不同的路徑代表不同的屬性值，每個葉節(jié)點對應該對象的值，即類別，如圖1所示。

圖中A=X和A=Y且B=Y的樣本屬于類1，A=Y且B=X和B=Z的樣本屬于類2。

相似度比較計算是信息分類及判別的關(guān)鍵技術(shù)。由于自然語句是由字、詞語及關(guān)鍵字等組成，相似度的比較計算可以分為詞語相似度、語義相似度、句子相似度、句長相似度等多個特征方面。其中，詞語相似度是指兩個或幾個詞語所表達的內(nèi)涵相同或相近，可以互相替換使用而不改變整個語句的文義的程度，常用的詞語相似度算法有基于統(tǒng)計和基于規(guī)則的兩種方法；句子相似度主要由基于語法的分析和基于詞匯相似度矩陣的分析方法。通過多個特征相似度的分析計算，對語句及其含義進行綜合對比研究，從而達到自動評閱的目的。

3 主觀題自動評閱的發(fā)展方向

主觀題自動評閱技術(shù)一直是完全實施考試信息化、教學信息化的瓶頸問題，研究的很多，但進展較為緩慢，特別是應用于實際的成果比較少，其主要原因是一些關(guān)鍵技術(shù)、核心技術(shù)還處在研究、發(fā)展階段，如：自然語言的深入理解、模式的識別、人工智能技術(shù)的發(fā)展等。主觀題自動評閱主要是采用基于大數(shù)據(jù)分析的自然語言處理技術(shù)，按照評閱流程，可以分為分句、分詞、語言的預處理、分類計算、相似度比較計算等幾個環(huán)節(jié)。但對于漢語言來說，自然語言處理的技術(shù)實現(xiàn)難度非常大，由于漢語的復雜性，表達形式多樣性，計算機很難準確把握和判斷，如果算法不精確，沒有將關(guān)鍵語義包括在內(nèi)的話，將會直接導致自動評閱的誤判。在前沿技術(shù)上，通過大數(shù)據(jù)分析技術(shù)的不斷發(fā)展和推動，進一步完善主觀題自動評閱在教學信息化中的實際應用將具有廣闊的前景和市場需求。

【參考文獻】

[1]Hearst M，etal.The Debate on Automated Essay Grading[J].IEEE Intelligent Systems，Treads&Controversies; feature，2000，15（5）：22-37

[2]Lawrence Rudner，etal.An Overview of Three Approaches to Scoring Written Essays by Computer.www.circ.cd.gov

[3]李輝陽，韓忠愿 有限領域簡述文字的自動判讀及其在CAI中的應用[J]，計算機工程應用，2002，38（8）：76-78

[4]王剛，邱玉輝，蒲國林 一個基于語義元的相似度計算方法研究[J]，計算機應用研究，2008，25（11）：3253-3255

[6]蘇金樹，張博鋒，徐昕 基于機器學習的文本分類技術(shù)研究進展[J]，軟件學報，2006，17（9）：1848-1859