在線氣象科普知識(shí)競(jìng)賽試題的自動(dòng)組卷方法

彭云建，歐善國(guó)，梁 進(jìn)

(1.華南理工大學(xué) 自動(dòng)化科學(xué)與工程學(xué)院，廣東 廣州 510640；2.廣州市氣象學(xué)會(huì)，廣東 廣州 511430)

0 引 言

近年來(lái)，在線考試系統(tǒng)已經(jīng)得到了廣泛的研究和推廣，不僅應(yīng)用于自學(xué)考試、在線練習(xí)、遠(yuǎn)程教學(xué)和職業(yè)培訓(xùn)等專業(yè)教育領(lǐng)域，而且在專業(yè)輔導(dǎo)、氣象科普和社會(huì)調(diào)查等知識(shí)互動(dòng)領(lǐng)域也逐步得到應(yīng)用。其中，氣象科普組織在線知識(shí)競(jìng)賽或搶答活動(dòng)，能夠很好地提高科普活動(dòng)的趣味性和效率。科普知識(shí)競(jìng)賽涉及的知識(shí)面較廣，涵蓋很多學(xué)科交叉的知識(shí)點(diǎn)，采用的試題具有碎片化特點(diǎn)[1]，因此，建立智能的在線考試系統(tǒng)及試題庫(kù)管理系統(tǒng)才能滿足氣象科普工作的長(zhǎng)期需要，對(duì)科普知識(shí)競(jìng)賽實(shí)現(xiàn)規(guī)范化、科學(xué)化、系統(tǒng)化的管理與實(shí)施。

通過(guò)氣象專家或氣象工作者提供試題，基于網(wǎng)絡(luò)化的信息服務(wù)系統(tǒng)組建氣象科普知識(shí)題庫(kù)，采用計(jì)算機(jī)自動(dòng)或者輔助人工組卷和題庫(kù)分析，可以避免非專業(yè)的人工干預(yù)，保證氣象知識(shí)競(jìng)賽的試題質(zhì)量。由于試卷的嚴(yán)肅性、指標(biāo)要求的綜合性(在內(nèi)容、深度、難度、題型、時(shí)間、分?jǐn)?shù)等方面必須滿足科普知識(shí)競(jìng)賽要求)、規(guī)格多樣性，在系統(tǒng)實(shí)現(xiàn)上要求題型分析與組卷的智能方法具有良好的適應(yīng)性，在抽題過(guò)程中要做到隨機(jī)、無(wú)法預(yù)知、不重復(fù)、優(yōu)化數(shù)據(jù)存取和快速組卷等目標(biāo)需要有完整可行的技術(shù)方案[2]。

根據(jù)相關(guān)文獻(xiàn)，一般性的考試系統(tǒng)組卷方法包括：(1)隨機(jī)抽取算法，主要采取兩種隨機(jī)策略，一是蒙特卡羅隨機(jī)抽樣，選擇試題并匹配試卷的基本條件，通過(guò)反復(fù)抽題的迭代過(guò)程實(shí)現(xiàn)組卷；另一種根據(jù)指定的試題指標(biāo)(如題型、知識(shí)點(diǎn)、分值等)，隨機(jī)從題庫(kù)中尋找試題，指標(biāo)符合則選入試卷，否則放棄，循環(huán)抽題直至組卷完畢或者遍歷完題庫(kù)[3]。該方法實(shí)現(xiàn)簡(jiǎn)單，抽題速度較快，應(yīng)用廣泛，但自動(dòng)組卷的效率和成功率較低，沒(méi)有優(yōu)化試卷質(zhì)量的能力。當(dāng)題庫(kù)中各題型的平均出題量較低時(shí)，組卷往往以失敗而告終；(2)回溯試探法，改進(jìn)了隨機(jī)抽取算法，在搜索問(wèn)題解的過(guò)程中采用了深度優(yōu)先的方式。隨機(jī)抽取試題并記錄每一個(gè)試題組合類型，當(dāng)搜索失敗時(shí)釋放前一次所記錄的試題組合類型，再重新進(jìn)行試探，直到完成組卷或返回到抽題起點(diǎn)[4]。該算法適用于題庫(kù)規(guī)模較小的情況，但對(duì)于題庫(kù)規(guī)模較大時(shí)，算法收斂性較差；(3)遺傳算法[5]，將選擇試題的過(guò)程作為基因組的進(jìn)化變異和尋優(yōu)處理，最后可以收斂到一個(gè)最適應(yīng)約束條件的試題集上，產(chǎn)生最優(yōu)組卷結(jié)果[6]。該算法適用范圍廣，容錯(cuò)性強(qiáng)，但容易陷入局部最優(yōu)解，即出現(xiàn)“早熟”現(xiàn)象。

針對(duì)現(xiàn)有自動(dòng)組卷方法的不足，該文把自動(dòng)組卷分為兩步工作實(shí)現(xiàn)：一面向多目標(biāo)優(yōu)化的題庫(kù)分析，采用層析分析法[7]建立以權(quán)重矩陣表示的試題關(guān)聯(lián)性模型；其次，基于多指標(biāo)權(quán)重模型，采用文本分類方法來(lái)處理組卷中試題相關(guān)性，用支持向量機(jī)(support vector machine，SVM)完成分析題庫(kù)和智能優(yōu)化自動(dòng)組卷。支持向量機(jī)[8]是一種監(jiān)督學(xué)習(xí)模式下廣義線性分類器，其應(yīng)用涵蓋了文本識(shí)別、人體部位、車輛交通、醫(yī)療檢測(cè)及其他領(lǐng)域?，F(xiàn)階段基于SVM的文本分類[9]主要有以下3種：(1)改進(jìn)混合核函數(shù)分類方法，使混合核函數(shù)具有較強(qiáng)的學(xué)習(xí)能力和泛化能力，提高了文本分類效果；(2)基于增量學(xué)習(xí)的SVM分類方法[10]，引入邊界支持向量來(lái)改進(jìn)算法，提高了訓(xùn)練速度和精度；(3)特征選擇分類模型[11]，采用能彌補(bǔ)傳統(tǒng)方法局限性的新類內(nèi)信息優(yōu)化卡方統(tǒng)計(jì)特征選擇方法，對(duì)特征選取性能有進(jìn)一步改善。該文根據(jù)試題組卷操作，改進(jìn)了SVM方法，實(shí)現(xiàn)了氣象科普知識(shí)競(jìng)賽組卷的智能優(yōu)化，應(yīng)用于氣象科普知識(shí)競(jìng)賽系統(tǒng)的開(kāi)發(fā)，取得了很好的效果。

1 在線知識(shí)競(jìng)賽流程及其組卷優(yōu)化問(wèn)題

氣象科普知識(shí)競(jìng)賽是由科普工作者來(lái)組織和實(shí)施，而競(jìng)賽內(nèi)容往往需要?dú)庀髮＜襾?lái)提供，如何舉辦好此類知識(shí)競(jìng)賽，除了采用在線考試系統(tǒng)之外，關(guān)鍵是有豐富、科學(xué)和趣味性強(qiáng)的氣象科普試題，而且針對(duì)不同的科普對(duì)象，譬如青少年或從事某一職業(yè)的成年人群體，需要因人出題，才能獲得科普知識(shí)競(jìng)賽的效果。因此，對(duì)于長(zhǎng)期舉辦氣象科普活動(dòng)的單位，需要建設(shè)在線科普競(jìng)賽系統(tǒng)和完整豐富的試題庫(kù)，每次科普活動(dòng)抽選題目組成競(jìng)賽試卷，發(fā)布競(jìng)賽活動(dòng)和考試頁(yè)面，參與者在線提交答卷到考試系統(tǒng)，系統(tǒng)自動(dòng)判分或人工判分后，工作人員在后臺(tái)可以看到分?jǐn)?shù)統(tǒng)計(jì)結(jié)果，利用考試系統(tǒng)競(jìng)賽試題分析模塊對(duì)答題情況分析評(píng)估，確定試題的難度和答題時(shí)間合適度，保存到題庫(kù)，整個(gè)過(guò)程如圖1所示。

圖1 在線知識(shí)競(jìng)賽基本流程示意圖

在線科普知識(shí)競(jìng)賽流程中，設(shè)計(jì)好競(jìng)賽試卷和對(duì)考試結(jié)果進(jìn)行合理評(píng)價(jià)是整個(gè)系統(tǒng)中的關(guān)鍵問(wèn)題。首先，如何保證生成的試卷能最大程度地滿足不同主題的科普活動(dòng)需要，并具有隨機(jī)性、科學(xué)性、合理性，是實(shí)現(xiàn)自動(dòng)組卷的難點(diǎn)問(wèn)題。其次，對(duì)競(jìng)賽結(jié)果的答題情況進(jìn)行科學(xué)分析，評(píng)價(jià)試題對(duì)參與人員的難度和題型的合適度，不僅可以增加考試的客觀性和公正性，還可以將分析結(jié)果關(guān)聯(lián)到試題，對(duì)試題難度做出更科學(xué)的評(píng)價(jià)。因此，研發(fā)一套具有自動(dòng)組卷、自動(dòng)閱卷、題庫(kù)分析功能的在線競(jìng)賽系統(tǒng)，需要根據(jù)氣象科普知識(shí)競(jìng)賽的考卷特點(diǎn)和要求，應(yīng)用組卷經(jīng)驗(yàn)知識(shí)和規(guī)則，設(shè)計(jì)出相應(yīng)的試題智能歸類模式，按試題歸類模式選取試題組成試卷。為此，如何表示試題組卷的約束和規(guī)范以及試題的匹配模式，尋找優(yōu)化的自動(dòng)組卷方法從而得到高質(zhì)量的試卷，是非常重要的問(wèn)題。自動(dòng)組卷優(yōu)化問(wèn)題具有文本數(shù)據(jù)的不精確性、模糊性、解的多樣性、多類特征性等特點(diǎn)，需要滿足如下條件：

(1)可以隨機(jī)產(chǎn)生多目標(biāo)、內(nèi)容與題序不同的試題分組；

(2)可以按學(xué)科、科目、知識(shí)點(diǎn)、題型等確定試題組織模式，各類試題可以根據(jù)考點(diǎn)重點(diǎn)改變分?jǐn)?shù)所占比例；

(3)可以按照知識(shí)競(jìng)賽的主題、考試對(duì)象或考試時(shí)間的不同，優(yōu)化試題的覆蓋面，保證檢測(cè)的知識(shí)點(diǎn)合理且具有代表性；

(4)可以通過(guò)氣象知識(shí)競(jìng)賽的不同目的和不同類型來(lái)確定題類和題型比例。

根據(jù)自動(dòng)組卷的功能特點(diǎn)，基于知識(shí)競(jìng)賽的目標(biāo)和被選試題的屬性調(diào)整試卷的總體指標(biāo)，通過(guò)迭代尋優(yōu)方法實(shí)現(xiàn)組卷的優(yōu)化目標(biāo)。

2 自動(dòng)組卷智能優(yōu)化模型

氣象科普知識(shí)競(jìng)賽的考試內(nèi)容具有學(xué)科交叉性的特點(diǎn)，涉及到氣象學(xué)基礎(chǔ)理論、氣象技術(shù)、氣候現(xiàn)象、云知識(shí)、氣象諺語(yǔ)、氣象應(yīng)用和學(xué)科綜合等，建立氣象知識(shí)試題庫(kù)，根據(jù)不同學(xué)科收集試題，表征試題的基本特征，組卷時(shí)則可以根據(jù)試題特征和試卷要求進(jìn)行組合分析。而試卷整體包括題量、分?jǐn)?shù)、平均難度程度、基礎(chǔ)題型比例、知識(shí)點(diǎn)的交叉與綜合、單題分?jǐn)?shù)等。因此，通過(guò)題庫(kù)分析建立試題的特征模型，其次建立試題分類模型，從而實(shí)現(xiàn)智能組卷優(yōu)化方法。

2.1 試卷權(quán)重矩陣和試題增益特征向量

如果用五個(gè)變量(題量、難度、知識(shí)點(diǎn)類型、主題內(nèi)容相關(guān)性、答題所需時(shí)長(zhǎng))表示試卷的主要特征，則可以定義出試卷的參數(shù)結(jié)構(gòu)，如表1所示。

表1 試卷中試題的評(píng)價(jià)參數(shù)結(jié)構(gòu)

由于試題類型可分為選擇題、填空題、判斷題、簡(jiǎn)答題和綜合(計(jì)算)題，因此可以對(duì)不同題型的試題按照題量、難度、知識(shí)點(diǎn)類型、主題內(nèi)容相關(guān)性、答題時(shí)長(zhǎng)五個(gè)方面確定評(píng)估值，其中，題量、難度、學(xué)科分類與答題時(shí)間是數(shù)值或模糊量，即：a1i=bi，a2∈{容易，一般，較難，很難}，a3∈{基礎(chǔ)科學(xué)，專業(yè)知識(shí)，氣象技術(shù)，科普應(yīng)用}，a5∈R+。

試題難度和答題時(shí)間在系統(tǒng)初始化時(shí)可以采用專家預(yù)估值，在線競(jìng)賽系統(tǒng)使用后可以對(duì)考生的答卷進(jìn)行統(tǒng)計(jì)分析，提高對(duì)試題難度和答題所需時(shí)間的評(píng)估值進(jìn)行修正。

(1)

在權(quán)重和評(píng)價(jià)值的各類約束下，自動(dòng)組卷的優(yōu)化目標(biāo)函數(shù)是：

(2)

通過(guò)對(duì)每道題的優(yōu)化選擇實(shí)現(xiàn)試卷整體的優(yōu)化，這是一類典型的多目標(biāo)優(yōu)化問(wèn)題。其中，試題分析可以采用每次知識(shí)競(jìng)賽答卷中各題的正誤率和平均答題時(shí)間來(lái)評(píng)估試題難度a2i和答題需要時(shí)間a5i。主題相關(guān)性a4i是組卷時(shí)考慮考試內(nèi)容與科普活動(dòng)主題相關(guān)性的主要因素，在式(1)中占有比較大的權(quán)重，也是試題內(nèi)容歸類的重要依據(jù)。因此，該文從文本分類角度，實(shí)現(xiàn)試題歸類，需要分析試題文本，提取特征詞非常重要。

試題文本一般較短，可以提取出2～6個(gè)關(guān)鍵詞作為特征值。該文采用一種特征詞增量模型實(shí)現(xiàn)特征詞的擴(kuò)容，保證試題匹配模式的完整性。首先，分析試題文本并提取特征詞，記E(E1,E2,…,Eu)為特征向量，通常u的取值不大于4；其次，“春耕”、“夏種”、“秋收”、“冬藏”等詞語(yǔ)描述了農(nóng)事信息，可能會(huì)連帶務(wù)農(nóng)節(jié)氣和氣候問(wèn)題，將其可以看作是新增加的特征詞，記為Eu+1，當(dāng)u=5，6，…，m，得到增益特征向量E(E1,E2,…,Em)。當(dāng)u≥5時(shí)，增強(qiáng)了特征向量的代表性。

2.2 試題文本預(yù)處理方法

預(yù)處理試題文本的過(guò)程分為三個(gè)步驟：(1)從數(shù)據(jù)庫(kù)讀取試題圖文內(nèi)容，如果包含圖片，則從圖片中提取文字；(2)文本過(guò)濾，將停用詞、介詞和連接詞等過(guò)濾，清除與試題內(nèi)容匹配無(wú)關(guān)的字詞；(3)利用分詞工具對(duì)試題的純文本進(jìn)行分詞處理，提取主題詞或?qū)I(yè)詞。

該文設(shè)計(jì)的系統(tǒng)主要采用最基礎(chǔ)和自然的模式，即分詞工具精確模式，在最大程度上對(duì)試題的字句進(jìn)行精確地劃分，適合試題文本分析。

2.3 試題文本TF-IDF特征提取法

針對(duì)試題的主題詞，需要采用TF-IDF特征提取法建模[13]。對(duì)于特征詞w，其特征提取函數(shù)為：

f(w)=TF(w)×IDF(w)×log[N/n(w)+1]

(3)

其中，TF表示特征詞(或主題詞)的頻率，IDF是反文檔頻率，它能使在大量文本中都含有特征詞的重要程度得到減弱，也能在只有少量文本包中含特征詞的重要程度得到增強(qiáng)。因此，通常TF與IDF配合使用。常用的IDF計(jì)算公式為：

IDF(w)=log[N/n(w)+1]

(4)

其中，N和n(w)分別表示文本總數(shù)和含有w的文本數(shù)。各個(gè)主題詞在組卷的試題集中的TF-IDF權(quán)重值可由式(3)得出，組卷篩選條件可以預(yù)先確定以便用來(lái)選取經(jīng)過(guò)TF-IDF特征提取法降序排序后的前n個(gè)特征詞，進(jìn)而對(duì)試題文本特征空間進(jìn)行降維。

2.4 支持向量機(jī)(SVM)的試題分類器

試題文本分類方法可以確定試題文本的若干個(gè)特征詞[14]。采用SVM方法將尋找一個(gè)使樣本之間的間隔達(dá)到最大的最優(yōu)超平面，能有效加強(qiáng)分類器對(duì)于未知待分類文本數(shù)據(jù)的泛化能力[15]。對(duì)于構(gòu)建支持向量機(jī)分類器，該文主要以二維線性可分文本數(shù)據(jù)為例進(jìn)行探討，如圖2所示。

圖2 支持向量機(jī)(SVM)試題分類器的模型分析

假設(shè)m個(gè)線性可分的帶有特征值的試題樣本{(X1,d1)，(X2,d2)，…，(Xm,dm)}，dm∈{-1，1}，對(duì)于某一輸入樣本Xk，期望輸出其分類結(jié)果dk，則定義超平面方程為：

WTX+b=0

(5)

其中，W為權(quán)值向量，X為輸入，b為偏置誤差。任一訓(xùn)練的試題樣本滿足：

dk(WTXkX+b)≥1

(6)

當(dāng)取等號(hào)時(shí)，則樣本點(diǎn)分布在超平面附近，稱為支持向量。樣本空間內(nèi)任一點(diǎn)X到最優(yōu)超平面的距離可定義為：

(7)

由式(7)，支持向量到超平面的代數(shù)距離為：

(8)

可知，需要‖W‖最小。此時(shí)優(yōu)化問(wèn)題可以轉(zhuǎn)換為在式(6)約束下，求

(9)

引入Lagrange函數(shù)，設(shè)樣本數(shù)據(jù)偏離超平面的距離因子為αk，則有：

(10)

根據(jù)拉格朗日極大值原理，最優(yōu)超平面對(duì)應(yīng)Lagrange函數(shù)的最小值，則對(duì)W和b分別求偏導(dǎo)得到極小值條件為：

(11)

根據(jù)式(10)和式(11)可得對(duì)應(yīng)W和b的極值為：

(12)

則有：

確定α最優(yōu)值后，根據(jù)式(5)和式(11)可得出W和b，則最優(yōu)分類判別函數(shù)為：

f(Xk)=sgn(WTXk+b)=

(14)

對(duì)于大多數(shù)線性不可分的試題樣本，可采用合適的映射函數(shù)將其映射到足夠高維數(shù)的特征向量空間，從而非線性可分模式則在特征空間中可轉(zhuǎn)換為線性可分模式。

3 基于SVM試題分類的組卷算法和流程

結(jié)合SVM文本分類器，自動(dòng)組卷處理流程如圖3所示。經(jīng)過(guò)預(yù)處理的試題文本存在詞語(yǔ)對(duì)分類貢獻(xiàn)不明確的問(wèn)題，不能被計(jì)算機(jī)所識(shí)別，因此，除了提取文本特征要選擇的方法適當(dāng)外，還要對(duì)特征詞的影響進(jìn)行強(qiáng)化，以及對(duì)非特征詞的干擾進(jìn)行減弱。通過(guò)TF與IDF的計(jì)算，特征詞關(guān)于試題分類的貢獻(xiàn)能通過(guò)TF-IDF文本特征提取算法有效標(biāo)志出來(lái)。在訓(xùn)練試題分類器前，將試題文本的訓(xùn)練集和測(cè)試集按7∶3比例隨機(jī)分配，SVM分類器經(jīng)過(guò)訓(xùn)練集訓(xùn)練后，輸入測(cè)試集可驗(yàn)證試題分類器性能。

圖3 自動(dòng)組卷的處理流程

采用SVM試題分類器進(jìn)行組卷操作時(shí)還需要選擇一個(gè)合適的核函數(shù)[16]，主要從四種內(nèi)積核函數(shù)中選擇：

(1)線性核函數(shù)。

H(Xk,X)=XkX

(15)

(2)多項(xiàng)式核函數(shù)。

H(Xk,X)=[(XXk)+1]k

(16)

(3)徑向基核函數(shù)(RBF)。

H(Xk,X)=e-γ‖X-Xk‖2

(17)

其中，γ為徑向基核函數(shù)的參數(shù)。

(4)Sigmoid核函數(shù)。

H(Xk,X)=tanh[u(XXk)-r]

(18)

其中，u,r為Sigmoid的參數(shù)。

四種核函數(shù)應(yīng)用在不同場(chǎng)景，其表現(xiàn)也會(huì)有差異。當(dāng)特征詞數(shù)遠(yuǎn)超過(guò)樣本數(shù)時(shí)，一般采用線性核函數(shù)即可滿足分類要求。

該文采用混淆矩陣檢驗(yàn)方法，用來(lái)檢驗(yàn)試題分類模型的靈敏度和準(zhǔn)確率，分析被錯(cuò)誤分類的情況。

對(duì)自動(dòng)組卷的檢驗(yàn)，主要分析分類器的準(zhǔn)確度和處理不同試題樣本的分類算法收斂性。對(duì)于準(zhǔn)確度的檢驗(yàn)，準(zhǔn)確率記為Ar，指在抽取分類樣本中，分類正確的樣本個(gè)數(shù)與樣本總數(shù)之比，即混淆矩陣的跡與樣本總數(shù)的比值：

(19)

在試題庫(kù)不變時(shí)，對(duì)于被抽取的多組試題樣本，抽樣和分類器將其分類多次，每分類一次產(chǎn)生一個(gè)隨機(jī)的準(zhǔn)確率。從試題庫(kù)中抽取使用的試題訓(xùn)練樣本數(shù)量大，分類器會(huì)有較高準(zhǔn)確度，在100次實(shí)驗(yàn)后，準(zhǔn)確度達(dá)到98.5%左右。

對(duì)于算法的收斂性和穩(wěn)定性，相對(duì)于總分類的試題樣本，誤分類的數(shù)量越少，表明分類算法越穩(wěn)定，為此，主要采用誤分度Er刻畫(huà)算法的穩(wěn)定性，即：

(20)

其中，PCi為第i個(gè)試題分類所處理的樣本個(gè)數(shù)。對(duì)于誤分度，在(tij,i≠j)=0時(shí)：

(21)

在極少誤分情況時(shí)，誤分度和分類樣本數(shù)的倒數(shù)相近似，如果有大量預(yù)測(cè)樣本，選取的試題文本特征向量較為合理，則誤分度和實(shí)際情形相符合地趨近于0。

綜上所述，該文采用準(zhǔn)確性與穩(wěn)定性的共同檢驗(yàn)為1-0檢驗(yàn)方法，在滿足檢驗(yàn)條件時(shí)，分類結(jié)果理想，此類方法在考慮試卷分類和自動(dòng)組卷成功率時(shí)，也兼顧了多類型試題的適用性。

4 智能組卷算法的實(shí)現(xiàn)與應(yīng)用

通過(guò)題庫(kù)管理系統(tǒng)收集氣象科普知識(shí)試題5 200多個(gè)，包含氣象知識(shí)、氣象人文、農(nóng)事節(jié)氣、廣東氣候、云知識(shí)等主題內(nèi)容。選擇各類試題40%左右，提取文本用于分類器的訓(xùn)練，然后采用該分類器進(jìn)行分類檢驗(yàn)。將評(píng)價(jià)分類器的性能指標(biāo)選為精確度(Precision)、召回率(Recall)以及F1值(F1-score)。檢驗(yàn)結(jié)果如表2所示，結(jié)果表明，SVM均具有良好的指標(biāo)表現(xiàn)，有更好的試題分類結(jié)果。

此外，在相同的訓(xùn)練試題集下，從題庫(kù)中分別抽取600、1 200、2 100道進(jìn)行實(shí)驗(yàn)的試題。隨著逐步增加試題量，分類器的誤分度在稍微大于樣本數(shù)倒數(shù)的收斂值周圍波動(dòng)，和樣本數(shù)倒數(shù)相趨近。因此，該文選擇的SVM方法在大規(guī)模題庫(kù)場(chǎng)景下性能較優(yōu)。

基于支持向量機(jī)的組卷算法實(shí)現(xiàn)中，目前核函數(shù)選擇的主要依據(jù)是文獻(xiàn)提供的經(jīng)驗(yàn)和實(shí)驗(yàn)結(jié)果對(duì)比。該文通過(guò)對(duì)比實(shí)驗(yàn)可知，線性核函數(shù)分類準(zhǔn)確率能達(dá)到98%以上，而其他核函數(shù)只有45%左右，因此選擇線性核函數(shù)。

該分類方法應(yīng)用在廣州市氣象局的氣象科普知識(shí)競(jìng)賽系統(tǒng)中，該系統(tǒng)運(yùn)行4年多，累計(jì)有3萬(wàn)多學(xué)生參加在線知識(shí)競(jìng)賽，規(guī)模和影響力大，成為廣州校園氣象科普第一品牌活動(dòng)，也是全國(guó)唯一持續(xù)舉辦線上氣象知識(shí)競(jìng)賽活動(dòng)的平臺(tái)。在系統(tǒng)技術(shù)創(chuàng)新上采用了高度集成的在線考試智能管理系統(tǒng)，可以低成本、便捷地開(kāi)展活動(dòng)，社會(huì)效益顯著，該氣象知識(shí)競(jìng)賽平臺(tái)對(duì)覆蓋廣州市、輻射全國(guó)具有示范引領(lǐng)作用。

表2 不同分類器對(duì)試題分類的試驗(yàn)結(jié)果

5 結(jié)束語(yǔ)

探討了在線氣象科普知識(shí)競(jìng)賽系統(tǒng)中題庫(kù)分析和自動(dòng)組卷關(guān)鍵問(wèn)題，提出了試卷評(píng)價(jià)的層次分析模型和SVM試題分類與自動(dòng)組卷方法。該分類器通過(guò)試題的特征詞提取實(shí)現(xiàn)了分類模型的合理性，在實(shí)際系統(tǒng)中進(jìn)行了檢驗(yàn)，結(jié)果表明該分類方法對(duì)試題組卷具有較高的準(zhǔn)確性和穩(wěn)定性，在技術(shù)上也是易于實(shí)現(xiàn)的一類方法，可以應(yīng)用于實(shí)際的在線競(jìng)賽系統(tǒng)。后續(xù)工作中將采用文本分類方法研究主觀題的智能判分問(wèn)題。