基于語(yǔ)義相似性的選擇題自動(dòng)生成優(yōu)化方法

溫雪峰 崔仙姬 張俊星

（大連民族大學(xué)信息與通信工程學(xué)院 大連 116600）

1 引言

近年來(lái)，線上教育發(fā)展得更加豐富和多元化。線上教育是指通過(guò)互聯(lián)網(wǎng)、移動(dòng)設(shè)備等傳播媒體實(shí)施教學(xué)的教育形式［1］?，F(xiàn)階段線上教育已經(jīng)成為主流教育方式之外的另一大教育方式［2］。2020年1月爆發(fā)的新冠肺炎疫情，對(duì)在校學(xué)生的學(xué)習(xí)生活造成極大影響，大中小學(xué)寒假被迫延長(zhǎng)，政府號(hào)召“停課不停學(xué)”，各大學(xué)校紛紛開(kāi)展線上教育，以保證學(xué)生的學(xué)習(xí)生活。線上教育的一大重點(diǎn)便是線上考試，但現(xiàn)階段大多數(shù)線上考試系統(tǒng)的實(shí)現(xiàn)原理基本類似，都是人工將試題輸入到數(shù)據(jù)庫(kù)中，然后從數(shù)據(jù)庫(kù)中抽取試題組成試卷［3］。這種人工構(gòu)建試題庫(kù)的方式不僅需要耗費(fèi)大量的人力和時(shí)間資源，而且難以控制試題的規(guī)范性以及試題的難度。通過(guò)自動(dòng)生成試題，可以大大地減少出題時(shí)間，節(jié)省人力資源，試題更具規(guī)范，難度易于控制。

隨著語(yǔ)義網(wǎng)的發(fā)展以及在線知識(shí)庫(kù)發(fā)布知識(shí)的便利性，本體論進(jìn)入了研究者的視野，研究人員開(kāi)始研究如何通過(guò)本體測(cè)試特定領(lǐng)域的內(nèi)容。本體是通過(guò)抽象出客觀世界中一些現(xiàn)象的相關(guān)概念而得到的模型［4］，從不同層次的形式化模式上給出詞匯和詞匯之間相互關(guān)系的明確定義［5］。通過(guò)使用本體不僅可以讓電腦識(shí)別信息，人也可以明確其中含義，實(shí)現(xiàn)人機(jī)交互［6］?；诒倔w的上述特點(diǎn)，使用本體生成選擇題是一種便捷且高效的方法。本體作為知識(shí)的有效組織和表示形式，在線上考試當(dāng)中受到了廣泛的關(guān)注和應(yīng)用［7］。

國(guó)內(nèi)外的研究人員將基于本體的試題自動(dòng)生成的重點(diǎn)放在了選擇題自動(dòng)生成方法的研究中。國(guó)外的研究工作有以下內(nèi)容，Edmond等首次將本體應(yīng)用于教育方面［8］，并于2006年提出了使用本體來(lái)生成評(píng)估問(wèn)題的策略［9］。Andreas Papasalouros等提出了一種自動(dòng)生成選擇題的方法，該方法基于本體公理以及OWL（Web Ontology Language）開(kāi)發(fā)的知識(shí)庫(kù)中的斷言生成選擇題［10］。2010年Cubric和Tosic提出使用問(wèn)題模板來(lái)避免自動(dòng)生成的問(wèn)題中的語(yǔ)法問(wèn)題，并通過(guò)考慮新的本體元素（即注釋）擴(kuò)展了他們以前的工作［11～12］。Al-Yahya等使用本體中有關(guān)領(lǐng)域?qū)嶓w（如類、屬性和個(gè)體）的固有知識(shí)來(lái)生成語(yǔ)義正確的評(píng)估項(xiàng)［13～14］。Vinu E.V等提出使用謂詞模式應(yīng)用本體以生成選擇題的方法［15］。2017年Vinu E.V等對(duì)謂詞模式生成選擇題的方法進(jìn)行了改進(jìn)，改進(jìn)后的方法可以使用二元以上的謂詞模式生成題干，并提出了一種控制問(wèn)題難度的方法［16］。

目前國(guó)內(nèi)的相關(guān)研究有以下內(nèi)容，劉明等提出了一種混合相似策略，用于自動(dòng)生成漢語(yǔ)多項(xiàng)選擇題，該策略通過(guò)統(tǒng)計(jì)回歸模型生成漢語(yǔ)多項(xiàng)選擇干擾源［17］。肖文彥等提出了一種適合不同語(yǔ)言水平的非英語(yǔ)母語(yǔ)學(xué)習(xí)者的介詞多項(xiàng)選擇題生成方法［18］。劉昭麟等提出了一種詞義辨析的演算法，利用詞典和selection preference所提供的資訊，分析試題答案的詞義，并以collocation為基礎(chǔ)的方法篩選干擾項(xiàng)［19］。鹽城師范學(xué)院的丁向民等提出了通過(guò)元知識(shí)點(diǎn)模式和本體技術(shù)來(lái)自動(dòng)生成多項(xiàng)選擇題的方法［20］。

目前基于本體自動(dòng)生成選擇題的技術(shù)具有生成的問(wèn)題數(shù)量龐大、問(wèn)題相似度高、問(wèn)題難度無(wú)法控制、干擾項(xiàng)質(zhì)量較低等問(wèn)題。因此，需要對(duì)自動(dòng)生成的題目進(jìn)行進(jìn)一步篩選，從而選擇合適的、具有代表性的問(wèn)題進(jìn)行測(cè)試，并選擇所需難度的高質(zhì)量干擾項(xiàng)對(duì)問(wèn)題進(jìn)行難度控制?；谏鲜鰡?wèn)題，本文提出一種結(jié)合最小頂點(diǎn)覆蓋問(wèn)題的相似性篩選方法對(duì)選擇題問(wèn)題進(jìn)行篩選，并通過(guò)計(jì)算選擇題選項(xiàng)之間的語(yǔ)義相似性生成對(duì)應(yīng)難度的干擾項(xiàng)來(lái)控制問(wèn)題的整體難度。

2 基于本體的選擇題自動(dòng)生成系統(tǒng)框架

如圖1所示，基于本體的選擇題自動(dòng)生成系統(tǒng)主要包括三個(gè)模塊：題干生成模塊，問(wèn)題篩選模塊以及干擾項(xiàng)生成模塊。題干生成模塊的主要作用是生成選擇題的題干部分；篩選模塊主要作用是通過(guò)篩選以減少問(wèn)題的數(shù)量，選擇更具代表性的問(wèn)題用于測(cè)試；整個(gè)系統(tǒng)中最后的一步是干擾項(xiàng)生成，干擾項(xiàng)是決定選擇題質(zhì)量和難度的主要因素，通過(guò)干擾項(xiàng)可以控制問(wèn)題的難度級(jí)別。

圖1 選擇題自動(dòng)生成系統(tǒng)

在基于本體的選擇題自動(dòng)生成系統(tǒng)中，輸入一個(gè)本體文件，通過(guò)題干生成模塊生成數(shù)量龐大的問(wèn)題，題干生成的主要方法是基于本體的元組，利用簡(jiǎn)單的SPARQL查詢模板來(lái)生成問(wèn)題。對(duì)于已生成的問(wèn)題需要進(jìn)一步進(jìn)行篩選，否則問(wèn)題的數(shù)量過(guò)于龐大、問(wèn)題不具有代表性，不適合用于測(cè)試特定領(lǐng)域的知識(shí)。干擾項(xiàng)生成模塊用于生成選擇題的干擾項(xiàng)，使用可能答案減去正確選項(xiàng)的方法生成干擾項(xiàng)，選擇題的質(zhì)量難以保證，難易程度無(wú)法估計(jì)。通過(guò)計(jì)算干擾項(xiàng)與正確選項(xiàng)之間的相似性，進(jìn)一步選擇干擾項(xiàng)，可以控制選擇題的質(zhì)量以及難易程度。為了解決上述問(wèn)題，生成高質(zhì)量的選擇題題庫(kù)，應(yīng)用基于圖的最小頂點(diǎn)覆蓋問(wèn)題的相似性篩選方法對(duì)問(wèn)題進(jìn)行篩選，并進(jìn)一步應(yīng)用基于語(yǔ)義距離的相似性計(jì)算方法對(duì)干擾項(xiàng)進(jìn)行篩選，選擇適當(dāng)難度的干擾項(xiàng)。

3 選擇題自動(dòng)生成優(yōu)化

3.1 選擇題問(wèn)題篩選

在本體中存在大量的語(yǔ)義相似的元組，這些元組將產(chǎn)生大量的相似問(wèn)題。以Geography本體為例，如表1所示，其中x表示核心實(shí)例，將作為問(wèn)題的正確選項(xiàng)，O為對(duì)象屬性，i為實(shí)例。表中數(shù)據(jù)為題干生成模板的SPARQL查詢結(jié)果，該模板由兩個(gè)三元組構(gòu)成。從表1可以看出，在同一問(wèn)題生成模板下，本體中存在大量對(duì)象屬性O(shè)1、O2相同的相似元組，而這些相似元組將產(chǎn)生大量的相似問(wèn)題。在用于測(cè)試時(shí)，相似的問(wèn)題降低了測(cè)試的效率以及質(zhì)量。為了避免問(wèn)題集中存在語(yǔ)義相似的問(wèn)題，必須從相似的元組中只選擇一組具有代表性的元組來(lái)生成問(wèn)題。

表1 本體中部分相似的三元組

根據(jù)兩個(gè)元組中謂詞之間的關(guān)系和元組中語(yǔ)義相似三元組的數(shù)目，可以計(jì)算出兩個(gè)元組的相似度得分如式（1）。

在式（1）中P（t）表示三元組t的屬性序列，X（P（t））表示滿足屬性序列P（t）的實(shí)例。S imil ari ty(t1，t2)是確定兩個(gè)三元組相似性的對(duì)稱函數(shù)。#S E(t1，t2)表示t1與t2中語(yǔ)義相似的三元組個(gè)數(shù)，Max(#t1，t2)表示取t1與t2中三元組個(gè)數(shù)的最大值。公式的第一部分給出了基于對(duì)應(yīng)元組中匹配謂詞的分?jǐn)?shù)。當(dāng)元組中謂詞的一對(duì)一對(duì)應(yīng)時(shí)，X（P（t1））和X（P（t2））變得相等。在公式的第二部分中，通過(guò)考慮匹配時(shí)屬性之間的子性質(zhì)、對(duì)稱關(guān)系和逆關(guān)系，計(jì)算了三元組的語(yǔ)義等價(jià)性。

根據(jù)上面給出的兩個(gè)元組相似性得分，構(gòu)造一個(gè)無(wú)向圖G=(V，E)，無(wú)向圖的頂點(diǎn)集為V={t|t∈S}，其中t為三元組，S為三元組集合，根據(jù)元組之間的相似性關(guān)系構(gòu)建無(wú)向圖的邊，無(wú)向圖的邊集為E={(t1，t2)|t1，t2∈S and S imi larity(t1，t2)≤c}，其中c為最小相似性得分閾值，元組間的相似性得分作為無(wú)向圖邊的權(quán)重。

選擇題問(wèn)題篩選的主要思想是從大量相似的元組中獲得少量的相似性較低的、能夠代表整個(gè)本體的元組。因此，可以將問(wèn)題的篩選轉(zhuǎn)換為求無(wú)向圖G的最小頂點(diǎn)覆蓋問(wèn)題。圖的最小頂點(diǎn)覆蓋問(wèn)題是指給定一個(gè)無(wú)向圖G=（V，E），找到其最小的頂點(diǎn)覆蓋集，使得每條邊至少有一個(gè)頂點(diǎn)存在于最小頂點(diǎn)覆蓋集中。在文獻(xiàn)［15］中，研究者通過(guò)使用JGraphT（https：//jgrapht.org）中提供的最小頂點(diǎn)覆蓋近似算法進(jìn)行了問(wèn)題的篩選。這種篩選方法在構(gòu)建圖時(shí)僅將元組間的相似性關(guān)系作為構(gòu)建邊的條件，隨機(jī)選擇滿足條件的節(jié)點(diǎn)，這使得所篩選問(wèn)題集并未充分考慮到元組之間相似性對(duì)于最小頂點(diǎn)覆蓋集的影響，不能保證篩選后得到的元組具有代表性。為了提高結(jié)果的質(zhì)量，使問(wèn)題能夠更好地代表整個(gè)本體，本文將元組之間的相似性得分作為無(wú)向圖邊的權(quán)重，在求無(wú)向圖的最小頂點(diǎn)覆蓋集的過(guò)程中，將權(quán)重的影響加入其中。

基于NUMVC（A Novel Local Search for Minimum Vertex Cover Problem）的相似性篩選算法將元組之間的相似性得分作為權(quán)重，并且加入頂點(diǎn)刪除策略，使得最小頂點(diǎn)覆蓋集的結(jié)果更加準(zhǔn)確，算法的搜索效率更高。利用基于NUMVC的相似性篩選算法可以得到無(wú)向圖中最少的頂點(diǎn)，使得這些頂點(diǎn)具有較小的相似性，頂點(diǎn)更具有代表性。包含不同問(wèn)題的問(wèn)題集比包含相似問(wèn)題的問(wèn)題集更傾向于檢查更廣泛的知識(shí)。為了使一個(gè)問(wèn)題集足夠小，檢查相同的知識(shí)，刪除相似類型的問(wèn)題，在其中保留一個(gè)有代表性的問(wèn)題。

算法1：基于NUMVC的相似性篩選算法

輸入：無(wú)向圖G=（V，E）

輸出：無(wú)向圖G=（V，E）的最小頂點(diǎn)覆蓋子集V’。

1.InitializeV'←?No-improve←0 rmv-num←α；

2.while not found min（V'）

3.if No-improve==βand rmv-num≠1

4. rmv-num--；

5.for i=0；i

6. remove vertex v

7.whileV'exist uncovered edges

8. add vertex v

9.Remove redundant vertices inV'to getV''

10.if|V''|<|V'|

11.V'←V''

12.No-improve←0；

13.else No-improve++；

14.return min（V'）

基于NUMVC的相似性篩選算法的算法時(shí)間復(fù)雜度包括以下兩個(gè)部分：計(jì)算頂點(diǎn)的相似性（O(S|V|)），查找圖的最小頂點(diǎn)覆蓋（O(N|V|)），其中S表示式（1），由此可得算法1的時(shí)間復(fù)雜度為O(S|V|+N|V|)。

表2 相似性篩選后的元組

表2給出了表1中數(shù)據(jù)使用基于NUMVC的相似性篩選算法篩選之后的數(shù)據(jù)（m<

3.2 干擾項(xiàng)難度控制

在問(wèn)題難度控制方面，目前的主要方式是通過(guò)題干與正確選項(xiàng)的關(guān)聯(lián)性控制問(wèn)題難度，然后利用干擾項(xiàng)進(jìn)一步調(diào)整問(wèn)題的整體難度，將干擾項(xiàng)作為問(wèn)題難度控制的輔助。

本文考慮在同一個(gè)問(wèn)題模板下，利用干擾項(xiàng)的難度直接控制問(wèn)題的整體難度，忽略題干對(duì)于問(wèn)題難度的影響，可以避免題干形式不統(tǒng)一、問(wèn)題難以管理等問(wèn)題。通過(guò)計(jì)算正確選項(xiàng)與干擾項(xiàng)的相似性，選擇對(duì)應(yīng)難度的干擾項(xiàng)，可以控制問(wèn)題的整體難度，以生成高質(zhì)量且所需難度等級(jí)的選擇題。

干擾項(xiàng)是從問(wèn)題的可能答案集合中減去正確答案而產(chǎn)生的。正確答案指的是本體中那些滿足題干中給出的條件的實(shí)例。如果通過(guò)上述操作得到空集或與所需的選項(xiàng)數(shù)相比較少的干擾項(xiàng)（d≤3），除了可能答案集合中的干擾項(xiàng)之外，可以選擇其他任何元組中的實(shí)例或數(shù)據(jù)類型值作為干擾項(xiàng)。

正確選項(xiàng)與干擾項(xiàng)相似度計(jì)算的主要方法是考慮二者之間的距離，其基本原理是：從本體結(jié)構(gòu)圖出發(fā)，相似程度較低的概念之間的距離就會(huì)越長(zhǎng)。路程不同的兩個(gè)概念之間對(duì)于語(yǔ)義相似度計(jì)算的結(jié)果也會(huì)產(chǎn)生一定的影響甚至是誤差。為了避免這種影響與誤差的存在，在計(jì)算兩個(gè)概念之間的相似度時(shí)，可以充分利用另外一種對(duì)語(yǔ)義相似度計(jì)算有影響的因素，也就是兩個(gè)概念之間最近共同父節(jié)點(diǎn)深度。如果兩個(gè)本體概念之間的最近共同父節(jié)點(diǎn)的深度越淺，那就表示分類越不明確，進(jìn)而可以說(shuō)明繼承語(yǔ)義的信息越少，也就是兩個(gè)本體概念之間的相似度越低。式（2）和式（3）為根據(jù)語(yǔ)義距離和父節(jié)點(diǎn)深度計(jì)算正確選項(xiàng)與干擾項(xiàng)的相似性得分公式。

式（2）表示概念c1到c1與c2的最近公共父節(jié)點(diǎn)的最短路徑，mp（c2，RCPN（c1，c2））表示概念c2到c1與c2的最近公共父節(jié)點(diǎn)的最短路徑，RCPN（c1，c2）表示c1與c2的最近公共父節(jié)點(diǎn)?？紤]到節(jié)點(diǎn)深度對(duì)相似性的影響，利用式（3）來(lái)計(jì)算正確選項(xiàng)與干擾項(xiàng)之間的相似性。式（3）為基于本體語(yǔ)義距離的正確選項(xiàng)與干擾項(xiàng)的相似度計(jì)算公式，其中d p(R C PN(c1，c2)，c1)表示概念對(duì)c1和c2的最近公共父節(jié)點(diǎn)，在概念c1所在本體結(jié)構(gòu)圖中的深度，max（dp（c1））表示概念c1的本體樹(shù)的最大深度。

基于式（2）和式（3）的計(jì)算結(jié)果，設(shè)計(jì)了一種干擾項(xiàng)難度控制算法，如算法2所示。通過(guò)輸入正確選項(xiàng)、干擾項(xiàng)集合以及問(wèn)題難度等級(jí)，利用式（2）和式（3）分別計(jì)算正確選項(xiàng)與干擾項(xiàng)集合中干擾項(xiàng)d的相似度，將相似性得分作為干擾項(xiàng)的難度得分Dscore，結(jié)合對(duì)應(yīng)的難度等級(jí)，對(duì)Dscore進(jìn)行判斷，獲取滿足難度等級(jí)的干擾項(xiàng)d。最后輸出干擾項(xiàng)d以及其難度得分Dscore。

干擾項(xiàng)難度控制算法通過(guò)節(jié)點(diǎn)之間的距離因素以及節(jié)點(diǎn)最近父節(jié)點(diǎn)因素的共同作用計(jì)算節(jié)點(diǎn)之間的相似性，使得相似性結(jié)果更加精確。

干擾項(xiàng)難度控制算法的算法時(shí)間復(fù)雜度包括以下兩個(gè)方面：計(jì)算選項(xiàng)之間的相似性（O(D||d+S|d|)），選擇對(duì)應(yīng)難度的干擾項(xiàng)（O(C|d|))），其中D表示式（2），S表示式（3），由此可得算法2的時(shí)間復(fù)雜度為O(D||d+S||d+C|d|)。

算法2：干擾項(xiàng)難度控制算法

輸入：key，一個(gè)實(shí)例（正確選項(xiàng)）

D，干擾項(xiàng)集合

Difficulty-level∈｛high，medium，low｝

輸出：d，干擾項(xiàng)，Dscore，難度得分

1.whileD≠?

2.for each instance d in D

3. countS ims d(c1，c2)

4. dscore←Simsd(c1，c2)

5. if Difficulty-level==hight

6.d={d|0.50≤d score<1}

7. if Difficulty-level==low

8.d={d|0≤d score<0.50}

9. if Diffaculty-level==medium

10.d={d|0.35≤d sc ore≤0.75}

11. Remove d in D to getD'

12.D←D'

13.return d andDscore

4 實(shí)驗(yàn)評(píng)估

下面評(píng)價(jià)題干篩選方法以及干擾項(xiàng)難度控制方法的有效性，主要圍繞以下兩個(gè)方面來(lái)展開(kāi)：1）測(cè)試基于NUMVC的相似性篩選算法對(duì)于題干篩選的可行性與有效性；2）測(cè)試干擾項(xiàng)難度控制算法在干擾項(xiàng)生成中的可行性與有效性。

本次實(shí)驗(yàn)在如下環(huán)境中進(jìn)行：Inter core i5 1.4Ghz CPU；4.0GB RAM，MasOS Catalina，而本體的解析通過(guò)調(diào)用JenaAPI（https：//jena.apache.org）實(shí)現(xiàn)。

4.1 問(wèn)題篩選

實(shí)驗(yàn)中使用的本體數(shù)據(jù)集由德克薩斯大學(xué)奧斯汀分校的Ray Mooney和他的團(tuán)隊(duì)提供，數(shù)據(jù)集中包含三個(gè)OWL知識(shí)庫(kù)組成，三個(gè)OWL知識(shí)庫(kù)涉及三個(gè)不同的領(lǐng)域：地理信息（Geography）、工作信息（Job）以及餐廳信息（Restaurant）。如表3中的數(shù)據(jù)所示，表中第一行數(shù)據(jù)為本體名稱，第二行數(shù)據(jù)為本體中的對(duì)象屬性數(shù)目（Object properties），如表1和表2中的O1和O2，第三行為數(shù)據(jù)類型屬性的數(shù)目（Datatype properties），第四行為本體中元組總數(shù)（Total tuple count）。在本體中存在大量的元組，這些元組將生成難以管理、數(shù)量眾多的問(wèn)題。

首先根據(jù)元組的屬性進(jìn)行初步的篩選，篩選結(jié)果如表4所示。根據(jù)屬性對(duì)元組進(jìn)行篩選的主要目的是將元組中那些不太可能用于測(cè)試的元組篩選掉，這些元組構(gòu)成的問(wèn)題可能太過(guò)簡(jiǎn)單或者太過(guò)難以回答。

表3 樣本本體的屬性與相應(yīng)的元組計(jì)數(shù)

表4 屬性篩選后本體的屬性與相應(yīng)的元組計(jì)數(shù)

在根據(jù)屬性進(jìn)行初步篩選后，對(duì)剩余的元組分別使用文獻(xiàn)［15］中的算法和本文中的NUMVC算法進(jìn)行相似性篩選，結(jié)果如表5所示，表中最后一行給出了元組的減少比例（TR）。從表5的對(duì)比結(jié)果可以看出，基于NUMVC的相似性篩選算法在對(duì)三個(gè)本體進(jìn)行問(wèn)題篩選操作時(shí)，分別比其他問(wèn)題篩選方法多減少了15%、20%、10%的三元組數(shù)量，由此可見(jiàn)基于NUMVC的相似篩選算法在問(wèn)題篩選方面有較為明顯的優(yōu)勢(shì)。

從大量的相似的元組中獲得數(shù)量較少具有代表性的元組，使用這些元組生成選擇題，使得問(wèn)題集中問(wèn)題的數(shù)量減少，更加易于管理，問(wèn)題也更具有代表性。由于不同本體獲得的代表性元組數(shù)量不同，所以不同本體問(wèn)題集中的問(wèn)題數(shù)量也不同。

表5 問(wèn)題篩選結(jié)果及對(duì)比結(jié)果

4.2 干擾項(xiàng)生成

在測(cè)試干擾項(xiàng)難度控制算法時(shí)，對(duì)輸入相應(yīng)問(wèn)題難度等級(jí)，能否準(zhǔn)確輸出對(duì)應(yīng)得分的干擾項(xiàng)進(jìn)行了多次實(shí)驗(yàn)。在表6～8中展示了從Geography本體中生成的三種不同難度等級(jí)的例題，展示了選擇題的難度得分以及干擾項(xiàng)的難度得分（Dscore）。如表6～8所示，根據(jù)對(duì)應(yīng)的問(wèn)題難度等級(jí)，可以準(zhǔn)確地選擇適當(dāng)難度得分的干擾項(xiàng)，良好地控制問(wèn)題的整體難度。

在表6中，設(shè)置選擇題的難度為medium，選擇三個(gè)難度得分為0.50的干擾項(xiàng)，使得問(wèn)題的整體難度值為0.50，該問(wèn)題的質(zhì)量中等，難易程度中等。在表7中，設(shè)置選擇題的難度為low，選擇難度得分為0.00的三個(gè)干擾項(xiàng)，使得問(wèn)題的整體難度為0.00，該問(wèn)題質(zhì)量較低，易于回答。在表8中，設(shè)置選擇題的難度為high，分別選擇難度得分為0.85、0.70、0.50三個(gè)干擾項(xiàng)，使得問(wèn)題的整體難度為0.65，該問(wèn)題的質(zhì)量較高，較為難以回答。

表6 Choose a geopolitical dependency，a member of exactly one sovereign state（Difficulty：0.50）

表7 Choose a nation（Difficulty：0.00）

表8 Choose the largest city in the United States（Difficulty：0.65）

5 結(jié)語(yǔ)

針對(duì)現(xiàn)有基于本體的選擇題自動(dòng)方法中存在的問(wèn)題，本文提出了一種生成高質(zhì)量選擇題的優(yōu)化方法。在控制問(wèn)題數(shù)量以及問(wèn)題質(zhì)量方面，提出了一種基于NUMVC的相似性問(wèn)題篩選算法。算法將問(wèn)題篩選轉(zhuǎn)化為對(duì)應(yīng)無(wú)向圖的最小頂點(diǎn)覆蓋問(wèn)題，并將元組之間的相似性得分作為權(quán)重，加入頂點(diǎn)刪除策略，使得最小頂點(diǎn)覆蓋集的結(jié)果更加準(zhǔn)確。在問(wèn)題難度控制方面，提出了一種通過(guò)干擾項(xiàng)難度控制問(wèn)題難度的方法。算法通過(guò)計(jì)算正確選項(xiàng)與干擾項(xiàng)的相似性，選擇對(duì)應(yīng)難度的干擾項(xiàng)，控制問(wèn)題的整體難度，以生成高質(zhì)量且所需難度等級(jí)的選擇題，實(shí)驗(yàn)結(jié)果表明，基于NUMVC的相似性篩選算法與干擾項(xiàng)難度控制算法能夠在一定程度上提高自動(dòng)生成選擇題的質(zhì)量。