智能組卷中的試題難度評價建模

李 捷，吳玉田

（肇慶學(xué)院 數(shù)學(xué)與信息科學(xué)學(xué)院，廣東 肇慶 526061）

智能組卷中的試題難度評價建模

李 捷，吳玉田

（肇慶學(xué)院 數(shù)學(xué)與信息科學(xué)學(xué)院，廣東 肇慶 526061）

主要研究了網(wǎng)絡(luò)考試系統(tǒng)設(shè)計中利用遺傳算法進(jìn)行智能組卷的問題．首先根據(jù)用戶對組卷的要求，利用遺傳算法對組卷所需的約束條件設(shè)置各項指標(biāo)，利用矩陣?yán)碚摻⒂欣谶z傳算子進(jìn)行組合交叉和變異的數(shù)學(xué)模型；再針對組卷問題中的一個重要約束條件——試卷的難度指標(biāo)，采用模糊數(shù)學(xué)方法和項目反應(yīng)理論對試題庫中每一小題進(jìn)行綜合評價試題難度的數(shù)學(xué)建模，以準(zhǔn)確確定每道小題的試題難度系數(shù)，最終為實現(xiàn)遺傳算法全局尋優(yōu)和智能搜索奠定基礎(chǔ)．

智能組卷;數(shù)學(xué)模型;試題難度系數(shù);模糊評價

計算機(jī)技術(shù)的發(fā)展為利用計算機(jī)進(jìn)行考試提供了技術(shù)基礎(chǔ)．越來越多的學(xué)者發(fā)現(xiàn)利用遺傳算法(genetic algorithm,GA)進(jìn)行智能組卷，能夠在較短的時間和占用較少內(nèi)存的情況下得到較為滿意的效果．?dāng)?shù)學(xué)模型是利用算法組卷的基礎(chǔ)和關(guān)鍵，模型建立的合理與否決定了試卷的質(zhì)量和算法設(shè)計的優(yōu)劣．

1 組卷問題的數(shù)學(xué)模型

計算機(jī)智能組卷的目標(biāo)是組合出一套能滿足用戶需求參數(shù)的最優(yōu)試卷，可以將其看作一個對多目標(biāo)組合優(yōu)化的問題．系統(tǒng)生成的試卷必須同時滿足不同的優(yōu)化指標(biāo)，找到滿足所有約束條件的最優(yōu)解[1]，因此組卷問題是一個典型的約束滿足問題的求解過程．

GA是一種并行且能夠有效優(yōu)化的算法，該算法以Morgan的基因理論和Eldridge與Gould的間斷平衡理論為依據(jù)，同時融合了Mayr的邊緣物種形成理論和Bertalanffv一般系統(tǒng)理論的一些思想，模擬達(dá)爾文的自然界遺傳學(xué):繼承(基因遺傳)、進(jìn)化(基因突變)、優(yōu)勝劣汰[2]．GA實際上就是將自然界種群中個體優(yōu)勝劣汰的進(jìn)化機(jī)制與某一群體中每個個體間的隨機(jī)信息交換進(jìn)行全局尋優(yōu)的一種搜索算法．運用GA進(jìn)行問題求解，首先要根據(jù)計算機(jī)信息交換的要求，將所要求解問題的解表示成二進(jìn)制編碼，之后再根據(jù)環(huán)境要求設(shè)置不同的控制參數(shù)．例如：按用戶設(shè)定的試卷難度進(jìn)行基本操作，如選擇、交叉、變異、局域與鄰域等，按照適者生存和優(yōu)勝劣汰的原理，逐代演化產(chǎn)生出越來越好的近似解，最后收斂到由環(huán)境限制的最佳個體上，也就是尋找到問題的全局最優(yōu)解．GA由于自身的全局搜索性、隨機(jī)性、高度的并行性和較好的編碼方式，對處理智能組卷問題非常有利．

根據(jù)上述基于GA的組卷特點和組卷系統(tǒng)所要求具有的功能，可以應(yīng)用矩陣?yán)碚摻⒖刂茽顟B(tài)空間[3]．首先，可以建立一個狀態(tài)空間控制自動組卷過程中的各項指標(biāo)：如總題量、題型比例、各題型分值、各章節(jié)比例、考試總體時間、試卷難度、試題出現(xiàn)頻率，等等．

其中：k為試卷的總題量；m為與抽題組卷無關(guān)的屬性數(shù)量，如題目編號、題型編號等；n為抽題組卷約束條件的屬性數(shù)量，如試題分值、試題難度系數(shù)等；W的每一行都是一個分目標(biāo)，即某一試題的控制指標(biāo)，如題目編號、題型編號、試題分值、章節(jié)、估時、使用頻率、試題難度系數(shù)等，并且這些屬性指標(biāo)都表示為二進(jìn)制編碼，而題庫中某一指標(biāo)的全部取值則是矩陣中對應(yīng)的一列二進(jìn)制編碼．假設(shè)要求抽取的選擇題數(shù)量為20，而題庫中選擇題數(shù)量為2 000，每個題目編號為4位整數(shù)，每位整數(shù)由4位二進(jìn)制數(shù)表示，則染色體的長度為320(4×4×20)位二進(jìn)制數(shù)[4]．

2 難度值綜合分析

試題的屬性指標(biāo)中最難確定的就是難度系數(shù)，而準(zhǔn)確確定每道試題的難度系數(shù)關(guān)系到網(wǎng)上考試的公平性，因此要避免試卷平均難度偏高或偏低，首先要正確反映每道試題的難度系數(shù)．本文中，筆者利用模糊數(shù)學(xué)方法和項目反映理論(item response theory,IRT)，綜合評價試題的難度系數(shù)．

2．1 試卷難度系數(shù)模糊評價的建模

每份試卷至少應(yīng)滿足以下幾項要求:

1)試卷總分：∑f(Wi)＝100(i＝1,2,…,k)，其中f(Wi)表示試題Wi的題分，總分默認(rèn)為100分，可由管理員更改．

2)試卷總時間：∑s(Wi)＝120(i＝1,2,…,k)，其中s(Wi)表示試題Wi所需時間，總時間默認(rèn)為120 min，可由管理員更改．

3)試題類型：∑g(Wi)＝gi(i＝1,2,…,k)，其中g(shù)i表示第k類試題的總題數(shù)．

4)試卷平均難度系數(shù):p＝∑d(Wi)/k(i＝1,2,…,k)，其中d(Wi)為試題Wi的難度．

5)試題使用頻率：r(Wi)＜0．2(i＝1,2,…,k)，其中r(Wi)為試題Wi的使用頻率，默認(rèn)為0．2，可由管理員更改．

6)試題章節(jié)：∑t(Wi)＜ti＝4(i＝1,2,…,k)，其中ti表示每章節(jié)的試題總數(shù)，默認(rèn)為少于4題，可由管理員更改．

7)第i道題難度系數(shù)允許的誤差｜d(Wi)－p｜≤Eij（i＝1,2,…,k）,其中Eij的取值相當(dāng)于一個適應(yīng)度函數(shù)值，它限制試題的難度系數(shù)應(yīng)盡可能達(dá)到以下要求:

a．生成試卷的平均難度接近用戶給定的整個試卷的難度系數(shù)；

b．難度分布應(yīng)合理，一組試題中簡單題與難題都應(yīng)該占有一定比例；

c．“拔高題”的難度值應(yīng)該接近或略高于平均難度，至少不能明顯低于平均難度．

由此可見，試題庫試題的難度系數(shù)在自動組卷中起著很重要的作用．難度值可以結(jié)合教師評估和學(xué)生測試2個方面進(jìn)行確定，具體如圖1所示．

試題的難度值由教師和學(xué)生2方面決定，可以通過評價指標(biāo)并結(jié)合項目反應(yīng)理論，用模糊數(shù)學(xué)綜合評價法定量地描述出試題難度值．

2．2 試題難度系數(shù)模糊評價

應(yīng)用模糊數(shù)學(xué)的知識[5]，可知對于有限論域u,v,有

圖1 試題難度值的確定過程

u＝{u1,u2,．．．,un},v＝{v1,v2,．．．,vn}．

u稱作評價因素集，v稱作評語集．若?ui∈u，則對評價對象給出的模糊評判，可用一個定義在評語集v上的模糊子集寫成1組序偶:

{ri1/v1,ri2/v2,…,rim/vm}, 0＜rij＜1,i＝1,2,…,n；j＝1,2,…,m．

將這些序偶排列起來組成矩陣，從而得到該對象的評判矩陣為

其中：m為評價指標(biāo)集ui中元素的個數(shù)；n為評價集W中元素的個數(shù)．由于學(xué)生的個人能力不同，此外還受考場、身體情況、授課教師及其使用的授課手段等因素的影響，不同學(xué)生對同一道題的難度具有不同的判斷．而教師確定一道題的難度主要以其主觀判斷和教學(xué)經(jīng)驗作為依據(jù)，缺乏科學(xué)性．筆者建立了一個模糊綜合評判模型，試題難度值綜合評價系統(tǒng)的結(jié)構(gòu)及各評價指標(biāo)的具體含義見圖2．

圖2 試題難度值的評價指標(biāo)體系

試題難度W＝{w1,w2,w3,w4,w5}＝{難，較難，一般，較易，易}＝{1，0．8,0．6,0．4,0．2}．在進(jìn)行模糊綜合評判時，權(quán)重對最終的評價結(jié)果會產(chǎn)生很大影響，我們采用專家估計法確定權(quán)重．考慮到抽查的學(xué)生不能完全代表所有學(xué)生的情況，所以主要還是依據(jù)教師的經(jīng)驗確定權(quán)重:

u＝(0．6，0．4)， u1＝（u11，u12，u13）＝(0 5,0．3,0．2)， u2＝（u21，u22，u23）＝(0 5,0．3,0．2)．

u1，u2所確定的權(quán)重是各元素相對于其上一層次元素的相對重要性權(quán)重值．它們所取的值和目標(biāo)因素集合中的因素一一對應(yīng)．

選取學(xué)生和有關(guān)教師組成評審團(tuán)，對評價指標(biāo)體系中第2層各元素進(jìn)行單因素評價．通過對調(diào)查結(jié)果的整理、統(tǒng)計，得到單因素模糊評判矩陣，之后進(jìn)行如下綜合評判:

“?！北硎緩V義的合成運算，有如下3種合成運算算子可供選擇:

2)若要適當(dāng)兼顧各因素并保留單因素評價的全部信息，可選算子M(,＋),這時

算子M(∧,∨)和算子M(,∨)在突出主因素的同時丟棄了大部分有用信息，所以筆者考慮采用算子M(,＋)．由M(,＋)的運算表達(dá)式可發(fā)現(xiàn)其具體計算方法就是矩陣乘法運算，這給評價模型的實際應(yīng)用帶來了方便．

3 總結(jié)

利用矩陣?yán)碚撃軌蚯逦枋龀槿≡囶}的目標(biāo)及約束關(guān)系，從矩陣可以看出抽題組卷問題是GA在多約束背包問題上的一個具體應(yīng)用，矩陣?yán)碚撘灿欣诙M(jìn)制編碼的GA實施．而采用模糊數(shù)學(xué)理論和IRT綜合評價試題難度，其結(jié)果能匯總教師和學(xué)生對試題難度的評價意見，較全面地反映試題的難度，有助于實現(xiàn)利用GA組卷時對試卷難度的約束．

[1] 肖寒鵬.基于遺傳算法的組卷系統(tǒng)的研究[J].電腦知識與技術(shù),2010，6(9):7 569-7 570.

[2] HOLLAND J H.Adaptation in Natural and Artificial Systems[M].Boston:MIT Press,1992:6-24.

[3] 張帆,唐湘蓉.基于遺傳算法的優(yōu)化搜索技術(shù)[J].礦物巖石,1998(S1):236-238.

[4] 馬青山.遺傳算法在網(wǎng)絡(luò)考試系統(tǒng)中的應(yīng)用[J].信息與電腦，2012(2):90-92.

[5] DAN S.Query decomposition and view maintenance for query language for unstructured data[C]//San Francisco:Morgan Kaufmann,1996:227-238.

An Evaluation Model for the Item Difficulty Coefficient in Intelligent Test Paper Composition

LI Jie,WU Yutian

(College of Mathematics and Information Sciences,Zhaoqing University,Zhaoqing,Guangdong 526061,China)

The present paper mainly studies the intelligent test composition by using genetic algorithms in network test system design.In the first place,the indicators are set according to user requirements on the test paper and the constraints by using genetic algorithm to carry out the test paper, using matrix theory to create the mathematical model that enabled genetic operator to crossover combination and mutation,and then one of the major constraints-the difficulty of indicators for Test Paper-is constructed,using fuzzy comprehensive evaluation of the mathematical methods and item response theory to each question in the test database to evaluate difficulty of mathematical modeling in order to accurately decide the difficulty coefficient of each item,and ultimately lay the foundation for the realization of the genetic algorithm global optimization and intelligent search.

intelligent test paper composition;mathematics model;the item difficulty coefficient;fuzzy evaluation

O29；TP301

A

1009－8445（2012）05－0010－04

（責(zé)任編輯：陳 靜）

2012－05－23

肇慶市科學(xué)技術(shù)創(chuàng)新計劃項目（2012011）；肇慶學(xué)院自然科學(xué)基金資助項目（201119）

李 捷（1980－），女,廣東肇慶人，肇慶學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院講師,碩士．