裝備操作考核自動(dòng)評(píng)分算法設(shè)計(jì)

王書湖　劉華章

摘 要：客觀評(píng)價(jià)學(xué)員的實(shí)際操作水平，在分析裝備操作的特點(diǎn)之后，結(jié)合序列匹配方法、模糊邏輯思想及最短編輯距離算法，設(shè)計(jì)裝備操作考核自動(dòng)評(píng)分算法，實(shí)現(xiàn)對(duì)學(xué)員操作過程的自動(dòng)評(píng)分。應(yīng)用表明，該算法符合裝備操作考核的要求，能夠反映出學(xué)員的實(shí)際操作水平。

關(guān)鍵詞：序列匹配；模糊邏輯；最短編輯距離；自動(dòng)評(píng)分

中圖分類號(hào)：TP301 文獻(xiàn)標(biāo)識(shí)碼：A

1 引 言

對(duì)操作者的實(shí)際操作水平進(jìn)行考核是實(shí)踐教學(xué)的一個(gè)重要環(huán)節(jié)，但由于裝備操作具有操作內(nèi)容多，操作流程復(fù)雜，操作有效性及熟練度難以檢驗(yàn)等特點(diǎn)，傳統(tǒng)上往往依靠考核者全程觀察操作者的操作過程，進(jìn)行一對(duì)一的考核，這種考核方式實(shí)施代價(jià)高，可操作性差，并且評(píng)價(jià)結(jié)果完全依賴考核者的主觀印象，難以做到客觀、公正、全面[1]。

隨著信息技術(shù)的飛速發(fā)展，計(jì)算機(jī)輔助測(cè)評(píng)逐步在教育領(lǐng)域得到了應(yīng)用[2]，然而目前的計(jì)算機(jī)輔助測(cè)評(píng)系統(tǒng)在選擇、判斷等客觀題或計(jì)算機(jī)操作技能等自動(dòng)測(cè)試方面支持良好[3，4]，但對(duì)裝備操作考核評(píng)估的支持還很不夠，這是因?yàn)閷?duì)裝備操作考核并不能簡(jiǎn)單采用某一種或幾種標(biāo)準(zhǔn)答案進(jìn)行評(píng)定，系統(tǒng)需要對(duì)操作者的操作速度、操作流程等各方面因素進(jìn)行綜合評(píng)估。這些因素都具有不確定性，難以給出精確的評(píng)估指標(biāo)。為解決上述問題，本文在研究分析了裝備操作特點(diǎn)后，針對(duì)這類操作特性，提出了基于操作序列匹配與模糊邏輯評(píng)判的自動(dòng)評(píng)測(cè)算法，對(duì)操作者的操作過程進(jìn)行考核評(píng)估，取得了良好效果[5]。

2 操作考核自動(dòng)評(píng)測(cè)模型

對(duì)操作者的操作進(jìn)行評(píng)測(cè)，首先需要獲得操作者操作的相關(guān)信息，之后再對(duì)相關(guān)操作進(jìn)行標(biāo)準(zhǔn)化處理，最后利用自動(dòng)評(píng)測(cè)算法對(duì)操作進(jìn)行評(píng)分，系統(tǒng)模型如圖1所示。

圖1 操作考核自動(dòng)評(píng)測(cè)模型

在操作信息中所要關(guān)注的是操作對(duì)象及其屬性、操作完成時(shí)間、操作所達(dá)到的狀態(tài)。為方便標(biāo)準(zhǔn)化處理及后續(xù)的自動(dòng)評(píng)測(cè)，在此利用事件來表示考生的操作序列，用四元組E（O，N，T，S）來描述相關(guān)的操作信息，其中O表示操作對(duì)象，N表示操作對(duì)象的屬性， T表示操作結(jié)束時(shí)間，S表示操作所達(dá)到的狀態(tài)[7]。

3 算法設(shè)計(jì)

針對(duì)操作訓(xùn)練的實(shí)際操作特點(diǎn)，采用重要度、相似度、時(shí)間度和成功度四個(gè)評(píng)估因子對(duì)操作過程進(jìn)行模糊邏輯評(píng)分，評(píng)分時(shí)首先需要確定標(biāo)準(zhǔn)操作序列，在具體操作中可能存在多種正確的操作序列，因此標(biāo)準(zhǔn)操作序列可能存在多個(gè)，為此在進(jìn)行評(píng)分時(shí)首先對(duì)操作序列進(jìn)行預(yù)處理，再逐一與標(biāo)準(zhǔn)操作進(jìn)行比對(duì)，采用分步評(píng)分、累加求和的方式計(jì)算總分[5]。

3.1 標(biāo)準(zhǔn)操作序列預(yù)處理

對(duì)標(biāo)準(zhǔn)操作序列依據(jù)各操作步驟間的聯(lián)系進(jìn)行分組，即聯(lián)系緊密度高、難以分割的一組序列分為一組，對(duì)于相對(duì)獨(dú)立的操作則獨(dú)自成為一組，每一組作為一個(gè)評(píng)價(jià)得分點(diǎn)，依據(jù)所確立的評(píng)價(jià)指標(biāo)對(duì)各評(píng)價(jià)組進(jìn)行模糊評(píng)分。對(duì)實(shí)際操作序列按照子序列嚴(yán)格匹配的模式依次判斷各評(píng)價(jià)點(diǎn)的操作是否正確，若匹配成功則標(biāo)志位accurate置為true，否則置為

3.2 四種評(píng)估因子

1.重要度

在裝備操作過程中，某些錯(cuò)誤的操作可能會(huì)對(duì)系統(tǒng)設(shè)備造成損害或?qū)е螺^為嚴(yán)重的后果，因此這些操作是極為重要的，在操作過程中必須嚴(yán)格落實(shí)。未嚴(yán)格遵守這些操作不僅不能得分，還要進(jìn)行相應(yīng)的扣分。為此用重要度表示某操作的重要程度，用Ii表示，共分為10個(gè)等級(jí)，取值范圍為[0，10]，每個(gè)等級(jí)的取值間隔為1。此指標(biāo)是唯一的扣分指標(biāo)，對(duì)不符合規(guī)定的操作進(jìn)行扣分。

2.相似度

相似度又可稱為操作序列符合度，即實(shí)際操作序列與標(biāo)準(zhǔn)序列的符合度。具體操作時(shí)利用子序列匹配算法將預(yù)處理后的標(biāo)準(zhǔn)操作序列與實(shí)際操作序列進(jìn)行匹配。匹配成功則該組的標(biāo)志位accurate置為true，其相似度Pi=1，否則置標(biāo)志位accurate為flase，Pi=0。匹配不成功則說明該操作未完成，則依據(jù)相應(yīng)的重要度加權(quán)進(jìn)行扣分處理。

3.時(shí)間度

對(duì)每一組操作序列，系統(tǒng)均預(yù)先設(shè)定一個(gè)參考操作時(shí)間TSi，并以實(shí)際操作時(shí)間TCi與該值的比作為時(shí)間度 Ti的函數(shù)輸入評(píng)價(jià)值[9]。

定義xi=TCiTSi，則Ti=f（xi），xi為自變量，其取值為（0，+∞），Ti的函數(shù)曲線圖如圖2所示，在參考操作時(shí)間內(nèi)的操作設(shè)其權(quán)重為1。操作時(shí)間越長(zhǎng)得分越低，則其時(shí)間度的權(quán)重越低，由于大部分操作號(hào)手操作的操作時(shí)間集中在1至2倍的參考操作時(shí)間內(nèi)，為便于拉開操作成績(jī)，則此時(shí)的曲線斜率較大。對(duì)4倍參考操作時(shí)間以上的操作不在進(jìn)行區(qū)分，統(tǒng)一將權(quán)重設(shè)為0.2。

圖2 時(shí)間度Ti的函數(shù)曲線圖

4.成功度

在實(shí)際操作中，存在多種正確的操作序列，某步操作的結(jié)果可能會(huì)對(duì)后續(xù)操作的結(jié)果造成影響，一步不達(dá)標(biāo)的操作可能導(dǎo)致后續(xù)相關(guān)的操作都不達(dá)標(biāo)，因此不能簡(jiǎn)單的以操作結(jié)果是否合格來進(jìn)行評(píng)價(jià)，為此采用成功度這一評(píng)價(jià)因子來衡量操作人員的操作效果，即用該操作實(shí)際達(dá)到的狀態(tài)集與該操作應(yīng)達(dá)到的狀態(tài)集進(jìn)行匹配，完全匹配則成功度Si為1，并將某操作實(shí)際達(dá)到的狀態(tài)集個(gè)數(shù)與應(yīng)該達(dá)到的狀態(tài)集個(gè)數(shù)間的比值定義為Fi。當(dāng)匹配度少于20%時(shí)便不做區(qū)分，將其成功度統(tǒng)一設(shè)為0.2，這主要是考慮雖未達(dá)到預(yù)期的操作效果，但仍然完成了該步操作，也應(yīng)獲得一定的分值。成功度Si定義為：

Si= Fi，F(xiàn)i≥0.2 0.2，F(xiàn)i<0.2

操作序列由于具有多樣性和復(fù)雜性，在具體評(píng)分時(shí)對(duì)相關(guān)性高的進(jìn)行了預(yù)先分組，但仍存在一些相關(guān)程度不高的操作序列，對(duì)于這些操作序列的評(píng)分主要依據(jù)成功度與最短編輯距離來評(píng)分。

3.3 最短編輯距離的計(jì)算

在實(shí)際的操作過程中，有可能存在誤操作或多次操作的情況，比如一個(gè)波段開關(guān)存在多個(gè)檔位，在具體操作時(shí)可能會(huì)存在多次來回波動(dòng)才停在正確的檔位上，為此就要比較實(shí)際操作序列與標(biāo)準(zhǔn)操作序列的差別。對(duì)所存在的誤操作及多次操作進(jìn)行扣分處理，在此引入字符串的編輯距離算法，編輯距離是指將原字符串轉(zhuǎn)換到目標(biāo)字符串所需的最少的插入、刪除和替換的數(shù)目。利用該算法求出實(shí)際操作序列變換為標(biāo)準(zhǔn)操作序列所需要的最少次數(shù)，并用該指標(biāo)評(píng)價(jià)實(shí)際操作中的誤操作及多次操作情況[11，12]。endprint

求兩個(gè)字符串間的編輯距離實(shí)際是一個(gè)求最優(yōu)解的過程，可以采用動(dòng)態(tài)規(guī)劃的思想來計(jì)算。將實(shí)際操作序列字符串記為T[1，N]，標(biāo)準(zhǔn)操作序列記為S[1，M]，將T到S的編輯距離記為D（S，T），并定義D[i，j]=D[S[1，i]，T[1，j]]。對(duì)單個(gè)字符的定義為：

對(duì)于某裝備的操作共有9步，依據(jù)該裝備的操作特點(diǎn)，制定了如表1所示的標(biāo)準(zhǔn)操作序列，采用該算法對(duì)表2所示的操作序列進(jìn)行評(píng)分，結(jié)果如表3所示。在計(jì)算得出各評(píng)價(jià)組的得分后，通過進(jìn)一步的計(jì)算可以得出實(shí)際操作序列與標(biāo)準(zhǔn)操作序列間的最短編輯距離為2，則該操作的最終得分為17.68+11.52-3+27.6-2=51.8。

4 結(jié) 語

利用裝備操作考核自動(dòng)評(píng)測(cè)算法可以有效的評(píng)價(jià)操作者的裝備操作水平，在具體操作時(shí)，首先要提取操作者的操作信息并對(duì)其進(jìn)行標(biāo)準(zhǔn)化處理，然后再依照算法進(jìn)行評(píng)分。標(biāo)準(zhǔn)序列及評(píng)分標(biāo)準(zhǔn)需要依據(jù)實(shí)際情況預(yù)先確定，這也有利于發(fā)揮人的主觀能動(dòng)性，使得算法更具普適性。

參考文獻(xiàn)

[1] BRIAN E，Clauser，Polina Harik，Stephen G. Clyman. The Generalizability of Scores for a Performance Assessment Scored with a ComputerAutomated Scoring System[J].Journal of Educational Measurement， 2005，37（3）：20-26.

[2] 張冰.自動(dòng)閱卷系統(tǒng)的研究[D].成都：西華大學(xué)，2008

[3] Temur Kutsia. Context Sequence Matching for XML[J]. Electronic Notes in Theoretical Computer Science， 2006，157 （2）：47-65.

[4] 宗德才.操作題自動(dòng)評(píng)分系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2010，31（5）：1156-1160.

[5] 郭培，高俊雄，王耘波.基于序列匹配的自動(dòng)評(píng)分算法設(shè)計(jì)[J].計(jì)算機(jī)應(yīng)用，2011，12：78-80.

[6] CLAUSER B E，HARIK P，CLYMAN S G，The generalizability of scores for a performance assessment scored with a computerautomated scoring system[J]. Journal of Educational Measurement， 2000，（37）：245-261.

[7] ROCKWOOD A L， CROCKETT D K， OLIPHANT J R， et al. Sequence alignment by crosscorrelation[J]. Journal of Biomolecular Techniques，2005，16（4）：453-458.

[8] 張靜，李凡長(zhǎng).動(dòng)態(tài)模糊機(jī)器學(xué)習(xí)模型及驗(yàn)證[J].計(jì)算機(jī)應(yīng)用，2006，26（9）：2044-2046.

[9] ARORA S，BHATTACHARJEE D，NASIPURI M，BASU D K，KUNDU M.Recognition of Non-Compound Handwritten Devnagari Characters using a Combination of MLP and Minimum Edit Distance[J]. International Journal of Computer Science and Security，2010，4（1）：107-112.

[10]馮乃勤，申向東，徐久成，等.模糊推理中沖突消解的一種新方法[J].計(jì)算機(jī)工程，2002，28（9）：75-76.

[11]喻高瞻，彭宏，胡勁松，等. 時(shí)間序列的相似性的分層查詢[J]. 計(jì)算機(jī)工程與應(yīng)用，2006，45（23）：152-153.

[12]王樹西，吳政學(xué).改進(jìn)的Dijkstra最短路徑算法及其應(yīng)用研究[J].計(jì)算機(jī)科學(xué)，2012，39（5）：223-228.endprint