基于路徑的模擬仿真設(shè)備操作考試自動評分方法

向洪標(biāo) 侯勁 袁天寶

摘要：在對模擬仿真設(shè)備操作的考試過程中，學(xué)員的操作順序多樣性較高，會產(chǎn)生多種評判路徑。為提高模擬仿真設(shè)備實操考核評分的準(zhǔn)確性，通過對檢定實體設(shè)備的操作流程進(jìn)行分析，結(jié)合人工評分的思路，采用一種基于操作路徑的動態(tài)規(guī)劃評分方法。通過對操作路徑進(jìn)行分析和預(yù)處理，結(jié)合路徑最大匹配算法，實現(xiàn)對模擬仿真設(shè)備操作分步評判的自動評分。經(jīng)實驗驗證，該自動評分算法對模擬仿真設(shè)備具有適用性，能客觀反映學(xué)員對操作流程的掌握情況。

關(guān)鍵詞：模擬仿真設(shè)備；實操考核；動態(tài)規(guī)劃；匹配算法；自動評分

中圖分類號：TP311? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2023）31-0067-04

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）

0 引言

近年來，隨著智能化和互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，各行各業(yè)也紛紛轉(zhuǎn)型升級，模擬仿真技術(shù)在教育、培訓(xùn)等領(lǐng)域的應(yīng)用也越來越廣泛，模擬仿真設(shè)備在邏輯上完全能夠?qū)崿F(xiàn)實體設(shè)備的所有功能，并且能夠接替實踐教學(xué)中的任務(wù)[1-3]。在檢定設(shè)備實操考核培訓(xùn)領(lǐng)域中，由于檢定設(shè)備昂貴且不易搬運，學(xué)員需要親自前往現(xiàn)場進(jìn)行實操考核，評委老師根據(jù)學(xué)員的操作熟練度和有效性進(jìn)行現(xiàn)場打分。這種傳統(tǒng)的培訓(xùn)考核方式不僅成本高、效率低，而且在遭遇不可抗力因素如自然災(zāi)害等情況時，考核也會因無法如期舉行而被迫取消。為了解決這一問題，本文提出了一種利用模擬仿真設(shè)備的線上考核方案，旨在降低培訓(xùn)考核成本、提高效率、保證考核順利舉行，并培養(yǎng)出高素質(zhì)的檢定人員[4-7]。

目前針對主觀題常見的評分方法有基于專家系統(tǒng)判定法、基于操作目標(biāo)判定法、基于序列匹配判定法等。文獻(xiàn)[8]是基于模糊專家系統(tǒng)的評分算法，它需要龐大的數(shù)據(jù)庫系統(tǒng)提供支持，且應(yīng)用于特定的對象，不具有普遍適用性；文獻(xiàn)[9]針對編程題進(jìn)行評分，此類操作目標(biāo)的評分算法是根據(jù)程序的運行結(jié)果進(jìn)行評分，它具有不能判定程序步驟是否正確的局限性；文獻(xiàn)[10]是基于序列匹配的評分算法，它依據(jù)操作序列進(jìn)行評分，適應(yīng)于多數(shù)的操作考試中，但存在如果前面部分的操作錯誤，后面部分的操作依然會進(jìn)入評判中的問題。

本文對模擬仿真設(shè)備自動評分中存在的問題進(jìn)行了研究，采用一種基于操作路徑的評分方法，結(jié)合路徑最大匹配的算法，對實操考試過程中隨機(jī)操作路徑的有效操作進(jìn)行篩選，并使用分步評分，實現(xiàn)對操作路徑的評判。

1 操作路徑的定義

將操作路徑定義為：由一系列操作行為隨時間串聯(lián)成的順序組合，用操作集{M1，M2，...，MI，m1，m2，...，mi}表示，其中MI和mi分別表示第i步有效操作和無效操作。

一次考核任務(wù)通常會有多種操作路徑，這些操作路徑都是正確的，將正確的操作路徑集合作為評判路徑集。通過對實際考核操作中可能存在的各種的情況進(jìn)行歸納總結(jié)，現(xiàn)對操作事件作如下分類：

1） 有效操作。在操作路徑中作為判分依據(jù)的操作。

2） 無效操作。在操作路徑中不應(yīng)該出現(xiàn)的操作，會對結(jié)果產(chǎn)生壞的影響。

3） 漏操作。在操作路徑中未執(zhí)行的有效操作。

4） 無關(guān)操作。此類操作對考核結(jié)果不會產(chǎn)生影響并可重復(fù)出現(xiàn)。

對操作路徑作如下分類：

1） 串聯(lián)路徑。該操作路徑中的各個操作步驟須嚴(yán)格按照順序執(zhí)行。

2） 并聯(lián)路徑。該操作路徑中的操作步驟不分先后，執(zhí)行即可。

2 操作流程分析和評分方法及數(shù)據(jù)庫設(shè)計

2.1 操作流程分析

本文選擇以檢定功率計為例，通過梳理總結(jié)得出在進(jìn)行模擬仿真設(shè)備操作考核時的主要步驟。

1） 測量點位選擇：根據(jù)被測設(shè)備選擇合適的測量點位。

2） 測量接口選擇：根據(jù)標(biāo)準(zhǔn)和待測設(shè)備選擇需要測試的接口。

3） 線纜選擇：根據(jù)標(biāo)準(zhǔn)和待測設(shè)備選擇相應(yīng)的線纜。

4） 儀器接口連接：將選擇的線纜連接好測量設(shè)備的相應(yīng)接口。

5） 操作設(shè)備：打開儀器電源，進(jìn)行置零和校準(zhǔn)，輸入測量點等。

6） 讀數(shù)并記錄：讀取并記錄標(biāo)準(zhǔn)設(shè)備中的數(shù)據(jù)。

7） 整理設(shè)備：關(guān)閉儀器電源，取下線纜。

8） 提交考核過程并由系統(tǒng)評分。

常見的考試評分系統(tǒng)一般不需要記錄操作過程，直接通過答題的結(jié)果即可進(jìn)行給分，如作文評分系統(tǒng)，編程題評分系統(tǒng)等，但在本次業(yè)務(wù)需求中涉及復(fù)雜的設(shè)備操作，評分的關(guān)鍵恰恰在于操作的正確性，所以不僅要記錄操作過程還要記錄得到的結(jié)果，最后結(jié)合兩者進(jìn)行給分。

2.2 評分方法設(shè)計

通過上面對操作事件的分類和操作流程的分析得出，操作路徑具有很強(qiáng)的隨機(jī)性，里面可能充斥著各種干擾操作事件，這些都會對評分產(chǎn)生影響，通過歸納總結(jié)本文整理出以下評分方法。

1） 操作路徑預(yù)處理

由于實際操作路徑中可能存在各種不確定的操作，針對操作路徑中存在的一些無關(guān)操作，在系統(tǒng)評分之前需要進(jìn)行一次操作路徑的清洗，去除掉那些沒有參考價值的操作，篩選出一套有效的操作路徑。

2） 路徑相似度匹配

對操作路徑進(jìn)行預(yù)處理后，通過路徑相似度匹配算法，從標(biāo)準(zhǔn)操作集中找出最大匹配的標(biāo)準(zhǔn)操作路徑。

3） 分步評分

實操考核不能簡單地通過結(jié)果正確或者錯誤進(jìn)行評判，這樣并不能反映一個學(xué)員的操作水平。按步驟給分能夠合理地反映出學(xué)員的水平，以及對各個操作考核的掌握情況。

4） 兩個評價指標(biāo)

①操作順序：按操作路徑匹配，分為嚴(yán)格按操作順序匹配和自由匹配。

②設(shè)備狀態(tài)：完成操作任務(wù)后判斷模擬仿真設(shè)備儀表的顯示狀態(tài)是否正確。

2.3 數(shù)據(jù)庫設(shè)計

模擬仿真設(shè)備的正常運行離不開數(shù)據(jù)的支撐，設(shè)備信息、考核人員的信息、分?jǐn)?shù)信息、設(shè)備儀表的狀態(tài)，和操作路徑都需要數(shù)據(jù)庫對其進(jìn)行存儲，因此數(shù)據(jù)庫的設(shè)計起到非常關(guān)鍵的作用。數(shù)據(jù)庫各表信息及關(guān)系如圖1所示。

3 評分方法實現(xiàn)

3.1 操作路徑預(yù)處理

系統(tǒng)接收到產(chǎn)生的操作路徑后，并不能直接進(jìn)行匹配，因為原始數(shù)據(jù)可能包含著許多干擾操作，這些干擾操作會導(dǎo)致評分難度加大以及評分不準(zhǔn)確。比如在單位選擇操作中，如果學(xué)員不斷切換多選框中單位選項，最后再確定為其中一個單位，那么切換過程中選擇其他單位選項所產(chǎn)生的操作路徑就會對評分產(chǎn)生干擾。所以預(yù)處理的目的就是進(jìn)行數(shù)據(jù)清洗，清除掉操作路徑中的干擾操作事件，保留有效的操作事件。

操作路徑預(yù)處理的思想為將操作事件以對應(yīng)的特定標(biāo)識字符賦予兩種狀態(tài)（0：無效操作事件；1：有效操作事件），1） 如果標(biāo)準(zhǔn)操作流程中不存在重復(fù)操作，那么將用戶操作路徑中重復(fù)某一操作事件的操作路徑最后一個字符設(shè)置為1狀態(tài)，即有效操作事件；2） 對于在多選框選項連續(xù)操作時，將其構(gòu)成的操作路徑最后一個字符設(shè)置為1。假設(shè)將操作路徑用不同數(shù)字表示，根據(jù)上面對操作路徑的處理規(guī)則，假設(shè)一組實際的操作路徑為：“1→2→2→3→4→5-2→5-1→5-3”（1、2、3、4分別表示不同操作事件，5-1、5-2、5-3分別表示同一操作事件的不同選項），經(jīng)過預(yù)處理后得到的路徑為：“1→2→3→4→5-3”其處理效果如圖2所示（其中深色表示狀態(tài)1；淺色代表狀態(tài)0）。

3.2 路徑相似度匹配

路徑相似度的計算是將預(yù)處理后的操作路徑與數(shù)據(jù)庫中的標(biāo)準(zhǔn)路徑集進(jìn)行匹配的過程。本次設(shè)計采用的是編輯距離算法，一種動態(tài)規(guī)劃的方法，編輯距離是指將原字符串通過字符插入，刪除和替換轉(zhuǎn)化為目標(biāo)字符串的最小編輯次數(shù)，再根據(jù)編輯次數(shù)得出兩者的相似度。

編輯距離算法的計算法則為：假設(shè)有一個長度為i的字符串S，以及一個長度為j的字符串T，然后利用[edit（i，j）]函數(shù)來表示兩個字符串之間的編輯距離。

1） 如果i=0且j＞0，定義以下的公式（1） ：

[edit（0，j）=j] （1）

表示字符串S的長度為0，字符串T的長度為多少，就做多少次編輯操作。

2） 如果i＞0且j=0，定義以下的公式（2） ：

[edit（i，0）=i]? ? ?（2）

表示字符串T的長度為0，字符串S的長度為多少，就做多少次編輯操作。

3） 如果0＜i≤1且0＜j≤1，定義以下的公式（3） ：

[edit（i，j）=min{edit（i-1，j）+1，edit（i，j-1）+1，edit（i-1，j-1）+a（i，j）}]? （3）

式中，如果字符串S的第i個字符等于字符串T的第j個字符，那么[a（i，j）]=0，否則[a（i，j）=1]。

最后根據(jù)得出的編輯距離[edit（i，j）]，定義以下計算相似度[α]的公式（4） ：

[α=1-edit（i，j）Max（i，j）]? ? （4）

在公式（4） 中Max表示取得的最大長度值。

3.3 分步評分

從傳統(tǒng)的閱卷角度分析，分步評分更能確保考試結(jié)果的合理性。本次設(shè)計的模擬仿真設(shè)備實操考核系統(tǒng)，根據(jù)考核要求盡可能實現(xiàn)了同實體設(shè)備同樣的操作邏輯。在操作流程分析中提到的七個主要步驟便是分步評分的依據(jù)。通過預(yù)處理后的操作路徑和路徑最大匹配算法得到的標(biāo)準(zhǔn)操作路徑之間的比對進(jìn)行評分，構(gòu)造的評分模型（5） 如下：

[score=i=1，j=13αiβj+i=47αij=4iβj]?; ?（5）

式中score表示本項實操考核的總分?jǐn)?shù)，0≤score≤100；[αi]表示第i步所占的分值，[βj]表示第j步操作是否為有效操作，如果是[βj=1]，否則[βj=0]；[j=4iβj]表示歷史操作路徑的正確性，如果第j步是錯誤的，但是第j步之前的操作都是正確的，那么總分為第j步之前所有步驟分值的總和，第j步以及之后的操作都為0分。通過對操作流程的分析發(fā)現(xiàn)，有的步驟是需要嚴(yán)格按照順序執(zhí)行，否則不得分，但是有的操作步驟則與順序無關(guān)，執(zhí)行了即可。通過歸納總結(jié)發(fā)現(xiàn)前三步關(guān)于對測量點位、測量接口、線纜的選擇不必按照順序執(zhí)行，但之后的操作需要，所以構(gòu)造的模型對兩部分操作流程分別實施一套評判邏輯，最后總分為兩者分?jǐn)?shù)之和。公式（5） 中各個變量的具體值如表1所示。

[α5]表示第5步儀器操作的得分，該操作為總操作路徑下的子路徑，且應(yīng)該按照順序執(zhí)行，所以定義公式（6） 如下：

[α5=i=1nγij=1iρi]? ?（6）

式中[γi]表示第i步的分值，[ρi]表示第j步的正確性，如果正確則[ρi]=1，否則[ρi]=0。式中各個變量的具體值如表2所示。

4 系統(tǒng)實現(xiàn)及測試

系統(tǒng)使用前端Vue框架和后端Go語言實現(xiàn)開發(fā)。用戶完成一整套操作路徑，提交試卷之后，系統(tǒng)便將獲取到的數(shù)據(jù)通過本文設(shè)計的基于操作路徑的自動評分方法進(jìn)行判分。接下來以考核任務(wù)中一項操作路徑為例，說明本次開發(fā)的模擬仿真設(shè)備考試系統(tǒng)自動評分如何實現(xiàn)并展示模擬仿真設(shè)備部分頁面。

第1步，打開儀器電源進(jìn)行復(fù)位、置零、校準(zhǔn)等操作。

第2步，根據(jù)操作結(jié)果，依據(jù)評分算法計算分值。

第3步，通過觀察檢定的模擬仿真設(shè)備選擇合適的端口和線纜。

第4步，根據(jù)選擇結(jié)果，依據(jù)評分算法計算分值。

第5步，設(shè)置信號源頻率值和幅值，并確定操作。

第6步，根據(jù)設(shè)置結(jié)果，依據(jù)評分算法計算分值。

第7步，記錄標(biāo)準(zhǔn)功率計中得出的數(shù)值，如圖3所示。

第8步，根據(jù)頁面顯示結(jié)果，依據(jù)評分算法計算分值。

第9步，計算出該項操作路徑的總分值。

以上述的一項按順序操作任務(wù)為例，將本文設(shè)計的基于操作路徑評分算法與基于序列匹配算法作比較。假設(shè)該項標(biāo)準(zhǔn)操作路徑為A，B，C，D，E，F(xiàn)，而用戶操作路徑經(jīng)過預(yù)處理后為A，B，C，D，F(xiàn)，E，每步操作分值為1分。使用兩種評分算法進(jìn)行分析，如表3、表4 所示。

通過上面兩張表可知基于序列匹配的評分方法得分較高，因為只要執(zhí)行了評判標(biāo)準(zhǔn)集中的操作步驟即可給分，并未考慮操作順序的影響，而本文采用的基于操作路徑的評分算法，操作步驟和操作步驟的順序都成為評分的依據(jù)，通過了解某單位實操考核時人工的評分規(guī)則，基于操作路徑評分方式更能合理反映出學(xué)員的操作水平。

5 結(jié)束語

本文針對實操培訓(xùn)考核的需求，對考核流程進(jìn)行了分析，設(shè)計了一種基于操作路徑的分步評分方法，完成了對操作路徑和結(jié)果的評判。該方法經(jīng)過實驗論證確實可行，已經(jīng)在所開發(fā)的模擬仿真設(shè)備操作考試自動評分系統(tǒng)中得以應(yīng)用，并取得了良好的效果。

參考文獻(xiàn)：

[1] 陳卓艷，仇麗青.基于在線開放課程+OJ的程序設(shè)計類課程教學(xué)模式探索與實踐[J].軟件，2020，41（4）：282-285.

[2] 張美娟，劉軍，陳艷，等.基于課程訓(xùn)練的在線評測系統(tǒng)的研究[J].信息技術(shù)與信息化，2019（9）：163-165.

[3] 薄鈞戈，喬亞男，齊琪，等.基于編輯距離的自適應(yīng)反饋程序評測方法[J].計算機(jī)技術(shù)與發(fā)展，2022，32（8）：135-141.

[4] 熊宗楊，薛學(xué)斌，王欣，等.基于過程化考核的在線考試系統(tǒng)的研究與實現(xiàn)[J].重慶師范大學(xué)學(xué)報（自然科學(xué)版），2018，35（6）：75-81.

[5] 肖靈云，劉軍庫.基于相似度組合的主觀題評分方法研究[J].貴州大學(xué)學(xué)報（自然科學(xué)版），2021，38（5）：64-68.

[6] 王力洪.基于關(guān)鍵字和序列匹配的自動評分算法的研究[J].福建電腦，2015，31（12）：10-12.

[7] 李建華，許芝卉.基于人工評分思路的C語言自動評分算法研究[J].山西大同大學(xué)學(xué)報（自然科學(xué)版），2020，36（2）：25-27.

[8] 喬程程，楚紀(jì)正.基于模糊專家系統(tǒng)的操作評價方法[J].計算機(jī)與現(xiàn)代化，2013（10）：163-166.

[9] 宗德才.操作題自動評分系統(tǒng)的設(shè)計與實現(xiàn)[J].計算機(jī)工程與設(shè)計，2010，31（5）：1156-1160.

[10] 郭培，高俊雄，王耘波.基于序列匹配的自動評分算法設(shè)計[J].計算機(jī)應(yīng)用，2011，31（S2）：78-80.

【通聯(lián)編輯：謝媛媛】