虛擬仿真實(shí)驗(yàn)項(xiàng)目建設(shè)質(zhì)量評(píng)價(jià)研究

張海軍，閆 瓊，張 睿，張國(guó)輝

（1. 鄭州航空工業(yè)管理學(xué)院 航空工程學(xué)院，河南 鄭州 450015；2. 鄭州航空工業(yè)管理學(xué)院 管理工程學(xué)院，河南 鄭州 450015）

1 問題的提出

實(shí)驗(yàn)教學(xué)是高校教學(xué)中十分重要的環(huán)節(jié)，對(duì)培養(yǎng)學(xué)生的動(dòng)手能力、創(chuàng)新能力具有十分重要的意義。隨著教育信息化的發(fā)展，實(shí)驗(yàn)教學(xué)方式在不斷地發(fā)生變化，在實(shí)驗(yàn)教學(xué)與信息化技術(shù)深度融合的趨勢(shì)下，虛擬仿真實(shí)驗(yàn)教學(xué)應(yīng)運(yùn)而生。2017 年以來，教育部及各省教育廳陸續(xù)開展了示范性虛擬仿真實(shí)驗(yàn)教學(xué)項(xiàng)目建設(shè)工作[1-4]。與傳統(tǒng)實(shí)驗(yàn)項(xiàng)目相比，虛擬仿真實(shí)驗(yàn)項(xiàng)目具有受眾面廣泛、學(xué)習(xí)便捷、無(wú)地域限制等優(yōu)勢(shì)，優(yōu)秀虛擬仿真實(shí)驗(yàn)項(xiàng)目的大力推廣應(yīng)用，可以有效實(shí)現(xiàn)優(yōu)質(zhì)教育資源的共享。

近年來，陸續(xù)有學(xué)者對(duì)虛擬仿真實(shí)驗(yàn)教學(xué)開展了相關(guān)研究。胡今鴻分析了虛擬仿真實(shí)驗(yàn)教學(xué)資源共享過程中存在的問題，提出了三層平臺(tái)組織架構(gòu)的運(yùn)行機(jī)制[5]。許麗等人探索和實(shí)踐了虛擬仿真實(shí)驗(yàn)公共實(shí)驗(yàn)室的運(yùn)行及共享機(jī)制[6]。郭婷等人探討了虛擬仿真實(shí)驗(yàn)項(xiàng)目的建設(shè)內(nèi)涵以及虛擬仿真與實(shí)驗(yàn)教學(xué)的關(guān)系[7]。蒿麗萍針對(duì)職業(yè)教育虛擬仿真實(shí)訓(xùn)平臺(tái)，建立了評(píng)價(jià)指標(biāo)體系，雖未進(jìn)行定量計(jì)算，但較詳細(xì)地進(jìn)行了定性描述[8]。夏正新研究了醫(yī)學(xué)虛擬仿真實(shí)驗(yàn)教學(xué)平臺(tái)的構(gòu)建方式，并建立了相應(yīng)的運(yùn)行和激勵(lì)機(jī)制[9]。田小丹針對(duì)基于移動(dòng)學(xué)習(xí)的實(shí)踐教學(xué)績(jī)效評(píng)價(jià)指標(biāo)體系進(jìn)行了研究，應(yīng)用層次分析法確定了各指標(biāo)權(quán)重[10]。王博等人采用專家評(píng)分法對(duì)虛擬仿真模擬手術(shù)系統(tǒng)進(jìn)行了評(píng)價(jià)研究，獲得虛擬仿真模擬手術(shù)系統(tǒng)能夠有效提升醫(yī)生技能的結(jié)論[11]。

綜上所述，現(xiàn)有針對(duì)虛擬仿真實(shí)驗(yàn)教學(xué)的研究?jī)?nèi)容主要集中在教學(xué)資源開放共享機(jī)制探究、運(yùn)行機(jī)制及保障機(jī)制研究、共享平臺(tái)構(gòu)建、具體課程建設(shè)實(shí)踐等方面[12-13]，雖然有的建立了針對(duì)本專業(yè)虛擬仿真實(shí)驗(yàn)平臺(tái)的評(píng)價(jià)指標(biāo)體系，為虛擬仿真實(shí)驗(yàn)項(xiàng)目的實(shí)施與評(píng)價(jià)提供了有益的思路，但是仍然存在如下問題。

（1）針對(duì)虛擬仿真實(shí)驗(yàn)項(xiàng)目的評(píng)價(jià)多為定性評(píng)價(jià)。定性評(píng)價(jià)往往是由專家對(duì)項(xiàng)目建設(shè)質(zhì)量進(jìn)行評(píng)語(yǔ)性描述，評(píng)價(jià)結(jié)果無(wú)法進(jìn)行量化，也無(wú)法就多個(gè)虛擬仿真實(shí)驗(yàn)項(xiàng)目的建設(shè)績(jī)效進(jìn)行量化排名。

（2）評(píng)價(jià)指標(biāo)體系的權(quán)重賦權(quán)方法有待改進(jìn)。現(xiàn)有文獻(xiàn)一般是采用專家打分法或?qū)哟畏治龇▽?duì)評(píng)價(jià)指標(biāo)體系進(jìn)行賦權(quán)研究。專家打分法需要進(jìn)行多輪調(diào)查分析，專家易產(chǎn)生疲憊感從而降低積極性，而且參與評(píng)價(jià)的專家人數(shù)較多，評(píng)價(jià)周期較長(zhǎng)。運(yùn)用層次分析法時(shí)，如果評(píng)價(jià)指標(biāo)體系復(fù)雜，則需要建立多個(gè)判斷矩陣，還需進(jìn)行一致性檢驗(yàn)，計(jì)算過程繁瑣，計(jì)算量大，不便于推廣。

（3）有的文獻(xiàn)對(duì)虛擬仿真實(shí)驗(yàn)項(xiàng)目進(jìn)行了實(shí)例計(jì)算，所采用的方式為專家評(píng)分法。但由于虛擬仿真實(shí)驗(yàn)項(xiàng)目建設(shè)質(zhì)量評(píng)估指標(biāo)具有復(fù)雜性、不確定性，往往難以明確進(jìn)行定量評(píng)價(jià)，大多只能采用一般、不錯(cuò)類的模糊詞匯來描述。所建立的模型無(wú)法真實(shí)準(zhǔn)確地再現(xiàn)與映射評(píng)價(jià)者的意見。

鑒于此，本文首先采用德爾菲法（Delphi methods）進(jìn)行虛擬仿真實(shí)驗(yàn)項(xiàng)目建設(shè)質(zhì)量評(píng)價(jià)指標(biāo)體系構(gòu)建，再采用序關(guān)系分析法分析計(jì)算各評(píng)價(jià)指標(biāo)的權(quán)重，而后基于模糊綜合評(píng)價(jià)法[14]對(duì)項(xiàng)目建設(shè)質(zhì)量進(jìn)行綜合評(píng)價(jià)，最后進(jìn)行了實(shí)例驗(yàn)證。

2 評(píng)價(jià)指標(biāo)體系的構(gòu)建

虛擬仿真實(shí)驗(yàn)項(xiàng)目建設(shè)質(zhì)量評(píng)價(jià)是一項(xiàng)復(fù)雜的系統(tǒng)工程，涉及教學(xué)內(nèi)容、教學(xué)設(shè)計(jì)、仿真效果、平臺(tái)統(tǒng)計(jì)等諸多方面，在全面分析已有的質(zhì)量評(píng)價(jià)相關(guān)研究成果基礎(chǔ)上，首先采用德爾菲法構(gòu)建通用性高、適用性強(qiáng)的虛擬仿真實(shí)驗(yàn)項(xiàng)目建設(shè)質(zhì)量評(píng)價(jià)指標(biāo)體系。對(duì)于所要分析的虛擬仿真實(shí)驗(yàn)項(xiàng)目建設(shè)質(zhì)量評(píng)價(jià)問題先以問卷形式征求校內(nèi)專家意見；然后整理歸納這些專家意見，并將整理的結(jié)果反饋給他們；重復(fù)進(jìn)行前述步驟，直至專家意見達(dá)成一致為止。實(shí)施流程如圖1 所示。

圖1 德爾菲法的工作流程圖

根據(jù)專家反饋意見，虛擬仿真實(shí)驗(yàn)項(xiàng)目建設(shè)質(zhì)量評(píng)價(jià)體系分為三層。第一層是目標(biāo)層，即虛擬仿真實(shí)驗(yàn)項(xiàng)目建設(shè)質(zhì)量評(píng)價(jià)；第二層為準(zhǔn)則層，也可稱為一級(jí)指標(biāo)，是影響運(yùn)行系統(tǒng)的內(nèi)在和外在因素，包括教學(xué)內(nèi)容、教學(xué)設(shè)計(jì)、仿真效果、平臺(tái)統(tǒng)計(jì)四個(gè)準(zhǔn)則；第三層為二級(jí)指標(biāo)，各二級(jí)指標(biāo)是對(duì)一級(jí)指標(biāo)的進(jìn)一步細(xì)分。所建立的虛擬仿真實(shí)驗(yàn)項(xiàng)目建設(shè)質(zhì)量評(píng)價(jià)指標(biāo)體系如圖2 所示。

圖2 虛擬仿真實(shí)驗(yàn)項(xiàng)目建設(shè)質(zhì)量評(píng)價(jià)指標(biāo)體系

2.1 教學(xué)內(nèi)容

教學(xué)內(nèi)容是學(xué)生在進(jìn)行虛擬仿真實(shí)驗(yàn)項(xiàng)目學(xué)習(xí)過程中被有意傳遞的關(guān)鍵信息，是體現(xiàn)項(xiàng)目建設(shè)質(zhì)量好壞的重要準(zhǔn)則，包括三個(gè)二級(jí)指標(biāo)，分別是知識(shí)構(gòu)架、能力構(gòu)架和規(guī)范完整性。知識(shí)構(gòu)架反映所授教學(xué)內(nèi)容的關(guān)鍵知識(shí)點(diǎn)是否明確、突出，各知識(shí)點(diǎn)之間的鏈接是否連續(xù)自然。能力構(gòu)架反映所授教學(xué)內(nèi)容是否能夠?qū)W(xué)生核心能力或技能的培養(yǎng)形成有力支撐。規(guī)范完整性反映教學(xué)內(nèi)容是否相對(duì)完整，教學(xué)過程中采用的文字、符號(hào)、單位等是否符合相應(yīng)的技術(shù)規(guī)范，操作實(shí)施過程是否進(jìn)行了規(guī)范化設(shè)計(jì)。

2.2 教學(xué)設(shè)計(jì)

教學(xué)設(shè)計(jì)反映的是虛擬仿真實(shí)驗(yàn)項(xiàng)目是否進(jìn)行了系統(tǒng)規(guī)劃，包括三個(gè)二級(jí)指標(biāo)，分別是目標(biāo)設(shè)計(jì)、交互設(shè)計(jì)和評(píng)價(jià)設(shè)計(jì)。目標(biāo)設(shè)計(jì)是指虛擬仿真實(shí)驗(yàn)項(xiàng)目的教學(xué)目標(biāo)是否清晰，教學(xué)定位是否準(zhǔn)確，反映的是教學(xué)目標(biāo)是否適應(yīng)學(xué)生的認(rèn)知能力。交互設(shè)計(jì)反映學(xué)生在學(xué)習(xí)過程中的操作是否便捷，有無(wú)教、學(xué)交互。評(píng)價(jià)設(shè)計(jì)是指針對(duì)學(xué)生的學(xué)習(xí)過程是否能夠進(jìn)行階段性評(píng)價(jià)及綜合評(píng)價(jià)。

2.3 仿真效果

仿真效果是虛擬仿真實(shí)驗(yàn)項(xiàng)目績(jī)效的一種外在表現(xiàn)形式，包括軟件設(shè)計(jì)、制作效果、操作性能三個(gè)二級(jí)指標(biāo)。軟件設(shè)計(jì)反映設(shè)計(jì)的軟件導(dǎo)航是否清晰，交互方式是否靈活多樣，以及仿真元素是否逼真等。制作效果反映制作的精細(xì)程度，指仿真過程中界面布局是否合理新穎，色彩搭配是否良好，以及仿真環(huán)境是否逼真等。操作性能指在操作過程中是否方便流暢，是否有卡殼及死機(jī)現(xiàn)象，特定環(huán)境下對(duì)一些關(guān)鍵器件的操作是否可以實(shí)現(xiàn)拆卸、透視等功能。

2.4 平臺(tái)統(tǒng)計(jì)

虛擬仿真實(shí)驗(yàn)項(xiàng)目往往需要在共享服務(wù)平臺(tái)內(nèi)進(jìn)行展示及應(yīng)用，平臺(tái)統(tǒng)計(jì)的數(shù)據(jù)結(jié)果應(yīng)真實(shí)地反映實(shí)際使用者的體驗(yàn)效果，因此在虛擬仿真實(shí)驗(yàn)項(xiàng)目的質(zhì)量評(píng)價(jià)中，需要考慮平臺(tái)統(tǒng)計(jì)的數(shù)據(jù)，包括學(xué)生評(píng)教和點(diǎn)擊率兩個(gè)二級(jí)指標(biāo)。學(xué)生評(píng)教反映使用者對(duì)虛擬仿真實(shí)驗(yàn)項(xiàng)目的價(jià)值判斷，點(diǎn)擊率則反映虛擬仿真實(shí)驗(yàn)項(xiàng)目受到的關(guān)注程度。

3 虛擬仿真實(shí)驗(yàn)項(xiàng)目建設(shè)質(zhì)量評(píng)價(jià)模型

3.1 基于序關(guān)系分析法確定評(píng)價(jià)指標(biāo)權(quán)重

序關(guān)系分析法（G1 法）于2011 年首次提出。與專家打分法相比，G1 法先由專家對(duì)評(píng)估指標(biāo)進(jìn)行分析排序后，再進(jìn)行打分計(jì)算，無(wú)需經(jīng)過多輪調(diào)查；與層次分析相比，G1 法無(wú)需檢驗(yàn)一致性，計(jì)算更加簡(jiǎn)單，便于應(yīng)用。采用 G1 法對(duì)虛擬仿真實(shí)驗(yàn)項(xiàng)目的建設(shè)質(zhì)量評(píng)價(jià)指標(biāo)進(jìn)行權(quán)重計(jì)算，將有效降低評(píng)估周期和成本，同時(shí)使計(jì)算過程更為簡(jiǎn)單。計(jì)算步驟如下。

步驟一：依據(jù)所建立的虛擬仿真實(shí)驗(yàn)項(xiàng)目建設(shè)質(zhì)量評(píng)價(jià)指標(biāo)體系，建立評(píng)價(jià)指標(biāo)集合：

步驟二：確定評(píng)價(jià)指標(biāo)之間的序關(guān)系。對(duì)評(píng)價(jià)指標(biāo)的重要程度進(jìn)行定性排序，若第i個(gè)指標(biāo)的重要性不低于第j個(gè)指標(biāo)，則記為對(duì)所有的指標(biāo)進(jìn)行比較排序后，得到新的有序的評(píng)價(jià)指標(biāo)集合：且滿足：若

其中：wk表示指標(biāo)bk的權(quán)重，rk的取值參考表1。

表1 rk 賦值參考表

步驟四：依據(jù)式（1）計(jì)算各指標(biāo)的權(quán)重值如式（2）和式（3），以及評(píng)價(jià)指標(biāo)的權(quán)重集合W：

3.2 模糊綜合評(píng)價(jià)決策模型

其中，rij代表第i個(gè)評(píng)價(jià)指標(biāo)隸屬于第j種評(píng)語(yǔ)的隸屬度。

對(duì)模糊綜合評(píng)價(jià)向量S進(jìn)行歸一化處理，依據(jù)最大隸屬度法確定最終的評(píng)價(jià)結(jié)果。其中?為模糊乘算子。

4 實(shí)例計(jì)算

彈射器虛擬仿真實(shí)驗(yàn)系統(tǒng)是我校最早立項(xiàng)建設(shè)的虛擬仿真實(shí)驗(yàn)項(xiàng)目，屬于“質(zhì)量工程學(xué)”課程的課內(nèi)實(shí)驗(yàn)，主要面向質(zhì)量管理工程、工業(yè)工程等專業(yè)本科生。

在系統(tǒng)未開發(fā)之前，學(xué)生進(jìn)行實(shí)驗(yàn)時(shí)需利用學(xué)院自制的彈射器進(jìn)行數(shù)據(jù)采集，而后對(duì)數(shù)據(jù)進(jìn)行多因素多水平實(shí)驗(yàn)設(shè)計(jì)分析，整個(gè)實(shí)驗(yàn)耗時(shí)長(zhǎng)且對(duì)實(shí)驗(yàn)場(chǎng)地有一定要求。開發(fā)彈射器虛擬仿真實(shí)驗(yàn)系統(tǒng)后，學(xué)生在電腦終端即可進(jìn)行數(shù)據(jù)采集，不僅改善了實(shí)驗(yàn)環(huán)境，也提升了學(xué)生的學(xué)習(xí)興趣，教學(xué)效果良好。以下以彈射器虛擬仿真實(shí)驗(yàn)系統(tǒng)為研究對(duì)象，對(duì)其進(jìn)行建設(shè)質(zhì)量評(píng)價(jià)。

4.1 確定評(píng)價(jià)指標(biāo)權(quán)重

根據(jù)圖2 所示的評(píng)價(jià)指標(biāo)體系，建立評(píng)價(jià)指標(biāo)集合，一級(jí)指標(biāo)集合為：

首先計(jì)算一級(jí)指標(biāo)的權(quán)重。計(jì)算步驟如下：

（1）確定一級(jí)指標(biāo)的序關(guān)系。邀請(qǐng)校內(nèi)專家對(duì)一級(jí)指標(biāo)的重要度進(jìn)行定性排序，得到：仿真效果,教 學(xué)設(shè)計(jì),平 臺(tái)統(tǒng)計(jì)} 。

（4）以此類推，按照上述的方法，可以依次計(jì)算出一級(jí)指標(biāo)ui對(duì)應(yīng)的各二級(jí)指標(biāo)uij的權(quán)重wij，根據(jù)式（6）計(jì)算可得各二級(jí)指標(biāo)的綜合權(quán)重值。具體的計(jì)算結(jié)果如表2 所示。

表2 指標(biāo)權(quán)重值計(jì)算結(jié)果

4.2 彈射器虛擬仿真實(shí)驗(yàn)系統(tǒng)模糊綜合評(píng)價(jià)

表3 各二級(jí)指標(biāo)評(píng)價(jià)結(jié)果統(tǒng)計(jì)表

依據(jù)表3 統(tǒng)計(jì)結(jié)果，得到模糊綜合評(píng)價(jià)矩陣R。

根據(jù)式（5），得到綜合評(píng)價(jià)向量：

5 結(jié)語(yǔ)

針對(duì)虛擬仿真實(shí)驗(yàn)項(xiàng)目建設(shè)質(zhì)量評(píng)價(jià)問題，首先采用德爾菲法構(gòu)建了可量化的評(píng)價(jià)指標(biāo)體系；然后基于序關(guān)系分析法及模糊綜合評(píng)價(jià)法建立了虛擬仿真實(shí)驗(yàn)項(xiàng)目建設(shè)質(zhì)量評(píng)價(jià)模型；最后以彈射器虛擬仿真實(shí)驗(yàn)系統(tǒng)為例，對(duì)所建立的評(píng)價(jià)模型進(jìn)行了實(shí)例驗(yàn)證。

基于序關(guān)系分析法計(jì)算評(píng)價(jià)指標(biāo)權(quán)重，方法相對(duì)簡(jiǎn)單，易于推廣；結(jié)合調(diào)查問卷及網(wǎng)絡(luò)平臺(tái)的統(tǒng)計(jì)結(jié)果，基于模糊綜合評(píng)價(jià)法對(duì)虛擬仿真實(shí)驗(yàn)項(xiàng)目進(jìn)行評(píng)價(jià)的方案可行，為虛擬仿真實(shí)驗(yàn)項(xiàng)目建設(shè)質(zhì)量評(píng)價(jià)提供了一種新的思路。后續(xù)研究將重點(diǎn)關(guān)注以下方面。

（1）序關(guān)系分析法為主觀賦權(quán)法，評(píng)價(jià)指標(biāo)權(quán)重的計(jì)算過于依賴決策者的主觀感受，后續(xù)應(yīng)進(jìn)一步研究將主觀賦權(quán)法與客觀賦權(quán)法有機(jī)結(jié)合應(yīng)用于虛擬仿真實(shí)驗(yàn)項(xiàng)目建設(shè)質(zhì)量評(píng)價(jià)的可行性，以保證評(píng)價(jià)指標(biāo)權(quán)重值的可靠性。

（2）虛擬仿真實(shí)驗(yàn)項(xiàng)目建設(shè)質(zhì)量評(píng)價(jià)指標(biāo)體系較為復(fù)雜，有的指標(biāo)（例如點(diǎn)擊率）可以得出定量分值，有的指標(biāo)則具有一定的模糊性。本文在評(píng)價(jià)過程中未對(duì)評(píng)價(jià)指標(biāo)進(jìn)行屬性劃分，把評(píng)價(jià)指標(biāo)全部定義為模糊指標(biāo)的做法需進(jìn)一步改進(jìn)。后續(xù)可以考慮將評(píng)價(jià)指標(biāo)進(jìn)行屬性劃分，并將猶豫模糊軟集應(yīng)用于虛擬仿真實(shí)驗(yàn)項(xiàng)目建設(shè)質(zhì)量評(píng)價(jià)，從而真實(shí)反映決策情境，保證評(píng)價(jià)結(jié)果的真實(shí)性。