用戶視角的教學(xué)資源庫應(yīng)用效果評(píng)價(jià)指標(biāo)體系研究

劉方歆

（湖南汽車工程職業(yè)學(xué)院 湖南 株洲 412000）

建設(shè)高水平的教學(xué)資源庫是新時(shí)代深化教學(xué)改革，提高育人質(zhì)量的重要途徑?！秶?guó)家職業(yè)教育改革實(shí)施方案》明確提出：“健全專業(yè)教學(xué)資源庫，建立共建共享平臺(tái)的資源認(rèn)證標(biāo)準(zhǔn)和交易機(jī)制，進(jìn)一步擴(kuò)大優(yōu)質(zhì)資源覆蓋面?！彪S著建設(shè)的持續(xù)深入，當(dāng)前資源庫也暴露出一些問題，如資源利用率低、資源更新不及時(shí)、資源內(nèi)容建設(shè)實(shí)踐教學(xué)創(chuàng)新型不足、資源不能滿足用戶需求以及資源庫效益不顯著。[1]而這些問題出現(xiàn)的原因之一，就是尚未形成一套科學(xué)的以用戶視角為出發(fā)點(diǎn)的教育資源庫應(yīng)用效果評(píng)價(jià)體系。

一、初步設(shè)計(jì)

本研究涉及的專業(yè)教學(xué)資源庫是以2015年度立項(xiàng)，2018年度驗(yàn)收通過的汽車營(yíng)銷與服務(wù)專業(yè)（以下簡(jiǎn)稱汽營(yíng)專業(yè)）國(guó)家教學(xué)資源庫為典型研究個(gè)案。綜合分析資源庫建設(shè)背景、資源庫建設(shè)現(xiàn)狀及資源庫應(yīng)用存在的問題?；谟脩艚嵌染C合構(gòu)建了第一輪專家意義咨詢表，共三個(gè)級(jí)別，一級(jí)指標(biāo)包括資源內(nèi)容、交互功能、平臺(tái)技術(shù)、個(gè)性定制。

1.資源內(nèi)容

下設(shè)資源質(zhì)量和資源更新兩個(gè)二級(jí)指標(biāo)。在資源質(zhì)量包含資源全面性、資源完整性、資源實(shí)用性、資源前瞻性、資源創(chuàng)新性、資源原創(chuàng)性、學(xué)生用戶資源使用率、教師用戶資源使用率、企業(yè)用戶資源使用率和社會(huì)用戶資源使用率12個(gè)三級(jí)指標(biāo)。主要評(píng)價(jià)包含是否有來自企業(yè)、行業(yè)或校企共建的資源；視頻、動(dòng)畫、音頻、文本、虛擬仿真等信息化資源是否豐富；是否完整闡釋了知識(shí)點(diǎn)，課程體系是否包含課程思政元素、1+X元素；是否對(duì)學(xué)習(xí)、工作和生活有幫助；是否體現(xiàn)了最新的行業(yè)動(dòng)態(tài)；是否有形式或內(nèi)容上的創(chuàng)新；是否是課程組的原創(chuàng)資源；學(xué)生、教師、企業(yè)用戶、社會(huì)用戶報(bào)名學(xué)習(xí)的人數(shù)、使用資源的頻率、引用資源的次數(shù)等。資源更新下設(shè)更新率和僵尸資源占比兩個(gè)三級(jí)指標(biāo)，主要評(píng)價(jià)包含資源更新的數(shù)量和頻率；未瀏覽、未調(diào)用的資源占比等。

2.交互功能

下設(shè)的二級(jí)指標(biāo)包括交流形式和交互響應(yīng)。在交流形式中主要考慮作業(yè)布置、作業(yè)批閱、作業(yè)提交、消息提醒、互動(dòng)論壇、學(xué)生評(píng)價(jià)教師、教師評(píng)價(jià)學(xué)生、課堂活動(dòng)組織、彈幕9個(gè)三級(jí)指標(biāo)。主要評(píng)價(jià)內(nèi)容為作業(yè)布置是否便捷，能否手機(jī)操作，形式能否多樣；評(píng)閱方式是否便捷，能否手機(jī)批閱，是否有未批閱提醒功能；提交途徑是否便捷，遲交、未交是否有實(shí)時(shí)記錄；對(duì)平臺(tái)任何消息能否起到即時(shí)提醒作用；能點(diǎn)對(duì)點(diǎn)、點(diǎn)對(duì)多發(fā)布消息提醒，并顯示閱讀狀態(tài)；帖子發(fā)布數(shù)量與質(zhì)量；教師、學(xué)生回復(fù)數(shù)量與質(zhì)量；師生之間是否有多元化評(píng)價(jià)；教師能否根據(jù)需要在線組織教學(xué)活動(dòng)：如分組討論、抽答、題目推送、投票；是否具備彈幕功能；檢索功能是否健全、全面率、準(zhǔn)確率等。交互響應(yīng)下設(shè)交流數(shù)量和回應(yīng)即時(shí)性2個(gè)三級(jí)指標(biāo)。主要評(píng)價(jià)內(nèi)容為互動(dòng)論壇的帖子數(shù)量是否合理，帖子內(nèi)容是否跟學(xué)科相關(guān)；論壇的提問是否及時(shí)有效回復(fù)等。

3.平臺(tái)技術(shù)

下設(shè)的二級(jí)指標(biāo)包括平臺(tái)設(shè)計(jì)和穩(wěn)定速度。在平臺(tái)設(shè)計(jì)中主要考慮界面美觀度、導(dǎo)航便捷度、學(xué)習(xí)有效性監(jiān)控技術(shù)、App功能完整性、第三方接口功能、資源上傳、資源下載、題庫管理8個(gè)三級(jí)指標(biāo)。主要評(píng)價(jià)內(nèi)容為界面設(shè)計(jì)、欄目設(shè)計(jì)色彩搭配、元素布局是否合理；導(dǎo)航系統(tǒng)是否方便易讀，方便用戶使用；是否具有防止用戶刷課，掛機(jī)的監(jiān)控功能；配套的手機(jī)App是否與PC端具有同樣的功能；能否開通相應(yīng)的微信公眾號(hào)或小程序直接進(jìn)行平臺(tái)訪問；資源上傳及下載是否方便，有無大小、格式、權(quán)限限制，上傳屬性限制是否合理，支不支持批量上傳，多媒體資源類型兼容性強(qiáng)；是否支持題目類型豐富，題干和答案支持圖文或動(dòng)畫混排；是否能及時(shí)更新并準(zhǔn)確提供后臺(tái)數(shù)據(jù)，查詢數(shù)據(jù)是否便捷等。穩(wěn)定速度下設(shè)平臺(tái)速度、平臺(tái)穩(wěn)定性、應(yīng)用指導(dǎo)和客服響應(yīng)4個(gè)三級(jí)指標(biāo)。主要評(píng)價(jià)內(nèi)容為平臺(tái)能否迅速響應(yīng)各種操作，傳輸速度；平臺(tái)技術(shù)是否成熟穩(wěn)定，能否支持同時(shí)段大批量訪問；能否支持長(zhǎng)期有效訪問資源；開通和使用過程中用戶是否得到過平臺(tái)方培訓(xùn)指導(dǎo)；使用過程中遇到問題與阻礙，平臺(tái)服務(wù)方響應(yīng)速度是否及時(shí)，能否有效解決問題等。

4.個(gè)性定制

下設(shè)的二級(jí)指標(biāo)包括功能定制和內(nèi)容定制。功能定制指?jìng)€(gè)性化功能，如隨心定制界面如皮膚、排版方式；是否可以自行取消不需要的功能；搭建個(gè)性化課程是否可以便捷調(diào)用平臺(tái)資源。根據(jù)大數(shù)據(jù)分析推送用戶關(guān)注的內(nèi)容；能根據(jù)平臺(tái)伴隨式的評(píng)價(jià)對(duì)學(xué)生進(jìn)行精準(zhǔn)的數(shù)字畫像，實(shí)現(xiàn)學(xué)生的精準(zhǔn)分層；針對(duì)學(xué)生所處層級(jí)進(jìn)行學(xué)習(xí)內(nèi)容、作業(yè)、測(cè)驗(yàn)等的智能推送等。

二、評(píng)價(jià)指標(biāo)體系修訂

為了確保職業(yè)教育專業(yè)教學(xué)資源庫應(yīng)用效果評(píng)價(jià)指標(biāo)體系的合理性和科學(xué)性，本課題采用Delphi法。借助專家的知識(shí)和經(jīng)驗(yàn)，將初步設(shè)計(jì)評(píng)價(jià)指標(biāo)通過匿名方式征得專家意見，進(jìn)行整理、歸納、統(tǒng)計(jì)，再匿名反饋給專家，照此循環(huán)，直到意見趨于穩(wěn)定。

本課題研究選擇的專家為國(guó)家級(jí)職業(yè)教育專業(yè)教學(xué)資源庫建設(shè)負(fù)責(zé)人、國(guó)家級(jí)職業(yè)教育專業(yè)教學(xué)資源庫團(tuán)隊(duì)成員、多年從事職業(yè)教育教學(xué)的專家，以匿名方式咨詢意見進(jìn)行了兩輪[2]，在咨詢過程中，各專家對(duì)初步設(shè)計(jì)的評(píng)價(jià)指標(biāo)的重要程度進(jìn)行評(píng)估及賦值，對(duì)初步設(shè)計(jì)的指標(biāo)體系提出有效的改進(jìn)意見。其中重要程度劃分為五個(gè)等級(jí)，從“很重要”“重要”“一般重要”，到“不重要”“很不重要”，賦值依次為5—1。對(duì)兩輪咨詢結(jié)果數(shù)據(jù)計(jì)算相應(yīng)的算術(shù)均值、滿分次數(shù)，標(biāo)準(zhǔn)差以及變異系數(shù)，參照界值法對(duì)指標(biāo)體系進(jìn)行改進(jìn)。

1.第一輪專家意見咨詢

首次發(fā)放12份咨詢表，回收8份。專家組成當(dāng)中，國(guó)家級(jí)職業(yè)教育專業(yè)教學(xué)資源庫建設(shè)負(fù)責(zé)人和團(tuán)隊(duì)成員分別為2人（占25%）和5人（占63%），多年從事職業(yè)教育教學(xué)的專家1人（占13%）。專家從事職業(yè)教育與教學(xué)的教齡，20年以上有2人（占25%），15—20年的有4人（占50%），10—15年的有2人（占25%），另具備高級(jí)職稱的有6人（占64%），有38%的專家擔(dān)任國(guó)家級(jí)或省級(jí)教師職業(yè)能力競(jìng)賽的評(píng)委，主編過國(guó)家級(jí)規(guī)劃教材或精品課程的專家占63%，對(duì)資源庫的建設(shè)有著寶貴的經(jīng)驗(yàn)。專家對(duì)某一問題或者方向的權(quán)威力度，其值的大小影響評(píng)價(jià)的可靠性；反之，專家不能對(duì)每一問題或者方向的研究給出權(quán)威的意見。為得到更為科學(xué)的結(jié)果，針對(duì)熟悉程度系數(shù)、判斷系數(shù)和權(quán)威系數(shù)進(jìn)行綜合分析?；趯＜业淖晕以u(píng)價(jià)，第一輪專家咨詢得到的熟悉程度系數(shù)為0.77，判斷系數(shù)為0.91，權(quán)威系數(shù)為0.84，說明咨詢結(jié)果具有可靠性。

在第一輪咨詢法中，期算術(shù)均數(shù)、滿分頻率的界值為4.717和0.367，數(shù)值大于以上兩項(xiàng)界值者保留其評(píng)價(jià)指標(biāo)；變異系數(shù)界值為0.183，數(shù)值小于界值的評(píng)價(jià)指標(biāo)保留。為了謹(jǐn)慎起見，暫只刪除算術(shù)均數(shù)、滿分頻率、變異系數(shù)界值均未入選的評(píng)價(jià)指標(biāo)；然而對(duì)于有一或兩個(gè)不符合界值而未入選的指標(biāo)，通過討論確定是否保留。同時(shí)，對(duì)初步設(shè)計(jì)的指標(biāo)體系進(jìn)行修改。

2.第二輪意見咨詢

共發(fā)放20份咨詢表，回收12份。專家組成員當(dāng)中，國(guó)家級(jí)職業(yè)教育專業(yè)教學(xué)資源庫建設(shè)負(fù)責(zé)人2人（占17%），國(guó)家級(jí)職業(yè)教育專業(yè)教學(xué)資源庫團(tuán)隊(duì)成員8人（占67%），多年從事職業(yè)教育教學(xué)的專家2人（占17%）。專家從事職業(yè)教育與教學(xué)的教齡，20年以上有3人（占33%），15—20年的有4人（占33%），10—15年的有2人（占17%），另具備高級(jí)職稱的有8人（占67%），與第一輪相比，來自國(guó)家級(jí)職業(yè)教育專業(yè)教學(xué)資源團(tuán)隊(duì)成員占比由63%提高到67%。第二輪專家咨詢的熟悉程度系數(shù)為0.87，判斷系數(shù)為0.95，權(quán)威系數(shù)為0.88，反映咨詢結(jié)果的可靠性進(jìn)一步提高。

結(jié)合第一輪專家的修改建議，綜合計(jì)算出算術(shù)均數(shù)界值為4.874，滿分頻率的界值為0.372，數(shù)值大于以上兩項(xiàng)界值者保留其評(píng)價(jià)指標(biāo)。變異系數(shù)的界值為0.308，數(shù)值小于變異系數(shù)界值者保留其評(píng)價(jià)指標(biāo)，同時(shí)對(duì)職業(yè)教育專業(yè)教學(xué)資源庫應(yīng)用效果評(píng)價(jià)指標(biāo)體系進(jìn)行了一定調(diào)整。其中，“資源內(nèi)容”下的三級(jí)指標(biāo)“學(xué)生用戶資源使用率”“教師用戶資源使用率”“企業(yè)用戶資源使用率”“社會(huì)用戶資源使用率”與“資源活躍性”有所屬關(guān)系，因而進(jìn)行整合；同理，將“交互功能”下的三級(jí)指標(biāo)“學(xué)生評(píng)價(jià)教師”“教師評(píng)價(jià)學(xué)生”整合成“評(píng)價(jià)反饋”，將“平臺(tái)技術(shù)”下的三級(jí)指標(biāo)“資源上傳”“資源下載”合并成“資源上傳與下載”，并根據(jù)專家意見增加一個(gè)“搜索功能”和“數(shù)據(jù)管理”指標(biāo)；另外，由于二級(jí)指標(biāo)“穩(wěn)定速度”包含面較小，由此改成“平臺(tái)服務(wù)”。

三、評(píng)價(jià)指標(biāo)體系權(quán)重計(jì)算

層次分析法（Analytic Hierarchy Process，AHP）是由T.L.Saaty教授提出，是對(duì)定性問題進(jìn)行定量分析的多準(zhǔn)則決策方法。本課題研究中分為建立層次結(jié)構(gòu)模型、構(gòu)建判斷矩陣、權(quán)重計(jì)算與一致性檢驗(yàn)、層次總排序與一致性檢驗(yàn)四個(gè)步驟。

1.建立層次結(jié)構(gòu)模型

根據(jù)Delphi法對(duì)職業(yè)教育專業(yè)教學(xué)資源庫應(yīng)用效果評(píng)價(jià)指標(biāo)體系的調(diào)整，本研究以用戶為中心，建立“四梁八柱”層次結(jié)構(gòu)模型，如圖1所示。

圖1 職業(yè)教育專業(yè)教學(xué)資源庫應(yīng)用效果評(píng)價(jià)層次模型

2.構(gòu)建判斷矩陣

本課題繼續(xù)采用匿名方式，面向國(guó)家級(jí)職業(yè)教育專業(yè)教學(xué)資源庫建設(shè)負(fù)責(zé)人、國(guó)家級(jí)職業(yè)教育專業(yè)教學(xué)資源庫團(tuán)隊(duì)成員、多年從事職業(yè)教育教學(xué)的專家發(fā)放判斷矩陣表，采用9分法對(duì)元素進(jìn)行判斷并賦值。其中AHP數(shù)據(jù)格式上右下斜對(duì)角線一定為1，表示自己與自己的重要性完全相等，右上角和左下角數(shù)據(jù)呈互為倒數(shù)對(duì)稱格式，其數(shù)字代表指標(biāo)之間的相對(duì)重要性，數(shù)字越大代表相對(duì)重要性越強(qiáng)。最后各項(xiàng)取其平均值，得到一級(jí)指標(biāo)判斷矩陣表，如表1所示。

表1 一級(jí)指標(biāo)判斷矩陣表

3.層次單排序與一致性檢驗(yàn)

本課題采用在線SPSS分析軟件，通過綜合評(píng)價(jià)中AHP層次分析功能，設(shè)置判斷矩陣階數(shù)，輸入表1中的指標(biāo)及數(shù)據(jù)，使用默認(rèn)和積法方式進(jìn)行研究，得出一級(jí)指標(biāo)層次分析結(jié)果，如表2所示。

表2 層次分析結(jié)果

從上表可知，針對(duì)資源內(nèi)容、交互功能、平臺(tái)技術(shù)、個(gè)性定制總共4項(xiàng)構(gòu)建4階判斷矩陣進(jìn)行AHP層次法研究，分析得到特征向量為（1.394，0.999，0.907，0.701），并且總共4項(xiàng)對(duì)應(yīng)的權(quán)重值分別是：34.840%，24.968%，22.674%，17.518%。除此之外，結(jié)合特征向量可計(jì)算出最大特征根（4.003），接著利用最大特征根值計(jì)算得到CI值為0.001。計(jì)算公式為：CI=（最大特征值-n）/（n-1），其CI值用于一致性檢驗(yàn)使用。

通常情況下CR值越小，判斷矩陣一致性越強(qiáng)，通常情況下CR值小于0.1，則判斷矩陣滿足一致性檢驗(yàn)；如果CR值大于0.1，則說明不具有一致性，應(yīng)該對(duì)判斷矩陣進(jìn)行適當(dāng)調(diào)整之后再次進(jìn)行分析。[3]本次針對(duì)4階判斷矩陣計(jì)算得到CI值為0.001，針對(duì)RI值查表為0.890，計(jì)算得到CR值（CR=CI/RI）為0.001＜0.1，意味著本次研究判斷矩陣滿足一致性檢驗(yàn)，計(jì)算所得權(quán)重具有一致性，如表3所示。

表3 一致性檢驗(yàn)結(jié)果匯總

4.層次總排序與一致性檢驗(yàn)

遵循以上方法，使用在線SPSS分析軟件，對(duì)二級(jí)指標(biāo)和三級(jí)指標(biāo)分別進(jìn)行層次單排序與一致性檢驗(yàn)，其CR值分別為0.001、null、null、null、null、0.002、null、0.001、null、0.002、0.006、均小于0.1，全部層次單排序一致性檢驗(yàn)均通過，說明層次總排序一致性檢驗(yàn)通過，即職業(yè)教育專業(yè)教學(xué)資源庫應(yīng)用效果評(píng)價(jià)指標(biāo)體系合理有效，如表4所示。

表4 職業(yè)教育專業(yè)教學(xué)資源庫應(yīng)用效果評(píng)價(jià)指標(biāo)體系

四、應(yīng)用實(shí)例

湖南汽車工程職業(yè)學(xué)院是國(guó)家“雙高計(jì)劃”A類專業(yè)群建設(shè)單位，選取湖汽職院汽車營(yíng)銷與服務(wù)專業(yè)、汽車智能技術(shù)、智能控制技術(shù)三個(gè)重點(diǎn)建設(shè)專業(yè)的國(guó)家教學(xué)資源庫，邀請(qǐng)6名由老師、學(xué)生、企業(yè)、管理者構(gòu)成的評(píng)價(jià)主體，按照表4進(jìn)行評(píng)價(jià)，評(píng)價(jià)結(jié)果如下：

在二級(jí)指標(biāo)“資源質(zhì)量”方面，由于資源庫C是最晚立項(xiàng)的，資源前瞻性和創(chuàng)新性相對(duì)做得好些，因此C得分最高。在“交互響應(yīng)”方面，資源庫A立項(xiàng)早、使用久，且推廣力度大些，所以A評(píng)價(jià)最高。由于三個(gè)資源庫使用的都是一個(gè)平臺(tái)，因而在“平臺(tái)服務(wù)”“功能定制”“內(nèi)容定制”方面得分一樣。根據(jù)評(píng)價(jià)總分，可以判斷出三個(gè)資源庫在應(yīng)用上的效果，此結(jié)果與管理者的評(píng)價(jià)一致。

表5 資源庫多主體評(píng)價(jià)測(cè)評(píng)結(jié)果

五、結(jié)語

本課題對(duì)職業(yè)教育專業(yè)教學(xué)資源庫應(yīng)用效果進(jìn)行評(píng)價(jià)以一定標(biāo)準(zhǔn)為憑據(jù)，構(gòu)建的“四梁八柱”教學(xué)資源庫應(yīng)用效果評(píng)價(jià)指標(biāo)體系豐富了教學(xué)評(píng)價(jià)的定量分析方法，促進(jìn)了數(shù)理統(tǒng)計(jì)與教育學(xué)的跨學(xué)科交叉引用。本研究從用戶角度發(fā)現(xiàn)資源庫建設(shè)和應(yīng)用中存在的問題和用戶的需求，為資源庫應(yīng)用效果評(píng)價(jià)指標(biāo)體系提供了一個(gè)新的研究視角。