新時代高職院校混合式教學(xué)質(zhì)量評價指標(biāo)體系構(gòu)建

楊浩 付艷芳

摘 要 為了提高混合式教學(xué)質(zhì)量評價的可靠性、真實性和適應(yīng)性，以《深化新時代教育評價改革總體方案》為指導(dǎo)，在借鑒相關(guān)研究成果和廣泛調(diào)研的基礎(chǔ)上，構(gòu)建了新時代高職院?；旌鲜浇虒W(xué)質(zhì)量評價指標(biāo)體系。該指標(biāo)體系包含德育養(yǎng)成、學(xué)習(xí)方法、學(xué)習(xí)能力、實踐能力、責(zé)任意識、社會適應(yīng)能力、專業(yè)知識和技能水平、終身學(xué)習(xí)能力8個方面，既突出達成課程教學(xué)目標(biāo)的重要性，又體現(xiàn)教育部關(guān)于深化新時代教育改革評價相關(guān)要求，是對混合式教學(xué)質(zhì)量全要素、全過程的綜合評價，在一定程度上具有混合式教學(xué)質(zhì)量評價的通用性。

關(guān)鍵詞 混合式教學(xué);教學(xué)質(zhì)量;評價指標(biāo)體系;高職院校

中圖分類號 G718.5 文獻標(biāo)識碼 A 文章編號 1008-3219（2021）35-0067-06

一、研究現(xiàn)狀

混合式教學(xué)模式是我國職業(yè)教育教學(xué)改革的重要組成部分，我國學(xué)者對其開展了一系列本土化探索[1]，初步形成了適應(yīng)我國高職教育實際需求的混合式教學(xué)模式[2]。如何高效可靠、客觀準(zhǔn)確地評價混合式教學(xué)模式下的教學(xué)質(zhì)量成為亟待解決的問題，但是目前尚未形成公認的理論體系，評價維度、評價要素及評價指標(biāo)的取舍都比較隨意，主觀性很強，對評價指標(biāo)體系信度與效度的研究也很少[3][4][5][6]。李馨借鑒國內(nèi)外工程教育CDIO模式下的教學(xué)質(zhì)量評價體系構(gòu)建思路，基于第四代評價理論、成效教學(xué)理論等，提出了構(gòu)建翻轉(zhuǎn)課堂教學(xué)質(zhì)量評價體系的普適性原則、方法以及路線圖，并指出不同的學(xué)生層次、不同的學(xué)科，評價指標(biāo)體系也不同，但其并沒有就評價指標(biāo)體系的信度與效度檢驗進行論述[7]。蔣立兵等人以發(fā)展性評價、過程性評價及表現(xiàn)性評價為理論基礎(chǔ)，構(gòu)建了包含4個一級指標(biāo)、8個二級指標(biāo)、23個三級指標(biāo)的翻轉(zhuǎn)課堂教學(xué)質(zhì)量三級評價指標(biāo)體系，但也沒有對評價指標(biāo)體系的信度與效度進行必要的檢驗[8]。李逢慶、韓曉玲基于學(xué)習(xí)成果導(dǎo)向理念、協(xié)作學(xué)習(xí)理論、混合式教學(xué)理論構(gòu)建了混合式教學(xué)質(zhì)量評價體系，給出了所構(gòu)建評價體系的信度與效度，并驗證了評價體系的科學(xué)性和可靠性，但未對信度與效度的檢驗過程進行詳細論述[9]。劉艷等人對混合式教學(xué)質(zhì)量評價指標(biāo)體系的指標(biāo)權(quán)重賦值方法進行了研究，并依據(jù)詳實的文獻資料論述了混合式學(xué)習(xí)評價是混合式學(xué)習(xí)研究中的重要內(nèi)容，但尚未形成成熟的理論體系[10]。楊浩構(gòu)建了比較全面的混合式教學(xué)質(zhì)量指標(biāo)體系，但指標(biāo)較多，可操作性不強，也沒有進行必要的信度與效度檢驗[11]。

信度與效度是任何一種測量工具都必須具備的基本條件，只有可靠、有效的教育測驗工具才能為教育工作者提供可靠的信息，為教育預(yù)測和決策提供客觀真實的依據(jù)[12]?；旌鲜浇虒W(xué)的開展急需一種可靠、穩(wěn)定的測量工具，來檢驗學(xué)生在這種教學(xué)模式下的學(xué)習(xí)效果和質(zhì)量，并為師生進行教學(xué)改進提供依據(jù)[13]。

二、調(diào)查問卷編制

2020年10月，中共中央、國務(wù)院印發(fā)的《深化新時代教育評價改革總體方案》為高職院?；旌鲜浇虒W(xué)質(zhì)量評價研究提供了全面的政策指導(dǎo)。在充分考慮新時代教育評價改革對高職院校教育教學(xué)評價總體要求的基礎(chǔ)上，本研究結(jié)合已有研究成果，疏理了評價混合式教學(xué)質(zhì)量的48個因素并作為初始指標(biāo)池，這些因素既反映了高職院校專業(yè)人才培養(yǎng)的宏觀目標(biāo)，又體現(xiàn)了課程教學(xué)的微觀目標(biāo)。接著，本研究采用德爾菲法，邀請12位預(yù)測專家對指標(biāo)池中的48個指標(biāo)與評價結(jié)果的相關(guān)性、可信度、有效性進行預(yù)測。預(yù)測前，本研究對指標(biāo)體系的特點、用途等進行相應(yīng)的介紹，并將同類研究成果、國家有關(guān)評價的政策、高等職業(yè)教育人才培養(yǎng)的宏觀目標(biāo)、成果導(dǎo)向教育理念、混合式教學(xué)質(zhì)量評價價值等背景資料以書面形式發(fā)給各位專家，然后請專家各自作出判斷。經(jīng)過3次反饋后，專家意見大體接近，經(jīng)整合、篩選，挑選出與教學(xué)質(zhì)量最相關(guān)的27項初始指標(biāo)，見表1。

為了進一步調(diào)查研究27項指標(biāo)與混合式教學(xué)質(zhì)量的相關(guān)性，課題組向高職教學(xué)一線教師和教學(xué)管理、研究人員發(fā)放問卷130份，問卷積分采用Likert五級量表，“1”表示“非常不重要”，“2”表示“不重要”，“3”表示“一般”，“4”表示“重要”，“5”表示“非常重要”。課題組共回收有效問卷113份，采用Spss統(tǒng)計軟件對問卷進行基本處理。

三、信度與效度分析

（一）信度分析

要判斷量表中各項目能否可靠地評價教學(xué)質(zhì)量，就必須對評價指標(biāo)體系的信度進行分析，同時，信度分析也可以很好地識別那些與整個指標(biāo)體系關(guān)聯(lián)性不大的項目，為進一步修改指標(biāo)項目提供依據(jù)[14][15]。評價指標(biāo)體系的信度分析包括內(nèi)在信度分析和外在信度分析，內(nèi)在信度是指一組評價指標(biāo)的內(nèi)在一致性，反映的是這些指標(biāo)是否測量同一個內(nèi)容，一致性程度越高，評價結(jié)果的可信度就越高;外在信度反映的是同一量表在不同時間對相同被測進行重復(fù)測試時評價結(jié)果的一致性，一致性程度越高，評價結(jié)果的可信度越高。通常主要考查量表的內(nèi)在信度[16]，內(nèi)在信度檢驗方法一般采用Cronbach's α信度系數(shù)法。

Cronbach's α信度分析法是心理學(xué)和教育測量中常用的信度評估方法。Cronbach's α值越大，量表的信度越高，反之則量表信度越低。通常認為 Cronbach's α在0.5以下時，整個量表及其層面的信度都不理想，需要舍棄;當(dāng)其值介于0.5和0.6之間時，整個量表信度不理想，需舍棄，量表層面信度可以接受;當(dāng)其值介于0.6和0.7之間時，整個量表信度勉強接受，量表層面信度較好;當(dāng)其值介于0.7和0.8之間時，整個量表信度可以接受，量表層面信度高;當(dāng)其值介于0.8和0.9之間時，整個量表信度高，量表層面信度理想;當(dāng)其值在0.9以上時，整個量表及其層面的信度都非常理想[17]。另外，某個指標(biāo)項目是否值得保留，可以依據(jù)“刪除該項后的Cronbach's α”來判斷，如果“刪除該項后的Cronbach's α”大于Cronbach's α，則說明刪除該指標(biāo)后使得Cronbach's α值增加，所以將該項指標(biāo)刪除[18][19]。

經(jīng)統(tǒng)計，該指標(biāo)體系的Cronbach's α為0.877，說明整個量表信度是比較高的，而量表層面的信度很理想。刪除該項后的Cronbach's α的值見表2，其中，只有a17的值（0.878）大于整體指標(biāo)體系的Cronbach's α值，說明刪除a17后可以提高整個指標(biāo)體系的Cronbach's α值，所以刪除該項。

經(jīng)斯皮爾曼等級相關(guān)性分析得知，除了a17與量表整體的相關(guān)系數(shù)為0.301外，其他所有項目與量表整體的相關(guān)系數(shù)介于0.421和0.575之間，且相伴系數(shù)介于0.00和0.008之間，表明在置信度（雙側(cè)）為0.01時，是顯著相關(guān)的，各指標(biāo)與量表整體具有較強的一致性。

（二）效度分析

對于特定的測量工具，信度是效度的必要條件，信度高，不一定效度就好，但是效度優(yōu)良的測量工具其信度通常也較高。所以在前述信度分析的基礎(chǔ)上有必要進行效度分析。效度用來反映測量結(jié)果在多大程度上接近真實情況，效度越高，測量就越準(zhǔn)確[20]。

效度分為效標(biāo)關(guān)聯(lián)效度、內(nèi)容效度和結(jié)構(gòu)效度。效標(biāo)關(guān)聯(lián)效度，也稱實證效度，用來反映測量結(jié)果與相應(yīng)外在效標(biāo)之間一致性程度的，由于目前尚未存在一致認可的參考標(biāo)準(zhǔn)，所以本研究暫不進行效標(biāo)關(guān)聯(lián)效度的評估[21][22]。內(nèi)容效度用來反映項目指標(biāo)對預(yù)測的內(nèi)容和行為范圍取樣的適當(dāng)程度。結(jié)構(gòu)效度是指測量結(jié)果在多大程度上反映了理論假設(shè)。

1.內(nèi)容效度分析

課題組組織8位專家對指標(biāo)體系中的26個指標(biāo)（刪除a17）的內(nèi)容效度進行了評判。內(nèi)容效度系數(shù)R的計算公式為[23]：

其中，N為專家人數(shù)，Ne為評價指標(biāo)能很好地測量相應(yīng)評價內(nèi)容的專家人數(shù)。經(jīng)統(tǒng)計，各指標(biāo)的內(nèi)容效度評判結(jié)果見表3。

表3顯示，認為指標(biāo)a12、a13和a16能很好反映相應(yīng)評價內(nèi)容的專家數(shù)有7人，占總?cè)藬?shù)87.5%;認為其余23個指標(biāo)均能很好地反映相應(yīng)評價內(nèi)容的專家數(shù)有8人，占總?cè)藬?shù)100%。所以該指標(biāo)體系的內(nèi)容效度是非常符合要求的，在項目指標(biāo)內(nèi)容上，可以實現(xiàn)對學(xué)生課程學(xué)習(xí)的全面考核。

2.結(jié)構(gòu)效度分析

去除項目a17，采用因子分析法檢驗量表的結(jié)構(gòu)效度。通常當(dāng)KMO值大于0.5時，Bartlett球形檢驗的顯著性概率小于0.05時，指標(biāo)體系才具有結(jié)構(gòu)效度，才可以采用因子分析法。經(jīng)統(tǒng)計，該量表的KMO值為0.713，Bartlett 的球形度檢驗的近似卡方值為780.516，伴隨概率Sig.的值為0.000，所以該量表具有良好的結(jié)構(gòu)效度，適合進行因子分析。

KMO檢驗后，進行因子分析，采用主成分法抽取特征值大于1的因子，旋轉(zhuǎn)方法選擇最大方差法，選中“按大小排序”和“取消小系數(shù)”兩個復(fù)選框，小系數(shù)的絕對值設(shè)置為0.40，進行探索性因子分析，旋轉(zhuǎn)在20次迭代后收斂，分析結(jié)果如表4所示。

由表4可知，課題組進行結(jié)構(gòu)效度分析時共提取公因子8個，其中因子1包含4個題項（a7、a6、a5和a8）、因子2包含4個題項（a12、a13、a14和a16）、因子3包含4個題項（a4、a3、a2和a1）、因子4包含3個題項（a19、a20和a15）、因子5包含3個題項（a22、a23和a24）、因子6包含2個題項（a10和a9）、因子7包含4個題項（a27、a26、a25和a11）、因子8包含2個題項（a21和a18）。對8個公因子進行克隆巴赫信度分析，結(jié)果顯示Cronbach's α的值介于0.633和0.776之間，表明各公因子的信度較高。

四、權(quán)重確定及指標(biāo)體系建立

結(jié)合各題項的實際含義，分別為8個因子依次命名為：學(xué)習(xí)能力、學(xué)習(xí)態(tài)度、德育養(yǎng)成、責(zé)任意識、社會適應(yīng)能力、實踐能力、專業(yè)知識與技能水平、終身學(xué)習(xí)能力。建立評價指標(biāo)必須考慮各指標(biāo)項在整個評價中的相對重要性。本研究采用層級分析法（Analytic Hierarchy Process，簡稱AHP）來確定混合式教學(xué)質(zhì)量評價指標(biāo)體系的權(quán)重體系。

（一）建立層次結(jié)構(gòu)模型和AHP評價尺度

以8個因子（一級指標(biāo)）為第一層次、26個題項（二級指標(biāo)）為第二層次，并根據(jù)因子分析結(jié)果，建立第一層各項目與第二層相應(yīng)項目的對應(yīng)關(guān)系，構(gòu)建指標(biāo)體系的層次結(jié)構(gòu)如表5所示。本研究采用九級比例標(biāo)尺，兩兩對比建立賦值表，賦值尺度為1、3、5、7、9，介于其中的值依次為2、4、6、8。AHP評價尺度定義如下[24]：“1”表示兩個項目同等重要;“3”表示其中的一個項目稍微重要;“5”表示其中的一個相當(dāng)重要;“7”表示其中一個明顯重要;“9”表示其中一個絕對重要;“2”表示重要程度介于“1”和“3”之間;“4”“6”和“8”的尺度含義依次類推。上述9個數(shù)值的倒數(shù)的含義為：如果項目X與Y比較時被賦值為1至9的某個數(shù)值，則Y與X比較時就被賦值為該數(shù)值的倒數(shù)。

（二）建立判斷矩陣

本研究共邀請了8所高職院校相關(guān)專家15名，在詳細介紹指標(biāo)內(nèi)容及相關(guān)背景的基礎(chǔ)上，由每位專家按照上述評價尺度，通過兩兩比較獨立填寫判斷表（涉及到倒數(shù)時暫不填寫），然后取平均值，并把值為倒數(shù)的單元格補齊，作為最終判斷值，形成第一層判斷矩陣A和第二層判斷矩陣B1、B2、…、B8。以第一層為例，判斷矩陣A如表6所示。

（三）計算層次單排序和總排序

采用方根法來計算各層次中與上層某項目對應(yīng)的各項目的權(quán)重值。第一層只計算層次單排序，第二層除了計算層次單排序外，還要計算總排序。以判斷矩陣A為例，計算層次單排序過程如下：

首先，計算判斷矩陣A的每一行的乘積Mi（i=1，2，…，8）;其次，計算Mi的n次方根Ri（i=1，2，…，8;n為矩陣的階數(shù)）;最后，進行歸一化處理，得到本層次中與上層某項目對應(yīng)的各項目的權(quán)重值。計算公式為：

按上述過程計算出判斷矩陣A的層次單排序（即各項目的權(quán)重值）結(jié)果為：德育養(yǎng)成B1（0.052）、學(xué)習(xí)態(tài)度B2（0.098）、學(xué)習(xí)能力B3（0.102）、實踐能力B4（0.148）、責(zé)任意識B5（0.062）、社會適應(yīng)能力B6（0.049）、專業(yè)知識與技能水平B7（0.394）、終身學(xué)習(xí)能力B8（0.095）。用同樣的方法求出矩陣B1、B2、…、B8的層次單排序，結(jié)果如表7所示。

接下來計算第二層總排序，與第一層中項目B1對應(yīng)的B第二層中的項目為C1、C2、C3和C4。令B1的單排序結(jié)果（即權(quán)重）為b1，C1、C2、C3和C4的單排序結(jié)果依次為c1，c2，c3和c4，則C1、C2、C3和C4的總排序結(jié)果依次為c1b1，c2b1，c3b1和c4b1。依次類推，求出第二層所有項目的總排序，結(jié)果如表7所示。

（四）一致性檢驗

判斷矩陣是通過對指標(biāo)項目兩兩比較后建立起來的，人們對事物的判斷不可能做到完全一致，因而存在一定的估計誤差，而且矩陣階數(shù)越高，誤差也越大。只有一致性偏離程度在一定范圍內(nèi)時，判斷矩陣才能被接受。本研究主要采用一致性指標(biāo)（C.I.）和隨機一致性比率（C.R.）兩個參數(shù)來衡量矩陣一致性。C.I.的值越小，表明判斷矩陣偏離完全一致性程度越小，由于判斷矩陣的階數(shù)n越大，人為造成的偏離一致性指標(biāo)C.I.的值就越大，所以當(dāng)判斷矩陣階數(shù)n較大時，還需引入隨機一致性比率C.R.，當(dāng)C.R.=0時，認為判斷矩陣具有完全一致性;當(dāng)0<C.R.<=0.1時，表明判斷矩陣具有滿意一致性;當(dāng)C.R.>0.1時，表明判斷矩陣不具有一致性。以矩陣A為例判斷一致性過程如下：

第一步，計算矩陣A的最大特征值λmaxA。利用MATLAB軟件求得λmaxA=8.241。

第二步，計算一致性指標(biāo)C.I.A。計算公式為：

C.I.=（λmax-n）/（n-1），其中n為判斷矩陣階數(shù)，求得判斷矩陣A的一致性指標(biāo)C.I. A=0.034。

第三步，計算隨機一致性比率C.R.A。計算公式為：C.R.=C.I/R.I.，其中R.I.為隨機一致性指標(biāo)，當(dāng)階數(shù)n=8時，R.I.=1.41，所以，判斷矩陣A的隨機一致性比率C.R.A=0.034/1.41=0.024。

計算表明，判斷矩陣A是滿意一致性矩陣，接受該判斷矩陣。用同樣的方法求得第二層8個判斷矩陣的最大特征值λmaxB、一致性指標(biāo)C.I.B、隨機一致性比率R.I.B及層次單排序一致性檢驗結(jié)果如表8所示。

表8結(jié)果表明，第二層8個判斷矩陣的一致性程度非常高，接受該判斷矩陣。

層次總排序一致性檢驗按如下計算過程進行：

第一步，計算層次總排序一致性指標(biāo)C.I.總。計算公式為C.I.=biC.I.i，本研究只需檢驗第二層總排序一致性，所以，n為第一層指標(biāo)項目總數(shù)，bi為第一層各指標(biāo)項的權(quán)重，C.I.i為第二層8個判斷矩陣的一致性指標(biāo)。求得總排序一致性指標(biāo)C.I.總=0.0055。

第二步，計算層次總排序隨機一致性指標(biāo)R.I.總。計算公式為R.I.=biR.I.i，求得總排序一致性指標(biāo)R.I.總=0.3237。

第三步，計算層次總排序隨機一致性比率。C.R.總= C.I.總/R.I.總=0.0055/0.3237=0.017<0.1，表明層次結(jié)構(gòu)中二級指標(biāo)的層次總排序一致性程度也非常高。

由此建立的混合式教學(xué)質(zhì)量評價指標(biāo)體系如表7所示。共包含8個一級指標(biāo)和26個二級指標(biāo)。

五、結(jié)束語

本研究詳細論述了構(gòu)建混合式教學(xué)質(zhì)量評價指標(biāo)體系的系統(tǒng)方法，并在《深化新時代教育評價改革總體方案》及相關(guān)教育教學(xué)理論的指導(dǎo)下，建立了新時代高職院?；旌鲜浇虒W(xué)質(zhì)量評價指標(biāo)體系。評價內(nèi)容涉及德育養(yǎng)成、學(xué)習(xí)方法、學(xué)習(xí)能力等8個方面，符合新時代教育改革評價總體要求。表7中的權(quán)重系數(shù)顯示，該指標(biāo)體系既突出了達成課程教學(xué)目標(biāo)的重要性，又體現(xiàn)了教育部關(guān)于全面提高高等職業(yè)教育教學(xué)質(zhì)量[26]的有關(guān)要求，是對混合式教學(xué)教學(xué)質(zhì)量的全要素、全過程評價，在一定程度上具有混合式教學(xué)質(zhì)量評價的通用性。

在傳統(tǒng)教學(xué)條件下，要將該教學(xué)質(zhì)量評價指標(biāo)體系應(yīng)用于教學(xué)實踐，勢必要花費教師大量的時間和精力，基于此，本研究建議開展基于智能教育機器人的“雙師課堂”構(gòu)建研究，由智能機器人輔助（或替代）教師完成學(xué)生數(shù)據(jù)收集與處理、評價反饋等事務(wù)性的工作，把教師從繁重、瑣碎的事務(wù)中解放出來，從事更具生命特征的育人工作[27]，或者開展智慧課堂研究，利用以人工智能、大數(shù)據(jù)、云計算及物聯(lián)網(wǎng)為核心的智慧化信息技術(shù)，實現(xiàn)數(shù)據(jù)的自動采集、智能處理與評價，這也是課題組后續(xù)研究的重點。

參考文獻

[1]楊浩，付艷芳.基于微課的混合式教學(xué)實踐與效果分析[J].中國職業(yè)技術(shù)教育，2017（17）：45-49.

[2]譚偉，顧小清.面向開放教育的混合式教學(xué)模式及效果評估指標(biāo)研究[J].中國電化教育，2019（2）：126-130.

[3]王曉躍，習(xí)海旭，等.基于SPOC混合式學(xué)習(xí)模式的學(xué)習(xí)支持服務(wù)構(gòu)建研究[J].電化教育研究，2019（3）：48-53+117.

[4]趙嵬，姚?，?基于藍墨云班課的混合式教學(xué)行為研究——以“現(xiàn)代教育技術(shù)”課程為例[J].現(xiàn)代教育技術(shù)，2019（5）：46-52.

[5]馬寧，李亞蒙，何俊杰.群體知識建構(gòu)視角下教師混合式研訓(xùn)的組內(nèi)交互及知識建構(gòu)層次分析[J].現(xiàn)代教育技術(shù)，2019（4）：47-53.

[6]楊歌謠.混合式教學(xué)模式下教學(xué)評價的文獻綜述與展望[J].高教論壇，2019（2）：64-67.

[7]李馨.翻轉(zhuǎn)課堂的教學(xué)質(zhì)量評價體系研究——借鑒CDIO教學(xué)模式評價標(biāo)準(zhǔn)[J].電化教育研究，2015（3）：96-100.

[8]蔣立兵，陳佑清.翻轉(zhuǎn)課堂教學(xué)質(zhì)量評價體系的構(gòu)建[J].現(xiàn)代教育技術(shù)，2016（11）：60-66.

[9]李逢慶，韓曉玲.混合式教學(xué)質(zhì)量評價體系的構(gòu)建與實踐[J].中國電化教育，2017（11）：103-108.

[10]劉艷，陳仕品，劉禮想.混合學(xué)習(xí)的績效評價框架及指標(biāo)體系研究[J].遠程教育雜志，2017（6）：41-48.

[11]楊浩.高職院?；旌鲜浇虒W(xué)質(zhì)量評價指標(biāo)體系構(gòu)建與應(yīng)用實踐[J].中國職業(yè)技術(shù)教育，2019（11）：69-75.

[12]蔡蕓，石邦宏.高等教育質(zhì)量測量要素模型的改進[J].中國高教研究，2019（4）：74-79.

[13]馮曉英，王瑞雪，吳怡君.國內(nèi)外混合式教學(xué)研究現(xiàn)狀述評——基于混合式教學(xué)的分析框架[J].遠程教育雜志，2018（3）：13-24.

[14]楊曉宏，周海軍，周效章，等.國內(nèi)在線課程質(zhì)量認定研究述評[J].電化教育研究，2019（6）：50-57.

[15]孫雅波，范厚明，劉益迎，等.基于信度和效度分析的海運強國評價指標(biāo)體系構(gòu)建[J].上海海事大學(xué)學(xué)報，2017（4）：26-31

[16]張樹東，張文秀，夏學(xué)楠，等.《學(xué)前兒童數(shù)感發(fā)展測驗》的編制及信效度驗證[J].教育研究與實驗，2019（2）：85-90.

[17]虞玨，江恬，季誠.護理專業(yè)學(xué)生禮儀素質(zhì)狀況評價指標(biāo)體系的信度和效度分析[J].重慶醫(yī)學(xué)，2011（27）：2771-2773.

[18]王改花，傅鋼善.網(wǎng)絡(luò)環(huán)境下學(xué)習(xí)者特征模型的構(gòu)建及量表的研制[J].遠程教育雜志，2018（3）：67-74.

[19]孫家慶，李曉媛，韓朝陽.交通強國評價指標(biāo)體系[J].大連海事大學(xué)學(xué)報，2019（2）：36-42.

[20]李燦，辛玲.調(diào)查問卷的信度與效度的評價方法研究[J].中國衛(wèi)生統(tǒng)計，2008（5）：541-544.

[21]吳明隆.問卷統(tǒng)計分析實務(wù)[M].重慶：重慶大學(xué)出版社，2010.

[22]汪邦軍，耿金鳳，戴偉，等.航空軟件研制過程質(zhì)量評價及信度效度分析[J].計算機集成制造系統(tǒng)，2016（9）：2175-2186.

[23]張炳江.層次分析法及其應(yīng)用案例[M].北京：電子工業(yè)出版社，2014.

[24][25]付艷芳，楊浩.基于SPOC的混合式教學(xué)模式設(shè)計與實踐[J].職業(yè)技術(shù)教育，2017（26）：36-41.

[26]教育部.關(guān)于全面提高高等職業(yè)教育教學(xué)質(zhì)量的若干意見[Z].教高[2006]16號，2006-11-06.

[27]汪時沖，方海光，等.人工智能教育機器人支持下的新型“雙師課堂”研究——兼論“人機協(xié)同”教學(xué)設(shè)計與未來展望[J].遠程教育雜志，2019（2）：25-32.