基于Delphi法構(gòu)建教材評(píng)價(jià)指標(biāo)體系的研究及實(shí)踐

李民華，吳 萍，武 艷，葉 萌，朱 淼

(首都醫(yī)科大學(xué)教務(wù)處，北京 100069；△通信作者)

為了加強(qiáng)和規(guī)范教材建設(shè)與管理，全面提高人才培養(yǎng)質(zhì)量，近年來國(guó)家相繼出臺(tái)了《關(guān)于加強(qiáng)和改進(jìn)新形勢(shì)下高校思想政治工作的意見》《關(guān)于加強(qiáng)和改進(jìn)新形勢(shì)下大中小學(xué)教材建設(shè)的意見》《普通高等學(xué)校教材管理辦法》等重要文件，健全了高校教材管理、規(guī)劃、編寫、審核、選用制度。在教材選用方面，高校要堅(jiān)持凡選必審、質(zhì)量第一、適宜教學(xué)、公平公正的原則[1]。當(dāng)前處于“四新”建設(shè)發(fā)展時(shí)期，醫(yī)學(xué)類教材種類、數(shù)量較多，教學(xué)中是否選用與專業(yè)人才培養(yǎng)目標(biāo)、課程目標(biāo)、學(xué)生的學(xué)習(xí)需求適切性更高的教材，是高校教學(xué)管理部門需要準(zhǔn)確把控的環(huán)節(jié)。構(gòu)建科學(xué)、有效、可操作的選用教材評(píng)價(jià)指標(biāo)，用于學(xué)生對(duì)使用教材進(jìn)行回顧性評(píng)價(jià)，形成教材選用-使用-評(píng)價(jià)-反饋閉環(huán)管理，對(duì)于幫助教學(xué)管理部門及時(shí)發(fā)現(xiàn)選用教材中存在的問題，保證教材選用質(zhì)量具有重要意義。

本研究在文獻(xiàn)研究以及專家訪談基礎(chǔ)上，初步確定教材評(píng)價(jià)指標(biāo)體系，進(jìn)而運(yùn)用Delphi法對(duì)指標(biāo)進(jìn)行修訂。當(dāng)專家意見基本一致后，指標(biāo)體系構(gòu)建完成。評(píng)價(jià)指標(biāo)體系將作為教材使用者的評(píng)價(jià)工具，應(yīng)用于教材管理中研究與評(píng)價(jià)的環(huán)節(jié)。

1 資料與方法

1.1 文獻(xiàn)研究與指標(biāo)框架的初步構(gòu)建

教材評(píng)價(jià)是教育學(xué)研究的重要領(lǐng)域，實(shí)施教材評(píng)價(jià)已有豐富的理論基礎(chǔ)和實(shí)踐操作經(jīng)驗(yàn)。教材評(píng)價(jià)工作應(yīng)結(jié)合教育學(xué)、社會(huì)學(xué)、文化學(xué)、質(zhì)量管理學(xué)、心理學(xué)等理論開展，進(jìn)一步推進(jìn)教材評(píng)價(jià)的實(shí)踐發(fā)展[2]。教材的評(píng)價(jià)應(yīng)該有六個(gè)基本的維度:知識(shí)、思想文化內(nèi)涵、心理發(fā)展規(guī)律、編寫制作水平、可行性、特色與導(dǎo)向性[3]。但是不同的學(xué)科應(yīng)根據(jù)學(xué)科特點(diǎn)及具體情況將上述維度和問題學(xué)科化、具體化,形成評(píng)價(jià)的相關(guān)指標(biāo)。有的研究認(rèn)為，除了思想性、科學(xué)性等指標(biāo)外，要關(guān)注教材的適切性[2]，要求教材適合學(xué)生的學(xué)習(xí)基礎(chǔ)和發(fā)展需求，并有利于教師使用，適教適學(xué)[4]。不同指標(biāo)之間存在著內(nèi)在的邏輯關(guān)系：思想性是統(tǒng)領(lǐng)，是底線，是教材的“政治關(guān)”；科學(xué)性通常涉及教材內(nèi)容的正確性、準(zhǔn)確性、邏輯性，形式的正確性、清晰度、美觀性，結(jié)構(gòu)的合理性等；適切性則從匹配的角度考察教材是否滿足相應(yīng)的對(duì)象群體，如學(xué)生、教師、學(xué)校、地區(qū)等的要求，科學(xué)性是適切性的基本前提，適切性是科學(xué)性的更高要求[5，6]。

通過對(duì)照醫(yī)學(xué)類相關(guān)專業(yè)的教學(xué)質(zhì)量國(guó)家標(biāo)準(zhǔn)(2018年版)以及臨床醫(yī)學(xué)專業(yè)認(rèn)證相關(guān)指標(biāo)要求，本研究以學(xué)生為中心，以促進(jìn)自主學(xué)習(xí)，培養(yǎng)發(fā)展?jié)撃転槟繕?biāo)構(gòu)建教材評(píng)價(jià)指標(biāo)體系[7]。在文獻(xiàn)研究基礎(chǔ)上，我們初步擬定了思政維度、知識(shí)維度、應(yīng)用維度、適切維度作為教材評(píng)價(jià)指標(biāo)體系的核心要素，進(jìn)一步通過與校內(nèi)有教材編寫經(jīng)驗(yàn)和教學(xué)經(jīng)驗(yàn)的教授、專家進(jìn)行半結(jié)構(gòu)式訪談，根據(jù)訪談結(jié)果整理形成了初步指標(biāo)框架，包括4個(gè)一級(jí)指標(biāo)，12個(gè)二級(jí)指標(biāo)(見圖1)。

1.2 Delphi法進(jìn)行教材評(píng)價(jià)指標(biāo)體系的確定

在完成初步指標(biāo)體系框架搭建后，我們選用Delphi法進(jìn)行教材評(píng)價(jià)指標(biāo)體系的確定，按照選擇咨詢專家、編制專家咨詢表、發(fā)放回收咨詢問卷、收集統(tǒng)計(jì)數(shù)據(jù)等環(huán)節(jié)開展了研究工作[8]。

1.2.1 咨詢專家的選擇與咨詢問卷的編制 本研究選取了20名專家作為咨詢對(duì)象。咨詢專家的入選標(biāo)準(zhǔn)為：從事醫(yī)學(xué)高等教育的一線教師，具有副高級(jí)及以上職稱，有教材編寫經(jīng)驗(yàn)且關(guān)心教材建設(shè)，對(duì)本項(xiàng)目感興趣。我們依據(jù)初步指標(biāo)框架編制Delphi專家咨詢表。咨詢表包括研究背景介紹、填表說明、評(píng)價(jià)指標(biāo)、專家個(gè)人信息、專家判斷依據(jù)等5部分內(nèi)容。評(píng)價(jià)指標(biāo)部分包括1個(gè)客觀數(shù)據(jù)和2個(gè)主觀數(shù)據(jù)，客觀數(shù)據(jù)是對(duì)指標(biāo)重要性進(jìn)行1-5級(jí)評(píng)分，主觀數(shù)據(jù)是對(duì)指標(biāo)的修改意見和建議、需要新增的指標(biāo)等[9，10]。

1.2.2 專家咨詢與數(shù)據(jù)回收 我們通過電子郵件方式發(fā)送專家咨詢表，并說明咨詢表的回收時(shí)間。專家意見的權(quán)威程度采用權(quán)威系數(shù)(Cr)表示，Cr由兩個(gè)因素決定，即指標(biāo)重要性的判斷依據(jù)(Ca)和對(duì)指標(biāo)的熟悉程度(Cs)。判斷依據(jù)包括實(shí)踐經(jīng)驗(yàn)、理論分析、國(guó)內(nèi)外同行了解、直覺4個(gè)方面,分別賦值0.8，0.6，0.4，0.2。指標(biāo)熟悉程度量分為非常熟悉、很熟悉、熟悉、一般、不太熟悉、不熟悉,分別賦值1.0，0.8，0.6，0.4，0.2，0。在第一輪專家函詢時(shí)，我們根據(jù)專家填寫的個(gè)人情況資料,對(duì)指標(biāo)熟悉程度、判斷依據(jù)進(jìn)行評(píng)分后,計(jì)算專家權(quán)威系數(shù):權(quán)威系數(shù)(Cr)=[熟悉程度系數(shù)(Ca)+判斷依據(jù)系數(shù)(Cs)]/2，權(quán)威系數(shù)≥0.7為可接受的系數(shù)[9]。

1.2.3 評(píng)價(jià)指標(biāo)體系的確定 第一輪專家函詢結(jié)束后，我們結(jié)合專家意見對(duì)相應(yīng)的指標(biāo)進(jìn)行增加、刪減和調(diào)整，形成第二輪專家函詢問卷并再次發(fā)送。經(jīng)統(tǒng)計(jì)分析,當(dāng)專家意見趨于一致時(shí)函詢終止，確定形成評(píng)價(jià)指標(biāo)體系。專家意見一致性的程度主要通過變異系數(shù)(CV)和Kendall協(xié)調(diào)系數(shù)(W)來反映。CV反映專家組對(duì)各條目權(quán)重賦值的波動(dòng)程度，CV越小，說明專家預(yù)測(cè)或評(píng)估意見協(xié)調(diào)性越好，CV要求在0.30以下；W表示全部專家對(duì)全部指標(biāo)的協(xié)調(diào)程度，取值范圍0-1,系數(shù)越大表明專家意見一致性越高[10]。

1.2.4 統(tǒng)計(jì)分析方法 我們應(yīng)用Excel軟件對(duì)專家咨詢數(shù)據(jù)進(jìn)行錄入，計(jì)算專家積極系數(shù)及權(quán)威系數(shù)；采用SPSS軟件進(jìn)行統(tǒng)計(jì)分析，計(jì)算評(píng)分均值、標(biāo)準(zhǔn)差、滿分率、變異系數(shù)、專家協(xié)調(diào)系數(shù)等指標(biāo)。專家協(xié)調(diào)系數(shù)采用χ2檢驗(yàn)進(jìn)行顯著性檢驗(yàn)，以P<0.05表示差異有統(tǒng)計(jì)學(xué)意義。

2 結(jié)果與分析

2.1 咨詢專家基本情況

本研究邀請(qǐng)首都醫(yī)科大學(xué)具有豐富的教學(xué)經(jīng)驗(yàn)和教材編寫經(jīng)驗(yàn)的20名教師參與專家咨詢。有18名教師按要求回復(fù)了專家咨詢表，部分教師還兼有教學(xué)管理經(jīng)驗(yàn)(見表1)。

表1 參與咨詢專家基本情況

2.2 專家積極系數(shù)及權(quán)威系數(shù)

在兩輪Delphi法專家咨詢中，第一輪發(fā)出20份專家咨詢表，收回18份；第二輪發(fā)出18份專家咨詢表，收回16份。兩輪回收率分別為90%和89%，說明函詢專家對(duì)本研究的關(guān)心、合作程度較好。專家權(quán)威系數(shù)分別為0.834和0.856,專家對(duì)本研究具有較高的權(quán)威性。

2.3 一級(jí)指標(biāo)的確定

第一輪專家咨詢結(jié)果顯示，一級(jí)指標(biāo)的評(píng)分均值分別是4.62,5.00,4.31和4.69，變異系數(shù)0.00-0.16之間，均小于0.300；經(jīng)Kendall協(xié)調(diào)系數(shù)檢驗(yàn)，W=0.32，統(tǒng)計(jì)量χ2值=15.361，P<0.002。數(shù)據(jù)顯示，專家對(duì)一級(jí)指標(biāo)的評(píng)分均值較高，一致性檢驗(yàn)W=0.32，說明專家意見趨于一致，有統(tǒng)計(jì)學(xué)意義。但有兩位專家分別建議把指標(biāo)3的應(yīng)用維度改為感官維度，指標(biāo)4的適切維度改為讀者維度。經(jīng)與兩位專家溝通：感官維度不能包含教材的編輯出版質(zhì)量和配套資源情況，教材的適切性代表教材與實(shí)際教學(xué)需求是否匹配，是對(duì)教材內(nèi)容、形式、質(zhì)量的更高要求，讀者維度不能充分表表述這一含義。溝通后兩位專家同意原指標(biāo)設(shè)定。經(jīng)第一輪專家咨詢，我們確定一級(jí)指標(biāo)為思政維度、知識(shí)維度、應(yīng)用維度和適切維度四個(gè)指標(biāo)。

2.4 二級(jí)指標(biāo)的確定

第一輪咨詢數(shù)據(jù)顯示，專家對(duì)12個(gè)二級(jí)指標(biāo)的評(píng)價(jià)分?jǐn)?shù)在4.77-4.92之間，變異系數(shù)0.06-0.27，經(jīng)Kendall協(xié)調(diào)系數(shù)檢驗(yàn)，W=0.261，同時(shí)收到關(guān)于二級(jí)指標(biāo)的修改信息23條。專家認(rèn)為：12個(gè)二級(jí)指標(biāo)過多，應(yīng)給予必要合并以減少評(píng)價(jià)者負(fù)擔(dān)；醫(yī)學(xué)類教材的文化育人主要來自于人類先進(jìn)文化、中華傳統(tǒng)文化、醫(yī)學(xué)人文關(guān)懷三個(gè)方面，因此文化傳承和職業(yè)素養(yǎng)可合并為文化育人；內(nèi)容先進(jìn)性應(yīng)包含于內(nèi)容選擇，無需單獨(dú)列為一個(gè)指標(biāo)；內(nèi)容質(zhì)量與內(nèi)容組織合并為邏輯結(jié)構(gòu)，邏輯結(jié)構(gòu)既包括教材本身邏輯自洽，也包括與其他學(xué)科的邏輯合理，便于學(xué)生自主學(xué)習(xí)；版式設(shè)計(jì)與印刷裝訂合并為編輯質(zhì)量。根據(jù)專家意見，二級(jí)指標(biāo)由原來的12個(gè)調(diào)整為9個(gè)，并就9個(gè)二級(jí)指標(biāo)形成第二輪專家咨詢問卷，再次發(fā)送給第一輪返回?cái)?shù)據(jù)的18名專家，并在問卷中詳細(xì)說明指標(biāo)的修訂及原因。第二輪咨詢數(shù)據(jù)顯示，專家對(duì)9個(gè)指標(biāo)的評(píng)價(jià)分?jǐn)?shù)在4.36-5.00之間，變異系數(shù)0.00-0.17，Kendall協(xié)調(diào)系數(shù)(W)檢驗(yàn)結(jié)果由第一輪的0.261升高到0.36，P<0.05，有統(tǒng)計(jì)學(xué)意義。專家意見一致性提高，完成二級(jí)指標(biāo)構(gòu)建。

2.5 教材評(píng)價(jià)指標(biāo)體系的確定

經(jīng)兩輪Delphi法專家咨詢后，本研究共構(gòu)建一級(jí)指標(biāo)4個(gè)，二級(jí)指標(biāo)9個(gè)，并利用層析分析法對(duì)指標(biāo)權(quán)重賦值(表2)。

表2 教材評(píng)價(jià)指標(biāo)體系及指標(biāo)權(quán)重

3 評(píng)價(jià)指標(biāo)體系的實(shí)證研究

我們將本研究構(gòu)建完成的指標(biāo)按評(píng)價(jià)量表的句式進(jìn)行轉(zhuǎn)換，由評(píng)價(jià)者依據(jù)指標(biāo)說明進(jìn)行滿意度評(píng)價(jià)，滿意度分為非常滿意、比較滿意、一般、比較不滿意和非常不滿意5個(gè)等級(jí)，分別代表滿分系數(shù)的1.0,0.8,0.6,0.4和0.2；另外增加主觀測(cè)量題，形成醫(yī)學(xué)類教材評(píng)價(jià)量表；將量表通過數(shù)字校園與使用中的206部醫(yī)學(xué)類教材進(jìn)行關(guān)聯(lián)，采用方便抽樣的方法邀請(qǐng)使用該教材的學(xué)生進(jìn)行評(píng)價(jià)。其中2部教材得分低于75分，且學(xué)生集中反饋教材與課程大綱相關(guān)性差、版本陳舊、利用率低。為了驗(yàn)證評(píng)價(jià)指標(biāo)在教材診斷中的科學(xué)性和敏感性，我們進(jìn)一步對(duì)這兩部教材使用者隨機(jī)抽樣電話訪談，證實(shí)該教材存在的問題與量表反映一致，不適合繼續(xù)在教學(xué)中使用，建議“退出使用”；2部教材得分在80-84.9之間，建議深入了解教材可能存在的問題，根據(jù)問題的性質(zhì)決定是否繼續(xù)使用，為繼續(xù)“關(guān)注教材”；202部教材得分≥85分，屬于“合格教材”，占比99%，可以繼續(xù)在教學(xué)中使用。教學(xué)管理部門對(duì)個(gè)別學(xué)生提出的意見和建議按照問題分類反饋給教師或者回復(fù)學(xué)生本人。

4 討論

4.1 基于Delphi法構(gòu)建教材評(píng)價(jià)指標(biāo)體系的科學(xué)性及質(zhì)量控制

首先,為保證指標(biāo)體系的科學(xué)性，本研究選擇有豐富教學(xué)經(jīng)驗(yàn)又兼具教材編寫經(jīng)驗(yàn)的一線教師作為咨詢專家，專家在指標(biāo)修改、完善中發(fā)揮了重要作用,這是構(gòu)建指標(biāo)體系質(zhì)量控制的第一步。4個(gè)一級(jí)指標(biāo)中知識(shí)維度所占權(quán)重最高，又通過3個(gè)二級(jí)指標(biāo)對(duì)知識(shí)維度提出了具體要求：內(nèi)容要把握學(xué)科重點(diǎn)，要有先進(jìn)性，要表述合理、清晰等；思政維度是教材的靈魂，是決定能否選入高校教材的第一道門檻；應(yīng)用維度是對(duì)教材出版質(zhì)量和教材配套資源的診斷，適切維度的設(shè)定是確保在同質(zhì)教材中選擇和學(xué)校人才培養(yǎng)目標(biāo)匹配度最高的教材。各個(gè)指標(biāo)環(huán)環(huán)相扣，科學(xué)合理，具有概括性和可操作性，并與國(guó)家對(duì)高校教材選用工作政策要求高度契合。其次，本研究構(gòu)建的是一個(gè)可量化的評(píng)價(jià)指標(biāo)體系，但在實(shí)踐中沒有簡(jiǎn)單地以量化評(píng)價(jià)結(jié)果作為評(píng)價(jià)教材的唯一依據(jù)，而是定量評(píng)價(jià)與定性評(píng)價(jià)相結(jié)合，使評(píng)價(jià)結(jié)果更具可信度和說服力。最后，評(píng)價(jià)指標(biāo)體系構(gòu)建完成后，通過每學(xué)期開展一次的教材評(píng)價(jià)工作，我們建立評(píng)價(jià)結(jié)果數(shù)據(jù)庫(kù)記錄每本教材的使用檔案，動(dòng)態(tài)觀察學(xué)生對(duì)教材的評(píng)價(jià)和反饋，能夠使評(píng)價(jià)數(shù)據(jù)更加真實(shí)、客觀地反映教學(xué)中的應(yīng)用情況。

4.2 實(shí)證研究結(jié)果對(duì)醫(yī)學(xué)高等教育教材選用的指導(dǎo)作用

實(shí)證研究表明，教材評(píng)價(jià)指標(biāo)體系的建立和使用，特別是與信息化手段配合，高效落實(shí)了教育部教材選用質(zhì)量監(jiān)控和評(píng)價(jià)機(jī)制的工作要求，建立起學(xué)生-教師-教學(xué)管理部門之間信息溝通渠道，及時(shí)發(fā)現(xiàn)教材選用中存在的問題，為學(xué)生選擇一本經(jīng)典、優(yōu)質(zhì)、與人才培養(yǎng)目標(biāo)和課程標(biāo)準(zhǔn)適切性高的教材。研究結(jié)果顯示，教材評(píng)價(jià)指標(biāo)的構(gòu)建和應(yīng)用對(duì)醫(yī)學(xué)高等教育教材選用具有一定的指導(dǎo)作用。

4.3 教材評(píng)價(jià)指標(biāo)體系的局限性

本研究中指標(biāo)體系是基于文獻(xiàn)研究、專家評(píng)價(jià)等方法構(gòu)建而成的，可能會(huì)由于文獻(xiàn)研究的局限、專家評(píng)價(jià)資料整合的疏漏等導(dǎo)致指標(biāo)構(gòu)建或指標(biāo)權(quán)重賦值的失當(dāng)，有待在今后的工作中做進(jìn)一步的實(shí)證檢驗(yàn)和修正。此外，指標(biāo)體系的應(yīng)用是以教師為學(xué)生選定的某一部教材為前提，也就是狹義的教材。隨著學(xué)校教育教學(xué)改革推進(jìn)，部分教師主張使用廣義的教材，廣義的教材包括公開出版教材、自編教材、專著、電子圖書、文獻(xiàn)等其他教學(xué)資料。如何做好廣義教材的評(píng)價(jià)工作，是我們需要進(jìn)一步研究的命題。