基于德爾菲法和層次分析法的碩士研究生生源質(zhì)量評價指標體系研究?

何其迅 馬小蕊 吳 萍

(1.首都醫(yī)科大學公共衛(wèi)生學院,北京 100069; 2.首都醫(yī)科大學研究生院,北京 100069;3.首都醫(yī)科大學教務處,北京 100069)

隨著高等教育逐步走向大眾化趨勢,各高校的工作重心已經(jīng)從如何擴大招生規(guī)模向著如何吸優(yōu)質(zhì)生源改變。作為高校發(fā)展的原動力,生源不僅是高校人才培養(yǎng)的起點,也提升了高校內(nèi)涵式發(fā)展的速度。如何提升生源質(zhì)量已成為各高校必須解決的根本性、方針性問題。碩士研究生生源質(zhì)量反映了在碩士研究生教育階段開始時,學生掌握的與未來研究方向有關的基礎理論和系統(tǒng)知識以及科研精神和學習態(tài)度滿足碩士研究生培養(yǎng)要求的程度[1],因此,構建準確、有效、易操作的研究生生源質(zhì)量評價體系,從高校可利用的視角對研究生生源質(zhì)量進行評價,對提高研究生教育質(zhì)量水平,促進研究生教育健康發(fā)展具有非常重要的意義。

本研究運用德爾菲法構建碩士研究生生源質(zhì)量評價指標體系,并通過層次分析法確定相應指標權重,旨在從整體角度對現(xiàn)有的研究生生源情況進行全面系統(tǒng)的描述及評定,為促進學科發(fā)展提供了重要的參考依據(jù)、獲取研究對象群體在入學時自身的知識能力及素質(zhì)狀態(tài)、幫助高校發(fā)現(xiàn)現(xiàn)實生源情況與目標生源的差距[2],從而進一步調(diào)整優(yōu)化招生策略提供方向。

1 對象與方法

1.1 專家遴選與構成

邀請來自首都醫(yī)科大學有豐富研究生指導經(jīng)驗的導師、校院兩級資深研究生工作管理人員以及來自其他高等院校的研究生教育專家共35人參與專家咨詢(表1)。

表1 咨詢專家基本情況

1.2 項目的初步確定

與35位專家以訪談會的形式進行訪談與討論,在既往有關生源質(zhì)量評價相關的文獻研究[3-12]的基礎上,根據(jù)質(zhì)量評價框架設計思路,參考利益相關者對評價指標認可度調(diào)查問卷結果,初步擬定碩士研究生生源質(zhì)量評價體系以“成績指標、背景結構、專業(yè)適配、綜合素質(zhì)”為一級指標。其中,成績指標屬于生源結構范疇,基于碩士研究生招生考試初試成績以及因其帶來的一系列結構指標組成,可以比較全面地考察學生的基礎理論知識和系統(tǒng)知識,是集中反映生源質(zhì)量水平的基礎指標;背景結構屬于生源結構范疇,通過考生自身的身份及學習背景,考察考生的綜合能力素質(zhì)、科研學習態(tài)度,也是反映生源質(zhì)量水平的基礎性指標之一;專業(yè)適配屬于生源素質(zhì)范疇,依托碩士研究生招生考試復試及心理測試結果,主要反映考生與專業(yè)對口的系統(tǒng)知識和業(yè)務能力等,也是整個生源質(zhì)量評價體系重要的維度之一;綜合素質(zhì)屬于生源素質(zhì)范疇,主要通過考生既往獲獎的情況反映考生的科研精神和學習態(tài)度,是生源素質(zhì)情況評價的重要指標。確定4個一級指標后,根據(jù)問卷調(diào)結果、專家意見及參考文獻[3-12],初步確定了15個二級指標(表 2)。

表2 初步擬定碩士研究生生源質(zhì)量評價體系

1.3 專家咨詢與評分標準

通過電子郵件的形式進行了兩輪德爾菲法咨詢。在咨詢前與專家就相關抽象的指標概念進行解讀,提高對指標評價打分的準確性。第二輪咨詢問卷的設計基于第一輪專家咨詢問卷回收后的打分情況進行編制修改。問卷中,評價指標重要性專家意見采用Likert5級評分:很重要5分、重要4分、一般3分、不重要2分、很不重要1分。專家權威系數(shù)通過熟悉程度及判斷依據(jù)進行計算,其中指標重要性熟悉程度量值分為非常熟悉、很熟悉、熟悉、一般、不太熟悉、不熟悉,分別賦值1.0、0.8、0.6、0.4、0.2、0;指標重要性判斷依據(jù)包括“實踐經(jīng)驗、理論分析、國內(nèi)外同行了解、直覺”4個方面,分別賦值0.8、0.6、0.4、0.2。在專家填寫個人情況資料,并對一級指標熟悉程度、判斷依據(jù)進行評分后,計算專家權威系數(shù):(熟悉程度系數(shù)+判斷依據(jù)系數(shù))/2,以權威系數(shù)大于等于0.7為可接受的系數(shù)。專家意見一致性采用Kendall協(xié)調(diào)系數(shù)檢驗呈現(xiàn),專家意見一致性的程度通過Kendall協(xié)調(diào)系數(shù)分析,取值范圍為0～1,系數(shù)越大表明專家意見一致性越高[13]

1.4 評價指標的最終確定

第一輪專家咨詢結束后,收集并匯總專家對評價指標重要性打分及意見,再根據(jù)每項指標的重要性得分計算算術均數(shù)和變異系數(shù)。采用界值法并充分結合專家意見篩選評價指標:滿分頻率、算術均數(shù)界值=均數(shù)-標準差,得分高于界值的入選;變異系數(shù)界值=均數(shù)+標準差,得分低于界值的入選;三者均在界外的指標則被刪除[14]。經(jīng)討論后決定刪除“應屆生與往屆生比例”指標。在進行第二輪德爾菲法之前,統(tǒng)計匯總了第一輪專家的對于指標評價重要性均值及滿分頻率均值,并展示于第二輪調(diào)查表中,以作為專家再次評分的參考依據(jù)。第二輪咨詢完成后,統(tǒng)計專家打分與意見,全部指標保留,最終確定生源質(zhì)量評價指標體系的構成。

1.5 層次分析法

1.5.1 計算指標的權重

(1)匯總專家對各級評價指標重要性得分的算數(shù)均數(shù),利用各指標均數(shù)差值確定Saaty標度。具體的方法如下(Zij和Zik為某一評價體系中任意兩個指標的重要性均數(shù)分值[15]):若Zij-Zik≤0.2,Zij和Zik同等重要,Saaty標度取1;若0.4＜Zij-Zik≤0.6,Zij比Zik稍微重要,Saaty標度取3;若0.8＜Zij-Zik≤1.0,Zij比Zik相當重要,Saaty標度取5;若1.2＜Zij-Zik≤1.4,Zij比Zik強烈重要,Saaty標度取7;若1.6＜Zij-Zik,Zij比Zik極端重要,Saaty標度取9;如差值在兩個尺度之間,則Saaty標度為2,4,6,8。通過Saaty1～9標度法對指標進行兩兩比較,從而建立判斷矩陣。(2)采用乘積方根法計算判斷矩陣各行的幾何平均值(Wi),具體公式為:對各行的幾何平均值進行歸一化處理得到各指標的權重系數(shù)。

1.5.2 進行判斷矩陣的一致性檢驗

1.6 統(tǒng)計學方法

使用Excel2013進行數(shù)據(jù)的錄入,采用SPSS 21.0軟件進行統(tǒng)計分析,計算評價指標的重要性得分均數(shù)、標準差及專家的積極性、權威系數(shù)、Kendall協(xié)調(diào)系數(shù);利用SPSSAU軟件進行矩陣的權重計算和一致性檢驗。以P＜0.05為差異有統(tǒng)計學意義。

2 結 果

2.1 專家積極性

第一輪德爾菲法共發(fā)放專家咨詢表35份,收回35份,有效回收率為100%;第二輪德爾菲法共發(fā)放專家咨詢表35份,收回31份,有效回收率為88.6%,專家的積極性較高。

2.2 專家權威程度

第一輪專家的判斷依據(jù)為0.7457,熟悉程度為0.8657,權威系數(shù)為0.8057;第二輪專家的判斷依據(jù)為0.7484,熟悉程度為0.8648,權威系數(shù)為0.8314。

2.3 專家協(xié)調(diào)程度

第一輪專家咨詢Kendall協(xié)調(diào)系數(shù)為0.125(P＜0.001),第二輪專家咨詢Kendall協(xié)調(diào)系數(shù)為0.406(P＜0.001)。

2.4 指標權重及一致性檢驗

一級指標成績指標、背景結構、專業(yè)適配、綜合素質(zhì)權重分別為0.42、0.23、0.23、0.12,二級指標的權重及組合權重見表3。一級指標判斷矩陣計算得到CR值為0.004,二級指標判斷矩陣的CR分別為0.017、0.018、0.018、0。

表3 碩士研究生生源質(zhì)量評價體系及指標權重

3 討 論

3.1 基于德爾菲法和層次分析法,建立科學、易操作的碩士研究生生源質(zhì)量評價體系

本研究基于德爾菲法構建評價指標體系,采用層次分析法計算各級指標權重,兩種方法結合運用是經(jīng)典普適的定性與定量結合的決策方法,具有科學性和適宜性。本研究選取的專家來自豐富研究生指導經(jīng)驗的導師、校院兩級資深研究生工作管理人員以及其他高等院校的研究生教育專家,專業(yè)領域覆蓋全面,并且均具有中高級等級職稱和較長的工作年限,代表性較好。兩輪德爾菲法專家咨詢問卷有效回收率高表明專家積極性較高;權威系數(shù)大于等于0.7表明專家權威程度較高;Kendall協(xié)調(diào)系數(shù)在第一輪結果顯示專家的意見雖具有一致性,但一致性較差?？紤]到對于生源質(zhì)量的看法,專家個人的主觀傾向較大,且業(yè)界對于生源質(zhì)量評價的具體內(nèi)容宣傳較少,有些指標概念過于抽象,對于專家的評分影響較大。因此采取以下解決方案:①立即與部分專家進行追蹤反饋,尤其針對評分有較大的分歧的指標,認真聽取不同專家評分的考慮。②對于部分概念描述過于抽象的指標,更新文字解釋內(nèi)容,如:細化“考生正向動機”的內(nèi)容,使指標描述更加準確、更易理解。③將第一輪專家對各項指標打分情況統(tǒng)計匯總,展示于第二輪調(diào)查問卷中,便于專家參考。通過以上做法,在第二輪專家咨詢中,Kendall協(xié)調(diào)系數(shù)顯著上升,表明專家意見趨于一致;以上幾項結果表明咨詢結果可靠。最終構建了包括4一級指標和14個二級指標的碩士研究生生源質(zhì)量評價指標體系并確定指標權重,其中一級指標、二級指標判斷矩陣的CR＜0.1,意味著本次研究判斷矩陣滿足一致性檢驗,計算所得權重具有一致性,計算出的指標權重結果可靠。

3.2 碩士研究生生源質(zhì)量評價指標體系可綜合評估學校的研究生生源質(zhì)量

碩士研究生生源質(zhì)量評價指標體系一級指標權重最高的為成績指標。其次是背景結構和專業(yè)適配,兩者權重一致。最后為綜合素質(zhì)。碩士研究生入學考試分為初試和復試,其中初試更是由全國組織統(tǒng)一命題或招生單位統(tǒng)一命題,因此,考生的初試成績以及相關的數(shù)據(jù)結構指標有著數(shù)據(jù)易獲取及評價更客觀的特性,在一定程度上從宏觀角度評價高等院校研究生生源的基本情況,高校適用性廣。同時采用比例指標來衡量生源質(zhì)量更有說服力[4]。將綜合素質(zhì)的評價納入整體的評價體系,是為了更全面地了解研究生生源的綜合能力和素質(zhì),但由于綜合素質(zhì)的標準及量化指標的設定難免受主觀影響,同時沒有針對能力和素質(zhì)的統(tǒng)一性考評,也使得其評價結果不能處于評價生源質(zhì)量高低的決定性的地位。

二級指標權重中,復試表現(xiàn)、畢業(yè)院校類別、錄取率相對較高。復試是研究生入學考試中的重要組成部分,主要考察考生的創(chuàng)新能力、專業(yè)素質(zhì)和綜合素質(zhì)等[9],多采取筆試面試相結合的方式。復試分數(shù)是各高校選拔人才的重要參考依據(jù),復試分數(shù)高低與生源質(zhì)量評價密切相關?？忌漠厴I(yè)院校存在辦學規(guī)模、綜合水平、學科實力高低差異,這在某種程度直接對考生的培養(yǎng)質(zhì)量造成影響,畢業(yè)院校實力雄厚的考生,在研究生選拔的競爭實踐中,往往具有更好的優(yōu)勢。錄取率作為結構指標,直接反映了過線考生數(shù)和實際錄取人數(shù)的比值情況,過線考生是否充足,直接反映了生源質(zhì)量的高低。

3.3 碩士研究生生源質(zhì)量評價指標體系為研究生教育的培養(yǎng)、就業(yè)跟蹤評價提供了基礎資料

本研究形成的碩士研究生生源質(zhì)量評價指標體系,包括各級指標權重及評價標準,可直接用于高校對生源質(zhì)量評價的實證研究。通過所需要評價的目標,按照評價標準的公式算出相應具體數(shù)值并根據(jù)具體數(shù)值進行評分,再過指標權重計算就可以得出生源質(zhì)量評價各指標得分及整體得分。以此得分為依據(jù),可進行不同類別的橫向比較及不同年度的縱向比較,對研究生生源質(zhì)量進行科學的診斷性評估,有利于高校更好地進行研究生生源的質(zhì)量的保障和監(jiān)控[2]。不僅可以作為高校調(diào)整招生策略、招生宣傳方式、招生計劃分配的反饋依據(jù)[11],而且通過對研究對象在初始階段的系統(tǒng)描述和評定,為研究生教育的培養(yǎng)、就業(yè)跟蹤評價奠定了重要的基礎作用。

綜上所述,基于德爾菲法和層次分析法建立起的碩士研究生生源質(zhì)量評價體系,可綜合評估學校的研究生生源質(zhì)量,為研究生教育的培養(yǎng)、就業(yè)跟蹤評價提供了基礎資料,并為學校研究生教育的可持續(xù)發(fā)展奠定了重要的基礎作用。

利益沖突所有作者均不存在利益沖突

作者貢獻聲明何其迅、吳萍:提出研究思路,設計研究方案;何其迅、馬小蕊:調(diào)研、數(shù)據(jù)分析;何其迅:論文撰寫;吳萍:總體把關、審訂論文

(本文編輯:高健)

[10]黃海云, 李科浪, 桑莎. 碩士研究生初復試成績與生源質(zhì)量關系的實證研究——基于深圳大學2017級碩士研究生競爭性獎學金的分析[J]. 中國多媒體與網(wǎng)絡教學學報(上旬刊), 2020(8): 180-182.

[11]郭巍. 碩士研究生生源質(zhì)量現(xiàn)狀及提升措施研究[J]. 沈陽建筑大學學報(社會科學版), 2020, 22(2): 201-206.

[12]劉芳. 高校招生生源質(zhì)量評價體系的設計與應用——以北京林業(yè)大學為例[J]. 中國林業(yè)教育, 2021, 39(1): 34-38.

[13]孫欣然, 孫金海. 運用德爾菲法和層次分析法構建基于基本能力和基本狀態(tài)的養(yǎng)老照護評估指標體系[J]. 實用心腦肺血管病雜志, 2018, 26(2): 58-62.

[14]王春枝, 斯琴. 德爾菲法中的數(shù)據(jù)統(tǒng)計處理方法及其應用研究[J]. 內(nèi)蒙古財經(jīng)學院學報(綜合版), 2011, 9(4): 92-96.

[15]孫金偉. 普通高等學校教師綜合評價系統(tǒng)的研究[D]. 大連: 大連理工大學, 2004: 1.