劉春榮,郭海燕,吳瀚霖
(北京師范大學(xué) a.心理學(xué)部;b.學(xué)位辦;c.信息科學(xué)與技術(shù)學(xué)院,北京 100875)
博士學(xué)位論文質(zhì)量是衡量博士生培養(yǎng)質(zhì)量的核心指標(biāo)。論文評(píng)審是對(duì)學(xué)位論文質(zhì)量進(jìn)行評(píng)價(jià)的重要環(huán)節(jié),雖然各高校具體實(shí)施辦法和要求略有差異,但均為學(xué)校依據(jù)《中華人民共和國學(xué)位條例》[1](簡稱《條例》)中規(guī)定的博士學(xué)位授予標(biāo)準(zhǔn),采納、設(shè)計(jì)或修訂一套評(píng)審指標(biāo)體系,請(qǐng)同行專家對(duì)論文進(jìn)行評(píng)審,并就論文是否達(dá)到博士學(xué)位授予標(biāo)準(zhǔn)做出明確判斷的過程??梢?,論文評(píng)審指標(biāo)體系作為質(zhì)量評(píng)價(jià)的工具,其準(zhǔn)確性、可靠性和有效性對(duì)評(píng)價(jià)結(jié)果的真實(shí)性具有決定作用。
為提高對(duì)博士學(xué)位論文質(zhì)量的監(jiān)控力度,從2013年開始,北京師范大學(xué)(簡稱:北師大)實(shí)施了全部博士學(xué)位論文由校學(xué)位辦委托教育部學(xué)位與研究生教育發(fā)展中心(簡稱:學(xué)位中心)學(xué)位論文評(píng)審平臺(tái)進(jìn)行匿名評(píng)審。同時(shí),采納了學(xué)位中心推薦的評(píng)審指標(biāo)體系(見表1)。全國博士學(xué)位論文抽檢以及委托學(xué)位中心進(jìn)行論文評(píng)審的眾多高校同樣采用這套體系??梢姡撝笜?biāo)體系已廣泛用于我國博士學(xué)位論文評(píng)審。
論文評(píng)審作為博士生培養(yǎng)過程的一種終結(jié)性評(píng)價(jià),對(duì)是否能授予博士學(xué)位具有重大決定意義。因此,必須保證論文評(píng)審指標(biāo)體系的準(zhǔn)確性、可靠性和有效性,必須保證評(píng)審結(jié)果能真實(shí)地反映博士學(xué)位論文的質(zhì)量和水平。信度和效度分析是驗(yàn)證指標(biāo)體系精確性和可靠性的重要方法。對(duì)此,尚未見有相關(guān)的研究。因此,有必要利用北師大五年博士學(xué)位論文匿名評(píng)審全數(shù)據(jù)量化結(jié)果,對(duì)評(píng)審指標(biāo)體系的信度和效度進(jìn)行實(shí)證研究,以確立該指標(biāo)體系的公信力。
一個(gè)良好的教育測(cè)驗(yàn)首先必須保證測(cè)驗(yàn)的結(jié)果可靠,測(cè)驗(yàn)結(jié)果的可靠性稱為測(cè)驗(yàn)的信度[2]。信度包括內(nèi)在信度與外在信度兩類,本研究主要測(cè)量指標(biāo)體系的內(nèi)在信度。內(nèi)在信度反映的是調(diào)查問卷各個(gè)項(xiàng)目(問項(xiàng))間的相關(guān)程度,這些項(xiàng)目應(yīng)該反映同一獨(dú)立概念的不同側(cè)面。[3]
因論文式測(cè)驗(yàn)的評(píng)分沒有嚴(yán)格的評(píng)分標(biāo)準(zhǔn),在這種情況下,我們可以采用克朗巴赫(Cronbach)創(chuàng)造的α系數(shù)檢驗(yàn)信度[2]。通過調(diào)用SPSS 中的信度分析模塊,計(jì)算α系數(shù),對(duì)評(píng)審結(jié)果進(jìn)行信度檢驗(yàn)。
效度即有效性,是一種測(cè)驗(yàn)?zāi)軌蛘_地測(cè)量出它所要測(cè)量的特性或功能的程度。因此,效度是教育測(cè)驗(yàn)中最基本、最重要的問題,是選擇和評(píng)鑒教育測(cè)驗(yàn)質(zhì)量的重要指標(biāo)[2]。效度分為三種類型:內(nèi)容效度、準(zhǔn)則效度和結(jié)構(gòu)效度。效度檢驗(yàn)有多種方法,不同方法檢驗(yàn)結(jié)果反映效度的不同類型。
①內(nèi)容效度又稱表面效度或邏輯效度,它是指所測(cè)驗(yàn)的內(nèi)容與預(yù)定要測(cè)的內(nèi)容之間的一致性程度[2]。對(duì)內(nèi)容效度常采用邏輯分析與統(tǒng)計(jì)分析相結(jié)合的方法進(jìn)行評(píng)價(jià)。邏輯分析一般由研究者或?qū)<以u(píng)判所選題項(xiàng)是否“看上去”符合測(cè)量的目的和要求。統(tǒng)計(jì)分析主要采用單項(xiàng)和總和相關(guān)分析法獲得評(píng)價(jià)結(jié)果,根據(jù)相關(guān)是否顯著判斷是否有效,相關(guān)系數(shù)越大,內(nèi)容效度越高[3]。②準(zhǔn)則效度又稱效標(biāo)效度,是指測(cè)驗(yàn)結(jié)果與作為準(zhǔn)則的另一獨(dú)立測(cè)驗(yàn)結(jié)果之間的一致性[2]。若測(cè)驗(yàn)結(jié)果與準(zhǔn)則測(cè)驗(yàn)結(jié)果相關(guān)顯著,則該題項(xiàng)為有效題項(xiàng)。③結(jié)構(gòu)效度指一種測(cè)驗(yàn)所能衡量到理論上期望的特征的程度。最理想的結(jié)構(gòu)效度分析方法是利用因子分析測(cè)量量表的結(jié)構(gòu)效度。其目的是想了解屬于相同概念的不同測(cè)驗(yàn)項(xiàng)目是否如理論預(yù)測(cè)那樣集中在同一公共因子里。其中因子負(fù)荷反映了測(cè)驗(yàn)項(xiàng)目對(duì)該概念的貢獻(xiàn), 因子負(fù)荷值越大說明與該概念的關(guān)系越密切。[4]
本文將從如上這三個(gè)方面分別對(duì)指標(biāo)體系的效度進(jìn)行檢驗(yàn)。所有數(shù)據(jù)均通過SPSS 23.0 進(jìn)行統(tǒng)計(jì)分析。
統(tǒng)計(jì)分析研究數(shù)據(jù)來源于北師大2013~2017年共計(jì)五年的全部博士學(xué)位論文評(píng)審結(jié)果。根據(jù)《北京師范大學(xué)學(xué)位授予工作細(xì)則》的規(guī)定,博士學(xué)位論文的評(píng)審由校學(xué)位辦委托學(xué)位中心,采取匿名(隱去導(dǎo)師名和評(píng)審專家名)的方式,按照博士生的學(xué)科、專業(yè),以及學(xué)校優(yōu)先選擇高校的學(xué)科層次,聘請(qǐng)三位與論文選題相關(guān)專業(yè)領(lǐng)域的專家評(píng)閱。同時(shí),采納了學(xué)位中心推薦的評(píng)審指標(biāo)體系(見表1)。專家根據(jù)評(píng)審指標(biāo)體系,從分評(píng)1到分評(píng)4按照“優(yōu)秀、良好、一般、較差”的評(píng)價(jià)標(biāo)準(zhǔn),分別給出4個(gè)分項(xiàng)評(píng)價(jià)指標(biāo)的評(píng)定等級(jí),并在此基礎(chǔ)上做出總評(píng)評(píng)定結(jié)果。為便于定量分析,對(duì)“優(yōu)秀、良好、一般、較差”4類評(píng)價(jià)標(biāo)準(zhǔn)分別賦值為:10、8、6、4分;只考慮首次申請(qǐng)?jiān)u審且非增評(píng)的評(píng)閱意見,形成共計(jì)3173篇論文的9519份評(píng)審結(jié)果,也即9519條有效分析數(shù)據(jù)。
表1 博士學(xué)位論文評(píng)審指標(biāo)體系①
學(xué)位論文評(píng)審指標(biāo)體系的信度和效度分析就是考查評(píng)審結(jié)論反映學(xué)位論文真實(shí)學(xué)術(shù)水平的程度。
論文評(píng)審指標(biāo)體系的信度描述的是評(píng)審結(jié)果的可靠程度,包括內(nèi)在信度與外在信度兩類。本研究主要檢驗(yàn)論文評(píng)審指標(biāo)體系的內(nèi)在信度,即各個(gè)分項(xiàng)評(píng)價(jià)指標(biāo)之間是否具有一致性。采用Cronbach’s α系數(shù)評(píng)價(jià)指標(biāo)體系的信度。計(jì)算公式為:
其中,α為信度系數(shù);K為指標(biāo)體系中分項(xiàng)的總數(shù),在此,K=4;Si為第i項(xiàng)得分的項(xiàng)內(nèi)方差(i=1,2,3,4),Sx為全部分項(xiàng)總得分的方差。
從公式中可以看出,Cronbach’s α系數(shù)評(píng)價(jià)的是量表中各分項(xiàng)評(píng)價(jià)指標(biāo)之間的一致性,屬于內(nèi)在一致性系數(shù)。α系數(shù)值介于0與1之間,α值越高,表明分項(xiàng)之間的一致性越強(qiáng),內(nèi)部一致性可信度越高。一般認(rèn)為α在0.7~ 0.8 之間表示信度相當(dāng)好,在0.8~ 0.9之間表示信度非常好[3]。
經(jīng)計(jì)算,本研究中學(xué)位論文評(píng)價(jià)指標(biāo)體系的Cronbach’s α系數(shù)結(jié)果為0.828,說明各分項(xiàng)評(píng)價(jià)指標(biāo)的內(nèi)部一致性極好,指標(biāo)體系的信度是非常令人滿意的。
更進(jìn)一步,還可以評(píng)估每個(gè)單項(xiàng)指標(biāo)的信度,以便識(shí)別那些與整個(gè)指標(biāo)體系關(guān)聯(lián)性不大的分項(xiàng),為進(jìn)一步優(yōu)化指標(biāo)體系提供統(tǒng)計(jì)理論依據(jù)。計(jì)算刪除4個(gè)指標(biāo)中某一個(gè)分項(xiàng)后的Cronbach’s α系數(shù),結(jié)果見表 2??梢姡瑒h去4個(gè)分項(xiàng)評(píng)分中任意之一,α系數(shù)均變得小于0.828,說明4個(gè)分項(xiàng)指標(biāo)每一個(gè)都是可信的,每一個(gè)與總體的關(guān)聯(lián)性都較大。
表2 帶已刪除變量的Cronbach’s α系數(shù)
論文評(píng)審指標(biāo)體系的效度描述的是評(píng)審結(jié)果反映論文質(zhì)量的準(zhǔn)確程度。效度是衡量指標(biāo)體系最重要的因素,直接影響指標(biāo)體系的價(jià)值。效度分為三種類型:內(nèi)容效度、準(zhǔn)則效度和結(jié)構(gòu)效度。
1.內(nèi)容效度分析
論文評(píng)審指標(biāo)體系的內(nèi)容效度就是指所設(shè)計(jì)的各項(xiàng)指標(biāo)反映博士學(xué)位論文應(yīng)達(dá)到的學(xué)術(shù)標(biāo)準(zhǔn)的程度。對(duì)內(nèi)容效度采用邏輯分析與統(tǒng)計(jì)分析相結(jié)合的方法進(jìn)行評(píng)價(jià)。
邏輯分析主要依據(jù)《條例》第六條對(duì)于博士學(xué)位授予的標(biāo)準(zhǔn)“(一)在本門學(xué)科上掌握?qǐng)?jiān)實(shí)寬廣的基礎(chǔ)理論和系統(tǒng)深入的專門知識(shí);(二)具有獨(dú)立從事科學(xué)研究工作的能力;(三)在科學(xué)或?qū)iT技術(shù)上做出創(chuàng)造性的成果”,[1]從邏輯推演的角度判斷分析四項(xiàng)分評(píng)指標(biāo)的內(nèi)容究竟在體現(xiàn)博士學(xué)位學(xué)術(shù)標(biāo)準(zhǔn)方面達(dá)到多大程度。選題是論文價(jià)值的基礎(chǔ),是“做出創(chuàng)造性成果”的前提,所以,分評(píng)1(選題)和分評(píng)2(創(chuàng)新性及論文價(jià)值)兩項(xiàng)的內(nèi)涵準(zhǔn)確地反映了博士學(xué)位授予標(biāo)準(zhǔn)的第(三)方面。規(guī)范性反映了研究生培養(yǎng)過程中對(duì)學(xué)術(shù)規(guī)范素養(yǎng)訓(xùn)練的程度,也是保障學(xué)位論文質(zhì)量的基礎(chǔ)知識(shí)和獨(dú)立從事科研工作的基本能力。所以,分評(píng)3(基礎(chǔ)知識(shí)及科研能力)和分評(píng)4(規(guī)范性)的內(nèi)涵對(duì)應(yīng)標(biāo)準(zhǔn)的第(一)、第(二)方面,總評(píng)是評(píng)審專家對(duì)論文整體水平的衡量。同時(shí),還兼具了不同學(xué)科共性和特性的表達(dá)。因此,從邏輯分析的角度看,該指標(biāo)體系達(dá)到了評(píng)價(jià)博士學(xué)位論文學(xué)術(shù)質(zhì)量的目標(biāo),有理想的內(nèi)容效度。
統(tǒng)計(jì)分析采用計(jì)算每個(gè)分評(píng)與總評(píng)的相關(guān)系數(shù),根據(jù)相關(guān)是否顯著判斷是否有效,相關(guān)系數(shù)越大,內(nèi)容效度越高??紤]到數(shù)據(jù)集為有序數(shù)據(jù),所以考察變量相關(guān)關(guān)系時(shí)用Spearman秩相關(guān)系數(shù),Spearman秩相關(guān)系數(shù)定義見公式。
其中,R與S分別為兩個(gè)變量觀測(cè)的秩。
相關(guān)系數(shù)θ計(jì)算結(jié)果見表3??梢钥闯?,總體評(píng)價(jià)與各分項(xiàng)評(píng)價(jià)相關(guān)系數(shù)在0.63~0.75之間,呈現(xiàn)明顯正相關(guān)關(guān)系,表明指標(biāo)體系的內(nèi)容效度較高。
2.準(zhǔn)則效度分析
由于論文評(píng)審指標(biāo)體系中的各分項(xiàng)指標(biāo)與總體評(píng)價(jià)是相互獨(dú)立做出的,因此可以選擇總體評(píng)價(jià)為準(zhǔn)則,分析指標(biāo)體系中各分評(píng)與準(zhǔn)則的相關(guān)性。若分評(píng)與總體評(píng)價(jià)相關(guān)顯著,則該分評(píng)指標(biāo)為有效選項(xiàng)。所以,由上述相關(guān)分析結(jié)論——總體評(píng)價(jià)與各分項(xiàng)評(píng)價(jià)呈現(xiàn)明顯正相關(guān)關(guān)系,也可得出準(zhǔn)則效度也是較高的。
表3 Spearman秩相關(guān)系數(shù)
同時(shí),從相關(guān)分析還可以看出,各分項(xiàng)之間也均呈現(xiàn)顯著正相關(guān)關(guān)系,相關(guān)系數(shù)的值在0.43~0.58之間。各分評(píng)之間的相關(guān)實(shí)際上標(biāo)志著指標(biāo)體系的內(nèi)部一致性的信度,如果相關(guān)較高,表明各個(gè)分評(píng)之中有公共因子的存在,也可以作為內(nèi)部一致性信度的證據(jù)。
3.結(jié)構(gòu)效度分析
論文評(píng)審指標(biāo)體系的結(jié)構(gòu)效度指評(píng)審指標(biāo)的內(nèi)涵能夠體現(xiàn)出博士學(xué)位授予標(biāo)準(zhǔn)的程度。評(píng)審指標(biāo)體系要具有較高的結(jié)構(gòu)效度,應(yīng)保證對(duì)于來自相同概念(科研能力或創(chuàng)新性)的分項(xiàng)指標(biāo)是否如理論預(yù)測(cè)那樣集中在同一個(gè)公因子里。利用因子分析法檢驗(yàn)指標(biāo)體系的結(jié)構(gòu)效度。
因子分析的主要功能是從指標(biāo)體系的全部分項(xiàng)指標(biāo)中提取一些公因子,各公因子分別與某幾個(gè)分評(píng)指標(biāo)高度相關(guān),因此這些公因子可代表指標(biāo)體系的基本結(jié)構(gòu),通過因子分析可以考察研究者設(shè)計(jì)指標(biāo)體系時(shí)假設(shè)的某種結(jié)構(gòu)。在因子分析之前,首先進(jìn)行適應(yīng)性檢驗(yàn),測(cè)量KMO(Kaiser-Meyer-Olkin)值和并進(jìn)行Bartlett球體檢驗(yàn)。KMO測(cè)度的值越高(接近1.0時(shí)), 表明項(xiàng)目間的相關(guān)性越強(qiáng),越適合進(jìn)行因子分析。Bartlett球體檢驗(yàn)的目的是檢驗(yàn)相關(guān)矩陣是否是單位矩陣。一般說來,顯著水平值越小(<0.05)表明原始變量之間越可能存在有意義的關(guān)系,指標(biāo)體系的結(jié)構(gòu)效度越好。KMO和Bartlett球體檢驗(yàn)的結(jié)果見表4。本研究KMO指標(biāo)為0.787>0.5, 說明原始變量適合做因子分析。Bartlett球形檢驗(yàn)的顯著性水平為0.000<0.001,說明變量間的相關(guān)矩陣與單位矩陣有顯著性差異,因子分析的結(jié)果有效。
表4 KMO和Bartlett球體檢驗(yàn)的結(jié)果
對(duì)四個(gè)分項(xiàng)評(píng)價(jià)指標(biāo)進(jìn)行因子分析,采用主成分分析法提取因子,計(jì)算相關(guān)矩陣特征值,結(jié)果見表5。
表5 相關(guān)矩陣特征值
累計(jì)貢獻(xiàn)率反映了公因子的選擇個(gè)數(shù)對(duì)總方差的解釋程度。按照累計(jì)貢獻(xiàn)率大于80%的準(zhǔn)則,前兩個(gè)因子累計(jì)貢獻(xiàn)率已達(dá)到80.5%,所以,應(yīng)該選取前兩個(gè)公因子。
為了使因子負(fù)載便于解釋,決定各分指標(biāo)歸屬哪個(gè)因子,需要對(duì)因子負(fù)載矩陣進(jìn)行旋轉(zhuǎn),通過方差最大旋轉(zhuǎn)可以得到因子載荷矩陣(見表6)。因子載荷反映了各分項(xiàng)指標(biāo)對(duì)該概念的貢獻(xiàn), 因子載荷值越大說明與該概念的關(guān)系越密切。對(duì)于因子1,分評(píng)3(基礎(chǔ)知識(shí)及科研能力)、分評(píng)4(規(guī)范性)貢獻(xiàn)明顯高于分評(píng)1、2,所以,因子1體現(xiàn)出了“科研能力”的概念;對(duì)于因子2,分評(píng)1(選題)和分評(píng)2(創(chuàng)新性及論文價(jià)值)貢獻(xiàn)明顯高于分評(píng)3與分評(píng)4,所以,因子2體現(xiàn)出了“創(chuàng)新性”概念。
表6 因子載荷矩陣
因子1解釋了方差1.6293549,因子2解釋了方差1.5907375。因此,兩個(gè)公因子對(duì)4個(gè)變量的方差累計(jì)解釋達(dá)到3.22(見表7),其累計(jì)貢獻(xiàn)率能達(dá)到80.5%。
從《條例》第六條博士學(xué)位授予的標(biāo)準(zhǔn)分析可見,三條標(biāo)準(zhǔn)之間存在著遞進(jìn)的邏輯關(guān)系,只有“(一)在本門學(xué)科上掌握?qǐng)?jiān)實(shí)寬廣的基礎(chǔ)理論和系統(tǒng)深入的專門知識(shí)”,才可能“(二)具有獨(dú)立從事科學(xué)研究工作的能力”,進(jìn)一步才可能“(三)在科學(xué)或?qū)iT技術(shù)上做出創(chuàng)造性的成果”。即博士學(xué)位授予標(biāo)準(zhǔn)的核心就是“科研能力+創(chuàng)造性”。
表7 兩個(gè)因子對(duì)4個(gè)變量的方差解釋
由因子分析可見,來自相同概念“科研能力”的2個(gè)分項(xiàng)指標(biāo)“基礎(chǔ)知識(shí)和科研能力”“規(guī)范性”評(píng)審結(jié)果集中在因子1里;來自相同概念“創(chuàng)新性”的2個(gè)分項(xiàng)指標(biāo)“選題”“創(chuàng)新性和論文價(jià)值”的評(píng)審結(jié)果集中在因子2里。這個(gè)結(jié)果與內(nèi)容效度的邏輯分析結(jié)果也是完全吻合的。即博士學(xué)位論文評(píng)審指標(biāo)體系的內(nèi)涵能夠很好地衡量到《條例》第六條博士學(xué)位授予標(biāo)準(zhǔn),結(jié)構(gòu)效度良好。
博士學(xué)位論文評(píng)審結(jié)果是授予博士學(xué)位的終結(jié)性依據(jù)。而科學(xué)完善的評(píng)審指標(biāo)體系是保證評(píng)審結(jié)果真實(shí)地反映博士學(xué)位論文質(zhì)量和水平的基礎(chǔ)和前提。信度和效度分析是驗(yàn)證指標(biāo)體系精確性和可靠性的重要方法,只有經(jīng)過評(píng)估證明可信度和有效度高的指標(biāo)體系才具有公信力和生命力。利用北京師范大學(xué)5年博士學(xué)位論文評(píng)審結(jié)果分析博士學(xué)位論文評(píng)審指標(biāo)體系的信度和效度,結(jié)果表明,目前用于博士學(xué)位論文評(píng)審的評(píng)價(jià)指標(biāo)體系具有良好的信度和效度,可以采納并被廣泛推廣。
致謝:感謝北京師范大學(xué)統(tǒng)計(jì)學(xué)院張淑梅教授的指導(dǎo)。
注釋:
①見:《北京師范大學(xué)博士論文評(píng)閱書》