多水平分析在調(diào)查問(wèn)卷結(jié)果分析中的應(yīng)用

國(guó)家醫(yī)學(xué)考試中心（100097） 楊芳麗 何 佳

多水平分析在調(diào)查問(wèn)卷結(jié)果分析中的應(yīng)用

國(guó)家醫(yī)學(xué)考試中心（100097） 楊芳麗 何 佳△

目的探討應(yīng)用兩水平分層logistic回歸模型分析調(diào)查問(wèn)卷二分類(lèi)結(jié)局變量資料的影響因素，對(duì)影響因素做出正確的評(píng)價(jià)和解釋。方法以學(xué)生的調(diào)查問(wèn)卷作為分析對(duì)象，運(yùn)用兩水平分層logistic回歸模型，擬合一系列零模型、隨機(jī)截距模型，識(shí)別學(xué)生水平和學(xué)校水平因素的影響大小。結(jié)果學(xué)生對(duì)所研究問(wèn)題的看法受到學(xué)生個(gè)體特征和學(xué)校特征的影響，學(xué)生層面中學(xué)生成績(jī)影響較大。結(jié)論多水平分析方法是處理分層嵌套數(shù)據(jù)的有用工具，利用兩水平分層logistic回歸模型可以同時(shí)探討學(xué)生層面和學(xué)校層面解釋變量對(duì)結(jié)局變量的效應(yīng)，對(duì)于分析嵌套數(shù)據(jù)結(jié)構(gòu)資料結(jié)局變量的影響因素有優(yōu)越性。

多水平分析 二分類(lèi)資料

觀察對(duì)象對(duì)事物或現(xiàn)象的看法并不是一種穩(wěn)定不變的個(gè)人特質(zhì)，會(huì)受到對(duì)所處環(huán)境感知和認(rèn)識(shí)的影響。也就是說(shuō)，在不同的環(huán)境，觀察對(duì)象有可能表現(xiàn)出不同的看法。因此，當(dāng)研究環(huán)境設(shè)定在學(xué)校，觀察學(xué)生對(duì)研究指標(biāo)的應(yīng)答，就不能忽略學(xué)校的教育教學(xué)環(huán)境影響。而這樣的數(shù)據(jù)往往具有層次性，即學(xué)生嵌套于各自的班級(jí)，班級(jí)又嵌套于不同的學(xué)校。這樣學(xué)生個(gè)體之間就不是相互獨(dú)立的，而是受到其所嵌套單位特征的影響。以往對(duì)這類(lèi)數(shù)據(jù)的分析常在個(gè)體水平或較高水平的單一水平上分別進(jìn)行數(shù)據(jù)分析，分析時(shí)忽略了數(shù)據(jù)的多層結(jié)構(gòu)。傳統(tǒng)的回歸分析假設(shè)各個(gè)觀察單位是相互獨(dú)立的，但是這不符合多層結(jié)構(gòu)數(shù)據(jù)的實(shí)際情況，因?yàn)樵诙鄬咏Y(jié)構(gòu)數(shù)據(jù)中，同一組內(nèi)的個(gè)體與其他組的個(gè)體比較有更大的相似性，各組內(nèi)的觀察單位不是相互獨(dú)立的，如果仍然使用傳統(tǒng)回歸模型進(jìn)行分析，可能出現(xiàn)錯(cuò)誤拒絕有統(tǒng)計(jì)學(xué)意義差異的真假設(shè)［1－2］；在使用較高水平的數(shù)據(jù)進(jìn)行分析時(shí)又會(huì)因?yàn)闃颖玖康臏p少，導(dǎo)致統(tǒng)計(jì)效能降低。

本文以調(diào)查問(wèn)卷的調(diào)查指標(biāo)為例，采用兩水平分層logistic回歸模型，在綜合考慮學(xué)生個(gè)體和學(xué)校層面特征影響的前提下，以定量方式探討學(xué)生個(gè)人特征和學(xué)校環(huán)境因素對(duì)調(diào)查指標(biāo)的影響。

資料來(lái)源

本文所用數(shù)據(jù)為2015年14所醫(yī)學(xué)院校臨床醫(yī)學(xué)專(zhuān)業(yè)4年級(jí)（5年制）和5年級(jí)（長(zhǎng)學(xué)制）的4396名在讀本科學(xué)生參加的國(guó)家醫(yī)學(xué)考試中心統(tǒng)一組織的臨床執(zhí)業(yè)醫(yī)師資格分階段考試實(shí)證研究考試，以及考后學(xué)生填寫(xiě)的調(diào)查問(wèn)卷。問(wèn)卷全部收回后進(jìn)行仔細(xì)甄別，剔除回答不完全的問(wèn)卷，共獲得有效問(wèn)卷3937份，有效回收率為89.56%。

研究方法

本文對(duì)數(shù)據(jù)使用MLwiN 2.02擬合兩水平分層logistic回歸模型，分析調(diào)查指標(biāo)的結(jié)局變量在不同層次間的分布，并嘗試檢驗(yàn)學(xué)生和學(xué)校不同層次變量的影響。

兩水平分層logistic回歸模型的完整公式為:

pij為調(diào)查指標(biāo)的結(jié)局變量為“是”的概率，“ij”代表第j所學(xué)校第i名學(xué)生，β0j為水平1的隨機(jī)截距，βqj是水平1的隨機(jī)斜率，γ00是結(jié)局變量選擇”是”與選擇”否”總平均概率比的自然對(duì)數(shù)值，u0j代表第j所學(xué)校的平均概率比自然對(duì)數(shù)值與總平均概率比自然對(duì)數(shù)值間的差異。βqj為學(xué)生水平解釋變量xqij的隨機(jī)效應(yīng)參數(shù)，Wsj是水平2變量。

本研究主要通過(guò)擬合一系列兩水平模型探討研究問(wèn)題。首先，利用零模型分析14所院校之間調(diào)查指標(biāo)的結(jié)果是否存在顯著差異；其次，通過(guò)一系列隨機(jī)截距模型確定哪一些學(xué)生層面和學(xué)校層面的指標(biāo)納入分析，最后，擬合出最終的模型分析學(xué)生個(gè)體變量對(duì)調(diào)查指標(biāo)的影響，以及這些影響在不同學(xué)校之間的變異。

調(diào)查問(wèn)卷共設(shè)計(jì)了20個(gè)問(wèn)題，既包含學(xué)生對(duì)考試客觀特性方面的感受和了解，如對(duì)考試難易程度的感受；也包括學(xué)生對(duì)考試的主觀性判斷，如對(duì)試題覆蓋面的理解等；還對(duì)考試前的準(zhǔn)備、感受以及考試時(shí)的感受等進(jìn)行調(diào)查。本研究采用問(wèn)卷調(diào)查結(jié)果，對(duì)四個(gè)問(wèn)題進(jìn)行分析:①對(duì)本次考試內(nèi)容是否熟悉；②本次考試所考查的內(nèi)容80%以上是否與教學(xué)重點(diǎn)內(nèi)容一致；③是否認(rèn)為本次考試試卷整體難度較大；④是否認(rèn)為使用臨床場(chǎng)景的病例型試題考查基礎(chǔ)醫(yī)學(xué)知識(shí)增加了試題難度。結(jié)局變量為學(xué)生對(duì)以上問(wèn)題的回答（1:是/0:否）。

本研究收集學(xué)生層面（即水平1）的變量有學(xué)生性別、學(xué)制、年級(jí)、所學(xué)專(zhuān)業(yè)（均為臨床醫(yī)學(xué)）、本次考試成績(jī)?cè)谌w學(xué)生中百分等級(jí)；學(xué)校層面（即水平2）的信息包括學(xué)校類(lèi)型、學(xué)校所處的地區(qū)、學(xué)校此次考試平均成績(jī)?cè)?4所院校所處位置、學(xué)校中女生比例。使用虛擬變量編碼類(lèi)別變量，其中性別中男性＝0，女性＝1；學(xué)制分為5年制、6年制、7年制和8年制，以5年制為對(duì)比組；年級(jí)中4年級(jí)＝1和5年級(jí)＝0；本次考試成績(jī)?cè)谌w學(xué)生中百分等級(jí)分為處于下25%、中間50%、上25%三種，以下25%為對(duì)比組。學(xué)校類(lèi)型分為“985/211”院校和其他本科院校；根據(jù)地理位置和經(jīng)濟(jì)發(fā)達(dá)程度把學(xué)校所處區(qū)域分為東部、中部和西部，以東部為對(duì)比組；學(xué)校此次考試平均成績(jī)?cè)?4所院校所處位置分為處于下25%、中間50%、上25%三種，以下25%為對(duì)比組。

結(jié) 果

1.描述性統(tǒng)計(jì)結(jié)果

本研究共有14所院校3937名學(xué)生，女性學(xué)生（55.80%）多于男性學(xué)生（44.20%）。以5年制學(xué)生為主，占到總?cè)藬?shù)的90.40%。學(xué)生中4年級(jí)最多，占到94.79%。14所院校中985/211院校共4所，占28.57%，其余10所院校是一般本科院校。院校分布地區(qū)在東部的最多，為8所，占總數(shù)的57.14%，中部和西部各3所。

2.零模型參數(shù)估計(jì)結(jié)果

零模型是模型分析的第一步，此模型僅有一個(gè)隨機(jī)截距而沒(méi)有任何解釋變量。是否有構(gòu)建多層模型的必要性，可以結(jié)合專(zhuān)業(yè)判斷，以及使用VPC（variance partition coefficient）進(jìn)行度量。多水平模型的組內(nèi)相關(guān)系數(shù)可以測(cè)量組內(nèi)個(gè)體是否獨(dú)立［3］。兩水平分層logistic回歸模型的VPC，因?yàn)樗?的方差依賴(lài)于模型中解釋變量的值，因此不能使用組內(nèi)相關(guān)系數(shù)來(lái)計(jì)算。本研究中采用公式估計(jì)VPC。對(duì)所分析的4個(gè)調(diào)查指標(biāo)分別擬合零模型，表1為擬合結(jié)果。從表1可知，四個(gè)調(diào)查指標(biāo)零模型的水平2方差P值均小于0.05，表明同一學(xué)校內(nèi)學(xué)生的回答情況比不同學(xué)校間學(xué)生的回答情況更為相似，各學(xué)校間學(xué)生平均回答情況有顯著差異，學(xué)校層次結(jié)構(gòu)不能忽略，因而需要采用多水平模型。4個(gè)調(diào)查指標(biāo)的 VPC值分別為 0.050、0.037、0.033、0.043，結(jié)果顯示各調(diào)查指標(biāo)平均回答情況總變異中分別有5.0%、3.7%、3.3%、4.3%來(lái)源于學(xué)校之間的差異。雖然學(xué)校層面的方差占總方差的比例不是很大，但是有研究顯示，即使是很小的組內(nèi)相關(guān)系數(shù)也可能增加犯第一類(lèi)錯(cuò)誤的概率，加之研究問(wèn)題具有明顯的層次特征，因此有必要進(jìn)行分層logistic回歸模型分析［5］。

表1 兩水平零模型參數(shù)估計(jì)結(jié)果

3.完整模型參數(shù)估計(jì)結(jié)果

在零模型分析后，擬合了一系列隨機(jī)截距模型，確定學(xué)生個(gè)體層面的哪些變量影響同一學(xué)校學(xué)生對(duì)調(diào)查指標(biāo)回答情況，哪一些變量的回歸系數(shù)在學(xué)校之間可能不同。經(jīng)過(guò)分析發(fā)現(xiàn)，學(xué)制與結(jié)局變量沒(méi)有關(guān)系，故最終模型中不納入學(xué)制。另外，與結(jié)局變量沒(méi)有關(guān)系的變量，問(wèn)題1是性別，問(wèn)題2是年級(jí)，問(wèn)題3與問(wèn)題2相同；問(wèn)題4是性別、年級(jí)，但是本研究的目的不是預(yù)測(cè)，而是觀察解釋變量對(duì)結(jié)局變量的影響，故在最終模型中納入性別、年級(jí)、成績(jī)百分等級(jí)變量。學(xué)校層面的變量中僅納入“是否985/211院?！弊兞浚瑢W(xué)校中女生比例、學(xué)校所在地區(qū)、學(xué)校此次考試成績(jī)?cè)?4所院校所處位置的類(lèi)別不納入模型。表2是最終的兩水平回歸模型結(jié)果。

由表2可知，在控制其他因素不變的情況下，對(duì)本次考試的熟悉程度方面，學(xué)生成績(jī)的回歸系數(shù)有統(tǒng)計(jì)學(xué)意義，學(xué)生成績(jī)百分等級(jí)處于上25%學(xué)生和中間50%學(xué)生分別與下25%學(xué)生相比熟悉程度的OR估計(jì)值為1.483和1.281（P＜0.05）；上25%學(xué)生比中間50%學(xué)生的熟悉度的OR值是1.157（P＞0.05）；性別和年級(jí)的回歸系數(shù)均無(wú)統(tǒng)計(jì)學(xué)意義（P＞0.05）。學(xué)校層面上，985/211院校學(xué)生比一般院校對(duì)于本次考試的熟悉度OR值為0.593，呈邊際統(tǒng)計(jì)學(xué)意義（marginally significant）（P＝0.048）。

對(duì)于本次考試所考查內(nèi)容80%以上知識(shí)點(diǎn)是否與教學(xué)重點(diǎn)內(nèi)容一致，性別和學(xué)生成績(jī)百分等級(jí)的回歸系數(shù)有統(tǒng)計(jì)學(xué)意義（P＜0.05）。女生比男生認(rèn)為一致的OR值是1.181，學(xué)生成績(jī)百分等級(jí)處于上25%的學(xué)生和中間50%的學(xué)生比下25%學(xué)生認(rèn)為一致的OR值分別是2.197和1.654、上25%的學(xué)生比中間50%學(xué)生認(rèn)為一致的OR值是1.328；年級(jí)的回歸系數(shù)均無(wú)統(tǒng)計(jì)學(xué)意義（P＞0.05）。學(xué)校層面上，學(xué)校類(lèi)別的回歸系數(shù)無(wú)統(tǒng)計(jì)學(xué)意義（P＞0.05）。

表2 最終的兩水平模型參數(shù)估計(jì)結(jié)果

關(guān)于是否認(rèn)為本次考試試卷整體難度較大方面，性別、年級(jí)的回歸系數(shù)差異沒(méi)有統(tǒng)計(jì)學(xué)意義（P＞0.05）；學(xué)生成績(jī)的回歸系數(shù)差異有統(tǒng)計(jì)學(xué)意義，學(xué)生成績(jī)百分等級(jí)處于上25%的學(xué)生和中間50%的學(xué)生比下25%學(xué)生認(rèn)為試題難度大的OR值分別是0.302和0.558，上50%學(xué)生比中間50%學(xué)生認(rèn)為試題難度大的 OR值是0.541（P＜0.05）；學(xué)校層面上，985/211院校比一般院校認(rèn)為試卷“難度大”的 OR值是1.548，呈邊際統(tǒng)計(jì)學(xué)意義（P＝0.053）。

對(duì)于是否認(rèn)為使用臨床場(chǎng)景的病例型試題考查基礎(chǔ)醫(yī)學(xué)知識(shí)增加試題難度，性別、年級(jí)的回歸系數(shù)無(wú)統(tǒng)計(jì)學(xué)意義（P＞0.05）；學(xué)生成績(jī)的回歸系數(shù)有統(tǒng)計(jì)學(xué)意義，上25%學(xué)生和中間50%學(xué)生比下25%學(xué)生認(rèn)為難度增大的 OR值分別是0.816和0.829（P＜0.05）；上25%學(xué)生比中間50%學(xué)生認(rèn)為難度增大的OR值是0.984，但是差異無(wú)統(tǒng)計(jì)學(xué)意義（P＞0.05）。學(xué)校層面上，學(xué)校類(lèi)別的回歸系數(shù)無(wú)統(tǒng)計(jì)學(xué)意義（P＞0.05）。

討 論

在擬合隨機(jī)斜率模型的過(guò)程中，斜率的方差和協(xié)方差均為零，說(shuō)明目前的數(shù)據(jù)不能很好估計(jì)解釋變量的隨機(jī)斜率，不適宜采用隨機(jī)斜率模型，因此本研究的最終模型是隨機(jī)截距模型。

本研究以實(shí)例采用兩水平分層logistic模型分析的方法，探索了學(xué)生層面和學(xué)校層面不同特征對(duì)調(diào)查指標(biāo)的影響。研究結(jié)果表明，調(diào)查指標(biāo)回答的不同主要源于學(xué)校內(nèi)部學(xué)生之間的差異，學(xué)校之間的差異較小。學(xué)生成績(jī)對(duì)調(diào)查指標(biāo)有正面影響。在控制其他變量的條件下，不同考試成績(jī)的學(xué)生在所研究問(wèn)題的回答上有顯著差異，成績(jī)?cè)胶玫膶W(xué)生對(duì)考試越熟悉，對(duì)考試難度的感知上也覺(jué)得越容易，考查知識(shí)點(diǎn)與教學(xué)重點(diǎn)內(nèi)容一致性的認(rèn)知上也更高，越不認(rèn)為采取情境型試題會(huì)增加試題難度。性別之間僅在考查知識(shí)點(diǎn)與教學(xué)重點(diǎn)內(nèi)容一致性的問(wèn)題上差異有統(tǒng)計(jì)學(xué)意義，其余三個(gè)問(wèn)題差異均無(wú)統(tǒng)計(jì)學(xué)意義。年級(jí)之間相比，問(wèn)題的回答沒(méi)有差異。不同學(xué)校類(lèi)別在四個(gè)調(diào)查指標(biāo)的看法略有不同，但是差異較小，無(wú)實(shí)際意義。本次調(diào)查中不同學(xué)校類(lèi)別之間表現(xiàn)出的差異可能與本次研究不同學(xué)校類(lèi)型在組織動(dòng)員學(xué)生參加考試的做法不同，有的學(xué)校有激勵(lì)機(jī)制、在考前對(duì)學(xué)生進(jìn)行充分的講解動(dòng)員有一定關(guān)系。

對(duì)大多數(shù)學(xué)生而言，學(xué)習(xí)態(tài)度與考試成績(jī)之間有很強(qiáng)的相關(guān)關(guān)系［6］。學(xué)習(xí)態(tài)度越正確，考試成績(jī)?cè)礁??？荚囍埃瑢W(xué)生對(duì)考試的認(rèn)知起主導(dǎo)作用，是增強(qiáng)其學(xué)習(xí)動(dòng)機(jī)的來(lái)源之一。執(zhí)業(yè)醫(yī)師法正式實(shí)施后，考取執(zhí)業(yè)醫(yī)師資格證是醫(yī)學(xué)生能否成為臨床醫(yī)師的門(mén)檻，給醫(yī)學(xué)畢業(yè)生的順利就業(yè)帶來(lái)不小的壓力，學(xué)生意識(shí)到執(zhí)業(yè)醫(yī)師資格考試對(duì)畢業(yè)后順利就業(yè)的重要意義。本次考試屬于醫(yī)師資格考試實(shí)證研究的一部分，因此，在校本科生特別是臨近畢業(yè)的學(xué)生對(duì)考試的形式、題型等有所了解。本研究中68%的4年級(jí)和5年級(jí)學(xué)生對(duì)考試內(nèi)容熟悉，高年級(jí)學(xué)生面臨畢業(yè)，因此對(duì)于考試更為熟悉，男生和女生之間的熟悉程度差異較小，沒(méi)有統(tǒng)計(jì)學(xué)意義。本次問(wèn)卷結(jié)果也印證了學(xué)生的學(xué)習(xí)態(tài)度與考試成績(jī)相關(guān)的觀點(diǎn)。

本次研究中大多數(shù)學(xué)生認(rèn)為考試內(nèi)容與教學(xué)內(nèi)容一致。70%的學(xué)生認(rèn)為本次考試考查的內(nèi)容80%以上是教學(xué)中必須掌握的重點(diǎn)內(nèi)容。學(xué)生對(duì)于試題和試卷難易度的認(rèn)識(shí)上，性別之間和年級(jí)之間的差異較小，且差異無(wú)統(tǒng)計(jì)學(xué)意義。學(xué)生的能力水平與其對(duì)考試難度的態(tài)度有一定的關(guān)系，考試成績(jī)較差的學(xué)生對(duì)試題和試卷難度持消極否定的態(tài)度?？刂屏似渌蛩睾?，相比一般院校，985/211院校的學(xué)生認(rèn)為試卷的難度較大，原因可能是本次考試兩類(lèi)學(xué)校的學(xué)生在備考方面有區(qū)別。

對(duì)基礎(chǔ)醫(yī)學(xué)知識(shí)使用臨床場(chǎng)景的病例型試題考查難度影響上，一般院校認(rèn)為增加了試題難度，原因可能是我國(guó)大部分醫(yī)學(xué)院是以基礎(chǔ)課程和臨床課程分離的教學(xué)方式為主，4年級(jí)和5年級(jí)主要是進(jìn)行臨床教學(xué)，那么這部分學(xué)生的基礎(chǔ)醫(yī)學(xué)部分的知識(shí)因?yàn)闆](méi)有及時(shí)復(fù)習(xí)而有所遺忘，如果考前沒(méi)有充分的準(zhǔn)備，必然會(huì)感到難度大，而整合課程是近年來(lái)國(guó)內(nèi)醫(yī)學(xué)院校教學(xué)改革的熱點(diǎn)方向，特別是985/211院校，在課程整合方面進(jìn)行了積極探討。中國(guó)醫(yī)科大學(xué)喬敏等以實(shí)驗(yàn)研究法對(duì)整合課程的教學(xué)效果進(jìn)行了研究，結(jié)果顯示整合課程提高了學(xué)生分析問(wèn)題和解決問(wèn)題的能力，基礎(chǔ)醫(yī)學(xué)課程的整合有助于學(xué)生學(xué)習(xí)臨床課程［7］。因此，985/211院校的學(xué)生對(duì)于基礎(chǔ)知識(shí)在臨床場(chǎng)景下的靈活運(yùn)用有優(yōu)勢(shì)。

本研究雖然取得了一些有意義的結(jié)果，但也存在有待進(jìn)一步改進(jìn)的地方:首先，本研究以學(xué)生在某個(gè)時(shí)間點(diǎn)測(cè)得的成績(jī)來(lái)考察對(duì)調(diào)查指標(biāo)的影響，可能會(huì)影響學(xué)校變量對(duì)學(xué)生影響的估計(jì)；其次，由于學(xué)校的樣本量較小，會(huì)導(dǎo)致統(tǒng)計(jì)效能減小，同時(shí)，學(xué)校一級(jí)變量的解釋能力有限，可能與數(shù)據(jù)本身有關(guān)，今后的研究應(yīng)從擴(kuò)大樣本量與增加多個(gè)時(shí)間點(diǎn)的測(cè)量、篩選學(xué)校層面的變量入手，追蹤探討學(xué)校變量的影響。

［1］Leeuw JD，Kreft I.Random coefficient models for multilevel analysis.Journal of Educational Statistics，1986，11:57-85.

［2］Snijders TAB，Bosker R.Multilevel Analysis:An Introduction to Basic and Advanced Multilevel Modeling.CA:Sage Publications，1999:20-62.

［3］王濟(jì)川，謝海義，姜寶法，著.多層統(tǒng)計(jì)分析模型——方法與應(yīng)用.高等教育出版社，2010.

［4］Rasbash J，Steele F，BrowneW，etal.A User′s Guide to MLwiN，v2.33.Centre for Multilevel Modelling，University of Bristol，2004.

［5］Barcikowski R.Statistical Power with Group Mean as the Unit of A-nalysis.Journal of Educational＆Behavioral Statistics，1980，6（6）:267-285.

［6］王振英.大學(xué)生考試態(tài)度研究.大家，2012:160.

［7］喬敏，張?jiān)?，楊澤禮，等.基礎(chǔ)醫(yī)學(xué)整合課程教學(xué)效果的實(shí)驗(yàn)性研究.醫(yī)學(xué)教育，2005（4）:26-29.

△通信作者:何佳

（責(zé)任編輯:郭海強(qiáng)）