PISA2015試測在廣東抽樣的實(shí)踐與啟示

許世紅 張偉民

PISA2015試測在廣東抽樣的實(shí)踐與啟示

許世紅 張偉民

廣東省在首次參加PISA研究、進(jìn)行2014年試測抽樣的過程中，通過明確抽樣范圍和抽樣流程、摸查PISA學(xué)生分布的基本信息、完成學(xué)校抽樣和學(xué)生抽樣任務(wù)，對進(jìn)一步做好該項(xiàng)研究提出意見和建議。

PISA；試測；抽樣；啟示

PISA是國際上頗具影響力的大規(guī)模教育評價(jià)項(xiàng)目，其測評對象是15歲在校學(xué)生，測評目標(biāo)是了解在終身學(xué)習(xí)的背景下，年青一代在閱讀、數(shù)學(xué)、科學(xué)等領(lǐng)域面向未來生活的知識和技能的準(zhǔn)備程度。自2000年誕生以來，每三年開展一次的PISA已經(jīng)進(jìn)行了五次測評。中國上海參加了PISA2009和PISA2012，由于表現(xiàn)突出，測試結(jié)果在國際上引起廣泛關(guān)注。

PISA2015自2013年啟動到2016年發(fā)布測評結(jié)果，將持續(xù)4年。為更好地組織這項(xiàng)研究，教育部成立PISA2015國家中心（設(shè)在教育部考試中心，以下簡稱“國家中心”）。在國家中心的部署下，于2014年4月中旬實(shí)施了PISA2015試測。

廣東省是第一次參加PISA，省教育廳對此高度重視，成立了以分管基礎(chǔ)教育的副廳長掛帥、相關(guān)處室（部門）主要負(fù)責(zé)人為成員的測試工作領(lǐng)導(dǎo)小組，統(tǒng)籌解決測試工作的重大問題；領(lǐng)導(dǎo)小組下設(shè)實(shí)施小組，負(fù)責(zé)測試組織實(shí)施的具體工作。工作推進(jìn)過程中，堅(jiān)持方法、技術(shù)與相關(guān)要求科學(xué)規(guī)范的原則。通過開展試測抽樣工作，廣東省現(xiàn)有教育信息平臺接受了全面檢核，教育統(tǒng)計(jì)與測評研究人員也得到極大鍛煉。

1 PISA2015試測的抽樣范圍和抽樣流程

為了確保PISA結(jié)果能夠反映出參與國（地區(qū)）15歲學(xué)生的能力，不僅學(xué)生樣本的規(guī)模和參與率都有嚴(yán)格標(biāo)準(zhǔn)，而且測試工具和組織工作也必須經(jīng)過試測檢驗(yàn)。PISA2015試測的主要目的有四個：一是評估PISA前幾輪測試之間以及PISA2015兩種模式（計(jì)算機(jī)測試模式與紙筆測試模式）之間的題目參數(shù)不變性；二是獲得新科學(xué)素養(yǎng)、財(cái)經(jīng)素養(yǎng)和協(xié)作問題解決的初始題目參數(shù)；三是評估抽樣和測試的操作實(shí)施情況；四是評估新計(jì)算機(jī)平臺在參與國內(nèi)部和各參與國之間的功能是否良好。

1.1 抽樣范圍

根據(jù)PISA要求，只要有15歲3個月到16歲2個月在校學(xué)生的各類教育機(jī)構(gòu)都必須納入PISA抽樣范圍（抽樣框）。其中，各類教育機(jī)構(gòu)是指單軌、雙軌或者多軌系統(tǒng)下的所有全日制、半日制，職業(yè)、特殊、普通等類別，分年級或者不分年級教學(xué)，公辦或民辦等各類性質(zhì)的所有學(xué)校。目前國情下，需要特別說明的是，不論學(xué)校是否屬于當(dāng)?shù)亟逃姓块T直接管理，都應(yīng)該列入抽樣框。一般來講，特殊教育學(xué)校以及隨班就讀的殘疾兒童（無法正常參加PI?SA）不參加抽樣，為了節(jié)省成本，一些特別邊遠(yuǎn)的小學(xué)校也可以從最后的抽樣范圍中排除；但是，最后所有排除在抽樣范圍外的學(xué)生總數(shù)不可以超過15歲在校學(xué)生總數(shù)的5%。

國家中心最后確定，我國試測時間安排在2014年3月28日至4月15日之間的某天，抽樣對象為1998年1月至12月出生、國內(nèi)各類教育機(jī)構(gòu)上學(xué)、7年級至12年級、國籍為中國、全日制或者非全日制的所有學(xué)生。

1.2 抽樣流程

根據(jù)國際統(tǒng)一要求，為了保證有效達(dá)成試測目標(biāo)，國家中心制定了試測抽樣工作流程時間表（見表1），以指導(dǎo)和協(xié)調(diào)5省（市）共同完成抽樣任務(wù)。

表1 PISA試測抽樣工作流程時間表

2 PISA2015試測抽樣實(shí)施

為了確保試測抽樣的科學(xué)性、典型性和代表性，廣東省的試測抽樣的實(shí)施分三階段進(jìn)行。第一階段是摸查基本信息，首先統(tǒng)計(jì)廣東省符合PISA條件的學(xué)生在不同類型學(xué)校中分布情況、分年級分布情況、符合PISA條件的學(xué)生人數(shù)規(guī)模達(dá)到92人以上的各類學(xué)校的數(shù)量，再明確試測需要排除的情況，并說明排除原因。第二階段是學(xué)校抽樣，先將廣東省含有PISA學(xué)生的學(xué)校根據(jù)確定的分層變量進(jìn)行分類，然后按照PISA學(xué)生的規(guī)模排序，結(jié)合珠三角、粵東、粵西、粵北等區(qū)域，進(jìn)行樣本學(xué)校和替補(bǔ)學(xué)校抽樣，并根據(jù)分層要求對樣本學(xué)校和替補(bǔ)學(xué)校的抽樣結(jié)果進(jìn)行檢驗(yàn)。第三階段是學(xué)生和教師抽樣，國家中心采用國際專用抽樣軟件在樣本學(xué)校中隨機(jī)抽取學(xué)生樣本和教師樣本。

2.1 基本信息摸查

根據(jù)OECD抽樣承包商2013年7月15日公布的試測抽樣統(tǒng)計(jì)表（見表2），依照廣東省教育信息平臺2012學(xué)年度的相關(guān)數(shù)據(jù)，測試工作組統(tǒng)計(jì)并填寫廣東省各學(xué)校2012學(xué)年在10個分類變量下不同類別學(xué)校中15歲學(xué)生數(shù)占全省15歲學(xué)生總數(shù)的百分比。其中，在每一個分類變量下，各類別15歲學(xué)生百分比之和為100%。需要指出的是，廣東省教育信息平臺2012學(xué)年度的15歲學(xué)生并非嚴(yán)格意義上的PISA學(xué)生，但可用于估算PISA學(xué)生的分布狀況。由于管理體制問題，廣東省教育信息平臺不包含技工學(xué)校數(shù)據(jù)，因此在涉及技工學(xué)校時先采用類比中職學(xué)校PISA學(xué)生數(shù)的方式估算技工學(xué)校各個分類變量中的15歲學(xué)生數(shù)，來完成表格填寫任務(wù)。另外，對于分類變量“符合PISA條件的學(xué)校規(guī)?！?，廣東省少于3名PISA學(xué)生的各類學(xué)校中的PISA學(xué)生數(shù)占PISA學(xué)生總數(shù)的0.005%，但少于3名PISA學(xué)生的各類學(xué)校數(shù)占所有含PISA學(xué)生的學(xué)?？倲?shù)的15.86%（不含技工學(xué)校信息）；一方面，0.005%說明學(xué)校抽樣時可以剔除少于3名PISA學(xué)生的各類學(xué)校；另一方面，15.86%說明這類學(xué)校分布較廣，不容忽視；用怎樣的數(shù)據(jù)呈現(xiàn)形式更客觀準(zhǔn)確地反映PISA學(xué)生和PISA學(xué)生所在學(xué)校之間的關(guān)系，有待進(jìn)一步探討。

在進(jìn)行PISA學(xué)生所在學(xué)校的分布情況的摸查過程中，不僅需要了解PISA學(xué)生在7年級至12年級的分布情況（見表3），還需要了解PISA學(xué)生不少于92人的學(xué)校分布情況（見表4）。廣東省2012學(xué)年度共有243所技工學(xué)校，其中絕大多數(shù)學(xué)校都包含PISA學(xué)生，PISA后續(xù)的研究工作不能僅僅借助估算完成。因此，測試工作組積極聯(lián)系廣東省人力資源與保障廳，取得其技工教育處的支持，完成了表3～表5的填寫（不含特殊教育學(xué)校信息）。

廣東省PISA學(xué)生不足92人的學(xué)校僅占含PISA學(xué)生的學(xué)?？倲?shù)的4.06%，在試測階段可以排除，不作為抽樣對象。PISA 2015中國選擇漢語作為測試語言，而廣東省7年級至12年級的課程以非漢語為授課語言的學(xué)生占極少數(shù)，因此，這類學(xué)生可以排除，不作為抽樣對象。另外，廣東省特殊教育學(xué)校（主要包括智障生、聽障生、視障生等）缺少分年齡統(tǒng)計(jì)的學(xué)生數(shù)據(jù)，以初二至高一的在校生數(shù)來估算15歲學(xué)生數(shù)①鑒于PISA學(xué)生主要分布在初三、高一，而特殊教育學(xué)校學(xué)生普遍年齡略大，因此我們以初二至高一的學(xué)生數(shù)來估算15歲學(xué)生數(shù)。，僅占PISA學(xué)生總數(shù)的0.05%，因此，這類學(xué)生可以排除，不作為抽樣對象。

2.2 學(xué)校抽樣

為了保證抽樣的典型性和代表性，PISA抽樣先采用外顯分層和內(nèi)隱分層兩個維度確定抽樣分層變量（廣東省試測抽樣分層變量情況見表4），然后依據(jù)外顯分層變量將符合條件的學(xué)校進(jìn)行整群分類，再在各個類別中按照內(nèi)隱分層變量進(jìn)行學(xué)校抽樣。

測試工作組根據(jù)外顯分層變量先統(tǒng)計(jì)出PISA學(xué)生人數(shù)不小于92人的12類學(xué)校數(shù)目（見表5）。根據(jù)PISA要求，試測階段至少抽取25所樣本學(xué)校，廣東省最終確定抽取26所樣本學(xué)校。由于每個外顯分層變量都是一個獨(dú)立的抽樣范圍，因此根據(jù)12類學(xué)校占學(xué)?？倲?shù)目的比例確定各個類別試測學(xué)校的樣本數(shù)量。

在確定了12個類別試測學(xué)校的樣本數(shù)量后，再考慮內(nèi)隱分層變量的要求共抽取26所樣本學(xué)校和26所匹配的替補(bǔ)學(xué)校。具體抽樣時，22所普通初高中的樣本學(xué)校（和替補(bǔ)學(xué)校）覆蓋21個地級以上市，全部樣本學(xué)校（和替補(bǔ)學(xué)校）涵蓋4個內(nèi)隱分層變量的相關(guān)類別，以確保樣本學(xué)校（和替補(bǔ)學(xué)校）的典型性和代表性。

2.3 學(xué)生和教師抽樣

試測階段，PISA學(xué)生抽樣不是從PISA學(xué)生總體中直接抽取，而是綜合采用了多階段抽樣、整群抽樣、等距抽樣和分層抽樣等多種方法。抽樣時，首先確定第一階段的抽樣單元是學(xué)校；然后將學(xué)校分成12個大類，根據(jù)樣本數(shù)量以學(xué)校為集合單位分別在12個大類中整群抽?。粚W(xué)校入樣后，根據(jù)樣本容量（92名PISA學(xué)生，10名科學(xué)學(xué)科教師，15名其他學(xué)科教師）的要求和PISA學(xué)生年級分布情況確定抽樣間距，隨機(jī)確定起點(diǎn)，每隔一定的間距抽取一個樣本，共抽取2 392名PISA學(xué)生和650名教師，完成抽樣任務(wù)。

表2 廣東省2012學(xué)年P(guān)ISA學(xué)生分布情況初步統(tǒng)計(jì)表

表3 廣東省2012學(xué)年P(guān)ISA學(xué)生的年級分布情況表

表4 廣東省試測抽樣分層變量表

表5 廣東省PISA大學(xué)校分布與抽樣要求統(tǒng)計(jì)表

3 廣東PISA2015試測抽樣遇到的主要問題

廣東省首次參加PISA，許多工作邊學(xué)習(xí)、邊摸索、邊完善?？傮w而言，廣東省在根據(jù)PISA技術(shù)規(guī)范完成試測抽樣任務(wù)的過程中，主要存在著部分PI?SA信息的統(tǒng)計(jì)內(nèi)容、統(tǒng)計(jì)標(biāo)準(zhǔn)和統(tǒng)計(jì)要求與我國現(xiàn)行的教育統(tǒng)計(jì)不一致，導(dǎo)致現(xiàn)有教育統(tǒng)計(jì)成果無法充分利用，需要根據(jù)PISA的要求重新設(shè)計(jì)，再進(jìn)行統(tǒng)計(jì)、分析與整理。

例如，關(guān)于PISA學(xué)生的年齡統(tǒng)計(jì)口徑。根據(jù)試測要求，參加2014年P(guān)ISA2015試測的學(xué)生是在1998年1月至12月期間出生（簡稱PISA學(xué)生）。抽樣前，需要摸查PISA學(xué)生在全省分布狀況的各種基本信息。而現(xiàn)有的教育統(tǒng)計(jì)信息，學(xué)生年齡是按入學(xué)時點(diǎn)統(tǒng)計(jì)，即統(tǒng)計(jì)當(dāng)年9月至次年8月期間出生的學(xué)生。

又如，關(guān)于包含PISA學(xué)生的學(xué)校分類標(biāo)準(zhǔn)。PISA要求分為職業(yè)初中、技工學(xué)校、農(nóng)業(yè)學(xué)校、其他職業(yè)學(xué)校、普通學(xué)校、混合學(xué)校共6個類別，但目前的教育統(tǒng)計(jì)未將農(nóng)業(yè)學(xué)校作為中職學(xué)校的單獨(dú)類別進(jìn)行統(tǒng)計(jì)。而在以學(xué)生國籍為主導(dǎo)的學(xué)校分類中，PISA要求分為本國學(xué)生主導(dǎo)的學(xué)校、國際學(xué)生主導(dǎo)的學(xué)校、混合學(xué)校共3個類別，目前也沒有這個統(tǒng)計(jì)口徑。另外，在以科學(xué)課程教學(xué)語言為主導(dǎo)的學(xué)校分類中，包含PISA學(xué)生的學(xué)校被分為母語教學(xué)學(xué)校、小語種教學(xué)的國內(nèi)學(xué)校、小語種教學(xué)的國際學(xué)校、雙語教學(xué)學(xué)校、浸入式語言教學(xué)學(xué)校、混合學(xué)校共6個類別，這個統(tǒng)計(jì)口徑也缺乏。

再如，關(guān)于任教科學(xué)學(xué)科的教師問題。在PI?SA2015測試框架中，“科學(xué)”包括以單獨(dú)的學(xué)科授課或以“綜合科學(xué)”的名義教授的物理、化學(xué)、生物、地理科學(xué)、空間科學(xué)或天文學(xué)以及應(yīng)用科學(xué)與技術(shù)等課程，但不包括數(shù)學(xué)、心理學(xué)、經(jīng)濟(jì)學(xué)或地理課程中的地球科學(xué)等相關(guān)科目，而中職學(xué)校和技工學(xué)校的課程開設(shè)與普通初高中的課程開設(shè)方式不同，導(dǎo)致他們在上報(bào)任教科學(xué)學(xué)科的教師數(shù)時出現(xiàn)標(biāo)準(zhǔn)不一致現(xiàn)象。

4 廣東省參加PISA2015試測抽樣工作的體會和啟示

4.1 做好PISA有關(guān)工作，有利于提升廣東省基礎(chǔ)教育乃至教育事業(yè)整體發(fā)展水平

在當(dāng)前統(tǒng)籌國際謀合作、國內(nèi)謀發(fā)展的格局下，各地必須沿著繼續(xù)擴(kuò)大教育開放、深化教育改革、加快教育發(fā)展、促進(jìn)教育質(zhì)量提高的思路前進(jìn)。參加PISA，能有效地加強(qiáng)橫向交流合作和自身縱向比較，發(fā)揮測評診斷功能，將在教育改革與發(fā)展某些方面贏得先機(jī)，爭取主動權(quán)。

PISA提供的評價(jià)結(jié)果，不只是簡單的成績排序，它還向各參與方提供詳盡的分析報(bào)告，內(nèi)容涉及學(xué)生成績與性別、學(xué)習(xí)態(tài)度和興趣、家庭背景、學(xué)校人力物力投入等的關(guān)系。通過PISA，可以了解廣東省教育質(zhì)量的現(xiàn)狀、存在的深層次問題及其原因，為政策、決策的修訂和完善提供依據(jù)；通過對教育質(zhì)量做出的深入分析和準(zhǔn)確判斷，對整體的教育質(zhì)量做出評判，對未來的趨勢做出預(yù)測，引導(dǎo)各級政府和決策部門把教育資源和學(xué)校工作的重點(diǎn)集中到強(qiáng)化教育關(guān)鍵、提高教育質(zhì)量上來，對政策的執(zhí)行進(jìn)行調(diào)整。同時，通過PISA，引進(jìn)先進(jìn)的教育質(zhì)量觀念，為政府評價(jià)學(xué)校的教育質(zhì)量提供科學(xué)標(biāo)準(zhǔn)，切實(shí)改變違背素質(zhì)教育要求的評價(jià)學(xué)校質(zhì)量的觀念和做法。

通過參加PISA，既能對廣東省現(xiàn)有的教育信息平臺進(jìn)行全面檢核，又培養(yǎng)了教育測評專業(yè)隊(duì)伍，還能對廣東省組織開展的各級各類教育質(zhì)量監(jiān)測工作提供有益借鑒。

4.2 做好PISA有關(guān)工作，必須加強(qiáng)組織領(lǐng)導(dǎo)和學(xué)習(xí)交流

PISA是一項(xiàng)系統(tǒng)性強(qiáng)、復(fù)雜度高、工作量大、時間跨度長的國家級重大工程。做好此項(xiàng)工作，一是必須積極主動與國家中心進(jìn)行溝通聯(lián)系，在其統(tǒng)籌部署和指導(dǎo)下開展有關(guān)工作。二是必須成立省級層面的專項(xiàng)工作領(lǐng)導(dǎo)小組和工作小組，由省政府分管省領(lǐng)導(dǎo)或省教育行政部門主要負(fù)責(zé)人擔(dān)任領(lǐng)導(dǎo)小組組長，省直有關(guān)部門和省教育行政部門有關(guān)職能機(jī)構(gòu)負(fù)責(zé)人擔(dān)任成員。領(lǐng)導(dǎo)小組負(fù)責(zé)統(tǒng)籌協(xié)調(diào)解決測試工作中的重大問題，建立完善工作機(jī)制，落實(shí)工作經(jīng)費(fèi)。工作小組由省教育行政部門有關(guān)職能機(jī)構(gòu)牽頭，各地市教育行政部門參與，負(fù)責(zé)測試工作的具體組織實(shí)施。三是必須積極主動地和有PISA實(shí)施經(jīng)驗(yàn)的兄弟省市加強(qiáng)聯(lián)系，向他們虛心求教，獲取他們的寶貴經(jīng)驗(yàn)，共同探討和解決測試工作中出現(xiàn)的問題和困難。

4.3 做好PISA有關(guān)工作，必須根據(jù)PISA統(tǒng)計(jì)規(guī)范完善有關(guān)教育統(tǒng)計(jì)信息

PISA被喻為“教育界的世界杯”，其指標(biāo)已經(jīng)過五輪測試實(shí)踐檢驗(yàn)，具有較強(qiáng)的科學(xué)性。為使我國的測試結(jié)果盡量減少誤差，建議國家中心協(xié)商教育部有關(guān)司局，在我國現(xiàn)有的教育信息的統(tǒng)計(jì)內(nèi)容、統(tǒng)計(jì)標(biāo)準(zhǔn)和統(tǒng)計(jì)要求上，與PISA充分結(jié)合起來，按照PISA規(guī)范增補(bǔ)相關(guān)統(tǒng)計(jì)指標(biāo)，明確統(tǒng)計(jì)要求，指導(dǎo)各參測省（市）抓緊完善相關(guān)信息，以便更好地推進(jìn)PISA2015的進(jìn)行。

[1]陸璟.PISA測評的理論和實(shí)踐[M].上海：華東師范大學(xué)出版社，2013，5：48-51.

[2]王蕾，景安磊.我們從PISA學(xué)到了什么——基于PISA中國試測的研究[J].北京大學(xué)教育評論，2013（1）：172-180.

[3]任春榮.PISA抽樣方法的理論與實(shí)踐——以PISA2006中國試測研究為例[J].統(tǒng)計(jì)教育，2007（11）：11-14.

（責(zé)任編輯 吳四伍）

Sampling and Enlightenment of PISA2015 Field Trial in Guangdong Province

XU Shihong and ZHANG Weimin

Guangdong Province participates in PISA for the first time.During 2014 Field Trial,we understand the sampling range and sampling process firstly,count the basic information on PISA students distribution secondly,and complete the sampling of PISA schools and students finally.After fulfilling the sampling tasks,We put forward some reasonable proposals to perfect this research work.

PISA;Field Trial;Sampling;Enlightenment

G405

A

1005-8427(2014)09-0058-7

本文系國家教育體制改革領(lǐng)導(dǎo)小組研究項(xiàng)目“研提OECD組織PISA測試項(xiàng)目經(jīng)驗(yàn)啟示”的研究成果之一。

許世紅，女，廣東省教育研究院教育評估室，博士（廣州 510035）

張偉民，男，廣東省教育研究院教育評估室，主任（廣州 510035）