讓數(shù)據(jù)說話：教育質(zhì)量評價的重慶經(jīng)驗

何懷金 龔春燕 盧錦運 田海林 馮友余

教育質(zhì)量評價的關(guān)鍵在于綜合運用心理學(xué)、管理學(xué)、測量學(xué)、統(tǒng)計學(xué)、系統(tǒng)論、行為科學(xué)和計算機技術(shù)等多學(xué)科原理與方法，實施精確的測量。以大數(shù)據(jù)技術(shù)、“互聯(lián)網(wǎng)+技術(shù)”為核心的現(xiàn)代教育測評、統(tǒng)計分析及數(shù)據(jù)挖掘等技術(shù)手段的發(fā)展，促進教育質(zhì)量評價從經(jīng)驗式、粗放式、單一手段、定性思維、唯分?jǐn)?shù)、片面式的評價，轉(zhuǎn)變?yōu)榛诖髷?shù)據(jù)的精細化、科學(xué)化、全面客觀的評價，是當(dāng)前教育質(zhì)量評價最前沿的課題。

監(jiān)測與評估并重并舉，用數(shù)據(jù)說話

重慶市教育評估院自2009年成立以來，在教育部基礎(chǔ)教育質(zhì)量監(jiān)測中心指導(dǎo)下，一直致力于教育質(zhì)量監(jiān)測的理論、技術(shù)、方式、方法的研究，秉承“尺正明信”的院訓(xùn)，將現(xiàn)代測評理論技術(shù)與互聯(lián)網(wǎng)技術(shù)深度融合，建立了較為全面、科學(xué)、真實的教育質(zhì)量數(shù)據(jù)庫，精準(zhǔn)服務(wù)于教育行政決策、教育管理及教育科研，初步構(gòu)建了重慶現(xiàn)代化教育質(zhì)量評價體系。

一是機制上，創(chuàng)造性地將監(jiān)測與評估有機結(jié)合。重慶市教育評估院先后設(shè)立“市基礎(chǔ)教育質(zhì)量監(jiān)測中心、市家庭教育監(jiān)測中心及數(shù)據(jù)分析中心”等12個部門，沿著教育“管辦評”分離的改革思路，始終堅持監(jiān)測與評估并重并舉、協(xié)調(diào)發(fā)展互為支撐的理念，將“監(jiān)測”和“評估”兩大職能有機結(jié)合在一起，走“評估基于監(jiān)測，監(jiān)測為評估提供依據(jù)，堅持質(zhì)性評價與量化評價相結(jié)合”的道路，以監(jiān)測支撐評估，以評估促進監(jiān)測。

二是實踐上，始終堅持讓數(shù)據(jù)說話的價值追求。8年的教育質(zhì)量監(jiān)測與評估實踐，始終堅持“監(jiān)測是事實判斷、評估是價值判斷”的理念，始終踐行“數(shù)據(jù)革新教育評估”的價值追求，逐步建立涵蓋基礎(chǔ)教育、職成教育、高等教育及學(xué)前教育、家庭教育等領(lǐng)域的全市教育監(jiān)測評估大數(shù)據(jù)庫。通過對數(shù)據(jù)庫中“死數(shù)據(jù)”不斷進行專業(yè)挖掘和科學(xué)分析，形成服務(wù)教育改革發(fā)展的決策咨詢報告，讓“死數(shù)據(jù)”變成“活數(shù)據(jù)”“有用的數(shù)據(jù)”，實現(xiàn)了用數(shù)據(jù)說話、讓數(shù)據(jù)發(fā)聲的價值追求。

突破教育質(zhì)量評價的技術(shù)瓶頸

現(xiàn)代教育測評技術(shù)正以前所來有的速度改變著人們的質(zhì)量觀、評價觀，顛覆著傳統(tǒng)的教育質(zhì)量評價，PISA、TIMSS等國際著名的評價項目正是用新的質(zhì)量觀評價世界各國的教育質(zhì)量，受到廣泛認(rèn)同。

2010年，重慶市在全國率先組織開展省級基礎(chǔ)教育質(zhì)量監(jiān)測以來，攻克了工具構(gòu)造、數(shù)據(jù)分析等若干關(guān)鍵技術(shù)，先后研發(fā)了抽樣平臺、自動打印平臺、掃描平臺、題庫平臺、數(shù)據(jù)清理平臺、報告自動生成平臺等10余個軟件系統(tǒng)，在實踐中體現(xiàn)了科學(xué)性、專業(yè)性。

一是通過不完全平衡矩陣抽樣技術(shù)突破測試時間限制，構(gòu)建與課程標(biāo)準(zhǔn)一致的雙向細目，在考查內(nèi)容上進行抽樣，產(chǎn)生多份內(nèi)容各不相同的測試工具（試卷），通過專業(yè)設(shè)計，測試學(xué)生只需作答一份試卷，但整個評價結(jié)論卻建立在全部試卷所覆蓋的全部考查內(nèi)容之上，有效覆蓋了測評內(nèi)容，保證了測試的信效度。

二是通過工具標(biāo)準(zhǔn)化研制流程，規(guī)范測評工具命制程序，通過命制、嚴(yán)格篩選、多次試測、統(tǒng)計分析，防止測評內(nèi)容對不同教材、文化、民族、性別、生活地域的歧視，避免試題禁錮學(xué)生的思維方式，抑制學(xué)生的創(chuàng)新性思維，保證測試內(nèi)容、試題難度與課程標(biāo)準(zhǔn)一致，保證測評工具的科學(xué)性。研制出涵蓋學(xué)前、義務(wù)、普高及教師教育、家庭教育等8類百余套教育教學(xué)質(zhì)量評價工具，尤其是研制出小學(xué)語文、數(shù)學(xué)、英語、科學(xué)和初中語文、數(shù)學(xué)、英語、科學(xué)學(xué)科工具，測試信度較高。2016年以來，我們還與世界經(jīng)合組織（OECD）進行戰(zhàn)略合作，開展PISA工具的中國化、本土化實踐研究，完成7套PISA For School專業(yè)工具、2類專業(yè)調(diào)查問卷。

三是采用現(xiàn)代教育測量理論使測試結(jié)果成為客觀等距量尺，采用IRT項目反應(yīng)理論合成分?jǐn)?shù)，稱之為“量尺”分?jǐn)?shù)，并將學(xué)生能力分為7級或4級水平。這體現(xiàn)了與傳統(tǒng)考試分?jǐn)?shù)的區(qū)別，著眼于把測驗數(shù)據(jù)構(gòu)建成客觀等距量尺，使其性質(zhì)更接近于物理測量，增強了結(jié)果的科學(xué)性和可靠性。

四是采用與測量模型相適配的測驗等值技術(shù)，通過標(biāo)準(zhǔn)化施測，克服題目曝光等獨特的技術(shù)困難，實現(xiàn)全市基礎(chǔ)教育質(zhì)量監(jiān)測的標(biāo)準(zhǔn)化測試，可跨越年度進行發(fā)展變化和趨勢比較。時間和周期上，采取周期性與常態(tài)化監(jiān)測結(jié)合的方式。

五是通過常態(tài)監(jiān)測對學(xué)生德智體美社會實踐各方面的發(fā)展?fàn)顩r進行測查，收集學(xué)生和學(xué)校的背景信息，如學(xué)校狀況、教師教學(xué)、家庭環(huán)境和政府投入等影響學(xué)生表現(xiàn)和學(xué)業(yè)質(zhì)量的諸多因素。不僅針對不同階段學(xué)生，全面監(jiān)測學(xué)生的身心健康發(fā)展?fàn)顩r、學(xué)業(yè)發(fā)展?fàn)顩r、學(xué)業(yè)負(fù)擔(dān)狀況、興趣特長狀況、行為習(xí)慣狀況及影響因素，也要關(guān)注影響學(xué)生發(fā)展的背景因素，如校際均衡發(fā)展、學(xué)生的社會經(jīng)濟文化地位、學(xué)校的可支配資源、區(qū)域教育均衡以及家庭、學(xué)校、教師和社會對學(xué)生成長的影響，找出影響學(xué)生發(fā)展的重要因子。

創(chuàng)新教育質(zhì)量評價的方法、手段

“互聯(lián)網(wǎng)+”教育不僅改變了傳統(tǒng)的教育教學(xué)模式，也革新了教育質(zhì)量評價的方式和手段。

一是互聯(lián)網(wǎng)技術(shù)、數(shù)據(jù)庫技術(shù)的發(fā)展，實現(xiàn)了通過上報數(shù)據(jù)、查看數(shù)據(jù)、修改數(shù)據(jù)、公示數(shù)據(jù)等流程的現(xiàn)代化，將大量的基礎(chǔ)性數(shù)據(jù)（例如教師出生年月、學(xué)歷、職稱等基本情況）遠程自動采集到數(shù)據(jù)庫，在保證數(shù)據(jù)的準(zhǔn)確性、安全性和原始性的同時，對多源數(shù)據(jù)自動校正、清洗，從而構(gòu)建客觀、精確的評價基礎(chǔ)數(shù)據(jù)庫，節(jié)省了大量人力、物力和財力，打破了單一的定性評價方式，實現(xiàn)了新的定量評價渠道。

二是移動互聯(lián)技術(shù)的普及打破了參評對象單一的傳統(tǒng)模式，為家長、教師、學(xué)生、社會全員參與評價提供了全新的手段和方式，以重慶2016年實施的全市基礎(chǔ)教育質(zhì)量監(jiān)測為例，通過微信、手機APP、萬維網(wǎng)等多種方式，實現(xiàn)了5萬余名分布在全國各地的家長以及5萬余名全市教師參與監(jiān)測，得到了大量客觀真實的評價數(shù)據(jù)。

三是信息技術(shù)、智能手機等的普及應(yīng)用，與學(xué)生、家長、教師等的日常學(xué)習(xí)、生活、管理、教育教學(xué)密不可分，采集、記錄這些活動中的行為、表現(xiàn)、交流等信息，并對這些信息進行分類、提煉，構(gòu)建適當(dāng)?shù)姆治瞿Ｐ瓦M行挖掘，為實現(xiàn)全員參與的過程性評價提供了前所未有的全新方式。

四是人工智能、圖像等技術(shù)的發(fā)展，為大規(guī)模評價個體提供了新手段，在學(xué)生學(xué)科或問卷填答中，對紙質(zhì)的作答情況，通過成熟的圖像識別技術(shù)，對客觀題作答情況進行自動識別，提高了效率；在結(jié)果報告中，采用數(shù)據(jù)驅(qū)動的方式，應(yīng)用語義技術(shù)等手段，實現(xiàn)數(shù)據(jù)報告智能生成。

應(yīng)用教育大數(shù)據(jù)，打造教育質(zhì)量評價升級版

網(wǎng)絡(luò)技術(shù)、云存儲與計算技術(shù)等的發(fā)展，使得通過采集教學(xué)、學(xué)習(xí)過程中的數(shù)據(jù)（如課堂教學(xué)、考試測評、家?；拥龋⒖茖W(xué)研究中的數(shù)據(jù)（如論文發(fā)表、科研獲獎等信息）、教育管理過程中的數(shù)據(jù)（如學(xué)?；拘畔ⅰ⒔處熁A(chǔ)信息、學(xué)生家庭信息等）、生活中的數(shù)據(jù)（如社會實踐、參與興趣活動等信息），構(gòu)建伴隨式教育大數(shù)據(jù)成為可能。

一是建立定期、不定期采集數(shù)據(jù)制度。通過建立定期大規(guī)模采集全市基礎(chǔ)數(shù)據(jù)、師生日常教育教學(xué)數(shù)據(jù)、多元評價主體數(shù)據(jù)、定性數(shù)據(jù)和定量數(shù)據(jù)、學(xué)生綜合素質(zhì)評價數(shù)據(jù)等制度，完善數(shù)據(jù)采集機制，不斷采集學(xué)生成長、教師教育教學(xué)、學(xué)校管理、家庭教育等各類教育信息。以高中學(xué)生綜合素質(zhì)采集平臺為例，重慶市近4年累計為高考招生錄取提供了近100萬份高中學(xué)生綜合素質(zhì)報告。

二是構(gòu)建海量、多維度教育大數(shù)據(jù)庫。重慶市每年都堅持開展教育質(zhì)量監(jiān)測，2010-2016年，開展省級基礎(chǔ)教育質(zhì)量監(jiān)測7次，2914所中小學(xué)、22萬余名中小學(xué)生、10萬余名教師（班主任）和管理干部、10萬余名家長參加，獲取了數(shù)以億計的基礎(chǔ)教育質(zhì)量數(shù)據(jù)，構(gòu)建了涉及學(xué)生、教師、家長及學(xué)校管理干部的較為完善的數(shù)據(jù)庫。

三是升級教育大數(shù)據(jù)分析、處理技術(shù)。應(yīng)用多層線性模型、數(shù)據(jù)倉庫技術(shù)、機器學(xué)習(xí)等現(xiàn)代技術(shù)，通過數(shù)據(jù)挖掘，從繁雜的教育大數(shù)據(jù)中發(fā)現(xiàn)內(nèi)在關(guān)系、診斷問題、預(yù)測發(fā)展趨勢，發(fā)揮教育大數(shù)據(jù)在提升教育質(zhì)量、促進教育公平、優(yōu)化教育資源配置、輔助教育科學(xué)決策等方面的重要作用，凸顯現(xiàn)代化的教育質(zhì)量評價，不僅是結(jié)果性評價，更是診斷性評價。

評價基于監(jiān)測，監(jiān)測形成數(shù)據(jù)，伴隨、實時、連貫、全面、真實、客觀的教育大數(shù)據(jù)，是推進教育持續(xù)發(fā)展、創(chuàng)新發(fā)展的科學(xué)力量。通過應(yīng)用現(xiàn)代教育測評技術(shù)，不斷革新教育質(zhì)量評價的理念、模式、方法和手段，通過專業(yè)的分析模型，源源不斷地存儲到教育教學(xué)規(guī)律結(jié)果信息庫中。通過專業(yè)、綜合的技術(shù)，對數(shù)據(jù)庫中“死數(shù)據(jù)”不斷進行專業(yè)挖掘和科學(xué)分析，形成服務(wù)教育改革發(fā)展的決策咨詢報告，打造教育質(zhì)量評價升級版，不斷凸顯智庫作用。

重慶市教育評估院在“數(shù)據(jù)革新教育評估”理念基礎(chǔ)上，堅持創(chuàng)新驅(qū)動發(fā)展，構(gòu)建起以“互聯(lián)網(wǎng)+”技術(shù)為核心支撐，全方位、多層次的教育評價體系。8年來，我們分維度、板塊、領(lǐng)域和功能區(qū)等提出建設(shè)性決策咨詢和診斷性服務(wù)意見，累計為重慶市教育行政管理部門提供監(jiān)測報告100余份、區(qū)縣基礎(chǔ)教育質(zhì)量監(jiān)測報告300余份、各類學(xué)校報告1000余份。精準(zhǔn)服務(wù)于教育行政決策、教育管理及教育科研，針對報告中的有關(guān)問題和建議，重慶市教育行政部門先后出臺了《重慶市義務(wù)教育學(xué)校標(biāo)準(zhǔn)（試行）》等10余個教育行政決策文件；得到了各區(qū)縣和各級各類學(xué)校教育實踐的廣泛檢驗，助推了以大數(shù)據(jù)為重要內(nèi)容的“管辦評”教育治理體系與公共服務(wù)體系建設(shè)。