何懷金 龔春燕 盧錦運 田海林 馮友余
教育質(zhì)量評價的關(guān)鍵在于綜合運用心理學(xué)、管理學(xué)、測量學(xué)、統(tǒng)計學(xué)、系統(tǒng)論、行為科學(xué)和計算機技術(shù)等多學(xué)科原理與方法,實施精確的測量。以大數(shù)據(jù)技術(shù)、“互聯(lián)網(wǎng)+技術(shù)”為核心的現(xiàn)代教育測評、統(tǒng)計分析及數(shù)據(jù)挖掘等技術(shù)手段的發(fā)展,促進教育質(zhì)量評價從經(jīng)驗式、粗放式、單一手段、定性思維、唯分?jǐn)?shù)、片面式的評價,轉(zhuǎn)變?yōu)榛诖髷?shù)據(jù)的精細化、科學(xué)化、全面客觀的評價,是當(dāng)前教育質(zhì)量評價最前沿的課題。
監(jiān)測與評估并重并舉,用數(shù)據(jù)說話
重慶市教育評估院自2009年成立以來,在教育部基礎(chǔ)教育質(zhì)量監(jiān)測中心指導(dǎo)下,一直致力于教育質(zhì)量監(jiān)測的理論、技術(shù)、方式、方法的研究,秉承“尺正明信”的院訓(xùn),將現(xiàn)代測評理論技術(shù)與互聯(lián)網(wǎng)技術(shù)深度融合,建立了較為全面、科學(xué)、真實的教育質(zhì)量數(shù)據(jù)庫,精準(zhǔn)服務(wù)于教育行政決策、教育管理及教育科研,初步構(gòu)建了重慶現(xiàn)代化教育質(zhì)量評價體系。
一是機制上,創(chuàng)造性地將監(jiān)測與評估有機結(jié)合。重慶市教育評估院先后設(shè)立“市基礎(chǔ)教育質(zhì)量監(jiān)測中心、市家庭教育監(jiān)測中心及數(shù)據(jù)分析中心”等12個部門,沿著教育“管辦評”分離的改革思路,始終堅持監(jiān)測與評估并重并舉、協(xié)調(diào)發(fā)展互為支撐的理念,將“監(jiān)測”和“評估”兩大職能有機結(jié)合在一起,走“評估基于監(jiān)測,監(jiān)測為評估提供依據(jù),堅持質(zhì)性評價與量化評價相結(jié)合”的道路,以監(jiān)測支撐評估,以評估促進監(jiān)測。
二是實踐上,始終堅持讓數(shù)據(jù)說話的價值追求。8年的教育質(zhì)量監(jiān)測與評估實踐,始終堅持“監(jiān)測是事實判斷、評估是價值判斷”的理念,始終踐行“數(shù)據(jù)革新教育評估”的價值追求,逐步建立涵蓋基礎(chǔ)教育、職成教育、高等教育及學(xué)前教育、家庭教育等領(lǐng)域的全市教育監(jiān)測評估大數(shù)據(jù)庫。通過對數(shù)據(jù)庫中“死數(shù)據(jù)”不斷進行專業(yè)挖掘和科學(xué)分析,形成服務(wù)教育改革發(fā)展的決策咨詢報告,讓“死數(shù)據(jù)”變成“活數(shù)據(jù)”“有用的數(shù)據(jù)”,實現(xiàn)了用數(shù)據(jù)說話、讓數(shù)據(jù)發(fā)聲的價值追求。
突破教育質(zhì)量評價的技術(shù)瓶頸
現(xiàn)代教育測評技術(shù)正以前所來有的速度改變著人們的質(zhì)量觀、評價觀,顛覆著傳統(tǒng)的教育質(zhì)量評價,PISA、TIMSS等國際著名的評價項目正是用新的質(zhì)量觀評價世界各國的教育質(zhì)量,受到廣泛認(rèn)同。
2010年,重慶市在全國率先組織開展省級基礎(chǔ)教育質(zhì)量監(jiān)測以來,攻克了工具構(gòu)造、數(shù)據(jù)分析等若干關(guān)鍵技術(shù),先后研發(fā)了抽樣平臺、自動打印平臺、掃描平臺、題庫平臺、數(shù)據(jù)清理平臺、報告自動生成平臺等10余個軟件系統(tǒng),在實踐中體現(xiàn)了科學(xué)性、專業(yè)性。
一是通過不完全平衡矩陣抽樣技術(shù)突破測試時間限制,構(gòu)建與課程標(biāo)準(zhǔn)一致的雙向細目,在考查內(nèi)容上進行抽樣,產(chǎn)生多份內(nèi)容各不相同的測試工具(試卷),通過專業(yè)設(shè)計,測試學(xué)生只需作答一份試卷,但整個評價結(jié)論卻建立在全部試卷所覆蓋的全部考查內(nèi)容之上,有效覆蓋了測評內(nèi)容,保證了測試的信效度。
二是通過工具標(biāo)準(zhǔn)化研制流程,規(guī)范測評工具命制程序,通過命制、嚴(yán)格篩選、多次試測、統(tǒng)計分析,防止測評內(nèi)容對不同教材、文化、民族、性別、生活地域的歧視,避免試題禁錮學(xué)生的思維方式,抑制學(xué)生的創(chuàng)新性思維,保證測試內(nèi)容、試題難度與課程標(biāo)準(zhǔn)一致,保證測評工具的科學(xué)性。研制出涵蓋學(xué)前、義務(wù)、普高及教師教育、家庭教育等8類百余套教育教學(xué)質(zhì)量評價工具,尤其是研制出小學(xué)語文、數(shù)學(xué)、英語、科學(xué)和初中語文、數(shù)學(xué)、英語、科學(xué)學(xué)科工具,測試信度較高。2016年以來,我們還與世界經(jīng)合組織(OECD)進行戰(zhàn)略合作,開展PISA工具的中國化、本土化實踐研究,完成7套PISA For School專業(yè)工具、2類專業(yè)調(diào)查問卷。
三是采用現(xiàn)代教育測量理論使測試結(jié)果成為客觀等距量尺,采用IRT項目反應(yīng)理論合成分?jǐn)?shù),稱之為“量尺”分?jǐn)?shù),并將學(xué)生能力分為7級或4級水平。這體現(xiàn)了與傳統(tǒng)考試分?jǐn)?shù)的區(qū)別,著眼于把測驗數(shù)據(jù)構(gòu)建成客觀等距量尺,使其性質(zhì)更接近于物理測量,增強了結(jié)果的科學(xué)性和可靠性。
四是采用與測量模型相適配的測驗等值技術(shù),通過標(biāo)準(zhǔn)化施測,克服題目曝光等獨特的技術(shù)困難,實現(xiàn)全市基礎(chǔ)教育質(zhì)量監(jiān)測的標(biāo)準(zhǔn)化測試,可跨越年度進行發(fā)展變化和趨勢比較。時間和周期上,采取周期性與常態(tài)化監(jiān)測結(jié)合的方式。
五是通過常態(tài)監(jiān)測對學(xué)生德智體美社會實踐各方面的發(fā)展?fàn)顩r進行測查,收集學(xué)生和學(xué)校的背景信息,如學(xué)校狀況、教師教學(xué)、家庭環(huán)境和政府投入等影響學(xué)生表現(xiàn)和學(xué)業(yè)質(zhì)量的諸多因素。不僅針對不同階段學(xué)生,全面監(jiān)測學(xué)生的身心健康發(fā)展?fàn)顩r、學(xué)業(yè)發(fā)展?fàn)顩r、學(xué)業(yè)負(fù)擔(dān)狀況、興趣特長狀況、行為習(xí)慣狀況及影響因素,也要關(guān)注影響學(xué)生發(fā)展的背景因素,如校際均衡發(fā)展、學(xué)生的社會經(jīng)濟文化地位、學(xué)校的可支配資源、區(qū)域教育均衡以及家庭、學(xué)校、教師和社會對學(xué)生成長的影響,找出影響學(xué)生發(fā)展的重要因子。
創(chuàng)新教育質(zhì)量評價的方法、手段
“互聯(lián)網(wǎng)+”教育不僅改變了傳統(tǒng)的教育教學(xué)模式,也革新了教育質(zhì)量評價的方式和手段。
一是互聯(lián)網(wǎng)技術(shù)、數(shù)據(jù)庫技術(shù)的發(fā)展,實現(xiàn)了通過上報數(shù)據(jù)、查看數(shù)據(jù)、修改數(shù)據(jù)、公示數(shù)據(jù)等流程的現(xiàn)代化,將大量的基礎(chǔ)性數(shù)據(jù)(例如教師出生年月、學(xué)歷、職稱等基本情況)遠程自動采集到數(shù)據(jù)庫,在保證數(shù)據(jù)的準(zhǔn)確性、安全性和原始性的同時,對多源數(shù)據(jù)自動校正、清洗,從而構(gòu)建客觀、精確的評價基礎(chǔ)數(shù)據(jù)庫,節(jié)省了大量人力、物力和財力,打破了單一的定性評價方式,實現(xiàn)了新的定量評價渠道。
二是移動互聯(lián)技術(shù)的普及打破了參評對象單一的傳統(tǒng)模式,為家長、教師、學(xué)生、社會全員參與評價提供了全新的手段和方式,以重慶2016年實施的全市基礎(chǔ)教育質(zhì)量監(jiān)測為例,通過微信、手機APP、萬維網(wǎng)等多種方式,實現(xiàn)了5萬余名分布在全國各地的家長以及5萬余名全市教師參與監(jiān)測,得到了大量客觀真實的評價數(shù)據(jù)。
三是信息技術(shù)、智能手機等的普及應(yīng)用,與學(xué)生、家長、教師等的日常學(xué)習(xí)、生活、管理、教育教學(xué)密不可分,采集、記錄這些活動中的行為、表現(xiàn)、交流等信息,并對這些信息進行分類、提煉,構(gòu)建適當(dāng)?shù)姆治瞿P瓦M行挖掘,為實現(xiàn)全員參與的過程性評價提供了前所未有的全新方式。
四是人工智能、圖像等技術(shù)的發(fā)展,為大規(guī)模評價個體提供了新手段,在學(xué)生學(xué)科或問卷填答中,對紙質(zhì)的作答情況,通過成熟的圖像識別技術(shù),對客觀題作答情況進行自動識別,提高了效率;在結(jié)果報告中,采用數(shù)據(jù)驅(qū)動的方式,應(yīng)用語義技術(shù)等手段,實現(xiàn)數(shù)據(jù)報告智能生成。
應(yīng)用教育大數(shù)據(jù),打造教育質(zhì)量評價升級版
網(wǎng)絡(luò)技術(shù)、云存儲與計算技術(shù)等的發(fā)展,使得通過采集教學(xué)、學(xué)習(xí)過程中的數(shù)據(jù)(如課堂教學(xué)、考試測評、家?;拥龋⒖茖W(xué)研究中的數(shù)據(jù)(如論文發(fā)表、科研獲獎等信息)、教育管理過程中的數(shù)據(jù)(如學(xué)?;拘畔ⅰ⒔處熁A(chǔ)信息、學(xué)生家庭信息等)、生活中的數(shù)據(jù)(如社會實踐、參與興趣活動等信息),構(gòu)建伴隨式教育大數(shù)據(jù)成為可能。
一是建立定期、不定期采集數(shù)據(jù)制度。通過建立定期大規(guī)模采集全市基礎(chǔ)數(shù)據(jù)、師生日常教育教學(xué)數(shù)據(jù)、多元評價主體數(shù)據(jù)、定性數(shù)據(jù)和定量數(shù)據(jù)、學(xué)生綜合素質(zhì)評價數(shù)據(jù)等制度,完善數(shù)據(jù)采集機制,不斷采集學(xué)生成長、教師教育教學(xué)、學(xué)校管理、家庭教育等各類教育信息。以高中學(xué)生綜合素質(zhì)采集平臺為例,重慶市近4年累計為高考招生錄取提供了近100萬份高中學(xué)生綜合素質(zhì)報告。
二是構(gòu)建海量、多維度教育大數(shù)據(jù)庫。重慶市每年都堅持開展教育質(zhì)量監(jiān)測,2010-2016年,開展省級基礎(chǔ)教育質(zhì)量監(jiān)測7次,2914所中小學(xué)、22萬余名中小學(xué)生、10萬余名教師(班主任)和管理干部、10萬余名家長參加,獲取了數(shù)以億計的基礎(chǔ)教育質(zhì)量數(shù)據(jù),構(gòu)建了涉及學(xué)生、教師、家長及學(xué)校管理干部的較為完善的數(shù)據(jù)庫。
三是升級教育大數(shù)據(jù)分析、處理技術(shù)。應(yīng)用多層線性模型、數(shù)據(jù)倉庫技術(shù)、機器學(xué)習(xí)等現(xiàn)代技術(shù),通過數(shù)據(jù)挖掘,從繁雜的教育大數(shù)據(jù)中發(fā)現(xiàn)內(nèi)在關(guān)系、診斷問題、預(yù)測發(fā)展趨勢,發(fā)揮教育大數(shù)據(jù)在提升教育質(zhì)量、促進教育公平、優(yōu)化教育資源配置、輔助教育科學(xué)決策等方面的重要作用,凸顯現(xiàn)代化的教育質(zhì)量評價,不僅是結(jié)果性評價,更是診斷性評價。
評價基于監(jiān)測,監(jiān)測形成數(shù)據(jù),伴隨、實時、連貫、全面、真實、客觀的教育大數(shù)據(jù),是推進教育持續(xù)發(fā)展、創(chuàng)新發(fā)展的科學(xué)力量。通過應(yīng)用現(xiàn)代教育測評技術(shù),不斷革新教育質(zhì)量評價的理念、模式、方法和手段,通過專業(yè)的分析模型,源源不斷地存儲到教育教學(xué)規(guī)律結(jié)果信息庫中。通過專業(yè)、綜合的技術(shù),對數(shù)據(jù)庫中“死數(shù)據(jù)”不斷進行專業(yè)挖掘和科學(xué)分析,形成服務(wù)教育改革發(fā)展的決策咨詢報告,打造教育質(zhì)量評價升級版,不斷凸顯智庫作用。
重慶市教育評估院在“數(shù)據(jù)革新教育評估”理念基礎(chǔ)上,堅持創(chuàng)新驅(qū)動發(fā)展,構(gòu)建起以“互聯(lián)網(wǎng)+”技術(shù)為核心支撐,全方位、多層次的教育評價體系。8年來,我們分維度、板塊、領(lǐng)域和功能區(qū)等提出建設(shè)性決策咨詢和診斷性服務(wù)意見,累計為重慶市教育行政管理部門提供監(jiān)測報告100余份、區(qū)縣基礎(chǔ)教育質(zhì)量監(jiān)測報告300余份、各類學(xué)校報告1000余份。精準(zhǔn)服務(wù)于教育行政決策、教育管理及教育科研,針對報告中的有關(guān)問題和建議,重慶市教育行政部門先后出臺了《重慶市義務(wù)教育學(xué)校標(biāo)準(zhǔn)(試行)》等10余個教育行政決策文件;得到了各區(qū)縣和各級各類學(xué)校教育實踐的廣泛檢驗,助推了以大數(shù)據(jù)為重要內(nèi)容的“管辦評”教育治理體系與公共服務(wù)體系建設(shè)。