數(shù)據(jù)第一：第三方評估的靈魂

何懷金 龔春燕 田海林

作為第三方評估機(jī)構(gòu)，重慶市教育評估院（重慶市基礎(chǔ)教育質(zhì)量監(jiān)測中心）堅持專業(yè)化發(fā)展，堅持“數(shù)據(jù)·創(chuàng)新·智慧”戰(zhàn)略，樹立大數(shù)據(jù)思維，堅持讓數(shù)據(jù)說話、讓數(shù)據(jù)發(fā)聲，走“監(jiān)測是事實判斷、評估是價值判斷、評估基于監(jiān)測”的道路，組織開展了涵蓋學(xué)前、義務(wù)、普高、中職、高等、教師教育、家庭教育等多領(lǐng)域、多層次的教育質(zhì)量監(jiān)測工作，有效采集、挖掘了重慶市的教育大數(shù)據(jù)、發(fā)布了專業(yè)的監(jiān)測評估報告，促進(jìn)了教育的改革發(fā)展。

黨的十八屆五中全會明確提出“實施國家大數(shù)據(jù)戰(zhàn)略”，為教育評估監(jiān)測事業(yè)，尤其是第三方教育評估的創(chuàng)新發(fā)展、智慧化發(fā)展指明了前進(jìn)的方向。

我們已身處大數(shù)據(jù)的時代，基于數(shù)據(jù)的教育評估是教育最前沿的課題。數(shù)據(jù)，是第三方教育評估的靈魂。大數(shù)據(jù)具有“5V”的特點(diǎn)，即體量大（Volume）、類型雜（Variety）、速度快（Velocity）、價值高（Value）和真實性強(qiáng)（Veracity）。作為第三方評估機(jī)構(gòu)，要想在管辦評分離的改革進(jìn)程中有所作為，就必須要緊緊圍繞數(shù)據(jù)做文章，必須擁有專業(yè)的技術(shù)、發(fā)布專業(yè)的報告、堅守專業(yè)的價值。

專業(yè)性工具：第三方評估的“開山斧”

1.構(gòu)建監(jiān)測工具庫

工具是我們評價的基礎(chǔ)，我們從7年前“借”工具，到獨(dú)立研發(fā)工具，這是一個從量到質(zhì)的飛躍。工具研發(fā)專家團(tuán)隊按照國際上通行的程序，組建了語文、數(shù)學(xué)、英語、科學(xué)及創(chuàng)造力、閱讀能力、學(xué)生心理發(fā)展和教師發(fā)展、學(xué)校發(fā)展等若干專家小組，通過召開各類研討會、分析會、工作會，調(diào)研、訪談，保證了工具研究的實效性和科學(xué)性。研制出了涵蓋學(xué)前、義務(wù)、普高、中職、高職、本科、教師教育、家庭教育8類共60余套教育教學(xué)質(zhì)量評價工具。2015年，我們還與世界經(jīng)合組織OECD進(jìn)行戰(zhàn)略合作，開展了PISA工具的中國化實踐研究。

2.運(yùn)用工具采集數(shù)據(jù)

重慶市每年都堅持開展基礎(chǔ)教育質(zhì)量監(jiān)測，還對職業(yè)教育、學(xué)前教育、高等教育的就業(yè)狀況和人才培養(yǎng)情況、家庭教育狀況等進(jìn)行了監(jiān)測，初步建成了涵蓋基礎(chǔ)教育、職業(yè)教育、高等教育、家庭教育等領(lǐng)域的全方位教育大數(shù)據(jù)庫。

實時采集學(xué)生綜合素質(zhì)評價數(shù)據(jù)。實時采集學(xué)生成長、教師教育教學(xué)、學(xué)校管理等信息，建立綜合評價大數(shù)據(jù)模型，診斷教育中存在的問題，定量地評價教學(xué)質(zhì)量。2012年以來，評估院累計為重慶市考試院提供了累計近100萬份高中學(xué)生綜合素質(zhì)報告，為高校招生錄取提供了重要依據(jù)。同時，我們還開展了義務(wù)教育、中職教育階段學(xué)生綜合素質(zhì)評價工作。

信息化平臺：第三方評估的“夢工廠”

為提高監(jiān)測效率，建立了重慶市基礎(chǔ)教育質(zhì)量監(jiān)測數(shù)據(jù)庫，同時，自主研發(fā)了信息化監(jiān)測評價平臺，減少了大量人力、物力的投入。研發(fā)數(shù)據(jù)分析軟件平臺。通過廣泛調(diào)研不同類型、不同層次的學(xué)校，選取了不同經(jīng)濟(jì)發(fā)展水平的3個區(qū)縣和20所學(xué)校作為測評實驗基地，兩年后推廣到全市使用。通過對這些實驗基地的教育質(zhì)量監(jiān)測與評價的實踐和追蹤，編寫了用于監(jiān)測評價的軟件平臺，提高了工作效率，實現(xiàn)了分析及報告生成自動化，主要解決了以下幾個方面的問題。

采用圖像識別技術(shù)，實現(xiàn)紙質(zhì)數(shù)據(jù)采集自動化。針對相關(guān)軟件售價太高、無法實現(xiàn)對題卡合一問卷識別自動化、使用成本高的情況，自主研發(fā)了網(wǎng)上閱卷掃描識別系統(tǒng)，實現(xiàn)了監(jiān)測所需的多題本合一、題卡合一、主觀題分段評分的特殊功能。

采用網(wǎng)絡(luò)問卷填答，實現(xiàn)教師數(shù)據(jù)采集有序化。紙質(zhì)問卷填答方式具有填答時空限制，且后期處理復(fù)雜，成本高，因此，研發(fā)了易于操作和使用的并與后臺數(shù)據(jù)分析清理相結(jié)合的網(wǎng)絡(luò)問卷系統(tǒng)。

采用人工智能技術(shù)，實現(xiàn)超量數(shù)據(jù)清理精準(zhǔn)化。通過研發(fā)監(jiān)測數(shù)據(jù)清理軟件，將原本借助于其他軟件進(jìn)行清理的工作，由20余人一個月完成的工作量縮短為1個人一周完成，提高了工作效率。

構(gòu)建常用分析模型，實現(xiàn)分析生成報告自動化。要使評價結(jié)果有針對性和準(zhǔn)確性，需要科學(xué)的分析方法和完善的指標(biāo)體系。該研究通過挖掘和提煉采集到的數(shù)據(jù)，構(gòu)建了一系列分析模型，并在此基礎(chǔ)上編寫分析軟件，自動生成近千份學(xué)校和區(qū)縣報告，數(shù)十萬份學(xué)生成長報告。

智慧化服務(wù)：第三方評估的“生命線”

1.建立監(jiān)測評估三級機(jī)制

建立了市級評價、區(qū)縣評價和學(xué)校評價三級監(jiān)測評估機(jī)制。市級評價旨在統(tǒng)籌城鄉(xiāng)均衡，通過抽樣采集全市數(shù)據(jù)，建立數(shù)據(jù)庫，分析數(shù)據(jù)，向各級教育行政部門提供政策建議，促進(jìn)教育資源的合理配置，統(tǒng)籌城鄉(xiāng)教育均衡發(fā)展。區(qū)縣評價關(guān)注縣域均衡，配合完成國家和全市教育評價的組織和協(xié)調(diào)工作；在市監(jiān)測中心指導(dǎo)下，組織實施針對本區(qū)縣的教育評價工作。學(xué)校評價關(guān)心校際均衡，減少傳統(tǒng)意義上的統(tǒng)考統(tǒng)測，樹立新的質(zhì)量關(guān)，對學(xué)生進(jìn)行過程性評價，逐步實現(xiàn)以特色辦學(xué)為前提的校際發(fā)展的均衡。

評價結(jié)果會反饋給多個對象，如教育行政部門、學(xué)校、教師和學(xué)生。為教育行政部門提供決策依據(jù)，促進(jìn)學(xué)校管理體制改革，促進(jìn)教師教育教學(xué)能力發(fā)展，促進(jìn)學(xué)生健康全面成長。

2.建立監(jiān)測評估方法模型

結(jié)合重慶市的實際情況，我們研究出了一系列教育教學(xué)質(zhì)量測評模型，如義務(wù)教育均衡系數(shù)測算模型、城鄉(xiāng)一體化教育資源配置模型、教育現(xiàn)代化監(jiān)測模型、學(xué)校辦學(xué)規(guī)模測算模型的多維模型等，并將這些數(shù)學(xué)模型用于實際評價和數(shù)據(jù)分析。構(gòu)建的一系列模型在多個區(qū)縣得到了檢驗，在提升教學(xué)質(zhì)量、教師專業(yè)能力等方面成效明顯。其中，義務(wù)教育均衡發(fā)展測算系數(shù)得到國務(wù)院領(lǐng)導(dǎo)的批示，相關(guān)計算模型被教育部采納。數(shù)十個兄弟省市督導(dǎo)或評估監(jiān)測單位到重慶市就本研究進(jìn)行深度交流和學(xué)習(xí)。我們就研究出的一系列模型在教育部和國務(wù)院教育督導(dǎo)委員會辦公室舉辦的全國督導(dǎo)或評估監(jiān)測工作會上做了專題發(fā)言，引起廣泛關(guān)注，并在多個省市推廣。

第三方評估助推教育發(fā)展

1.服務(wù)政府教育決策

7年來，我們?yōu)橹貞c市教育行政部門提供教育質(zhì)量監(jiān)測評估報告40余份、區(qū)縣報告200余份。針對報告提出的問題和建議，重慶市出臺了《重慶市教育委員會關(guān)于印發(fā)減輕義務(wù)教育階段學(xué)生過重課業(yè)負(fù)擔(dān)，深入推進(jìn)素質(zhì)教育十項規(guī)定的通知》（簡稱“減負(fù)十條”）等10余個教育行政決策文件，有效地減輕了學(xué)生學(xué)業(yè)負(fù)擔(dān)，改革了課程設(shè)置，改變了教師教學(xué)行為，提升了教育質(zhì)量。

我們依據(jù)監(jiān)測的結(jié)果制定了《重慶市義務(wù)教育階段學(xué)校質(zhì)量標(biāo)準(zhǔn)》（以下簡稱《標(biāo)準(zhǔn)》）?！稑?biāo)準(zhǔn)》通過對數(shù)億個數(shù)據(jù)的分析、提煉，初步構(gòu)建了可測、可評的教育質(zhì)量指標(biāo)體系，確定了20個測評學(xué)校質(zhì)量的指標(biāo)，包含5個指數(shù)、8個滿意度百分比、7個學(xué)校常規(guī)指標(biāo)，包含過程性質(zhì)量和結(jié)果性質(zhì)量兩個板塊，十項內(nèi)容。其中，過程性質(zhì)量包括組織管理、德育工作、教師隊伍、課程建設(shè)和課堂教學(xué)；結(jié)果性質(zhì)量包括學(xué)生品行、學(xué)業(yè)水平、身心健康、興趣特長和學(xué)業(yè)負(fù)擔(dān)。

區(qū)縣教育行政部門使用評價報告改變了決策。例如，重慶市某區(qū)通過解讀近600頁的評價報告，不論是在學(xué)生的品德素養(yǎng)、學(xué)業(yè)成就、身心健康、實踐創(chuàng)新方面，還是在教師教學(xué)的行為、對培訓(xùn)的感受、職業(yè)倦怠等方面，該區(qū)教育行政部門都從報告中找到若干需要改進(jìn)的問題，如針對區(qū)教師培訓(xùn)中“39.6%的教師認(rèn)為系統(tǒng)性不夠，29.8%的教師認(rèn)為針對性不強(qiáng)”的現(xiàn)狀，區(qū)教師培訓(xùn)單位實施“先調(diào)查再設(shè)計培訓(xùn)菜單”的方式加以改進(jìn)。

2.促進(jìn)學(xué)校教學(xué)改革

大數(shù)據(jù)庫中存儲了來自教師、學(xué)生、家長的海量數(shù)據(jù)，信息化分析平臺通過模型自動分析這些數(shù)據(jù)之間的相互關(guān)系和對學(xué)生學(xué)習(xí)質(zhì)量的影響，獲得對學(xué)生學(xué)習(xí)質(zhì)量有顯著影響的行為指標(biāo)，總結(jié)其規(guī)律，并存儲到教育教學(xué)規(guī)律結(jié)果庫中，供校長和一線教師研究和學(xué)習(xí)。

隨著數(shù)據(jù)庫里數(shù)據(jù)的動態(tài)變化，教育教學(xué)規(guī)律結(jié)果庫里的信息也隨時更新。學(xué)校的領(lǐng)導(dǎo)根據(jù)監(jiān)測結(jié)果，改變了管理方式，有針對性地實施了一系列措施。重慶市教育評估院為學(xué)校做的評價報告圖文并茂，有效診斷了教育質(zhì)量現(xiàn)狀，既有學(xué)業(yè)質(zhì)量，也有學(xué)生的品德、體育、心理、興趣方面的情況；既有學(xué)校管理的診斷報告，也有教師教學(xué)行為的評估，為學(xué)校管理、教師教育教學(xué)、學(xué)生成長提供了科學(xué)依據(jù)。