基于大數(shù)據(jù)的教育云服務(wù)績效評價(jià)研究

周鵬 李環(huán) 劉佩文 吳砥

摘要：以教育云為載體向廣大基礎(chǔ)教育師生集中提供數(shù)字化教育資源和在線教育應(yīng)用對提升教育質(zhì)量、促進(jìn)教育公平具有重要意義。而如何構(gòu)建一套量化評價(jià)教育云服務(wù)績效的指標(biāo)和方法，用于評價(jià)教育云服務(wù)對教育教學(xué)與教育管理的應(yīng)用績效，成為我國教育云推廣中的關(guān)鍵問題。面向教育云服務(wù)績效評價(jià)問題，該研究設(shè)計(jì)了基于教育云平臺大數(shù)據(jù)的教育云服務(wù)績效評價(jià)指標(biāo)和方法體系，首先分析了教育云服務(wù)內(nèi)容和服務(wù)過程，其次從提升教育質(zhì)量和促進(jìn)教育公平兩個(gè)維度提出了教育云績效評價(jià)目標(biāo)和評價(jià)指標(biāo)體系，再以教育云平臺大數(shù)據(jù)為來源設(shè)計(jì)了評價(jià)指標(biāo)的加工方法，最后以W市教育云為例驗(yàn)證了本研究所提出的績效評價(jià)指標(biāo)、方法的科學(xué)性和有效性。

關(guān)鍵詞：教育云；公共服務(wù)；教育大數(shù)據(jù)；績效評價(jià)

《教育信息化“十三五”規(guī)劃》提出要“積極利用云計(jì)算、大數(shù)據(jù)等新技術(shù)，創(chuàng)新資源平臺、管理平臺的建設(shè)、應(yīng)用模式”。從2012年以來，我國各級教育行政部門開始嘗試以教育云為載體集中提供教育資源和教育應(yīng)用，以提升教育服務(wù)質(zhì)量、降低服務(wù)成本，各地教育云平臺建設(shè)風(fēng)起云涌，為基礎(chǔ)教育提供了豐富的教育資源、多樣化的教育教學(xué)和教育管理應(yīng)用服務(wù)。隨著教育云服務(wù)范圍的不斷擴(kuò)大，政府對教育云平臺的投入也不斷增長。而投入大量資源建設(shè)的教育云平臺能否為區(qū)域基礎(chǔ)教育的教育教學(xué)和教育管理提供有效的服務(wù)，產(chǎn)生顯著、可度量的績效，成為各級教育行政部門在建設(shè)和推廣教育云平臺過程中重點(diǎn)關(guān)注的熱點(diǎn)。而當(dāng)前教育云建設(shè)實(shí)踐中測算教育云服務(wù)提供的資源數(shù)量、服務(wù)種類、師生注冊量、資源訪問量等指標(biāo)的評價(jià)方法，既不能反映教育云平臺的實(shí)際績效，也不能成為購買教育云服務(wù)決策、制定教育云平臺發(fā)展策略的依據(jù)。因此，從教育云服務(wù)的內(nèi)容和過程出發(fā)，構(gòu)建一套量化評價(jià)教育云服務(wù)績效的評價(jià)指標(biāo)和評價(jià)方法，成為擴(kuò)展我國教育云服務(wù)覆蓋面亟待解決的關(guān)鍵問題。

“績效”的概念源于管理學(xué)，作為一項(xiàng)政府向基礎(chǔ)教育提供的公共服務(wù)，教育云服務(wù)通過支撐特定區(qū)域的師生、學(xué)校的教育教學(xué)和教育管理活動(dòng)，使師生產(chǎn)生滿意效果并提升學(xué)生綜合素養(yǎng)水平，從而產(chǎn)生績效。面向教育云服務(wù)績效評價(jià)問題，本研究首先歸納了教育云評價(jià)相關(guān)的現(xiàn)有研究，其次分析了教育云服務(wù)的服務(wù)內(nèi)容、服務(wù)過程和大數(shù)據(jù)產(chǎn)生過程，并基于教育云服務(wù)的績效評價(jià)目標(biāo)和教育云平臺大數(shù)據(jù)的特征設(shè)計(jì)了教育云績效評價(jià)指標(biāo)體系，再從教育云平臺大數(shù)據(jù)的內(nèi)容出發(fā)設(shè)計(jì)了面向評價(jià)的大數(shù)據(jù)加工方法，最后以中部W市教育云的績效評價(jià)項(xiàng)目為實(shí)例驗(yàn)證了本研究設(shè)計(jì)的評價(jià)指標(biāo)體系和大數(shù)據(jù)加工方法的有效性。

一、研究綜述

本研究從在線學(xué)習(xí)的效果評價(jià)、教育信息化公共服務(wù)績效評價(jià)和信息化輔助課堂教學(xué)效果評價(jià)三個(gè)領(lǐng)域歸納教育云績效評價(jià)的理論基礎(chǔ)。

在線學(xué)習(xí)的效果評價(jià)領(lǐng)域，對在線學(xué)習(xí)的評價(jià)往往從服務(wù)和應(yīng)用效果兩方面展開評價(jià)。從提供服務(wù)的角度，Cann設(shè)計(jì)了對內(nèi)容和鏈接評估在線學(xué)習(xí)資源內(nèi)容和質(zhì)量的方法以評價(jià)在線學(xué)習(xí)資源的使用情況，Misook等以認(rèn)知負(fù)荷理論評估不同的在線學(xué)習(xí)工具對學(xué)生學(xué)習(xí)成效的影響，表明較小的認(rèn)知負(fù)荷能提升學(xué)生的學(xué)習(xí)成效，Hosie等設(shè)計(jì)了基于教學(xué)法、資源和傳遞策略三方面的評價(jià)方法，用以評價(jià)高等教育在線教學(xué)的課件設(shè)計(jì)質(zhì)量；更多的研究從學(xué)生的應(yīng)用效果的角度展開，Griff等從考試成績、課堂成績、作業(yè)表現(xiàn)等方面評價(jià)了學(xué)生使用在線平臺學(xué)習(xí)兩門課程的效果；此外，Reevesi提出了在線學(xué)習(xí)環(huán)境的三種評價(jià)組合策略：認(rèn)知評估、效果評估和組合評估?？梢姡ㄙY源內(nèi)容、質(zhì)量在內(nèi)的在線學(xué)習(xí)服務(wù)的評價(jià)方法和包括學(xué)生作業(yè)表現(xiàn)、考試成績在內(nèi)的應(yīng)用效果的評價(jià)方法，是兩類主要的在線學(xué)習(xí)平臺評價(jià)方法。

教育信息化公共服務(wù)的績效評價(jià)領(lǐng)域，大多是從各種視角構(gòu)建了評價(jià)概念模型。王海等從基礎(chǔ)設(shè)施建設(shè)、資源建設(shè)、應(yīng)用程度、主體發(fā)展和保障程度五個(gè)維度構(gòu)建了農(nóng)村基礎(chǔ)教育信息化EEE評價(jià)模型，用以評價(jià)農(nóng)村基礎(chǔ)教育信息化發(fā)展水平；顧小清提出的區(qū)域教育信息化績效的三維評估模型，從視角維度、發(fā)展維度和角色維度提出了區(qū)域教育信息化評估概念模型；李文光等設(shè)計(jì)了包括教育信息化建設(shè)、信息技術(shù)與教學(xué)融合、資源共建共享、教師發(fā)展、學(xué)生培養(yǎng)、政策和機(jī)制等6個(gè)一級指標(biāo)、27個(gè)二級指標(biāo)和184個(gè)三級指標(biāo)的指標(biāo)體系。雖然構(gòu)建了較為全面的評價(jià)概念模型，但是這些研究并未進(jìn)一步詳細(xì)探討作為評價(jià)證據(jù)的指標(biāo)數(shù)據(jù)的采集方法，也未能進(jìn)一步將這些概念模型具象化并通過實(shí)施評價(jià)驗(yàn)證概念模型。

教育云平臺同樣也用作支持信息化課堂教學(xué)，而在課堂教學(xué)評價(jià)領(lǐng)域，現(xiàn)有的研究往往從學(xué)生行為和應(yīng)用效果出發(fā)設(shè)計(jì)了評價(jià)方法。早在2011年，孫沛華就通過文獻(xiàn)綜述，提出了包括教師、講授、交流和實(shí)踐在內(nèi)的信息化教學(xué)評價(jià)框架；左明章等設(shè)計(jì)的基于多元智能理論的學(xué)生學(xué)習(xí)績效評價(jià)方法，以任務(wù)驅(qū)動(dòng)的方式評價(jià)課堂教學(xué)中的活動(dòng)、項(xiàng)目和學(xué)生的學(xué)習(xí)績效；余艷等基于社會(huì)交互模型將學(xué)生的課堂動(dòng)作量化為可分析的行為矩陣，從測試和觀察兩個(gè)維度開展信息化課堂的評價(jià)。同樣，信息化課堂教學(xué)的評價(jià)研究能為教育云平臺支撐課堂教學(xué)的績效評價(jià)提供理論支持。

設(shè)計(jì)基于大數(shù)據(jù)的教育云平臺績效評價(jià)模型與方法，就要綜合在線學(xué)習(xí)評價(jià)理論、教育信息化評價(jià)理論和信息化課堂教學(xué)評價(jià)理論，結(jié)合教育云服務(wù)的內(nèi)容與方式，提出具體的評價(jià)理論、模型和方法。

二、教育云的服務(wù)內(nèi)容、服務(wù)過程和評價(jià)指標(biāo)

本研究通過對國內(nèi)多個(gè)教育云平臺的調(diào)查，歸納了當(dāng)前我國教育云的主要服務(wù)內(nèi)容、服務(wù)過程和平臺大數(shù)據(jù)產(chǎn)生過程。

（一）教育云服務(wù)內(nèi)容

教育云是以云技術(shù)匯聚海量教育資源和各類教學(xué)應(yīng)用程序，通過互聯(lián)網(wǎng)提供給教師、學(xué)生和學(xué)校管理者，用于支撐課堂教學(xué)、備課教研、自主學(xué)習(xí)、學(xué)校管理等活動(dòng)，旨在提升學(xué)生的能力和素養(yǎng)的在線平臺。通過對國內(nèi)多個(gè)教育云平臺進(jìn)行調(diào)查，發(fā)現(xiàn)海量數(shù)字化學(xué)習(xí)資源服務(wù)、課堂教學(xué)服務(wù)、自主學(xué)習(xí)服務(wù)、教師教研服務(wù)和學(xué)校管理服務(wù)是教育云提供的主要服務(wù)，如圖1所示。

1.海量數(shù)字化學(xué)習(xí)資源服務(wù)：教育云平臺的核心服務(wù)內(nèi)容，與傳統(tǒng)的教育資源分發(fā)方式不同，教育云平臺具有海量、隨時(shí)隨地獲取的特性，這種資源服務(wù)模式能以更低的成本覆蓋更廣泛的區(qū)域；

2.課堂教學(xué)服務(wù)：支持課堂教學(xué)是教育云平臺的主要服務(wù)，基于資源服務(wù)和工具支持教師備課、上課、分組討論、隨堂測試和課后作業(yè)等教學(xué)活動(dòng)，旨在提升課堂教學(xué)質(zhì)量；

3.自主學(xué)習(xí)服務(wù)：支持學(xué)生自主學(xué)習(xí)也是教育云平臺的主要服務(wù)，同樣是基于資源服務(wù)和工具支持學(xué)生根據(jù)自身的需求獲取、訪問學(xué)習(xí)資源，并開展在線學(xué)習(xí)交互；

4.教師教研服務(wù)：旨在支持教師備課、提升教師能力和水平的服務(wù)，基于教育云平臺上的教師交互和資源分享，為教師提供備課、教學(xué)的同儕建議、示范課程、資源共享和協(xié)同研究等服務(wù)；

5.學(xué)校管理服務(wù)：基于師生基礎(chǔ)數(shù)據(jù)和師生日常教學(xué)活動(dòng)，為學(xué)校日常管理流程和學(xué)校管理決策提供支持。

當(dāng)前，各區(qū)域教育云為中小學(xué)師生、學(xué)校提供了這五類服務(wù)，旨在提升學(xué)生能力素養(yǎng)和學(xué)校管理水平；另一方面，師生和學(xué)校應(yīng)用這五類服務(wù)的過程也是教育云服務(wù)產(chǎn)生績效的過程。

（二）教育云服務(wù)過程和平臺大數(shù)據(jù)產(chǎn)生過程

各地教育云平臺在投入資源、建設(shè)運(yùn)營方式、師生應(yīng)用模式等方面存在較大的差異，本研究通過對多個(gè)教育云平臺的調(diào)查，總結(jié)出教育云平臺“服務(wù)一應(yīng)用一產(chǎn)出”過程和大數(shù)據(jù)產(chǎn)生過程，如圖2所示。

從提供教育云服務(wù)到服務(wù)績效產(chǎn)出，教育云服務(wù)包含從教育云服務(wù)內(nèi)容供給、師生應(yīng)用教育云服務(wù)過程和教育云服務(wù)績效產(chǎn)出三個(gè)過程：

1.教育云服務(wù)內(nèi)容：指直接向區(qū)域師生提供教育云服務(wù)的硬件、軟件、網(wǎng)絡(luò)帶寬、數(shù)字化學(xué)習(xí)資源等，這些是師生提供服務(wù)的對象；

2.服務(wù)應(yīng)用過程：指以教育云服務(wù)支持課堂教學(xué)、自主學(xué)習(xí)、備課教研和學(xué)校管理等活動(dòng)，用以滿足師生的應(yīng)用需求、提升學(xué)生的綜合素養(yǎng)和學(xué)校的管理水平；

3.教育云服務(wù)產(chǎn)出：指區(qū)域師生接受教育云服務(wù)后產(chǎn)生的效果，直接地體現(xiàn)在師生的滿意度上，間接地體現(xiàn)在包括知識、技能、情感和價(jià)值觀等在內(nèi)的綜合素養(yǎng)的提升上。

教育云平臺服務(wù)過程既是服務(wù)績效的實(shí)現(xiàn)過程，也是教育云平臺大數(shù)據(jù)的產(chǎn)生過程。在教育云“服務(wù)—用—產(chǎn)出”過程中，教育云平臺不但存儲(chǔ)了關(guān)于資源、工具等服務(wù)內(nèi)容數(shù)據(jù)，還跟蹤采集以師生等用戶的行為軌跡為主的服務(wù)應(yīng)用過程數(shù)據(jù)。而要采集教育云服務(wù)效果產(chǎn)出數(shù)據(jù)，一方面可以用抽樣調(diào)查的方式采集師生對教育云服務(wù)的滿意度，另一方面可以用教育評價(jià)方法評價(jià)學(xué)生應(yīng)用教育云平臺后在技能和素養(yǎng)上的提升。

（三）教育云績效評價(jià)目標(biāo)

Bredrup提出績效評價(jià)是在服務(wù)預(yù)期和戰(zhàn)略目標(biāo)范疇內(nèi)，通過對服務(wù)過程和效果的量化評價(jià)，支持對服務(wù)過程的重整和持續(xù)改進(jìn)。績效是一種多維構(gòu)建，測量的目標(biāo)和因素不同，其結(jié)果也不同。因此要評價(jià)教育云服務(wù)的績效，首先要確定教育云服務(wù)績效評價(jià)的目標(biāo)。而教育云服務(wù)績效評價(jià)目標(biāo)一是來源于教育云服務(wù)的戰(zhàn)略目標(biāo)，一是來源于對績效本身的界定。

《教育信息化十年發(fā)展規(guī)劃（2011-2020年）》中提出，“促進(jìn)教育公平、提高教育質(zhì)量”是教育信息化的兩大戰(zhàn)略目標(biāo)，而教育云是實(shí)現(xiàn)“資源配置與服務(wù)的集約化發(fā)展途徑”。教育云服務(wù)的戰(zhàn)略目標(biāo)一方面是要以海量資源和支撐服務(wù)提升教育質(zhì)量，另一方面是要以云服務(wù)的泛在性促進(jìn)教育公平。要評價(jià)教育云服務(wù)的績效，既要評價(jià)教育云服務(wù)對教育質(zhì)量的提升作用，又要評價(jià)教育云服務(wù)對教育公平的促進(jìn)作用。

對績效的界定也影響教育云服務(wù)績效評價(jià)目標(biāo)的設(shè)定。當(dāng)前對績效的界定存在兩種不同的觀點(diǎn)，一種是“結(jié)果的績效觀”，Bemardin認(rèn)為績效是“在特定的時(shí)間里，由特定的工作職能或活動(dòng)產(chǎn)生的產(chǎn)出記錄”；一種是“過程的績效觀”，Campbell認(rèn)為績效是“與組織目標(biāo)有關(guān)的行動(dòng)或行為，能夠用個(gè)人的熟練程度來測量”。從這兩種不同的績效觀出發(fā)，既要評價(jià)師生應(yīng)用教育云服務(wù)開展教育教學(xué)的過程，又要評價(jià)師生應(yīng)用教育云服務(wù)的結(jié)果。

從教育云服務(wù)的戰(zhàn)略目標(biāo)和績效觀這兩個(gè)維度構(gòu)建教育云績效評價(jià)的目標(biāo)矩陣，如表1所示。從過程的績效觀看，績效是教育云服務(wù)于師生各類教育教學(xué)活動(dòng)的數(shù)量；從結(jié)果的績效觀看，績效是教育云應(yīng)用于教育教學(xué)后產(chǎn)生的效果，直接的體現(xiàn)是師生等用戶對教育云服務(wù)的主觀滿意度，間接的體現(xiàn)是學(xué)生知識、能力、素養(yǎng)的提升。在學(xué)生知識、能力、素養(yǎng)的提升中，教育云服務(wù)只是其中的一個(gè)因素，本研究以師生的用戶滿意度作為評價(jià)教育云服務(wù)效果的目標(biāo)。

（四）教育云服務(wù)績效評價(jià)指標(biāo)

為表1中的四個(gè)象限分別設(shè)置一級指標(biāo)，包括：教育云平臺活動(dòng)量（I₁）、教育云平臺活動(dòng)均衡性（I₂）、教育云平臺應(yīng)用滿意度（I₃）、教育云平臺應(yīng)用滿意度均衡性（I₄）。針對教育云平臺活動(dòng)量（I₁），對圖1中的5類教育云服務(wù)的活動(dòng)設(shè)置二級指標(biāo)，分別測量教育云服務(wù)中資源（I₁₁）、課堂教學(xué)（I₁₂）、自主學(xué)習(xí)（I₁₃）、協(xié)同教研（I₁₄）和教學(xué)管理（I₁₅）的活動(dòng)量。針對教育云平臺活動(dòng)均衡性（I₂），同樣對5類教育云服務(wù)的活動(dòng)設(shè)置相應(yīng)的均衡性評價(jià)指標(biāo)（I₂-I₂₅），用于測量各區(qū)各校應(yīng)用各類教育云服務(wù)的差異。針對教育云平臺應(yīng)用滿意度一級指標(biāo)（I₃），分別測量學(xué)生（I₃₁）、教師（I₃₂）、管理者（I₃₃）和家長（I₃₄）對教育云服務(wù)的滿意度。而針對教育云平臺應(yīng)用滿意度均衡性（I₄），同樣測量4類用戶的滿意度均衡性評價(jià)指標(biāo)（I₁₄-I₄₄）。教育云服務(wù)績效評價(jià)的指標(biāo)體系如圖3所示，共包含4個(gè)一級指標(biāo)、18個(gè)二級指標(biāo)。

從評價(jià)指標(biāo)數(shù)據(jù)采集和加工的視角，二級指標(biāo)（I₁₁-I₁₅）和（I₂₁-I₂₅）均采用教育云平臺數(shù)據(jù)采集和加工的方式評價(jià)，一旦數(shù)據(jù)輸人和數(shù)據(jù)加工方法確定，同一個(gè)區(qū)域內(nèi)的評價(jià)結(jié)果就具有穩(wěn)定性和區(qū)分度，也就具有較好的信度和效度；二級指標(biāo)（I₃₁-I₃₄）和（I₄₁-I₄₄）則采用抽樣問卷調(diào)查的心理學(xué)測量方式評價(jià)，通過選擇驗(yàn)證過的滿意度量表和選擇具有代表性的教師、學(xué)生、家長和管理者作為樣本來保障指標(biāo)的信度和效度。

三、教育云平臺大數(shù)據(jù)加工方法

（一）教育云平臺大數(shù)據(jù)

為克服傳統(tǒng)方法難以精準(zhǔn)評價(jià)教育云服務(wù)過程績效的問題，本研究選擇教育云平臺數(shù)據(jù)作為教育云過程績效評價(jià)的數(shù)據(jù)來源。教育云平臺蘊(yùn)含了海量的過程數(shù)據(jù)，包括：師生的教學(xué)過程數(shù)據(jù)、學(xué)生的自學(xué)過程數(shù)據(jù)、教師的備課和協(xié)同教研過程數(shù)據(jù)、學(xué)校管理流程數(shù)據(jù)和“師一生一家一?！敝g的交互過程數(shù)據(jù)，這些異構(gòu)數(shù)據(jù)具備“海量、多樣化、真實(shí)性、高速增長、價(jià)值稀疏”的“5V”特性。同時(shí)，教育云平臺數(shù)據(jù)還是師生在教育云上開展各類教育教學(xué)和教育管理活動(dòng)的數(shù)據(jù)再現(xiàn)，是教育云服務(wù)績效評價(jià)的理想評價(jià)證據(jù)和數(shù)據(jù)來源。教育云平臺數(shù)據(jù)包括基礎(chǔ)數(shù)據(jù)和行為數(shù)據(jù)兩大類，如表2所示。

（二）教育云平臺大數(shù)據(jù)加工方法

以教育云平臺數(shù)據(jù)為對象，面向教育云績效評價(jià)指標(biāo)，本研究設(shè)計(jì)了面向評價(jià)的大數(shù)據(jù)加工方法體系，主要包括平臺活動(dòng)識別和交互網(wǎng)絡(luò)測算兩類加工方法。

1.教育云平臺教學(xué)活動(dòng)識別

在圖3提出的教育云績效評價(jià)指標(biāo)體系中，二級指標(biāo)（I₁₁-I₁₄）和（I₂₁-I₂₄）是評價(jià)師生在教育云中的教與學(xué)活動(dòng)量與分布，因此要從表2所采集的云平臺大數(shù)據(jù)中包含的操作和動(dòng)作中識別出課堂教學(xué)、自主學(xué)習(xí)、備課教研等活動(dòng)。對具體教學(xué)活動(dòng)的識別需要以教育云上該活動(dòng)的模式和規(guī)律為基礎(chǔ)，設(shè)計(jì)專門的識別算法。教育云平臺課堂教學(xué)活動(dòng)識別算法識別出的一個(gè)課堂教學(xué)活動(dòng)過程如下頁表3所示，其中包含了教師的課前準(zhǔn)備活動(dòng)、錄課準(zhǔn)備活動(dòng)、作業(yè)講解、教師板書講解、學(xué)生搶答、學(xué)生應(yīng)用移動(dòng)終端參與隨堂測試等操作。

2.教育云平臺交互網(wǎng)絡(luò)測算

教育云不僅通過資源和工具支持開展教學(xué)和學(xué)習(xí)活動(dòng)，還支持教師和學(xué)生在線開展學(xué)習(xí)交互、教研交互，而簡單判斷用戶間的交互量并不能完全體現(xiàn)教育云上自主學(xué)習(xí)水平和協(xié)同教研水平，應(yīng)從社會(huì)網(wǎng)絡(luò)的視角計(jì)算教育云平臺的交互水平。一是以師生、生生間的話題回復(fù)，構(gòu)造自主學(xué)習(xí)的關(guān)系網(wǎng)絡(luò)；二是以師師間的話題討論，構(gòu)造協(xié)同教研的關(guān)系網(wǎng)絡(luò)。以教育云平臺協(xié)同教研交互網(wǎng)絡(luò)為例，本研究通過交互網(wǎng)絡(luò)測算方法繪制的師生交互關(guān)系網(wǎng)絡(luò)如圖4所示，其中平均度為3.446，而網(wǎng)絡(luò)密度僅為0.0016，表明在該實(shí)例中，師生的交互水平較低。

四、基于大數(shù)據(jù)的教育云平臺績效評價(jià)實(shí)例

從2017年9月到12月，研究者作為獨(dú)立第三方對W市的教育云平臺開展了績效評價(jià)。通過對本次評價(jià)的背景、數(shù)據(jù)采集過程、數(shù)據(jù)加工過程和評價(jià)結(jié)論的描述，驗(yàn)證本研究提出的基于大數(shù)據(jù)的教育云平臺績效評價(jià)模型、指標(biāo)與方法的科學(xué)性與可行性。

（一）實(shí)例背景

W市是國家數(shù)字教育資源公共服務(wù)平臺規(guī)模化應(yīng)用專項(xiàng)的試點(diǎn)城市，W市通過購買服務(wù)的方式向全市基礎(chǔ)教育師生提供免費(fèi)服務(wù)，旨在通過中小學(xué)師生的規(guī)?；逃茟?yīng)用，促進(jìn)教育教學(xué)和教育管理方式的變革，提升教師專業(yè)能力和學(xué)生綜合素養(yǎng)。為推廣教育云服務(wù)，W市發(fā)布了《教育云示范工程實(shí)施方案》等政策文件，還成立了教育云專班，專門推進(jìn)教育云。W市教育云平臺提供了包括海量教育資源、課堂教學(xué)、自主學(xué)習(xí)、協(xié)同教研和學(xué)校管理5大類服務(wù)，提供服務(wù)的資源總量超過450萬條，還提供了包括集成授課服務(wù)、自主學(xué)習(xí)服務(wù)、備課教研服務(wù)和學(xué)校管理服務(wù)在內(nèi)的教育教學(xué)和教育管理支持服務(wù)。為了掌握當(dāng)前W市教育云服務(wù)應(yīng)用及效果，W市教育局引入獨(dú)立評價(jià)第三方對W市教育云服務(wù)開展績效評價(jià)。

（二）W市教育云評價(jià)大數(shù)據(jù)采集

為開展W市教育云平臺的績效評價(jià)，本研究共采集了包括10大類、139個(gè)數(shù)據(jù)表（含Nosql數(shù)據(jù)集），共126199265條數(shù)據(jù)。還通過抽樣問卷調(diào)查的方式，采集了涵蓋全市各區(qū)域中小學(xué)校長、教師、學(xué)生和家長共31749個(gè)樣本的調(diào)查數(shù)據(jù)，其中有效問卷31670份，有效率為99.75%，如下頁表4所示。

（三）W市教育云評價(jià)數(shù)據(jù)加工

通過對表4描述的教育云平臺評價(jià)大數(shù)據(jù)的加工，得到W市教育云平臺的評價(jià)指標(biāo)如表5所示。其中，用各區(qū)分布的基尼系數(shù)表示W(wǎng)市教育云分布的均衡性。

（四）W市教育云評價(jià)結(jié)論

面向如前面表1的教育云評價(jià)的目標(biāo)矩陣，對W市教育云的評價(jià)從教育云提升教育質(zhì)量、促進(jìn)教育公平以及W市教育云的應(yīng)用過程和應(yīng)用結(jié)果這四個(gè)維度得出評價(jià)結(jié)論。教育云提升區(qū)域教育質(zhì)量的過程指標(biāo)如圖5（a）所示，W市教育云應(yīng)用量以資源服務(wù)活動(dòng)最為突出，接近人均1次；而教育云支持課堂教學(xué)和自主學(xué)習(xí)的活動(dòng)水平較為接近，均超過人均0.5次；而教育云支持協(xié)同教研和教學(xué)管理的活動(dòng)水平都較低。教育云促進(jìn)教育公平的過程指標(biāo)（基尼系數(shù)）如圖5（b）所示，由于基尼系數(shù)介于0-1之間，基尼系數(shù)越大，表示不平等程度越高，表明W市各區(qū)教育云應(yīng)用活動(dòng)差距都較大（>0.4），而教育云服務(wù)課堂教學(xué)、自主學(xué)習(xí)、協(xié)同教研和管理服務(wù)更是差距懸殊（>0.5）。從教育云提升教育質(zhì)量來看，W市教育云服務(wù)的績效主要體現(xiàn)在資源服務(wù)、課堂教學(xué)服務(wù)和自主學(xué)習(xí)服務(wù)等在教與學(xué)中的應(yīng)用；而從教育云促進(jìn)教育公平來看，各區(qū)域間應(yīng)用差異較大，說明教育云服務(wù)不僅沒有促進(jìn)教育公平，反而擴(kuò)大了各區(qū)間的差距。

通過對W市全部區(qū)域內(nèi)學(xué)生、教師、家長和管理者的大范圍抽樣調(diào)查，可以得出教育云服務(wù)績效的結(jié)果滿意度評價(jià)指標(biāo)，如圖6所示。其中教育云提升區(qū)域教育質(zhì)量的結(jié)果指標(biāo)如圖6（a）所示，學(xué)生和教師的平均滿意度均高于80%，而管理者和家長的平均滿意度均高于70%，表明在教育云推廣的階段，師生切實(shí)感受到教育云帶來的變革，從而產(chǎn)生了較高的滿意度評價(jià)，而管理者和家長參與教育云的程度較低，滿意度也相對較低。教育云促進(jìn)教育公平的結(jié)果指標(biāo)（基尼系數(shù)）如圖6（b）所示，表明W市各區(qū)學(xué)生、教師、家長、管理者對教育云的滿意度非常平均（<0.1）。結(jié)果表明，W市學(xué)生、教師、家長和管理者越多接受教育云服務(wù)就能產(chǎn)生越高的滿意度，而各區(qū)學(xué)生、教師、家長和管理者的滿意度幾乎沒有差異。

通過對W市教育云服務(wù)的績效評價(jià)發(fā)現(xiàn)，W市教育云服務(wù)在部分服務(wù)內(nèi)容上（資源服務(wù)、課堂教學(xué)、自主學(xué)習(xí)）已經(jīng)形成了規(guī)?；瘧?yīng)用，產(chǎn)生了顯著的過程績效，而且用戶對教育云服務(wù)的滿意度超過70%，取得了較好的滿意度效果。但在教研服務(wù)和管理服務(wù)上應(yīng)用績效還不高，加之各類應(yīng)用在各區(qū)域間應(yīng)用不均衡，表明W市教育云服務(wù)的應(yīng)用績效仍有提升的空間。從對W市的評價(jià)結(jié)果看，由教育行政部門主導(dǎo)的教育云應(yīng)用績效取決于教育行政部門的推進(jìn)力度，在某些區(qū)域、某些應(yīng)用上推進(jìn)力度較大，其應(yīng)用績效就高；在某些區(qū)域、某些應(yīng)用上推進(jìn)力度不夠，其應(yīng)用績效就較低。但不論是應(yīng)用績效高還是應(yīng)用績效較低的區(qū)域，由于教育行政部門的政策驅(qū)動(dòng)，用戶滿意度都普遍較高。教育云服務(wù)的應(yīng)用績效不僅應(yīng)來源于教育行政部門的推動(dòng)，還應(yīng)來源于師生和管理者對教育云服務(wù)產(chǎn)生的應(yīng)用黏性。此外，從評價(jià)目標(biāo)、評價(jià)指標(biāo)和評價(jià)方法設(shè)計(jì)上看，教育云服務(wù)的過程績效能較好地反映教育云服務(wù)的應(yīng)用水平，而主觀滿意度很難在外部因素的影響下有效反映教育云服務(wù)的應(yīng)用結(jié)果和均衡性。

五、總結(jié)與展望

面向教育云平臺的績效評價(jià)問題，本研究以教育云平臺大數(shù)據(jù)為主要評價(jià)證據(jù)，設(shè)計(jì)了一套教育云服務(wù)績效評價(jià)的指標(biāo)體系和數(shù)據(jù)加工方法，并用實(shí)例驗(yàn)證了本研究所提出的教育云平臺績效評價(jià)指標(biāo)體系的科學(xué)性和可行性。一方面，本研究旨在為我國各區(qū)域教育云的績效評價(jià)提供一種可行的解決方案，為各區(qū)域教育云服務(wù)的購買決策提供有效的支持；另一方面，本研究還率先把教育云作為一項(xiàng)教育公共服務(wù)，對教育云服務(wù)的績效評價(jià)問題開展專門的研究。受篇幅的限制，本研究在教育云平臺大數(shù)據(jù)的加工算法方面未能展開描述。在后續(xù)的研究中，筆者將從教育云服務(wù)數(shù)據(jù)的清洗、加工、挖掘方法等方面開展進(jìn)一步的研究。