• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    數(shù)據(jù)治理下的區(qū)域教育質(zhì)量監(jiān)測(cè)數(shù)據(jù)分析系統(tǒng)探究

    2023-04-12 00:00:00沈健羅強(qiáng)
    中國(guó)教育信息化 2023年4期

    摘 " 要:教育質(zhì)量監(jiān)測(cè)數(shù)據(jù)分析涉及海量的數(shù)據(jù),迫切需要開(kāi)展數(shù)據(jù)治理相關(guān)理論在教育質(zhì)量監(jiān)測(cè)數(shù)據(jù)分析領(lǐng)域的研究和運(yùn)用。研究者采用文獻(xiàn)研究和案例分析等方法,明確了教育質(zhì)量監(jiān)測(cè)數(shù)據(jù)分析階段中數(shù)據(jù)治理的概念,剖析了區(qū)域教育質(zhì)量監(jiān)測(cè)數(shù)據(jù)分析系統(tǒng)的構(gòu)建原則和框架:由功能模塊、算法支撐和保障體系三個(gè)層級(jí)構(gòu)成,包括12個(gè)功能模塊、4個(gè)算法庫(kù)以及貫穿全過(guò)程的數(shù)據(jù)質(zhì)量保障體系;并以蘇州市教育質(zhì)量監(jiān)測(cè)數(shù)據(jù)分析系統(tǒng)為例,闡述了數(shù)據(jù)治理理念在區(qū)域教育質(zhì)量監(jiān)測(cè)數(shù)據(jù)分析系統(tǒng)構(gòu)建中的具體應(yīng)用和實(shí)踐:實(shí)現(xiàn)數(shù)據(jù)深度挖掘、監(jiān)測(cè)工具質(zhì)量分析、增值評(píng)價(jià)等功能的運(yùn)用。最后,展望了區(qū)域教育質(zhì)量監(jiān)測(cè)數(shù)據(jù)分析系統(tǒng)的未來(lái)拓展方向。

    關(guān)鍵詞:教育質(zhì)量監(jiān)測(cè);數(shù)據(jù)治理;數(shù)據(jù)標(biāo)準(zhǔn)化;數(shù)據(jù)分析系統(tǒng);區(qū)域教育

    中圖分類(lèi)號(hào):G434 " " " " 文獻(xiàn)標(biāo)志碼:B " " " " 文章編號(hào):1673-8454(2023)04-0077-09

    一、教育質(zhì)量監(jiān)測(cè)數(shù)據(jù)分析系統(tǒng)的研究背景

    構(gòu)建義務(wù)教育質(zhì)量監(jiān)測(cè)體系是深化新時(shí)代教育評(píng)價(jià)改革,健全立德樹(shù)人落實(shí)機(jī)制,扭轉(zhuǎn)不科學(xué)教育評(píng)價(jià)導(dǎo)向的一項(xiàng)重要舉措?!秶?guó)家中長(zhǎng)期教育改革和發(fā)展規(guī)劃綱要(2010—2020年)》[1]提出,應(yīng)整合國(guó)家教育質(zhì)量監(jiān)測(cè)評(píng)估機(jī)構(gòu)及資源,完善監(jiān)測(cè)評(píng)估體系,定期發(fā)布監(jiān)測(cè)評(píng)估報(bào)告。教育部于2007年成立基礎(chǔ)教育質(zhì)量監(jiān)測(cè)中心,2012年成立中國(guó)基礎(chǔ)教育質(zhì)量監(jiān)測(cè)協(xié)同創(chuàng)新中心,并從2015年起正式在全國(guó)范圍開(kāi)展義務(wù)教育質(zhì)量監(jiān)測(cè)。目前,國(guó)家基礎(chǔ)教育質(zhì)量監(jiān)測(cè)和評(píng)價(jià)已實(shí)現(xiàn)工具研制、監(jiān)測(cè)實(shí)施、數(shù)據(jù)分析、報(bào)告與評(píng)價(jià)等全鏈條、各環(huán)節(jié)的信息化管理與信息化流程的實(shí)施[2]。一些地區(qū)在完成國(guó)家監(jiān)測(cè)本地落實(shí)情況的同時(shí),成立了省級(jí)、市級(jí)、縣級(jí)教育質(zhì)量監(jiān)測(cè)中心或評(píng)估中心,并建成較為完善的質(zhì)量監(jiān)測(cè)和評(píng)價(jià)機(jī)制[3]。

    隨著全國(guó)各地教育質(zhì)量監(jiān)測(cè)工作的深入推進(jìn),面對(duì)海量的監(jiān)測(cè)數(shù)據(jù),如何構(gòu)建專(zhuān)業(yè)化、智能化的教育質(zhì)量監(jiān)測(cè)數(shù)據(jù)分析系統(tǒng),對(duì)學(xué)業(yè)質(zhì)量及相關(guān)因素?cái)?shù)據(jù)進(jìn)行連續(xù)跟蹤和多維度橫向比較分析,進(jìn)而尋找提升教育質(zhì)量的精準(zhǔn)路徑,成為制約教育質(zhì)量監(jiān)測(cè)事業(yè)快速發(fā)展的現(xiàn)實(shí)難題。

    目前,國(guó)內(nèi)關(guān)于義務(wù)教育質(zhì)量監(jiān)測(cè)的研究主要著眼于兩個(gè)方面:一是義務(wù)教育質(zhì)量監(jiān)測(cè)的實(shí)施環(huán)節(jié)及其保障要素,主要包括監(jiān)測(cè)工具研發(fā)[4]、監(jiān)測(cè)組織機(jī)構(gòu)建設(shè)及運(yùn)行[5]、監(jiān)測(cè)結(jié)果應(yīng)用[6][7]、信息技術(shù)對(duì)監(jiān)測(cè)的保障[2][8]等。二是監(jiān)測(cè)項(xiàng)目實(shí)施主體和項(xiàng)目體系構(gòu)建方面的研究,如國(guó)家監(jiān)測(cè)、省級(jí)監(jiān)測(cè)、地市監(jiān)測(cè)和區(qū)縣監(jiān)測(cè)[9-12]。以上兩個(gè)方面互相交織,共同構(gòu)成義務(wù)教育質(zhì)量監(jiān)測(cè)研究的內(nèi)容體系。但對(duì)于如何運(yùn)用大數(shù)據(jù)技術(shù)及相關(guān)理論,構(gòu)建教育質(zhì)量監(jiān)測(cè)數(shù)據(jù)分析系統(tǒng)的相關(guān)研究文獻(xiàn)還比較缺乏。

    2015年,蘇州市教育質(zhì)量監(jiān)測(cè)中心(以下簡(jiǎn)稱(chēng)“蘇州監(jiān)測(cè)中心”)首次啟動(dòng)了義務(wù)教育學(xué)業(yè)質(zhì)量監(jiān)測(cè)項(xiàng)目(以下簡(jiǎn)稱(chēng)蘇州監(jiān)測(cè)項(xiàng)目),實(shí)現(xiàn)了面向全市初中學(xué)生的連續(xù)追蹤監(jiān)測(cè),形成了具有國(guó)際視野、國(guó)家標(biāo)準(zhǔn)、蘇州特色的義務(wù)教育學(xué)業(yè)質(zhì)量監(jiān)測(cè)體系。該中心積極響應(yīng)人工智能時(shí)代的教育評(píng)價(jià)改革,不斷強(qiáng)化智能技術(shù)在監(jiān)測(cè)實(shí)踐中的應(yīng)用,積極構(gòu)建具有蘇州特色的區(qū)域教育質(zhì)量監(jiān)測(cè)數(shù)據(jù)分析系統(tǒng),逐步實(shí)現(xiàn)了標(biāo)準(zhǔn)化數(shù)據(jù)治理、智能化數(shù)據(jù)分析、可視化數(shù)據(jù)呈現(xiàn)等技術(shù)突破。

    本研究采用文獻(xiàn)研究和案例分析等方法,以國(guó)內(nèi)外權(quán)威期刊上關(guān)于大數(shù)據(jù)、數(shù)據(jù)治理的文獻(xiàn)為來(lái)源,進(jìn)一步明確教育質(zhì)量監(jiān)測(cè)領(lǐng)域中數(shù)據(jù)治理的概念。同時(shí),以蘇州市教育質(zhì)量監(jiān)測(cè)數(shù)據(jù)分析系統(tǒng)的構(gòu)建為例,結(jié)合教育大數(shù)據(jù)的特征和數(shù)據(jù)分析中面臨的問(wèn)題加以討論,形成區(qū)域教育質(zhì)量監(jiān)測(cè)數(shù)據(jù)分析系統(tǒng)構(gòu)建的原則和框架。

    二、數(shù)據(jù)治理研究現(xiàn)狀

    教育質(zhì)量監(jiān)測(cè)領(lǐng)域涉及海量的數(shù)據(jù)。以2020年蘇州市義務(wù)教育質(zhì)量監(jiān)測(cè)為例,數(shù)據(jù)采集共產(chǎn)生6000余萬(wàn)條數(shù)據(jù)記錄,每條數(shù)據(jù)記錄包含內(nèi)容維度、能力、素養(yǎng)等不同結(jié)構(gòu)、不同類(lèi)型的數(shù)據(jù)。同時(shí),在追蹤分析中還需調(diào)用前幾年的數(shù)據(jù),導(dǎo)致需要處理的監(jiān)測(cè)數(shù)據(jù)達(dá)上億條。如何處理龐大復(fù)雜的數(shù)據(jù)集,并通過(guò)數(shù)據(jù)分析從中挖掘有用的信息,是各行各業(yè)面對(duì)大數(shù)據(jù)急需解決的問(wèn)題。因此,數(shù)據(jù)治理也得到了各行各業(yè)的重視,成為業(yè)界研究的熱點(diǎn)和重點(diǎn)。

    國(guó)內(nèi)外對(duì)于數(shù)據(jù)治理的定義已有幾十種,但未能形成一個(gè)統(tǒng)一的標(biāo)準(zhǔn)。國(guó)際數(shù)據(jù)管理協(xié)會(huì)認(rèn)為,數(shù)據(jù)治理是對(duì)數(shù)據(jù)資產(chǎn)管理行使權(quán)利和控制的活動(dòng)的集合[13]。IBM數(shù)據(jù)治理委員會(huì)通過(guò)結(jié)合數(shù)據(jù)特性和實(shí)踐經(jīng)驗(yàn),有針對(duì)性地提出了數(shù)據(jù)治理的成熟度模型,將數(shù)據(jù)治理分為五級(jí),即初始階段、基本管理、主動(dòng)管理、量化管理和持續(xù)優(yōu)化[14]。我國(guó)學(xué)者張一鳴將數(shù)字治理從標(biāo)準(zhǔn)體系、業(yè)務(wù)范圍、控制范圍、技術(shù)支持范圍四個(gè)方面進(jìn)行定義,使其涵蓋管理、技術(shù)、標(biāo)準(zhǔn)三大體系[15]。張寧等則認(rèn)為,數(shù)據(jù)治理不僅是通過(guò)數(shù)據(jù)的管理提升數(shù)據(jù)質(zhì)量,更強(qiáng)調(diào)流程設(shè)定和權(quán)責(zé)劃分,是圍繞數(shù)據(jù)資產(chǎn)展開(kāi)的系列工作,以服務(wù)組織各層決策為目標(biāo),涉及有關(guān)數(shù)據(jù)管理的技術(shù)、過(guò)程、標(biāo)準(zhǔn)和政策的集合[16]。

    在信息化浪潮的推動(dòng)下,研究者也對(duì)數(shù)據(jù)治理的框架進(jìn)行了探索。如維賈伊·卡特里(Vijay Khatri)和卡羅爾·V·布朗(Carol V Brown)設(shè)計(jì)出數(shù)據(jù)治理的決策域模型,把數(shù)據(jù)治理劃分為數(shù)據(jù)準(zhǔn)則、數(shù)據(jù)質(zhì)量、元數(shù)據(jù)、數(shù)據(jù)訪(fǎng)問(wèn)、數(shù)據(jù)生命周期五個(gè)決策域(見(jiàn)圖 1)[17]。陳火全則將數(shù)據(jù)治理分為標(biāo)準(zhǔn)體系的構(gòu)建、數(shù)據(jù)架構(gòu)的組織、數(shù)據(jù)的管理以及數(shù)據(jù)安全的保障[18]。

    在教育領(lǐng)域,李青等提出,教育數(shù)據(jù)治理要做到數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)融合共享、數(shù)據(jù)質(zhì)量管理和用戶(hù)數(shù)據(jù)隱私保護(hù)[19]。洪偉等針對(duì)目前教育數(shù)據(jù)存在的不可知、不可聯(lián)、不可控、不可取的現(xiàn)狀,構(gòu)建了一套包含治理目標(biāo)、保障機(jī)制、治理域的體系框架[20]。

    綜上所述,根據(jù)教育質(zhì)量監(jiān)測(cè)的特點(diǎn),本研究認(rèn)為對(duì)于教育質(zhì)量監(jiān)測(cè),數(shù)據(jù)治理不單是一個(gè)方法、一個(gè)功能,或是一個(gè)工具,而是一整套體系[21],應(yīng)當(dāng)在監(jiān)測(cè)全流程中運(yùn)用數(shù)據(jù)治理的思想和方法。在數(shù)據(jù)分析階段,數(shù)據(jù)治理主要指通過(guò)建立數(shù)據(jù)標(biāo)準(zhǔn)化體系,規(guī)范各類(lèi)數(shù)據(jù)結(jié)構(gòu),通過(guò)數(shù)據(jù)構(gòu)架提升關(guān)鍵數(shù)據(jù)分析的自動(dòng)化、高效化,通過(guò)數(shù)據(jù)資產(chǎn)化管理和生命周期管理保證數(shù)據(jù)的安全性、有效性、時(shí)效性,通過(guò)安全和規(guī)范管理提升數(shù)據(jù)質(zhì)量的綜合體系。

    三、數(shù)據(jù)治理理念下區(qū)域教育質(zhì)量監(jiān)測(cè)

    數(shù)據(jù)分析系統(tǒng)的構(gòu)建原則

    在教育質(zhì)量監(jiān)測(cè)的數(shù)據(jù)分析中,不僅要面對(duì)海量、多源異構(gòu)的數(shù)據(jù)對(duì)數(shù)據(jù)管理、存儲(chǔ)、處理和應(yīng)用帶來(lái)的挑戰(zhàn),在數(shù)據(jù)集成、分析處理時(shí)的數(shù)據(jù)質(zhì)量問(wèn)題更加嚴(yán)峻。為構(gòu)建一個(gè)規(guī)范、快速、高可靠性的數(shù)據(jù)分析系統(tǒng),根據(jù)數(shù)據(jù)治理理念,本研究認(rèn)為在系統(tǒng)設(shè)計(jì)中應(yīng)遵循以下四個(gè)原則(見(jiàn)圖 2)。

    (一)數(shù)據(jù)來(lái)源標(biāo)準(zhǔn)化原則

    監(jiān)測(cè)數(shù)據(jù)包含學(xué)業(yè)成績(jī)、相關(guān)因素得分等多類(lèi)評(píng)價(jià)指標(biāo),存在不同的量綱和數(shù)量級(jí)。為保證數(shù)據(jù)分析結(jié)果的可靠性,需要對(duì)原始指標(biāo)數(shù)據(jù)先進(jìn)行無(wú)量綱化和同趨化的標(biāo)準(zhǔn)化處理[22]。

    無(wú)量綱化處理主要解決數(shù)據(jù)的可比性。通過(guò)去除數(shù)據(jù)的單位限制,將其轉(zhuǎn)化為無(wú)量綱的純數(shù)值,便于不同單位或量級(jí)的指標(biāo)能夠進(jìn)行比較和加權(quán)。以蘇州監(jiān)測(cè)項(xiàng)目為例,無(wú)量綱化處理的過(guò)程包括:對(duì)于學(xué)生學(xué)科學(xué)業(yè)成績(jī),首先運(yùn)用項(xiàng)目反應(yīng)理論計(jì)算得到原始分?jǐn)?shù),然后將原始分?jǐn)?shù)轉(zhuǎn)換成標(biāo)準(zhǔn)分?jǐn)?shù)(去量綱),再將標(biāo)準(zhǔn)分?jǐn)?shù)通過(guò)線(xiàn)性變換轉(zhuǎn)化成量尺分?jǐn)?shù)(如以500分為平均分,100分為標(biāo)準(zhǔn)差)。對(duì)于相關(guān)因素?cái)?shù)據(jù),除調(diào)查題以百分比的形式呈現(xiàn)、少部分維度以原始分的形式呈現(xiàn)外,其余維度均將原始分轉(zhuǎn)換成標(biāo)準(zhǔn)分(如以5分為平均分,2分為標(biāo)準(zhǔn)差的T分?jǐn)?shù))。

    數(shù)據(jù)同趨化處理主要解決不同性質(zhì)數(shù)據(jù)問(wèn)題。對(duì)不同性質(zhì)指標(biāo)須先考慮改變逆指標(biāo)數(shù)據(jù)性質(zhì),使所有指標(biāo)對(duì)測(cè)評(píng)方案的作用力同趨化。在蘇州監(jiān)測(cè)項(xiàng)目中,相關(guān)因素指標(biāo)的標(biāo)準(zhǔn)分(T分?jǐn)?shù))分?jǐn)?shù)越高,表明在該指標(biāo)上的狀況越好,如在“學(xué)習(xí)品質(zhì)”上的得分越高,表明學(xué)生學(xué)習(xí)品質(zhì)越好;在“學(xué)業(yè)負(fù)擔(dān)”上的得分越高,表明學(xué)生學(xué)業(yè)負(fù)擔(dān)越輕。

    (二)處理流程自動(dòng)化原則

    主要是指規(guī)范數(shù)據(jù)分析流程,固化數(shù)據(jù)操作流程。先將數(shù)據(jù)分析工作分解到操作流程,并為每一步流程制訂規(guī)范,明確“4W1H”標(biāo)準(zhǔn)(What、Who、Where、When、How),在此基礎(chǔ)上形成標(biāo)準(zhǔn)化流程;然后將流程固化為程序模塊,實(shí)現(xiàn)機(jī)器算法替代人工勞動(dòng),使數(shù)據(jù)分析得以清晰、順暢和高效地自動(dòng)化運(yùn)行[22]。

    自動(dòng)化后的流程不會(huì)因執(zhí)行人員的變動(dòng)而出現(xiàn)品質(zhì)和效率的改變,有效地保障了數(shù)據(jù)分析流程執(zhí)行中的穩(wěn)定性,同時(shí)也能提升監(jiān)測(cè)數(shù)據(jù)分析效率、避免數(shù)據(jù)計(jì)算漏洞,并不斷積累形成技術(shù)儲(chǔ)備。

    (三)算法管理資產(chǎn)化原則

    該原則指將數(shù)據(jù)分析中的算法視為全新的數(shù)據(jù)資產(chǎn)形態(tài),并以資產(chǎn)管理的標(biāo)準(zhǔn)和要求,制定相關(guān)規(guī)范、組織相關(guān)流程。在數(shù)據(jù)分析系統(tǒng)中,應(yīng)通過(guò)為各個(gè)功能模塊的算法分別建立各自算法庫(kù)的方式進(jìn)行管理。英國(guó)數(shù)據(jù)存儲(chǔ)中心將研究型數(shù)據(jù)的生命周期歸納為有6個(gè)節(jié)點(diǎn)的環(huán)形結(jié)構(gòu)模型:數(shù)據(jù)創(chuàng)建、數(shù)據(jù)加工、數(shù)據(jù)分析、數(shù)據(jù)保存、數(shù)據(jù)訪(fǎng)問(wèn)、數(shù)據(jù)再利用[23]。

    基于該模型,本研究將數(shù)據(jù)分析算法的生命周期分為:規(guī)劃與定義、固化與存儲(chǔ)、選擇與使用、更新與迭代四個(gè)階段(見(jiàn)圖 3)。在具體使用時(shí),可以根據(jù)不同的項(xiàng)目需求,開(kāi)發(fā)各類(lèi)算法、各類(lèi)指標(biāo)和圖表,完善后將其加入算法庫(kù);也可以針對(duì)不同監(jiān)測(cè)項(xiàng)目從已有算法庫(kù)中提取適用的算法,滿(mǎn)足不同監(jiān)測(cè)項(xiàng)目數(shù)據(jù)分析的個(gè)性化創(chuàng)新要求。

    (四)數(shù)據(jù)質(zhì)量可靠性原則

    數(shù)據(jù)質(zhì)量可靠性原則是面向數(shù)據(jù)分析全流程的質(zhì)量把控要求。主要涉及元數(shù)據(jù)管理、數(shù)據(jù)分析、數(shù)據(jù)清洗、數(shù)據(jù)監(jiān)控和預(yù)警、數(shù)據(jù)質(zhì)量評(píng)估等過(guò)程[17]。

    以蘇州監(jiān)測(cè)項(xiàng)目為例,在數(shù)據(jù)分析中,對(duì)數(shù)據(jù)分析過(guò)程制定了“雙軌并行,雙盲比對(duì);無(wú)縫對(duì)接,無(wú)錯(cuò)流轉(zhuǎn)”的規(guī)范制度;對(duì)數(shù)據(jù)監(jiān)控和預(yù)警規(guī)劃了“抽樣校驗(yàn)、逆向校驗(yàn)”的校驗(yàn)技術(shù)方案,最大程度地保障了數(shù)據(jù)的可靠性。又如在數(shù)據(jù)清理環(huán)節(jié),算法庫(kù)中提供Java和Python兩種編程語(yǔ)言的相關(guān)算法,可從不同路徑獨(dú)立實(shí)現(xiàn)數(shù)據(jù)清理,并對(duì)清理數(shù)據(jù)結(jié)果進(jìn)行比對(duì)和校驗(yàn),確保數(shù)據(jù)可靠無(wú)誤后才能流轉(zhuǎn)到后續(xù)分析環(huán)節(jié)。

    四、蘇州市義務(wù)教育學(xué)業(yè)質(zhì)量監(jiān)測(cè)的

    總體流程

    蘇州市義務(wù)教育學(xué)業(yè)質(zhì)量監(jiān)測(cè)項(xiàng)目采用“學(xué)校全覆蓋、學(xué)生全參與、學(xué)科等比例抽樣”的組織方式,每年對(duì)全市初中三個(gè)年級(jí)學(xué)生開(kāi)展學(xué)業(yè)質(zhì)量及相關(guān)因素的全過(guò)程縱向評(píng)價(jià)和多維度橫向評(píng)價(jià)。監(jiān)測(cè)內(nèi)容主要由學(xué)業(yè)水平測(cè)試、學(xué)生相關(guān)因素問(wèn)卷調(diào)查和教師相關(guān)因素問(wèn)卷調(diào)查三部分構(gòu)成,學(xué)業(yè)水平測(cè)試內(nèi)容包括語(yǔ)文、數(shù)學(xué)、英語(yǔ)和科學(xué)四門(mén)學(xué)科。相關(guān)因素問(wèn)卷包括學(xué)生身心健康、學(xué)習(xí)品質(zhì)、一般學(xué)習(xí)行為、學(xué)業(yè)負(fù)擔(dān)、學(xué)業(yè)支持等維度,以及影響學(xué)生發(fā)展的個(gè)體、學(xué)校、家庭、社會(huì)等多方面因素。

    面對(duì)海量的監(jiān)測(cè)大數(shù)據(jù),快速準(zhǔn)確的監(jiān)測(cè)結(jié)果能夠及時(shí)反饋需求,蘇州監(jiān)測(cè)中心在教育部基礎(chǔ)教育質(zhì)量監(jiān)測(cè)中心的專(zhuān)業(yè)指導(dǎo)下,按照標(biāo)準(zhǔn)化流程和相關(guān)規(guī)范,構(gòu)建了包括“工具研發(fā)、組織實(shí)施、數(shù)據(jù)采集、數(shù)據(jù)分析、數(shù)據(jù)呈現(xiàn)、結(jié)果運(yùn)用”的蘇州監(jiān)測(cè)工作全流程的運(yùn)行閉環(huán)(見(jiàn)圖 4),并在實(shí)施過(guò)程中,不斷進(jìn)行自我迭代和自我完善。

    自2017年起,蘇州監(jiān)測(cè)中心逐步梳理和規(guī)劃監(jiān)測(cè)數(shù)據(jù)分析標(biāo)準(zhǔn)和規(guī)范,以數(shù)據(jù)治理為指導(dǎo),基于經(jīng)典測(cè)量理論(Classical Test Theory,CTT)和項(xiàng)目反應(yīng)理論(Item Response Theory,IRT),借助大數(shù)據(jù)技術(shù),形成了具有蘇州特色的區(qū)域教育質(zhì)量監(jiān)測(cè)數(shù)據(jù)分析系統(tǒng)(以下簡(jiǎn)稱(chēng)“數(shù)據(jù)分析系統(tǒng)”)。2021年,該系統(tǒng)為蘇州市義務(wù)教育質(zhì)量監(jiān)測(cè)處理63萬(wàn)余份試卷、6500余萬(wàn)條答題記錄的監(jiān)測(cè)數(shù)據(jù),2周內(nèi)高效且高質(zhì)量完成數(shù)據(jù)分析,2月內(nèi)完成了兩個(gè)學(xué)段、三個(gè)層級(jí)、七種類(lèi)型的批量基礎(chǔ)數(shù)據(jù)報(bào)告模板41套,并面向蘇州市各縣市區(qū)、285所初中和501所小學(xué)發(fā)布監(jiān)測(cè)基礎(chǔ)數(shù)據(jù)報(bào)告3647份,全面保障了監(jiān)測(cè)數(shù)據(jù)加工的效能。

    五、蘇州市教育質(zhì)量監(jiān)測(cè)

    數(shù)據(jù)分析系統(tǒng)的架構(gòu)

    教育質(zhì)量監(jiān)測(cè)的評(píng)價(jià)功能要求監(jiān)測(cè)工作是一把高度精準(zhǔn)的“刻度尺”,其診斷功能則要求監(jiān)測(cè)工作成為打開(kāi)教育過(guò)程“灰箱”的“體檢儀”,為教育現(xiàn)狀提供全面、便捷、快速、高效的健康體檢[24]。這些功能的背后,在數(shù)據(jù)分析環(huán)節(jié),需要具有規(guī)范、快速、高可靠性的系統(tǒng)進(jìn)行技術(shù)支持。蘇州監(jiān)測(cè)中心結(jié)合自身特點(diǎn),運(yùn)用數(shù)據(jù)治理的思想和方法,遵循數(shù)據(jù)分析系統(tǒng)構(gòu)建原則,構(gòu)建了蘇州監(jiān)測(cè)數(shù)據(jù)分析系統(tǒng)的架構(gòu)(如圖 5)。

    數(shù)據(jù)分析系統(tǒng)前承數(shù)據(jù)采集環(huán)節(jié),同時(shí)為后續(xù)的數(shù)據(jù)呈現(xiàn)環(huán)節(jié)提供數(shù)據(jù)支撐。與數(shù)據(jù)分析工作的6個(gè)環(huán)節(jié)相對(duì)應(yīng),系統(tǒng)由功能模塊、算法支撐和保障體系三個(gè)層級(jí)構(gòu)成,包括12個(gè)功能模塊、4個(gè)算法庫(kù)以及貫穿全過(guò)程的數(shù)據(jù)質(zhì)量保障體系。

    數(shù)據(jù)分析流程主要包括“建立項(xiàng)目、數(shù)據(jù)導(dǎo)入、數(shù)據(jù)清理、質(zhì)量分析、計(jì)算分析和數(shù)據(jù)推送”6個(gè)環(huán)節(jié)。在“建立項(xiàng)目”中,設(shè)置本次監(jiān)測(cè)的評(píng)價(jià)對(duì)象、評(píng)價(jià)內(nèi)容、評(píng)價(jià)目標(biāo)相關(guān)的信息數(shù)據(jù)。在“數(shù)據(jù)導(dǎo)入”中,從數(shù)據(jù)采集的各個(gè)系統(tǒng)中導(dǎo)入數(shù)據(jù),并對(duì)數(shù)據(jù)進(jìn)行初步校驗(yàn),以確保數(shù)據(jù)格式一致。在“數(shù)據(jù)清理”中對(duì)導(dǎo)入的數(shù)據(jù)進(jìn)行清理,去掉低質(zhì)量、不合要求的數(shù)據(jù),將其余規(guī)范、合理的數(shù)據(jù)進(jìn)行整合,集中存放在數(shù)據(jù)庫(kù)中?!百|(zhì)量分析”環(huán)節(jié)為監(jiān)測(cè)工具提供質(zhì)量分析報(bào)告,為監(jiān)測(cè)工具的打磨和修訂提供依據(jù),并生成數(shù)據(jù)反饋到題庫(kù)平臺(tái),形成業(yè)務(wù)閉環(huán)?!坝?jì)算分析”環(huán)節(jié)對(duì)多源數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化,并計(jì)算報(bào)告所需的各類(lèi)中間表數(shù)據(jù)。完成計(jì)算后,“數(shù)據(jù)推送”負(fù)責(zé)將數(shù)據(jù)推送到結(jié)果應(yīng)用環(huán)節(jié)的各個(gè)平臺(tái)和系統(tǒng)。

    功能模塊層共有12個(gè)模塊,為各個(gè)流程提供支撐:“監(jiān)測(cè)項(xiàng)目管理”是數(shù)據(jù)分析任務(wù)的起點(diǎn),包含了監(jiān)測(cè)任務(wù)在內(nèi)容、目標(biāo)方面的管理,提供管理多個(gè)數(shù)據(jù)分析任務(wù)并行的服務(wù)?!氨O(jiān)測(cè)對(duì)象管理”為項(xiàng)目的監(jiān)測(cè)對(duì)象構(gòu)建三個(gè)虛擬層級(jí),提供如“市—區(qū)域—學(xué)?!薄笆小瘓F(tuán)—區(qū)域”等靈活的數(shù)據(jù)結(jié)構(gòu),以滿(mǎn)足監(jiān)測(cè)項(xiàng)目不同的數(shù)據(jù)分析需求。監(jiān)測(cè)數(shù)據(jù)來(lái)源十分多元,涉及監(jiān)測(cè)對(duì)象基礎(chǔ)信息、工具維度信息以及答題記錄。“數(shù)據(jù)標(biāo)準(zhǔn)化”模塊負(fù)責(zé)與這些系統(tǒng)進(jìn)行對(duì)接,提供標(biāo)準(zhǔn)化數(shù)據(jù)接口、整合各類(lèi)數(shù)據(jù)、保障各系統(tǒng)內(nèi)數(shù)據(jù)流轉(zhuǎn),規(guī)范數(shù)據(jù)結(jié)構(gòu)、保持?jǐn)?shù)據(jù)結(jié)構(gòu)完整是數(shù)據(jù)分析的基礎(chǔ)。“數(shù)據(jù)校驗(yàn)”模塊負(fù)責(zé)對(duì)導(dǎo)入后的數(shù)據(jù)進(jìn)行格式校驗(yàn)和完整性校驗(yàn),剔除、修復(fù)不良結(jié)構(gòu)?!皩W(xué)科數(shù)據(jù)清理模塊”和“相關(guān)因素清理模塊”能夠有效處理缺失、錯(cuò)誤、重復(fù)的數(shù)據(jù),保障待處理數(shù)據(jù)的質(zhì)量?!氨O(jiān)測(cè)工具質(zhì)量分析”模塊基于多種統(tǒng)計(jì)分析方法,通過(guò)難度、區(qū)分度、能力值等指標(biāo),保障學(xué)科監(jiān)測(cè)工具和相關(guān)因素工具的科學(xué)規(guī)范?!皵?shù)據(jù)導(dǎo)出報(bào)告生成”模塊批量生成工具質(zhì)量分析報(bào)告,并導(dǎo)出供題庫(kù)系統(tǒng)導(dǎo)入的工具質(zhì)量數(shù)據(jù),為工具研磨提供依據(jù)?!皹?biāo)準(zhǔn)分計(jì)算”模塊將原始答題記錄轉(zhuǎn)換為學(xué)科量尺分和相關(guān)因素標(biāo)準(zhǔn)分?!爸虚g表計(jì)算”模塊將標(biāo)準(zhǔn)分轉(zhuǎn)為監(jiān)測(cè)指標(biāo)數(shù)據(jù),如百分等級(jí)、四水平、增值追蹤等。完成分析任務(wù)后,各項(xiàng)目的結(jié)果數(shù)據(jù)形成數(shù)據(jù),由“數(shù)據(jù)池管理”模塊統(tǒng)一管理,并通過(guò)“數(shù)據(jù)推送控制”模塊按需推送到數(shù)據(jù)呈現(xiàn)環(huán)節(jié)的各個(gè)系統(tǒng)。

    算法是數(shù)據(jù)分析的核心。算法層以算法庫(kù)的方式對(duì)數(shù)據(jù)清理、標(biāo)準(zhǔn)分計(jì)算、中間表計(jì)算、圖表生成等各個(gè)模塊算法進(jìn)行統(tǒng)一管理。對(duì)新的數(shù)據(jù)模型開(kāi)發(fā)個(gè)性化算法進(jìn)行穩(wěn)定性、準(zhǔn)確性測(cè)試,對(duì)成熟穩(wěn)定的算法進(jìn)行標(biāo)準(zhǔn)化封裝,從而不斷積累技術(shù)儲(chǔ)備,形成蘇州監(jiān)測(cè)算法庫(kù)。

    為保障總體框架中的各個(gè)功能系統(tǒng)能夠高質(zhì)量安全運(yùn)行,數(shù)據(jù)分析系統(tǒng)包含標(biāo)準(zhǔn)化的數(shù)據(jù)治理體系,包括數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)脫敏系統(tǒng)、數(shù)據(jù)質(zhì)量控制等系統(tǒng),并建立了一系列配套的數(shù)據(jù)分析的流程規(guī)范和監(jiān)控標(biāo)準(zhǔn),保障監(jiān)測(cè)數(shù)據(jù)的安全、可信和高質(zhì)量。

    六、蘇州市教育質(zhì)量監(jiān)測(cè)

    數(shù)據(jù)分析系統(tǒng)的運(yùn)用

    教育質(zhì)量監(jiān)測(cè)需要基于海量的、多維的、結(jié)構(gòu)化的監(jiān)測(cè)大數(shù)據(jù)對(duì)區(qū)域教育教學(xué)活動(dòng)進(jìn)行系統(tǒng)的價(jià)值判斷。蘇州監(jiān)測(cè)數(shù)據(jù)分析系統(tǒng)極大地提高了監(jiān)測(cè)數(shù)據(jù)的分析效率和評(píng)價(jià)效能,可以滿(mǎn)足蘇州市級(jí)各類(lèi)監(jiān)測(cè)項(xiàng)目數(shù)據(jù)分析的個(gè)性化需求,實(shí)現(xiàn)數(shù)據(jù)深度挖掘、監(jiān)測(cè)工具質(zhì)量分析、增值評(píng)價(jià)等功能。

    (一)通過(guò)豐富的算法庫(kù)開(kāi)展數(shù)據(jù)深度挖掘

    區(qū)域教育質(zhì)量監(jiān)測(cè)數(shù)據(jù)分析系統(tǒng)的建設(shè)既要有穩(wěn)定的基礎(chǔ)設(shè)計(jì),也要有靈活的功能拓展。穩(wěn)定的基礎(chǔ)設(shè)計(jì)是數(shù)據(jù)分析系統(tǒng)自動(dòng)化原則的體現(xiàn),具有相對(duì)統(tǒng)一的算法標(biāo)準(zhǔn),邏輯結(jié)構(gòu)也相對(duì)固定;靈活的拓展創(chuàng)新是數(shù)據(jù)分析系統(tǒng)能服務(wù)于各類(lèi)監(jiān)測(cè)的個(gè)性化需求。兩者共同構(gòu)成數(shù)據(jù)分析系統(tǒng)的算法支撐,使系統(tǒng)穩(wěn)定又不失靈活,提升系統(tǒng)的適用性。

    蘇州監(jiān)測(cè)中心的數(shù)據(jù)分析系統(tǒng)將監(jiān)測(cè)算法庫(kù)作為系統(tǒng)核心功能,基于算法庫(kù)支撐,一方面不斷將探索成熟、算法穩(wěn)定后的模型進(jìn)行標(biāo)準(zhǔn)化封裝入庫(kù),固化為成熟算法;另一方面還配合監(jiān)測(cè)中心對(duì)評(píng)價(jià)模型不斷探索,將新的數(shù)據(jù)分析模型轉(zhuǎn)換為算法,然后將算法用計(jì)算機(jī)編程封裝入庫(kù)。數(shù)據(jù)分析時(shí)各個(gè)流程可根據(jù)項(xiàng)目需要從庫(kù)中選擇合適的算法進(jìn)行運(yùn)算,從而推進(jìn)數(shù)據(jù)的深度挖掘。

    系統(tǒng)中目前已形成校驗(yàn)規(guī)則庫(kù)、清理規(guī)則庫(kù)、質(zhì)量分析指標(biāo)算法庫(kù)和數(shù)據(jù)分析算法庫(kù),分別為數(shù)據(jù)導(dǎo)入、數(shù)據(jù)清理、質(zhì)量分析和分析計(jì)算四個(gè)流程提供算法支持。各算法庫(kù)均已積累了一定規(guī)模的算法作為技術(shù)儲(chǔ)備,并隨著監(jiān)測(cè)工作的深入開(kāi)展,正在不斷形成新的算法。以清理規(guī)則庫(kù)為例,到目前為止已包含適應(yīng)各類(lèi)項(xiàng)目需求,針對(duì)缺考、選項(xiàng)矛盾、題間邏輯矛盾、無(wú)效選項(xiàng)等多種情況的清理算法累計(jì)達(dá)106條。以數(shù)據(jù)分析算法庫(kù)為例,既有對(duì)“百分等級(jí)”單一指標(biāo)的不同算法,也有對(duì)描述教育生態(tài)的多維特征指標(biāo)封裝的算法,如教育均衡情況、生態(tài)健康情況等。

    (二)開(kāi)展自動(dòng)快速的監(jiān)測(cè)工具質(zhì)量分析

    蘇州監(jiān)測(cè)中心的監(jiān)測(cè)工具質(zhì)量分析基于經(jīng)典測(cè)量理論和結(jié)構(gòu)方程模型,通過(guò)構(gòu)建質(zhì)量分析模型和算法,對(duì)監(jiān)測(cè)工具的命制質(zhì)量提供客觀(guān)有“證據(jù)”的數(shù)據(jù)分析,為分析試題、改進(jìn)工具質(zhì)量、改進(jìn)教育教學(xué)提供量化指標(biāo)。監(jiān)測(cè)工具質(zhì)量分析包含兩個(gè)部分,第一部分是學(xué)科工具質(zhì)量分析,對(duì)整卷質(zhì)量的分析采用整卷難度、區(qū)分度、信度、整卷平均值和得分區(qū)間段百分比等指標(biāo);對(duì)各試題質(zhì)量的分析采用難度、區(qū)分度、得分點(diǎn)的學(xué)生占比及平均能力值、各選項(xiàng)占比曲線(xiàn)、試題得分曲線(xiàn)等指標(biāo)。第二部分是相關(guān)因素工具質(zhì)量分析,主要包括檢驗(yàn)各維度的信效度,信度通過(guò)SPSS軟件進(jìn)行分析,主要呈現(xiàn)各維度信度、刪除該題項(xiàng)后的信度以及各題項(xiàng)的題總相關(guān)。效度通過(guò)Mplus軟件進(jìn)行分析,主要呈現(xiàn)各維度的驗(yàn)證性因子分析結(jié)果,呈現(xiàn)的指標(biāo)包括卡方、自由度、擬合指標(biāo)(RESEA、SRMR、CFI、TLI)以及各題項(xiàng)的因子載荷。

    蘇州監(jiān)測(cè)中心的監(jiān)測(cè)工具質(zhì)量分析系統(tǒng)能批量生成圖表和質(zhì)量分析報(bào)告,并支持生成試題質(zhì)量數(shù)據(jù)反饋到題庫(kù)平臺(tái),從而在監(jiān)測(cè)工具命制上形成業(yè)務(wù)閉環(huán)。以2021年為例,在蘇州監(jiān)測(cè)項(xiàng)目的全流程中,數(shù)據(jù)分析系統(tǒng)根據(jù)監(jiān)測(cè)數(shù)據(jù),自動(dòng)處理并快速生成各科各級(jí)質(zhì)量分析報(bào)告25份,其中學(xué)科工具質(zhì)量分析報(bào)告22份、學(xué)生相關(guān)因素質(zhì)量分析報(bào)告2份、教師相關(guān)因素質(zhì)量分析報(bào)告1份,為監(jiān)測(cè)工具質(zhì)量的改進(jìn)及提升,提供了更加多維可信的量化證據(jù)。

    (三)構(gòu)建科學(xué)、簡(jiǎn)明、直觀(guān)的學(xué)生增值評(píng)價(jià)模型

    增值評(píng)價(jià)是以學(xué)生進(jìn)步幅度來(lái)衡量學(xué)校努力程度的一種評(píng)價(jià)方式,增值評(píng)價(jià)重視學(xué)生的學(xué)習(xí)起點(diǎn),關(guān)注學(xué)習(xí)過(guò)程,依據(jù)一段時(shí)間內(nèi)學(xué)生的學(xué)業(yè)水平、綜合能力和素質(zhì)等方面的表現(xiàn),形成從起點(diǎn)看終點(diǎn)、從入口看出口的增值評(píng)價(jià)。蘇州監(jiān)測(cè)中心構(gòu)建適用于蘇州本土、易于一線(xiàn)教師理解和接受的多種增值評(píng)價(jià)模型,實(shí)現(xiàn)了對(duì)學(xué)校的連年追蹤,從而能夠更加公正、科學(xué)、有效地對(duì)各學(xué)校學(xué)業(yè)質(zhì)量的發(fā)展?fàn)顩r進(jìn)行精準(zhǔn)的評(píng)估[25]。

    為此,蘇州監(jiān)測(cè)中心的數(shù)據(jù)分析系統(tǒng)建立了大規(guī)模的追蹤數(shù)據(jù)庫(kù),利用智能采集技術(shù)獲取學(xué)生學(xué)業(yè)水平成績(jī)、學(xué)習(xí)品質(zhì)、心理健康等縱向數(shù)據(jù),實(shí)現(xiàn)百分等級(jí)增值評(píng)價(jià)模型和四水平增值評(píng)價(jià)的模型;利用數(shù)據(jù)庫(kù)鏈接技術(shù)實(shí)現(xiàn)學(xué)生數(shù)據(jù)庫(kù)與家庭、教師、學(xué)校等數(shù)據(jù)庫(kù)之間的橫向鏈接,實(shí)現(xiàn)單次監(jiān)測(cè)的增值評(píng)價(jià)模型;通過(guò)SQL Server事件探査器的跟蹤技術(shù)對(duì)數(shù)據(jù)進(jìn)行跟蹤,利用智能技術(shù)完成對(duì)數(shù)據(jù)庫(kù)的維護(hù),為蘇州監(jiān)測(cè)中心構(gòu)建增值評(píng)價(jià)模型提供技術(shù)支持,為開(kāi)展增值評(píng)價(jià)提供了數(shù)據(jù)支撐。

    七、蘇州教育質(zhì)量監(jiān)測(cè)

    數(shù)據(jù)分析系統(tǒng)建設(shè)的展望

    經(jīng)過(guò)多年的實(shí)踐探索,蘇州監(jiān)測(cè)中心已初步構(gòu)建了以“高信度的監(jiān)測(cè)數(shù)據(jù)、高效能的數(shù)據(jù)加工”為特征的區(qū)域級(jí)教育質(zhì)量監(jiān)測(cè)數(shù)據(jù)分析系統(tǒng),成為蘇州教育質(zhì)量監(jiān)測(cè)工作的重要支點(diǎn)。蘇州教育質(zhì)量監(jiān)測(cè)數(shù)據(jù)分析系統(tǒng)具有與以往基于經(jīng)驗(yàn)的教育數(shù)據(jù)分析所不具備的獨(dú)特技術(shù)手段和思維方式,實(shí)現(xiàn)了價(jià)值理性、工具理性和實(shí)用理性的完美統(tǒng)一。隨著智能化時(shí)代的到來(lái),大數(shù)據(jù)和教育質(zhì)量監(jiān)測(cè)需要更加深度融合,新的目標(biāo)和需求將倒逼教育質(zhì)量監(jiān)測(cè)的數(shù)據(jù)分析進(jìn)行技術(shù)突破,不斷拓展廣度、深度、精細(xì)度和效能,也倒逼我們不斷提升專(zhuān)業(yè)能力,推動(dòng)我們的探索走向教育測(cè)評(píng)領(lǐng)域新的無(wú)人區(qū)。

    區(qū)域教育質(zhì)量監(jiān)測(cè)數(shù)據(jù)分析系統(tǒng)的建立并非一日之功,隨著全國(guó)范圍教育質(zhì)量監(jiān)測(cè)工作的深入推進(jìn),必將面臨更多的新問(wèn)題和新挑戰(zhàn),無(wú)論是底層的基礎(chǔ)研究,還是相關(guān)的技術(shù),從工具研發(fā)、數(shù)據(jù)采集到監(jiān)測(cè)結(jié)果的報(bào)告與使用,每個(gè)環(huán)節(jié)都有很多問(wèn)題值得深入研究與探討[2]。面對(duì)預(yù)先規(guī)劃后采集的教育數(shù)據(jù)富礦,如何利用智能技術(shù)提高數(shù)據(jù)挖掘能力,做到發(fā)現(xiàn)經(jīng)驗(yàn)、尋找問(wèn)題、預(yù)判預(yù)警?如何揭示監(jiān)測(cè)數(shù)據(jù)背后人與情的細(xì)節(jié)、事與理的邏輯,從而精準(zhǔn)指導(dǎo)學(xué)校做好監(jiān)測(cè)結(jié)果運(yùn)用?如何利用智能技術(shù)找準(zhǔn)數(shù)據(jù)之間深層次的聯(lián)結(jié)關(guān)系和作用機(jī)制,從而形成科學(xué)決策?如何基于多維監(jiān)測(cè)數(shù)據(jù),在系統(tǒng)改進(jìn)的層面上促進(jìn)教育生態(tài)的良性發(fā)展?這些新挑戰(zhàn)都有待教育質(zhì)量監(jiān)測(cè)領(lǐng)域的同行共同努力。

    參考文獻(xiàn):

    [1]新華社.中共中央辦公廳 國(guó)務(wù)院辦公廳印發(fā)《關(guān)于深化新時(shí)代教育督導(dǎo)體制機(jī)制改革的意見(jiàn)》[EB/OL].(2020-02-19)[2022-02-17].http://www.moe.gov.cn/jyb_xxgk/moe_ 1777/moe_1778/202002/t20200219_422406.html.

    [2]田偉,楊麗萍,辛濤,等.科技賦能教育監(jiān)測(cè)與評(píng)價(jià):現(xiàn)狀與前瞻[J].中國(guó)遠(yuǎn)程教育,2022(1):1-11,92.

    [3]劉麗霞.大數(shù)據(jù)背景下成人教學(xué)質(zhì)量監(jiān)測(cè)研究[J].繼續(xù)教育,2017,31(5):15-18.

    [4]王燕春.省級(jí)基礎(chǔ)教育質(zhì)量監(jiān)測(cè)學(xué)科工具研發(fā)初探[J].時(shí)代教育,2016(24):33.

    [5]張愛(ài)蘭.構(gòu)建政府支持、獨(dú)立運(yùn)轉(zhuǎn)的基礎(chǔ)教育質(zhì)量監(jiān)測(cè)與保障機(jī)制[J].教育測(cè)量與評(píng)價(jià)(理論版),2010(8):12-15.

    [6]楊瑩瑩.區(qū)域義務(wù)教育質(zhì)量監(jiān)測(cè)何以止于報(bào)告——基于學(xué)校層面監(jiān)測(cè)結(jié)果使用的思考[J].教育理論與實(shí)踐,2019,39(26):3-6.

    [7]郭滇華,王合義.關(guān)于實(shí)施義務(wù)教育質(zhì)量監(jiān)測(cè)的調(diào)查研究——基于天津市16個(gè)區(qū)縣的調(diào)查[J].天津市教科院學(xué)報(bào),2016(4):32-35.

    [8]張敏強(qiáng),凡細(xì)珍,郭凱茵,等.大數(shù)據(jù)理念下教育質(zhì)量監(jiān)測(cè)評(píng)價(jià)的變革與發(fā)展[J].現(xiàn)代教育論叢,2016(3):2-6.

    [9]李凌艷,陳慧娟.推進(jìn)我國(guó)基礎(chǔ)教育質(zhì)量監(jiān)測(cè)制度建設(shè)的基本戰(zhàn)略與體系保障[J].中國(guó)教育學(xué)刊,2020(3):68-73.

    [10]辛濤,趙茜.基礎(chǔ)教育質(zhì)量監(jiān)測(cè)評(píng)價(jià)體系的取向、結(jié)構(gòu)與保障[J].國(guó)家教育行政學(xué)院學(xué)報(bào),2020(9):16-23,43.

    [11]李凌艷,任曉瓊,江照富.我國(guó)區(qū)域基礎(chǔ)教育質(zhì)量監(jiān)測(cè)的探索與思考[J].中國(guó)教育學(xué)刊,2017(12):37-41.

    [12]周家榮.基礎(chǔ)教育質(zhì)量監(jiān)測(cè)的機(jī)制及體系構(gòu)建[J].上海教育評(píng)估研究,2016(5):1-7.

    [13]DAMA. DAMA: Guide to the data management body of knowledge[M]. USA: Technics Publications, LLC, 2009:5-47.

    [14]IBM Corporation. The IBM Data Governance Council Maturity Model: Building a roadmap for effective data governance[R]. USA: IBM Corporation, 2007.

    [15]張一鳴.數(shù)據(jù)治理過(guò)程淺析[J].中國(guó)信息界,2012(9):15-17.

    [16]張寧,袁勤儉.數(shù)據(jù)治理研究述評(píng)[J].情報(bào)雜志,2017,36(5):129-134,157.

    [17]VIJAY K, CAROL V B. Designing data governance[J]. Communi-cations of the ACM,2010,53(1):148-152.

    [18]陳火全.大數(shù)據(jù)背景下數(shù)據(jù)治理的網(wǎng)絡(luò)安全策略[J].宏觀(guān)經(jīng)濟(jì)研究,2015(8):76-84,142.

    [19]李青,韓俊紅.數(shù)據(jù)治理:提升教育數(shù)據(jù)質(zhì)量的方法和途徑[J].中國(guó)遠(yuǎn)程教育,2018(8):45-53,80.

    [20]洪偉,徐峰,任劍嵐,等.省級(jí)教育數(shù)據(jù)治理探索與實(shí)踐[J].中國(guó)教育信息化,2020(3):7-12.

    [21]黃乙中.淺談數(shù)據(jù)治理建設(shè)方案[J].輕工科技,2020,36(1):65-67.

    [22]葉宗裕.關(guān)于多指標(biāo)綜合評(píng)價(jià)中指標(biāo)正向化和無(wú)量綱化方法的選擇[J].浙江統(tǒng)計(jì),2003(4):25-26.

    [23]UK Data Service. Research Data Lifecycle[EB/OL]. (2019-08-12)[2022-02-17]. http://www.data-archive.ac.uk/create-manage/life-cycle.

    [24]羅強(qiáng).高品質(zhì):教育質(zhì)量監(jiān)測(cè)的目標(biāo)追求[J].江蘇教育,2020(42):10-13,28.

    [25]羅強(qiáng),馮杰.學(xué)業(yè)質(zhì)量監(jiān)測(cè)增值評(píng)價(jià)模型的探索[J].中小學(xué)信息技術(shù)教育,2019(10):11-16.

    Exploration and Practice of Regional Education Quality Monitoring Data Analysis System under the Concept of Data Governance

    Jian SHEN1, Qiang LUO2

    (1.Suzhou High School-SIP, Suzhou 215021, Jiangsu;

    2.Suzhou Education Quality Monitoring Center, Suzhou 215006, Jiangsu)

    Abstract: Education quality monitoring data analysis involves massive amounts of data and warrants urgent research and application of data governance related theories. This paper employs research methods such as literature review and case analysis, to clarify the concept of data governance in the data analysis stage of education quality monitoring and explore the construction principles and framework of the analysis system. Using the Suzhou Education Quality Monitoring Data Analysis System as a case study, the paper elaborates on the specific application and practice of data governance concepts in the construction of regional education quality monitoring data analysis systems. The overall framework of Suzhou’s monitoring data analysis system consists of three levels, including functional modules, algorithm support, and a guarantee system, which consists of 12 functional modules, 4 algorithm libraries, and a data quality guarantee system that runs throughout the entire process, enabling functions such as deep data mining, quality analysis of monitoring tools, and value-added evaluation. This research can provide a reference for the construction and application of regional education quality monitoring data analysis systems.

    Keywords: Education quality monitoring; Data governance; Data standardization; Data analysis system; Regional education

    編輯:李曉萍 " 校對(duì):王天鵬

    DOI: 10.3969/j.issn.1673-8454.2023.04.009

    作者簡(jiǎn)介:沈健,江蘇省蘇州中學(xué)園區(qū)校一級(jí)教師(江蘇蘇州 215021);羅強(qiáng),蘇州市教育質(zhì)量監(jiān)測(cè)中心主任,正高級(jí)教師(江蘇蘇州 215006)

    基金項(xiàng)目:江蘇省教育科學(xué)“十三五”規(guī)劃2019年度重點(diǎn)自籌課題“基于監(jiān)測(cè)大數(shù)據(jù)的區(qū)域教育質(zhì)量提升路徑研究”(編號(hào):E-b/2020/16)

    亚洲第一av免费看| 午夜精品在线福利| 91精品三级在线观看| 国产xxxxx性猛交| 丝袜人妻中文字幕| 香蕉丝袜av| 亚洲性夜色夜夜综合| 啦啦啦 在线观看视频| 88av欧美| 国产私拍福利视频在线观看| 午夜福利免费观看在线| www.999成人在线观看| 99国产精品免费福利视频| 嫩草影院精品99| 叶爱在线成人免费视频播放| 国产精品久久久人人做人人爽| 男女床上黄色一级片免费看| 欧美激情极品国产一区二区三区| 制服丝袜大香蕉在线| 亚洲精品久久国产高清桃花| 亚洲色图 男人天堂 中文字幕| 操美女的视频在线观看| 可以免费在线观看a视频的电影网站| 国产高清videossex| 黄色毛片三级朝国网站| 欧美日韩瑟瑟在线播放| 身体一侧抽搐| 日韩成人在线观看一区二区三区| 国产又色又爽无遮挡免费看| 99在线人妻在线中文字幕| 午夜亚洲福利在线播放| 日韩高清综合在线| 性少妇av在线| 丰满人妻熟妇乱又伦精品不卡| 日韩大尺度精品在线看网址 | 亚洲天堂国产精品一区在线| www.熟女人妻精品国产| 亚洲色图综合在线观看| 中文字幕av电影在线播放| 91精品国产国语对白视频| 一级毛片精品| 好看av亚洲va欧美ⅴa在| 欧美性长视频在线观看| 黄色成人免费大全| 亚洲国产欧美日韩在线播放| 999久久久精品免费观看国产| 丝袜在线中文字幕| 97碰自拍视频| 日韩成人在线观看一区二区三区| 久久国产精品男人的天堂亚洲| 美女午夜性视频免费| 日韩欧美一区二区三区在线观看| 国产欧美日韩精品亚洲av| 国内毛片毛片毛片毛片毛片| www.www免费av| 久久久精品国产亚洲av高清涩受| 狂野欧美激情性xxxx| 国产精品电影一区二区三区| 波多野结衣巨乳人妻| 又黄又爽又免费观看的视频| 一区二区三区激情视频| 波多野结衣高清无吗| av视频免费观看在线观看| 精品国产美女av久久久久小说| 99国产综合亚洲精品| 中亚洲国语对白在线视频| 男人操女人黄网站| 女警被强在线播放| 午夜福利成人在线免费观看| 黄色a级毛片大全视频| 国产亚洲精品av在线| 757午夜福利合集在线观看| 久久婷婷成人综合色麻豆| 免费看a级黄色片| 日韩 欧美 亚洲 中文字幕| 亚洲激情在线av| 久久精品国产清高在天天线| www.999成人在线观看| 日本免费a在线| 亚洲五月婷婷丁香| 少妇的丰满在线观看| 午夜免费鲁丝| 色综合婷婷激情| 99国产精品一区二区三区| 一级a爱视频在线免费观看| 婷婷精品国产亚洲av在线| 亚洲视频免费观看视频| 亚洲人成77777在线视频| 禁无遮挡网站| 日韩一卡2卡3卡4卡2021年| 丝袜美足系列| 一区二区日韩欧美中文字幕| 一级作爱视频免费观看| 欧美 亚洲 国产 日韩一| 97人妻精品一区二区三区麻豆 | 亚洲一码二码三码区别大吗| 黄片播放在线免费| 涩涩av久久男人的天堂| 国产精品 国内视频| 成人18禁高潮啪啪吃奶动态图| 侵犯人妻中文字幕一二三四区| 他把我摸到了高潮在线观看| 女警被强在线播放| 日韩国内少妇激情av| 国产又爽黄色视频| 十八禁人妻一区二区| 精品国产乱子伦一区二区三区| 一区二区三区高清视频在线| 亚洲九九香蕉| 可以免费在线观看a视频的电影网站| 成人国产综合亚洲| 日本精品一区二区三区蜜桃| 老司机午夜十八禁免费视频| 成年版毛片免费区| 岛国视频午夜一区免费看| 欧美色视频一区免费| 欧美最黄视频在线播放免费| 97人妻精品一区二区三区麻豆 | tocl精华| 国产熟女xx| 韩国精品一区二区三区| 满18在线观看网站| 啦啦啦观看免费观看视频高清 | 熟女少妇亚洲综合色aaa.| 亚洲精品一卡2卡三卡4卡5卡| 精品乱码久久久久久99久播| 一级作爱视频免费观看| 欧美日韩瑟瑟在线播放| 老汉色av国产亚洲站长工具| 成年女人毛片免费观看观看9| 国产乱人伦免费视频| 亚洲第一青青草原| 欧美日韩一级在线毛片| 欧美激情久久久久久爽电影 | 中文字幕高清在线视频| 亚洲精品久久成人aⅴ小说| 大香蕉久久成人网| 一本综合久久免费| 国产又爽黄色视频| 国产一区二区激情短视频| 久久精品人人爽人人爽视色| 91av网站免费观看| av超薄肉色丝袜交足视频| 国产成人av教育| √禁漫天堂资源中文www| 91在线观看av| 女人被躁到高潮嗷嗷叫费观| 大型黄色视频在线免费观看| 国产高清激情床上av| 99riav亚洲国产免费| 成人欧美大片| 国产主播在线观看一区二区| 美女 人体艺术 gogo| 欧美精品啪啪一区二区三区| 长腿黑丝高跟| 欧美日韩亚洲国产一区二区在线观看| 亚洲国产欧美日韩在线播放| 亚洲国产精品成人综合色| 成人18禁高潮啪啪吃奶动态图| 91字幕亚洲| 亚洲七黄色美女视频| 亚洲天堂国产精品一区在线| 亚洲成人精品中文字幕电影| 18美女黄网站色大片免费观看| 看免费av毛片| 在线观看一区二区三区| 国产成人一区二区三区免费视频网站| 精品少妇一区二区三区视频日本电影| 女生性感内裤真人,穿戴方法视频| 国产亚洲欧美98| 欧美日韩精品网址| 国产一区二区激情短视频| 中文字幕色久视频| 老司机靠b影院| 久久人妻福利社区极品人妻图片| av天堂久久9| 国产高清视频在线播放一区| 久久久久久久精品吃奶| 波多野结衣巨乳人妻| 日韩 欧美 亚洲 中文字幕| 禁无遮挡网站| 在线观看舔阴道视频| 久久精品aⅴ一区二区三区四区| 国产欧美日韩一区二区精品| 欧美不卡视频在线免费观看 | 日本欧美视频一区| 国产色视频综合| 国产亚洲精品一区二区www| 亚洲精品久久成人aⅴ小说| 欧美人与性动交α欧美精品济南到| 国产亚洲精品一区二区www| 久热这里只有精品99| 亚洲人成电影免费在线| 国产乱人伦免费视频| 免费高清视频大片| 国产单亲对白刺激| 老司机靠b影院| 狠狠狠狠99中文字幕| xxx96com| 美女午夜性视频免费| 欧美乱妇无乱码| 欧美日本视频| 亚洲久久久国产精品| 女人被狂操c到高潮| 亚洲熟女毛片儿| 日韩视频一区二区在线观看| 欧美大码av| 久久久久亚洲av毛片大全| 亚洲精华国产精华精| 窝窝影院91人妻| 国产在线观看jvid| 一进一出抽搐动态| 国产精品亚洲一级av第二区| 欧美日韩乱码在线| 脱女人内裤的视频| 色综合亚洲欧美另类图片| 欧美日韩一级在线毛片| 侵犯人妻中文字幕一二三四区| 午夜福利免费观看在线| 欧美一级a爱片免费观看看 | 亚洲少妇的诱惑av| 香蕉国产在线看| 久久精品亚洲熟妇少妇任你| 国产亚洲欧美在线一区二区| 国产色爽女视频免费观看| 国产一区二区三区av在线 | 日本 欧美在线| 天堂av国产一区二区熟女人妻| 最新中文字幕久久久久| xxxwww97欧美| 12—13女人毛片做爰片一| 免费人成视频x8x8入口观看| 99精品在免费线老司机午夜| 黄色女人牲交| 成熟少妇高潮喷水视频| 午夜福利高清视频| 久久久久九九精品影院| 国内精品一区二区在线观看| 淫秽高清视频在线观看| 免费观看精品视频网站| 久久久成人免费电影| 免费在线观看成人毛片| av在线蜜桃| 91麻豆精品激情在线观看国产| 亚洲欧美激情综合另类| 久久久久久九九精品二区国产| 女人十人毛片免费观看3o分钟| 黄色欧美视频在线观看| 国产精品免费一区二区三区在线| 中文字幕免费在线视频6| 精品一区二区三区视频在线观看免费| 88av欧美| 国产精品久久久久久av不卡| 一级av片app| a级一级毛片免费在线观看| 97碰自拍视频| 美女xxoo啪啪120秒动态图| 又爽又黄无遮挡网站| 日韩欧美在线乱码| 日日啪夜夜撸| 天美传媒精品一区二区| 精品一区二区三区视频在线| 色av中文字幕| 小蜜桃在线观看免费完整版高清| 三级国产精品欧美在线观看| 天堂动漫精品| 99在线视频只有这里精品首页| 亚洲在线观看片| 欧美一区二区精品小视频在线| 亚洲精品国产成人久久av| 日本黄色片子视频| 日韩,欧美,国产一区二区三区 | 制服丝袜大香蕉在线| 免费看日本二区| 少妇熟女aⅴ在线视频| 美女免费视频网站| 深爱激情五月婷婷| 成熟少妇高潮喷水视频| 又紧又爽又黄一区二区| 国产成年人精品一区二区| 女人被狂操c到高潮| 国内精品美女久久久久久| а√天堂www在线а√下载| 国产av麻豆久久久久久久| 国产蜜桃级精品一区二区三区| 在线看三级毛片| 国产一区二区三区视频了| 亚洲黑人精品在线| 在线观看舔阴道视频| 精品午夜福利在线看| 亚洲av电影不卡..在线观看| 99国产极品粉嫩在线观看| 最近在线观看免费完整版| 黄色日韩在线| 欧美激情在线99| 在线国产一区二区在线| 九色成人免费人妻av| 国产精品永久免费网站| 热99在线观看视频| 老司机福利观看| 日韩一本色道免费dvd| 18禁裸乳无遮挡免费网站照片| 伦精品一区二区三区| 长腿黑丝高跟| 亚洲在线自拍视频| 一进一出好大好爽视频| 日韩欧美在线二视频| 国产三级在线视频| 热99re8久久精品国产| 亚洲电影在线观看av| 亚洲五月天丁香| 成人永久免费在线观看视频| 露出奶头的视频| 精品一区二区三区av网在线观看| 日日撸夜夜添| 老师上课跳d突然被开到最大视频| 久久国产乱子免费精品| 国产亚洲欧美98| 国内少妇人妻偷人精品xxx网站| 嫁个100分男人电影在线观看| 欧美+日韩+精品| 亚洲国产欧美人成| 啦啦啦观看免费观看视频高清| 九九久久精品国产亚洲av麻豆| 国产单亲对白刺激| 免费看a级黄色片| 无人区码免费观看不卡| 一进一出抽搐gif免费好疼| 男插女下体视频免费在线播放| 色综合色国产| 亚洲欧美日韩卡通动漫| 老熟妇乱子伦视频在线观看| 极品教师在线免费播放| 日韩欧美在线乱码| 欧美日韩中文字幕国产精品一区二区三区| 波多野结衣巨乳人妻| 波多野结衣高清作品| 别揉我奶头 嗯啊视频| 日本色播在线视频| 久久草成人影院| 国产一区二区三区av在线 | 真人一进一出gif抽搐免费| 三级男女做爰猛烈吃奶摸视频| 欧美在线一区亚洲| 在线免费观看不下载黄p国产 | 男人和女人高潮做爰伦理| 看十八女毛片水多多多| 亚洲黑人精品在线| 亚洲色图av天堂| 精品免费久久久久久久清纯| 老司机深夜福利视频在线观看| 一级毛片久久久久久久久女| 亚洲性久久影院| 成人特级av手机在线观看| 国产综合懂色| 美女高潮喷水抽搐中文字幕| 中文字幕久久专区| 波多野结衣高清作品| 亚洲天堂国产精品一区在线| 国产成年人精品一区二区| 尤物成人国产欧美一区二区三区| 黄色女人牲交| 午夜久久久久精精品| 久久亚洲精品不卡| 日韩欧美在线二视频| 久久精品久久久久久噜噜老黄 | 国产91精品成人一区二区三区| 亚洲人成网站在线播| 亚洲国产精品sss在线观看| aaaaa片日本免费| 一进一出抽搐gif免费好疼| 欧美色视频一区免费| 1000部很黄的大片| 熟女人妻精品中文字幕| 国产精品一区二区性色av| 日本一二三区视频观看| av.在线天堂| 给我免费播放毛片高清在线观看| 中文亚洲av片在线观看爽| 国产精品久久视频播放| 欧美日韩综合久久久久久 | 国产探花极品一区二区| 搡老妇女老女人老熟妇| 亚洲国产精品合色在线| 91久久精品国产一区二区成人| 国产毛片a区久久久久| 69人妻影院| 特级一级黄色大片| 日日干狠狠操夜夜爽| 不卡视频在线观看欧美| 亚洲国产精品成人综合色| 亚洲色图av天堂| 天天躁日日操中文字幕| 亚洲av五月六月丁香网| 久久天躁狠狠躁夜夜2o2o| 两性午夜刺激爽爽歪歪视频在线观看| 国产男人的电影天堂91| 国产成人a区在线观看| 九九久久精品国产亚洲av麻豆| 国产成人av教育| 九九在线视频观看精品| 亚洲最大成人手机在线| 成人毛片a级毛片在线播放| 99在线人妻在线中文字幕| 观看免费一级毛片| 国产男人的电影天堂91| 看片在线看免费视频| 国产精品日韩av在线免费观看| 国产精品电影一区二区三区| 淫秽高清视频在线观看| 日本熟妇午夜| 中亚洲国语对白在线视频| 欧美日韩综合久久久久久 | 波野结衣二区三区在线| 最后的刺客免费高清国语| 99视频精品全部免费 在线| 亚洲精品久久国产高清桃花| 国产免费一级a男人的天堂| 麻豆国产av国片精品| 91午夜精品亚洲一区二区三区 | 国产伦精品一区二区三区视频9| 蜜桃久久精品国产亚洲av| 午夜a级毛片| 亚洲天堂国产精品一区在线| 久久人人爽人人爽人人片va| 中文字幕av在线有码专区| 成人特级av手机在线观看| 免费av观看视频| 一夜夜www| 色综合色国产| 久久国内精品自在自线图片| 亚洲国产高清在线一区二区三| 中亚洲国语对白在线视频| 成人高潮视频无遮挡免费网站| 精品久久久久久久久av| 如何舔出高潮| av在线蜜桃| 色精品久久人妻99蜜桃| 日韩精品中文字幕看吧| 亚洲内射少妇av| 精品人妻一区二区三区麻豆 | 亚洲色图av天堂| 国产一区二区在线av高清观看| 中文在线观看免费www的网站| 五月伊人婷婷丁香| 亚洲七黄色美女视频| 欧美日本视频| 色综合站精品国产| 久久精品国产亚洲网站| 一区二区三区激情视频| 色播亚洲综合网| 不卡视频在线观看欧美| 国内毛片毛片毛片毛片毛片| 联通29元200g的流量卡| 久久99热这里只有精品18| 亚洲人成网站在线播| 久久精品国产自在天天线| 91精品国产九色| 国产 一区精品| bbb黄色大片| 国产一级毛片七仙女欲春2| 2021天堂中文幕一二区在线观| 国产精品98久久久久久宅男小说| 一个人免费在线观看电影| 国产av麻豆久久久久久久| 美女高潮喷水抽搐中文字幕| 国产在视频线在精品| 久久精品国产自在天天线| 性欧美人与动物交配| eeuss影院久久| 级片在线观看| 国产一区二区激情短视频| 国产精品99久久久久久久久| av视频在线观看入口| 夜夜看夜夜爽夜夜摸| 精品一区二区三区视频在线| 国产精品福利在线免费观看| 亚洲一区高清亚洲精品| 久久久午夜欧美精品| 国产麻豆成人av免费视频| 日韩一本色道免费dvd| 别揉我奶头~嗯~啊~动态视频| 1000部很黄的大片| 麻豆成人午夜福利视频| 国产高清不卡午夜福利| 亚洲aⅴ乱码一区二区在线播放| 国产免费男女视频| 琪琪午夜伦伦电影理论片6080| 男女那种视频在线观看| 国产精品,欧美在线| 少妇猛男粗大的猛烈进出视频 | 老熟妇仑乱视频hdxx| 成人无遮挡网站| 亚洲国产精品合色在线| 观看美女的网站| 伦精品一区二区三区| 综合色av麻豆| 亚洲精华国产精华液的使用体验 | 国产精品一区二区三区四区免费观看 | 亚洲av二区三区四区| 极品教师在线免费播放| 中文字幕av在线有码专区| 精品久久久久久久久av| 国产精品电影一区二区三区| 男女边吃奶边做爰视频| 国内精品久久久久精免费| 久久久久久伊人网av| 最近最新中文字幕大全电影3| 久久久成人免费电影| 午夜福利成人在线免费观看| 此物有八面人人有两片| 真人一进一出gif抽搐免费| 欧美日韩综合久久久久久 | 亚洲人成网站在线播| 婷婷色综合大香蕉| 成人鲁丝片一二三区免费| 免费看a级黄色片| x7x7x7水蜜桃| 97碰自拍视频| 午夜激情欧美在线| 91午夜精品亚洲一区二区三区 | 91久久精品电影网| 国产真实乱freesex| 999久久久精品免费观看国产| 高清毛片免费观看视频网站| 波野结衣二区三区在线| 色精品久久人妻99蜜桃| 精品福利观看| 丝袜美腿在线中文| 黄色配什么色好看| 亚洲精华国产精华精| 免费av不卡在线播放| 亚洲黑人精品在线| 看十八女毛片水多多多| 成人无遮挡网站| 久久久午夜欧美精品| 国产久久久一区二区三区| 国产av不卡久久| 国产探花极品一区二区| 亚洲四区av| 亚洲成人中文字幕在线播放| 亚洲在线观看片| 91在线精品国自产拍蜜月| 免费观看在线日韩| 成年免费大片在线观看| 亚洲精品色激情综合| 成人永久免费在线观看视频| 亚洲av免费高清在线观看| 日韩欧美精品v在线| 天堂网av新在线| 天美传媒精品一区二区| 亚洲一区二区三区色噜噜| 亚洲欧美精品综合久久99| 亚洲av免费在线观看| 两性午夜刺激爽爽歪歪视频在线观看| 国内精品宾馆在线| 国产一区二区在线观看日韩| 国产精品电影一区二区三区| 男女视频在线观看网站免费| 亚洲 国产 在线| 别揉我奶头 嗯啊视频| 久久久精品欧美日韩精品| 国产老妇女一区| 干丝袜人妻中文字幕| 在线免费观看的www视频| 欧美激情国产日韩精品一区| 午夜精品在线福利| 婷婷色综合大香蕉| 麻豆一二三区av精品| 嫩草影院入口| 2021天堂中文幕一二区在线观| 国产 一区 欧美 日韩| 搡老妇女老女人老熟妇| 两个人的视频大全免费| 欧美另类亚洲清纯唯美| 欧美性猛交黑人性爽| 国产精品98久久久久久宅男小说| 美女 人体艺术 gogo| 久久中文看片网| 亚洲性久久影院| 俺也久久电影网| 亚洲成人中文字幕在线播放| 联通29元200g的流量卡| 少妇猛男粗大的猛烈进出视频 | 悠悠久久av| 欧美日韩亚洲国产一区二区在线观看| 男女边吃奶边做爰视频| 女同久久另类99精品国产91| 亚洲一区高清亚洲精品| 99在线人妻在线中文字幕| 亚洲色图av天堂| 99热这里只有是精品在线观看| 免费不卡的大黄色大毛片视频在线观看 | h日本视频在线播放| 国产中年淑女户外野战色| 高清日韩中文字幕在线| 亚洲欧美日韩东京热| 午夜精品在线福利| 国产高清激情床上av| 亚洲成av人片在线播放无| 99久久精品国产国产毛片| 色噜噜av男人的天堂激情| 小蜜桃在线观看免费完整版高清| 春色校园在线视频观看| 18禁黄网站禁片免费观看直播| 国产av麻豆久久久久久久| 欧美xxxx黑人xx丫x性爽| 美女大奶头视频| 国产精品野战在线观看| 嫁个100分男人电影在线观看| 美女免费视频网站| 中文字幕av在线有码专区| 男人的好看免费观看在线视频| 久久精品国产自在天天线| 久久人妻av系列|