• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    大數(shù)據(jù)時代美國教育數(shù)據(jù)質(zhì)量管理流程與保障

    2019-11-08 02:06王正青但金鳳
    現(xiàn)代遠程教育研究 2019年5期
    關(guān)鍵詞:管理流程數(shù)據(jù)質(zhì)量保障措施

    王正青 但金鳳

    摘要:人類社會已進入大數(shù)據(jù)時代,教育數(shù)據(jù)質(zhì)量管理是教育數(shù)據(jù)充分發(fā)揮潛在價值的關(guān)鍵因素和基本前提,同時也是教育數(shù)據(jù)治理體系建設(shè)中的薄弱環(huán)節(jié),因而成為教育信息化領(lǐng)域普遍關(guān)注的議題。美國走在全球教育數(shù)據(jù)質(zhì)量管理的前沿,其在教育數(shù)據(jù)質(zhì)量管理流程各環(huán)節(jié)的經(jīng)驗可歸納為:一是通過構(gòu)建教育數(shù)據(jù)標準確立了教育數(shù)據(jù)質(zhì)量管理的基準;二是通過規(guī)范教育數(shù)據(jù)收集過程確保了教育數(shù)據(jù)在源頭上的質(zhì)量;三是通過落實教育數(shù)據(jù)輸入責(zé)任明晰了各類人員在教育數(shù)據(jù)輸入環(huán)節(jié)的職責(zé);四是通過執(zhí)行教育數(shù)據(jù)審查程序守護了教育數(shù)據(jù)質(zhì)量的門檻;五是通過運用教育數(shù)據(jù)挖掘技術(shù)強化了對異常教育數(shù)據(jù)的監(jiān)測;六是通過強調(diào)對教育數(shù)據(jù)的使用推動了教育數(shù)據(jù)質(zhì)量的常態(tài)化管理。此外,美國還依托出臺教育數(shù)據(jù)質(zhì)量保障政策、培育教育數(shù)據(jù)質(zhì)量文化、確立雙重技術(shù)保障機制、推進數(shù)據(jù)人員專業(yè)發(fā)展等措施,初步構(gòu)建起了教育數(shù)據(jù)質(zhì)量管理保障機制。借鑒美國在教育數(shù)據(jù)質(zhì)量管理方面的做法,我國首先應(yīng)制定統(tǒng)一的教育數(shù)據(jù)質(zhì)量標準和使用辦法,規(guī)范教育數(shù)據(jù)的采集輸入過程和審查程序,進而應(yīng)用數(shù)據(jù)挖掘技術(shù)對異常教育數(shù)據(jù)進行診斷,同時需要提升教育數(shù)據(jù)管理人員的數(shù)據(jù)質(zhì)量意識和素養(yǎng)。

    關(guān)鍵詞:美國;大數(shù)據(jù);教育數(shù)據(jù);數(shù)據(jù)質(zhì)量;管理流程;保障措施

    信息化浪潮已將人類社會帶入大數(shù)據(jù)時代。作為教育領(lǐng)域的重要資產(chǎn),教育大數(shù)據(jù)有益于教育領(lǐng)導(dǎo)者更加科學(xué)地制定教育決策,優(yōu)化教育資源配置,推動教育系統(tǒng)的創(chuàng)新發(fā)展(王正青和徐輝,2018)。在構(gòu)建有效的教育數(shù)據(jù)治理體系過程中,數(shù)據(jù)質(zhì)量管理作為教育大數(shù)據(jù)有效運用的關(guān)鍵環(huán)節(jié),成為當前教育信息化領(lǐng)域普遍關(guān)注的議題。由于教育數(shù)據(jù)標準化定義缺失,數(shù)據(jù)收集程序混亂,數(shù)據(jù)質(zhì)量管理薄弱,致使教育數(shù)據(jù)在及時性、有效性、準確性、完整性以及可用性等方面仍存在明顯不足。加之教育數(shù)據(jù)類型多樣且來源廣泛,造成教育數(shù)據(jù)質(zhì)量低劣,利用效率低下,價值定位模糊,數(shù)據(jù)資源浪費,數(shù)據(jù)修復(fù)困難等問題(Chen et al.,2012)。本文在明晰教育數(shù)據(jù)質(zhì)量管理標準與價值的基礎(chǔ)上,探析美國在大數(shù)據(jù)時代所采取的數(shù)據(jù)質(zhì)量管理流程與保障體系,以期為推動我國的教育數(shù)據(jù)質(zhì)量建設(shè)提供有益借鑒。

    一、大數(shù)據(jù)時代教育數(shù)據(jù)有效質(zhì)量管理的標準與價值

    教育數(shù)據(jù)質(zhì)量管理是大數(shù)據(jù)時代教育數(shù)據(jù)資產(chǎn)得以盤活利用的關(guān)鍵環(huán)節(jié),是依托數(shù)據(jù)資源制定科學(xué)的個性化學(xué)習(xí)策略的基本保障。明晰教育數(shù)據(jù)質(zhì)量管理的內(nèi)涵及標準,厘清其價值意蘊,是推進教育數(shù)據(jù)質(zhì)量管理的基礎(chǔ)。

    1.教育數(shù)據(jù)質(zhì)量管理的內(nèi)涵及標準

    美國聯(lián)邦教育部下設(shè)的“隱私保護技術(shù)援助中心”(Privacy Technical Assistance Center,PTAC)認為,教育數(shù)據(jù)質(zhì)量管理即是確定關(guān)于教育數(shù)據(jù)質(zhì)量預(yù)防、監(jiān)測以及糾正數(shù)據(jù)錯誤和數(shù)據(jù)誤用的一系列策略,以達成維護高質(zhì)量教育數(shù)據(jù)的目標(Privacy Technical Assistance Center,2015)。教育數(shù)據(jù)質(zhì)量管理要求建立統(tǒng)一的教育數(shù)據(jù)質(zhì)量標準,定期檢測教育數(shù)據(jù)存在的問題,及時更新數(shù)據(jù)質(zhì)量管理策略。美國國家教育統(tǒng)計中心(National Center for Education Statistics,NCES)指出,“衡量數(shù)據(jù)質(zhì)量最明顯的標準就是數(shù)據(jù)的準確性,即數(shù)據(jù)信息準確描述其所代表的真實機構(gòu)或現(xiàn)象的程度”(National Center for Education Statistics,2011a)。教育數(shù)據(jù)質(zhì)量管理過程中必須保障數(shù)據(jù)信息準確無誤,確保數(shù)據(jù)的及時有效,使所收集到的教育數(shù)據(jù)能夠以既定的數(shù)據(jù)定義和數(shù)據(jù)名稱進行編碼,保障教育數(shù)據(jù)的規(guī)范統(tǒng)一。此外,NCES也強調(diào)在教育數(shù)據(jù)質(zhì)量管理的過程中需要保護隱私,防止惡意的數(shù)據(jù)篡改,進而維護數(shù)據(jù)安全,保障教育數(shù)據(jù)質(zhì)量。

    2006年,美國聯(lián)邦教育部成立了由各方代表組成的教育數(shù)據(jù)治理委員會(EDFacts Data Governance Board,EDGB),致力于教育數(shù)據(jù)質(zhì)量管理。EDGB提出了判斷教育數(shù)據(jù)質(zhì)量的五項標準(EDFacts Data Governance Board,2018)。一是及時性,各項數(shù)據(jù)要在指定的收集截止日期之前提交,并及時在教育數(shù)據(jù)系統(tǒng)中對其進行更新。二是完整性,要求收集和提交的教育數(shù)據(jù)包含所有需要的數(shù)據(jù)信息,無數(shù)據(jù)丟失。三是準確性,規(guī)定教育數(shù)據(jù)無信息錯誤,且能夠通過權(quán)威的數(shù)據(jù)審查和認證。四是有效性,即制定數(shù)據(jù)標準,確立統(tǒng)一的數(shù)據(jù)定義和數(shù)據(jù)代碼名稱,使不同主體對相同教育數(shù)據(jù)的報告和理解一致。五是可用性,強調(diào)數(shù)據(jù)計算或數(shù)據(jù)分析與數(shù)據(jù)本身相適應(yīng)。概言之,教育數(shù)據(jù)質(zhì)量管理是與教育數(shù)據(jù)質(zhì)量相關(guān)的一系列實踐舉措和制度規(guī)范,包括建立數(shù)據(jù)質(zhì)量標準,出臺數(shù)據(jù)質(zhì)量保障政策,強化數(shù)據(jù)質(zhì)量管理意識,全面規(guī)范數(shù)據(jù)質(zhì)量管理流程,構(gòu)建數(shù)據(jù)人員和技術(shù)方面的雙重質(zhì)量保障,最終在數(shù)據(jù)收集、數(shù)據(jù)儲存、數(shù)據(jù)審查、數(shù)據(jù)維護等環(huán)節(jié)落實教育數(shù)據(jù)質(zhì)量要求,并適應(yīng)大數(shù)據(jù)時代對教育數(shù)據(jù)的需求。

    2.教育數(shù)據(jù)質(zhì)量管理的實踐價值

    教育數(shù)據(jù)作為一種重要資產(chǎn),正深刻改變著人類生活方式和社會發(fā)展方向,引領(lǐng)著教育理念和教育方式的發(fā)展與變革。強調(diào)教育數(shù)據(jù)質(zhì)量管理,有益于改善當前混亂的教育數(shù)據(jù)收集標準與程序,有效規(guī)避無效、錯誤數(shù)據(jù)的輸入,破解數(shù)據(jù)陳舊、數(shù)據(jù)冗余、數(shù)據(jù)孤島等問題,以提升教育數(shù)據(jù)質(zhì)量,減少數(shù)據(jù)資源浪費,強化數(shù)據(jù)分析的信度和效度。美國聯(lián)邦教育部以及各州和地區(qū)的教育機構(gòu)著眼于解決教育數(shù)據(jù)質(zhì)量困境,秉承高質(zhì)量的教育數(shù)據(jù)對教學(xué)、學(xué)習(xí)和學(xué)校的管理不可或缺,且其是有效開發(fā)數(shù)據(jù)資源、盤活數(shù)據(jù)資產(chǎn)的重要基石的信念,大力推行教育數(shù)據(jù)質(zhì)量管理策略。毋庸置疑,在“大數(shù)據(jù)”的時代背景下,海量教育數(shù)據(jù)的實際價值幾乎直接取決于其質(zhì)量的優(yōu)劣。高質(zhì)量的教育數(shù)據(jù)不僅能夠有效地促進科學(xué)的教育決策,推動教育體系的發(fā)展與創(chuàng)新,而且也能夠優(yōu)化教育數(shù)據(jù)質(zhì)量環(huán)境,發(fā)揮龐雜教育數(shù)據(jù)資源的價值(吳雪萍等,2018)。

    加強教育數(shù)據(jù)質(zhì)量管理具有顯著的實踐價值,具體體現(xiàn)在以下幾個方面。一是可避免基于教育數(shù)據(jù)的錯誤分析和無效推論。低質(zhì)量、不準確的教育數(shù)據(jù)不但會誤導(dǎo)教育工作者得出錯誤結(jié)論,更會讓公眾對提供數(shù)據(jù)的教育機構(gòu)的數(shù)據(jù)質(zhì)量失去信心,進而導(dǎo)致該機構(gòu)被永遠地貼上“不可靠”的標簽。高效的數(shù)據(jù)質(zhì)量管理則有益于保障教育數(shù)據(jù)的正確性、完整性、有效性和及時性,提升數(shù)據(jù)分析和數(shù)據(jù)計算結(jié)果的可信度,為數(shù)據(jù)使用者與數(shù)據(jù)提供者帶來雙贏。二是可降低教育數(shù)據(jù)資源的修復(fù)成本。一旦發(fā)現(xiàn)錯誤數(shù)據(jù),相關(guān)組織就會對其進行審查和修正,該過程涉及聽證、審查、裁決等環(huán)節(jié),這些都會導(dǎo)致行政和技術(shù)上的人力、物力和財力浪費(楊現(xiàn)民等,2018)。有效的數(shù)據(jù)質(zhì)量管理能確保數(shù)據(jù)準確無誤,進而減少數(shù)據(jù)修訂等繁瑣程序所造成的資源浪費。三是可催發(fā)科學(xué)的教育決策,優(yōu)化數(shù)據(jù)資源配置。教育數(shù)據(jù)的不準確、不及時、不完整以及數(shù)據(jù)分析結(jié)果的錯誤,無疑都會誤導(dǎo)教育政策制定與教育資源的分配,進而影響教育的公平與質(zhì)量提升(顧小清等,2014)。教育數(shù)據(jù)質(zhì)量管理有益于充分開發(fā)教育數(shù)據(jù)的潛在價值,幫助教育決策者依托高質(zhì)量的教育數(shù)據(jù)制定科學(xué)有效的教育政策,進而推動教育體系的健康和諧發(fā)展。

    二、大數(shù)據(jù)時代美國教育數(shù)據(jù)質(zhì)量管理流程

    數(shù)據(jù)質(zhì)量是教育數(shù)據(jù)治理的著眼點。美國聯(lián)邦政府及各州的教育管理機構(gòu)聯(lián)合學(xué)校和地區(qū)教育組織機構(gòu),通過明確教育數(shù)據(jù)質(zhì)量標準,規(guī)范數(shù)據(jù)收集與錄入程序,嚴格審查數(shù)據(jù)質(zhì)量,及時使用教育數(shù)據(jù)資源等程序,實現(xiàn)了教育數(shù)據(jù)質(zhì)量管理流程的規(guī)范化運行。

    1.數(shù)據(jù)標準:確立數(shù)據(jù)質(zhì)量管理基準

    構(gòu)建教育數(shù)據(jù)標準是教育數(shù)據(jù)質(zhì)量管理的基本環(huán)節(jié),也是實現(xiàn)教育數(shù)據(jù)共同理解、診斷教育數(shù)據(jù)錯誤的重要依據(jù)。美國國家教育統(tǒng)計中心(NCES)致力于提高教育數(shù)據(jù)質(zhì)量,通過與各類利益相關(guān)者共同努力,最終建立了教育數(shù)據(jù)共同標準(Common Education Data Standards,CEDS)。CEDS最初主要被用于反映K-12教育領(lǐng)域中的教育數(shù)據(jù)標準、名稱和定義,隨著時間的推移和教育數(shù)據(jù)工作人員對其的拓展,CEDS的覆蓋范圍早已擴展到高等教育、早期教育以及勞動力市場等其他領(lǐng)域,其明確了相應(yīng)領(lǐng)域的教育數(shù)據(jù)通用名稱和定義(California Department of Education,2018)。CEDS的確立有益于提高教育機構(gòu)收集和儲存教育數(shù)據(jù)的透明度,有助于將本機構(gòu)的教育數(shù)據(jù)名稱、定義與其他機構(gòu)進行參照比較,以便快速地偵測出異常數(shù)據(jù)。

    美國加利福尼亞州教育局(California Department of Education,CDE)為強化數(shù)據(jù)質(zhì)量管理,于2016年1月開始實施“教育數(shù)據(jù)治理計劃”(Educational Data Governance Program,EDGO),并把開發(fā)教育數(shù)據(jù)標準列為該計劃的優(yōu)先事項。截至2018年1月,CDE已經(jīng)為858個教育數(shù)據(jù)元素和102個教育數(shù)據(jù)代碼集成功建立了數(shù)據(jù)標準(California Department of Education,2018),并大力號倡導(dǎo)育領(lǐng)域利益相關(guān)者(如教育數(shù)據(jù)收集者、教育研究人員以及一線教育工作者等)的積極合作,促使其在數(shù)據(jù)標準實施和數(shù)據(jù)庫管理方面達成共識,共同關(guān)注教育數(shù)據(jù)質(zhì)量管理,實現(xiàn)對教育數(shù)據(jù)的共同理解。

    2.數(shù)據(jù)收集:確保教育數(shù)據(jù)源頭質(zhì)量

    數(shù)據(jù)收集是保障數(shù)據(jù)質(zhì)量的重要前提,教育數(shù)據(jù)收集過程的規(guī)范性更是直接左右著教育數(shù)據(jù)質(zhì)量的優(yōu)劣。教育數(shù)據(jù)收集工具種類繁多,包括傳統(tǒng)的紙質(zhì)表單和電子形式的數(shù)據(jù)表格等。為有效規(guī)避人工數(shù)據(jù)收集所造成的誤差,美國聯(lián)邦教育部更主張采用自動化的數(shù)據(jù)收集模式,并以電子形式進行教育數(shù)據(jù)的傳輸。但無論采取何種收集工具和收集模式,美國聯(lián)邦教育部都嚴格要求各教育機構(gòu)在數(shù)據(jù)收集的過程中秉承以下五項基本原則(U.S. Department of Education,2006)。一是相關(guān)性原則。教育機構(gòu)應(yīng)當在收集教育數(shù)據(jù)之前對擬收集的教育數(shù)據(jù)進行嚴格審核,以確定哪些是必須的,哪些是過時或冗余的,進而使最終收集到的教育數(shù)據(jù)能夠適用于既定或潛在的數(shù)據(jù)報告需求。二是唯一性原則。即所要收集的教育數(shù)據(jù)是聯(lián)邦教育部和其他機構(gòu)尚未收集或獲得的,從而確保了數(shù)據(jù)收集的價值和意義,避免了數(shù)據(jù)冗余、數(shù)據(jù)孤島和資源浪費。三是清晰性原則。教育數(shù)據(jù)收集過程應(yīng)清晰直接地說明對每個數(shù)據(jù)輸入的期望,清楚地定義每個數(shù)據(jù)的內(nèi)涵及意義,詳細記錄數(shù)據(jù)收集過程中所丟失的和還未收集到的數(shù)據(jù)元素或數(shù)據(jù)單元。四是有效性。所有教育數(shù)據(jù)收集過程中的相關(guān)表格都應(yīng)遵循相應(yīng)的數(shù)據(jù)業(yè)務(wù)規(guī)則,并確保離散數(shù)據(jù)元素的響應(yīng)率達到100%。五是易用性原則。確保數(shù)據(jù)收集過程盡可能簡單,并利用數(shù)據(jù)收集工具追蹤數(shù)據(jù)維護人員的日常工作。

    除美國聯(lián)邦政府外,美國各州也積極推進教育數(shù)據(jù)質(zhì)量建設(shè),重視教育數(shù)據(jù)收集規(guī)范。如美國肯塔基州強調(diào)教育數(shù)據(jù)收集的內(nèi)容時效性和相關(guān)性,要求該州的數(shù)據(jù)專員時刻關(guān)注社會發(fā)展動態(tài)和教育研究需求,及時更新教育數(shù)據(jù)標準,以實現(xiàn)教育數(shù)據(jù)價值的最大化。在進行教育數(shù)據(jù)收集之前,相關(guān)教育數(shù)據(jù)的收集主體還須認真填寫并提交肯塔基州教育局所印發(fā)的教育數(shù)據(jù)收集請求表,其內(nèi)容涉及支持主體、數(shù)據(jù)收集范圍、理由、實施日期、相關(guān)法律規(guī)定以及數(shù)據(jù)收集風(fēng)險分析等(Kentucky Department of Education,2015)。

    3.數(shù)據(jù)輸入:明晰各類人員數(shù)據(jù)職責(zé)

    教育數(shù)據(jù)輸入的規(guī)范性和正確性對于數(shù)據(jù)質(zhì)量的影響不言而喻,其決定著數(shù)據(jù)資源能否得以正常使用。在學(xué)校等教育機構(gòu)中,每天都在產(chǎn)生海量的教育數(shù)據(jù),教育機構(gòu)除了采用智慧傳感器和數(shù)字化教育設(shè)備采集教育數(shù)據(jù)外,往往還需要相關(guān)人員人工輸入人口統(tǒng)計學(xué)信息、出勤信息和學(xué)生成績等教育數(shù)據(jù),涉及的主體不僅包括教師、校長,也包括學(xué)校董事會成員、數(shù)據(jù)協(xié)調(diào)員、技術(shù)支持人員等。對于不同主體而言,所承擔(dān)的數(shù)據(jù)責(zé)任不一,在教育數(shù)據(jù)輸入過程中所扮演的角色也存在一定差異。

    三、大數(shù)據(jù)時代美國教育數(shù)據(jù)質(zhì)量保障措施

    隨著教育數(shù)據(jù)質(zhì)量管理實踐的深入,美國聯(lián)邦教育部及各州教育局也在持續(xù)推進教育數(shù)據(jù)質(zhì)量的保障體系建設(shè),通過出臺數(shù)據(jù)質(zhì)量規(guī)范,提升數(shù)據(jù)專員數(shù)據(jù)素養(yǎng),營造高質(zhì)量的教育數(shù)據(jù)文化氛圍等措拖,確保了教育數(shù)據(jù)管理的和諧健康發(fā)展。

    1.出臺質(zhì)量保障政策,規(guī)范數(shù)據(jù)質(zhì)量管理流程

    美國聯(lián)邦政府重視教育數(shù)據(jù)質(zhì)量建設(shè),積極應(yīng)對教育數(shù)據(jù)質(zhì)量管理中存在的漏洞及潛在風(fēng)險,及時出臺教育數(shù)據(jù)質(zhì)量規(guī)范政策,明確數(shù)據(jù)質(zhì)量治理目標,科學(xué)引領(lǐng)數(shù)據(jù)質(zhì)量文化建設(shè)進程。2001年,美國通過《數(shù)據(jù)質(zhì)量法案》,要求教育部在內(nèi)的所有聯(lián)邦機構(gòu)注重數(shù)據(jù)質(zhì)量管理,針對具體的數(shù)據(jù)質(zhì)量問題及時發(fā)布指導(dǎo)方針,以確保數(shù)據(jù)信息的客觀性、完整性和實用性。2002年,美國聯(lián)邦教育部又發(fā)布了《信息質(zhì)量指南》,詳細描述了傳播和發(fā)布教育數(shù)據(jù)的相關(guān)審查程序,落實了教育數(shù)據(jù)質(zhì)量管理要求,強化了教育數(shù)據(jù)質(zhì)量保障基礎(chǔ)(EDFacts Data Governance Board,2018)。2006年,美國聯(lián)邦教育部聯(lián)合中小學(xué)教育辦公室聯(lián)合發(fā)布了《提高數(shù)據(jù)質(zhì)量標準、評估和問責(zé)報告》。該報告十分關(guān)注教育數(shù)據(jù)的收集和報告機制,概述了典型的數(shù)據(jù)質(zhì)量問題,明晰了數(shù)據(jù)質(zhì)量管理的目的、維度和舉措。

    美國國家教育統(tǒng)計中心(NCES)與美國各州教育局積極合作,協(xié)同推動教育數(shù)據(jù)質(zhì)量建設(shè),并于2011年頒布了《數(shù)據(jù)治理清單》(National Center for Education Statistics,2011c)。該清單可有效地指導(dǎo)各機構(gòu)解決教育數(shù)據(jù)質(zhì)量問題,確保教育數(shù)據(jù)的相關(guān)性、準確性、及時性和完整性。該清單強調(diào)各組織機構(gòu)在推進數(shù)據(jù)治理的過程中應(yīng)及時建立并定期更新質(zhì)量保障策略,自覺追求高質(zhì)量的教育數(shù)據(jù),嚴格把控教育數(shù)據(jù)質(zhì)量審查程序,及時糾正教育數(shù)據(jù)中存在的錯誤和缺陷,以有效杜絕質(zhì)量低劣的教育數(shù)據(jù)。上述機構(gòu)所頒發(fā)的教育數(shù)據(jù)質(zhì)量管理相關(guān)指南和制度規(guī)范,明晰了高質(zhì)量教育數(shù)據(jù)的內(nèi)涵及維度,促進了教育數(shù)據(jù)質(zhì)量管理的發(fā)展。

    2.培育教育數(shù)據(jù)質(zhì)量文化,全面優(yōu)化數(shù)據(jù)質(zhì)量環(huán)境

    教育數(shù)據(jù)文化是一種信念,即相信良好的教育數(shù)據(jù)同書籍一樣,都是重要的資源,值得任何一個教育機構(gòu)付出時間和資金,以獲取真實、準確、安全、及時的高質(zhì)量教育數(shù)據(jù)。換言之,構(gòu)建高質(zhì)量的教育數(shù)據(jù)文化就是要使所有教育工作者,包括教師、學(xué)校管理者、學(xué)校董事會成員及其他相關(guān)人員能夠形成普遍共識,共同秉持“高質(zhì)量的教育數(shù)據(jù)是學(xué)校教育的重要組成部分”這一信念,堅信數(shù)據(jù)質(zhì)量是教育數(shù)據(jù)資源的靈魂,不斷推進教育數(shù)據(jù)質(zhì)量發(fā)展,進而確保高質(zhì)量教育數(shù)據(jù)的持續(xù)供給和規(guī)范利用。

    美國國家教育統(tǒng)計中心(NCES)積極開展面向?qū)W校和學(xué)區(qū)的教育數(shù)據(jù)文化建設(shè),強調(diào)對教育數(shù)據(jù)質(zhì)量意識的引導(dǎo)。其要求學(xué)校在構(gòu)建數(shù)據(jù)質(zhì)量保障機制的過程中,要全面完善為實現(xiàn)高質(zhì)量數(shù)據(jù)文化所需遵循的價值觀念,積極出臺數(shù)據(jù)質(zhì)量管理規(guī)范和原則,遵循教育數(shù)據(jù)質(zhì)量管理的政策法規(guī)和制度指南,使學(xué)校教職員工及時了解學(xué)校負責(zé)錄入的教育數(shù)據(jù)及其責(zé)任主體,以及各項教育數(shù)據(jù)的目的和作用。通過強化數(shù)據(jù)質(zhì)量意識,提高專業(yè)數(shù)據(jù)人員和學(xué)校工作人員對數(shù)據(jù)質(zhì)量的敏感性,增強其對數(shù)據(jù)質(zhì)量問題的識別能力。

    3.確立雙重技術(shù)保障機制,規(guī)避數(shù)據(jù)質(zhì)量影響因素

    美國聯(lián)邦教育部認為,影響教育數(shù)據(jù)質(zhì)量的因素多樣,主要涉及以下幾個方面(U.S. Department of Education,2006)。一是缺乏標準化的教育數(shù)據(jù)定義。即不同的數(shù)據(jù)提供者對于相同教育數(shù)據(jù)元素的理解存在偏差,因而使用了不同的數(shù)據(jù)定義,這會造成海量的非可比數(shù)據(jù)被不恰當?shù)鼐酆?,進而導(dǎo)致不可靠的數(shù)據(jù)分析結(jié)果。二是教育數(shù)據(jù)不可用。即學(xué)校和教育相關(guān)部門真正需要的教育數(shù)據(jù)不存在或不易訪問。三是數(shù)據(jù)錄入錯誤。即將不準確的教育數(shù)據(jù)輸入到了數(shù)據(jù)收集系統(tǒng)中,導(dǎo)致在報告教育數(shù)據(jù)信息時可能出現(xiàn)錯誤的結(jié)果。四是教育數(shù)據(jù)缺乏時效性。即教育數(shù)據(jù)未及時更新或提交,致使統(tǒng)計報告在完整性和準確性上存在明顯不足。五是教育數(shù)據(jù)的傳輸缺乏協(xié)調(diào)性。即在一個系統(tǒng)中收集到的大量教育數(shù)據(jù)不能通過電子方式傳輸?shù)狡渌逃到y(tǒng),而在多個系統(tǒng)中重復(fù)輸入同一個對象的數(shù)據(jù)則不僅會造成資源浪費,同時也會增加數(shù)據(jù)錯誤的概率。

    美國聯(lián)邦教育部要求教育數(shù)據(jù)的錄入人員、管理員和技術(shù)人員通過協(xié)同配合的方式來更新相關(guān)的硬件和軟件技術(shù),進而落實教育數(shù)據(jù)質(zhì)量管理程序,依靠技術(shù)手段有效規(guī)避影響教育數(shù)據(jù)質(zhì)量的不良因素。為此,美國聯(lián)邦教育部開發(fā)了教育數(shù)據(jù)自動編輯檢查程序,要求數(shù)據(jù)專員使用高保密性的登錄密碼,認真編寫密碼安全程序,時常更改密碼,并及時將其分發(fā)給相關(guān)工作人員,同時還提供了密碼找回等相關(guān)幫助服務(wù)。依托硬件與軟件相結(jié)合的雙重技術(shù)保障措施,全面保護了學(xué)生的個人數(shù)據(jù)隱私,確保了教育數(shù)據(jù)安全,防止了教育數(shù)據(jù)被隨意更改。

    4.推進數(shù)據(jù)人員專業(yè)發(fā)展,提升協(xié)同主體數(shù)據(jù)素養(yǎng)

    提升教育數(shù)據(jù)相關(guān)工作人員的數(shù)據(jù)素養(yǎng)是教育數(shù)據(jù)質(zhì)量管理的一個重要環(huán)節(jié)。美國聯(lián)邦政府及各州的教育相關(guān)部門注重教育數(shù)據(jù)相關(guān)工作人員的數(shù)據(jù)素養(yǎng)提升,大力實施數(shù)據(jù)專員的相關(guān)培訓(xùn)(王正青和張力文,2018)。2007年,美國堪薩斯州教育局(Kansas State Department of Edncation,KSDE)開發(fā)了數(shù)據(jù)質(zhì)量認證項目(Data Quality Certification,DQC),為數(shù)據(jù)錄入人員、數(shù)據(jù)協(xié)調(diào)員、程序工作員以及數(shù)據(jù)管理人員提供專門的教育數(shù)據(jù)培訓(xùn)課程,科學(xué)指導(dǎo)其數(shù)據(jù)質(zhì)量綜合實踐技能提升(Data Quality Certification,2018)。培訓(xùn)依托KSDE網(wǎng)絡(luò)的數(shù)據(jù)應(yīng)用程序(如堪薩斯州學(xué)生個人數(shù)據(jù)系統(tǒng))開展,以期提升教育數(shù)據(jù)相關(guān)工作人員的數(shù)據(jù)素養(yǎng)。

    美國職業(yè)和成人教育辦公室(Office of Vocational and Adult Education,OVAE)向各州持續(xù)性地提供教育數(shù)據(jù)培訓(xùn)和數(shù)據(jù)質(zhì)量管理技術(shù)援助,為各州的教育數(shù)據(jù)工作團隊建設(shè)提供專業(yè)指導(dǎo),并推出了一系列有關(guān)教育數(shù)據(jù)的在線學(xué)習(xí)項目,如學(xué)生個人數(shù)據(jù)記錄系統(tǒng)的使用、教育數(shù)據(jù)庫的安全與維護、教育數(shù)據(jù)分析報告的撰寫等,以協(xié)助各州的數(shù)據(jù)質(zhì)量問責(zé)和數(shù)據(jù)項目改進工作,并幫助其制定教育數(shù)據(jù)收集指南和程序(U.S. Department of Education,2005)。OVAE積極發(fā)揮其在數(shù)據(jù)資源建設(shè)方面的引領(lǐng)和規(guī)范作用,為美國各州的學(xué)校及教育組織提供便利和科學(xué)指導(dǎo),推動數(shù)據(jù)人員的專業(yè)發(fā)展,在提升全美的教育數(shù)據(jù)質(zhì)量方面發(fā)揮了建設(shè)性作用。

    四、對建設(shè)我國教育數(shù)據(jù)質(zhì)量管理體系的啟示

    盡管近年來我國的教育數(shù)據(jù)質(zhì)量建設(shè)已取得了一定成就,但仍存在數(shù)據(jù)質(zhì)量標準缺乏、數(shù)據(jù)使用程序不明、數(shù)據(jù)隱私保護不力等問題。在推進教育大數(shù)據(jù)運用的過程中建立數(shù)據(jù)質(zhì)量治理體系,已成為教育信息化2.0時代的一個重要事項。

    1.制定教育數(shù)據(jù)質(zhì)量標準與使用辦法

    2012年3月,教育部正式頒發(fā)了《教育管理信息 教育管理基礎(chǔ)信息》等7個教育信息化行業(yè)標準,明確了教育數(shù)據(jù)標準體系。但我國的教育數(shù)據(jù)標準仍存在模糊不清的問題,比如表示健康狀況的數(shù)據(jù)代碼就有兩種方式——數(shù)字“1”和“10”都可表示身體健康或良好,這顯然不利于數(shù)據(jù)的共通共享(徐峰等,2018)。因此,對元數(shù)據(jù)的統(tǒng)一定義無疑成為了一個亟待解決的問題。美國國家教育統(tǒng)計中心(NCES)以及加州教育局(CDE)把教育數(shù)據(jù)標準列為數(shù)據(jù)質(zhì)量管理中優(yōu)先發(fā)展的事項,將數(shù)據(jù)元素名稱、數(shù)據(jù)定義以及數(shù)據(jù)代碼標準的確立視為數(shù)據(jù)共同理解的基石,可見其對教育數(shù)據(jù)質(zhì)量管理的基礎(chǔ)建設(shè)工作的重視。鑒于此,我國也應(yīng)從統(tǒng)一教育數(shù)據(jù)標準著手,秉承“數(shù)據(jù)共享、上下聯(lián)動”的基本原則,完善教育數(shù)據(jù)標準,進一步細化教育數(shù)據(jù)基本代碼規(guī)范,并制定教育數(shù)據(jù)使用辦法,逐漸打破教育數(shù)據(jù)的使用壁壘。

    2.規(guī)范教育數(shù)據(jù)采集輸入與審查程序

    2013年,教育部辦公廳開展了教育統(tǒng)計數(shù)據(jù)質(zhì)量核查工作,明令禁止各學(xué)校及教育行政部門在教育數(shù)據(jù)代碼庫建設(shè)中弄虛作假,要求地方各級教育行政部門認真審查。2016年11月,教育部辦公廳再次印發(fā)《關(guān)于嚴把統(tǒng)計數(shù)據(jù)質(zhì)量關(guān)確保2016年統(tǒng)計數(shù)據(jù)匯總工作順利進行的通知》,強調(diào)教育數(shù)據(jù)核查工作的責(zé)任追究機制,杜絕隨意編造和篡改教育數(shù)據(jù),全面落實《統(tǒng)計法》的相關(guān)規(guī)定,確保教育數(shù)據(jù)質(zhì)量。然而,當前我國的教育數(shù)據(jù)大多由學(xué)校采集填報,國家及各地方教育行政部門往往無法逐一對其進行監(jiān)測,并且通過簡單的相鄰兩年數(shù)據(jù)核對也很難完全識別出存在的錯誤和異常的數(shù)據(jù)。因此,構(gòu)建教育數(shù)據(jù)采集輸入與審核程序勢在必行:一是制定數(shù)據(jù)收集申請表,規(guī)范數(shù)據(jù)采集流程,確保教育數(shù)據(jù)在源頭上的質(zhì)量;二是加強校長、教師、數(shù)據(jù)管理人員等主體間的協(xié)作聯(lián)動,明晰各層級的數(shù)據(jù)輸入問責(zé)與審查機制;三是設(shè)計完善的教育數(shù)據(jù)檢測方案,實施人機雙重校對,扎實守護教育數(shù)據(jù)質(zhì)量門檻。

    3.推動教育數(shù)據(jù)挖掘與分析實踐落地

    面向教育數(shù)據(jù)質(zhì)量管理的教育數(shù)據(jù)挖掘可對海量教育數(shù)據(jù)進行處理和分析,從中甄別出存在問題的教育數(shù)據(jù),并預(yù)測未來的發(fā)展趨向。我國當前所采用的教育數(shù)據(jù)挖掘與分析技術(shù)大多是基于人工實踐層面的,缺乏網(wǎng)絡(luò)和智能化數(shù)據(jù)挖掘與分析技術(shù)的應(yīng)用,這導(dǎo)致教育數(shù)據(jù)挖掘的效果尚不顯著。美國加利福尼亞州高等教育委員會(CPEC)運用數(shù)據(jù)挖掘和趨勢分析技術(shù),診斷教育數(shù)據(jù)中存在的異常記錄。借鑒美國在教育數(shù)據(jù)挖掘與分析方面的實踐舉措,我國應(yīng)運用人工智能等先進技術(shù),盡快開發(fā)教育數(shù)據(jù)挖掘與教育數(shù)據(jù)智能分析相關(guān)應(yīng)用。在明確教育數(shù)據(jù)異常限度的基礎(chǔ)上,加強在聚類分析、預(yù)測分析、關(guān)聯(lián)規(guī)則分析等方面的實踐應(yīng)用,拓展教育數(shù)據(jù)挖掘技術(shù)在數(shù)據(jù)整合、錯誤數(shù)據(jù)識別和診斷等方面的功能,構(gòu)建教育數(shù)據(jù)異常檢測機制。

    4.改善教育數(shù)據(jù)庫軟硬件設(shè)施與環(huán)境

    2018年4月,教育部在印發(fā)的《教育信息化2.0行動計劃》中明確提出,要做好關(guān)鍵信息基礎(chǔ)設(shè)施保障,重點保障數(shù)據(jù)和信息安全,強化隱私保護。然而在我國當前的教育數(shù)據(jù)治理進程中,教育數(shù)據(jù)隱私泄露的問題仍較為突出,教育數(shù)據(jù)的可信度仍有待進一步提升。美國聯(lián)邦教育部通過推行高保密性登錄密碼等措施,強化教育數(shù)據(jù)庫軟硬件設(shè)施建設(shè)。借鑒美國在教育數(shù)據(jù)質(zhì)量管理實踐中的經(jīng)驗,我國首先應(yīng)完善教育數(shù)據(jù)質(zhì)量處理系統(tǒng),并更新教育數(shù)據(jù)輸入輸出設(shè)備。其次,各級教育行政部門和各類學(xué)校應(yīng)在教育數(shù)據(jù)相關(guān)系統(tǒng)中設(shè)置高保密性的登錄密碼,維護數(shù)據(jù)安全和個人隱私,防范對教育數(shù)據(jù)的不當使用與惡意篡改。最后,應(yīng)大力營造提倡高質(zhì)量教育數(shù)據(jù)的文化氛圍。教育數(shù)據(jù)的隱私保護及質(zhì)量管理不僅需要計算機設(shè)備,同時也需要形成和推廣數(shù)據(jù)質(zhì)量信念,使高質(zhì)量教育數(shù)據(jù)管理的理念深入人心,進而優(yōu)化教育數(shù)據(jù)質(zhì)量管理的環(huán)境,夯實教育數(shù)據(jù)質(zhì)量的保障基礎(chǔ)。

    5.提升數(shù)據(jù)管理人員質(zhì)量意識與素養(yǎng)

    教育數(shù)據(jù)質(zhì)量管理人員在數(shù)據(jù)的收集、錄入、審查與使用過程中扮演著重要角色。他們諳熟教育數(shù)據(jù)質(zhì)量管理規(guī)范,具有較強的職業(yè)敏感性。針對教育數(shù)據(jù)質(zhì)量管理,美國舉辦了一系列的教育數(shù)據(jù)專員訓(xùn)練項目,并開展專門的在線培訓(xùn)。我國的教育數(shù)據(jù)質(zhì)量管理工作主要由各級教育行政部門統(tǒng)籌,缺乏專門的教育數(shù)據(jù)質(zhì)量管理機構(gòu),且數(shù)據(jù)管理人員的質(zhì)量意識和素養(yǎng)還有待提升。借鑒美國在教育數(shù)據(jù)質(zhì)量管理方面的運行經(jīng)驗,我國應(yīng)積極構(gòu)建專門的教育數(shù)據(jù)質(zhì)量管理機構(gòu),強化基于角色的數(shù)據(jù)素養(yǎng)培訓(xùn),更新教育數(shù)據(jù)質(zhì)量管理理念和治理模式,定期開展教育數(shù)據(jù)質(zhì)量管理相關(guān)研討會,總結(jié)分析在教育數(shù)據(jù)收集、輸入、審查、挖掘和使用過程中出現(xiàn)的典型問題,以提升教育數(shù)據(jù)管理工作人員的數(shù)據(jù)質(zhì)量意識和數(shù)據(jù)素養(yǎng),為教育數(shù)據(jù)質(zhì)量管理提供人才保障。

    參考文獻:

    [1]顧小清,鄭隆威,簡菁(2014). 獲取教育大數(shù)據(jù):基于xAPI規(guī)范對學(xué)習(xí)經(jīng)歷數(shù)據(jù)的獲取與共享[J]. 現(xiàn)代遠程教育研究,(5):13-23.

    [2]王正青,徐輝(2018). 大數(shù)據(jù)時代美國的教育大數(shù)據(jù)戰(zhàn)略與實施[J]. 教育研究,(2):120-126.

    [3]王正青,張力文(2018). 大數(shù)據(jù)時代美國發(fā)展教師數(shù)據(jù)素養(yǎng)的基礎(chǔ)與路徑[J]. 比較教育研究,(2):68-75.

    [4]吳雪萍,任佳萍(2018). 美國提升職業(yè)教育數(shù)據(jù)質(zhì)量的動因、策略與啟示[J]. 教育研究,(2):127-134,146.

    [5]徐峰,吳旻瑜,徐萱等(2018). 教育數(shù)據(jù)治理:問題、思考與對策[J]. 開放教育研究,(2):107-112.

    [6]楊現(xiàn)民,周寶,郭利明等(2018). 教育信息化2.0時代教育數(shù)據(jù)開放的戰(zhàn)略價值與實施路徑[J]. 現(xiàn)代遠程教育研究,(5):10-21.

    [7]California Department of Education(2018). Data Standards and Inventory[EB/OL]. [2018-09-08]. https://www.cde.ca.gov/ds/ed/datastandardinventory.asp.

    [8]California Postsecondary Education Commission(2011).Trend Analysis[EB/OL]. [2019-01-10]. http://www.cpec.ca.gov/OnLineData/Mining.asp.

    [9] Chen, M., Song, M., & Han, J. et al. (2012) Survey on Data Quality[C]// Proceedings of the 2012 World Congress on Information and Communication Technologies. IEEE:1009-1013.

    [10]Data Quality Certification(2018). Welcome to the Data Quality Certification Program[EB/OL]. [2018-08-21]. https://community.ksde.org/Default.aspx?alias=community.ksde.org/dqcprogram.

    [11]EDFacts Data Governance Board(2018). Maximizing EDFacts Data Quality: A Comprehensive Approach[EB/OL]. [2018-08-31]. https://www2.ed.gov/about/inits/ed/edfacts/edfacts-data-quality-process-overview.pdf.

    [12]Kentucky Department of Education(2015). Data Collection, Access and Use Policy (003)[EB/OL]. [2018-09-20]. https://education.ky.gov/districts/tech/Documents/Data_Collection_Access_and_Use_Policy.pdf.

    [13]National Forum for Education Statistics(2004). Forum Guide to Building a Culture of Quality Data[EB/OL]. [2018-08-20].https://nces.ed.gov/pubs2005/2005801.pdf.

    [14]National Center for Education Statistics(2011a). Chapter 4-What Are Quality Data?[EB/OL]. [2018-09-01]. https://nces.ed.gov/forum/ldsguide/book3/ch_4.asp.

    [15]National Center for Education Statistics(2011b). Chapter 5-Data Quality from Bottom to Top[EB/OL]. [2018-09-23]. https://nces.ed.gov/forum/ldsguide/book3/ch_5.asp.

    [16]National Center for Education Statistics(2011c). Data Governance Checklist[EB/OL]. [2018-09-04]. https://nces.ed.gov/forum/pdf/data_governance_checklist.pdf.

    [17]Privacy Technical Assistance Center(2015). Data Governance and Stewardship[EB/OL]. [2018-08-29]. https://studentprivacy.ed.gov/sites/default/files/resource_document/file/Data_Governance_and_Stewardship_0.pdf.

    [18]U.S. Department of Education(2005). Data Quality and Timeliness: Data Improvement Strategies[EB/OL]. [2018-09-08]. https://www2.ed.gov/about/reports/annual/2005report/2h/edlite-2h3-strategies.html.

    [19]U.S. Department of Education(2006). Improving Data Quality for Title I Standards, Assessments, and Accountability Reporting[EB/OL]. [2018-09-08]. https://www2.ed.gov/policy/elsec/guid/standardsassessment/nclbdataguidance.pdf.

    [20]U.S. Department of Education(2012). Enhancing Teaching and Learning Through Educational Data Mining and Learning Analytics: An Issue Brief[DB/OL]. [2019-01-09]. https://tech.ed.gov/wp-content/uploads/2014/03/edm-la-brief.pdf.

    收稿日期 2019-01-10

    責(zé)任編輯 譚明杰

    猜你喜歡
    管理流程數(shù)據(jù)質(zhì)量保障措施
    淺析統(tǒng)計數(shù)據(jù)質(zhì)量
    金融統(tǒng)計數(shù)據(jù)質(zhì)量管理的國際借鑒與中國實踐
    淺談統(tǒng)計數(shù)據(jù)質(zhì)量控制
    高職院校產(chǎn)學(xué)研用協(xié)同創(chuàng)新機制的保障措施研究
    淺析當前計算機網(wǎng)頁制作的應(yīng)用技術(shù)和管理流程
    公立醫(yī)院全面預(yù)算管理流程及成本控制分析
    淺談在校大學(xué)生兼職權(quán)益侵權(quán)現(xiàn)象
    亚洲精华国产精华液的使用体验| 精品久久久久久电影网| 男人舔女人下体高潮全视频| 欧美精品国产亚洲| 国内精品一区二区在线观看| 午夜福利高清视频| 婷婷六月久久综合丁香| av卡一久久| 色视频www国产| 成人二区视频| 国产淫语在线视频| 日韩人妻高清精品专区| av一本久久久久| av女优亚洲男人天堂| 在线观看人妻少妇| 天堂中文最新版在线下载 | 久久久精品免费免费高清| 精品国产一区二区三区久久久樱花 | 日韩人妻高清精品专区| 国产亚洲午夜精品一区二区久久 | 中文字幕人妻熟人妻熟丝袜美| 午夜免费观看性视频| 国产免费福利视频在线观看| 2018国产大陆天天弄谢| 日本欧美国产在线视频| 日韩电影二区| 日韩人妻高清精品专区| 成人漫画全彩无遮挡| 欧美xxxx性猛交bbbb| 亚洲精品国产av蜜桃| 国产精品不卡视频一区二区| 国产午夜精品久久久久久一区二区三区| 日本猛色少妇xxxxx猛交久久| 一本一本综合久久| 国产成人a区在线观看| 国产熟女欧美一区二区| 七月丁香在线播放| 简卡轻食公司| 国产精品不卡视频一区二区| av国产免费在线观看| 亚洲av一区综合| 建设人人有责人人尽责人人享有的 | 亚洲欧洲日产国产| 一本一本综合久久| 看黄色毛片网站| 成人毛片a级毛片在线播放| 国产精品国产三级国产av玫瑰| 午夜亚洲福利在线播放| 18禁动态无遮挡网站| 18+在线观看网站| 男人舔奶头视频| 又粗又硬又长又爽又黄的视频| 日本一二三区视频观看| 国产综合懂色| 国产免费福利视频在线观看| 国产成人福利小说| 99热这里只有是精品在线观看| 18+在线观看网站| 午夜福利在线在线| 超碰av人人做人人爽久久| 久久久久性生活片| 国产探花极品一区二区| 亚洲美女视频黄频| 亚洲四区av| 日本一本二区三区精品| 精品国产一区二区三区久久久樱花 | 男女那种视频在线观看| 精品熟女少妇av免费看| 精品久久国产蜜桃| 麻豆精品久久久久久蜜桃| 亚洲精品一二三| 欧美精品一区二区大全| 国产高清国产精品国产三级 | 久久久久久久久大av| 99久久中文字幕三级久久日本| 婷婷六月久久综合丁香| 一个人免费在线观看电影| 日本欧美国产在线视频| 午夜免费男女啪啪视频观看| 日本色播在线视频| 亚洲国产最新在线播放| 国产 一区 欧美 日韩| 国产老妇女一区| 亚洲av男天堂| 国产精品一区www在线观看| 午夜免费观看性视频| 日韩一本色道免费dvd| 色综合站精品国产| 欧美丝袜亚洲另类| 伦理电影大哥的女人| 91av网一区二区| 日日爽夜夜爽网站| 黑人巨大精品欧美一区二区蜜桃| 午夜福利在线观看免费完整高清在| av片东京热男人的天堂| 中文乱码字字幕精品一区二区三区| 波多野结衣av一区二区av| 久久久国产精品麻豆| 精品国产一区二区久久| 免费日韩欧美在线观看| 80岁老熟妇乱子伦牲交| 如日韩欧美国产精品一区二区三区| 青春草亚洲视频在线观看| 青春草国产在线视频| 人人妻人人爽人人添夜夜欢视频| 国产国语露脸激情在线看| 国产精品久久久久久av不卡| 美女视频免费永久观看网站| 亚洲成人av在线免费| 十分钟在线观看高清视频www| 夜夜骑夜夜射夜夜干| 日本欧美视频一区| 伊人亚洲综合成人网| 青春草亚洲视频在线观看| 如何舔出高潮| 最近中文字幕2019免费版| 亚洲成国产人片在线观看| 久久国内精品自在自线图片| 另类亚洲欧美激情| 久久精品亚洲av国产电影网| 色播在线永久视频| 一区二区日韩欧美中文字幕| 99香蕉大伊视频| 免费观看无遮挡的男女| 丝袜喷水一区| 久久99蜜桃精品久久| 下体分泌物呈黄色| av视频免费观看在线观看| 18在线观看网站| 黄色怎么调成土黄色| 纯流量卡能插随身wifi吗| 99精国产麻豆久久婷婷| 欧美中文综合在线视频| 如何舔出高潮| 午夜福利在线免费观看网站| 夫妻午夜视频| 蜜桃国产av成人99| 色网站视频免费| 高清av免费在线| 久久精品久久久久久久性| 亚洲中文av在线| 国产97色在线日韩免费| 精品卡一卡二卡四卡免费| 老女人水多毛片| a级毛片在线看网站| 国产一区二区 视频在线| 欧美 日韩 精品 国产| 亚洲av电影在线进入| 大码成人一级视频| 国产乱来视频区| 精品酒店卫生间| 少妇的丰满在线观看| 日韩 亚洲 欧美在线| 人人妻人人爽人人添夜夜欢视频| 免费不卡的大黄色大毛片视频在线观看| 亚洲欧美中文字幕日韩二区| 九草在线视频观看| 各种免费的搞黄视频| 日韩 亚洲 欧美在线| 精品人妻熟女毛片av久久网站| 极品人妻少妇av视频| 老司机亚洲免费影院| 欧美变态另类bdsm刘玥| 欧美日韩一级在线毛片| 人妻少妇偷人精品九色| 日韩熟女老妇一区二区性免费视频| 精品久久蜜臀av无| 国产乱来视频区| videosex国产| 中文字幕最新亚洲高清| av线在线观看网站| 日产精品乱码卡一卡2卡三| 亚洲精品av麻豆狂野| 午夜福利视频在线观看免费| 亚洲天堂av无毛| 最近手机中文字幕大全| 99国产精品免费福利视频| 菩萨蛮人人尽说江南好唐韦庄| 五月天丁香电影| 亚洲男人天堂网一区| 国产一区二区在线观看av| 国产 精品1| 99re6热这里在线精品视频| 日韩制服骚丝袜av| 日韩一区二区三区影片| 五月开心婷婷网| 精品久久蜜臀av无| 精品99又大又爽又粗少妇毛片| 亚洲欧美精品自产自拍| 亚洲精品av麻豆狂野| 巨乳人妻的诱惑在线观看| 成人手机av| 9191精品国产免费久久| 尾随美女入室| 日韩三级伦理在线观看| 亚洲国产成人一精品久久久| 亚洲精品自拍成人| 久久国内精品自在自线图片| av有码第一页| 丰满迷人的少妇在线观看| 亚洲av在线观看美女高潮| 交换朋友夫妻互换小说| 午夜日韩欧美国产| 国产午夜精品一二区理论片| 久久久久视频综合| 三级国产精品片| 亚洲人成77777在线视频| 大片电影免费在线观看免费| 亚洲美女搞黄在线观看| 欧美亚洲 丝袜 人妻 在线| 午夜日韩欧美国产| 国产探花极品一区二区| 国产精品欧美亚洲77777| 久久久久久久大尺度免费视频| 天堂中文最新版在线下载| 国产综合精华液| 国产一区有黄有色的免费视频| 亚洲一区二区三区欧美精品| 久久午夜福利片| 在线观看一区二区三区激情| 91国产中文字幕| 好男人视频免费观看在线| 飞空精品影院首页| 亚洲一码二码三码区别大吗| 中文字幕最新亚洲高清| 国产成人欧美| 成人毛片a级毛片在线播放| 国产1区2区3区精品| 国产又爽黄色视频| 免费在线观看黄色视频的| 亚洲欧美中文字幕日韩二区| 国产有黄有色有爽视频| 日日摸夜夜添夜夜爱| 成年动漫av网址| 最新中文字幕久久久久| 最近2019中文字幕mv第一页| 免费观看在线日韩| 国产精品久久久久久av不卡| 亚洲在久久综合| 各种免费的搞黄视频| 亚洲国产欧美日韩在线播放| a级毛片在线看网站| av国产久精品久网站免费入址| 人妻 亚洲 视频| 国产成人91sexporn| 青春草国产在线视频| 日本-黄色视频高清免费观看| 午夜免费鲁丝| 午夜福利一区二区在线看| 成人国产麻豆网| 精品少妇一区二区三区视频日本电影 | 久久精品aⅴ一区二区三区四区 | 一区二区三区激情视频| 狠狠婷婷综合久久久久久88av| 9色porny在线观看| 欧美av亚洲av综合av国产av | 久久97久久精品| 成人午夜精彩视频在线观看| 亚洲av福利一区| 国产欧美日韩一区二区三区在线| 只有这里有精品99| 亚洲国产精品成人久久小说| 人体艺术视频欧美日本| 精品少妇内射三级| 岛国毛片在线播放| 黑人欧美特级aaaaaa片| 国产又爽黄色视频| 亚洲一级一片aⅴ在线观看| 丝袜在线中文字幕| 最新的欧美精品一区二区| 欧美人与性动交α欧美软件| 欧美日韩综合久久久久久| 亚洲精品久久午夜乱码| 久久亚洲国产成人精品v| av又黄又爽大尺度在线免费看| 国产欧美日韩一区二区三区在线| 亚洲精品日韩在线中文字幕| 国产精品久久久久久精品电影小说| 欧美最新免费一区二区三区| 久久 成人 亚洲| 亚洲精华国产精华液的使用体验| 男女边吃奶边做爰视频| 国产精品香港三级国产av潘金莲 | 曰老女人黄片| 亚洲成人av在线免费| 亚洲精品久久午夜乱码| 欧美人与善性xxx| 多毛熟女@视频| 天天躁狠狠躁夜夜躁狠狠躁| 欧美日韩精品成人综合77777| 水蜜桃什么品种好| 中文天堂在线官网| a级毛片黄视频| 最近中文字幕2019免费版| 亚洲 欧美一区二区三区| 日韩在线高清观看一区二区三区| 女人精品久久久久毛片| 免费黄网站久久成人精品| 国产极品天堂在线| 国产老妇伦熟女老妇高清| 亚洲成人av在线免费| 亚洲色图综合在线观看| 91精品三级在线观看| 精品一区在线观看国产| 国产乱人偷精品视频| 亚洲av日韩在线播放| 亚洲情色 制服丝袜| 在线观看一区二区三区激情| 免费不卡的大黄色大毛片视频在线观看| 久久久久久人妻| 男人操女人黄网站| 婷婷色av中文字幕| 中文欧美无线码| 国产 精品1| 亚洲欧美一区二区三区黑人 | 人成视频在线观看免费观看| 9191精品国产免费久久| 国产一区二区三区综合在线观看| 久久人人爽av亚洲精品天堂| 亚洲,欧美精品.| 日韩av免费高清视频| 国产在线一区二区三区精| 婷婷色综合大香蕉| 超碰97精品在线观看| 亚洲精品久久久久久婷婷小说| 曰老女人黄片| 寂寞人妻少妇视频99o| 亚洲欧美一区二区三区久久| 伦理电影大哥的女人| 人人妻人人添人人爽欧美一区卜| 99国产精品免费福利视频| 久久久久人妻精品一区果冻| 国产成人午夜福利电影在线观看| 国产精品欧美亚洲77777| 美女中出高潮动态图| av免费在线看不卡| 久久人人97超碰香蕉20202| 91国产中文字幕| 少妇人妻精品综合一区二区| 日韩av不卡免费在线播放| 成年人午夜在线观看视频| 久久久久久久久久久免费av| 国产av国产精品国产| 美女午夜性视频免费| 国产一区二区三区av在线| av不卡在线播放| 色94色欧美一区二区| 一边亲一边摸免费视频| 国产精品久久久久久精品古装| 亚洲欧美一区二区三区黑人 | 99re6热这里在线精品视频| 国产男人的电影天堂91| 欧美亚洲日本最大视频资源| 天天躁夜夜躁狠狠久久av| 午夜91福利影院| 国产精品不卡视频一区二区| 国产成人91sexporn| 建设人人有责人人尽责人人享有的| 你懂的网址亚洲精品在线观看| 啦啦啦中文免费视频观看日本| 考比视频在线观看| 亚洲综合色惰| 亚洲精品成人av观看孕妇| 欧美日本中文国产一区发布| 日日撸夜夜添| 五月天丁香电影| 伦精品一区二区三区| 最近最新中文字幕免费大全7| 黄网站色视频无遮挡免费观看| 久久久久久久久久久久大奶| 97精品久久久久久久久久精品| 久久免费观看电影| 在线免费观看不下载黄p国产| 男女下面插进去视频免费观看| 中文乱码字字幕精品一区二区三区| 亚洲av日韩在线播放| 超碰成人久久| 伊人亚洲综合成人网| 黄色视频在线播放观看不卡| 婷婷色麻豆天堂久久| 一级a爱视频在线免费观看| 精品人妻偷拍中文字幕| 国产乱来视频区| 亚洲精品,欧美精品| 精品国产超薄肉色丝袜足j| 久久99精品国语久久久| 美女视频免费永久观看网站| 日韩伦理黄色片| 狠狠精品人妻久久久久久综合| 69精品国产乱码久久久| 九九爱精品视频在线观看| 精品国产乱码久久久久久小说| 熟妇人妻不卡中文字幕| 99久久中文字幕三级久久日本| 精品亚洲成国产av| 一级片'在线观看视频| 日韩视频在线欧美| 国产亚洲午夜精品一区二区久久| 熟女av电影| 午夜免费鲁丝| 人人妻人人澡人人爽人人夜夜| 亚洲成人手机| 熟女电影av网| 免费日韩欧美在线观看| 久久免费观看电影| 性色av一级| 婷婷色综合大香蕉| 97在线人人人人妻| 精品午夜福利在线看| 巨乳人妻的诱惑在线观看| 亚洲内射少妇av| 成人午夜精彩视频在线观看| 精品第一国产精品| 久久久久精品人妻al黑| 少妇猛男粗大的猛烈进出视频| 免费高清在线观看日韩| 中文字幕精品免费在线观看视频| 亚洲精品aⅴ在线观看| 久久久久国产精品人妻一区二区| 街头女战士在线观看网站| 超碰97精品在线观看| 免费观看a级毛片全部| 中文字幕亚洲精品专区| 性少妇av在线| 国产日韩欧美在线精品| 欧美少妇被猛烈插入视频| 亚洲第一青青草原| av在线播放精品| 成人亚洲精品一区在线观看| av不卡在线播放| av网站免费在线观看视频| 国产精品免费视频内射| 日本av免费视频播放| 999久久久国产精品视频| 日韩一卡2卡3卡4卡2021年| 国产一区有黄有色的免费视频| 久久久国产一区二区| 热99久久久久精品小说推荐| 日本爱情动作片www.在线观看| 伦理电影大哥的女人| 咕卡用的链子| 亚洲精品aⅴ在线观看| 99热全是精品| 最新中文字幕久久久久| 久久久久久久亚洲中文字幕| 一级毛片电影观看| 亚洲国产日韩一区二区| 亚洲精品国产av成人精品| 永久免费av网站大全| 少妇熟女欧美另类| 午夜av观看不卡| 乱人伦中国视频| 777米奇影视久久| 免费看不卡的av| 啦啦啦中文免费视频观看日本| 精品人妻熟女毛片av久久网站| 热re99久久国产66热| 日本-黄色视频高清免费观看| 国产成人aa在线观看| 18在线观看网站| 黄色 视频免费看| 国产精品秋霞免费鲁丝片| 免费黄频网站在线观看国产| 99久久中文字幕三级久久日本| 日韩精品免费视频一区二区三区| 欧美日韩视频高清一区二区三区二| 精品午夜福利在线看| 国产黄色视频一区二区在线观看| 久久精品亚洲av国产电影网| 日韩制服丝袜自拍偷拍| 高清av免费在线| a级片在线免费高清观看视频| 天美传媒精品一区二区| 国产av码专区亚洲av| 黄色视频在线播放观看不卡| 最新的欧美精品一区二区| 丝袜在线中文字幕| 18禁裸乳无遮挡动漫免费视频| 久久久精品免费免费高清| 日韩成人av中文字幕在线观看| 国产成人精品在线电影| 色婷婷久久久亚洲欧美| 国产极品天堂在线| av线在线观看网站| 亚洲内射少妇av| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 男女午夜视频在线观看| 欧美国产精品一级二级三级| 欧美日本中文国产一区发布| av不卡在线播放| 欧美日韩成人在线一区二区| 久久精品国产亚洲av天美| 国产亚洲欧美精品永久| 在线精品无人区一区二区三| 人妻人人澡人人爽人人| 国产黄色免费在线视频| 国产深夜福利视频在线观看| 午夜久久久在线观看| 中文字幕人妻丝袜一区二区 | 国产深夜福利视频在线观看| 国产激情久久老熟女| 不卡视频在线观看欧美| 观看美女的网站| 久久亚洲国产成人精品v| 成人影院久久| 免费在线观看完整版高清| 丝袜美足系列| 精品人妻偷拍中文字幕| 狠狠精品人妻久久久久久综合| 亚洲国产欧美在线一区| 深夜精品福利| 美国免费a级毛片| 一级,二级,三级黄色视频| 久久久久久久国产电影| 国产精品免费大片| 成年人免费黄色播放视频| 我要看黄色一级片免费的| av在线观看视频网站免费| 丝瓜视频免费看黄片| 色哟哟·www| 国产成人精品福利久久| 久久久久网色| 国产 一区精品| av在线app专区| 国产亚洲最大av| 伦理电影大哥的女人| 曰老女人黄片| 国产欧美日韩综合在线一区二区| 精品国产一区二区三区四区第35| 欧美日韩视频高清一区二区三区二| 国产熟女欧美一区二区| 激情视频va一区二区三区| 少妇人妻久久综合中文| 欧美变态另类bdsm刘玥| 精品卡一卡二卡四卡免费| 电影成人av| 久久人人97超碰香蕉20202| www.精华液| 国产一区二区激情短视频 | 国产精品.久久久| www日本在线高清视频| 亚洲美女黄色视频免费看| 极品少妇高潮喷水抽搐| 成人漫画全彩无遮挡| 熟女电影av网| 激情视频va一区二区三区| 成人国产av品久久久| 大香蕉久久网| 国产精品嫩草影院av在线观看| 久久99蜜桃精品久久| 亚洲少妇的诱惑av| 黑人猛操日本美女一级片| 女性生殖器流出的白浆| 欧美日韩av久久| 人人妻人人澡人人看| 一区福利在线观看| 中文字幕av电影在线播放| 成年美女黄网站色视频大全免费| 国产无遮挡羞羞视频在线观看| 日韩精品有码人妻一区| h视频一区二区三区| 最近中文字幕高清免费大全6| 高清黄色对白视频在线免费看| 美女视频免费永久观看网站| 大片电影免费在线观看免费| 伦理电影大哥的女人| 一本大道久久a久久精品| 欧美日韩视频精品一区| 午夜影院在线不卡| 亚洲,一卡二卡三卡| 欧美精品人与动牲交sv欧美| 亚洲国产成人一精品久久久| 色哟哟·www| 午夜福利在线免费观看网站| 三级国产精品片| 一本—道久久a久久精品蜜桃钙片| 国产成人一区二区在线| 99久国产av精品国产电影| 哪个播放器可以免费观看大片| 免费少妇av软件| 日日摸夜夜添夜夜爱| 麻豆av在线久日| 国产日韩欧美亚洲二区| 人人妻人人添人人爽欧美一区卜| 高清黄色对白视频在线免费看| 三上悠亚av全集在线观看| 国产精品 欧美亚洲| 色网站视频免费| 热re99久久精品国产66热6| 又粗又硬又长又爽又黄的视频| 亚洲中文av在线| 免费黄色在线免费观看| 久久久久久伊人网av| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 久久久精品免费免费高清| 王馨瑶露胸无遮挡在线观看| 亚洲av国产av综合av卡| 日日啪夜夜爽| 国产亚洲午夜精品一区二区久久| 久久精品人人爽人人爽视色| 麻豆乱淫一区二区| av又黄又爽大尺度在线免费看| 九草在线视频观看| 午夜激情av网站| 桃花免费在线播放| 捣出白浆h1v1| 在线免费观看不下载黄p国产| 亚洲一级一片aⅴ在线观看| 老汉色av国产亚洲站长工具| 五月天丁香电影| 极品人妻少妇av视频| 91精品三级在线观看| 亚洲欧美精品综合一区二区三区 | 一级黄片播放器| av免费在线看不卡|