• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    隱私保護(hù)與開(kāi)放共享:人工智能時(shí)代的教育數(shù)據(jù)治理變革

    2020-05-21 02:49:38田賢鵬
    電化教育研究 2020年5期
    關(guān)鍵詞:開(kāi)放共享數(shù)據(jù)治理隱私保護(hù)

    [摘? ?要] 如何推進(jìn)基于隱私保護(hù)和開(kāi)放共享的教育數(shù)據(jù)治理成為深化人工智能應(yīng)用過(guò)程中需要迫切回應(yīng)的兩難議題。以此為語(yǔ)境,文章從隱私保護(hù)與開(kāi)放共享的矛盾關(guān)系視角分析考察人工智能時(shí)代教育數(shù)據(jù)治理的迫切挑戰(zhàn)、現(xiàn)實(shí)境遇和變革路徑。研究發(fā)現(xiàn):(1)教育數(shù)據(jù)的開(kāi)放共享要求不斷提升,但隱私空間卻可能被嚴(yán)重壓縮;教育大數(shù)據(jù)的開(kāi)放應(yīng)用場(chǎng)景將不斷豐富,但隱私保障難度卻空前提升;(2)隱私保護(hù)制度缺失導(dǎo)致的教育數(shù)據(jù)泄漏風(fēng)險(xiǎn)、開(kāi)放共享支持不足造成的教育應(yīng)用場(chǎng)景受限等正在成為教育數(shù)據(jù)治理面臨著的嚴(yán)峻考驗(yàn);(3)促進(jìn)教育數(shù)據(jù)治理變革需重構(gòu)教育數(shù)據(jù)治理的制度倫理空間、強(qiáng)化教育主體的安全保障意識(shí)和能力、拓展基于技術(shù)升級(jí)的開(kāi)放應(yīng)用可能。

    [關(guān)鍵詞] 人工智能; 數(shù)據(jù)治理; 教育; 隱私保護(hù); 開(kāi)放共享

    [中圖分類(lèi)號(hào)] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

    [作者簡(jiǎn)介] 田賢鵬(1990—),男,河南商城人。副教授,博士,主要從事教育政策與管理研究。E-mail:xianpengtian @163.com。

    一、引? ?言

    人工智能不僅是一場(chǎng)技術(shù)革命和產(chǎn)業(yè)革命,更是一場(chǎng)數(shù)據(jù)革命。無(wú)論接受與否,數(shù)據(jù)正在像空氣和水一樣成為不可或缺的基本生存資源,每一個(gè)虛擬或者實(shí)體的存在都將成為基于數(shù)據(jù)的信息綜合體[1]。在教育領(lǐng)域,學(xué)校、教師和學(xué)生等相關(guān)主體都已被卷入這場(chǎng)聲勢(shì)浩大的數(shù)據(jù)革命之中,基于數(shù)據(jù)分析的電子書(shū)包、智能教室、智慧校園等相關(guān)應(yīng)用正在滲透到教育教學(xué)改革的全過(guò)程之中,并且全方位地重塑教育治理的理念、方法和路徑。隨著智能應(yīng)用場(chǎng)景的不斷豐富和深化以及商業(yè)資本的推波助瀾,數(shù)據(jù)革命對(duì)于學(xué)校、教師和學(xué)生的這種影響還將持續(xù)地走向深化。如何通過(guò)教育數(shù)據(jù)治理變革來(lái)科學(xué)處理數(shù)據(jù)產(chǎn)生、存儲(chǔ)、使用和管理過(guò)程中的隱私保護(hù)和開(kāi)放獲取的關(guān)系,無(wú)疑會(huì)成為一個(gè)迫切的新時(shí)代議題。正如控制論創(chuàng)始人維納(Norbert Wiener)所言:“技術(shù)的發(fā)展,對(duì)善和惡都帶來(lái)了無(wú)限的可能性?!盵2]人們正在一方面享受著數(shù)據(jù)應(yīng)用帶來(lái)的各種便捷和福利,另一方面卻遭受著個(gè)人隱私空間被不斷壓縮的煩惱和弊端。由于教育數(shù)據(jù)治理的失范,學(xué)生和教師數(shù)據(jù)信息被公開(kāi)叫賣(mài)、侵犯學(xué)生和教師數(shù)據(jù)隱私等現(xiàn)象頻繁發(fā)生,數(shù)據(jù)壟斷、授權(quán)應(yīng)用場(chǎng)景受限等諸多問(wèn)題也在不斷出現(xiàn)。推動(dòng)教育數(shù)據(jù)的隱私保護(hù)和開(kāi)放獲取成為教育治理變革亟待破解的當(dāng)務(wù)之急,但已有研究對(duì)此問(wèn)題的關(guān)注卻嚴(yán)重不足。

    二、人工智能時(shí)代教育數(shù)據(jù)治理

    面臨的迫切挑戰(zhàn)

    在盧西亞諾(Luciano Floridi)看來(lái),“人工智能使得數(shù)據(jù)痕跡可以被記錄、監(jiān)控、處理,并被廣泛應(yīng)用于社會(huì)、政治或商業(yè)等各種目的。”[1]怎樣使用數(shù)據(jù)并使得數(shù)據(jù)價(jià)值得到合理發(fā)揮是教育數(shù)據(jù)治理迫切需要回答的問(wèn)題。從治理訴求看,隱私保護(hù)與開(kāi)放共享是人工智能時(shí)代教育數(shù)據(jù)治理的核心內(nèi)容。

    (一)教育數(shù)據(jù)開(kāi)放共享訴求日趨強(qiáng)烈,但隱私空間卻被嚴(yán)重壓縮

    無(wú)論從教育應(yīng)用還是商業(yè)應(yīng)用的角度看,數(shù)據(jù)自身并沒(méi)有特別的價(jià)值,其價(jià)值是在使用過(guò)程中實(shí)現(xiàn)的,開(kāi)放共享是發(fā)揮和提升數(shù)據(jù)應(yīng)用價(jià)值的前提基礎(chǔ)。對(duì)于應(yīng)用決策而言,數(shù)據(jù)只有經(jīng)過(guò)系統(tǒng)整合、形成相互支持的應(yīng)用價(jià)值鏈,才能在教育教學(xué)改革過(guò)程中發(fā)揮有效的價(jià)值。但由于開(kāi)放共享準(zhǔn)則與機(jī)制不完善,數(shù)據(jù)在不同部門(mén)和學(xué)校之間無(wú)法實(shí)現(xiàn)互通共享,信息孤島、數(shù)據(jù)壟斷等造成的共享壁壘嚴(yán)重阻礙了數(shù)據(jù)應(yīng)用價(jià)值的最大程度發(fā)揮。推動(dòng)開(kāi)放共享成為人工智能時(shí)代教育數(shù)據(jù)治理需要回應(yīng)的迫切訴求,且隨著人工智能應(yīng)用場(chǎng)景的深化和擴(kuò)展,這種訴求也會(huì)愈來(lái)愈強(qiáng)烈。美國(guó)教育統(tǒng)計(jì)中心早在2009年就專(zhuān)門(mén)組織專(zhuān)業(yè)力量進(jìn)行了“通用教育數(shù)據(jù)標(biāo)準(zhǔn)(CEDS)”的研發(fā),以簡(jiǎn)化不同教育機(jī)構(gòu)和學(xué)校之間的數(shù)據(jù)交換和比較過(guò)程,促進(jìn)數(shù)據(jù)在橫向和縱向?qū)用娴墓蚕韀3]。紐約大學(xué)、加州大學(xué)伯克利分校、華盛頓大學(xué)等則聯(lián)合共建大數(shù)據(jù)生態(tài)系統(tǒng)(Ecosystem for Big Data),以期充分利用日益增加的共享數(shù)據(jù)進(jìn)行教育管理和學(xué)生分析。

    但對(duì)誰(shuí)開(kāi)放共享數(shù)據(jù)、如何開(kāi)放共享數(shù)據(jù)則具有高度復(fù)雜性和系統(tǒng)性,關(guān)涉各方面利益主體的相關(guān)利益及其隱私保護(hù)。也就是說(shuō),教育數(shù)據(jù)的開(kāi)放共享是有限度的,其不僅與教育部門(mén)和學(xué)校的治理權(quán)限和能力有關(guān),還與學(xué)生和教師的隱私權(quán)利保障有關(guān)。一方面,擴(kuò)大教育數(shù)據(jù)的開(kāi)放共享空間雖然有利于提升數(shù)據(jù)的應(yīng)用價(jià)值、形成相互支持的應(yīng)用價(jià)值鏈,從而更好地服務(wù)于教育教學(xué)改革,但卻有可能侵犯到教師和學(xué)生等相關(guān)主體的隱私空間;另一方面,限制教育數(shù)據(jù)的開(kāi)放共享空間雖然有利于保護(hù)教師和學(xué)生等相關(guān)主體的隱私空間,但卻有可能束縛教育數(shù)據(jù)應(yīng)用價(jià)值的發(fā)揮,導(dǎo)致教育教學(xué)改革無(wú)法享受人工智能發(fā)展帶來(lái)的數(shù)據(jù)應(yīng)用紅利。從人工智能的不可逆態(tài)勢(shì)看,推動(dòng)教育數(shù)據(jù)開(kāi)放共享是必然要求,促進(jìn)教師和學(xué)生的數(shù)據(jù)隱私保護(hù)也是必然要求。

    (二)基于教育大數(shù)據(jù)的開(kāi)放應(yīng)用場(chǎng)景不斷豐富,但隱私保障難度卻空前提升

    為了最大化地挖掘數(shù)據(jù)的教育應(yīng)用價(jià)值和商業(yè)應(yīng)用價(jià)值,人工智能在教育教學(xué)改革中的應(yīng)用場(chǎng)景將必然得到進(jìn)一步深化和拓展,但由此帶來(lái)的隱私保障難度也將不斷提升。如何避免成為“裸奔的透明人”成為人工智能時(shí)代教育數(shù)據(jù)治理面臨的突出挑戰(zhàn)。伊恩·艾瑞斯(Ian Ayres)就曾擔(dān)憂地指出:“大數(shù)據(jù)分析減少了我們的有效隱私空間,我們生活在了一個(gè)越來(lái)越無(wú)法隱藏我們是誰(shuí)、我們做了什么以及我們會(huì)做什么的世界里?!盵4]基于教育大數(shù)據(jù)的分析應(yīng)用已經(jīng)廣泛進(jìn)入課堂、教室和校園,而且這種應(yīng)用正在隨著人工智能技術(shù)的提升而愈加深化和多元。但與傳統(tǒng)信息環(huán)境不同,人工智能不僅破壞了一種基于匿名的隱私平衡,而且能在增加或減少信息摩擦上給信息智能體授權(quán),其全方位場(chǎng)景應(yīng)用在一定程度上架空了用戶(hù)的選擇權(quán),迫使用戶(hù)不得不做出某些被動(dòng)的選擇[5]。

    通過(guò)對(duì)教師和學(xué)生的日常行為習(xí)慣和學(xué)習(xí)行為特征數(shù)據(jù)進(jìn)行深度的挖掘分析,可以為教育教學(xué)和校園綜合治理提供決策支撐,但這也在無(wú)形中將教師和學(xué)生的隱私暴露在了第三方空間之中,嚴(yán)重削弱了教師和學(xué)生對(duì)于自身隱私控制的實(shí)際能力。從價(jià)值角度看,數(shù)據(jù)是被動(dòng)的客觀存在,其到底是發(fā)揮積極功能還是消極功能則取決于使用主體。在教師和學(xué)生眼里,數(shù)據(jù)是其個(gè)人隱私,應(yīng)當(dāng)?shù)玫奖匾鹬睾捅Wo(hù);在學(xué)校管理者眼里,數(shù)據(jù)是推進(jìn)改進(jìn)教育教學(xué)的支撐,應(yīng)當(dāng)?shù)玫接行У挠涗浐捅4?在商業(yè)開(kāi)發(fā)者眼里,數(shù)據(jù)是拓展商業(yè)利益的工具,通過(guò)數(shù)據(jù)分析可以展開(kāi)有針對(duì)性的商業(yè)營(yíng)銷(xiāo)。但隨著教育應(yīng)用場(chǎng)景的拓展,數(shù)據(jù)產(chǎn)生的來(lái)源將愈來(lái)愈廣、過(guò)程將愈來(lái)愈復(fù)雜、規(guī)模將愈來(lái)愈龐大、使用目的也將愈來(lái)愈多元,而這顯然會(huì)提升數(shù)據(jù)隱私保障的難度系數(shù)。

    三、人工智能時(shí)代教育數(shù)據(jù)治理的現(xiàn)實(shí)境遇

    從來(lái)源看,隨著人機(jī)交互的不斷深化,組織層面的學(xué)校、個(gè)體層面的教師和學(xué)生都將成為海量隱私數(shù)據(jù)的生產(chǎn)者和攜帶者,但卻很難成為這些隱私數(shù)據(jù)的掌控者。事實(shí)上,大量的教育應(yīng)用數(shù)據(jù)正在被第三方機(jī)構(gòu)所掌控,學(xué)校、教師和學(xué)生往往成為被動(dòng)的數(shù)據(jù)提供者,而由此帶來(lái)的教育數(shù)據(jù)治理問(wèn)題也將空前嚴(yán)峻。

    (一)隱私保護(hù)制度缺失導(dǎo)致教育數(shù)據(jù)泄漏風(fēng)險(xiǎn)加大

    人工智能時(shí)代的萬(wàn)物互聯(lián)、人機(jī)共存使得任何主體行為的發(fā)生都將被不可避免地記錄在數(shù)據(jù)網(wǎng)絡(luò)系統(tǒng)之中,無(wú)處不在的監(jiān)控?zé)o論對(duì)于教師還是學(xué)生都將是一種恐怖的存在[6]。人的信息存在方式賦予了人權(quán)的數(shù)字屬性,使得教師和學(xué)生由“自然人”轉(zhuǎn)向“信息人”。

    一方面,作為一項(xiàng)技術(shù),人工智能是在不斷發(fā)展和突破的,而這也意味著基于現(xiàn)有技術(shù)的人工智能應(yīng)用可能存在各種各樣的漏洞。事實(shí)上,諸如“3D”人臉識(shí)別系統(tǒng)、指紋識(shí)別系統(tǒng)以及其他相關(guān)應(yīng)用管理系統(tǒng)的安全保障問(wèn)題已經(jīng)引起了社會(huì)的廣泛關(guān)注,“黑客”入侵?jǐn)?shù)據(jù)系統(tǒng)的各類(lèi)困擾也在頻繁發(fā)生。教育領(lǐng)域中,智能頭環(huán)、“刷臉”報(bào)道、“刷臉”簽到等相關(guān)應(yīng)用更是引發(fā)了人們對(duì)于數(shù)據(jù)安全問(wèn)題的深度擔(dān)憂。盡管萬(wàn)物互聯(lián)、人機(jī)共存給個(gè)性化教育實(shí)施提供更多可能,但當(dāng)每一種存在都成為數(shù)據(jù)的生產(chǎn)者和攜帶者時(shí),數(shù)據(jù)泄露的渠道和路徑就會(huì)增多,相關(guān)風(fēng)險(xiǎn)無(wú)疑就會(huì)越來(lái)越高。

    另一方面,數(shù)據(jù)是一種可供生產(chǎn)實(shí)踐應(yīng)用的資源和工具,為了追求應(yīng)用價(jià)值的最大化,相關(guān)主體可能在違背教育倫理的情況下濫用數(shù)據(jù)以謀取非正當(dāng)性利益。不同于傳統(tǒng)的外顯化侵權(quán),人工智能時(shí)代的“算法黑箱”[7]會(huì)形成自動(dòng)化的歧視和侵權(quán)“決策”,一旦存在算法歧視、信息控制、侵犯隱私等問(wèn)題,就會(huì)成為連續(xù)性的常規(guī)動(dòng)作,產(chǎn)生系統(tǒng)化和機(jī)制化的侵權(quán)后果。人工智能場(chǎng)景中,教師和學(xué)生的數(shù)據(jù)信息不僅有巨大的教育應(yīng)用價(jià)值,而且其商業(yè)開(kāi)發(fā)價(jià)值也同樣可觀。壟斷性的數(shù)據(jù)平臺(tái)能夠借助各類(lèi)教師和學(xué)生數(shù)據(jù)進(jìn)行非教育目的的營(yíng)利性行為。

    (二)開(kāi)放獲取支持不夠造成教育數(shù)據(jù)應(yīng)用場(chǎng)景受限

    不同教育應(yīng)用場(chǎng)景的數(shù)據(jù)系統(tǒng)具有相對(duì)的自我封閉性,呈現(xiàn)出松散的碎片化特征,難以構(gòu)成支撐教育決策的完整應(yīng)用價(jià)值鏈。從教育數(shù)據(jù)治理的角度看,實(shí)現(xiàn)基于開(kāi)放共享的數(shù)據(jù)整合是充分挖掘教育數(shù)據(jù)應(yīng)用價(jià)值的前提保障,開(kāi)放獲取支持不夠會(huì)限制和束縛人工智能在教育場(chǎng)域中的應(yīng)用空間范圍。人工智能應(yīng)用的巨大優(yōu)勢(shì)在于基于海量數(shù)據(jù)的精準(zhǔn)分析和預(yù)測(cè),但其發(fā)揮的基礎(chǔ)在于不同系統(tǒng)之間的數(shù)據(jù)整合和共享。

    首先,不同教育數(shù)據(jù)系統(tǒng)的異質(zhì)性增加了開(kāi)放共享的難度。數(shù)據(jù)產(chǎn)生于行為,在不同的系統(tǒng),基于學(xué)生和教師行為產(chǎn)生的數(shù)據(jù)記錄方式和內(nèi)容有所不同。高校信息管理系統(tǒng)建設(shè)主要以實(shí)現(xiàn)業(yè)務(wù)功能為導(dǎo)向,在底層數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)方面并沒(méi)有構(gòu)建起統(tǒng)一的數(shù)據(jù)存儲(chǔ)標(biāo)準(zhǔn)和管理準(zhǔn)則,導(dǎo)致大量數(shù)據(jù)在不同高校信息管理系統(tǒng)之間的存儲(chǔ)形式不一,由此形成了一數(shù)多源的“數(shù)據(jù)孤島”[8]。而且,教育應(yīng)用市場(chǎng)上的管理信息系統(tǒng)開(kāi)發(fā)主體相對(duì)多元,彼此之間并沒(méi)有形成基于開(kāi)放共享的數(shù)據(jù)基礎(chǔ)架構(gòu),導(dǎo)致不同高校管理信息系統(tǒng)之間的相互兼容性嚴(yán)重不足。

    其次,數(shù)據(jù)的機(jī)構(gòu)性壟斷造成了教育應(yīng)用共享的排他性。超級(jí)機(jī)構(gòu)平臺(tái)可以通過(guò)數(shù)據(jù)生態(tài)系統(tǒng)的構(gòu)建來(lái)采集和存儲(chǔ)海量數(shù)據(jù),以達(dá)到特定的數(shù)據(jù)控制目的。從性質(zhì)上講,數(shù)據(jù)一旦生成就能夠被無(wú)限制地復(fù)制和應(yīng)用,但從應(yīng)用角度講,對(duì)誰(shuí)開(kāi)放、怎樣開(kāi)放卻涉及復(fù)雜的權(quán)利和利益問(wèn)題。具有壟斷性能力的超級(jí)平臺(tái)機(jī)構(gòu)為了維護(hù)自身的權(quán)利和利益往往會(huì)拒絕向第三方提供數(shù)據(jù)共享服務(wù)。2019年5月,由中國(guó)人民大學(xué)發(fā)布的國(guó)內(nèi)首份有關(guān)數(shù)據(jù)壟斷的研究報(bào)告《互聯(lián)網(wǎng)平臺(tái)新型壟斷行為的法律規(guī)制研究》顯示,數(shù)據(jù)管理平臺(tái)呈現(xiàn)出“贏者通吃,一家獨(dú)大”的特點(diǎn)。在美國(guó),諸如Coursera等超級(jí)學(xué)習(xí)平臺(tái)已經(jīng)占有超高的市場(chǎng)份額,并且正在利用自身的數(shù)據(jù)閉環(huán)系統(tǒng)來(lái)限制用戶(hù)轉(zhuǎn)移以排斥其他平臺(tái)進(jìn)入,從而達(dá)成數(shù)據(jù)控制的目的。

    最后,學(xué)校對(duì)于技術(shù)的不信任阻礙了數(shù)據(jù)開(kāi)放共享的進(jìn)程。由于教育對(duì)于技術(shù)應(yīng)用的反應(yīng)相對(duì)遲鈍,導(dǎo)致大數(shù)據(jù)在教育領(lǐng)域中的應(yīng)用場(chǎng)景非常有限。從深層原因看,這種反應(yīng)的相對(duì)遲鈍可能源自于學(xué)校對(duì)于技術(shù)的不信任。與國(guó)外相比,人工智能在我國(guó)的商業(yè)應(yīng)用領(lǐng)域發(fā)展較快,企業(yè)相關(guān)機(jī)構(gòu)的技術(shù)接受能力較強(qiáng),但在教育領(lǐng)域,由于基于技術(shù)的數(shù)據(jù)素養(yǎng)教育缺失,教育管理者、教師和學(xué)生的技術(shù)接受能力相對(duì)較弱,其數(shù)據(jù)素養(yǎng)提升速度遠(yuǎn)遠(yuǎn)落后于人工智能的應(yīng)用發(fā)展速度。

    (三)教育數(shù)據(jù)治理中隱私保護(hù)與開(kāi)放共享的關(guān)系矛盾難以化解

    如何獲取數(shù)據(jù)涉及隱私保護(hù)和開(kāi)放共享之間的關(guān)系平衡和處理。隱私保護(hù)要求充分尊重教師和學(xué)生的知情權(quán),保障教師和學(xué)生的相關(guān)隱私不受侵犯;開(kāi)放共享則要求擴(kuò)大教師和學(xué)生的數(shù)據(jù)信息整合力度,以便最大化地挖掘數(shù)據(jù)的應(yīng)用價(jià)值。從根本上看,隱私保護(hù)和開(kāi)放共享之間存在著嚴(yán)重的矛盾沖突性。對(duì)此,學(xué)術(shù)界也呈現(xiàn)出了兩種不同聲音:一是從公共視角出發(fā),將教育數(shù)據(jù)視為一種公共資源,主張強(qiáng)化底層數(shù)據(jù)架構(gòu)的頂層設(shè)計(jì),推動(dòng)數(shù)據(jù)在不同應(yīng)用主體之間的互通共享;二是從個(gè)體視角出發(fā),將教育數(shù)據(jù)視為一種個(gè)人隱私,主張完善數(shù)據(jù)隱私保護(hù)的法律規(guī)制,將學(xué)生和教師的數(shù)據(jù)隱私權(quán)作為一項(xiàng)基本權(quán)利納入隱私權(quán)的保障范圍。隨著人工智能在教育場(chǎng)景應(yīng)用的范圍和深度不斷拓展,兩種聲音此起彼伏。但教育數(shù)據(jù)治理不可能離開(kāi)隱私保護(hù)而探討開(kāi)放共享,也不可能為促進(jìn)開(kāi)放共享而不顧隱私保護(hù)。事實(shí)上,人工智能構(gòu)筑了一個(gè)包含無(wú)數(shù)教育應(yīng)用場(chǎng)景的、基于數(shù)據(jù)分析的虛擬空間。只有進(jìn)入這個(gè)空間,才能享受到全新的價(jià)值體驗(yàn),但進(jìn)入這個(gè)空間也就意味著留下數(shù)據(jù),而留下數(shù)據(jù)在一定程度上就是對(duì)自身隱私權(quán)的轉(zhuǎn)讓抑或?qū)ψ陨頂?shù)據(jù)信息的共享。在技術(shù)力量的強(qiáng)大驅(qū)動(dòng)下,愈來(lái)愈多的教師和學(xué)生正在或主動(dòng)或被動(dòng)地進(jìn)入這個(gè)空間,一方面意味著愈來(lái)愈多的數(shù)據(jù)隱私侵權(quán)問(wèn)題將有可能會(huì)發(fā)生,另一方面則意味著愈來(lái)愈多的數(shù)據(jù)共享價(jià)值將會(huì)得到更大程度的挖掘。如何在保障教師和學(xué)生隱私信息的同時(shí)推進(jìn)數(shù)據(jù)開(kāi)放共享,是人工智能時(shí)代的教育數(shù)據(jù)治理必然面臨的兩難選擇。

    四、人工智能時(shí)代教育數(shù)據(jù)治理的路徑選擇

    人工智能時(shí)代,數(shù)據(jù)權(quán)利逐漸成為公民的一項(xiàng)基本權(quán)利,推動(dòng)人工智能時(shí)代的教育數(shù)據(jù)治理變革需充分關(guān)照組織層面和個(gè)體層面相關(guān)主體的矛盾復(fù)雜性以及隱私保護(hù)與開(kāi)放共享的內(nèi)在沖突性。一方面,要將學(xué)生和教師的隱私權(quán)益置于價(jià)值秩序的優(yōu)先序列,確保教師和學(xué)生的合法權(quán)益不受侵害;另一方面,要借助人工智能來(lái)推動(dòng)教育教學(xué)變革,從而更好地為促進(jìn)學(xué)生健康成長(zhǎng)和教師專(zhuān)業(yè)發(fā)展服務(wù)。在此背景下,如何在保障學(xué)生和教師隱私不受侵犯的基礎(chǔ)上最大程度地發(fā)揮教育大數(shù)據(jù)的應(yīng)用價(jià)值是人工智能時(shí)代教育數(shù)據(jù)治理不懈的目標(biāo)追求。

    (一)優(yōu)化教育數(shù)據(jù)隱私安全保護(hù)機(jī)制,重構(gòu)數(shù)據(jù)治理的制度倫理規(guī)范

    為了保障數(shù)據(jù)隱私安全,歐盟早在20世紀(jì)90年代中期就制定出臺(tái)了《數(shù)據(jù)保護(hù)指令(簡(jiǎn)稱(chēng)DPD)》,確立了“數(shù)據(jù)主體在收集數(shù)據(jù)時(shí)應(yīng)給予通知”“未經(jīng)數(shù)據(jù)主體同意,不得披露同意數(shù)據(jù)”等七條促進(jìn)個(gè)人數(shù)據(jù)保護(hù)的基礎(chǔ)原則和制度倫理規(guī)范。隨著人工智能開(kāi)啟的大數(shù)據(jù)革命的到來(lái),其在《數(shù)據(jù)保護(hù)指令》的基礎(chǔ)上于2018年修訂出臺(tái)了《通用數(shù)據(jù)保護(hù)條例(簡(jiǎn)稱(chēng)GDPR)》,進(jìn)一步賦予數(shù)據(jù)主體以“刪除權(quán)、限制處理權(quán)、反對(duì)權(quán)和自動(dòng)化個(gè)人決策相關(guān)權(quán)利”,同時(shí)在2019年制定出臺(tái)了《歐盟人工智能倫理準(zhǔn)則(簡(jiǎn)稱(chēng)EGAI)》。此外,針對(duì)教師和學(xué)生的數(shù)據(jù)隱私和安全,美國(guó)曾先后制定實(shí)施了《家庭教育權(quán)利與隱私法案(FERPA)》《保護(hù)學(xué)生權(quán)利修正案(簡(jiǎn)稱(chēng)PPRA)》《兒童在線隱私保護(hù)法案(簡(jiǎn)稱(chēng)COPPA)》《學(xué)生數(shù)字隱私和家長(zhǎng)權(quán)利法案(簡(jiǎn)稱(chēng)SDPPRC)》等相關(guān)法規(guī),聯(lián)邦教育部則專(zhuān)門(mén)建立了首席數(shù)據(jù)隱私官(簡(jiǎn)稱(chēng)CPO)制度。

    與此同時(shí),國(guó)內(nèi)學(xué)者也在不斷呼吁建立立體化、多層次的教育數(shù)據(jù)安全管理機(jī)制,例如制定《教育大數(shù)據(jù)權(quán)利法》《個(gè)人教育數(shù)據(jù)保護(hù)法》《教育大數(shù)據(jù)行業(yè)公約》[9]等。但從實(shí)際的政策行動(dòng)看,相關(guān)的呼吁并沒(méi)有得到足夠的重視和響應(yīng),泄露教師和學(xué)生數(shù)據(jù)隱私的問(wèn)題仍然頻繁發(fā)生[10]。重構(gòu)基于教育數(shù)據(jù)安全保護(hù)的制度倫理規(guī)范將會(huì)愈來(lái)愈迫切。

    具體而言,可主要從四方面推進(jìn):一是在數(shù)據(jù)收集和使用過(guò)程中,要保障教師和學(xué)生的知情權(quán),必須經(jīng)過(guò)教師和學(xué)生同意后方可進(jìn)行收集和使用;二是學(xué)校不得將教師和學(xué)生的數(shù)據(jù)用于商業(yè)營(yíng)利目的,未經(jīng)授權(quán)不得隨意向任何第三方機(jī)構(gòu)或者個(gè)人轉(zhuǎn)讓;三是要確保學(xué)生和教師數(shù)據(jù)的有效性,嚴(yán)格禁止任何捏造、篡改教師和學(xué)生數(shù)據(jù)行為的發(fā)生;四是建立教育數(shù)據(jù)安全管理保障的問(wèn)責(zé)機(jī)制,任何泄露教師和學(xué)生數(shù)據(jù)隱私的行為以及違反數(shù)據(jù)安全保護(hù)原則的舉動(dòng)都應(yīng)到受到相應(yīng)的嚴(yán)格懲戒。

    (二)提升教育決策主體的數(shù)據(jù)治理能力,強(qiáng)化教師和學(xué)生數(shù)據(jù)安全保護(hù)意識(shí)

    從相對(duì)發(fā)展看,人工智能在教育場(chǎng)景中的應(yīng)用更新速度遠(yuǎn)超教育數(shù)據(jù)治理體系重構(gòu)的速度,而相關(guān)主體的數(shù)據(jù)治理能力的落后則是其關(guān)鍵所在。就現(xiàn)實(shí)狀況而言,人工智能帶來(lái)的突破變革及其對(duì)教育發(fā)展的滲透影響程度是社會(huì)各界所始料未及的,變化之快、力度之大遠(yuǎn)超正常想象,但數(shù)據(jù)準(zhǔn)確性不高、一致性不強(qiáng)、標(biāo)準(zhǔn)性不足等問(wèn)題[11]卻在嚴(yán)重制約著其具體應(yīng)用價(jià)值的發(fā)揮。如何通過(guò)數(shù)據(jù)治理能力提升來(lái)最大限度地挖掘其正向價(jià)值、避免負(fù)向應(yīng)用價(jià)值,是教育相關(guān)主體需要著力回應(yīng)和解決的迫切議題。對(duì)此,有學(xué)者認(rèn)為,應(yīng)通過(guò)設(shè)置教育數(shù)據(jù)治理的組織機(jī)構(gòu)、制定和完善數(shù)據(jù)通用標(biāo)準(zhǔn)[12]等來(lái)促進(jìn)相關(guān)治理體系的完善;也有學(xué)者指出,要通過(guò)一站式服務(wù)中心、數(shù)據(jù)中心和認(rèn)證建設(shè),在平臺(tái)服務(wù)層實(shí)現(xiàn)業(yè)務(wù)流程整合、數(shù)據(jù)統(tǒng)一規(guī)劃治理和管理服務(wù)應(yīng)用標(biāo)準(zhǔn)化[13]等。從深層次看,這些舉措的核心在于提升與人工教育智能發(fā)展速度相適應(yīng)的現(xiàn)代化數(shù)據(jù)治理能力。

    人工智能環(huán)境下,教師和學(xué)生不僅要有與人溝通交流的能力,在奧恩(Joseph E Aoun)看來(lái),科技素養(yǎng)、數(shù)據(jù)素養(yǎng)和人文素養(yǎng)將會(huì)成為人們充分利用數(shù)字世界所必備的基本素養(yǎng)[14]。如何在教育數(shù)據(jù)治理能力提升的基礎(chǔ)上培養(yǎng)教師和學(xué)生的數(shù)據(jù)素養(yǎng)、強(qiáng)化其數(shù)據(jù)安全保障意識(shí),也是傳統(tǒng)教育內(nèi)容體系需要進(jìn)一步突破和創(chuàng)新的內(nèi)在要求。首先是提升數(shù)據(jù)素養(yǎng)在整個(gè)教育教學(xué)內(nèi)容體系中的地位,推動(dòng)數(shù)據(jù)素養(yǎng)教育進(jìn)教材和課堂,培養(yǎng)適應(yīng)人工智能發(fā)展的新時(shí)代公民,以彌補(bǔ)傳統(tǒng)教育教學(xué)中的數(shù)據(jù)安全保護(hù)意識(shí)教育缺失問(wèn)題;其次是優(yōu)化數(shù)據(jù)素養(yǎng)教育的過(guò)程保障機(jī)制,明確應(yīng)用主體在數(shù)據(jù)使用過(guò)程中的權(quán)利和義務(wù)邊界,為教師和學(xué)生的數(shù)據(jù)素養(yǎng)能力提升提供立體化、全方位的支持;最后是大力推動(dòng)教師和學(xué)生數(shù)據(jù)隱私安全保障的政策與法規(guī)的制定和落實(shí),并據(jù)此完善合法權(quán)益保障的相應(yīng)救濟(jì)規(guī)則,依法懲戒侵犯教師和學(xué)生數(shù)據(jù)安全的行為。

    (三)促進(jìn)基于區(qū)塊鏈的安全保障技術(shù)應(yīng)用,拓展教育數(shù)據(jù)獲取的開(kāi)放應(yīng)用可能

    區(qū)塊鏈?zhǔn)且环N分布式數(shù)據(jù)存儲(chǔ)、點(diǎn)對(duì)點(diǎn)傳輸、共識(shí)機(jī)制、加密算法等計(jì)算機(jī)技術(shù)的新型應(yīng)用模式[15],因其具有去中心化、可靠性和可追溯性等特征而被認(rèn)為是確保數(shù)據(jù)安全的重要技術(shù)突破。目前區(qū)塊鏈已經(jīng)廣泛應(yīng)用于信用背書(shū)、信息加密、智能合約等諸多領(lǐng)域,并且在教育領(lǐng)域也顯現(xiàn)出巨大的潛力[16]。從趨勢(shì)特征看,區(qū)塊鏈構(gòu)成了聯(lián)結(jié)教育數(shù)據(jù)治理中隱私保護(hù)和開(kāi)放共享的技術(shù)載體,為實(shí)現(xiàn)數(shù)字教育資源共建、共享提供了新的工具和方向。對(duì)于教育數(shù)據(jù)治理而言,首先要從價(jià)值層面突出關(guān)注數(shù)據(jù)存儲(chǔ)、挖掘和獲取過(guò)程中的應(yīng)用倫理構(gòu)建,以確保避免數(shù)據(jù)使用過(guò)程的非法行為發(fā)生;其次要從事實(shí)層面重點(diǎn)關(guān)注技術(shù)自身的創(chuàng)新突破,以技術(shù)進(jìn)步彌補(bǔ)傳統(tǒng)工具手段的不足。顯然,區(qū)塊鏈技術(shù)在教育領(lǐng)域中的應(yīng)用屬于后者,需要以新技術(shù)的進(jìn)步和創(chuàng)新來(lái)回應(yīng)原有技術(shù)的缺陷和漏洞。促進(jìn)基于區(qū)塊鏈技術(shù)的教育應(yīng)用需要從兩方面進(jìn)行努力。

    一方面,深化以區(qū)塊鏈技術(shù)研究為基礎(chǔ)的教育數(shù)據(jù)安全保障系統(tǒng)優(yōu)化,提升技術(shù)自身的抗風(fēng)險(xiǎn)性和安全性。正如聯(lián)合國(guó)教科文組織2019年報(bào)告《教育中的人工智能:可持續(xù)發(fā)展的挑戰(zhàn)和機(jī)遇》中所指出的那樣,“構(gòu)建開(kāi)放、高質(zhì)量和包容性強(qiáng)的教育數(shù)據(jù)系統(tǒng)是人工智能教育可持續(xù)發(fā)展的重要前提”[17],而基于區(qū)塊鏈技術(shù)的研究深化則是構(gòu)建開(kāi)放、高質(zhì)量和包容性強(qiáng)的教育數(shù)據(jù)系統(tǒng)的技術(shù)保障基礎(chǔ)?,F(xiàn)階段,包括安全保障技術(shù)在內(nèi)的人工智能正處在一個(gè)飛速發(fā)展的關(guān)鍵節(jié)點(diǎn),盡管各種新技術(shù)手段和應(yīng)用層出不窮,但基于基礎(chǔ)研究的底層數(shù)據(jù)安全架構(gòu)卻并不完善,數(shù)據(jù)泄露或者被盜用導(dǎo)致的各種風(fēng)險(xiǎn)仍然廣泛存在。從原理上看,區(qū)塊鏈技術(shù)的研究深化將在很大程度上緩解教育數(shù)據(jù)治理過(guò)程中隱私保護(hù)和開(kāi)放獲取關(guān)系矛盾難以調(diào)和的困境。其不僅可以通過(guò)去中心化消除教育數(shù)據(jù)共享過(guò)程中的隱私保護(hù)問(wèn)題,而且能夠借助分布式數(shù)據(jù)系統(tǒng)存儲(chǔ)拓展教育數(shù)據(jù)的開(kāi)放共享空間,從而在確保教師和學(xué)生數(shù)據(jù)隱私保障安全的基礎(chǔ)上,促進(jìn)人工智能在教育中的應(yīng)用場(chǎng)景的深化。

    另一方面,加強(qiáng)區(qū)塊鏈技術(shù)在教育數(shù)據(jù)治理領(lǐng)域的安全應(yīng)用和推廣,推動(dòng)去中心化的教育數(shù)據(jù)共享新機(jī)制構(gòu)建。從技術(shù)成熟度來(lái)看,區(qū)塊鏈還處在一個(gè)快速變革創(chuàng)新的初始階段,有關(guān)區(qū)塊鏈的技術(shù)應(yīng)用仍然有待進(jìn)一步的實(shí)踐探索和檢驗(yàn)。事實(shí)上,從基礎(chǔ)研究開(kāi)發(fā)到技術(shù)成熟應(yīng)用有一個(gè)相對(duì)漫長(zhǎng)的周期。就教育領(lǐng)域而言,決策者要保持對(duì)區(qū)塊鏈技術(shù)進(jìn)步的敏感性,以便及時(shí)將成熟的技術(shù)應(yīng)用在相對(duì)合適的教育場(chǎng)景,但又不能冒進(jìn)、盲目的信賴(lài)技術(shù)。從未來(lái)趨勢(shì)看,加強(qiáng)區(qū)塊鏈技術(shù)的安全應(yīng)用和推廣為教育數(shù)據(jù)治理的應(yīng)有之義和重要內(nèi)容。目前理論界和實(shí)踐界已經(jīng)達(dá)成的一個(gè)基本共識(shí)是:“區(qū)塊鏈技術(shù)能夠在一定程度上解決當(dāng)前開(kāi)放教育資源建設(shè)面臨的運(yùn)營(yíng)成本高、版權(quán)保護(hù)弱、資源共享難和資源質(zhì)量低等現(xiàn)實(shí)問(wèn)題。”[18]構(gòu)建基于區(qū)塊鏈技術(shù)的教育數(shù)據(jù)開(kāi)放共享新機(jī)制有著巨大的應(yīng)用和推廣前景,是推動(dòng)教育數(shù)據(jù)治理中隱私保護(hù)和開(kāi)放共享關(guān)系矛盾化解的重要手段和路徑方向。

    五、結(jié)? ?語(yǔ)

    數(shù)據(jù)既具有個(gè)體意義上的隱私性,又具有組織層面的開(kāi)放性。對(duì)于教育數(shù)據(jù)治理而言,隱私保護(hù)與開(kāi)放共享是對(duì)立統(tǒng)一的矛盾綜合體。一方面,隱私保護(hù)要求決策主體應(yīng)當(dāng)充分關(guān)照與教師、學(xué)生和高校數(shù)據(jù)有關(guān)的合法權(quán)益,構(gòu)建基于個(gè)體隱私的數(shù)據(jù)開(kāi)放邊界,避免教育數(shù)據(jù)泄露或?yàn)E用帶來(lái)的制度倫理風(fēng)險(xiǎn);另一方面,開(kāi)放共享卻要求決策主體從打破教育數(shù)據(jù)壟斷、促進(jìn)教育智能應(yīng)用深化出發(fā),推動(dòng)不同數(shù)據(jù)綜合體之間的互動(dòng)和聯(lián)結(jié),從而實(shí)現(xiàn)對(duì)教育數(shù)據(jù)價(jià)值最大程度的挖掘。從內(nèi)在聯(lián)系看,隱私保護(hù)是開(kāi)放共享的前提和基礎(chǔ),是教育數(shù)據(jù)治理必須堅(jiān)守的基礎(chǔ)準(zhǔn)則;開(kāi)放共享則是充分挖掘教育數(shù)據(jù)價(jià)值的必然要求,是促進(jìn)人工智能在教育領(lǐng)域應(yīng)用深化和拓展的客觀需要。深化人工智能時(shí)代的教育數(shù)據(jù)治理變革,需要?jiǎng)討B(tài)平衡隱私保護(hù)與開(kāi)放共享的對(duì)立統(tǒng)一關(guān)系,重構(gòu)基于隱私保護(hù)和開(kāi)放共享的制度倫理空間,在確保教師、學(xué)生和高校等相關(guān)主體的隱私得到合理保護(hù)的同時(shí),致力于最大限度地挖掘和拓展教育數(shù)據(jù)的應(yīng)用價(jià)值。

    [參考文獻(xiàn)]

    [1] 盧西亞諾·弗洛里迪.第四次革命:人工智能如何重塑人類(lèi)實(shí)踐[M].王文革,譯.杭州:浙江人民出版社,2016.

    [2] 諾伯特·維納.控制論[M].郝季仁,譯.北京:科學(xué)出版社,2016.

    [3] Common education data standards. The CEDS Initiative[EB/OL].[2019-08-20].https://ceds.ed.gov/whatIsCEDS.aspx.

    [4] 伊恩·艾瑞斯.大數(shù)據(jù)思維與決策[M].宮相真,譯.北京:人民郵電出版社,2016.

    [5] 侯浩翔.人工智能時(shí)代學(xué)生數(shù)據(jù)隱私保護(hù)的動(dòng)因與策略[J].現(xiàn)代教育技術(shù),2019(6):12-18.

    [6] 江山.校園拒絕攝像頭[N]. 中國(guó)青年報(bào),2019-09-11(007).

    [7] AUDET C, LE DIGABEL, SEBASTIEN, TRIBES C. Dynamic scaling in the mesh adaptive direct search algorithm for black-box optimization[J]. Optimization and engineering, 2016(2):333-358.

    [8] 董曉輝,鄭小斌,彭義平.高校教育大數(shù)據(jù)治理的框架設(shè)計(jì)與實(shí)施[J].中國(guó)電化教育,2019(8):63-71.

    [9] 戚萬(wàn)學(xué),謝娟.教育大數(shù)據(jù)的倫理訴求及其實(shí)現(xiàn)[J].教育研究,2019(7):26-35.

    [10] 杜靜,黃榮懷,李政璇,等.智能教育時(shí)代下人工智能倫理的內(nèi)涵與建構(gòu)原則[J].電化教育研究,2019(7):21-29.

    [11] 徐峰,吳旻瑜,徐萱,等.教育數(shù)據(jù)治理:?jiǎn)栴}、思考與對(duì)策[J].開(kāi)放教育研究,2018(2):107-112.

    [12] 李青,韓俊紅.數(shù)據(jù)治理:提升教育數(shù)據(jù)質(zhì)量的方法和途徑[J].中國(guó)遠(yuǎn)程教育,2018(8):45-53.

    [13] 宋蘇軒,楊現(xiàn)民,宋子強(qiáng),等.教育信息化2.0背景下新一代高校智慧校園基礎(chǔ)平臺(tái)建設(shè)研究[J].現(xiàn)代教育技術(shù),2019(8):18-24.

    [14] 約瑟夫·E·奧恩.教育的未來(lái):人工智能時(shí)代的教育變革[M].李海燕,王勤輝,譯.北京:機(jī)械工業(yè)出版社,2019.

    [15] 任仲文.區(qū)塊鏈領(lǐng)導(dǎo)干部讀本[M].北京:人民日?qǐng)?bào)出版社,2018.

    [16] 李青,張?chǎng)?區(qū)塊鏈:以技術(shù)推動(dòng)教育的開(kāi)放和公信[J].遠(yuǎn)程教育雜志,2017(1):36-44.

    [17] UNESCO. Artificial intelligence in education: challenges and opportunities for sustainable development[EB/OL].[2019-08-20]. https://unesdoc.unesco.org/ark:/48223/pf0000366994.

    [18] 李新,楊現(xiàn)民.應(yīng)用區(qū)塊鏈技術(shù)構(gòu)建開(kāi)放教育資源新生態(tài)[J].中國(guó)遠(yuǎn)程教育,2018(6):58-67,80.

    猜你喜歡
    開(kāi)放共享數(shù)據(jù)治理隱私保護(hù)
    基于本體的企業(yè)運(yùn)營(yíng)數(shù)據(jù)治理
    云端數(shù)據(jù)治理初探
    高校實(shí)驗(yàn)教學(xué)資源整合與開(kāi)放共享
    基于培養(yǎng)應(yīng)用型人才的大型儀器開(kāi)放共享及績(jī)效考核模式研究
    大數(shù)據(jù)環(huán)境下用戶(hù)信息隱私泄露成因分析和保護(hù)對(duì)策
    大數(shù)據(jù)安全與隱私保護(hù)的必要性及措施
    社交網(wǎng)絡(luò)中的隱私關(guān)注及隱私保護(hù)研究綜述
    大數(shù)據(jù)時(shí)代的隱私保護(hù)關(guān)鍵技術(shù)研究
    加強(qiáng)高等職業(yè)院??蒲泄矊?shí)驗(yàn)室建設(shè)探析
    大數(shù)據(jù)治理模型與治理成熟度評(píng)估研究
    国产淫片久久久久久久久| 女人久久www免费人成看片| 久久久久久久久久久久大奶| 亚州av有码| 最近中文字幕高清免费大全6| 乱系列少妇在线播放| 观看免费一级毛片| 伊人久久精品亚洲午夜| 日本av免费视频播放| 免费av中文字幕在线| 亚洲av免费高清在线观看| 久久精品国产鲁丝片午夜精品| 十八禁网站网址无遮挡 | 亚洲精品久久午夜乱码| 国产亚洲一区二区精品| 欧美人与善性xxx| 伊人亚洲综合成人网| 爱豆传媒免费全集在线观看| av不卡在线播放| 新久久久久国产一级毛片| 女人久久www免费人成看片| 亚洲真实伦在线观看| 99热国产这里只有精品6| 日日啪夜夜撸| 少妇精品久久久久久久| 亚洲丝袜综合中文字幕| 色5月婷婷丁香| 亚洲av二区三区四区| 人妻夜夜爽99麻豆av| 黄色日韩在线| 在线天堂最新版资源| 成人毛片a级毛片在线播放| 国产午夜精品久久久久久一区二区三区| av天堂中文字幕网| 青青草视频在线视频观看| 国产欧美另类精品又又久久亚洲欧美| 中国三级夫妇交换| 国产亚洲91精品色在线| 午夜久久久在线观看| 日本色播在线视频| 国产极品天堂在线| 色94色欧美一区二区| 欧美+日韩+精品| 国产成人一区二区在线| 麻豆成人av视频| h日本视频在线播放| 日本黄大片高清| 国产精品成人在线| 国产精品秋霞免费鲁丝片| 自拍欧美九色日韩亚洲蝌蚪91 | 免费在线观看成人毛片| 99热这里只有精品一区| tube8黄色片| 久久毛片免费看一区二区三区| 岛国毛片在线播放| 男的添女的下面高潮视频| 欧美精品一区二区大全| 亚洲真实伦在线观看| 亚洲综合色惰| 国产亚洲午夜精品一区二区久久| 校园人妻丝袜中文字幕| 色视频在线一区二区三区| 欧美日韩国产mv在线观看视频| 久久国内精品自在自线图片| 一级黄片播放器| 国产乱人偷精品视频| 男人添女人高潮全过程视频| 十八禁网站网址无遮挡 | 亚洲婷婷狠狠爱综合网| 曰老女人黄片| 中文字幕免费在线视频6| 在线观看免费视频网站a站| 伊人久久精品亚洲午夜| 亚洲av欧美aⅴ国产| 一区二区av电影网| 免费观看无遮挡的男女| 又爽又黄a免费视频| 国产精品久久久久久久电影| 色哟哟·www| 国产精品99久久99久久久不卡 | 高清黄色对白视频在线免费看 | 伦精品一区二区三区| 国产精品成人在线| 午夜91福利影院| av在线app专区| 国产黄片美女视频| 久久人人爽人人爽人人片va| 97精品久久久久久久久久精品| 国产欧美日韩精品一区二区| 久久99精品国语久久久| 国精品久久久久久国模美| 国产91av在线免费观看| 波野结衣二区三区在线| 国产亚洲91精品色在线| 亚洲精品成人av观看孕妇| 蜜桃在线观看..| 在线观看免费日韩欧美大片 | 国产无遮挡羞羞视频在线观看| 欧美人与善性xxx| 26uuu在线亚洲综合色| 久久韩国三级中文字幕| 日本91视频免费播放| 国产精品一区二区性色av| 一边亲一边摸免费视频| 亚洲精品第二区| 高清视频免费观看一区二区| 欧美日韩一区二区视频在线观看视频在线| 纵有疾风起免费观看全集完整版| 2022亚洲国产成人精品| 亚洲一级一片aⅴ在线观看| 国国产精品蜜臀av免费| 六月丁香七月| 日韩一区二区三区影片| 中文在线观看免费www的网站| 高清视频免费观看一区二区| 久久99一区二区三区| 视频区图区小说| 校园人妻丝袜中文字幕| 曰老女人黄片| 丝袜喷水一区| 日本黄色日本黄色录像| 又大又黄又爽视频免费| 久久久久网色| 国产精品不卡视频一区二区| 亚洲怡红院男人天堂| 高清欧美精品videossex| 成年女人在线观看亚洲视频| 亚洲精品日韩av片在线观看| 国内精品宾馆在线| 欧美变态另类bdsm刘玥| 久久精品国产自在天天线| av国产久精品久网站免费入址| 国产高清三级在线| 黄片无遮挡物在线观看| 高清欧美精品videossex| 成人午夜精彩视频在线观看| 日本午夜av视频| 亚洲高清免费不卡视频| 免费少妇av软件| freevideosex欧美| 精品卡一卡二卡四卡免费| 欧美精品高潮呻吟av久久| 男女啪啪激烈高潮av片| 午夜福利视频精品| 日韩一区二区视频免费看| 久久99精品国语久久久| 夜夜骑夜夜射夜夜干| 成人午夜精彩视频在线观看| 精品久久久久久电影网| 亚洲欧美中文字幕日韩二区| 国产伦在线观看视频一区| 人人妻人人澡人人看| 国产精品久久久久成人av| 久久久精品免费免费高清| 日本av免费视频播放| 亚洲婷婷狠狠爱综合网| 亚洲精华国产精华液的使用体验| 久久久久久久久大av| 欧美 亚洲 国产 日韩一| 亚洲国产精品国产精品| 80岁老熟妇乱子伦牲交| 中文资源天堂在线| 国产黄片美女视频| 在线观看av片永久免费下载| av女优亚洲男人天堂| 丝袜喷水一区| 肉色欧美久久久久久久蜜桃| 色婷婷av一区二区三区视频| 日日摸夜夜添夜夜爱| 国产亚洲精品久久久com| 亚洲精品久久午夜乱码| 中文字幕精品免费在线观看视频 | 街头女战士在线观看网站| a级毛片免费高清观看在线播放| 51国产日韩欧美| 日韩欧美一区视频在线观看 | 国产免费一区二区三区四区乱码| 香蕉精品网在线| 九草在线视频观看| 最黄视频免费看| 青青草视频在线视频观看| 日韩 亚洲 欧美在线| 亚洲不卡免费看| 中国美白少妇内射xxxbb| 纵有疾风起免费观看全集完整版| 亚洲精品乱久久久久久| 亚洲,一卡二卡三卡| 成年av动漫网址| 国产伦在线观看视频一区| 少妇人妻一区二区三区视频| 日本av手机在线免费观看| 国产精品国产三级国产专区5o| 国产欧美日韩精品一区二区| 三级国产精品欧美在线观看| 国产一区二区在线观看av| 色视频在线一区二区三区| 色视频www国产| 国产成人午夜福利电影在线观看| a级毛片在线看网站| 2018国产大陆天天弄谢| 99久国产av精品国产电影| 十八禁高潮呻吟视频 | 亚洲,一卡二卡三卡| 欧美丝袜亚洲另类| 中国美白少妇内射xxxbb| 午夜日本视频在线| 国产成人a∨麻豆精品| 日韩视频在线欧美| 久久精品国产自在天天线| 国产淫片久久久久久久久| 久久鲁丝午夜福利片| 777米奇影视久久| 欧美3d第一页| 一级,二级,三级黄色视频| 六月丁香七月| 久久精品国产亚洲av涩爱| 777米奇影视久久| 极品教师在线视频| 午夜日本视频在线| 成年人午夜在线观看视频| 国产在线视频一区二区| 噜噜噜噜噜久久久久久91| 亚洲av在线观看美女高潮| 夜夜看夜夜爽夜夜摸| 亚洲自偷自拍三级| 在线 av 中文字幕| 日韩视频在线欧美| 日本与韩国留学比较| 黄色怎么调成土黄色| 亚洲精品国产av成人精品| 黄色怎么调成土黄色| 亚洲精品成人av观看孕妇| 内射极品少妇av片p| 一区二区av电影网| 日日摸夜夜添夜夜爱| 久热久热在线精品观看| 久久久国产精品麻豆| 搡女人真爽免费视频火全软件| 噜噜噜噜噜久久久久久91| a 毛片基地| 高清欧美精品videossex| 亚洲av.av天堂| 噜噜噜噜噜久久久久久91| 久久久久精品性色| videos熟女内射| 人妻夜夜爽99麻豆av| 国产日韩一区二区三区精品不卡 | 一本—道久久a久久精品蜜桃钙片| 亚洲va在线va天堂va国产| 乱码一卡2卡4卡精品| 亚洲av中文av极速乱| 最近中文字幕高清免费大全6| 国产乱人偷精品视频| 国产成人一区二区在线| 欧美亚洲 丝袜 人妻 在线| 色视频在线一区二区三区| 国产女主播在线喷水免费视频网站| 欧美高清成人免费视频www| 久久精品国产亚洲av天美| 97超碰精品成人国产| 肉色欧美久久久久久久蜜桃| 一级毛片 在线播放| 欧美 亚洲 国产 日韩一| 免费久久久久久久精品成人欧美视频 | www.av在线官网国产| 日韩制服骚丝袜av| 大香蕉97超碰在线| 久久国产精品男人的天堂亚洲 | 亚洲欧美日韩另类电影网站| 国产精品不卡视频一区二区| 国产精品无大码| 国产成人免费无遮挡视频| 中文字幕人妻熟人妻熟丝袜美| 欧美三级亚洲精品| 一级片'在线观看视频| 熟女人妻精品中文字幕| 97超碰精品成人国产| 欧美日韩在线观看h| 国产av国产精品国产| 亚洲av在线观看美女高潮| 制服丝袜香蕉在线| 大码成人一级视频| 中文字幕人妻熟人妻熟丝袜美| 一区二区三区免费毛片| 国产探花极品一区二区| 人人澡人人妻人| 久热这里只有精品99| 亚洲精品乱久久久久久| 亚洲国产精品国产精品| 日本wwww免费看| 成人二区视频| 国产精品无大码| 久久久久国产精品人妻一区二区| 日本黄大片高清| 国模一区二区三区四区视频| h日本视频在线播放| 日韩成人av中文字幕在线观看| 精品一品国产午夜福利视频| 在线观看三级黄色| 在线观看人妻少妇| 十分钟在线观看高清视频www | 亚洲av国产av综合av卡| 久久久久精品性色| 中文天堂在线官网| av女优亚洲男人天堂| 国产熟女欧美一区二区| 久久韩国三级中文字幕| 国产精品.久久久| 美女xxoo啪啪120秒动态图| 午夜免费观看性视频| 一本色道久久久久久精品综合| 久久久久久久国产电影| 看非洲黑人一级黄片| 青春草国产在线视频| 久久免费观看电影| 少妇 在线观看| 国产女主播在线喷水免费视频网站| 插阴视频在线观看视频| 成人亚洲欧美一区二区av| 一区二区三区四区激情视频| 亚洲在久久综合| 日韩强制内射视频| 亚洲丝袜综合中文字幕| 国产亚洲午夜精品一区二区久久| 日韩电影二区| 在线观看三级黄色| 青春草视频在线免费观看| 久久久久久久久大av| 自线自在国产av| 午夜av观看不卡| 国产精品国产三级国产专区5o| 久久免费观看电影| 国产中年淑女户外野战色| 久久久久久久久久久久大奶| 狂野欧美白嫩少妇大欣赏| 欧美精品一区二区大全| 日韩 亚洲 欧美在线| 天天操日日干夜夜撸| 色婷婷久久久亚洲欧美| 99视频精品全部免费 在线| 精品少妇内射三级| 欧美日韩综合久久久久久| 久久韩国三级中文字幕| 夫妻性生交免费视频一级片| 好男人视频免费观看在线| 女性生殖器流出的白浆| 久久午夜福利片| 性高湖久久久久久久久免费观看| 少妇猛男粗大的猛烈进出视频| 黄色配什么色好看| 在线观看免费高清a一片| 精品人妻熟女毛片av久久网站| 天堂8中文在线网| 中文资源天堂在线| 免费大片18禁| 亚洲欧美日韩东京热| 综合色丁香网| 亚洲国产日韩一区二区| 少妇猛男粗大的猛烈进出视频| 国产精品一区二区三区四区免费观看| 亚洲成人手机| 亚洲经典国产精华液单| 久久午夜福利片| 久久国产精品大桥未久av | 天天躁夜夜躁狠狠久久av| 亚洲国产色片| 精品人妻偷拍中文字幕| 亚洲人与动物交配视频| 男女啪啪激烈高潮av片| 建设人人有责人人尽责人人享有的| 汤姆久久久久久久影院中文字幕| 超碰97精品在线观看| 免费人妻精品一区二区三区视频| 国产一级毛片在线| 日韩精品有码人妻一区| 精品亚洲成a人片在线观看| 少妇人妻久久综合中文| 少妇精品久久久久久久| 大码成人一级视频| 日韩欧美一区视频在线观看 | 久久久久国产网址| 毛片一级片免费看久久久久| 美女脱内裤让男人舔精品视频| 99九九在线精品视频 | 最近2019中文字幕mv第一页| 亚洲av中文av极速乱| 国产日韩欧美视频二区| 国产真实伦视频高清在线观看| 国产一级毛片在线| 日本wwww免费看| 国产日韩欧美亚洲二区| 色吧在线观看| 久久精品熟女亚洲av麻豆精品| 国产精品三级大全| 在线播放无遮挡| 美女xxoo啪啪120秒动态图| 欧美人与善性xxx| 久久青草综合色| 看免费成人av毛片| 一区二区三区免费毛片| 欧美日韩一区二区视频在线观看视频在线| 国产淫片久久久久久久久| 久久免费观看电影| 亚洲av综合色区一区| 国产 一区精品| 女的被弄到高潮叫床怎么办| 精品久久久久久电影网| 久久国产精品男人的天堂亚洲 | 成人国产av品久久久| 麻豆成人av视频| 啦啦啦中文免费视频观看日本| 国产在线视频一区二区| 成人无遮挡网站| 国产精品久久久久久久电影| 精品人妻熟女av久视频| 黄片无遮挡物在线观看| 亚洲美女搞黄在线观看| 国产精品人妻久久久影院| 夜夜爽夜夜爽视频| 亚洲精品国产成人久久av| 国产伦在线观看视频一区| 国精品久久久久久国模美| av福利片在线观看| 国产精品嫩草影院av在线观看| 国产白丝娇喘喷水9色精品| 国产视频首页在线观看| 亚洲欧美日韩东京热| 久久精品久久精品一区二区三区| 亚洲精华国产精华液的使用体验| √禁漫天堂资源中文www| 国产午夜精品一二区理论片| 免费观看性生交大片5| 五月开心婷婷网| 国语对白做爰xxxⅹ性视频网站| 免费观看av网站的网址| 黄色视频在线播放观看不卡| 免费人妻精品一区二区三区视频| 国产精品不卡视频一区二区| 自线自在国产av| 亚洲激情五月婷婷啪啪| 久久人人爽av亚洲精品天堂| 青春草视频在线免费观看| 菩萨蛮人人尽说江南好唐韦庄| 妹子高潮喷水视频| 免费高清在线观看视频在线观看| 水蜜桃什么品种好| 尾随美女入室| 亚州av有码| 久久久久久久大尺度免费视频| 亚洲精品日韩在线中文字幕| av女优亚洲男人天堂| 久久久久国产网址| 美女xxoo啪啪120秒动态图| 亚洲欧美日韩东京热| 18禁在线无遮挡免费观看视频| 午夜福利在线观看免费完整高清在| 日韩 亚洲 欧美在线| 亚洲美女黄色视频免费看| 中文字幕制服av| 成人国产av品久久久| 国产精品国产三级国产专区5o| 国产熟女午夜一区二区三区 | 国产黄片美女视频| 五月天丁香电影| 国产亚洲5aaaaa淫片| 晚上一个人看的免费电影| 菩萨蛮人人尽说江南好唐韦庄| 国产日韩欧美在线精品| 国产高清国产精品国产三级| 看十八女毛片水多多多| 麻豆成人午夜福利视频| 日本与韩国留学比较| 久久精品国产亚洲网站| 搡女人真爽免费视频火全软件| 成人美女网站在线观看视频| av天堂久久9| 五月开心婷婷网| 亚洲四区av| 亚洲精品亚洲一区二区| 18禁动态无遮挡网站| 一本色道久久久久久精品综合| av视频免费观看在线观看| 最近中文字幕高清免费大全6| 美女脱内裤让男人舔精品视频| 精品人妻熟女av久视频| 欧美bdsm另类| 国产高清三级在线| 偷拍熟女少妇极品色| 亚洲av二区三区四区| 亚洲国产精品成人久久小说| 日本av免费视频播放| 极品少妇高潮喷水抽搐| a级毛片免费高清观看在线播放| 久久久久国产网址| 久久久久网色| av免费观看日本| av在线老鸭窝| 国产精品一区二区在线不卡| 欧美最新免费一区二区三区| 欧美xxxx性猛交bbbb| 精华霜和精华液先用哪个| 又黄又爽又刺激的免费视频.| 我要看日韩黄色一级片| av福利片在线观看| 少妇人妻精品综合一区二区| 99热国产这里只有精品6| 久久久久久久亚洲中文字幕| 免费大片18禁| 精品熟女少妇av免费看| 建设人人有责人人尽责人人享有的| 亚洲怡红院男人天堂| 99久久精品一区二区三区| 国产av国产精品国产| 亚洲欧美一区二区三区黑人 | 美女国产视频在线观看| 国产成人午夜福利电影在线观看| 美女内射精品一级片tv| 久久久亚洲精品成人影院| 国产91av在线免费观看| 夫妻午夜视频| av有码第一页| 国产成人aa在线观看| 日韩精品有码人妻一区| 久热这里只有精品99| 国产免费视频播放在线视频| 久久热精品热| 亚洲精品乱码久久久v下载方式| 亚洲欧洲日产国产| 国产精品一区二区三区四区免费观看| 简卡轻食公司| 视频区图区小说| 日韩欧美一区视频在线观看 | 国产女主播在线喷水免费视频网站| 免费看日本二区| 久久久久视频综合| 久久av网站| 99久久精品国产国产毛片| 黄片无遮挡物在线观看| 国产日韩欧美在线精品| 啦啦啦中文免费视频观看日本| 高清黄色对白视频在线免费看 | 2022亚洲国产成人精品| 久久精品国产亚洲网站| 免费高清在线观看视频在线观看| 婷婷色av中文字幕| 亚洲熟女精品中文字幕| 女的被弄到高潮叫床怎么办| 国产极品粉嫩免费观看在线 | 女性被躁到高潮视频| 国内少妇人妻偷人精品xxx网站| 亚洲欧美日韩另类电影网站| 日本与韩国留学比较| 啦啦啦啦在线视频资源| 亚洲熟女精品中文字幕| 99热这里只有精品一区| 亚洲av.av天堂| 美女中出高潮动态图| 激情五月婷婷亚洲| 人妻一区二区av| 亚洲欧美日韩卡通动漫| 国产高清不卡午夜福利| 性色avwww在线观看| 寂寞人妻少妇视频99o| 午夜激情福利司机影院| 日本与韩国留学比较| 亚洲精品国产av蜜桃| www.色视频.com| 久久国产精品男人的天堂亚洲 | 九色成人免费人妻av| av有码第一页| 亚洲欧美日韩另类电影网站| 99久久中文字幕三级久久日本| 中国美白少妇内射xxxbb| 欧美 亚洲 国产 日韩一| 观看av在线不卡| 成年女人在线观看亚洲视频| 亚洲高清免费不卡视频| 国产精品偷伦视频观看了| 免费少妇av软件| 亚洲,一卡二卡三卡| 亚洲精品乱码久久久久久按摩| av在线app专区| 免费大片18禁| 国产女主播在线喷水免费视频网站| 九九爱精品视频在线观看| 久久久久人妻精品一区果冻| 成年美女黄网站色视频大全免费 | 亚洲在久久综合| 免费观看的影片在线观看| 久久久亚洲精品成人影院| 亚洲欧美一区二区三区国产| 少妇精品久久久久久久| 最近最新中文字幕免费大全7| 国产黄色视频一区二区在线观看| 日韩av不卡免费在线播放| 99热全是精品| 精品国产乱码久久久久久小说| 又爽又黄a免费视频| 亚洲av男天堂| 日韩视频在线欧美| 久久ye,这里只有精品| a级片在线免费高清观看视频| 亚洲国产精品一区三区| 国产伦在线观看视频一区| 国产高清有码在线观看视频| 波野结衣二区三区在线| 亚洲国产最新在线播放| 人人妻人人添人人爽欧美一区卜| 99国产精品免费福利视频| 午夜福利视频精品| 国产熟女欧美一区二区| 国产 精品1| av在线观看视频网站免费| 美女视频免费永久观看网站| 免费播放大片免费观看视频在线观看|