• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    算法教育治理:技術(shù)邏輯、風(fēng)險(xiǎn)挑戰(zhàn)與公共政策

    2020-05-26 09:25:18肖鳳翔張雙志
    中國電化教育 2020年1期
    關(guān)鍵詞:大數(shù)據(jù)人工智能

    肖鳳翔 張雙志

    摘要:智慧學(xué)習(xí)、智慧課堂、智慧校園等智慧教育的具象形態(tài),從本質(zhì)上來說,就是算法學(xué)習(xí)、算法課堂、算法校園,這也使得算法教育治理日益成為教育現(xiàn)代化進(jìn)程中不可忽略的研究議題。遵循“技術(shù)邏輯一風(fēng)險(xiǎn)挑戰(zhàn)一公共政策”的分析框架對算法教育治理進(jìn)行系統(tǒng)探討,發(fā)現(xiàn)由于數(shù)據(jù)鴻溝、算法黑箱、效率優(yōu)先等眾多因素的復(fù)合影響,導(dǎo)致算法教育存在自我強(qiáng)化偏差、技術(shù)控制困境、主體性危機(jī)等治理難題,也讓教育公平、教育平等、教育效率等傳統(tǒng)議題在“互聯(lián)網(wǎng)+教育”時(shí)代顯得更加突出。為規(guī)避只注重相關(guān)關(guān)系描述,而不重視因果關(guān)系研究的算法給教育帶來的風(fēng)險(xiǎn)挑戰(zhàn),可從算法教育基礎(chǔ)的數(shù)據(jù)正義、算法教育程序的合理公開、算法教育結(jié)果的有限使用等三個(gè)層面開展對算法教育治理的公共政策選擇,以更好地推動人工智能在實(shí)現(xiàn)發(fā)展更加公平更有質(zhì)量教育過程中的重要作用。

    關(guān)鍵詞:人工智能;大數(shù)據(jù);算法;算法教育;算法教育治理

    中圖分類號:G434

    文獻(xiàn)標(biāo)識碼:A

    一、問題提出

    2019年的政府工作報(bào)告明確指出,“互聯(lián)網(wǎng)+教育”是實(shí)現(xiàn)教育基本公共服務(wù)均等化、推動發(fā)展更加公平更有質(zhì)量教育的重要途徑。其中,教育移動互聯(lián)網(wǎng)應(yīng)用程序(教育APP)是“互聯(lián)網(wǎng)+教育”的重要載體,極大地整合了學(xué)生、家庭、學(xué)校、企業(yè)、政府等社會資源,豐富了教育方式與學(xué)習(xí)渠道,成為促進(jìn)教育現(xiàn)代化發(fā)展的新動力。從本質(zhì)上來說,教育APP是人工智能在教育領(lǐng)域的特定應(yīng)用,搜集了學(xué)生、教師、家長等教育用戶在互聯(lián)網(wǎng)上產(chǎn)生的教育大數(shù)據(jù),通過機(jī)器學(xué)習(xí)算法處理生成學(xué)習(xí)評估、成績預(yù)測、課程定制、高校自主招生、高考志愿填報(bào)、職業(yè)生涯規(guī)劃等推算結(jié)果,以影響線上線下的教育資源配置。以“深度學(xué)習(xí)”(Deep Learning)為代表的機(jī)器學(xué)習(xí)算法,讓發(fā)端于1956年達(dá)特茅斯會議的人工智能迎來了其歷史上的第三次崛起,而這次人工智能的迅猛發(fā)展有望助推人類社會從工業(yè)社會、信息社會到智能社會,甚至是智慧社會的跨越,實(shí)現(xiàn)人類社會形態(tài)的重塑與變革[1]。人工智能的發(fā)展與應(yīng)用在教育領(lǐng)域產(chǎn)生了一系列新概念,例如智慧學(xué)習(xí)、智慧課堂、智慧校園、智慧教育等,它們的核心要素皆是支配其運(yùn)行發(fā)展的機(jī)器學(xué)習(xí)算法。實(shí)質(zhì)上,這些新概念應(yīng)該被準(zhǔn)確地稱為算法學(xué)習(xí)、算法課堂、算法校園、算法教育。換言之,算法早已滲透在教育生活的方方面面,算法教育時(shí)代已經(jīng)悄然來臨。

    例如,南京大學(xué)運(yùn)用“推薦算法”對2018級新生的生活作息習(xí)慣、興趣愛好、交友觀念等迎新網(wǎng)調(diào)查數(shù)據(jù)進(jìn)行分析,自動生成新生寢室分配結(jié)果。2019年8月,同樣位于南京的中國藥科大學(xué)在部分教室先行安裝了人臉識別系統(tǒng),用于自動簽到簽退、學(xué)生學(xué)習(xí)行為識別及教師課堂教學(xué)管理。其實(shí),早在2016年上海市小升初“搖號入學(xué)”招生錄取改革中,算法推薦結(jié)果就成為當(dāng)時(shí)輿論關(guān)注的焦點(diǎn)。當(dāng)報(bào)名的學(xué)生人數(shù)超過學(xué)校招生計(jì)劃數(shù)時(shí),學(xué)??筛鶕?jù)事先搜集的學(xué)生性別、年齡、家庭地址、父母受教育程度、前置學(xué)校類型等學(xué)籍統(tǒng)計(jì)信息進(jìn)行“電腦派位”來決定錄取名單。那么,看似公平合理的算法推薦結(jié)果是否真的能夠“祛除”歧視與偏見,完全實(shí)現(xiàn)“價(jià)值中立”,解決現(xiàn)實(shí)教育生活中一直固有的教育不公平問題?2009年,美國華盛頓特區(qū)政府利用一套自動化算法程序?qū)處煒I(yè)績進(jìn)行評價(jià)時(shí),將一名被普遍認(rèn)可的教師Sarah Wysocki和其他因得分不佳的205位教師一起解雇了,這引發(fā)了當(dāng)?shù)亟逃到y(tǒng)的普遍質(zhì)疑。然而,華盛頓特區(qū)的這起教育烏龍事件,根源卻在于測評程序?qū)⑸贁?shù)族裔學(xué)生群體的學(xué)習(xí)成績比重賦值過高,而沒有考慮到均衡問題,有意或無意形成了對白人學(xué)生群體的算法歧視。

    算法不僅規(guī)定了“智能體”(Agent)所欲達(dá)成的行為目標(biāo),也預(yù)設(shè)了其為實(shí)現(xiàn)此目標(biāo)應(yīng)遵循的行為路徑。簡單來說,算法就是可以讓智能體自動執(zhí)行任務(wù)的一套數(shù)字代碼規(guī)則,這也是新一代人工智能得以迅猛發(fā)展的核心要素。舍恩伯格(Schoenberg)等在《大數(shù)據(jù)時(shí)代:生活、工作與思維的大變革》中明確指出,在信息爆炸的時(shí)代,人類只需要知道“是什么”,而不必去探究“為什么”[2]。也就是說,在大數(shù)據(jù)時(shí)代重要的是相關(guān)關(guān)系,而不是因果關(guān)系,這對人類千百年來的傳統(tǒng)思維定勢提出了全新的挑戰(zhàn)。然而,教育作為一項(xiàng)獨(dú)特而義復(fù)雜的人類社會活動,以培養(yǎng)人為根本目的,不僅要知其然,更要知其所以然。因此,算法教育不能只是相關(guān)關(guān)系的分析,更要注重因果關(guān)系的探究。顯然,這對于“弱人工智能”時(shí)代的算法教育而言,是一個(gè)短時(shí)間內(nèi)難以逾越的技術(shù)鴻溝。算法在重塑一個(gè)更加便捷、高效與良性循環(huán)教育生態(tài)圈的同時(shí),也由于“算法黑箱”的客觀存在,使得教育公平、教育平等、教育效率等傳統(tǒng)議題在“互聯(lián)網(wǎng)+教育”時(shí)代顯得更加突出。算法難以審查、不易識別、不可公開性等內(nèi)在缺陷,所導(dǎo)致的算法歧視、算法鴻溝與算法操縱,已經(jīng)引發(fā)了社會民眾對智能教育的普遍憂慮和指責(zé)。因而,我們在肯定大數(shù)據(jù)、人工智能等“互聯(lián)網(wǎng)+”時(shí)代科技產(chǎn)物對教育現(xiàn)代化發(fā)展貢獻(xiàn)的同時(shí),也要前瞻性研判在傳統(tǒng)教育向現(xiàn)代教育轉(zhuǎn)型過程中所面臨的新型治理挑戰(zhàn),濫用“人工智能”并不利于教育發(fā)展[3]??上驳氖牵?019年9月,教育部、中央網(wǎng)信辦等八部門聯(lián)合發(fā)布了《關(guān)于引導(dǎo)規(guī)范教育移動互聯(lián)網(wǎng)應(yīng)用有序健康發(fā)展的意見》,在國家層面對“互聯(lián)網(wǎng)+教育”開始實(shí)施公共政策的規(guī)制治理。鑒于此,本文遵循“技術(shù)邏輯一風(fēng)險(xiǎn)挑戰(zhàn)一公共政策”的分析框架,試圖對算法教育治理提出切實(shí)可行的政策建議,以期更好地發(fā)揮人工智能在發(fā)展更加公平更有質(zhì)量教育進(jìn)程中的重要作用。

    二、算法教育的技術(shù)邏輯

    人工智能的第三次浪潮讓人類看到了顛覆“波蘭尼悖論”(Polanyi Paradox)的希望,這不僅得益于大數(shù)據(jù)幾何級數(shù)增長和運(yùn)算力日趨高端精密化,更主要?dú)w功于以深度學(xué)習(xí)為代表的機(jī)器學(xué)習(xí)算法劃時(shí)代的突破進(jìn)展。機(jī)器學(xué)習(xí)算法通過數(shù)據(jù)搜集、數(shù)據(jù)清洗、變量表征、相關(guān)性探索等統(tǒng)計(jì)分析手段,將海量的高維、非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行降維、結(jié)構(gòu)化處理,以期對事物“是什么”這個(gè)問題做出更為全面、準(zhǔn)確與清晰的描述刻畫。從內(nèi)涵構(gòu)造來說,“技術(shù)基礎(chǔ)層一技術(shù)程序?qū)右患夹g(shù)結(jié)果層”有序形成了技術(shù)的發(fā)展邏輯,為探究技術(shù)進(jìn)步的內(nèi)在機(jī)理提供了切入視角。因此,通過對算法教育之基礎(chǔ)、程序、結(jié)果等三個(gè)層面的論述,有助于從技術(shù)邏輯的角度分析算法教育在發(fā)展過程中所面臨的風(fēng)險(xiǎn)挑戰(zhàn),進(jìn)而為選擇治理算法教育的公共政策提供有依可循的經(jīng)驗(yàn)證據(jù)。

    (一)算法教育基礎(chǔ):教育大數(shù)據(jù)

    隨著信息技術(shù)的迭代發(fā)展與“互聯(lián)網(wǎng)+教育”戰(zhàn)略的深入推進(jìn),教育事業(yè)正在快速進(jìn)入大數(shù)據(jù)時(shí)代。截至2019年6月,我國在線教育用戶規(guī)模為2.32億,較2018年底增長3122萬,占網(wǎng)民整體數(shù)量的27.2%[4]。毫無疑問,在線教育將成為信息時(shí)代教育行業(yè)最重要的供給方式,與大數(shù)據(jù)的深度融合已成為信息時(shí)代教育發(fā)展的必然要求。在線教育用戶規(guī)模的快速增長,有助于將虛擬網(wǎng)絡(luò)空間與現(xiàn)實(shí)物理空間整合起來,獲得更加全面、真實(shí)和客觀的教育數(shù)據(jù)。具體來說,在線教育具有全員(面向所有學(xué)習(xí)者)、全程(貫穿終身學(xué)習(xí))和全類型(面向普通教育與職業(yè)教育)的特點(diǎn),能夠?yàn)椤昂窠逃龜?shù)據(jù)”的形成提供廣袤來源。大數(shù)據(jù)通過對在線教育用戶的人口統(tǒng)計(jì)信息、瀏覽偏好、付費(fèi)金額、學(xué)習(xí)行為、跟帖討論等信息的搜集與運(yùn)算,掌握學(xué)習(xí)者的偏好、態(tài)度和行為,為個(gè)性化學(xué)習(xí)推送、發(fā)展性學(xué)習(xí)評估、終身學(xué)習(xí)課程定制等提供精準(zhǔn)教育服務(wù)??梢哉f,教育大數(shù)據(jù)已成為推動教育現(xiàn)代化變革的基礎(chǔ)性戰(zhàn)略資源,其內(nèi)涵、應(yīng)用、價(jià)值等研究引起了學(xué)界的重新認(rèn)識與評估。

    就內(nèi)涵方面而言,教育大數(shù)據(jù)是指在整個(gè)教育活動過程中所產(chǎn)生的一切可采集到的數(shù)據(jù)集合,其主要來源于線上線下的課堂教學(xué)、教育管理、學(xué)習(xí)生活等不同教育場景。與傳統(tǒng)教育數(shù)據(jù)相比,教育大數(shù)據(jù)具有很強(qiáng)的實(shí)時(shí)性、連貫性、真實(shí)性與復(fù)雜性,這也為人工智能在教育領(lǐng)域的廣泛應(yīng)用提供了必要的基礎(chǔ)支撐。從應(yīng)用層面來說,教育大數(shù)據(jù)不僅有助于推動教育研究手段的多樣化、科學(xué)化與精密化,也有助于研究者更有效地對教育發(fā)展進(jìn)行相關(guān)性、因果性與預(yù)測性分析。當(dāng)前,教育大數(shù)據(jù)在貧困生資助、算法排位擇校、高校白主招生推薦、高考志愿填報(bào)決策、學(xué)生寢室管理、就業(yè)創(chuàng)業(yè)預(yù)測、學(xué)校資產(chǎn)信息化管理等方面已經(jīng)出現(xiàn)了許多成功的應(yīng)用案例??梢哉f,教育大數(shù)據(jù)在革新教育研究方法、重塑教育形態(tài)和推動教育現(xiàn)代化發(fā)展等方面具有巨大潛力。因此,就價(jià)值體現(xiàn)而言,教育大數(shù)據(jù)在與教育主流業(yè)務(wù)的深度融合中發(fā)揮其最終價(jià)值,即推動智能教育乃至智慧教育的實(shí)現(xiàn)。智慧教育是教育形態(tài)發(fā)展的高階層次,主張通過數(shù)據(jù)積累、技術(shù)更迭與精準(zhǔn)服務(wù)實(shí)現(xiàn)智慧學(xué)習(xí)、智慧管理和智慧發(fā)展。在實(shí)現(xiàn)智慧教育的過程中,教育大數(shù)據(jù)發(fā)揮著推動個(gè)性化學(xué)習(xí)、教學(xué)模式改革、教育管理信息化、教育評價(jià)科學(xué)化和教育服務(wù)人性化等功能價(jià)值[5]。

    (二)算法教育程序:機(jī)器學(xué)習(xí)算法

    如果說大數(shù)據(jù)是信息時(shí)代的石油,那么機(jī)器學(xué)習(xí)算法就是從中提取衍生產(chǎn)品的煉油廠。大數(shù)據(jù)支撐了機(jī)器學(xué)習(xí),機(jī)器學(xué)習(xí)獲取了知識信息,知識信息推動了社會進(jìn)步??梢姡惴ㄔ谛畔r(shí)代的知識生產(chǎn)過程中發(fā)揮了十分重要的中介作用。算法研究可以追溯至1962年弗蘭克·羅森布拉特(FrankRosenblatt)出版的《神經(jīng)動力學(xué)原理:感知器和大腦機(jī)制的理論》,書中介紹了單層可變權(quán)重的神經(jīng)網(wǎng)絡(luò)模型,被視為今天機(jī)器學(xué)習(xí)算法的初始狀態(tài)。之后,針對如何提取、表征和處理數(shù)據(jù)這一核心問題,機(jī)器學(xué)習(xí)算法的發(fā)展演變?yōu)閮蓷l不同的邏輯進(jìn)路:一條邏輯進(jìn)路,主張?jiān)O(shè)計(jì)者事先給機(jī)器預(yù)設(shè)好完整的代碼程序,以掌控機(jī)器從數(shù)據(jù)輸入到數(shù)據(jù)輸出的每一步;另一條邏輯進(jìn)路,得益于大腦逆向工程研究的重大突破,強(qiáng)調(diào)機(jī)器直接從數(shù)據(jù)中進(jìn)行學(xué)習(xí)、訓(xùn)練與預(yù)測,完全是一個(gè)自動化決策過程[6]。1986年在美國丹佛科技中心舉辦第一屆神經(jīng)信息處理系統(tǒng)大會之后,根植于數(shù)學(xué)、計(jì)算機(jī)科學(xué)和神經(jīng)科學(xué)的深度學(xué)習(xí)在摸索中逐漸成熟起來,最終戰(zhàn)勝了理論建制派,成為新一代人工智能機(jī)器學(xué)習(xí)算法的主流范式。其實(shí),深度學(xué)習(xí)算法發(fā)展的早期囿于訓(xùn)練數(shù)據(jù)缺乏、計(jì)算能力不足等因素,其研究一直沒能取得實(shí)質(zhì)性的突破進(jìn)展。直至2006年,Hinton等學(xué)者提出了基于無監(jiān)督學(xué)習(xí)與監(jiān)督學(xué)習(xí)交替使用訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)的基本原則后,深度學(xué)習(xí)算法迎來了重大轉(zhuǎn)機(jī)[7]。后來,Krizhevsky等學(xué)者在2012年提出的深度卷積神經(jīng)網(wǎng)絡(luò),伴隨著大數(shù)據(jù)的增長和運(yùn)算力的提升,在圖像識別、語音識別、語言識別、視頻分析等眾多領(lǐng)域獲得了廣泛應(yīng)用[8]。

    與傳統(tǒng)機(jī)器學(xué)習(xí)算法不同,深度學(xué)習(xí)算法并不遵循“數(shù)據(jù)清洗一特征提取一代碼運(yùn)算一邏輯推理一結(jié)論預(yù)測”的繁瑣過程,而是直接從原始數(shù)據(jù)出發(fā),自動形成一條“學(xué)習(xí)一訓(xùn)練一預(yù)測”的高效率機(jī)器運(yùn)行系統(tǒng)。正如讓·皮亞杰(Jean Piaget)的“認(rèn)知圖式”理論所揭示的那樣,深度學(xué)習(xí)算法通過對已有訓(xùn)練數(shù)據(jù)的學(xué)習(xí)獲得“圖式”,隨著新訓(xùn)練數(shù)據(jù)的產(chǎn)生,進(jìn)一步在“同化”和“順應(yīng)”過程中完善已有的圖式,從而獲得新的認(rèn)知“平衡”,至此義重新進(jìn)入下一輪的認(rèn)知循環(huán)??梢姡疃葘W(xué)習(xí)算法對大數(shù)據(jù)的學(xué)習(xí)訓(xùn)練已經(jīng)初步接近于人類的智力思維方式。究其原因,在于Hinton等學(xué)者提出“深度信任網(wǎng)絡(luò)”(Deep Belief Network)的無監(jiān)督學(xué)習(xí)算法,通過對學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行貪婪的逐層預(yù)訓(xùn)練,以便在時(shí)間效率上優(yōu)化深度信任網(wǎng)絡(luò)的線性權(quán)值,進(jìn)而將復(fù)雜問題逐步分解為若干更簡單的子問題來快速解決[9]。這就解決了如何將無標(biāo)記數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)訓(xùn)練的難題,隨著海量的高維、無結(jié)構(gòu)的無標(biāo)記大數(shù)據(jù)出現(xiàn)之后,機(jī)器學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)也呈幾何級數(shù)增長,極大地推動了人工智能時(shí)代來臨的速度。換言之,深度學(xué)習(xí)之所以能夠成為最接近類人智能的機(jī)器學(xué)習(xí)算法,就在于其表達(dá)能力靈活多變,可以對海量無標(biāo)記數(shù)據(jù)進(jìn)行逐層變換,且允許設(shè)計(jì)者對網(wǎng)絡(luò)層數(shù)進(jìn)行自由設(shè)定,從而支持計(jì)算機(jī)不斷地進(jìn)行嘗試直到最終接近預(yù)設(shè)目標(biāo)。

    (三)算法教育結(jié)果:效率優(yōu)先

    算法的設(shè)計(jì)初衷就是為了提升數(shù)據(jù)處理的時(shí)間效率與空間效率,其結(jié)果自然帶有明顯的效率傾向[10]。從技術(shù)層面來說,對算法在運(yùn)行時(shí)間與存儲空間的資源利用效率進(jìn)行分析,是算法結(jié)果研究應(yīng)有的題中之義。隨著近30年以來計(jì)算機(jī)技術(shù)的快速迭代更新,運(yùn)算力的計(jì)算速度與存儲空間都已經(jīng)實(shí)現(xiàn)了質(zhì)的飛躍。相比之下,現(xiàn)在存儲空間利用率已不再是算法結(jié)果的關(guān)注重點(diǎn),而時(shí)間效率的重要性上升為當(dāng)前評判算法結(jié)果優(yōu)劣的唯一標(biāo)準(zhǔn)[11]。也就是說,如果一個(gè)算法的運(yùn)行時(shí)間達(dá)不到預(yù)設(shè)的最低標(biāo)準(zhǔn),那么就必須果斷拋棄它,繼續(xù)尋求別的更具時(shí)間效率的算法。通常來說,大數(shù)據(jù)具有數(shù)量多、體量大、類型雜、更新快和密度低的特點(diǎn)。而以大數(shù)據(jù)為運(yùn)行基礎(chǔ)的算法,就必須通過降維與解構(gòu)的方式克服和解決大數(shù)據(jù)固有的這些難題,以從大數(shù)據(jù)中快速挖掘與獲得高價(jià)值的信息。很明顯,信息不同于數(shù)據(jù),數(shù)據(jù)需要經(jīng)過算法挖掘、加工和訓(xùn)練之后,才能輸出具有價(jià)值與意義的信息。那么,追求時(shí)間效率的算法,勢必會放松對算法結(jié)果精確程度的要求。即最優(yōu)效率分析遠(yuǎn)遠(yuǎn)不如最差效率分析重要,因?yàn)樽畈钚士梢钥焖俅_定算法運(yùn)行時(shí)間的上界。

    算法為了全面、快速、實(shí)時(shí)呈現(xiàn)事物的屬性特征,只能優(yōu)先進(jìn)行事物“是什么”的相關(guān)性分析,而對事物“為什么”或“怎么樣”的因果推斷關(guān)注度不夠。算法教育作為機(jī)器學(xué)習(xí)算法在教育領(lǐng)域的特定應(yīng)用,也自然遵循機(jī)器學(xué)習(xí)算法對時(shí)間效率的路徑依賴。算法教育的結(jié)果也是優(yōu)先對教育領(lǐng)域中發(fā)生的社會現(xiàn)象進(jìn)行描述性(相關(guān)性)研究,而對其解釋性(因果性)分析顯然表現(xiàn)平平。如今,越來越多高校將人臉識別、大數(shù)據(jù)決策分析、智能終端平臺等技術(shù)引入校園,以助推智慧學(xué)習(xí)、智慧課堂、智慧校園的建設(shè)。例如,某學(xué)校為了實(shí)施“云中信大”智慧校園建設(shè),將對學(xué)生的上網(wǎng)行為數(shù)據(jù)、成績數(shù)據(jù)、消費(fèi)數(shù)據(jù)、社群數(shù)據(jù)等進(jìn)行大數(shù)據(jù)分析,以形成教務(wù)、學(xué)工、后勤等學(xué)校管理部門對學(xué)生成績預(yù)測和預(yù)警、獎助學(xué)金評選、貧困生精準(zhǔn)資助、心理健康服務(wù)、寢室管理等事務(wù)的決策參考。不可否認(rèn),機(jī)器學(xué)習(xí)算法能夠迅速搜集、解構(gòu)、訓(xùn)練與分析相關(guān)的教育大數(shù)據(jù),為教育管理部門的決策提供了全面詳實(shí)的數(shù)據(jù)依據(jù)。然而,由學(xué)生外顯行為產(chǎn)生的教育大數(shù)據(jù)似乎并不能準(zhǔn)確反映學(xué)生內(nèi)在的態(tài)度、觀念等心理特征。特別是依據(jù)學(xué)生消費(fèi)數(shù)據(jù)進(jìn)行所謂的貧困生精準(zhǔn)資助,姑且不論其可信程度,至少可以預(yù)見的是此舉會變相刺激相當(dāng)一部分學(xué)生惡意“比窮”。這些重要的內(nèi)在因果推斷分析,顯然是目前算法教育結(jié)果所無法有效呈現(xiàn)出來的。

    三、算法教育的風(fēng)險(xiǎn)挑戰(zhàn)

    機(jī)器學(xué)習(xí)算法的快速迭代發(fā)展對教育的影響日益凸顯,與此相隨的質(zhì)疑之聲也是不絕于耳。從本質(zhì)屬性來說,教育公平是教育發(fā)展的核心要義,是社會公平的重要基石,更是教育平等和教育效率相互促進(jìn)的和諧統(tǒng)一[12]。教育實(shí)證主義雖然一再強(qiáng)調(diào)價(jià)值“祛魅”,但實(shí)踐證明,那種認(rèn)為完全數(shù)字化的研究方法能夠?yàn)榻逃聵I(yè)的發(fā)展決策帶來客觀量化和價(jià)值無涉的認(rèn)識是不現(xiàn)實(shí)的,也是不科學(xué)的。在很多時(shí)候,教育問題的研究方法總是在定性與定量之間來回?cái)[動,然而教育終究是關(guān)于人與自我、人與社會、人與自然的問題集合,不能單純地在數(shù)字量化結(jié)果中尋求終極答案。數(shù)據(jù)鴻溝、算法黑箱、效率優(yōu)先等可能會引起算法歧視,而這正是教育公平所需要克服和規(guī)避的重要問題。算法教育時(shí)代,機(jī)器學(xué)習(xí)算法在給教育帶來極大時(shí)間效率提升的同時(shí),也對教育公平產(chǎn)生了新的不可控因素,其風(fēng)險(xiǎn)挑戰(zhàn)成為教育現(xiàn)代化治理必須高度重視的研究議題。

    (一)算法教育數(shù)據(jù):自我強(qiáng)化偏差

    大數(shù)據(jù)的井噴式增長促進(jìn)了機(jī)器學(xué)習(xí)算法的跨越式發(fā)展,算法在本質(zhì)上是數(shù)字代碼的表達(dá),對回答事物“是什么”的描述性分析具有明顯效率優(yōu)勢,而在事物“為什么”或“怎么樣”的因果關(guān)系探究中表現(xiàn)乏力。算法教育依賴于教育大數(shù)據(jù),而教育大數(shù)據(jù)是從現(xiàn)實(shí)教育生活中抽取的,就不可避免地帶有教育發(fā)展過程中已固有的屬性與特征。如果輸入的教育數(shù)據(jù)本身是具有偏差性的,那么以教育大數(shù)據(jù)為基礎(chǔ)的算法教育所輸出的推算結(jié)果也很有可能帶有歧視。這是因?yàn)闄C(jī)器學(xué)習(xí)算法會對識別到的大數(shù)據(jù)進(jìn)行學(xué)習(xí),以形成“訓(xùn)練數(shù)據(jù)”(Training Data),繼而將此訓(xùn)練數(shù)據(jù)運(yùn)算得出的算法結(jié)果用于下一輪的數(shù)據(jù)識別、數(shù)據(jù)訓(xùn)練與結(jié)果運(yùn)用。在這一過程中,很有可能會不斷重復(fù)訓(xùn)練本身就帶有偏差的教育數(shù)據(jù),固化甚至是加劇現(xiàn)已存在的教育不公平現(xiàn)象,這被稱為教育大數(shù)據(jù)的“自我強(qiáng)化偏差”(Self-reinforcing Bias)。2016年,美國白宮發(fā)布的《大數(shù)據(jù)報(bào)告:算法系統(tǒng)、機(jī)會和公民權(quán)利》基于人類社會既有的“數(shù)據(jù)鴻溝”(DigitalDivide)現(xiàn)實(shí),著重考察了教育、就業(yè)、信用評分、司法量刑等領(lǐng)域存在的數(shù)據(jù)自我實(shí)現(xiàn)怪圈[13]。即那些一開始就處于被歧視狀態(tài)的教育用戶,可能不會因?yàn)闄C(jī)器學(xué)習(xí)算法所宣稱的“價(jià)值中立”的算法結(jié)果而改善其現(xiàn)有教育境遇,反而會一直處于運(yùn)氣不佳的狀態(tài)。

    目前,學(xué)界對教育大數(shù)據(jù)自我強(qiáng)化偏差的原因探究,主要集中于以下三個(gè)方面的分析:其一,教育大數(shù)據(jù)的代表性問題。教育大數(shù)據(jù)的采集來源主要是互聯(lián)網(wǎng)用戶,未上網(wǎng)的教育對象的數(shù)據(jù)是無法被現(xiàn)有信息技術(shù)所搜集的。也就是說,現(xiàn)有的教育大數(shù)據(jù)在本質(zhì)上是有偏數(shù)據(jù),只能反映連接了互聯(lián)網(wǎng)的教育對象的相關(guān)數(shù)據(jù),并不是所宣稱的“全樣本數(shù)據(jù)”[14]。顯然,互聯(lián)網(wǎng)的接通和使用與家庭經(jīng)濟(jì)收入及所在地區(qū)的經(jīng)濟(jì)發(fā)展?fàn)顩r是密切相關(guān)的,教育大數(shù)據(jù)中的用戶個(gè)體存在明顯的不平等。其二,教育大數(shù)據(jù)的質(zhì)量問題。教育大數(shù)據(jù)的價(jià)值主要體現(xiàn)在機(jī)器學(xué)習(xí)算法將其進(jìn)行降維與結(jié)構(gòu)化處理之后,獲得反映教育社會現(xiàn)象的特定關(guān)系、模式和趨勢。然而,現(xiàn)有網(wǎng)絡(luò)爬蟲、編程代碼等算法技術(shù)只能對反映教育用戶人口統(tǒng)計(jì)信息、外顯行為特征等能夠數(shù)字化的數(shù)據(jù)進(jìn)行處理,而對支配教育行為背后的態(tài)度、心理、價(jià)值觀等主觀性較強(qiáng)的數(shù)據(jù)識別運(yùn)算則無能為力。這樣一種有選擇性的數(shù)據(jù)處理得到的算法結(jié)果,其信度與效度自然會面臨社會大眾的廣泛質(zhì)疑。其三,教育大數(shù)據(jù)的隱私問題。教育用戶的性別、年齡、民族、政治傾向、宗教信仰、受教育程度、健康狀態(tài)、納稅情況、家庭住址、郵政編碼等數(shù)據(jù)構(gòu)成了識別其個(gè)人信息的基礎(chǔ)性數(shù)據(jù),一旦被機(jī)器學(xué)習(xí)算法用于不正當(dāng)途徑的采集與運(yùn)算,可能會產(chǎn)生帶有歧視的算法教育結(jié)果。

    (二)算法教育程序:技術(shù)控制困境

    作為構(gòu)成社會發(fā)展基本要素的技術(shù),在提升生產(chǎn)力、增加人類福祉和推動社會進(jìn)步的同時(shí),也對人類社會發(fā)展帶來了一些難以預(yù)測、控制與消除的負(fù)面效應(yīng)。正如,英國著名社會學(xué)家大衛(wèi)·科林格里奇(David Collingridge)在《技術(shù)的社會控制》一書中對“技術(shù)控制困境”(Technology Comtrol Dilemma)進(jìn)行了一段十分精彩恰當(dāng)?shù)拿枋觯骸耙豁?xiàng)技術(shù)的社會后果不能在技術(shù)生命的早期被預(yù)料到。然而,當(dāng)不希望的后果被發(fā)現(xiàn)時(shí),技術(shù)卻往往已經(jīng)成為整個(gè)經(jīng)濟(jì)和社會結(jié)構(gòu)的一部分,以至于對它的控制十分困難”[15]。顯然,技術(shù)控制困境暗含的假設(shè)前提是技術(shù)與社會的分離與對立,技術(shù)權(quán)力介入、技術(shù)知識更新、線性時(shí)間演化等構(gòu)成了對技術(shù)控制困境發(fā)生邏輯分析的三個(gè)維度,這也是一個(gè)對技術(shù)在權(quán)力介入和知識更新在線性時(shí)間軸上進(jìn)行控制的兩難問題[16]。那么,機(jī)器學(xué)習(xí)算法在推動人類社會從工業(yè)社會、信息社會邁向智能社會、智慧社會的同時(shí),也會給人類社會帶來技術(shù)控制困境,甚至算法帶來的治理困境將會遠(yuǎn)遠(yuǎn)超越以往任何技術(shù)對人類社會產(chǎn)生的負(fù)面影響。究其原因,是以深度學(xué)習(xí)為代表的人工智能算法與傳統(tǒng)機(jī)器學(xué)習(xí)算法有著本質(zhì)上的區(qū)別。

    對于傳統(tǒng)算法來說,其需要程序設(shè)計(jì)者事無巨細(xì)地給機(jī)器設(shè)定好在給定條件背景下實(shí)現(xiàn)某項(xiàng)工作流程的所有運(yùn)算代碼。換言之,傳統(tǒng)算法的運(yùn)行過程實(shí)際上就是人類思維表達(dá)能力在機(jī)器學(xué)習(xí)過程中的投射與轉(zhuǎn)換。那么,用于描述人類思維表達(dá)能力困境的“波蘭尼悖論”,也自然適用于傳統(tǒng)機(jī)器學(xué)習(xí)算法。但是,深度學(xué)習(xí)算法卻能直接從大數(shù)據(jù)的原始特征出發(fā),通過自我訓(xùn)練和自我學(xué)習(xí)來生成高級認(rèn)知結(jié)果,這顯然超越了人類思維表達(dá)能力,也突破了“波蘭尼悖論”[17]。然而,深度學(xué)習(xí)算法在搜集大數(shù)據(jù)之后到輸出決策結(jié)果之中有一段數(shù)據(jù)處理、訓(xùn)練與學(xué)習(xí)的過程,這段過程是連算法設(shè)計(jì)者都不清楚或不能查看的計(jì)算系統(tǒng)內(nèi)部工作情況。學(xué)界將這個(gè)無法洞悉的運(yùn)行過程稱之為“算法黑箱”(Algorithm Black-box),人工智能的技術(shù)控制困境根源也正是源于這里。算法黑箱給出的只是一個(gè)冰冷的數(shù)字,而它是如何得到這個(gè)結(jié)論的過程卻無法獲知也不能解釋,這對于以公平和平等著稱的現(xiàn)代教育來說真是莫大的諷刺。公開透明是一個(gè)新事物得以在現(xiàn)代社會合法存在的正當(dāng)性基礎(chǔ),這對于算法教育來說亦是如此。如果不能在算法教育的技術(shù)萌發(fā)時(shí)期進(jìn)行制度規(guī)制,等待算法技術(shù)越發(fā)成熟且得到更廣泛應(yīng)用時(shí),再對其進(jìn)行控制就會非常困難。因?yàn)檫€要考慮除技術(shù)之外的其他眾多社會因素,這將是一個(gè)費(fèi)時(shí)費(fèi)力的高成本控制工程。算法教育應(yīng)該蘊(yùn)含著一種深層次的價(jià)值訴求,即通過現(xiàn)代科學(xué)技術(shù)實(shí)現(xiàn)人類對“美好教育生活”的期待與追求。

    (三)算法教育結(jié)果:主體性危機(jī)

    追求效率優(yōu)先的機(jī)器學(xué)習(xí)算法,促進(jìn)了人工智能技術(shù)逐步發(fā)展成為具有一定智慧能力的自動化決策系統(tǒng),并且突破了人類思維表達(dá)能力的局限,在教育、就業(yè)、司法、新聞等眾多專業(yè)領(lǐng)域應(yīng)用成效顯著。然而,人工智能在給人類帶來便捷、多元、高效、舒適的生活方式體驗(yàn)的同時(shí),也引發(fā)了諸多問題。在算法時(shí)代,人工智能可以將人類的有意識和無意識行為進(jìn)行算法化,導(dǎo)致了人與客觀世界的邊界逐漸模糊,勢必會沖擊到人類社會長期演化而成的生存基礎(chǔ)與發(fā)展秩序[18]。換言之,隨著算法對人類思維方式的不斷接近,人類在客觀層面的特殊性也會逐漸弱化,這就引出了一個(gè)哲學(xué)問題,人的主體性是否還存在?伊曼努爾·康德(ImmanuelKant)認(rèn)為人不僅是自由意志和自然存在的統(tǒng)一,也是一切規(guī)范的中心和本源。馬丁·海德格爾(Martin Heidegger)則進(jìn)一步將石頭、動物和人的世界進(jìn)行比較,指出石頭沒有世界,動物的世界是受本能支配控制的,而人是建立世界的主體。如果說“弱人工智能”階段算法產(chǎn)生的危機(jī),是源于人類因人工智能的安全問題所產(chǎn)生的控制權(quán)焦慮;那么, “強(qiáng)人工智能”階段的算法則會更加類人化,甚至是超越人的智力水平,進(jìn)而成為現(xiàn)行社會生活的更強(qiáng)主體,這勢必會引發(fā)人的主體性危機(jī)。

    深度學(xué)習(xí)算法基于大數(shù)據(jù)進(jìn)行自我訓(xùn)練與自我學(xué)習(xí),以形成不依賴人類思維表達(dá)能力的“規(guī)則集”(Rule Set),被稱為算法的自我生產(chǎn)能力。算法對時(shí)間效率的路徑依賴,意味著算法不僅是實(shí)現(xiàn)了機(jī)器自動化決策的飛躍發(fā)展,也反映了算法的生產(chǎn)過程及結(jié)果應(yīng)用將與人類的行為主體性相分離。即機(jī)器學(xué)習(xí)算法很有可能在強(qiáng)人工智能時(shí)代不再受人類認(rèn)知的控制,將在相當(dāng)長的一段時(shí)間里對人的主體性發(fā)起挑戰(zhàn)。將效率至上奉為圭臬的算法,為了在有窮時(shí)間內(nèi)快速處理海量、高維、非結(jié)構(gòu)化的大數(shù)據(jù),甚至不惜拋棄最優(yōu)效率分析,而選擇最差效率分析。這就不可避免的產(chǎn)生了算法只注重對大數(shù)據(jù)的相關(guān)性描述分析,而忽略了其因果關(guān)系推斷。算法對目前教育系統(tǒng)最大的沖擊將是重塑教與學(xué)的關(guān)系,智慧學(xué)習(xí)、智慧課堂、智慧校園等皆直接指向“互聯(lián)網(wǎng)+教育”時(shí)代的教學(xué)關(guān)系變革?!耙虿氖┙獭币恢北灰暈橥昝勒n堂教學(xué)的典范,反映了師生教學(xué)關(guān)系由“主客體關(guān)系—主體關(guān)系—主體間關(guān)系”的嬗變。以人臉識別系統(tǒng)為例,大數(shù)據(jù)算法通過快速搜集學(xué)生在課堂學(xué)習(xí)過程中的每一個(gè)眼神、表情、動作等,經(jīng)過數(shù)據(jù)解構(gòu)、數(shù)據(jù)訓(xùn)練、數(shù)據(jù)分析獲得學(xué)生在課堂上的學(xué)習(xí)情況,呈現(xiàn)實(shí)時(shí)的課堂學(xué)情分析,以供教師實(shí)現(xiàn)課堂教學(xué)的智慧管理。然而,學(xué)生的學(xué)習(xí)情況是否能通過眼神、表情、動作等得以全面分析,顯然是值得懷疑的。目前,人臉識別系統(tǒng)只能對學(xué)生的課堂表現(xiàn)行為進(jìn)行相關(guān)性描述分析,而不能做到對學(xué)生課堂表現(xiàn)行為背后的深層次原因進(jìn)行探究,即不能實(shí)現(xiàn)對學(xué)生課堂表現(xiàn)行為的因果推斷研究。如果教師按照人臉識別系統(tǒng)的學(xué)情報(bào)告來進(jìn)行課堂教學(xué)管理,看似是非??茖W(xué)有效的教學(xué)手段,實(shí)則是對學(xué)生課堂表現(xiàn)行為背后心理動機(jī)等深層次因素的有意忽略,似乎義回到了最初的“主客體”教學(xué)關(guān)系。這顯然是對經(jīng)過長期演化形成的師生“主體間”教學(xué)關(guān)系的一種倒退,教師教的主導(dǎo)性與學(xué)生學(xué)的主體性是師生在雙向、交往和理解的過程中共同構(gòu)建起來的。因此,以效率優(yōu)先為導(dǎo)向的機(jī)器學(xué)習(xí)算法,如果在教育領(lǐng)域中不加以判別使用,可能會對師生教學(xué)關(guān)系造成主體性危機(jī),最終不利于教育現(xiàn)代化發(fā)展。

    四、算法教育的公共政策選擇

    2019年8月,聯(lián)合國教科文組織以聯(lián)合國6種官方語言正式發(fā)布了《北京共識——人工智能與教育》,建議各國政府、國際組織、教科文組織總干事等利益攸關(guān)方根據(jù)相關(guān)法律法規(guī)、公共政策和公共慣例,采取積極行動以應(yīng)對人工智能技術(shù)所帶來的教育發(fā)展機(jī)遇和風(fēng)險(xiǎn)挑戰(zhàn)。其實(shí),第三次人工智能的崛起發(fā)展所帶來的社會沖擊是具有基礎(chǔ)性、復(fù)雜性和全局性的“奇點(diǎn)”革命,這是人類社會以往發(fā)生的其他技術(shù)革命所不能比擬的[19]。作為通用技術(shù)的機(jī)器學(xué)習(xí)算法在教育領(lǐng)域中獲得了廣泛應(yīng)用,在推動傳統(tǒng)教育向智能化、智慧化教育快速轉(zhuǎn)型的同時(shí),也引起了算法數(shù)據(jù)的自我強(qiáng)化偏差、算法程序的技術(shù)控制困境、算法結(jié)果的主體性危機(jī)等治理難題,需要政府做出相應(yīng)的公共政策選擇。接下來,通過從算法教育基礎(chǔ)的數(shù)據(jù)正義、算法教育程序的合理公開、算法教育結(jié)果的有限使用等三個(gè)方面展開公共政策選擇論述,以期推動和規(guī)范人工智能在教育領(lǐng)域的健康發(fā)展。

    (一)算法教育基礎(chǔ):數(shù)據(jù)正義

    “互聯(lián)網(wǎng)+”時(shí)代,學(xué)生、教師、家庭、學(xué)校、研究機(jī)構(gòu)、政府教育部門、教育行業(yè)企業(yè)等多主體無時(shí)無刻都在產(chǎn)生海量、多重維度、多種類型的教育大數(shù)據(jù)。如果說大數(shù)據(jù)是“互聯(lián)網(wǎng)+”時(shí)代經(jīng)濟(jì)生產(chǎn)活動的關(guān)鍵要素;那么,教育大數(shù)據(jù)亦是“互聯(lián)網(wǎng)+教育”時(shí)代教育現(xiàn)代化發(fā)展的基礎(chǔ)性資源。算法基于教育大數(shù)據(jù)搜集,通過自動化的數(shù)據(jù)處理、評估、分析及預(yù)測學(xué)生的學(xué)習(xí)偏好與成績、教師的教學(xué)業(yè)績與表現(xiàn)、學(xué)校的升學(xué)情況與質(zhì)量等。然而,教育大數(shù)據(jù)在發(fā)揮推動個(gè)性化學(xué)習(xí)、教學(xué)模式改革、教育管理信息化、教育評價(jià)科學(xué)化和教育服務(wù)人性化等功能價(jià)值的同時(shí),也囿于數(shù)據(jù)的代表性較差、質(zhì)量不高、隱私泄露等問題招致學(xué)界、社會公眾對算法教育公平的普遍質(zhì)疑。對于受教育者來說,大數(shù)據(jù)與算法并不總是福音,可能由于“大數(shù)據(jù)傲慢”(Big Data Hubris)抑或由于算法歧視,而導(dǎo)致其自身受教育權(quán)受到“技術(shù)精英主義”(Technical Elitism)的嚴(yán)重侵蝕。那么,如何應(yīng)對教育大數(shù)據(jù)有可能造成的數(shù)據(jù)鴻溝,避免固化或強(qiáng)化現(xiàn)有的教育不公平現(xiàn)象,已成為各國政府制定相關(guān)教育大數(shù)據(jù)公共治理政策的目標(biāo)取向。

    為了積極應(yīng)對算法自動化決策對個(gè)人權(quán)利的重大影響,歐盟在1995年《數(shù)據(jù)保護(hù)指令》的基礎(chǔ)上,進(jìn)一步強(qiáng)化了對個(gè)人數(shù)據(jù)的保護(hù)力度,于2018年5月25日生效了《統(tǒng)一數(shù)據(jù)保護(hù)條例》(GDRR)??梢哉f,CDRR于大數(shù)據(jù)的公共治理意義,不僅在于提供了一系列具象的原則規(guī)定,更重要的是其傳遞出的“數(shù)據(jù)正義”(Data Justice)理念[20]。數(shù)據(jù)正義將貫穿大數(shù)據(jù)從收集存儲到分析使用的全過程,核心原則是“數(shù)據(jù)透明”和“結(jié)果非歧視”??紤]到算法黑箱的客觀存在給事中監(jiān)管帶來的治理困境,算法教育基礎(chǔ)的大數(shù)據(jù)治理更應(yīng)強(qiáng)調(diào)事前監(jiān)管和事后監(jiān)管。事前監(jiān)管強(qiáng)調(diào)“數(shù)據(jù)透明”(DataTransparency),其要求增強(qiáng)教育用戶對算法輸入數(shù)據(jù)的知情權(quán),以應(yīng)對大數(shù)據(jù)生產(chǎn)、搜集與處理過程中產(chǎn)生的信息不對稱問題,將教育大數(shù)據(jù)治理延伸至數(shù)據(jù)搜集的源頭,強(qiáng)調(diào)教育大數(shù)據(jù)的有用性。事后監(jiān)管則強(qiáng)調(diào)“結(jié)果非歧視”(Result Non-discrimination),其關(guān)注的是數(shù)據(jù)輸入與結(jié)果輸出之間的因果關(guān)系,而不僅僅是相關(guān)性描述結(jié)論。換言之,結(jié)果非歧視原則強(qiáng)調(diào)算法教育結(jié)果的可理解性,而非可闡釋性。從2019年10月1日起執(zhí)行的《兒童個(gè)人信息網(wǎng)絡(luò)保護(hù)規(guī)定》,正是“數(shù)據(jù)正義”理念在兒童網(wǎng)上信息保護(hù)的貫徹落實(shí),將對目前國內(nèi)總量超過7萬的教育APP網(wǎng)絡(luò)運(yùn)營商從教育大數(shù)據(jù)收集、存儲、分析、使用等環(huán)節(jié)形成法理約束,以規(guī)避算法對兒童合法教育權(quán)利的損害和侵犯。

    (二)算法教育程序:合理公開

    美國學(xué)者珍娜·布雷爾(Jenna Burrell)認(rèn)為算法黑箱產(chǎn)生的原因是因?yàn)樗惴ú煌该?,即算法可以根?jù)不同的應(yīng)用場景對大數(shù)據(jù)進(jìn)行自動化處理,而這個(gè)過程會存在兩種類型的不透明。其一,主觀上的不透明,即由于涉及國家安全秘密或者大數(shù)據(jù)、互聯(lián)網(wǎng)等高科技公司的商業(yè)秘密而產(chǎn)生的機(jī)器學(xué)習(xí)算法刻意隱瞞與保護(hù)。其二,客觀上的不透明,由于算法是一項(xiàng)高精尖的前沿技術(shù),其不僅運(yùn)算過程存在較強(qiáng)的復(fù)雜性,連最終形成的推算結(jié)果也包含著許多不為人所知的自然語言,這對于算法設(shè)計(jì)者來說也是非常具有挑戰(zhàn)性的理解難題[21]。換言之,算法黑箱治理的困境除了不能直接觀察外,更在于即使算法主動向我們解釋,我們也很有可能無法理解其運(yùn)行過程[22]。這當(dāng)然與我們對算法的認(rèn)知不夠全面有關(guān),還主要是因?yàn)闄C(jī)器學(xué)習(xí)算法已經(jīng)突破了人類思維表達(dá)能力的局限。隨著算法自動化決策結(jié)果日益被廣泛應(yīng)用到個(gè)性學(xué)習(xí)、課堂管理、教學(xué)評價(jià)等眾多教育領(lǐng)域,算法歧視問題也在教育生活中越來越突出。算法黑箱也伴隨著算法教育結(jié)果應(yīng)用逐漸深入教育管理,如果不能在可預(yù)見的未來對其加以規(guī)制,等待強(qiáng)人工智能時(shí)代來臨時(shí),算法教育的治理成本將會非常巨大。

    鑒于機(jī)器學(xué)習(xí)算法日益決定著各種事務(wù)決策,一些發(fā)達(dá)國家已經(jīng)開始通過立法對算法黑箱問題進(jìn)行專門治理,強(qiáng)調(diào)算法透明性、可審查性與可解釋性。早在2017年12月,美國紐約市議會就通過了《算法問責(zé)法案> (Algorithm Accountability Act),這是全球第一個(gè)有關(guān)算法治理的法案。同樣在美國,2019年4月10日,民主黨參議員布克(Cory Booker)和懷登(Ron Wyden)在國會聯(lián)合提出了《2019算法問責(zé)法案》,試圖對大數(shù)據(jù)與算法黑箱引起的算法歧視問題進(jìn)行法律規(guī)制。通過對比美國的兩份算法治理法案,發(fā)現(xiàn)要求“算法透明”(AlgorithmTransparency)是它們的核心原則。然而,完全公開算法教育程序,接受教育用戶監(jiān)督,看似給教育帶來了一種掌控感和安全感,實(shí)則不然。算法透明就算克服了教育行政部門、教育行業(yè)企業(yè)等主觀上的算法隱瞞,也在技術(shù)層面存在很大局限性。因?yàn)闄C(jī)器學(xué)習(xí)算法本身就是一項(xiàng)前沿的科學(xué)技術(shù),對許多教育用戶來說是具有明顯的認(rèn)知理解難度,就算把算法教育程序公開,他們也無法與算法互動,就很難有效實(shí)現(xiàn)對算法的監(jiān)督。所以,算法透明并不能做到真正有效監(jiān)督算法,反而會阻礙算法技術(shù)的創(chuàng)新進(jìn)步[23]。完全透明化監(jiān)督既然是不可能的,也是無效的。那么,不完全透明化監(jiān)督,即要求算法教育程序的合理公開是否可行呢?可考慮由學(xué)生、家長、學(xué)校、企業(yè)、政府等教育利益攸關(guān)方組成一個(gè)算法教育程序的監(jiān)督委員會,專門承擔(dān)算法教育程序合理公開的審查工作,以確保將算法歧視對教育生活的負(fù)面影響降至可接受的程度。

    (三)算法教育結(jié)果:有限使用

    數(shù)據(jù)鴻溝、算法黑箱和效率優(yōu)先的設(shè)計(jì)取向都有可能單獨(dú)或者聯(lián)合造成“算法歧視”(AlgorithmDiscrimination),這也意味著算法歧視治理是一個(gè)十分復(fù)雜的問題。特別是考慮到人類社會在長時(shí)間的歷史演化過程中,形成了以因果關(guān)系為制度基礎(chǔ)的社會治理體系,而追求效率優(yōu)先的算法將不可避免地給現(xiàn)行社會運(yùn)行規(guī)則帶來主體性危機(jī)[24]。由此,學(xué)界引發(fā)了兩種針鋒相對的觀點(diǎn):一種觀點(diǎn)認(rèn)為算法只是實(shí)現(xiàn)人類自動化生產(chǎn)決策的一種輔助工具,不應(yīng)具有道德意義、政治意義或法理意義上的主體性地位,也就意味著算法不需要為其行為承擔(dān)任何責(zé)任;另一種觀點(diǎn)則認(rèn)為奉行效率優(yōu)先的算法不僅無限接近于人類思維表達(dá)能力,而且在很多方面已經(jīng)超出人類的認(rèn)知局限,那么賦予其道德意義、政治意義或法理意義上的主體性地位,無疑是恰當(dāng)可行的。然而,不管怎么樣界定算法產(chǎn)生的主體性危機(jī),有一點(diǎn)是不能忽視的,那就是“服務(wù)于人的自由發(fā)展”必須成為人工智能的“絕對律令”(Ahsolute Laws)[25]。換言之,如果教育用戶對算法白動化決策結(jié)果存在不滿意,可以主張“人工介入”(Manual Intervention),以保障自己的主體性權(quán)益不受算法教育結(jié)果的損害或侵蝕。

    完全遵循算法自動化決策結(jié)果,無論是在實(shí)際教育生活中,還是在法律倫理上都是不現(xiàn)實(shí)的。那么,算法教育結(jié)果的有限使用可能提供了另外一種可行路徑。算法教育結(jié)果的有限使用是針對算法歧視而言的,也就是說,算法歧視的識別成為甄別算法教育結(jié)果具體使用場景的前提條件。算法歧視比以往任何形式的歧視都具有隱蔽性,這也給算法歧視的識別帶來了很大的困難。其一,算法黑箱可能存在主觀上有意為之的算法黑箱,也有可能有客觀層面存在的算法黑箱,甚至是主客觀原因兼具的算法黑箱。無論是哪一種算法黑箱導(dǎo)致的算法歧視,都意味著這種歧視被隱藏于冰冷的數(shù)字代碼程序之中,這種情況下的算法歧視識別要求教育監(jiān)管者、算法教育結(jié)果被使用對象等都需要有相應(yīng)的機(jī)器學(xué)習(xí)算法知識,才有能力去識別隱藏于算法黑箱之中的歧視。其二,大數(shù)據(jù)時(shí)代也被稱為“數(shù)字資本主義”時(shí)代,數(shù)據(jù)成為數(shù)字經(jīng)濟(jì)社會運(yùn)行的核心要素[26]。學(xué)生、教師、家長等行為主體產(chǎn)生的數(shù)據(jù)自身就存在不具代表性和偏差,可以說教育數(shù)據(jù)鴻溝源于教育生活中固有的不平等、不公平現(xiàn)象。那么,以教育大數(shù)據(jù)為基礎(chǔ)的算法教育就不可避免地帶有教育大數(shù)據(jù)自身固有的頑疾,算法歧視的識別也就顯得更加困難。其三,效率優(yōu)先是算法設(shè)計(jì)的首要目標(biāo),是為了突破人類思維表達(dá)能力的局限而產(chǎn)生的,其目的在于提升數(shù)據(jù)處理效率,快速獲得有效信息,進(jìn)而獲得可觀的經(jīng)濟(jì)社會效益。然而,過分追求數(shù)據(jù)處理效率的算法只能優(yōu)先采用相關(guān)性描述分析,不能對因果關(guān)系形成有效的推斷。因此,線性的算法運(yùn)行思維就與以公平與平等權(quán)利為導(dǎo)向的非線性教育生活顯得格格不入,這種算法設(shè)計(jì)理念產(chǎn)生的算法教育結(jié)果也自然會帶有歧視傾向。正是因?yàn)樗惴ㄆ缫暤膹V泛存在,那么算法教育結(jié)果就有必要在人工介入甄別之后,且只有在教育用戶知情和授權(quán)的情況下才能得以合法使用??梢姡瀼刂橥庠瓌t的算法教育結(jié)果有限使用,不失為治理算法歧視問題的一種有效路徑。

    五、結(jié)語

    新一代人工智能為教育變革提供了新的發(fā)展契機(jī),對教育系統(tǒng)產(chǎn)生了基礎(chǔ)性、復(fù)雜性和全局性的影響。智慧學(xué)習(xí)、智慧課堂、智慧校園等不僅是智慧教育的重要組成部分,同樣也是助推智慧教育實(shí)現(xiàn)的重要手段和發(fā)展路徑。隨著“互聯(lián)網(wǎng)+”戰(zhàn)略的大規(guī)模實(shí)施,大數(shù)據(jù)的生成與采集似乎已變得不再那么困難;同時(shí),計(jì)算機(jī)存儲空間和運(yùn)算能力的快速提升,也讓算力不再成為人工智能發(fā)展的技術(shù)瓶頸。因此,機(jī)器學(xué)習(xí)算法也就一躍成為影響新一代人工智能發(fā)展的核心要素。換言之,作為智慧教育具象形態(tài)的智慧學(xué)習(xí)、智慧課堂、智慧校園,在本質(zhì)上就是算法學(xué)習(xí)、算法課堂、算法校園。算法成為推動智能教育、智慧教育實(shí)現(xiàn)與發(fā)展的關(guān)鍵因素。然而,由于數(shù)據(jù)鴻溝、算法黑箱、效率優(yōu)先等眾多因素的復(fù)合影響,導(dǎo)致算法教育存在數(shù)據(jù)的自我強(qiáng)化偏差、程序的技術(shù)控制困境、結(jié)果的主體性危機(jī)等治理難題,也讓教育公平、教育平等、教育效率等傳統(tǒng)議題在人工智能時(shí)代顯得更加突出。為規(guī)避只注重相關(guān)關(guān)系分析,而不重視因果關(guān)系研究的算法給教育帶來的風(fēng)險(xiǎn)挑戰(zhàn),可從算法教育基礎(chǔ)的數(shù)據(jù)正義、算法教育程序的合理公開、算法教育結(jié)果的有限使用等三個(gè)層面開展對算法教育的治理。這不僅要求確保算法教育結(jié)果的預(yù)測準(zhǔn)確率,更要強(qiáng)調(diào)算法教育結(jié)果的可理解性。唯有在算法教育剛開始發(fā)展的時(shí)候,厘清其技術(shù)發(fā)展邏輯和研判其可能會帶來的風(fēng)險(xiǎn)挑戰(zhàn),才能為破解算法技術(shù)控制困境的公共政策選擇提供參考依據(jù),進(jìn)而助推人工智能在實(shí)現(xiàn)更加公平更有質(zhì)量教育過程中發(fā)揮更大的作用。人工智能、5G、物聯(lián)網(wǎng)等新興信息技術(shù)在運(yùn)用于教育的過程中,應(yīng)以促進(jìn)學(xué)生全面發(fā)展為中心,構(gòu)建新型育人生態(tài),提升學(xué)生的學(xué)習(xí)獲得感,為其實(shí)現(xiàn)在信息時(shí)代的“完滿生活”而準(zhǔn)備[27]。概言之,算法教育治理業(yè)已成為教育現(xiàn)代化進(jìn)程中不可忽略的研究議題,需要學(xué)界引起高度關(guān)注和探討。

    參考文獻(xiàn):

    【1】丁波濤.從信息社會到智慧社會:智慧社會內(nèi)涵的理論解讀[J].電子政務(wù),2019,(7):120-128

    【2】維克托·邁爾一舍恩伯格,肯尼斯·庫克耶周濤譯.大數(shù)據(jù)時(shí)代:生活、工作與思維的大變革[M].杭州:浙江人民出版社,2013.

    【3】宋靈青,許林.人工智能教育應(yīng)用的邏輯起點(diǎn)與邊界——以知識學(xué)習(xí)為例[J].中國電化教育,2019,(6):14-20

    【4】中國互聯(lián)網(wǎng)網(wǎng)絡(luò)信息中心.第44次中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告[EB/OL].http://politics.gmw.cn/2019-08/3l/content_33124709.htm,2019-09-10.

    【5】楊現(xiàn)民,唐斯斯等.發(fā)展教育大數(shù)據(jù):內(nèi)涵、價(jià)值和挑戰(zhàn)[J].現(xiàn)代遠(yuǎn)程教育研究,2016,(1):50-61.

    【6】特倫斯·謝諾夫斯基.姜悅兵譯.深度學(xué)習(xí):智能時(shí)代的核心驅(qū)動力量[M]北京:中信出版集團(tuán),2019.

    【7】【9】孫志軍,薛磊等.深度學(xué)習(xí)研究綜述[J].計(jì)算機(jī)應(yīng)用研究2012,(8):2806-2810

    【8】劉全,翟建偉等.深度強(qiáng)化學(xué)習(xí)綜述[J].計(jì)算機(jī)學(xué)報(bào),2018,(1):1-27.

    【10】Koher J,Peters J.Reinforcement Learning in Rohotics:A Survey[J].International Joumal of Rohotics Research,2013,32(11):1238-1274.

    【11】姜野,李擁軍.破解算法黑箱:算法解釋權(quán)的功能證成與適用路徑——以社會信用體系建設(shè)為場景[J].福建師范大學(xué)學(xué)報(bào)(哲學(xué)社會科學(xué)版),2019,(4):84-92.

    【12】郝文武.平等與效率相互促進(jìn)的教育公平論[J].教育研究2007,(11):25-29.

    【13】【20】許可.人工智能的算法黑箱與數(shù)據(jù)正義叫J.社會科學(xué)學(xué)報(bào),2018-3-29(006).

    【14】涂濤,胡柯銘.一極兩儀:教育大數(shù)據(jù)與厚數(shù)據(jù)關(guān)系辨析[J].中國電化教育,2019(8):18-22.

    【15】Collingridge D.The SocialControl of Technology[M].Wew York:St.Martins Press.1981.

    【16】陳凡,賈璐萌.技術(shù)控制困境的倫理分析——解決科林格里奇困境的倫理進(jìn)路[J].大連理工大學(xué)學(xué)報(bào)(社會科學(xué)版),2016,(1):77-82.

    【17】【19】賈開,蔣余浩.人工智能治理的三個(gè)基本問題:技術(shù)邏輯、風(fēng)險(xiǎn)挑戰(zhàn)與公共政策選擇[J].中國行政管理,2017,(10):40-45.

    【18】賈開.人工智能與算法治理研究[J].中國行政管理,2019,(1):17-22.

    【21】Jenna Burrell.How the Machine Thinks:Understanding Oparity inMachine Learming Algorithms[J].Big Data&Society,2016(1):1-6.

    【22】汝緒華.算法政治:風(fēng)險(xiǎn)、發(fā)生邏輯與治理[J].廈門大學(xué)學(xué)報(bào)(哲學(xué)社會科學(xué)版),2018,(6):27-38.

    【23】方可成.算法是個(gè)黑箱,讓它“透明化”是不夠的[J].社會政策研究,2019,(1):166-168.

    【24】崔靖梓.算法歧視挑戰(zhàn)下平等權(quán)保護(hù)的危機(jī)與應(yīng)對[J].法律科學(xué)(西北政法大學(xué)學(xué)報(bào)),2019,(3):29-42.

    【25】陳姿含.人工智能算法中的法律主體性危機(jī)[J].法律科學(xué)(西北政法大學(xué)學(xué)報(bào)),2019,(4):40-47.

    【26】袁光鋒.政治算法、“幻影公眾”與大數(shù)據(jù)的政治邏輯[J].學(xué)海,2015,(4):49-54.

    【27】趙興龍,許林等.5G之教育應(yīng)用:內(nèi)涵探解與場景創(chuàng)新——兼論新興信息技術(shù)優(yōu)化育人生態(tài)的新思考[J].中國電化教育,2019,(4):5-9

    作者簡介:

    肖鳳翔:教授,博士生導(dǎo)師,研究方向?yàn)榻逃龑W(xué)原理、職業(yè)技術(shù)教育(tjxfx@126.com)。

    張雙志:在讀博士,研究方向?yàn)榻逃畔⒒?、職業(yè)技術(shù)教育(zhangsz0528@163.com)。

    猜你喜歡
    大數(shù)據(jù)人工智能
    我校新增“人工智能”本科專業(yè)
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    大數(shù)據(jù)環(huán)境下基于移動客戶端的傳統(tǒng)媒體轉(zhuǎn)型思路
    新聞世界(2016年10期)2016-10-11 20:13:53
    基于大數(shù)據(jù)背景下的智慧城市建設(shè)研究
    科技視界(2016年20期)2016-09-29 10:53:22
    下一幕,人工智能!
    下一幕,人工智能!
    數(shù)據(jù)+輿情:南方報(bào)業(yè)創(chuàng)新轉(zhuǎn)型提高服務(wù)能力的探索
    中國記者(2016年6期)2016-08-26 12:36:20
    国产精品秋霞免费鲁丝片| 国产亚洲一区二区精品| 国产精品久久久人人做人人爽| 免费高清在线观看日韩| 制服诱惑二区| 一级毛片女人18水好多| 一级黄色大片毛片| 国产欧美日韩一区二区三| 久久精品国产亚洲av高清一级| 免费在线观看黄色视频的| 国产精品一区二区免费欧美| 亚洲精品国产区一区二| 19禁男女啪啪无遮挡网站| 桃红色精品国产亚洲av| 久久久久精品国产欧美久久久| 两性午夜刺激爽爽歪歪视频在线观看 | 欧美日韩瑟瑟在线播放| 精品一区二区三卡| 夜夜爽天天搞| 成人18禁在线播放| 一区二区三区激情视频| 日韩欧美三级三区| 香蕉国产在线看| 欧美大码av| 欧美日韩精品网址| 国产男靠女视频免费网站| 久久久久精品人妻al黑| 别揉我奶头~嗯~啊~动态视频| www.精华液| 免费日韩欧美在线观看| 日本欧美视频一区| 电影成人av| 一级片'在线观看视频| 无限看片的www在线观看| 亚洲精品在线观看二区| 亚洲人成77777在线视频| 99精品久久久久人妻精品| 91老司机精品| 91字幕亚洲| 欧美激情极品国产一区二区三区| 精品无人区乱码1区二区| 黄色毛片三级朝国网站| 日韩制服丝袜自拍偷拍| 成人亚洲精品一区在线观看| 国产精品亚洲av一区麻豆| 王馨瑶露胸无遮挡在线观看| 国产精品久久久av美女十八| a级毛片在线看网站| 久久精品国产99精品国产亚洲性色 | 久久国产精品大桥未久av| 国产成人影院久久av| e午夜精品久久久久久久| 两个人看的免费小视频| 男男h啪啪无遮挡| 久久精品国产综合久久久| 亚洲色图av天堂| 999精品在线视频| www.自偷自拍.com| 日韩欧美一区视频在线观看| 亚洲精品美女久久久久99蜜臀| 大陆偷拍与自拍| 日韩人妻精品一区2区三区| 免费观看a级毛片全部| 91麻豆av在线| 黄色怎么调成土黄色| 欧美精品啪啪一区二区三区| 亚洲精品中文字幕在线视频| 欧美乱妇无乱码| 国产精品美女特级片免费视频播放器 | 狠狠婷婷综合久久久久久88av| 午夜福利免费观看在线| 91国产中文字幕| 欧美另类亚洲清纯唯美| 99久久99久久久精品蜜桃| 一级黄色大片毛片| 村上凉子中文字幕在线| 成年动漫av网址| 深夜精品福利| 久久久久精品人妻al黑| 国产成人精品在线电影| 国产成人精品久久二区二区91| 国内毛片毛片毛片毛片毛片| 天天添夜夜摸| 国产色视频综合| av福利片在线| 午夜老司机福利片| 中文字幕高清在线视频| 中文字幕高清在线视频| 欧美最黄视频在线播放免费 | 一级片'在线观看视频| 成人影院久久| 两性午夜刺激爽爽歪歪视频在线观看 | 亚洲av电影在线进入| 日韩欧美三级三区| 日韩三级视频一区二区三区| 男女之事视频高清在线观看| 久久亚洲真实| 亚洲色图 男人天堂 中文字幕| 国产成人av教育| 在线av久久热| 久久久久久久久免费视频了| 免费在线观看视频国产中文字幕亚洲| 国产精品亚洲一级av第二区| ponron亚洲| 村上凉子中文字幕在线| 人妻一区二区av| 免费人成视频x8x8入口观看| 后天国语完整版免费观看| 少妇的丰满在线观看| 久久草成人影院| 精品国产国语对白av| 色播在线永久视频| 免费日韩欧美在线观看| 好男人电影高清在线观看| 国产又爽黄色视频| 亚洲精品一二三| 免费在线观看完整版高清| 一级片免费观看大全| 国产麻豆69| 久久久久久久久免费视频了| 亚洲va日本ⅴa欧美va伊人久久| 999久久久国产精品视频| 久久精品国产亚洲av香蕉五月 | 久久影院123| 亚洲精品av麻豆狂野| 一边摸一边抽搐一进一出视频| www.自偷自拍.com| 黄色女人牲交| 99国产综合亚洲精品| 日韩三级视频一区二区三区| 久久久久久久午夜电影 | 美女高潮喷水抽搐中文字幕| 19禁男女啪啪无遮挡网站| 欧美日韩亚洲综合一区二区三区_| 免费女性裸体啪啪无遮挡网站| 欧美乱妇无乱码| 91麻豆av在线| 久久人人爽av亚洲精品天堂| 日韩免费高清中文字幕av| 精品一区二区三区视频在线观看免费 | 国产麻豆69| 成熟少妇高潮喷水视频| 人妻久久中文字幕网| 成人18禁在线播放| 免费一级毛片在线播放高清视频 | 女警被强在线播放| 久久久国产成人精品二区 | 欧美最黄视频在线播放免费 | 久久久久精品国产欧美久久久| 少妇猛男粗大的猛烈进出视频| 欧美国产精品va在线观看不卡| 曰老女人黄片| 老熟女久久久| 国产成人精品在线电影| 两性夫妻黄色片| 欧美乱妇无乱码| 精品一区二区三区四区五区乱码| 亚洲欧洲精品一区二区精品久久久| 欧美乱码精品一区二区三区| 午夜激情av网站| 亚洲欧美激情在线| 天天躁夜夜躁狠狠躁躁| 丁香六月欧美| 国产精品一区二区精品视频观看| 在线视频色国产色| 午夜福利免费观看在线| 别揉我奶头~嗯~啊~动态视频| 男男h啪啪无遮挡| 精品亚洲成a人片在线观看| 99在线人妻在线中文字幕 | 热re99久久国产66热| 久久香蕉精品热| 两个人免费观看高清视频| 国产成人精品无人区| 黄色片一级片一级黄色片| 黄片播放在线免费| 每晚都被弄得嗷嗷叫到高潮| av在线播放免费不卡| 五月开心婷婷网| 午夜老司机福利片| 中文字幕高清在线视频| 侵犯人妻中文字幕一二三四区| 十八禁高潮呻吟视频| 深夜精品福利| 99国产精品一区二区蜜桃av | 天堂俺去俺来也www色官网| 一区二区日韩欧美中文字幕| 亚洲av日韩在线播放| 老司机福利观看| 国产精品乱码一区二三区的特点 | 9色porny在线观看| 热99国产精品久久久久久7| 日本黄色视频三级网站网址 | 成人影院久久| 亚洲专区国产一区二区| 日韩欧美一区视频在线观看| 亚洲五月婷婷丁香| av一本久久久久| www日本在线高清视频| 波多野结衣av一区二区av| 国产av精品麻豆| 女警被强在线播放| 久久国产亚洲av麻豆专区| 久久久久久人人人人人| 91精品三级在线观看| 国产av又大| 黄色a级毛片大全视频| 妹子高潮喷水视频| 午夜福利,免费看| 久久精品亚洲av国产电影网| av一本久久久久| 亚洲欧美日韩另类电影网站| 精品一区二区三卡| 高清黄色对白视频在线免费看| 一级片'在线观看视频| 国产精品一区二区精品视频观看| 国产淫语在线视频| av超薄肉色丝袜交足视频| 亚洲精品乱久久久久久| 欧美国产精品一级二级三级| 一本综合久久免费| 村上凉子中文字幕在线| 亚洲人成77777在线视频| 国产成人免费观看mmmm| 日日爽夜夜爽网站| 天天躁夜夜躁狠狠躁躁| 国产精品.久久久| 99久久国产精品久久久| 亚洲午夜理论影院| 午夜影院日韩av| 最近最新中文字幕大全免费视频| www.精华液| 国产视频一区二区在线看| 一二三四社区在线视频社区8| 久久九九热精品免费| 日韩欧美在线二视频 | 天天添夜夜摸| 亚洲精品乱久久久久久| 亚洲专区国产一区二区| 在线免费观看的www视频| 中文字幕另类日韩欧美亚洲嫩草| 99热国产这里只有精品6| 真人做人爱边吃奶动态| 18禁观看日本| 天堂√8在线中文| 国产色视频综合| 亚洲色图综合在线观看| 午夜精品国产一区二区电影| 亚洲av成人av| 亚洲人成77777在线视频| 国产精华一区二区三区| 丰满人妻熟妇乱又伦精品不卡| 在线十欧美十亚洲十日本专区| 亚洲国产看品久久| 亚洲一码二码三码区别大吗| 亚洲第一欧美日韩一区二区三区| 正在播放国产对白刺激| 亚洲精品国产区一区二| 亚洲,欧美精品.| 91av网站免费观看| 国产国语露脸激情在线看| 丁香六月欧美| 国产xxxxx性猛交| 91国产中文字幕| 在线国产一区二区在线| 亚洲全国av大片| 久久国产精品大桥未久av| 国产精品欧美亚洲77777| 精品一区二区三区视频在线观看免费 | 男男h啪啪无遮挡| 三上悠亚av全集在线观看| 亚洲熟妇熟女久久| 大码成人一级视频| 欧美激情久久久久久爽电影 | 国精品久久久久久国模美| 侵犯人妻中文字幕一二三四区| 欧美老熟妇乱子伦牲交| 黄色片一级片一级黄色片| 香蕉久久夜色| 日韩欧美一区视频在线观看| 中文字幕另类日韩欧美亚洲嫩草| 十分钟在线观看高清视频www| 啦啦啦视频在线资源免费观看| 国产一区有黄有色的免费视频| a在线观看视频网站| 久久精品国产a三级三级三级| 五月开心婷婷网| 日韩有码中文字幕| 两个人看的免费小视频| 999久久久精品免费观看国产| 女性生殖器流出的白浆| 久99久视频精品免费| 亚洲av成人一区二区三| 欧美日韩黄片免| 人妻一区二区av| 在线观看免费日韩欧美大片| 丰满迷人的少妇在线观看| 身体一侧抽搐| 亚洲中文av在线| 欧美另类亚洲清纯唯美| 一边摸一边抽搐一进一出视频| 精品视频人人做人人爽| 亚洲国产精品一区二区三区在线| 免费在线观看日本一区| 男女午夜视频在线观看| 国产三级黄色录像| 久久香蕉激情| 欧美乱色亚洲激情| 少妇被粗大的猛进出69影院| 国产色视频综合| 欧美精品啪啪一区二区三区| 国产欧美亚洲国产| 国产av又大| 精品国内亚洲2022精品成人 | av在线播放免费不卡| 黄频高清免费视频| 视频区图区小说| 成年人午夜在线观看视频| 亚洲第一青青草原| 久久这里只有精品19| 中文亚洲av片在线观看爽 | 国产精品久久电影中文字幕 | 一a级毛片在线观看| 久久九九热精品免费| 国产高清国产精品国产三级| 女性被躁到高潮视频| 亚洲,欧美精品.| 热99re8久久精品国产| 丁香六月欧美| 亚洲 国产 在线| 午夜福利在线免费观看网站| 亚洲精品国产色婷婷电影| 亚洲五月色婷婷综合| 99在线人妻在线中文字幕 | 12—13女人毛片做爰片一| 露出奶头的视频| 成人国语在线视频| 美女视频免费永久观看网站| 亚洲五月天丁香| 亚洲av成人一区二区三| 99热只有精品国产| 亚洲欧美激情综合另类| 欧美人与性动交α欧美软件| 欧美黑人欧美精品刺激| 成熟少妇高潮喷水视频| 在线观看66精品国产| 91成年电影在线观看| 黄色丝袜av网址大全| 亚洲伊人色综图| 这个男人来自地球电影免费观看| 久久热在线av| 婷婷成人精品国产| 一级片免费观看大全| 91精品国产国语对白视频| 久久久国产欧美日韩av| 一级,二级,三级黄色视频| 91在线观看av| 国产av一区二区精品久久| 别揉我奶头~嗯~啊~动态视频| 99国产精品一区二区三区| 宅男免费午夜| av片东京热男人的天堂| 国产精品乱码一区二三区的特点 | 在线国产一区二区在线| 天天影视国产精品| 亚洲一区二区三区欧美精品| 久久久久精品国产欧美久久久| av天堂在线播放| 国产精华一区二区三区| 亚洲va日本ⅴa欧美va伊人久久| 亚洲精品美女久久av网站| av福利片在线| 亚洲国产精品合色在线| 男女床上黄色一级片免费看| 操出白浆在线播放| 热re99久久国产66热| 午夜福利欧美成人| 久久久精品国产亚洲av高清涩受| av免费在线观看网站| 国产一区二区三区综合在线观看| 香蕉国产在线看| 欧美乱码精品一区二区三区| 亚洲成人国产一区在线观看| 亚洲成a人片在线一区二区| 黑人巨大精品欧美一区二区mp4| 90打野战视频偷拍视频| 国产亚洲欧美精品永久| 一进一出抽搐gif免费好疼 | 高清黄色对白视频在线免费看| 国精品久久久久久国模美| 免费少妇av软件| 在线观看免费日韩欧美大片| xxxhd国产人妻xxx| 男女午夜视频在线观看| 欧美乱妇无乱码| 欧美精品亚洲一区二区| 久久国产精品大桥未久av| 婷婷丁香在线五月| 三上悠亚av全集在线观看| 亚洲一区二区三区欧美精品| 一级毛片精品| 国产真人三级小视频在线观看| 视频在线观看一区二区三区| 看片在线看免费视频| 亚洲视频免费观看视频| 欧美日韩福利视频一区二区| 777久久人妻少妇嫩草av网站| 成人亚洲精品一区在线观看| 欧美国产精品一级二级三级| 十八禁高潮呻吟视频| 91国产中文字幕| 久热爱精品视频在线9| 欧美日韩中文字幕国产精品一区二区三区 | 久久久国产成人精品二区 | 成人av一区二区三区在线看| 久久精品国产亚洲av高清一级| 99国产精品99久久久久| 欧美午夜高清在线| 亚洲成国产人片在线观看| 黑人巨大精品欧美一区二区mp4| 满18在线观看网站| 窝窝影院91人妻| 国产不卡一卡二| 男女床上黄色一级片免费看| 久久久久国产一级毛片高清牌| 每晚都被弄得嗷嗷叫到高潮| 一级,二级,三级黄色视频| 欧美日韩瑟瑟在线播放| 国产成人精品在线电影| √禁漫天堂资源中文www| 成人国产一区最新在线观看| 亚洲精品自拍成人| 精品卡一卡二卡四卡免费| 国产精品九九99| 亚洲欧洲精品一区二区精品久久久| 久久久久久久国产电影| 交换朋友夫妻互换小说| 一本综合久久免费| 女人久久www免费人成看片| 精品第一国产精品| 欧美黑人精品巨大| av网站在线播放免费| 新久久久久国产一级毛片| 久久久久国产一级毛片高清牌| 久热这里只有精品99| 国产aⅴ精品一区二区三区波| 18禁美女被吸乳视频| 日韩免费高清中文字幕av| 欧美在线一区亚洲| 欧美日韩黄片免| 久久久精品国产亚洲av高清涩受| 国产真人三级小视频在线观看| 亚洲欧洲精品一区二区精品久久久| 一二三四社区在线视频社区8| 色综合婷婷激情| 天堂中文最新版在线下载| av免费在线观看网站| 制服诱惑二区| 精品亚洲成a人片在线观看| 美女扒开内裤让男人捅视频| 99国产精品免费福利视频| 王馨瑶露胸无遮挡在线观看| 人成视频在线观看免费观看| 一区二区三区激情视频| 精品国产一区二区久久| 成年动漫av网址| 淫妇啪啪啪对白视频| videosex国产| 757午夜福利合集在线观看| 99riav亚洲国产免费| 久久久久久久国产电影| 精品欧美一区二区三区在线| 欧美黄色片欧美黄色片| 韩国av一区二区三区四区| 免费人成视频x8x8入口观看| 国产成人欧美| 久久久久视频综合| 国产精品免费一区二区三区在线 | 91麻豆精品激情在线观看国产 | 黑人巨大精品欧美一区二区蜜桃| 国产亚洲欧美精品永久| 亚洲精品美女久久久久99蜜臀| netflix在线观看网站| cao死你这个sao货| 丝袜在线中文字幕| 狂野欧美激情性xxxx| 宅男免费午夜| 91在线观看av| 久久精品成人免费网站| 好男人电影高清在线观看| 婷婷丁香在线五月| 一二三四社区在线视频社区8| 女人爽到高潮嗷嗷叫在线视频| 日韩人妻精品一区2区三区| 12—13女人毛片做爰片一| 国产单亲对白刺激| 午夜福利,免费看| 午夜91福利影院| 国产精品 国内视频| 欧美日韩亚洲高清精品| 人妻久久中文字幕网| 99re6热这里在线精品视频| 亚洲一区二区三区不卡视频| 丝袜人妻中文字幕| 国产高清视频在线播放一区| 成人三级做爰电影| 成年人免费黄色播放视频| 久久精品亚洲熟妇少妇任你| 亚洲色图 男人天堂 中文字幕| 久久国产乱子伦精品免费另类| 国产精品一区二区在线不卡| 欧美日韩中文字幕国产精品一区二区三区 | 中国美女看黄片| 日韩免费av在线播放| 久久久国产一区二区| 老汉色av国产亚洲站长工具| 欧美性长视频在线观看| 欧美成狂野欧美在线观看| 色在线成人网| 精品久久久久久久久久免费视频 | 日韩大码丰满熟妇| 精品人妻1区二区| 丰满人妻熟妇乱又伦精品不卡| 日韩熟女老妇一区二区性免费视频| 亚洲一区中文字幕在线| 在线观看日韩欧美| 午夜福利乱码中文字幕| 精品高清国产在线一区| 亚洲精品自拍成人| av中文乱码字幕在线| 搡老乐熟女国产| 99精国产麻豆久久婷婷| 亚洲欧美激情在线| 欧美黄色淫秽网站| 天堂动漫精品| 又黄又爽又免费观看的视频| 欧美日韩福利视频一区二区| 国产主播在线观看一区二区| 热re99久久国产66热| 1024视频免费在线观看| av天堂在线播放| 国产aⅴ精品一区二区三区波| 久久中文字幕人妻熟女| 精品国产超薄肉色丝袜足j| 成人国语在线视频| 亚洲久久久国产精品| 一本大道久久a久久精品| 大香蕉久久成人网| 丁香欧美五月| 日日爽夜夜爽网站| 久久精品91无色码中文字幕| 十八禁高潮呻吟视频| 久久国产精品人妻蜜桃| 少妇裸体淫交视频免费看高清 | 亚洲国产毛片av蜜桃av| 一级毛片女人18水好多| 亚洲av欧美aⅴ国产| 欧美+亚洲+日韩+国产| 国内久久婷婷六月综合欲色啪| 久久国产精品大桥未久av| 亚洲中文字幕日韩| 大码成人一级视频| av有码第一页| 亚洲欧美日韩另类电影网站| 久久久久久亚洲精品国产蜜桃av| 91精品三级在线观看| 激情在线观看视频在线高清 | 精品一品国产午夜福利视频| 国产成人精品久久二区二区免费| 免费看十八禁软件| 亚洲成人免费av在线播放| 精品国产乱子伦一区二区三区| 99国产精品一区二区蜜桃av | 法律面前人人平等表现在哪些方面| videosex国产| 日韩中文字幕欧美一区二区| 精品午夜福利视频在线观看一区| 久久久水蜜桃国产精品网| 国产精品99久久99久久久不卡| 日本撒尿小便嘘嘘汇集6| 99精品欧美一区二区三区四区| 成年人午夜在线观看视频| 99久久国产精品久久久| a级片在线免费高清观看视频| 亚洲自偷自拍图片 自拍| av福利片在线| 久久天堂一区二区三区四区| 高清欧美精品videossex| 99精品久久久久人妻精品| 国产免费av片在线观看野外av| 午夜福利影视在线免费观看| 国产熟女午夜一区二区三区| 午夜福利一区二区在线看| 女人爽到高潮嗷嗷叫在线视频| 欧美色视频一区免费| 久久久精品免费免费高清| av电影中文网址| 别揉我奶头~嗯~啊~动态视频| 日韩欧美一区二区三区在线观看 | 午夜福利免费观看在线| 建设人人有责人人尽责人人享有的| 色综合欧美亚洲国产小说| 人人妻人人澡人人爽人人夜夜| 精品一区二区三区视频在线观看免费 | 精品国产一区二区久久| 日韩欧美三级三区| 欧美不卡视频在线免费观看 | 不卡av一区二区三区| bbb黄色大片| 国产一卡二卡三卡精品| 热99国产精品久久久久久7| 精品国产一区二区久久| 99国产精品免费福利视频| 国产精品免费视频内射| 可以免费在线观看a视频的电影网站|