• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    算法治理:智能社會技術(shù)異化的風(fēng)險及應(yīng)對

    2020-01-09 14:22:02
    關(guān)鍵詞:異化人工智能算法

    陳 思

    (湖北省社會科學(xué)院 政法研究所, 湖北 武漢 430070)

    一、引言

    2019年國際人工智能與教育大會上,習(xí)近平總書記指出:“人工智能是引領(lǐng)新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動力,正深刻改變著人們的生產(chǎn)、生活、學(xué)習(xí)方式,推動人類社會迎來人機協(xié)同、跨界融合、共創(chuàng)分享的智能時代?!?1)《習(xí)近平向國際人工智能與教育大會致賀信》,2019年5月16日,http:cpc.people.com.cnn120190516c64094-31088558.html,2019年12月13日。隨著全球人工智能技術(shù)研發(fā)不斷升溫,人工智能技術(shù)已從科技領(lǐng)域進入公眾視野,并將推動人類社會發(fā)生深刻變革。從1950年艾倫·圖靈發(fā)表《計算機械和智能》一文,到能夠進行自我學(xué)習(xí)的圍棋算法AlphaZero打敗人類棋手冠軍,以及由數(shù)據(jù)驅(qū)動的學(xué)習(xí)系統(tǒng)AlphaFold成功預(yù)測出蛋白質(zhì)的結(jié)構(gòu);從只適用于蘋果手機的智能語音助手Siri,到可以廣泛應(yīng)用到各個設(shè)備的語音助手亞馬遜Alexa,人工智能技術(shù)的價值和潛力被不斷開發(fā)并應(yīng)用到不同的領(lǐng)域與場景。在此背景下,世界各國積極回應(yīng)人工智能的發(fā)展,2014年歐洲通過制定《歐盟機器人研發(fā)計劃》以保持整個歐洲人工智能領(lǐng)域良好的發(fā)展勢頭;美國正在通過培養(yǎng)人工智能研究人員和制定人工智能教育計劃,為人工智能的未來做準(zhǔn)備。人工智能推動著世界科技創(chuàng)新和產(chǎn)業(yè)格局轉(zhuǎn)型升級,為適應(yīng)這一全球化的智能革命,2017年國務(wù)院印發(fā)并實施的《新一代人工智能發(fā)展規(guī)劃》中明確提出了“到2030年人工智能理論、技術(shù)與應(yīng)用總體達到世界領(lǐng)先水平,成為世界主要人工智能創(chuàng)新中心”的戰(zhàn)略目標(biāo)(2)《國務(wù)院關(guān)于印發(fā)新一代人工智能發(fā)展規(guī)劃的通知》,2017年7月8日,http:www.gov.cnzhengcecontent2017-0720content_5211996.htm.,2019年12月13日。。2019年,黨的十九屆四中全會審議通過的《中共中央關(guān)于堅持和完善中國特色社會主義制度、推進國家治理體系和治理能力現(xiàn)代化若干重大問題的決定》中指出,要“建立健全運用互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等技術(shù)手段進行行政管理的制度規(guī)則。推進數(shù)字政府建設(shè),加強數(shù)據(jù)有序共享,依法保護個人信息”(3)《中共中央關(guān)于堅持和完善中國特色社會主義制度推進國家治理體系和治理能力現(xiàn)代化若干重大問題的決定》,《人民日報》2019年11月6日,第1版。。新時代,人工智能體現(xiàn)了一個國家科學(xué)技術(shù)的發(fā)展水平,以人工智能、大數(shù)據(jù)等技術(shù)為載體的現(xiàn)代化社會治理模式和體系正在成為人類社會的發(fā)展趨勢。因此,本文旨在針對人工智能時代技術(shù)異化的表現(xiàn),提供以算法應(yīng)對社會治理挑戰(zhàn)的總體框架設(shè)想。文章以技術(shù)異化理論對當(dāng)代社會的反思和智能背景下社會治理的研究現(xiàn)狀為基礎(chǔ),分析人工智能時代我國社會治理面臨的新困境,并提出相關(guān)的解決對策建議。

    二、相關(guān)理論及研究基礎(chǔ)

    (一)技術(shù)異化理論及其當(dāng)代發(fā)展

    異化一詞的英文為“alienation”,有讓渡、轉(zhuǎn)讓、疏遠、脫離等意。它最早被用于西方的宗教文本《圣經(jīng)》中,指《創(chuàng)世紀(jì)》中亞當(dāng)夏娃純真神性的脫離。19世紀(jì)德國哲學(xué)家黑格爾將異化引入哲學(xué)領(lǐng)域,強調(diào)異化是主體與客體的分離和對立。與他同時代的哲學(xué)家費爾巴哈則將異化表述為人的本質(zhì)的對象化和異化,徹底剝離了異化的宗教神學(xué)外衣。在吸取黑格爾和費爾巴哈異化理論合理部分的基礎(chǔ)上,馬克思提出勞動異化的具體表現(xiàn),認(rèn)為這是私有制發(fā)展的必然結(jié)果。在《1844年經(jīng)濟學(xué)哲學(xué)手稿》中,他從歷史和實踐層面對異化進行考察并提出勞動異化理論,明確指出異化勞動的四重規(guī)定性,即人與勞動產(chǎn)品的異化,勞動與勞動本身的異化,人與人之間的異化,以及人的類本質(zhì)與人的異化。在對馬克思勞動異化理論繼承的基礎(chǔ)上,我國《哲學(xué)大辭典》對異化作出的解釋是:“異化作為社會現(xiàn)象,與階級一起產(chǎn)生,是人的物質(zhì)生產(chǎn)與精神生產(chǎn)及其產(chǎn)品變成異己力量又反過來統(tǒng)治人的一種社會現(xiàn)象?!?4)馮契主編:《哲學(xué)大辭典》,上海:上海辭書出版社,1992年,第702頁。異化反映的是人的生產(chǎn)活動及其產(chǎn)品反對人們自己的特殊性質(zhì)和特殊關(guān)系。

    作為異化概念的延伸,雖然對于“技術(shù)異化”這一概念學(xué)術(shù)界還未達成共識,但國內(nèi)外學(xué)者大致是從技術(shù)對人的負(fù)面影響和技術(shù)的價值中立兩個方面對其進行考察。首先是技術(shù)對人的負(fù)面影響,工業(yè)社會里技術(shù)成為控制人類的新形式,逐漸脫離其作為生產(chǎn)工具的實體而成為一種彌散在工業(yè)社會中的文化形態(tài),它們支配著人這一工具(包括身體、大腦和靈魂)(5)赫伯特·馬爾庫塞:《單向度的人:發(fā)達工業(yè)社會意識形態(tài)研究》,劉繼譯,上海:上海譯文出版社,2008年,第23頁。。這一文化形態(tài)顯然同人類所向往的自由而美好的社會狀態(tài)相背離。可以說技術(shù)的進步并不一定帶來人性的解放,反而會成為抑制個人本性的源動力。通常意義上,人們認(rèn)為技術(shù)的更迭發(fā)展是更有效率和更合理的工具取代了與社會發(fā)展不相適應(yīng)的工具手段,這種技術(shù)的合理性使得人們失去了批判的思維方式且愈發(fā)信賴技術(shù)并依附于它,也就是說“人已成為一種只有物質(zhì)生活而無精神生活的‘單向度的人’”(6)劉文海:《技術(shù)異化批判——技術(shù)負(fù)面效應(yīng)的人本考察》,《中國社會科學(xué)》1994年第2期。。其次,關(guān)于技術(shù)價值中立的討論,主要集中在技術(shù)是否是中性的這一問題。有學(xué)者從技術(shù)的價值屬性把握其要義,認(rèn)為它的中性是相對的:自然屬性中的技術(shù)是中性的,社會屬性指向的是非中性,因而“技術(shù)過程和對象并不總是事實上中立的”(7)弗里德里?!だ眨骸都夹g(shù)哲學(xué)導(dǎo)論》,劉武、康榮平等譯,沈陽:遼寧科學(xué)技術(shù)出版社,1986年,第47頁。。也有學(xué)者認(rèn)為技術(shù)中性是不可能存在的,技術(shù)作為人類必不可少的工具手段,產(chǎn)生于社會又反作用于社會。無論是技術(shù)本體還是技術(shù)的運用都不能同人類社會實踐割裂開來,“離開了應(yīng)用就不成其為在完整意義上的技術(shù)或現(xiàn)實技術(shù)”(8)陳昌曙:《技術(shù)哲學(xué)引論》,北京:科學(xué)出版社,1999年,第240頁。。無論對以上觀點持何種態(tài)度,都會在否定技術(shù)價值的絕對中立上達成一定的共識。對技術(shù)中性的討論能夠幫助我們認(rèn)識到人的主體能動性,由于技術(shù)的本身缺陷帶來的消極后果不可避免,但人在這種缺陷面前并不是無能為力的。因此,技術(shù)異化歸根結(jié)底是人的異化。一方面,這種異化并不是對作為實體的人的否定,是人們的認(rèn)知水平受到客觀環(huán)境和歷史條件的制約,存在有條件的局限性而導(dǎo)致的技術(shù)異化。另一方面,若將技術(shù)視為一個作用于社會的動態(tài)過程,它從產(chǎn)生到發(fā)展都服務(wù)于人類社會,是人類活動反作用客觀世界的中介。人類在滿足不斷發(fā)展著的需求的實踐中,一定程度上不自覺地剔除了具有價值理性的自我,使得工具理性在自我意識中占據(jù)上風(fēng)從而引發(fā)的危機,其實質(zhì)同樣是人的異化。

    以上對技術(shù)異化的討論與反思,觀照到我們即將進入的智能社會,人工智能引領(lǐng)下的智能革命帶來的不僅僅是科學(xué)技術(shù)領(lǐng)域的變革,也深刻影響和改變著包括生產(chǎn)生活方式、社會結(jié)構(gòu)秩序和運行方式等人類社會的方方面面,相應(yīng)地伴生出一系列的風(fēng)險挑戰(zhàn)。對技術(shù)的壟斷、資源配置不公和道德倫理等問題始終牽絆著以算法為基礎(chǔ)的人工智能技術(shù)的發(fā)展。面對一切發(fā)展著的事物,人們要認(rèn)識到它內(nèi)在發(fā)展的基本規(guī)律,意識到在技術(shù)面前人的主體性和能動性,抽取技術(shù)的正面價值以提升人類福祉。

    (二)智能社會的社會治理研究

    2019年黨的十九屆四中全會公報中強調(diào):“必須加強和創(chuàng)新社會治理,完善黨委領(lǐng)導(dǎo)、政府負(fù)責(zé)、民主協(xié)商、社會協(xié)同、公眾參與、法治保障、科技支撐的社會治理體系?!?9)《中共中央關(guān)于堅持和完善中國特色社會主義制度 推進國家治理體系和治理能力現(xiàn)代化若干重大問題的決定》,《人民日報》2019年11月6日,第1版??茖W(xué)技術(shù)不僅是社會治理走向現(xiàn)代化的第一生產(chǎn)力,也是社會形態(tài)從工業(yè)社會向智能社會轉(zhuǎn)型的關(guān)鍵動力?;ヂ?lián)網(wǎng)、大數(shù)據(jù)、云計算、人工智能等領(lǐng)域的智能革命正在建構(gòu)一個實體社會同虛體社會相結(jié)合的社會形態(tài),科學(xué)技術(shù)與經(jīng)濟社會的高度融合推動社會各個領(lǐng)域的顛覆性變革,共建共治共享將成為整個社會發(fā)展的底色。

    許多學(xué)者關(guān)注到智能社會發(fā)展的大趨勢,但也注意到人工智能技術(shù)的發(fā)展在賦予社會治理新內(nèi)涵的同時,也給社會治理帶來了新風(fēng)險與挑戰(zhàn)。圍繞大數(shù)據(jù)技術(shù)在社會治理中的應(yīng)用,智能化社會治理可能面臨信息安全與隱私保護、社會組織基礎(chǔ)設(shè)施建設(shè)相對薄弱、缺乏公開共享機制、專業(yè)人才匱乏的問題(10)郭本鋒:《應(yīng)用大數(shù)據(jù)提升社會治理智能化水平研究》,《管理觀察》2018年第29期。。有學(xué)者認(rèn)為治理結(jié)構(gòu)的僵化性,治理方法的滯后性與治理范圍的狹隘性構(gòu)成了人工智能時代的治理困境(11)賈開、蔣余浩:《人工智能治理的三個基本問題:技術(shù)邏輯、風(fēng)險挑戰(zhàn)與公共政策選擇》,《中國行政管理》2017年第10期。。人工智能作為人類社會的重要技術(shù)發(fā)明,面臨著技術(shù)自主性、數(shù)據(jù)基礎(chǔ)、認(rèn)知結(jié)構(gòu)、倫理規(guī)范和社會應(yīng)用方面的挑戰(zhàn)(12)張成崗:《人工智能時代:技術(shù)發(fā)展、風(fēng)險挑戰(zhàn)與秩序重構(gòu)》,《南京社會科學(xué)》2018年第5期。。針對人工智能功能的雙向性,其給社會治理帶來的潛在風(fēng)險表現(xiàn)為技術(shù)權(quán)威和獨裁、行政吸納的有限性以及加劇社會碎裂(13)王小芳、王磊:《“技術(shù)利維坦”:人工智能嵌入社會治理的潛在風(fēng)險與政府應(yīng)對》,《電子政務(wù)》2019年第5期。。從社會治理現(xiàn)代化的結(jié)構(gòu)需求和目標(biāo)的角度,大數(shù)據(jù)時代面臨著協(xié)作困境與信息孤島、技術(shù)理性與制度滯后、技術(shù)風(fēng)險與治理危機、工具理性與價值迷失的挑戰(zhàn)(14)王振興、韓伊靜、李云新:《大數(shù)據(jù)背景下社會治理現(xiàn)代化:解讀、困境與路徑》,《電子政務(wù)》2019年第4期。。也有學(xué)者以法律治理為切入點,闡述了智能硬件系統(tǒng)安全、智能網(wǎng)聯(lián)汽車系統(tǒng)安全、物聯(lián)網(wǎng)系統(tǒng)安全和人工智能系統(tǒng)的技術(shù)與制度方面的風(fēng)險(15)吳沈括、羅瑾裕:《人工智能安全的法律治理:圍繞系統(tǒng)安全的檢視》,《新疆師范大學(xué)學(xué)報》(哲學(xué)社會科學(xué)版)2018年第4期。?;蚴菑闹刃?qū)用?,認(rèn)為人工智能引發(fā)了包括安全、法律、倫理和決策方面的困境(16)龐金友:《AI治理:人工智能時代的秩序困境與治理原則》,《人民論壇·學(xué)術(shù)前沿》2018年第10期。。

    綜上所述,國內(nèi)對智能時代社會治理的研究眾多,且取得了突出的研究成果。但缺乏對以下方面進行深入研究:首先是大數(shù)據(jù)、人工智能等技術(shù)對社會治理帶來的風(fēng)險研究大多停留在技術(shù)實體與治理實踐的層面,沒有將歷史背景同客觀環(huán)境相結(jié)合。盡管技術(shù)對人類社會的影響具有時代特征,但追根溯源其內(nèi)核具有歷史延續(xù)性。其次學(xué)者主要集中在對大數(shù)據(jù)、人工智能、互聯(lián)網(wǎng)技術(shù)工具的研究上,算法工具對治理的影響仍是一個新的研究領(lǐng)域,具有較大探究空間。

    三、算法的桎梏:智能社會技術(shù)異化的表現(xiàn)

    隨著互聯(lián)網(wǎng)、移動通信、計算機、大數(shù)據(jù)、算法等新技術(shù)的發(fā)展,人工智能突破了理論與實踐的鴻溝迎來了蓬勃的發(fā)展,它同經(jīng)濟社會、文化教育和科技創(chuàng)新等領(lǐng)域的深度融合,推動人類社會從工業(yè)社會走向智能社會。人工智能是指數(shù)字計算機或者數(shù)字計算機控制的機器人具有人類智能行為的能力,包括感知、理解、行動和學(xué)習(xí)。算法是通過數(shù)學(xué)模型建構(gòu)提供解決問題方案的一種策略方式。開發(fā)人工智能的目的就是復(fù)制人類解決問題的做法,以實現(xiàn)更有效的解決方案輸出。因此,正是算法使“人工”變得智能,機器具有了人類的學(xué)習(xí)能力??茖W(xué)技術(shù)作為先進生產(chǎn)力的重要標(biāo)志,在促進社會發(fā)展和人的發(fā)展中發(fā)揮著重要作用。但在具體的實踐中,作為科學(xué)活動的創(chuàng)造物,技術(shù)卻往往反過來成為支配、控制、奴役人的力量。當(dāng)代,智能社會技術(shù)異化出現(xiàn)了工具理性與價值理性不平衡、技術(shù)的意識形態(tài)化等特征。

    (一)工具理性與價值理性的不平衡

    簡言之,工具理性是指人們通過某種手段和工具實現(xiàn)自我需求從而達到實踐目的。它強調(diào)工具對人類實踐活動的作用,追求在效率的最大化中實現(xiàn)主體的目的。價值理性則始終以信念價值為行為的導(dǎo)向,它并不計較行為的成本和伴隨而來的后果,其指導(dǎo)下的行為活動指向的是價值世界的終極意義。在兩者之間獲得相對的平衡,是緩解人類日益增長的發(fā)展需要同客觀世界的應(yīng)然價值之間矛盾的必由之路。從工業(yè)社會向智能社會轉(zhuǎn)型的過程中,工具理性的膨脹正在打破這一平衡,價值理性的相對退位以及工具理性的漫溢成為社會通病。當(dāng)然,通過技術(shù)的不斷革新實現(xiàn)人類把握某一事物的精確性與高效率的行為其初衷無可指摘,算法在人工智能中的運用顯著提高了機器處理數(shù)據(jù)的工作效率,能夠幫助關(guān)鍵領(lǐng)域解決數(shù)據(jù)處理與分析方面的難題,某種意義上說,技術(shù)工具的進化是人類社會的必然。但在實踐活動中僅僅追求技術(shù)帶來的高效化,忽視道德與倫理、責(zé)任與義務(wù)、公平與正義等終極關(guān)懷問題,并不是人類社會自然選擇的結(jié)果。以算法在信息傳播領(lǐng)域的應(yīng)用為例,借助算法處理互聯(lián)網(wǎng)海量數(shù)據(jù)從而實現(xiàn)信息的精準(zhǔn)投送,為用戶提供個性化的內(nèi)容服務(wù)以提升用戶閱讀體驗,已經(jīng)成為各大媒體傳播平臺競相追逐的新賽道。但每個硬幣都有兩面,算法的智能化使人們迷醉在技術(shù)進步帶來的便利之中,渾然不知為此付出的代價。利益驅(qū)動下新聞媒體為了點擊率一味迎合用戶而突破倫理道德底線,模糊算法數(shù)據(jù)來源與用戶權(quán)益保護之間的沖突日益加劇。同時,算法帶來的后果在人們之間是不均等地存在的,因為“同高學(xué)歷和富裕的人相比,這些算法更容易影響工人階級和窮人,富裕的人則可以毫發(fā)無損地享受他們的生活”(17)Levy R,“Taking Aim at Biased Algorithms”,Math Horizons,Vol.25,No.1,2017.。

    (二)技術(shù)的意識形態(tài)化

    技術(shù)的意識形態(tài)化表現(xiàn)在以下兩方面:首先,技術(shù)本身具有的意識形態(tài)性。技術(shù)是作為滿足人類改造客觀世界的需求而出現(xiàn)的,人們通過技術(shù)實現(xiàn)自己對外部環(huán)境的掌控,它的存在暗喻了人與自然、人與人在權(quán)力關(guān)系上的不平等地位。當(dāng)人們將技術(shù)視為合理性的象征,智能時代隨著算法在各個領(lǐng)域的深度運用,算法則轉(zhuǎn)變?yōu)榧夹g(shù)對人的統(tǒng)治工具,重塑意識形態(tài)世界的樣貌。在人們的腦海中,算法往往代表了科學(xué)的、系統(tǒng)的、可操縱的,它不僅能代替人類進行決策,還能使決策更具可行性和更高的完成度。人類利用算法實現(xiàn)自身的發(fā)展,并把成本盡可能降到最低的范圍,在不斷激發(fā)算法技術(shù)力量的過程中,日益擴大了社會對個人的統(tǒng)治范圍以及技術(shù)抑制人性的程度。其次,技術(shù)對意識形態(tài)的導(dǎo)向作用。作為人類社會改造客觀世界的工具,技術(shù)承擔(dān)著信息傳遞與交換的功能。農(nóng)業(yè)社會這一階段的信息交流很大程度上受制于時間和空間的限制;發(fā)展到工業(yè)社會,機器印刷、電報、廣播和電話等技術(shù)載體的相繼出現(xiàn),突破了由信息承載的價值傳播的時空限制,實現(xiàn)了價值從傳播到強化,進而形成價值主流反哺社會意識領(lǐng)域。云計算、算法等智能技術(shù)的發(fā)展與應(yīng)用,使互聯(lián)網(wǎng)成為意識形態(tài)傳播的新場域,虛擬世界與實在世界的碰撞催生出獨屬于這個時代的精神文化形態(tài)。與此同時,精英集團(無論是資本、政治精英或知識精英)可以通過壟斷技術(shù),利用智能技術(shù)操縱輿論進行意識形態(tài)的滲透和干預(yù)。在近年來西方國家的選舉中,頻頻出現(xiàn)政客通過人工智能干預(yù)政治活動的現(xiàn)象。他們與擁有大量用戶數(shù)據(jù)的公司合謀,利用算法收集用戶的偏好,對選民進行意識形態(tài)的宣傳從而獲得更多選票,傳統(tǒng)民主政治的公平正義遭到損害。

    四、算法的陷阱:智能社會帶來的社會治理困境

    人工智能技術(shù)全方位、全領(lǐng)域、深層次影響著社會各領(lǐng)域,我們在關(guān)注到技術(shù)飛躍對社會進步的推動作用時,也應(yīng)認(rèn)識到算法對人們的社會認(rèn)知、價值觀念、行為活動造成深遠影響,以及技術(shù)異化已經(jīng)帶來或者可能帶來的社會治理風(fēng)險挑戰(zhàn)。

    (一)政治態(tài)度分化

    人工智能技術(shù)為社會治理體系和治理能力現(xiàn)代化提供了新的治理理念和治理工具,是提升社會治理智能化發(fā)展的重要技術(shù)方法。對信息進行智能化的處理是解決互聯(lián)網(wǎng)信息超載問題、優(yōu)化信息分化配置的有效途徑,個性化定制技術(shù)便是這一途徑的具體手段。然而,“在信息傳播過程中,個性化定制技術(shù)與各個領(lǐng)域的深度結(jié)合,則很可能加劇政治態(tài)度的分化和多極化。公共理性、互利性、包容性是協(xié)商民主系統(tǒng)良好運行不可或缺的條件,而個性化定制技術(shù)對信息的分類、選擇、分發(fā),強化了政治問題的差異性與不可調(diào)和性,不利于社會公共理性、群體間理解與包容的形成,甚至打破了原有協(xié)商的基礎(chǔ)。一方面,該技術(shù)追求人與信息的快速匹配,會過濾掉用戶潛在的需求與偏好,促進了信息“回聲室”的發(fā)展。另一方面,大量匯聚觀點趨同用戶,則更容易聚集成觀點對立陣營,促使同質(zhì)化群體的思維走向更加極端,甚至?xí)鲆暱勺C明其觀點錯誤的事實,并在總體上呈現(xiàn)出“自我延續(xù),自我加強的社會分化狀態(tài)”(18)Bishop B,The Big Sort:Why The Clustering of Like-minded America is Tearing Us Apart,New York:Mariner Books,2008,p.36.。協(xié)商民主是化解社會矛盾分歧,維護社會和諧的有效實現(xiàn)形式,但同質(zhì)化群體的集結(jié)與態(tài)度分化傾向可能會對協(xié)商民主造成一定的危害,對社會穩(wěn)定造成負(fù)面影響。

    (二)治理出現(xiàn)盲區(qū)

    在大數(shù)據(jù)應(yīng)用于社會治理的實踐中,技術(shù)至上的理念造成治理主體在社會治理過程中過度依賴大數(shù)據(jù),忽視了海量信息帶來的識別和篩選模糊的困境。善治的基礎(chǔ)是科學(xué)的決策,而處于發(fā)展階段的算法依賴的數(shù)據(jù)很有可能具有一定的局限性。現(xiàn)實中難免將不具代表性的數(shù)據(jù)作為決策基礎(chǔ),這必然會造成信息時代的缺席者——數(shù)字鴻溝中規(guī)模龐大的邊緣人群的失語,眾多未在網(wǎng)絡(luò)世界中提交主體偏好和利益訴求數(shù)據(jù)的人群,將無法進入決策者的視野。這樣,一些非數(shù)據(jù)化的社會治理問題將會被排除在決策過程之外,決策者甚至可能會在各方的壓力下優(yōu)先回應(yīng)數(shù)據(jù)化的問題。數(shù)字鴻溝是數(shù)字化帶來的技術(shù)制約(technological divide),在先進技術(shù)中占據(jù)制高點的個體將占盡先機,強化政治、經(jīng)濟、文化資源的差序性,導(dǎo)致算法優(yōu)先導(dǎo)向該群體利益相關(guān)的領(lǐng)域,而傾軋非該群體利益關(guān)聯(lián)的關(guān)注空間。數(shù)字鴻溝與治理盲區(qū)存在正相關(guān)的關(guān)系,社會治理的觸角若不能感應(yīng)到非數(shù)據(jù)化的社會問題,便形成了社會治理新的盲區(qū)。

    (三)公共話語去價值化

    治理是穩(wěn)定社會秩序的重要途徑,也包含著不同群體在話語空間中博弈互動的傳播過程。新媒體時代,有效的治理是以有效的傳播為前提的。但由于算法的去價值化,低質(zhì)量的內(nèi)容和有爭議的事實交錯混雜所形成的信息洪流,攪亂了社會治理賴以存在的傳播秩序,去價值化成為整個公共話語生態(tài)的演進狀態(tài)。算法對信息篩選和推薦所遵循的運作邏輯是一切皆可推演,即用戶的行為以及偏好皆可以轉(zhuǎn)換為數(shù)據(jù)。這一邏輯包含了兩個隱喻:用戶的行為偏好是一種算法資源;個人的行為活動是一種有價值的商品。算法將人們的行為偏好進行量化的過程,也是對用戶進行去價值化的過程。同時,利益驅(qū)動下的新聞生產(chǎn)者為追求點擊率,過分迎合用戶喜好,利用算法技術(shù)使用戶看到他們想看到的內(nèi)容。但這種類型的新聞其實質(zhì)是算法量化加工之后呈現(xiàn)給用戶的產(chǎn)品,人們潛在的、不可量化的價值理性被排除在外,使得一些公共性和有價值的內(nèi)容被隱去。在這一認(rèn)知圈套之下,人們自認(rèn)為是在消費社交軟件和新聞平臺的新聞,實則是算法基于人們行為心理學(xué)特征進行行為導(dǎo)向的設(shè)計。這些被生產(chǎn)出來的信息不僅違背新聞倫理,降低媒體公信力,還對社會價值導(dǎo)向造成嚴(yán)重傷害。

    (四)算法公正缺失

    社會公正既是國家治理能力與治理體系現(xiàn)代化在社會層面的具體體現(xiàn),也是國家頂層設(shè)計與社會治理實踐所遵循的價值依據(jù)。人工智能算法雖然有助于社會各個領(lǐng)域治理效率的提升,但算法決策使用的數(shù)據(jù),及其處理的方式、應(yīng)用的規(guī)則,都是由算法設(shè)計人員創(chuàng)建的,作為人類個體我們難以避免都有主觀隱含的偏見。當(dāng)設(shè)計人員的主體性偏差構(gòu)建到軟件中時,偏見便會進入算法中成為一種“無意的不公正”。當(dāng)這些帶有偏見性的算法被廣泛應(yīng)用時,則會產(chǎn)生歧視性或不公正被放大的后果。如銀行根據(jù)地域或性別而不是基于財務(wù)數(shù)據(jù)提供貸款,企業(yè)根據(jù)性別或年齡而非能力招聘錄用人員等。司法系統(tǒng)作為人類公平正義的法律防線,隨著算法在司法領(lǐng)域的應(yīng)用,算法偏見將會侵蝕維護社會公平正義的法律防線。當(dāng)前的司法實踐,人工智能的功能僅在于“輔助”而非“替代”司法人員的獨立判斷,算法對司法結(jié)果并不起直接的決定作用。但人工智能對司法過程的滲透在不斷深化,司法決策對人工智能的依賴日趨增強。由于司法系統(tǒng)運作的特點,具有偏見性的算法帶來的判例,可能會以參考、指引的方式嵌入到之后類似的司法程序中去,破壞個案司法決策的公正,并更加鞏固和強化了算法偏見,有學(xué)者認(rèn)為這將引發(fā)對相關(guān)類型案件司法公正的系統(tǒng)性威脅(19)雷震文:《算法偏見對“智慧司法”的影響及其防范》,《法制日報》2017年12月27日,第11版。。如,美國威斯康星州發(fā)生的一起案件,被告認(rèn)為該州法院將算法模型應(yīng)用到量刑環(huán)節(jié)中違反了正當(dāng)程序原則因而提起上訴,雖然州法院最后駁回了被告的訴訟請求,但也提醒法官需要警惕算法的應(yīng)用可能帶來的偏見(20)李本:《美國司法實踐中的人工智能:問題與挑戰(zhàn)》,《中國法律評論》2018年第2期。。因此,當(dāng)算法技術(shù)應(yīng)用到司法程序中,算法作出的決策是否有效,是否會對司法系統(tǒng)公正性造成不可逆的影響值得長期關(guān)注。

    (五)算法技術(shù)的壟斷

    現(xiàn)代社會治理中,信息資源是權(quán)威的代名詞,社會治理體系中的領(lǐng)導(dǎo)者為實現(xiàn)有效治理,必然通過信息攫取甚至壟斷來獲取更大權(quán)力和影響力。當(dāng)權(quán)威越來越多地通過算法表達時,對技術(shù)的壟斷控制成為數(shù)字資本市場的普遍特征。逐利性驅(qū)動下的資本將算法視為操縱社會的有力武器,它們也成為技術(shù)異化的始作俑者。算法作為人工智能技術(shù)的核心,它的強大之處在于能夠做出選擇,進行類分和優(yōu)先級排序。但人工智能技術(shù)需要海量的基礎(chǔ)數(shù)據(jù)去喂養(yǎng)算法系統(tǒng),進而創(chuàng)建人工智能場景應(yīng)用,而能夠擁有這樣規(guī)模的主體只有商業(yè)巨頭、政府部門以及超級科技型公司,它們具有數(shù)據(jù)抓取、壟斷的資源和需求,相應(yīng)的,社會力量或較小規(guī)模私人組織在數(shù)據(jù)化競爭場域里,權(quán)力被弱化,更不用說原子化的個人。與此同時,用于獲取競爭優(yōu)勢的算法工具又被作為核心商業(yè)機密對公眾加以隔離,這使得在關(guān)于算法透明度、合法性問題上存在著廣泛爭議。當(dāng)互聯(lián)網(wǎng)公司以免費服務(wù)之名獲取個人數(shù)據(jù),侵犯到個人隱私時;當(dāng)算法偏見導(dǎo)致不公正結(jié)果,影響社會公平正義時,技術(shù)壟斷不僅強化了以上風(fēng)險,而且將成為治理能力現(xiàn)代化進程中的阻礙。

    (六)責(zé)任主體模糊

    與西方異化理論學(xué)者指出的異化特征所不同的是,智能社會下技術(shù)應(yīng)用場景的拓展同人類有限認(rèn)知能力之間的張力,使得生產(chǎn)者、勞動產(chǎn)品、消費者三者的社會勞動關(guān)系日益模糊。雖然算法提供的產(chǎn)品和服務(wù)越來越全面,但當(dāng)新聞推送系統(tǒng)生成包含虛假或錯誤信息的新聞文章時,誰應(yīng)對錯誤的內(nèi)容負(fù)責(zé)?當(dāng)人們在信貸、就業(yè)甚至法律上遭到歧視時,誰應(yīng)對偏見性的決策負(fù)責(zé)?由于算法的不透明性和科技產(chǎn)品的非主體性,當(dāng)算法做出錯誤的決策甚至侵犯到人們的權(quán)利時,責(zé)任主體模糊使得監(jiān)管部門陷入審查難、問責(zé)難的困境。這種困境體現(xiàn)在兩個方面:一方面是算法自身的復(fù)雜性。由于算法具有自主決策、學(xué)習(xí)的能力,它的設(shè)計者難以預(yù)測最終的結(jié)果,也無法完全解讀它是如何得出現(xiàn)有結(jié)論的。因此,算法的復(fù)雜性使得相關(guān)部門難以進行合法性審查,這不可避免地產(chǎn)生責(zé)任主體缺失。另一方面是算法的隱蔽性。算法的輸出是“黑箱”過程,當(dāng)因算法缺陷導(dǎo)致決策失誤,或是算法決策的結(jié)果引起社會大眾的爭議時,行政人員傾向于將責(zé)任推卸給算法或算法開發(fā)公司。而算法通常屬于企業(yè)的“商業(yè)機密”,是受到法律保護的對象,導(dǎo)致司法機關(guān)難以對算法和算法開發(fā)公司進行審查,責(zé)任主體之間在算法技術(shù)的遮蔽下相互推諉。如在英國女性乳腺癌篩查漏檢丑聞中,關(guān)于算法錯誤究竟是怎么產(chǎn)生的,國家衛(wèi)生醫(yī)療系統(tǒng)(NHS)、公共衛(wèi)生局(PHE)以及負(fù)責(zé)軟件維護的日立咨詢公司三方互相踢皮球,然而最終結(jié)果很有可能是根據(jù)目前的法律體系無法產(chǎn)生定論(21)汝緒華:《算法政治:風(fēng)險、發(fā)生邏輯與治理》,《廈門大學(xué)學(xué)報》(哲學(xué)社會科學(xué)版)2018年第6期。。

    五、算法治理的進路

    對于異化馬克思雖然沒有直接提出解決方案,但他認(rèn)為這只是特定社會和歷史條件的特征。一定歷史發(fā)展階段下算法技術(shù)必然存在歷史性的缺陷,技術(shù)的問題應(yīng)回到技術(shù)層面解決。但不可否認(rèn)的是,治理困境中技術(shù)異化的實質(zhì)是人的異化。因此,應(yīng)從算法技術(shù)和人的價值層面出發(fā),充分發(fā)揮人的主觀能動性,預(yù)防化解社會治理可能遇到的挑戰(zhàn)和沖擊。

    (一)優(yōu)化算法設(shè)計,避免決策偏差

    加強對智能算法的治理,應(yīng)從技術(shù)本身入手,提高算法技術(shù)的合理性。首先,針對算法本身暴露出的缺陷,技術(shù)研發(fā)人員應(yīng)關(guān)注到現(xiàn)有因果推理技術(shù)對于優(yōu)化算法的重要性。現(xiàn)有成果如Alan Turing Institute的一組研究人員使用因果推理的工具開發(fā)了一套嚴(yán)格的模型,研究結(jié)果表明因果模型能夠有效捕獲社會偏差(22)Matt Kusner,Joshua Loftus,Chris Russell, and Ricardo Silva,“Counterfactual Fairness”,2018-03-08,https:arxiv.orgpdf1703.06856.pdf,2019-12-20.,該模型使算法能夠考慮到對個體產(chǎn)生的不同社會偏見,并有效地補償這些偏差。其次,提高算法推薦的多樣性?;诳啥ㄖ萍夹g(shù)造成的認(rèn)知窄化現(xiàn)象,設(shè)計人員應(yīng)根據(jù)用戶偏好增加算法推薦集的多樣性。盡管有學(xué)者質(zhì)疑,為了多元性而強調(diào)多樣性,可能會導(dǎo)致社會最緊迫的問題被不同的聲音淹沒(23)Duncan J,Reid J,“Toward a Measurement Tool for The Monitoring of Media Diversity and Pluralism in South Africa:A Public-centred Approach”,Communicatio,Vol.39,No.4,2013.。然而,從傳統(tǒng)民主政治的價值來判斷,多樣性能夠促進和激活公民在社會中發(fā)揮更積極的作用。最后,作為算法學(xué)習(xí)的基礎(chǔ),數(shù)據(jù)的代表性與分布的優(yōu)化十分重要。數(shù)據(jù)采樣基于盡可能全面的數(shù)據(jù)優(yōu)于篩選過的“好”的采樣數(shù)據(jù),“好”的采樣數(shù)據(jù)優(yōu)于不均勻分布、不具代表性數(shù)據(jù)的原則。研究人員應(yīng)謹(jǐn)慎使用采集到的數(shù)據(jù)樣本,提高數(shù)據(jù)的代表性。同時,數(shù)據(jù)本身可能有一個偏差的分布,因而對執(zhí)行人工智能訓(xùn)練的數(shù)據(jù)進行審核是降低算法不公正的重要方式,無論是采用人工介入或是開發(fā)相關(guān)技術(shù)的形式對算法進行審核,都能有效對抗算法偏差問題。

    (二)搭建治理合作平臺,促進跨領(lǐng)域交流

    算法源于社會場景并因在實踐中的應(yīng)用而不斷被優(yōu)化,作為智能社會發(fā)展的重要基石,其可持續(xù)發(fā)展,需要整合社會多方力量,以形成立體的協(xié)同合作體系來助力算法的演進。從算法的基礎(chǔ)認(rèn)知、實踐運用到反饋修正,涉及到關(guān)于算法的多學(xué)科理論和編碼的技術(shù)。因此,對于算法的研究需要跨領(lǐng)域的融合,打破知識的邊界,而不是僅留守于計算機學(xué)術(shù)研究領(lǐng)域。算法研究的學(xué)術(shù)社區(qū)有助于推進這一融合發(fā)展的進程,通過建立跨越包括數(shù)學(xué)、計算機、社會學(xué)和法律等學(xué)科領(lǐng)域的學(xué)術(shù)社群,從而基于復(fù)合型理論視角指導(dǎo)技術(shù)處理算法中的倫理、歧視、透明度和問責(zé)制等問題。這一治理結(jié)構(gòu)的建立需要政府統(tǒng)合各方資源,由政府、專家、企業(yè)和公眾組成跨領(lǐng)域的治理結(jié)構(gòu),這是實現(xiàn)算法監(jiān)督與避免算法風(fēng)險的有效途徑。為保障這一架構(gòu)的運行,政府部門可以通過組織化方式,創(chuàng)建研究算法相關(guān)的咨詢機構(gòu)或處理人工智能問題的專業(yè)組織。例如,紐約市議會通過了一項法案,成立了一個以審查紐約市各機構(gòu)對算法的使用及其涉及的政策問題的工作組,該工作組由研究算法透明度、公平性方面的專家和非營利組織的工作人員組成,他們將與最有可能受到有缺陷算法傷害的群體代表一起工作。同時這一組織也將通過一套目標(biāo)方案,以“解決何時公開以及算法公開方式及程度、如何評估算法中的偏見、算法偏見可能帶來的影響等問題的對策”(24)Rashida Richhardson and NewYork Civill Liberties Unionn,“New York City Takes on Algorithmic Discrimination”,2017-12-12,https:www.aclu.orgblogprivacy-technologysurveillance-technologiesnew-york-city-takes-algorithmic-discrimination,2019-12-20.。

    (三)制定相關(guān)法律法規(guī),建立合理的算法問責(zé)制

    面對算法導(dǎo)致的社會治理問題,應(yīng)在政府主導(dǎo)下建立與之對應(yīng)的法律法規(guī)體系與倫理道德框架。開展與人工智能應(yīng)用相關(guān)的法律責(zé)任認(rèn)定、隱私和產(chǎn)權(quán)保護、信息使用限制等法律問題研究,建立追責(zé)制度,明確人工智能設(shè)計者、使用者、推廣者的法律主體身份以及相關(guān)權(quán)利、義務(wù)等。2018年,歐盟AI聯(lián)盟在推進人工智能立法草案中強調(diào):人工智能應(yīng)考量人類能動性和監(jiān)督,穩(wěn)健性和安全性,隱私和數(shù)據(jù)監(jiān)管,透明性、多元化、非歧視性,公平、社會環(huán)境福祉以及問責(zé)制。雖然草案規(guī)定的內(nèi)容較為寬泛,且目前不具有約束力,但給我們提供了一個參照的范例。算法問責(zé)方面,一些歐美國家已有所行動。2019年4月,美國立法者提出了一項名為“算法問責(zé)”的法案。該法案要求“大公司審計其機器學(xué)習(xí)系統(tǒng)的偏見和歧視,并在發(fā)現(xiàn)問題時及時采取糾正措施。與此同時,還需審查涉及隱私和安全風(fēng)險的敏感數(shù)據(jù)的所有流程,包括個人身份識別,生物識別和遺傳信息”(25)Karen Hao,“Congress Wants to Protect You from Biased Algorithms,Deepfakes,and Other Bad AI”,2019-04-15,https:www.technologyreview.coms613310,2019-12-20.。英國、法國、澳大利亞和其他國家也都通過立法等形式,要求科技公司對其算法負(fù)責(zé)。算法問責(zé)制是指“算法開發(fā)人員有責(zé)任提供關(guān)于與算法相關(guān)的解釋說明,即算法可能或?qū)嶋H上已經(jīng)造成的損害,以及算法的責(zé)任分配和危害發(fā)生后的補救機制”(26)Diakopoulos N,“Accountability in Algorithmic Decision Making”,Communications of The ACM,Vol.59,No.2,2016.。結(jié)合我國的實際情況,更具可行性的算法問責(zé)制應(yīng)具備以下幾點:首先,堅持政府主導(dǎo)與行業(yè)驅(qū)動相結(jié)合的原則。人工智能領(lǐng)域的正向發(fā)展不應(yīng)該依賴政府來發(fā)揮這一作用,過多的政府干預(yù)會給企業(yè)帶來阻力并減緩創(chuàng)新,但缺乏外界的限制則會導(dǎo)致企業(yè)在難以舍棄的利益目標(biāo)驅(qū)使下罔顧技術(shù)開發(fā)的邊界。政府建立總體管理框架,應(yīng)用算法的巨頭公司應(yīng)遵循框架要求,自主性地擬定公司準(zhǔn)則,如提升透明度上,允許用戶、公眾或公職人員了解關(guān)于算法“正在發(fā)生的事情”。其次,嚴(yán)格處理惡意掩蓋透明度行為,政府應(yīng)強制執(zhí)行問責(zé)制,明確定義責(zé)任機制和透明化的流程。大數(shù)據(jù)公司、科技型企業(yè)應(yīng)積極地將責(zé)任嵌入其算法系統(tǒng)中,明確行動的責(zé)任邊界。最后,充分考慮透明度的局限性。政府部門、相關(guān)企業(yè)和社會大眾應(yīng)意識到透明化并不是解決算法黑箱的萬靈丹,問責(zé)只能治標(biāo),要治本還需在技術(shù)倫理層面上找到源動力。

    (四)建立人工智能行業(yè)規(guī)范,發(fā)揮價值理性的作用

    在這個由算法技術(shù)構(gòu)成的智能社會中,想要擺脫個體對技術(shù)的過度依賴,人們應(yīng)自覺發(fā)揮價值理性的導(dǎo)向作用,遵循社會共同的道德規(guī)范。一方面,應(yīng)加強行業(yè)從業(yè)人員的道德自律,建立相關(guān)行業(yè)規(guī)范。政府可以通過定義道德準(zhǔn)則和監(jiān)督審查使行業(yè)規(guī)范制度化,建立處理人工智能道德倫理問題的道德委員會,以倡導(dǎo)社會正義和公平為宗旨,以人工智能的道德規(guī)范以及對公民權(quán)利、隱私和安全的保護為目標(biāo)。2017年,美國電氣和電子工程師協(xié)會(IEEE)作出了這樣的嘗試,他們發(fā)出全球倡議,以“在自主和智能系統(tǒng)的設(shè)計和開發(fā)中優(yōu)先考慮倫理問題,鼓勵建立標(biāo)準(zhǔn)和相關(guān)認(rèn)證程序,促進與這些原則相符合的國家和全球政策的出現(xiàn)為目標(biāo),并就如何應(yīng)對人工智能的道德挑戰(zhàn)提出了具體的要求建議”(27)IEEE Global Initiative,“Ethically Aligned Design:A Vision for Prioritizing Human Well-being with Autonomous and Intelligent Systems(Version 2)”,2017-12-11,https:standards.ieee.orgcontentdamieee-standardsstandardswebdocu-mentsotheread_v2.pdf,2019-12-20.。另一方面,應(yīng)同我國具體實際相結(jié)合,充分發(fā)揮價值理性的引導(dǎo)作用。不管是個人層面表現(xiàn)出的偏見、歧視,還是時代背景下體現(xiàn)的種種社會矛盾和不公正等問題,社會主義核心價值觀作為一種精神力量,都可以發(fā)揮出道德教化和正向的引導(dǎo)作用。在制定人工智能行業(yè)道德規(guī)范時,應(yīng)將社會主義核心價值觀融入制度的框架中,實現(xiàn)行業(yè)規(guī)范與價值導(dǎo)向的有機統(tǒng)一,從而達到約束和引導(dǎo)行業(yè)從業(yè)人員行為的目的。

    (五)提高主體認(rèn)知水平,增強抗風(fēng)險能力

    人工智能技術(shù)的飛躍性與人類社會法治系統(tǒng)迭代的滯后性并存,任何政府都難以完全與時代的發(fā)展同步趕制出調(diào)整其發(fā)展帶來可能后果的法規(guī)。面對日益強大的算法、人工智能等技術(shù),應(yīng)意識到人在實踐活動中的主體性。從社會層面來看,提高公眾應(yīng)對人工智能的相關(guān)認(rèn)知水平,不僅能在社會中建立對人工智能的廣泛理解和接受,還能提高人們的風(fēng)險意識,理性對待智能社會可能面臨的問題,以增強抗風(fēng)險的能力。通過開展更廣泛的人工智能專題科普活動,增加相關(guān)專業(yè)領(lǐng)域書籍的翻譯與出版,以及強化媒體平臺參與宣傳等,提升公民辨別虛假信息以及理性批判思維的能力,全面提升公眾的智能時代生活素養(yǎng),更好地享受智能社會帶來的便捷與福利。從國家層面來說,政府應(yīng)加大人工智能領(lǐng)域人才隊伍的建設(shè),提高整個社會乃至國家的抗風(fēng)險能力。以政府為主導(dǎo),聯(lián)合學(xué)校、科研院所、企業(yè)等主體進行人工智能的產(chǎn)學(xué)研合作,通過職業(yè)教育、產(chǎn)業(yè)扶持以及社會保障等途徑,培育一批人工智能領(lǐng)域的尖端人才,打造科技創(chuàng)新更高平臺,吸納國內(nèi)外智能科技精英,營造人工智能發(fā)展的良好人才環(huán)境。

    當(dāng)我們朝著未來向前邁進時,技術(shù)發(fā)展帶來的社會變革使我們處于一個十字路口,正如霍金先生所憂思的,“成功創(chuàng)造人工智能將是人類歷史最大事件,若不懂如何避開風(fēng)險,這也將是最后的大事”(28)王世梅:《智慧與智慧場》,西安:西北大學(xué)出版社,2016年,第78頁。。面對技術(shù)進步帶來的治理困境和挑戰(zhàn),我們必須正確理解和對待算法技術(shù),充分發(fā)揮人的主觀能動性,謹(jǐn)慎對待智能科技,塑造向善的技術(shù)倫理觀,構(gòu)建以人為本、合乎道德的智能時代治理圖景。

    猜你喜歡
    異化人工智能算法
    農(nóng)村聘禮的異化與治理——基于微治理的視角
    商品交換中的所有權(quán)正義及其異化
    基于MapReduce的改進Eclat算法
    Travellng thg World Full—time for Rree
    異化圖像的人文回歸
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    進位加法的兩種算法
    人工智能與就業(yè)
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    當(dāng)前大眾文化審丑異化的批判性解讀
    国产亚洲av嫩草精品影院| kizo精华| 欧美最新免费一区二区三区| 日韩中字成人| 国产黄a三级三级三级人| 国产精品女同一区二区软件| 国产黄色小视频在线观看| 成人欧美大片| 看片在线看免费视频| 人妻制服诱惑在线中文字幕| 99视频精品全部免费 在线| 精品国产露脸久久av麻豆 | 国产欧美另类精品又又久久亚洲欧美| 午夜福利网站1000一区二区三区| 亚洲国产精品合色在线| 在线观看66精品国产| 久久精品国产99精品国产亚洲性色| 亚洲精品影视一区二区三区av| 成人午夜高清在线视频| 美女内射精品一级片tv| 日韩亚洲欧美综合| 亚洲最大成人手机在线| 日韩 亚洲 欧美在线| 久久国内精品自在自线图片| 18禁裸乳无遮挡免费网站照片| 最近的中文字幕免费完整| 国产精品电影一区二区三区| 国产精品一区二区三区四区免费观看| 国产激情偷乱视频一区二区| 69人妻影院| 精品午夜福利在线看| 亚洲国产欧洲综合997久久,| av播播在线观看一区| 精品国产露脸久久av麻豆 | 国产亚洲5aaaaa淫片| 精品酒店卫生间| 中文字幕人妻熟人妻熟丝袜美| 免费大片18禁| 日本猛色少妇xxxxx猛交久久| 国产精品人妻久久久影院| 91av网一区二区| www日本黄色视频网| 纵有疾风起免费观看全集完整版 | 在线观看美女被高潮喷水网站| 亚洲av成人av| 亚洲内射少妇av| 青青草视频在线视频观看| 国产黄片视频在线免费观看| 六月丁香七月| 国产人妻一区二区三区在| 国产69精品久久久久777片| 精品99又大又爽又粗少妇毛片| 99热全是精品| 亚洲自偷自拍三级| 午夜爱爱视频在线播放| 人人妻人人看人人澡| 亚洲电影在线观看av| 亚洲精品日韩在线中文字幕| 寂寞人妻少妇视频99o| 99久国产av精品| 桃色一区二区三区在线观看| 免费看av在线观看网站| 亚洲久久久久久中文字幕| 欧美97在线视频| 国产精品99久久久久久久久| 亚洲色图av天堂| 国内精品美女久久久久久| 精华霜和精华液先用哪个| 美女国产视频在线观看| a级毛片免费高清观看在线播放| 中文精品一卡2卡3卡4更新| 青青草视频在线视频观看| 麻豆乱淫一区二区| 成人高潮视频无遮挡免费网站| 国产三级中文精品| 我要看日韩黄色一级片| 又爽又黄无遮挡网站| 日本熟妇午夜| 日韩中字成人| 一本一本综合久久| 99热精品在线国产| 欧美日本亚洲视频在线播放| 成人午夜高清在线视频| 亚洲在线自拍视频| 久久热精品热| 一级二级三级毛片免费看| 国产亚洲一区二区精品| 久久久久久久久久成人| 国产成人91sexporn| 日韩欧美精品免费久久| 国产日韩欧美在线精品| 国产爱豆传媒在线观看| 一个人免费在线观看电影| 极品教师在线视频| 三级男女做爰猛烈吃奶摸视频| 成人国产麻豆网| 美女内射精品一级片tv| 久久人妻av系列| 永久网站在线| 美女xxoo啪啪120秒动态图| 免费看av在线观看网站| 人体艺术视频欧美日本| 亚洲精品乱久久久久久| 99久国产av精品国产电影| 日韩视频在线欧美| 男女啪啪激烈高潮av片| 国产亚洲最大av| 午夜激情欧美在线| 麻豆成人av视频| www日本黄色视频网| 69人妻影院| 亚洲精品一区蜜桃| 熟女电影av网| 亚洲熟妇中文字幕五十中出| 99久国产av精品国产电影| 国产精品野战在线观看| 日本五十路高清| 一夜夜www| 国产精品永久免费网站| 欧美日韩一区二区视频在线观看视频在线 | 免费看美女性在线毛片视频| 久久99热6这里只有精品| 精品少妇黑人巨大在线播放 | 午夜久久久久精精品| 插逼视频在线观看| 美女国产视频在线观看| 国产男人的电影天堂91| 天堂av国产一区二区熟女人妻| 国产精品电影一区二区三区| 欧美最新免费一区二区三区| 亚洲精品久久久久久婷婷小说 | 国产爱豆传媒在线观看| 日韩,欧美,国产一区二区三区 | 国产精品三级大全| 国产成人a∨麻豆精品| 亚洲成人久久爱视频| 亚洲精品456在线播放app| 国产 一区 欧美 日韩| 亚洲国产日韩欧美精品在线观看| 搞女人的毛片| 免费观看在线日韩| 只有这里有精品99| 久久久久久久久久黄片| 午夜亚洲福利在线播放| 精品一区二区三区视频在线| 亚洲美女搞黄在线观看| 国产激情偷乱视频一区二区| av天堂中文字幕网| 国产真实伦视频高清在线观看| 亚洲精品日韩av片在线观看| 精品久久久久久久久av| 男人和女人高潮做爰伦理| 亚洲av不卡在线观看| 一个人看的www免费观看视频| 男女下面进入的视频免费午夜| 狠狠狠狠99中文字幕| 直男gayav资源| 亚洲色图av天堂| 久久久久精品久久久久真实原创| 菩萨蛮人人尽说江南好唐韦庄 | 色5月婷婷丁香| 啦啦啦韩国在线观看视频| 精品少妇黑人巨大在线播放 | 18禁裸乳无遮挡免费网站照片| 1024手机看黄色片| 内地一区二区视频在线| 老师上课跳d突然被开到最大视频| 国产色爽女视频免费观看| 麻豆成人av视频| 亚洲国产高清在线一区二区三| 亚洲真实伦在线观看| 国产欧美另类精品又又久久亚洲欧美| 久久久精品欧美日韩精品| 丰满少妇做爰视频| 极品教师在线视频| 一个人看视频在线观看www免费| 国产精品一区二区在线观看99 | 国产av在哪里看| 免费大片18禁| 欧美丝袜亚洲另类| 亚洲精品456在线播放app| 最近视频中文字幕2019在线8| 日韩精品有码人妻一区| 99在线人妻在线中文字幕| 丝袜美腿在线中文| 女人被狂操c到高潮| 人人妻人人看人人澡| 国产爱豆传媒在线观看| 亚州av有码| 好男人视频免费观看在线| 国产精品久久久久久久久免| 久久久久免费精品人妻一区二区| 欧美三级亚洲精品| av国产免费在线观看| 听说在线观看完整版免费高清| 男人的好看免费观看在线视频| 久久精品国产99精品国产亚洲性色| 赤兔流量卡办理| www日本黄色视频网| 午夜精品在线福利| 久久精品国产亚洲av涩爱| 亚洲av免费在线观看| 国产乱来视频区| h日本视频在线播放| 亚洲国产欧美人成| 中文字幕制服av| 亚洲中文字幕一区二区三区有码在线看| 国产亚洲午夜精品一区二区久久 | 免费大片18禁| 老女人水多毛片| 亚洲精品日韩在线中文字幕| 亚洲高清免费不卡视频| 亚洲人成网站在线观看播放| 欧美bdsm另类| 国产片特级美女逼逼视频| 两性午夜刺激爽爽歪歪视频在线观看| 国产精品无大码| 亚洲aⅴ乱码一区二区在线播放| 国产精品伦人一区二区| 日韩,欧美,国产一区二区三区 | 国产亚洲午夜精品一区二区久久 | 久久久成人免费电影| 最近视频中文字幕2019在线8| 久久精品国产99精品国产亚洲性色| 看免费成人av毛片| 国产精品久久久久久精品电影| 99久久精品国产国产毛片| 麻豆成人av视频| 五月玫瑰六月丁香| 欧美成人精品欧美一级黄| 两个人的视频大全免费| 欧美激情在线99| 国产激情偷乱视频一区二区| 久久这里只有精品中国| 午夜激情欧美在线| 亚洲经典国产精华液单| a级毛片免费高清观看在线播放| 中文字幕制服av| 天天躁夜夜躁狠狠久久av| 亚洲不卡免费看| 成人毛片60女人毛片免费| 观看美女的网站| 夜夜爽夜夜爽视频| 五月伊人婷婷丁香| 99在线视频只有这里精品首页| 高清视频免费观看一区二区 | 久久99热这里只频精品6学生 | 日韩精品有码人妻一区| av女优亚洲男人天堂| 大香蕉久久网| 少妇的逼好多水| 成年av动漫网址| 久久欧美精品欧美久久欧美| 一区二区三区免费毛片| 欧美+日韩+精品| 国产一区亚洲一区在线观看| 99久国产av精品| 日韩一本色道免费dvd| 亚洲va在线va天堂va国产| 国产伦一二天堂av在线观看| 亚洲内射少妇av| 高清在线视频一区二区三区 | 久久久久九九精品影院| av在线亚洲专区| 国产精品人妻久久久影院| 蜜桃亚洲精品一区二区三区| 久久久久久九九精品二区国产| 亚洲国产欧洲综合997久久,| 高清毛片免费看| 蜜臀久久99精品久久宅男| 亚洲最大成人手机在线| 三级经典国产精品| 激情 狠狠 欧美| 国产成人精品一,二区| 少妇丰满av| 非洲黑人性xxxx精品又粗又长| 久久久久国产网址| 噜噜噜噜噜久久久久久91| 国产免费又黄又爽又色| 久久精品夜夜夜夜夜久久蜜豆| 久99久视频精品免费| 亚洲成色77777| 我要搜黄色片| a级一级毛片免费在线观看| 久久久久久久久大av| 晚上一个人看的免费电影| 午夜日本视频在线| 一边摸一边抽搐一进一小说| 国内精品一区二区在线观看| 成人漫画全彩无遮挡| 夜夜爽夜夜爽视频| 99热网站在线观看| 欧美极品一区二区三区四区| 神马国产精品三级电影在线观看| 97热精品久久久久久| 九草在线视频观看| 一级二级三级毛片免费看| 可以在线观看毛片的网站| 久久久久久伊人网av| 欧美另类亚洲清纯唯美| 蜜臀久久99精品久久宅男| 简卡轻食公司| 夜夜看夜夜爽夜夜摸| 男女视频在线观看网站免费| 91狼人影院| 欧美性猛交黑人性爽| 国产精品麻豆人妻色哟哟久久 | 国产黄片视频在线免费观看| 在线播放无遮挡| 国产国拍精品亚洲av在线观看| 国产成人aa在线观看| 不卡视频在线观看欧美| 真实男女啪啪啪动态图| 午夜视频国产福利| 1000部很黄的大片| 亚洲熟妇中文字幕五十中出| 国产麻豆成人av免费视频| 国产精品99久久久久久久久| 日本wwww免费看| 亚洲国产色片| 不卡视频在线观看欧美| 精品一区二区免费观看| 国产精品嫩草影院av在线观看| 乱码一卡2卡4卡精品| 天天躁夜夜躁狠狠久久av| av在线播放精品| 又黄又爽又刺激的免费视频.| 永久免费av网站大全| 免费观看人在逋| 欧美一级a爱片免费观看看| 91aial.com中文字幕在线观看| 国产免费视频播放在线视频 | 最近最新中文字幕大全电影3| 中文欧美无线码| 少妇人妻精品综合一区二区| 欧美一区二区精品小视频在线| 99久久无色码亚洲精品果冻| 中文资源天堂在线| 成年女人永久免费观看视频| 欧美一级a爱片免费观看看| 最近最新中文字幕免费大全7| 嘟嘟电影网在线观看| 久久99精品国语久久久| 99热全是精品| 男人舔奶头视频| 久久久国产成人免费| 寂寞人妻少妇视频99o| 免费观看的影片在线观看| 国产熟女欧美一区二区| 亚洲高清免费不卡视频| 国语自产精品视频在线第100页| 国产精品精品国产色婷婷| 秋霞伦理黄片| 亚洲内射少妇av| 啦啦啦观看免费观看视频高清| 亚洲伊人久久精品综合 | 日韩欧美 国产精品| 久久久久九九精品影院| 亚洲av二区三区四区| 国产免费视频播放在线视频 | 熟女电影av网| 亚洲高清免费不卡视频| 黄色日韩在线| 精品久久久久久久末码| 国内精品一区二区在线观看| 亚洲欧美日韩卡通动漫| 亚洲国产精品合色在线| 国产黄片视频在线免费观看| 国产探花极品一区二区| 九色成人免费人妻av| 黄色欧美视频在线观看| 久久人人爽人人爽人人片va| 国产成人a区在线观看| 精品久久久久久久久亚洲| 久久久色成人| 国产精品野战在线观看| 国产淫语在线视频| 两个人的视频大全免费| 91在线精品国自产拍蜜月| 成人午夜精彩视频在线观看| 精品一区二区免费观看| 欧美xxxx性猛交bbbb| 国产毛片a区久久久久| 国产黄a三级三级三级人| 女的被弄到高潮叫床怎么办| 亚洲中文字幕一区二区三区有码在线看| 美女黄网站色视频| 欧美xxxx黑人xx丫x性爽| 尾随美女入室| 国产男人的电影天堂91| 蜜桃久久精品国产亚洲av| 亚洲激情五月婷婷啪啪| 美女内射精品一级片tv| 日韩成人伦理影院| 中文精品一卡2卡3卡4更新| 亚洲欧美精品综合久久99| 亚洲精品aⅴ在线观看| 亚洲色图av天堂| 精品一区二区免费观看| 女的被弄到高潮叫床怎么办| 日韩精品有码人妻一区| 国产av一区在线观看免费| 亚洲国产精品专区欧美| 国产精品永久免费网站| 色吧在线观看| 国产av一区在线观看免费| 亚洲一级一片aⅴ在线观看| 男女那种视频在线观看| 国产成年人精品一区二区| 免费观看精品视频网站| 色综合站精品国产| 亚洲无线观看免费| 日日干狠狠操夜夜爽| h日本视频在线播放| 日韩高清综合在线| 身体一侧抽搐| 乱系列少妇在线播放| 2022亚洲国产成人精品| 国产一级毛片在线| 男女下面进入的视频免费午夜| 免费看日本二区| 五月伊人婷婷丁香| 色尼玛亚洲综合影院| 在线免费观看的www视频| 一级爰片在线观看| 国国产精品蜜臀av免费| 免费av观看视频| 青青草视频在线视频观看| 国产伦一二天堂av在线观看| 一级毛片电影观看 | 波多野结衣巨乳人妻| 男女边吃奶边做爰视频| 日日摸夜夜添夜夜添av毛片| 69人妻影院| 黄色日韩在线| 97热精品久久久久久| 不卡视频在线观看欧美| 久久6这里有精品| 人人妻人人澡人人爽人人夜夜 | 在线免费十八禁| 国产乱人视频| 成人二区视频| 亚洲欧美成人综合另类久久久 | 亚洲欧洲日产国产| 久久久久免费精品人妻一区二区| 青青草视频在线视频观看| 免费不卡的大黄色大毛片视频在线观看 | 蜜桃久久精品国产亚洲av| 国产成人免费观看mmmm| 看片在线看免费视频| 国产精品精品国产色婷婷| 九草在线视频观看| 2021少妇久久久久久久久久久| 人妻夜夜爽99麻豆av| 韩国av在线不卡| 精品久久久久久久久亚洲| 中文字幕人妻熟人妻熟丝袜美| 精品一区二区免费观看| 久久这里有精品视频免费| 听说在线观看完整版免费高清| 18+在线观看网站| av在线播放精品| 精品国产露脸久久av麻豆 | 非洲黑人性xxxx精品又粗又长| 国产精品国产三级专区第一集| 久久99热6这里只有精品| 男人舔女人下体高潮全视频| 99热这里只有是精品50| or卡值多少钱| 99久久九九国产精品国产免费| or卡值多少钱| 国产淫语在线视频| 直男gayav资源| 亚洲自拍偷在线| 日本欧美国产在线视频| 不卡视频在线观看欧美| 成人漫画全彩无遮挡| 国产成人午夜福利电影在线观看| 免费播放大片免费观看视频在线观看 | 日本爱情动作片www.在线观看| 秋霞伦理黄片| 变态另类丝袜制服| 老女人水多毛片| 七月丁香在线播放| 精品久久久久久久久久久久久| 黄片无遮挡物在线观看| 国产精品一二三区在线看| 午夜福利在线在线| 国产麻豆成人av免费视频| 午夜福利高清视频| 午夜爱爱视频在线播放| 男的添女的下面高潮视频| 午夜精品在线福利| 国产免费福利视频在线观看| 午夜精品在线福利| 91aial.com中文字幕在线观看| 欧美极品一区二区三区四区| 久久人人爽人人爽人人片va| 日本熟妇午夜| 国产精品熟女久久久久浪| 婷婷色麻豆天堂久久 | 亚洲美女视频黄频| 秋霞伦理黄片| 亚洲国产精品成人综合色| 欧美日韩一区二区视频在线观看视频在线 | 亚洲精品久久久久久婷婷小说 | 日产精品乱码卡一卡2卡三| 亚洲美女搞黄在线观看| 久久久久久国产a免费观看| av在线亚洲专区| 午夜老司机福利剧场| 波多野结衣高清无吗| 中文字幕免费在线视频6| 亚州av有码| 久久久久免费精品人妻一区二区| 少妇猛男粗大的猛烈进出视频 | 岛国毛片在线播放| 欧美色视频一区免费| 精品人妻视频免费看| 国产高清三级在线| 综合色丁香网| 久久精品91蜜桃| 欧美丝袜亚洲另类| 久久久久久伊人网av| 久久久久久久久中文| 六月丁香七月| 欧美又色又爽又黄视频| 精品人妻一区二区三区麻豆| 听说在线观看完整版免费高清| 白带黄色成豆腐渣| 成人av在线播放网站| 看非洲黑人一级黄片| 青春草视频在线免费观看| 最近中文字幕高清免费大全6| 插逼视频在线观看| 成年免费大片在线观看| 亚洲一级一片aⅴ在线观看| 91狼人影院| 国产精华一区二区三区| 91av网一区二区| 成人综合一区亚洲| 两个人视频免费观看高清| 人妻夜夜爽99麻豆av| 亚洲av不卡在线观看| 国产成人福利小说| h日本视频在线播放| 免费黄色在线免费观看| 日日撸夜夜添| 高清视频免费观看一区二区 | 日韩av在线大香蕉| 成人无遮挡网站| 黄色一级大片看看| 久久6这里有精品| 亚洲国产精品合色在线| av卡一久久| 人体艺术视频欧美日本| 日本欧美国产在线视频| 国产精品综合久久久久久久免费| 最近手机中文字幕大全| 国产免费一级a男人的天堂| 少妇人妻精品综合一区二区| 自拍偷自拍亚洲精品老妇| 中文字幕亚洲精品专区| 菩萨蛮人人尽说江南好唐韦庄 | 97超碰精品成人国产| 乱人视频在线观看| 色5月婷婷丁香| 色播亚洲综合网| 亚洲成色77777| 99久国产av精品国产电影| 精品人妻偷拍中文字幕| 99热全是精品| 精品久久久久久久久亚洲| 尤物成人国产欧美一区二区三区| 亚洲国产精品专区欧美| 中文在线观看免费www的网站| 在线观看一区二区三区| 中文在线观看免费www的网站| 女人十人毛片免费观看3o分钟| 国产成人一区二区在线| 亚洲aⅴ乱码一区二区在线播放| 看免费成人av毛片| 一级毛片我不卡| 纵有疾风起免费观看全集完整版 | 天堂影院成人在线观看| 我要搜黄色片| 欧美一区二区精品小视频在线| 欧美另类亚洲清纯唯美| АⅤ资源中文在线天堂| 亚洲经典国产精华液单| 日本黄色片子视频| 国产国拍精品亚洲av在线观看| 欧美激情久久久久久爽电影| 亚洲成人久久爱视频| 我的女老师完整版在线观看| 亚洲欧美日韩东京热| 最近的中文字幕免费完整| 在线免费观看的www视频| 黄色配什么色好看| 一级黄片播放器| 中文精品一卡2卡3卡4更新| 一个人看的www免费观看视频| 热99re8久久精品国产| 免费不卡的大黄色大毛片视频在线观看 | 日韩,欧美,国产一区二区三区 | 日本色播在线视频| 看片在线看免费视频| 久久久久九九精品影院| 黄片wwwwww| 久久久久久久久中文| 日本欧美国产在线视频| 亚洲美女视频黄频| 特级一级黄色大片| 最近2019中文字幕mv第一页| 97超视频在线观看视频|