• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    從權(quán)力到權(quán)利:算法治理的路徑

    2022-11-08 15:30:50范玉吉李宇昕
    關(guān)鍵詞:主體

    范玉吉, 李宇昕

    (華東政法大學(xué) 傳播學(xué)院,上海 201620)

    一、引言

    隨著人工智能技術(shù)在現(xiàn)代社會(huì)的運(yùn)用和普及,每個(gè)公民都仿佛成為了“透明人”,被算法所監(jiān)視和操控。算法決定了每個(gè)公民在互聯(lián)網(wǎng)中的“個(gè)人形象”,決定了每個(gè)人可以接收到的信息,潛移默化地操控著每一個(gè)公民?;ヂ?lián)網(wǎng)時(shí)代,威廉·米歇爾說代碼是網(wǎng)絡(luò)空間的“法律”,而如今進(jìn)入了人工智能時(shí)代,算法就是大數(shù)據(jù)的法律和規(guī)則,它決定了數(shù)據(jù)的分析和使用結(jié)果,并形成用戶畫像。但公民卻對(duì)個(gè)人數(shù)據(jù)的被使用情況和自身的算法畫像知之甚少,缺乏尋求救濟(jì)的路徑。胡凌早在2017年就指出:“即使人們跨越了‘?dāng)?shù)字鴻溝’,但仍然會(huì)被‘?dāng)?shù)據(jù)鴻溝’(DATADIVIDE)所歧視:算法會(huì)精確地根據(jù)各類信息識(shí)別社會(huì)主體的各類身份,將他們困在各自數(shù)據(jù)產(chǎn)生的無形繭房中,這不僅可能會(huì)剝奪人們接受教育、就業(yè)、貸款的公平機(jī)會(huì),還可能給公共生活造成難以彌合的分裂?!倍惴ū澈蟮钠脚_(tái)以算法技術(shù)中立為借口,將算法作為工具,肆意剝奪算法相對(duì)人的權(quán)利,如選擇權(quán)、言論自由權(quán)等。以算法為依托的平臺(tái)逐漸形成了可單方面支配的權(quán)力,由于公權(quán)力的賦權(quán)、算法技術(shù)的專業(yè)性和復(fù)雜性,以及當(dāng)前算法治理手段的滯后性,導(dǎo)致算法權(quán)力無限地膨脹,形成“算法霸權(quán)”。算法從一個(gè)工具逐漸變成了具有主體性的“掌控者”,用戶的權(quán)利和義務(wù)、社會(huì)資源的調(diào)配和機(jī)制的運(yùn)行更多服從于算法而非國家法律,于是算法和算法所掌控的生產(chǎn)性資源成為一個(gè)閉環(huán)的黑箱。然而,當(dāng)前我國尚未出臺(tái)算法相關(guān)的法律,許多學(xué)者針對(duì)算法治理的困境提出了算法治理路徑,但均存在一定弊端,未從算法的本質(zhì)出發(fā)去解決問題,故本文將基于算法治理的現(xiàn)狀和治理困境,提出“從權(quán)力到權(quán)利”的算法治理路徑,借助“權(quán)利束”這一理論對(duì)算法權(quán)利進(jìn)行構(gòu)建。

    二、算法治理的現(xiàn)狀和局限性

    隨著社會(huì)經(jīng)濟(jì)的發(fā)展及技術(shù)的進(jìn)步,基于大數(shù)據(jù)和人工智能的算法服務(wù)正逐漸社會(huì)化、生活化。算法是用計(jì)算機(jī)執(zhí)行計(jì)算或解決問題的一系列指令,是計(jì)算機(jī)執(zhí)行命令的基礎(chǔ)。從本質(zhì)上看,算法是計(jì)算機(jī)在處理信息時(shí)使用的一套“決策支持系統(tǒng)”(Decision Support Systems,DSS),它通過一套復(fù)雜算法模型來統(tǒng)計(jì)和分析海量的網(wǎng)絡(luò)數(shù)據(jù),進(jìn)而獲得算法控制者所希望得到的結(jié)果。人工智能是一種算法革命,它如今已被廣泛應(yīng)用于社會(huì)生活中的各個(gè)領(lǐng)域代替人們做出決策。在大數(shù)據(jù)和算法的控制下,人們成了類似于庫普曼所說的那種生存于統(tǒng)計(jì)學(xué)意義上的數(shù)字,人們的出行軌跡、網(wǎng)頁瀏覽記錄、消費(fèi)信息等行為都逐漸被量化,被數(shù)字化,仿佛置身于全景監(jiān)獄中,一舉一動(dòng)都處于被監(jiān)視之中,算法逐漸由一項(xiàng)技術(shù)變成一種操縱社會(huì)和政治輿論的手段和工具,被算法控制者所利用。智能算法超越了以計(jì)算機(jī)程序?yàn)橹鞯男畔⑻幚硇问剑源髷?shù)據(jù)和機(jī)器深度學(xué)習(xí)為基礎(chǔ),具備越來越強(qiáng)的自主學(xué)習(xí)與決策功能。隨著算法技術(shù)的發(fā)展,其逐漸反過來成為支配、控制、奴役社會(huì)的力量。算法權(quán)力不斷膨脹并出現(xiàn)了異化風(fēng)險(xiǎn),各國都開始重視智能算法中出現(xiàn)的問題,并出臺(tái)相應(yīng)的政策以應(yīng)對(duì)技術(shù)異化和算法權(quán)力的失控。

    (一)算法治理的現(xiàn)狀

    當(dāng)前,世界各國針對(duì)算法技術(shù)出現(xiàn)的問題紛紛采取了一系列措施。以歐盟為代表的立法者在數(shù)據(jù)治理框架下通過賦予數(shù)據(jù)主體新型算法權(quán)利的方式對(duì)算法決策者施加影響和控制。比如,歐盟《通用數(shù)據(jù)保護(hù)條例》(GDPR)中提到“算法解釋權(quán)”,當(dāng)算法相對(duì)人權(quán)益受到嚴(yán)重?fù)p害時(shí)可請(qǐng)求算法設(shè)計(jì)者進(jìn)行解釋。同時(shí),GDPR中還設(shè)計(jì)了算法審計(jì)制度(AlgorithmAuditing),即對(duì)算法的技術(shù)和使用進(jìn)行審查,以保證算法的合規(guī)性和可復(fù)審性。此外,歐盟于2020年發(fā)布《人工智能白皮書》,明確AI的發(fā)展必須以人的價(jià)值觀和人權(quán)(如人的尊嚴(yán)和隱私保護(hù))為基礎(chǔ)。而以美國為代表的立法者則更加注重外部問責(zé),其率先在公共領(lǐng)域通過組建專門機(jī)構(gòu)和人員構(gòu)成問責(zé)主體的方式建立算法問責(zé)制,對(duì)算法進(jìn)行核查和評(píng)估,以加強(qiáng)算法的透明性,并頒布了《人工智能應(yīng)用監(jiān)管指南》以重構(gòu)公眾對(duì)人工智能的信任。

    相較于歐美國家,我國算法技術(shù)發(fā)展較晚,國家近兩年才開始對(duì)算法采取一定的治理措施,主要以法律手段為主,通過國家公權(quán)力對(duì)算法的編寫設(shè)計(jì)和應(yīng)用進(jìn)行限制和調(diào)整,同時(shí),加強(qiáng)算法控制者的法律責(zé)任和義務(wù),以達(dá)成規(guī)制算法的目的。在《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》頒布前,我國對(duì)于算法的規(guī)定主要集中在《電子商務(wù)法》和《廣告法》,對(duì)大數(shù)據(jù)殺熟、精準(zhǔn)推送廣告等侵犯公民合法權(quán)益的行為進(jìn)行規(guī)制。另外,我國最新出臺(tái)實(shí)施的《中華人民共和國個(gè)人信息保護(hù)法》第24條也對(duì)“算法”基于個(gè)人信息的自動(dòng)化決策方式作出了規(guī)定,即算法自動(dòng)化決策應(yīng)公平公正,不得歧視和數(shù)據(jù)殺熟,當(dāng)個(gè)人認(rèn)為自動(dòng)化決策對(duì)其權(quán)益造成重大影響的,可要求個(gè)人信息處理者予以說明,并有權(quán)拒絕;個(gè)人還有權(quán)拒絕個(gè)性化的信息推送和商業(yè)營銷,個(gè)人信息處理者不得以此作為使用服務(wù)的條件。這一條款間接增加了算法平臺(tái)對(duì)重要事項(xiàng)的說明義務(wù),國家試圖通過加強(qiáng)算法平臺(tái)的義務(wù)和責(zé)任來限制算法權(quán)力的膨脹。此外,我國還通過對(duì)個(gè)人信息采集、使用等方面的規(guī)定來間接限制算法的使用。然而,通過訴諸數(shù)據(jù)主體控制權(quán)和選擇權(quán)的算法治理路徑可能在治理效率、行業(yè)發(fā)展、集體行動(dòng)和公共利益保護(hù)等層面存在局限,無助于解決算法危機(jī)?;谒惴ňC合治理的需要,2022年1月4日,國家互聯(lián)網(wǎng)信息辦公室、工業(yè)和信息化部、公安部、國家市場(chǎng)監(jiān)督管理總局聯(lián)合發(fā)布《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》(以下簡(jiǎn)稱《規(guī)定》),自2022年3月1日起施行。該《規(guī)定》明確了算法推薦服務(wù)提供者的信息服務(wù)規(guī)范和用戶權(quán)益保護(hù)的具體要求,包括保障用戶的算法知情權(quán)、算法選擇權(quán)等,對(duì)于老年人、未成年人等特殊人群也作了特殊的保護(hù)規(guī)定,說明國家已經(jīng)意識(shí)到算法權(quán)力化問題,并開始重視算法用戶的權(quán)利保護(hù),賦予用戶權(quán)利以更好地實(shí)現(xiàn)利益平衡,是算法治理進(jìn)程中的重要一步。

    (二)算法治理的局限性

    雖然,各國都基于現(xiàn)有的法律體系、規(guī)章制度,對(duì)算法應(yīng)用中出現(xiàn)的風(fēng)險(xiǎn)和問題作出了基礎(chǔ)性的規(guī)定,但從技術(shù)長(zhǎng)遠(yuǎn)發(fā)展的角度看,仍具有一定的局限性。

    首先,這種治理的局限性來自技術(shù)價(jià)值觀的局限性,即將問題的產(chǎn)生歸因于技術(shù)本身。當(dāng)前算法技術(shù)是有其不盡如人意之處,但以算法技術(shù)為基礎(chǔ)的人工智能卻是未來技術(shù)發(fā)展的方向,因此,算法治理應(yīng)當(dāng)以促進(jìn)算法技術(shù)的進(jìn)步與發(fā)展為導(dǎo)向。任何技術(shù)都有兩面性,也就是說技術(shù)也有其陰暗面,技術(shù)就如同是被打開的“潘多拉魔盒”,我們往往是在不了解未來結(jié)果的情況下開始追求技術(shù)的進(jìn)步的。面對(duì)由技術(shù)產(chǎn)生的負(fù)面影響,人們總希望通過限制技術(shù)發(fā)展、規(guī)制技術(shù)行為來消除技術(shù)的負(fù)面影響。柏拉圖在《理想國》中就將城邦的分崩離析歸咎于與貿(mào)易、財(cái)政和戰(zhàn)事有關(guān)的新技術(shù)。中世紀(jì)歐洲的行會(huì)和自治機(jī)構(gòu)也常對(duì)技術(shù)革新的后果感到恐懼,總要設(shè)法阻止新技術(shù)的推廣和應(yīng)用。由技術(shù)產(chǎn)生的消極后果是在長(zhǎng)時(shí)間積累下產(chǎn)生的,西方政治思想史將其稱為“非故意的后果”,即行為的意義及其后果只有等到它的連鎖反應(yīng)已經(jīng)完成時(shí)才能清晰顯現(xiàn),這類后果往往是消極或不受歡迎的,而且也是不受控的,但我們要做的并非限制技術(shù)的進(jìn)步和發(fā)展,而是應(yīng)使傷害最小化、利益最大化。技術(shù)大多時(shí)候只是作為一種工具,重要的是如何使用,而不應(yīng)全盤地否認(rèn)一項(xiàng)技術(shù)。同樣,國家在制定規(guī)制措施時(shí),也應(yīng)當(dāng)平衡技術(shù)發(fā)展與公民權(quán)利之間的關(guān)系,也不應(yīng)一味保護(hù)公民權(quán)利而忽略算法控制者的經(jīng)濟(jì)利益和技術(shù)的可持續(xù)發(fā)展。

    其次,治理的局限性表現(xiàn)在治理模式的局限性上。當(dāng)前,大多數(shù)國家仍以公權(quán)力自上而下的治理模式為主,算法規(guī)制高度依賴擁有監(jiān)管職權(quán)的行政機(jī)關(guān),規(guī)制主體、規(guī)制手段和規(guī)制方式都很單一,根本無法應(yīng)對(duì)當(dāng)前不斷出現(xiàn)的算法風(fēng)險(xiǎn)。以國家為主導(dǎo)的公權(quán)力治理模式,常常通過立法來對(duì)算法控制者施壓,但任何法律和規(guī)章均具有一定的滯后性,不夠靈活,無法應(yīng)對(duì)多樣的算法風(fēng)險(xiǎn)。同時(shí),法律和規(guī)章的制定者往往缺乏算法技術(shù)的專業(yè)背景,對(duì)于算法技術(shù)的發(fā)展規(guī)律不了解,無法從根本上對(duì)算法進(jìn)行治理。算法治理的主體應(yīng)當(dāng)是多元的,除了國家主體,還需發(fā)動(dòng)相關(guān)企業(yè)、社會(huì)組織和公眾的廣泛參與,形成多主體、多元化的算法治理模式。在這種模式下,能充分調(diào)動(dòng)算法控制者和算法相對(duì)人的積極性,讓他們主動(dòng)參與到算法規(guī)制過程中,彌補(bǔ)了國家單一治理主體的不足,同時(shí)也能使多主體間不同的利益得到平衡。有不少學(xué)者提出我國應(yīng)借鑒歐盟對(duì)算法賦權(quán)的方式,設(shè)立算法解釋權(quán),賦予數(shù)據(jù)主體請(qǐng)求算法設(shè)計(jì)者或算法技術(shù)使用者對(duì)算法進(jìn)行解釋的權(quán)利,以提高算法的透明度。或是借鑒美國的算法問責(zé)制,在堅(jiān)持政府主導(dǎo)和行業(yè)驅(qū)動(dòng)相結(jié)合的原則下,建立算法侵權(quán)的責(zé)任分配和救濟(jì)機(jī)制。但這兩個(gè)治理模式均存在一定的缺陷,如賦予數(shù)據(jù)主體算法解釋請(qǐng)求權(quán)存在治理效率低,公民技術(shù)專業(yè)度不夠、加大算法主體義務(wù)影響行業(yè)發(fā)展等局限性,無法達(dá)到預(yù)期治理效果,而算法問責(zé)制也受阻于“技術(shù)鴻溝”,并將面臨算法技術(shù)的知識(shí)產(chǎn)權(quán)和商業(yè)秘密等問題。現(xiàn)有的治理模式因治理主體單一化,且治理模式實(shí)操性較低,未能綜合考慮國情、技術(shù)能力、行業(yè)發(fā)展、公民權(quán)利等因素,均不能從根本解決算法權(quán)力化的問題。

    最后,治理的局限性還反映在法律關(guān)系的局限性上。當(dāng)前,在算法權(quán)利義務(wù)的關(guān)系中多只考慮了作為算法控制者的網(wǎng)絡(luò)平臺(tái)一方,而作為算法相對(duì)人的用戶的權(quán)利義務(wù)則未能得到應(yīng)有的重視,導(dǎo)致算法相關(guān)主體的利益失衡。法律只重視對(duì)算法權(quán)力的制約,而對(duì)算法權(quán)利的保護(hù)則明顯不足。對(duì)算法的治理不能僅僅停留在解決算法權(quán)力擴(kuò)張的問題上,法律對(duì)算法的限制,就是要調(diào)節(jié)算法一方與算法相對(duì)人兩個(gè)平等主體之間的利益沖突關(guān)系,即從對(duì)“權(quán)力”的規(guī)制轉(zhuǎn)變?yōu)閷?duì)“權(quán)力”與“權(quán)利”的雙重規(guī)制。隨著算法技術(shù)的發(fā)展,公眾也可能掌握一定的算力,除了算法解釋權(quán)、算法知情權(quán)等一些事后救濟(jì)的權(quán)利,公眾也應(yīng)享有平等利用公共算力的權(quán)利。而算法控制者和算法相對(duì)人之間也不應(yīng)是“利益對(duì)立”的關(guān)系,而應(yīng)是“利益平衡”的良性關(guān)系,雙方都以算法利益最大化為共同目標(biāo)。真正對(duì)立的關(guān)系應(yīng)是人與人工智能,即人類應(yīng)當(dāng)在算法面前保有獨(dú)立的、最終的決定權(quán)和人格尊嚴(yán),有權(quán)選擇拒絕并對(duì)算法應(yīng)用提出異議,使人在算法面前仍具有自主性。

    目前,在學(xué)界有關(guān)算法治理的探討也仍多從國家角度,即認(rèn)為需通過國家立法和實(shí)施相應(yīng)政策,加強(qiáng)公權(quán)力對(duì)算法設(shè)計(jì)和運(yùn)用的把控,而忽視算法本身的特性和價(jià)值,未真正認(rèn)識(shí)算法技術(shù)本身。但筆者認(rèn)為,算法不僅是一項(xiàng)技術(shù),更是一個(gè)“利益綜合體”,其中包含了多個(gè)主體的利益,其不該也不應(yīng)被單主體所擁有。當(dāng)然,不可否認(rèn),通過國家強(qiáng)制力對(duì)算法進(jìn)行把控是現(xiàn)行最有效的方式,但從長(zhǎng)遠(yuǎn)來看,其并不利于算法技術(shù)和社會(huì)經(jīng)濟(jì)的可持續(xù)發(fā)展。此外,大多數(shù)學(xué)者在研究時(shí)只從單主體的利益出發(fā),未將算法控制者和算法相對(duì)人置于一個(gè)相對(duì)平等的位置,不利于多主體利益的平衡。尤其是對(duì)于算法權(quán)利的研究,通過借鑒歐盟的“算法解釋權(quán)”,賦予算法相對(duì)人一定的權(quán)利以保護(hù)算法相對(duì)人的權(quán)利。但并未意識(shí)到權(quán)利的前提應(yīng)是主體處于相對(duì)平等的地位,雙方彼此都擁有一定的權(quán)利和義務(wù),而不能僅考慮單方主體的權(quán)利和義務(wù)。2022年1月4日頒布的《規(guī)定》中將算法用戶權(quán)益保護(hù)獨(dú)立成章,賦予算法用戶一定的權(quán)利,說明國家已意識(shí)到了算法權(quán)利在算法治理中的重要性。故接下去,本文將通過對(duì)權(quán)利的概念和“權(quán)力-權(quán)利”的關(guān)系進(jìn)行梳理,分析利用權(quán)利制約權(quán)力的合理性,提出新的算法二元治理的路徑,并利用“權(quán)利束”這一概念從算法相關(guān)主體的整體視角對(duì)算法權(quán)利進(jìn)行構(gòu)建。

    三、從“算法權(quán)力”向“算法權(quán)利”轉(zhuǎn)變

    權(quán)力是政治學(xué)、社會(huì)學(xué)和哲學(xué)領(lǐng)域的重要概念,當(dāng)特定主體擁有足以支配他人或影響他人的資源時(shí),就可以可稱為權(quán)力。權(quán)力在一般情況下主要指的是國家權(quán)力,但在??碌娜俺ㄒ曋髁x視野下,現(xiàn)代規(guī)訓(xùn)社會(huì)中的微觀權(quán)力無處不在,每個(gè)人、每個(gè)群體都在權(quán)力主體或客體兩種身份之間變換來去,同樣,權(quán)利的主體也不僅是個(gè)人,而是多元的。技術(shù)作為一種征服自然和改造自然的力量,一直以來都被看成是一種“中立”的力量,技術(shù)本身沒有價(jià)值取向,也不具有權(quán)力的屬性。但這其實(shí)是一種因無知而帶來的偏見,英國技術(shù)哲學(xué)家湯森曾指出,我們由于過于依賴技術(shù),所以對(duì)技術(shù)進(jìn)步帶來的明顯缺點(diǎn)總是高度盲目,對(duì)技術(shù)所帶來的負(fù)面特征反應(yīng)遲鈍,技術(shù)因其所具有的獨(dú)特力量,正在成功地孤立和分離不同的社會(huì)階層,老人、窮人等正在被孤立于技術(shù)的世界之外。如果技術(shù)對(duì)人的利益能夠直接形成影響和控制,技術(shù)便失去純粹性而具有權(quán)力屬性。而權(quán)力的配置一開始是為了保障權(quán)利的實(shí)現(xiàn)、協(xié)調(diào)權(quán)利沖突,而現(xiàn)在卻變成了制約權(quán)利。

    在“三位一體”的算法社會(huì)發(fā)展中,個(gè)體權(quán)利被算法平臺(tái)的私權(quán)力不斷沖擊,權(quán)力的增量要遠(yuǎn)大于權(quán)利的增量。算法的復(fù)雜性和專業(yè)性,加上國家在算法治理方面的滯后性,導(dǎo)致算法權(quán)力的無限膨脹和失控,這使得算法權(quán)力發(fā)生了異化。異化作為社會(huì)現(xiàn)象,是人的物質(zhì)生產(chǎn)與精神生產(chǎn)及其產(chǎn)品變成異己力量又反過來統(tǒng)治人的一種社會(huì)現(xiàn)象。在人與物的關(guān)系中,人應(yīng)當(dāng)是主體,是中心,而物則是客體,是為主體人服務(wù)的,人是目的,而物是手段?!叭?機(jī)”關(guān)系是人工智能組成的“智能世界”的核心關(guān)系,現(xiàn)在的問題是這個(gè)核心關(guān)系被“資本-權(quán)力-機(jī)器”的高度結(jié)合體搞顛倒了,在人機(jī)關(guān)系中抽離了人的社會(huì)性、主體間性、社會(huì)制度以及文化價(jià)值觀等內(nèi)容,從而使算法技術(shù)變成了異己的力量。對(duì)于算法權(quán)力而言,其并非掌握在國家手中,更大程度上是被企業(yè)所掌控,也就是被資本所掌控。資本的目的是使用技術(shù)來武裝自己、改造自己。為實(shí)現(xiàn)此目的,資本就將人塑造成了一種“技術(shù)化”的存在物,也即人具備了某些機(jī)器所特有的特征,與其說人變得更像機(jī)器,不如說人不斷地受到機(jī)器的“規(guī)訓(xùn)”而成為它的“附件”。技術(shù)和意識(shí)形態(tài)之間有著十分密切的關(guān)系,算法技術(shù)也具有意識(shí)形態(tài)性,技術(shù)是作為滿足人類改造客觀世界的需求而出現(xiàn)的,人們通過技術(shù)實(shí)現(xiàn)自己對(duì)外部環(huán)境的掌控,它的存在暗喻了人與自然、人與人在權(quán)力關(guān)系上的不平等地位。算法本身體現(xiàn)了算法設(shè)計(jì)者、控制者價(jià)值觀,它的設(shè)計(jì)具有一定的目的性,并在潛移默化地影響、改變?nèi)藗兊男袨?、價(jià)值觀和生活習(xí)慣。技術(shù)是人的能力的延伸,人類試圖通過算法技術(shù)實(shí)現(xiàn)自身發(fā)展,但是,在不斷激發(fā)算法技術(shù)力量的同時(shí),卻間接擴(kuò)大了算法或算法控制者對(duì)個(gè)人的統(tǒng)治范圍以及增加了技術(shù)抑制人性的力量。

    在傳統(tǒng)權(quán)利理論中,權(quán)利和權(quán)力是一組相對(duì)的概念,權(quán)利是用來對(duì)抗權(quán)力的。但現(xiàn)在也有學(xué)者提出,權(quán)利和權(quán)力并非相對(duì)的,權(quán)利是對(duì)實(shí)際力量關(guān)系的評(píng)價(jià),不同的利益主體會(huì)將正當(dāng)?shù)臋?quán)力和行為自由認(rèn)定為自身的權(quán)利,即權(quán)利是正當(dāng)?shù)臋?quán)力。因此,在算法治理時(shí),還是應(yīng)當(dāng)回歸到權(quán)利與權(quán)力的關(guān)系中,通過加強(qiáng)、完善算法相對(duì)人的算法權(quán)利來制約算法控制者算法權(quán)力的不當(dāng)擴(kuò)張,同時(shí)也應(yīng)保留算法控制者正當(dāng)、合理的算法權(quán)利。本文提出的算法權(quán)利是指算法相關(guān)利益主體具有通過算法獲得正當(dāng)利益的權(quán)利,算法相關(guān)利益主體既包括算法設(shè)計(jì)者、算法控制者,也包括算法相對(duì)人。當(dāng)前,在算法賦權(quán)過程中的主要矛盾是賦權(quán)失衡,即作為數(shù)據(jù)主體的用戶未能了解數(shù)據(jù)的使用以及算法的計(jì)算方式和結(jié)果,而擁有算法資源和算力的平臺(tái)卻能輕易掌控用戶的信息,對(duì)其進(jìn)行絕對(duì)判斷,并要求用戶遵守代碼的規(guī)則,決定用戶能接受什么信息。提出算法權(quán)利這一概念,一方面是為了對(duì)抗過于膨脹的算法權(quán)力,以調(diào)整算法相關(guān)主體間的不平等地位,使算法相關(guān)主體處于相對(duì)平等的位置,形成良性的對(duì)抗制衡。另一方面,算法權(quán)利的設(shè)立和完善可以加強(qiáng)算法的可信度,緩和算法相對(duì)人和算法控制者間的沖突和矛盾。算法可信度高低在很大程度上取決于算法相對(duì)人對(duì)于算法的把控范圍和程度,即用戶可以自行決定是否脫離算法的控制并知悉算法中對(duì)其個(gè)人的數(shù)據(jù)分析和主體角色定位等。只有把算法相關(guān)利益主體置于一個(gè)相對(duì)平等的地位,擁有相對(duì)平等的權(quán)利時(shí),算法技術(shù)才能可持續(xù)發(fā)展,并發(fā)揮其最大效益。

    當(dāng)然,一項(xiàng)新興權(quán)利要得到證成,首先要符合權(quán)利的概念標(biāo)準(zhǔn),即被保護(hù)的合理性。這項(xiàng)新興權(quán)利應(yīng)當(dāng)為既有的法律體系所容納,即通過權(quán)利推定的方法證明,它可以從法律明文規(guī)定的基礎(chǔ)權(quán)利中推衍出來,同時(shí)還要證明該權(quán)利有被實(shí)現(xiàn)的可能性。算法權(quán)利的提出無論對(duì)算法控制者還是算法相對(duì)人而言均具有一定的合理性和正當(dāng)性。首先,從被保護(hù)利益出發(fā),對(duì)于算法控制者而言,其投入大量人力和財(cái)力對(duì)算法進(jìn)行開發(fā)、運(yùn)用及維護(hù),其應(yīng)當(dāng)享有由該技術(shù)所產(chǎn)生的合法利益;同時(shí),為了算法在運(yùn)行中更加準(zhǔn)確和合理,算法控制者也應(yīng)當(dāng)享有對(duì)用戶個(gè)人相關(guān)信息合法、合理使用的權(quán)利,只有當(dāng)數(shù)據(jù)更加豐富、準(zhǔn)確、全面時(shí),才能盡可能避免算法歧視、算法偏見的出現(xiàn)。其次,對(duì)于算法相對(duì)人而言,自由、平等和個(gè)人尊嚴(yán)是公民的正當(dāng)利益,應(yīng)受到法律的保護(hù),當(dāng)自身合法權(quán)益受到算法技術(shù)的侵犯時(shí),用戶有權(quán)提出救濟(jì),當(dāng)其與公共利益發(fā)生沖突時(shí),仍具有初步的優(yōu)先性。再次,從法律的可容納性來看,算法相對(duì)人的權(quán)利主要來源于知情權(quán)、隱私權(quán)、平等權(quán)等現(xiàn)有權(quán)利,但現(xiàn)有權(quán)利無法保護(hù)相對(duì)人的合法權(quán)益,故需在基礎(chǔ)權(quán)利上衍生出新興權(quán)利,以適應(yīng)社會(huì)的變化和發(fā)展。新出臺(tái)的《規(guī)定》中明確了用戶的算法知情權(quán)和算法選擇權(quán),這也是國家對(duì)確立新興算法相關(guān)權(quán)利的進(jìn)一步肯定。對(duì)于算法設(shè)計(jì)者和控制者來說,其權(quán)利主要基于算法技術(shù)的知識(shí)產(chǎn)權(quán),包括控制權(quán)和使用權(quán)。但由于算法的特殊性,其使用必須基于大數(shù)據(jù),二者缺一不可,故算法控制者在使用算法對(duì)用戶數(shù)據(jù)進(jìn)行分析時(shí),不得侵犯數(shù)據(jù)權(quán)利主體,即算法相對(duì)人的合法權(quán)益,不得惡意使用、篡改數(shù)據(jù),造成對(duì)算法相對(duì)人不良的影響。算法控制者和算法相對(duì)人是一對(duì)利益主體,在享有算法權(quán)利的同時(shí),也能要求權(quán)利相對(duì)人承擔(dān)一定的義務(wù),以實(shí)現(xiàn)雙方利益的相對(duì)平衡。

    四、基于“算法權(quán)利束”的新構(gòu)想

    如前所述,算法實(shí)際上是個(gè)“算法技術(shù)+數(shù)據(jù)”的利益綜合體,故算法權(quán)利在實(shí)質(zhì)上應(yīng)是基于算法利益這一客體,涉及多個(gè)主體的權(quán)利集合。在對(duì)這個(gè)權(quán)利集合進(jìn)行研究時(shí),無法避免陷入權(quán)利主體訴求不一樣和研究視角不一致的困境。一方面是算法設(shè)計(jì)者和算法的控制者,他們以算法平臺(tái)利益為主要權(quán)利訴求;另一方面是算法相對(duì)人,他們以數(shù)據(jù)所有權(quán)、個(gè)人信息權(quán)、隱私權(quán)和信息的選擇自由權(quán)為主要權(quán)利訴求,二者的權(quán)利訴求具有本質(zhì)上的區(qū)別。算法利益主體的多元化,導(dǎo)致利益訴求的差異化,權(quán)利間必然存在沖突。國家公權(quán)力能否介入算法權(quán)利,是否應(yīng)當(dāng)對(duì)算法進(jìn)行行政干預(yù)和規(guī)制,算法權(quán)利中的人格屬性和財(cái)產(chǎn)屬性應(yīng)當(dāng)如何平衡,這些問題都是現(xiàn)實(shí)存在的。而“權(quán)利束”這一概念既能將各權(quán)利區(qū)分開,又能確保各權(quán)利間的界限,從整體上保持統(tǒng)一的范式和一貫的價(jià)值內(nèi)涵。

    “權(quán)利束”這一概念源于制度經(jīng)濟(jì)學(xué),但隨著社會(huì)的發(fā)展和進(jìn)行,這一概念逐漸被應(yīng)用于法學(xué)領(lǐng)域的權(quán)利研究中,一組權(quán)利基于共同的“利益束點(diǎn)”,以“權(quán)利束”的形式捆綁在一起,形成利益共同體。18世紀(jì),英國法律人提出“權(quán)利球”的概念,即認(rèn)為權(quán)利是排他的存在,是絕對(duì)的控制和支配權(quán),如物權(quán)。但這一理念顯然并不適應(yīng)社會(huì)的發(fā)展,將數(shù)據(jù)或技術(shù)的價(jià)值占有化不符合其特性也不利于經(jīng)濟(jì)的持久發(fā)展。故在19世紀(jì)末20世紀(jì)初,有學(xué)者針對(duì)無形財(cái)產(chǎn)權(quán)的保護(hù)問題提出了“權(quán)利束理論”,在一項(xiàng)資源上配置多元財(cái)產(chǎn)權(quán),加強(qiáng)對(duì)權(quán)利人的保護(hù),防止公權(quán)力的侵入,平衡財(cái)產(chǎn)利益主體間的權(quán)益分配。“權(quán)利束”轉(zhuǎn)變了“權(quán)利球”執(zhí)著于數(shù)據(jù)或技術(shù)“物性”的核心點(diǎn),其強(qiáng)調(diào)的是“人與人或權(quán)利與權(quán)利間的沖突協(xié)調(diào)”,并以權(quán)利相對(duì)性為宗旨,主張各權(quán)利間的完整和獨(dú)立,權(quán)利間的位階是動(dòng)態(tài)、靈活的,應(yīng)根據(jù)具體的場(chǎng)景、情形進(jìn)行判斷?!皺?quán)利束”是自然主義向?qū)嵶C主義轉(zhuǎn)變的產(chǎn)物,其起初被用于財(cái)產(chǎn)權(quán)領(lǐng)域,用于研究集合在某一種特定財(cái)產(chǎn)上的諸多權(quán)利。如同一財(cái)產(chǎn)上不斷附加集體產(chǎn)權(quán)、國家產(chǎn)權(quán),使之成為一種財(cái)產(chǎn)權(quán)利集合。以韋斯利·霍菲爾德為代表的學(xué)者率先從“物權(quán)”和“人權(quán)”兩維度出發(fā),提出財(cái)產(chǎn)權(quán)中包含權(quán)利、特權(quán)、義務(wù)、權(quán)力、豁免權(quán)等相關(guān)聯(lián)的法律關(guān)系,是“權(quán)利束”而非單一權(quán)利和利益關(guān)系,權(quán)利間的界限并非是明晰的,會(huì)存在權(quán)利的交集,不同的利益主體可同時(shí)主張不同的、有限的權(quán)利。此外,“權(quán)利束”中各權(quán)利的效力位階是靈活的,根據(jù)具體場(chǎng)景進(jìn)行裁判,既調(diào)整了公權(quán)力、私權(quán)力、私權(quán)利主體間的利益配置,又實(shí)現(xiàn)了社會(huì)效率、經(jīng)濟(jì)利益、資源價(jià)值的最大化配置,符合法經(jīng)濟(jì)學(xué)的目標(biāo)?!皺?quán)利束”概念在社會(huì)主義文化思潮和社會(huì)經(jīng)濟(jì)的發(fā)展下形成,社會(huì)集體的利益成為國家發(fā)展的重要目標(biāo),而“權(quán)利束”中正好涵蓋了多元的權(quán)利主體,也包含了權(quán)利類型的多樣化,在同一資源上存在多元與多樣的利益和可能,具有共同的利益性、享有性、開放性。

    應(yīng)用“權(quán)利束”這一概念構(gòu)思算法權(quán)利,是基于算法權(quán)利的組成現(xiàn)狀與“權(quán)利束”理論的契合性。算法權(quán)利并非一項(xiàng)類似于物權(quán)、知識(shí)產(chǎn)權(quán)這類簡(jiǎn)單的權(quán)利,而是多個(gè)主體權(quán)利的集合,它既包含了法律已經(jīng)規(guī)定的人格權(quán),也包含了一些新型權(quán)利——由算法派生的財(cái)產(chǎn)權(quán),以及可能存在的知識(shí)產(chǎn)權(quán)、商業(yè)秘密等。這些權(quán)利能成為一個(gè)集合是因?yàn)槠渑c算法有著直接的關(guān)系,均以算法利益為基礎(chǔ)。算法控制者需要基于數(shù)據(jù)進(jìn)行運(yùn)算分析,但數(shù)據(jù)中又包含了用戶的使用習(xí)慣、生活情況、通訊隱私以及其他各種可能識(shí)別出個(gè)人身份的信息,這就導(dǎo)致算法權(quán)利中必然包含了人格權(quán)的屬性,也正是因?yàn)槠渚哂腥烁駲?quán)屬性才衍生出了財(cái)產(chǎn)權(quán)屬性,數(shù)據(jù)和算法的“合作”使其產(chǎn)生的新數(shù)據(jù)具有了新的價(jià)值性。算法的應(yīng)用一方面給算法控制者帶來了商業(yè)利益,另一方面也給算法相對(duì)人在“信息爆炸”的時(shí)代帶來了便捷,我們不能一味的否認(rèn)算法的價(jià)值,對(duì)算法進(jìn)行制約,而應(yīng)該將二者作為利益的共同體,使算法在應(yīng)用時(shí)產(chǎn)生最大的價(jià)值和利益。以算法利益作為束點(diǎn),對(duì)于算法模型設(shè)計(jì)者、算法控制者而言,其需要獲取有效數(shù)據(jù),利用算法對(duì)用戶的各類數(shù)據(jù)進(jìn)行分析,以形成對(duì)自己有利的算法分析結(jié)果,吸引廣告商戶的投資以增加經(jīng)濟(jì)收益,可擁有算法獲利權(quán)、算法排他權(quán)、算法使用權(quán)、數(shù)據(jù)請(qǐng)求權(quán)等權(quán)利;對(duì)于算法相對(duì)人而言,其可通過算法獲得自己感興趣的信息資源,提高獲取有效信息的效率,但也可以在權(quán)利受到損害時(shí)或有必須需求時(shí),也可請(qǐng)求算法控制者告知算法分析情況以尋求救濟(jì),其擁有如算法解釋請(qǐng)求權(quán)、算法知悉權(quán)、算法拒絕權(quán)等權(quán)利。雖然,“算法權(quán)利束”各主體的利益訴求不同,但均需通過算法才能得以實(shí)現(xiàn),雖然算法決定了人在網(wǎng)絡(luò)中的形象,但算法的價(jià)值也只有在獲得公民有效數(shù)據(jù)的前提下才能實(shí)現(xiàn)。主體間形成相互牽制的關(guān)系。當(dāng)然,各主體在行使權(quán)利時(shí)仍應(yīng)具備一定的邊界意識(shí)。個(gè)人和集體基于人格權(quán)對(duì)底層數(shù)據(jù)擁有絕對(duì)的權(quán)利,這是法律規(guī)定的基本權(quán)利,任何個(gè)人和組織都不得侵犯;算法控制者對(duì)數(shù)據(jù)擁有使用權(quán),并不是任何數(shù)據(jù)都能被平臺(tái)所使用,其應(yīng)當(dāng)保證數(shù)據(jù)在合法范圍內(nèi)被獲取、分析、輸出和使用,而不能在算法中加入歧視和偏見,侵犯數(shù)據(jù)主體的合法權(quán)益。當(dāng)然,為了保證算法的合理性和準(zhǔn)確性,算法相對(duì)人應(yīng)提供真實(shí)、準(zhǔn)確的數(shù)據(jù),不應(yīng)偽造虛假數(shù)據(jù),只有這樣才能保證算法運(yùn)行的精確性。只有保證數(shù)據(jù)在算法相對(duì)人和算法控制者間的自由流通,才能保證算法的合理性和準(zhǔn)確性。

    此外,權(quán)利間也具有價(jià)值位階,當(dāng)面對(duì)諸多權(quán)利競(jìng)合時(shí),應(yīng)當(dāng)做出優(yōu)先保護(hù)何種權(quán)利的選擇。“正當(dāng)性”是權(quán)利束的價(jià)值前提,只有在正當(dāng)這一前提下,權(quán)利才能受到法律的保護(hù)。算法權(quán)利束具有多主體、多層級(jí)性,具有一定的社會(huì)公益價(jià)值,它是僅在集體項(xiàng)下才能產(chǎn)生的利益,是算法控制者和算法相對(duì)人利益平衡的結(jié)果,缺一不可。算法相對(duì)人在貢獻(xiàn)數(shù)據(jù)、促進(jìn)數(shù)據(jù)流通的同時(shí),促進(jìn)了算法技術(shù)的進(jìn)步,算法技術(shù)的進(jìn)步本身包含著公共利益的內(nèi)核;算法控制者通過算法加工而產(chǎn)生的新數(shù)據(jù)也已不是個(gè)人數(shù)據(jù),而具有了公共利益的屬性,它將在促進(jìn)信息的精準(zhǔn)傳播方面發(fā)揮重要作用。當(dāng)然,在算法權(quán)利束中,人格權(quán)的價(jià)值優(yōu)先于算法控制者財(cái)產(chǎn)權(quán)的價(jià)值。人格權(quán)是公民的基本權(quán)利,受《憲法》保護(hù),算法控制者對(duì)用戶的數(shù)據(jù)應(yīng)盡保護(hù)義務(wù)。算法利益本質(zhì)上來源于用戶數(shù)據(jù)的價(jià)值,保護(hù)好公民的人格權(quán)也是保護(hù)數(shù)據(jù)產(chǎn)業(yè)的資產(chǎn)基礎(chǔ)。但也存在例外,出于公共利益、公共安全、國家安全等考慮,國家和算法控制者在緊急情況下可未經(jīng)相對(duì)人同意利用算法對(duì)大數(shù)據(jù)進(jìn)行分析和處理,以保障國家安全和公共利益。在保護(hù)好算法相對(duì)人人格權(quán)利的同時(shí),還要保護(hù)好算法控制者(算法平臺(tái))的財(cái)產(chǎn)權(quán)。保障互聯(lián)網(wǎng)產(chǎn)業(yè)、算法技術(shù)的健康有序發(fā)展,要注重公平原則,不能過分強(qiáng)調(diào)審查義務(wù),致使算法維護(hù)成本過高,妨礙算法技術(shù)的發(fā)展,僅有當(dāng)算法相對(duì)人主張算法結(jié)果嚴(yán)重不符、算法侵犯其名譽(yù)、隱私權(quán)時(shí),算法控制者才有義務(wù)作出回應(yīng)。

    五、結(jié)論

    猜你喜歡
    主體
    一起多個(gè)違法主體和多種違法行為案件引發(fā)的思考
    論碳審計(jì)主體
    論自然人破產(chǎn)法的適用主體
    從“我”到“仲肯”——阿來小說中敘述主體的轉(zhuǎn)變
    阿來研究(2021年1期)2021-07-31 07:39:04
    如何讓群眾成為鄉(xiāng)村振興的主體?
    何謂“主體間性”
    技術(shù)創(chuàng)新體系的5個(gè)主體
    中國自行車(2018年9期)2018-10-13 06:17:10
    中醫(yī)文獻(xiàn)是中醫(yī)寶庫的主體
    關(guān)于遺產(chǎn)保護(hù)主體的思考
    懷舊風(fēng)勁吹,80、90后成懷舊消費(fèi)主體
    金色年華(2016年13期)2016-02-28 01:43:27
    国产美女午夜福利| 国产乱人伦免费视频| 日本成人三级电影网站| 热99re8久久精品国产| 日本 欧美在线| 国产精品免费一区二区三区在线| 国产伦精品一区二区三区四那| 成年免费大片在线观看| av视频在线观看入口| 免费高清视频大片| 一进一出抽搐gif免费好疼| 亚洲无线观看免费| 啦啦啦韩国在线观看视频| 亚洲国产欧美一区二区综合| 亚洲国产高清在线一区二区三| 国产亚洲精品一区二区www| 久久午夜综合久久蜜桃| 精品熟女少妇八av免费久了| or卡值多少钱| 99热只有精品国产| 精品电影一区二区在线| 国内精品美女久久久久久| 亚洲专区字幕在线| 欧美高清成人免费视频www| 在线看三级毛片| 国产亚洲av嫩草精品影院| 岛国在线免费视频观看| 精品国产三级普通话版| 久久香蕉精品热| 黑人操中国人逼视频| 精品久久久久久成人av| 色视频www国产| 国产麻豆成人av免费视频| 欧美日韩一级在线毛片| www.自偷自拍.com| 久久久久久久久中文| 精品午夜福利视频在线观看一区| 在线免费观看不下载黄p国产 | 久久天堂一区二区三区四区| 亚洲精品在线美女| 免费无遮挡裸体视频| 亚洲av片天天在线观看| 日韩大尺度精品在线看网址| 欧美日韩亚洲国产一区二区在线观看| 天天添夜夜摸| 国产成人欧美在线观看| 久久久久国产一级毛片高清牌| 99re在线观看精品视频| 亚洲精品粉嫩美女一区| 日本熟妇午夜| 九色国产91popny在线| 亚洲第一欧美日韩一区二区三区| 国产麻豆成人av免费视频| 国产欧美日韩一区二区精品| 麻豆av在线久日| 久久久精品欧美日韩精品| 18禁国产床啪视频网站| 色在线成人网| 午夜福利在线在线| 人妻夜夜爽99麻豆av| 日本熟妇午夜| 成人亚洲精品av一区二区| 国产亚洲欧美98| 青草久久国产| 制服丝袜大香蕉在线| 亚洲18禁久久av| 成人三级黄色视频| 97碰自拍视频| 一区二区三区激情视频| 无限看片的www在线观看| 国产精品永久免费网站| 色精品久久人妻99蜜桃| 国产成人福利小说| 女人高潮潮喷娇喘18禁视频| 看黄色毛片网站| av黄色大香蕉| 一进一出抽搐动态| cao死你这个sao货| 日本精品一区二区三区蜜桃| 成人三级黄色视频| 人人妻,人人澡人人爽秒播| 身体一侧抽搐| 九九在线视频观看精品| 9191精品国产免费久久| 黄色片一级片一级黄色片| 中文字幕人妻丝袜一区二区| 男人舔女人的私密视频| 亚洲成av人片在线播放无| 又爽又黄无遮挡网站| 欧美激情在线99| 丁香欧美五月| 国产亚洲av高清不卡| 可以在线观看毛片的网站| 成人三级做爰电影| 舔av片在线| 国产欧美日韩精品亚洲av| 亚洲中文字幕一区二区三区有码在线看 | 动漫黄色视频在线观看| 丝袜人妻中文字幕| 午夜a级毛片| 日本成人三级电影网站| 精品久久蜜臀av无| 好男人在线观看高清免费视频| 老鸭窝网址在线观看| 亚洲精品中文字幕一二三四区| 欧美性猛交╳xxx乱大交人| 老汉色av国产亚洲站长工具| 草草在线视频免费看| 日本 av在线| avwww免费| avwww免费| av欧美777| 日日夜夜操网爽| 母亲3免费完整高清在线观看| 国产高清视频在线观看网站| 在线永久观看黄色视频| 午夜免费观看网址| 亚洲狠狠婷婷综合久久图片| 欧美zozozo另类| 久久天躁狠狠躁夜夜2o2o| 国产麻豆成人av免费视频| 精品99又大又爽又粗少妇毛片 | 在线观看美女被高潮喷水网站 | 国产97色在线日韩免费| 国产日本99.免费观看| 色视频www国产| 99久国产av精品| 午夜福利成人在线免费观看| e午夜精品久久久久久久| 国产精品 欧美亚洲| 久久精品国产99精品国产亚洲性色| 麻豆国产av国片精品| x7x7x7水蜜桃| 中出人妻视频一区二区| 欧美另类亚洲清纯唯美| 一级毛片女人18水好多| 欧美日本视频| 色综合婷婷激情| 老司机深夜福利视频在线观看| 日本熟妇午夜| 一进一出抽搐gif免费好疼| 嫩草影视91久久| 男女下面进入的视频免费午夜| 美女高潮喷水抽搐中文字幕| 88av欧美| 少妇裸体淫交视频免费看高清| 亚洲精品国产精品久久久不卡| 国产精品女同一区二区软件 | 哪里可以看免费的av片| 国产精品日韩av在线免费观看| 国产伦人伦偷精品视频| 香蕉国产在线看| 最新美女视频免费是黄的| 日韩大尺度精品在线看网址| 日日摸夜夜添夜夜添小说| netflix在线观看网站| 搞女人的毛片| av天堂中文字幕网| 成年女人看的毛片在线观看| 亚洲一区二区三区色噜噜| 亚洲av成人不卡在线观看播放网| 美女免费视频网站| 亚洲,欧美精品.| 叶爱在线成人免费视频播放| 免费观看的影片在线观看| 少妇的丰满在线观看| 久久热在线av| 日日夜夜操网爽| 天堂av国产一区二区熟女人妻| 在线观看舔阴道视频| 国产欧美日韩精品一区二区| 啪啪无遮挡十八禁网站| 日韩高清综合在线| 久99久视频精品免费| 首页视频小说图片口味搜索| 午夜福利成人在线免费观看| 美女扒开内裤让男人捅视频| 一级毛片女人18水好多| 亚洲va日本ⅴa欧美va伊人久久| 一个人看视频在线观看www免费 | 无人区码免费观看不卡| 国产精品亚洲av一区麻豆| 99热这里只有精品一区 | 亚洲av日韩精品久久久久久密| 丰满的人妻完整版| 长腿黑丝高跟| 亚洲精华国产精华精| 欧美成狂野欧美在线观看| 亚洲avbb在线观看| 国产精品电影一区二区三区| 白带黄色成豆腐渣| 悠悠久久av| 99re在线观看精品视频| 19禁男女啪啪无遮挡网站| 国产高清视频在线观看网站| 免费大片18禁| 真实男女啪啪啪动态图| 欧美大码av| 欧美日韩瑟瑟在线播放| 全区人妻精品视频| 精华霜和精华液先用哪个| 亚洲国产欧美人成| 国产精品 国内视频| 亚洲人成电影免费在线| 国产成人欧美在线观看| 国产欧美日韩精品一区二区| 老司机深夜福利视频在线观看| 日韩中文字幕欧美一区二区| 日韩精品青青久久久久久| 一二三四社区在线视频社区8| 久久久久久久精品吃奶| 无人区码免费观看不卡| 黄色丝袜av网址大全| 丰满人妻熟妇乱又伦精品不卡| 国产探花在线观看一区二区| 亚洲国产精品合色在线| av中文乱码字幕在线| 色在线成人网| 久久这里只有精品中国| 久久久水蜜桃国产精品网| 男女视频在线观看网站免费| 可以在线观看的亚洲视频| svipshipincom国产片| 搡老熟女国产l中国老女人| av天堂中文字幕网| 五月伊人婷婷丁香| 久久精品综合一区二区三区| 狠狠狠狠99中文字幕| 99久久国产精品久久久| 亚洲av成人精品一区久久| 亚洲色图av天堂| 午夜两性在线视频| 国产av在哪里看| 免费高清视频大片| 性色avwww在线观看| xxxwww97欧美| 欧美中文日本在线观看视频| 高潮久久久久久久久久久不卡| 亚洲av五月六月丁香网| 精品人妻1区二区| 日韩 欧美 亚洲 中文字幕| 宅男免费午夜| 日韩欧美免费精品| 国产精品 国内视频| 欧美黄色淫秽网站| 精品国产乱子伦一区二区三区| 757午夜福利合集在线观看| 久久精品人妻少妇| 午夜福利在线在线| 丁香欧美五月| 久久久久久久午夜电影| 国产成人精品久久二区二区91| 最近最新免费中文字幕在线| 性色avwww在线观看| e午夜精品久久久久久久| 精品国产乱子伦一区二区三区| 白带黄色成豆腐渣| 精品国产三级普通话版| av视频在线观看入口| 可以在线观看的亚洲视频| 亚洲欧洲精品一区二区精品久久久| 国产黄片美女视频| 少妇丰满av| 麻豆国产97在线/欧美| 色播亚洲综合网| 久久草成人影院| 怎么达到女性高潮| 国产精品乱码一区二三区的特点| 999久久久精品免费观看国产| 国产精品久久久久久精品电影| 亚洲七黄色美女视频| 麻豆成人午夜福利视频| 一卡2卡三卡四卡精品乱码亚洲| 在线国产一区二区在线| 老汉色∧v一级毛片| 午夜免费观看网址| 亚洲国产欧美一区二区综合| 色av中文字幕| 国产成+人综合+亚洲专区| av天堂在线播放| 老汉色av国产亚洲站长工具| 亚洲五月天丁香| 色综合欧美亚洲国产小说| 午夜日韩欧美国产| 日韩精品青青久久久久久| 亚洲18禁久久av| 夜夜爽天天搞| 亚洲av电影不卡..在线观看| 又黄又粗又硬又大视频| 白带黄色成豆腐渣| 18禁黄网站禁片免费观看直播| 黄色视频,在线免费观看| 桃色一区二区三区在线观看| 少妇的逼水好多| 成年女人看的毛片在线观看| 亚洲精品色激情综合| 99在线视频只有这里精品首页| 欧美大码av| 国产乱人伦免费视频| 三级男女做爰猛烈吃奶摸视频| 国产一区二区在线观看日韩 | 国产97色在线日韩免费| 夜夜躁狠狠躁天天躁| 亚洲精品一卡2卡三卡4卡5卡| 午夜福利欧美成人| 波多野结衣高清作品| 久久精品91无色码中文字幕| 亚洲男人的天堂狠狠| 精品福利观看| 国产蜜桃级精品一区二区三区| а√天堂www在线а√下载| 三级毛片av免费| 国产午夜精品论理片| 香蕉久久夜色| 12—13女人毛片做爰片一| 黄片小视频在线播放| 亚洲av熟女| 亚洲欧洲精品一区二区精品久久久| 一个人看的www免费观看视频| 九九久久精品国产亚洲av麻豆 | 成人鲁丝片一二三区免费| 国产午夜精品论理片| 亚洲自拍偷在线| 天堂√8在线中文| 午夜精品在线福利| 窝窝影院91人妻| 亚洲欧美精品综合一区二区三区| 亚洲真实伦在线观看| 一二三四社区在线视频社区8| 亚洲成av人片免费观看| 啦啦啦观看免费观看视频高清| 欧美一区二区精品小视频在线| 19禁男女啪啪无遮挡网站| 熟女人妻精品中文字幕| 不卡av一区二区三区| 亚洲美女黄片视频| 色综合亚洲欧美另类图片| 观看美女的网站| 免费看日本二区| 欧美激情久久久久久爽电影| 久久精品aⅴ一区二区三区四区| 久久久久国内视频| 丰满人妻熟妇乱又伦精品不卡| 午夜两性在线视频| 一级a爱片免费观看的视频| 91久久精品国产一区二区成人 | 午夜亚洲福利在线播放| 黄色片一级片一级黄色片| 人人妻人人看人人澡| 久久久国产欧美日韩av| 一夜夜www| 97超级碰碰碰精品色视频在线观看| 超碰成人久久| 一级a爱片免费观看的视频| 最近最新免费中文字幕在线| 成人18禁在线播放| 一个人看的www免费观看视频| 亚洲美女视频黄频| 99国产精品一区二区蜜桃av| 校园春色视频在线观看| 亚洲va日本ⅴa欧美va伊人久久| 美女午夜性视频免费| 老鸭窝网址在线观看| 高潮久久久久久久久久久不卡| 欧美又色又爽又黄视频| 色噜噜av男人的天堂激情| 真人做人爱边吃奶动态| 欧美日韩瑟瑟在线播放| 日本熟妇午夜| 久久香蕉国产精品| 91在线精品国自产拍蜜月 | 精品久久久久久久久久久久久| 成年版毛片免费区| 深夜精品福利| 亚洲人成电影免费在线| 亚洲一区二区三区不卡视频| 天天躁狠狠躁夜夜躁狠狠躁| 一夜夜www| 久久热在线av| 大型黄色视频在线免费观看| 欧美成人性av电影在线观看| 国产aⅴ精品一区二区三区波| 12—13女人毛片做爰片一| 观看美女的网站| 看免费av毛片| 国产精品久久久久久亚洲av鲁大| 国内毛片毛片毛片毛片毛片| 欧美一级毛片孕妇| 欧美三级亚洲精品| 少妇丰满av| 一进一出抽搐动态| 激情在线观看视频在线高清| 亚洲国产欧洲综合997久久,| 免费在线观看亚洲国产| 国产黄片美女视频| 国产亚洲欧美在线一区二区| 欧美日韩福利视频一区二区| 级片在线观看| 麻豆久久精品国产亚洲av| 噜噜噜噜噜久久久久久91| 女人被狂操c到高潮| 国产精品国产高清国产av| 国产成年人精品一区二区| 亚洲欧美激情综合另类| 网址你懂的国产日韩在线| www.999成人在线观看| 美女cb高潮喷水在线观看 | 久久久久久久久久黄片| 在线免费观看不下载黄p国产 | 国产一级毛片七仙女欲春2| 国产亚洲欧美在线一区二区| 校园春色视频在线观看| 91字幕亚洲| 欧美黑人巨大hd| 国产在线精品亚洲第一网站| 免费看a级黄色片| 久久亚洲真实| 日日夜夜操网爽| 一级a爱片免费观看的视频| 国产亚洲精品久久久com| 国产亚洲精品综合一区在线观看| 午夜a级毛片| 18禁黄网站禁片午夜丰满| 精品福利观看| 亚洲狠狠婷婷综合久久图片| 精品久久久久久久久久久久久| av中文乱码字幕在线| 亚洲成av人片免费观看| 特级一级黄色大片| 免费高清视频大片| 欧美成人免费av一区二区三区| 国产99白浆流出| 亚洲黑人精品在线| 国产精品一区二区免费欧美| 久久精品91蜜桃| 精品国产乱码久久久久久男人| 亚洲avbb在线观看| 大型黄色视频在线免费观看| 精品福利观看| 国产精品久久久久久精品电影| 久久久国产成人免费| 色老头精品视频在线观看| 成年女人永久免费观看视频| 成人18禁在线播放| 精品人妻1区二区| 日韩高清综合在线| 国产精品亚洲美女久久久| 在线永久观看黄色视频| 桃色一区二区三区在线观看| 精品国产亚洲在线| 国产伦人伦偷精品视频| 一区二区三区国产精品乱码| 婷婷精品国产亚洲av在线| 久久久久九九精品影院| 老司机在亚洲福利影院| 90打野战视频偷拍视频| av视频在线观看入口| 欧美最黄视频在线播放免费| 他把我摸到了高潮在线观看| bbb黄色大片| 国产精品98久久久久久宅男小说| 中文字幕熟女人妻在线| 国产高清videossex| 色在线成人网| 好男人在线观看高清免费视频| 国产熟女xx| 亚洲av免费在线观看| 欧美色视频一区免费| 中文字幕高清在线视频| 亚洲,欧美精品.| 校园春色视频在线观看| 亚洲精品在线观看二区| 久久午夜亚洲精品久久| 久久精品亚洲精品国产色婷小说| 中文字幕人妻丝袜一区二区| 欧洲精品卡2卡3卡4卡5卡区| 亚洲乱码一区二区免费版| 久久久色成人| 成年版毛片免费区| 日韩欧美免费精品| 小蜜桃在线观看免费完整版高清| 99热只有精品国产| 国产精品久久电影中文字幕| 国产爱豆传媒在线观看| 又大又爽又粗| 搡老熟女国产l中国老女人| 天堂动漫精品| 午夜福利成人在线免费观看| 国产av在哪里看| 成人性生交大片免费视频hd| av天堂中文字幕网| 51午夜福利影视在线观看| 一区二区三区国产精品乱码| 亚洲av免费在线观看| 国内久久婷婷六月综合欲色啪| 人人妻,人人澡人人爽秒播| 欧美xxxx黑人xx丫x性爽| 亚洲专区字幕在线| 国产精品爽爽va在线观看网站| 中文字幕久久专区| 国产不卡一卡二| 欧美中文日本在线观看视频| 久久精品人妻少妇| 两性夫妻黄色片| 婷婷亚洲欧美| 精品久久久久久久毛片微露脸| 午夜久久久久精精品| 最新中文字幕久久久久 | 欧美最黄视频在线播放免费| 国产欧美日韩一区二区三| 欧美一级毛片孕妇| 99国产极品粉嫩在线观看| 久久久国产成人免费| av天堂中文字幕网| 国产成人精品无人区| 亚洲成av人片在线播放无| 国产精品日韩av在线免费观看| 久久人妻av系列| 精品国产美女av久久久久小说| 亚洲av电影不卡..在线观看| 午夜福利在线在线| 99久久国产精品久久久| 每晚都被弄得嗷嗷叫到高潮| 18禁裸乳无遮挡免费网站照片| 曰老女人黄片| 国产伦人伦偷精品视频| 亚洲国产欧美网| 国产精品自产拍在线观看55亚洲| 99久久精品一区二区三区| 国产精品九九99| 午夜精品一区二区三区免费看| 中文字幕人妻丝袜一区二区| 精品久久久久久久久久久久久| 一a级毛片在线观看| 精品午夜福利视频在线观看一区| 精品久久久久久,| 两人在一起打扑克的视频| 日韩欧美 国产精品| 精品欧美国产一区二区三| 黑人巨大精品欧美一区二区mp4| 天天躁日日操中文字幕| 免费看光身美女| 亚洲欧美一区二区三区黑人| 国产伦一二天堂av在线观看| 视频区欧美日本亚洲| 国产探花在线观看一区二区| 国产亚洲欧美在线一区二区| 中文字幕av在线有码专区| 国产三级黄色录像| 久久久久久久久免费视频了| 精品乱码久久久久久99久播| 淫妇啪啪啪对白视频| 欧美黑人欧美精品刺激| 国产在线精品亚洲第一网站| 免费电影在线观看免费观看| 法律面前人人平等表现在哪些方面| 日韩欧美精品v在线| 欧美日韩亚洲国产一区二区在线观看| 亚洲美女视频黄频| 一本精品99久久精品77| 久久精品aⅴ一区二区三区四区| 99久久成人亚洲精品观看| 国产欧美日韩一区二区三| 亚洲欧洲精品一区二区精品久久久| 亚洲,欧美精品.| 淫妇啪啪啪对白视频| 哪里可以看免费的av片| 亚洲av中文字字幕乱码综合| 亚洲狠狠婷婷综合久久图片| 特级一级黄色大片| 夜夜爽天天搞| 午夜两性在线视频| 亚洲色图 男人天堂 中文字幕| 久久国产精品影院| 男人的好看免费观看在线视频| 精品国产超薄肉色丝袜足j| 后天国语完整版免费观看| 国内精品美女久久久久久| 精品欧美国产一区二区三| 99久久久亚洲精品蜜臀av| 精品无人区乱码1区二区| 18禁观看日本| av片东京热男人的天堂| 精品久久久久久,| 法律面前人人平等表现在哪些方面| 草草在线视频免费看| 国产又黄又爽又无遮挡在线| 黄片小视频在线播放| 看免费av毛片| 女生性感内裤真人,穿戴方法视频| 国产1区2区3区精品| 国内毛片毛片毛片毛片毛片| 少妇熟女aⅴ在线视频| 亚洲aⅴ乱码一区二区在线播放| av天堂中文字幕网| www.www免费av| 一进一出抽搐gif免费好疼| 三级毛片av免费| 2021天堂中文幕一二区在线观| 国产精品亚洲av一区麻豆| 精品国内亚洲2022精品成人| 久久精品综合一区二区三区| 又黄又粗又硬又大视频| 亚洲aⅴ乱码一区二区在线播放| 一级黄色大片毛片| 成年人黄色毛片网站| 麻豆久久精品国产亚洲av| 老司机午夜十八禁免费视频| 欧美av亚洲av综合av国产av| 欧美中文综合在线视频| 免费电影在线观看免费观看| 中文字幕久久专区| 偷拍熟女少妇极品色| 曰老女人黄片| 久久午夜亚洲精品久久|