• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    智媒時代算法推薦對用戶自主性的解構(gòu)與重構(gòu)*
    ——基于規(guī)則治理的視角

    2023-04-09 02:10:54周麗娜
    關(guān)鍵詞:自主性權(quán)利決策

    —周麗娜—

    人工智能生成物(AIGC)的顛覆性代表ChatGPT 應(yīng)聲出世之后,再次刷新了人類對人工智能邊界的認(rèn)知,也再次加速了人類文明的進程。ChatGPT 不僅建立了一個大語言模型,而且其已經(jīng)擁有一定的認(rèn)知、理解和判斷能力,甚至擁有和人類類似的思維能力?!叭斯ぶ悄茉谕瓿蓪θ祟愅庠诠倌?視覺、聽覺等)的延伸后,進入到對人體延伸的最后階段——意識的技術(shù)模擬階段?!雹俣鴻C器意識的產(chǎn)生是否會對未來人類文明造成不可逆轉(zhuǎn)的危機和風(fēng)險,還尚未可知。

    一、問題的提出

    (一)智媒傳播顛覆“以人為中心”的傳播模式

    人工智能技術(shù)的迭代加速發(fā)展,徹底改變了“以內(nèi)容為中心”的傳統(tǒng)大眾傳播模式和“以用戶為中心”的社交媒體傳播模式,迎來“以數(shù)據(jù)和算法驅(qū)動內(nèi)容生產(chǎn)為中心”的智能傳播模式時代。如果說,社交傳播撼動了傳統(tǒng)大眾傳播確立的“把關(guān)人”及“議程設(shè)置”的專業(yè)內(nèi)容生產(chǎn)和控制傳播模式,奠定了“去中心化”“人人都有麥克風(fēng)”的用戶內(nèi)容生產(chǎn)傳播模式,那么以語言生成模型和語義理解模型為基底的生成式人工智能,則直接解構(gòu)了一個多世紀(jì)以來形成的“以人為中心”的傳播理論體系,“人”再也不是信息和內(nèi)容理所當(dāng)然的生產(chǎn)者和主導(dǎo)者。

    智能傳媒的應(yīng)用,使人的主體性逐漸消解,而機器主體性(或擬主體性)逐漸確立。經(jīng)過一段時間的人工“喂養(yǎng)”和主動學(xué)習(xí),人工智能機器就能夠模仿,甚至模擬人的意識,自主生產(chǎn)內(nèi)容,進而傳播。此外,人工智能通過大數(shù)據(jù)和算法,根據(jù)主體的喜好、興趣、習(xí)慣等,對信息進行千人千面的個性化推送,甚至“人”還會受到機器自動決策的影響,在頻頻推送的“猜你喜歡”情境下,改變個體意志,迎合機器供給。如果說人們目前習(xí)慣使用“人機交互、人機協(xié)同、人機共生”等用語,暗示“人”在“機”前,“人”尚且掌握了一定的主動權(quán)和控制權(quán),那么可以想象,“機人”時代的到來可能指日可待。

    (二)智能傳播運算法使個體被量化、群體化,喪失自主性

    根據(jù)算法推薦技術(shù)原理,其所依賴或存在的所有個性化指標(biāo)終將轉(zhuǎn)化為“0”和“1”的二進制代碼,有關(guān)個體的一切終將以數(shù)據(jù)化的形式呈現(xiàn)。在算法世界,個體的人成為冰冷的數(shù)據(jù),人完全被數(shù)據(jù)化和標(biāo)簽化。個體的集合,僅是具有流通性的數(shù)據(jù)庫資源和商品,是“脫離情感、情緒、感知的數(shù)據(jù)化字符,是被數(shù)據(jù)‘量化的自我,也是市場化的自我’”②。

    美國學(xué)者貝克(Baker)曾對量化自我提出四點質(zhì)疑:量化自我究竟是讓人們更多、更好地了解自己,還是走向它的反面? 是一種更強的自我控制,抑或是一種更強的社會控制? 是讓人們變得更幸福,還是從來沒有讓他們得到真正的幸福? 是讓人們有了更多的選擇,還是侵犯了他們選擇的余地?③很多時候,結(jié)果都有可能是后者。

    個體被量化后,還可能會引發(fā)個體被群化和馴化的風(fēng)險。算法程序根據(jù)掌握的量化數(shù)據(jù)和變量,在數(shù)字空間,“跨越興趣、階層、地域的隔閡將全部的群體關(guān)系整合起來,形成群體內(nèi)部、群體之間的互動,產(chǎn)生堪比大眾傳播覆蓋面的影響效果”④。在群體互動中,渴望展現(xiàn)或追求個性的主體,受群化的興趣、消費、反饋等多方面影響,最終很可能淹沒于群體,失去自我。如在某社交平臺,個體因被算法標(biāo)簽為與他人有共同愛好,而被推送某款產(chǎn)品,不免受到他人或群體消費暗示影響,進而喪失個人判斷和決策,直至被群體完全馴化,喪失自主性。

    理想的人類社會,應(yīng)該是人的智力、情感、理性、德行等均能得到學(xué)習(xí)、發(fā)展和認(rèn)可的社會。在算法社會,一段時間內(nèi),可以使人的智性得到單向度發(fā)展或提高,但過度的算法進化,終將使人喪失人性中更為寶貴和自然的組成部分,即以情感、內(nèi)心、理性為基礎(chǔ)的心性和靈性。⑤

    (三)智能傳播的規(guī)則控制尚不完善

    算法與數(shù)據(jù)、算力被稱為人工智能技術(shù)發(fā)展的三大核心要素,其中算法推薦的廣泛應(yīng)用,對智媒時代信息量過載問題提供了強有力的技術(shù)支持,一定程度上解決了信息無限性與用戶個體需求有限性之間的矛盾,滿足了用戶在快節(jié)奏時代以最少時間成本獲取個性化信息選擇的訴求,但也衍生了“信息繭房”“算法黑箱”“算法歧視”“虛假新聞”“用戶隱私侵犯”等現(xiàn)實問題。

    同時,算法還對公眾的社會活動和個人活動進行規(guī)訓(xùn),并且在重構(gòu)機器與人、技術(shù)與社會之間的關(guān)系過程中,算法正從一項單純的技術(shù),發(fā)展為能夠“干涉甚至主導(dǎo)人類社會事務(wù)的‘算法權(quán)力’(algorithmic power)”⑥,算法不僅打造社會景象與文化意涵,甚至直接影響并控制著我們每個普通人的日常生活,甚至獲得了“真理地位”⑦。

    盡管世界各國均已認(rèn)識到算法風(fēng)險,并普遍認(rèn)為算法應(yīng)當(dāng)具備透明、公正和公平、非惡意、負(fù)責(zé)任和保護隱私等基本倫理規(guī)則,但在理論闡釋和實際應(yīng)用中,仍存在實質(zhì)性分歧。智媒時代,用戶對這種算法權(quán)力能否拒絕? 用戶對算法決策的使用能否自主決定? 對算法歧視、算法黑箱和信息繭房等負(fù)面作用是否有知情及投訴的權(quán)利? 人類在這場技術(shù)變革引發(fā)的社會變革下,需如何應(yīng)對或自處?

    二、現(xiàn)有規(guī)則對算法與用戶自主性的建構(gòu)

    面對智能媒體帶來的新技術(shù)形式和傳播實踐,重新審視和界定“人—機”二元關(guān)系,處理好以智能媒體為代表的非人類傳播主體與人始終作為傳播主體的共生關(guān)系,是防范智能技術(shù)可能引發(fā)社會危機和風(fēng)險的重要議題。各國目前主要的治理邏輯和思路,是通過法律和倫理雙層面的規(guī)則建構(gòu),運用國家強制力的硬約束和道德倫理的軟保障,廓清算法“權(quán)力”邊界,試圖保障用戶的權(quán)利自治和主體意志自由。

    (一)算法推薦技術(shù)及其規(guī)則建構(gòu)

    通常來說,算法推薦技術(shù)是人工智能技術(shù)的一種應(yīng)用,“技術(shù)層面看,算法系統(tǒng)的體系結(jié)構(gòu)由界面、信息和模型三個層次構(gòu)成”⑧。界面層主要功能是對信息進行加工和處理,繼而構(gòu)建出用戶畫像,這是算法推薦系統(tǒng)的基礎(chǔ)。在界面層,系統(tǒng)將收集到的用戶基本數(shù)據(jù)和行為數(shù)據(jù)轉(zhuǎn)化為事實標(biāo)簽,然后傳遞至信息層與模型層進行建模和決策。在用戶畫像基礎(chǔ)上,系統(tǒng)根據(jù)用戶行為(如點擊、評論、轉(zhuǎn)發(fā)、點贊、收藏等)、訪問時長等設(shè)置相應(yīng)權(quán)重,從中發(fā)現(xiàn)用戶的喜好、習(xí)慣和興趣,計算出用戶對某類信息的興趣標(biāo)簽值,找出有相似行為的用戶集,從而進行信息分發(fā)。算法技術(shù)主要應(yīng)用于信息層與模型層。

    目前我國對算法推薦技術(shù)應(yīng)用已經(jīng)建立起一定的法律規(guī)則體系,涵蓋內(nèi)容包括算法應(yīng)用、審核、監(jiān)督、溯源、備案、解釋、拒絕等諸多方面;同時,國家新一代人工治理專業(yè)委員會還發(fā)布了《新一代人工智能倫理規(guī)范》,提出了增進人類福祉、促進公平公正、保護隱私安全、確??煽乜尚?、強化責(zé)任擔(dān)當(dāng)、提升倫理素養(yǎng)6 項基本倫理要求。但在實踐中,對算法控制的實際效力,以及倫理原則的解釋和應(yīng)用,仍無法避免“算法歧視”產(chǎn)生“騎手困于算法”等現(xiàn)實風(fēng)險和問題。

    (二)用戶自主性及其規(guī)則建構(gòu)

    自主性(autonomy)即自我管理,是主體“構(gòu)建自我目標(biāo)和價值且自由地作出決定付諸行動的能力”⑨,主要體現(xiàn)主體的意志自由及決策自由。自主性原則源自康德(Immanuel Kant)的自由理論,認(rèn)為每個個體都有決定自己命運的權(quán)利。

    用戶自主性規(guī)則層面的建構(gòu),主要體現(xiàn)在保障用戶知情權(quán)、解釋權(quán)、選擇權(quán)、拒絕權(quán)等多項權(quán)利方面。

    1.知情權(quán)、解釋權(quán)

    廣義而言,知情權(quán)是公民知悉、獲取信息的自由和權(quán)利,本文僅討論公民的民事知情權(quán),即個體對于自身信息了解、知悉的權(quán)利。

    個人信息知情權(quán)指信息主體對其個人信息享有知情的權(quán)利,具體知情的內(nèi)容包括誰收集的個人信息、收集這些信息用于何種目的、信息將以何種方式進行使用、信息將會被處理者存儲多長時間、信息傳遞給哪些第三方等?!痘ヂ?lián)網(wǎng)信息服務(wù)算法推薦管理辦法》規(guī)定,使用算法服務(wù)的用戶,算法服務(wù)提供者應(yīng)以顯著方式告知用戶其提供算法推薦服務(wù)的情況,如應(yīng)當(dāng)公示它的基本原理是什么,它是如何運行的,它的應(yīng)用場景有哪些,以及它有何使用目的。

    算法解釋權(quán)是用戶個體(或稱數(shù)據(jù)主體)有權(quán)要求算法使用者或數(shù)據(jù)控制者對其使用的算法進行解釋,該解釋應(yīng)當(dāng)具體、清晰、明確、具有實質(zhì)意義。從時間上看,算法解釋權(quán)屬于事后解釋,一般是個體在獲得算法決策結(jié)果后,要求控制者對該決策結(jié)果提供相應(yīng)的解釋。

    2.選擇權(quán)

    信息選擇權(quán)是指用戶有權(quán)自主選擇信息,不受他人干涉。該權(quán)利表明用戶在獲取信息的過程中,能夠根據(jù)自己的想法和意志,自主地選擇和支配信息,也就是算法的使用不得干涉用戶信息選擇自由,用戶有權(quán)決定自己接收或者閱讀哪些信息、不接收或者閱讀哪些信息。用戶擁有選擇權(quán),這實質(zhì)上是對人自主權(quán)的尊重。

    3.拒絕權(quán)

    算法拒絕權(quán)指個人對算法應(yīng)用或其結(jié)果享有抵制的權(quán)利。我國《個人信息保護法》第24 條即是對算法拒絕權(quán)的規(guī)定,包括可以拒絕商業(yè)營銷、個性化推送以及特定情況下的自動化決策。

    如同在數(shù)字社會中個體有拒絕接入數(shù)字世界或選擇是否使用數(shù)字技術(shù)的權(quán)利,對算法技術(shù)而言,個體也有自主決定是否使用算法的權(quán)利,這也是生活方式的一種意愿和選擇。

    三、現(xiàn)有規(guī)則下算法對用戶自主性的解構(gòu)

    盡管在現(xiàn)有法律和倫理規(guī)則框架下,算法似乎是“帶上了鐐銬”,但通過實踐檢視,算法正裹挾大數(shù)據(jù),對人的感情、認(rèn)知,甚至身體健康產(chǎn)生影響,借助“技術(shù)”的掩護,正逐漸剝奪人的自由意志,并最終剝奪自我意志自主控制的權(quán)利和能力。

    (一)用戶個人信息的提供非完全自主性

    如前所述,技術(shù)層面而言,算法推薦基礎(chǔ)是個人數(shù)據(jù)收集和用戶畫像,而這二者的前提是用戶知情同意的情況下對個人信息的自愿提供。雖然在法律上我國已經(jīng)確立了知情同意的強制性規(guī)定,體現(xiàn)主體對個人信息具有決定權(quán)和自主性,但實際上,知情同意原則僅是形同虛設(shè)、徒有其表而已。

    2022 年4 月,有記者在蘋果的應(yīng)用市場中下載了免費“排行榜”前十的APP,在對其用戶協(xié)議以及隱私政策進行統(tǒng)計時發(fā)現(xiàn),這十款A(yù)PP 的用戶協(xié)議、用戶條款的文本總字?jǐn)?shù)超過10 萬字,隱私協(xié)議則共計約12 萬字,二者合計約為22 萬多字,每款A(yù)PP 需要用戶“同意并繼續(xù)”的文本內(nèi)容平均為2.2 萬字,用戶讀完一款A(yù)PP 的用戶協(xié)議與隱私政策,快則需要40 分鐘,慢則1 個小時。⑩2021 年8 月,《光明日報》與高校和研究所組成調(diào)研組,分別對1036 人進行問卷調(diào)查和深度訪談,并對15 類共150 款A(yù)pp 的隱私協(xié)議進行分析,發(fā)現(xiàn)在安裝App 時,有77.8%的用戶“很少或從未”閱讀過隱私協(xié)議。?很多網(wǎng)友自嘲道“撒過最多的謊就是‘我已閱讀并同意用戶協(xié)議’”,因此很難得出結(jié)論,用戶已經(jīng)充分、清晰地知情算法推薦所需要的有關(guān)個體的信息數(shù)據(jù)的收集和處理狀況,更不用說個體有自我決定的能力和權(quán)利。

    (二)算法推薦消解了用戶自主性的各項權(quán)利

    算法表面上是優(yōu)化公眾對信息的選擇,公眾可以在算法給定的范圍內(nèi)快速做出選擇和決定,但這實則是算法對公眾自主性原則的消解。用戶每次基于算法而做出的決定,看似微乎其微、不足為道,但日積月累下來,用戶就習(xí)慣于依賴算法給出的推薦結(jié)果和范圍,而不再積極地、主動地去找尋可能的其他決策,久而久之,用戶自主性屈服于算法,算法逐漸從一項技術(shù)演變?yōu)橐环N權(quán)力。

    1.用戶對算法推薦或不充分知情或一無所知

    在算法推薦語境下,用戶知情權(quán)的消解,主要體現(xiàn)在兩個方面:一個是對涉及個人數(shù)據(jù)的用戶協(xié)議的不完全知情或完全不知情;一個是對算法推薦運行機制的不知情,即存在算法黑箱。

    對涉及個人數(shù)據(jù)的完全不知情或不完全知情,前已論述,在于用戶對用戶協(xié)議或隱私協(xié)議無法進行實質(zhì)性知情及控制,知情權(quán)在用戶知情同意的偽裝下,其內(nèi)容并未實質(zhì)性觸達到用戶,導(dǎo)致用戶對個人信息各階段的處理沒有完整的知情權(quán)。

    對算法推薦運行機制的不知情,是對用戶知情權(quán)的另一種侵害。不論是在用戶協(xié)議中,還是隱私協(xié)議中,用戶都很難知情自己的數(shù)據(jù)是如何應(yīng)用于算法的。例如,在京東網(wǎng)的隱私政策中,對商品和服務(wù)信息的展示,其條款是這樣描述的: “為了向您提供搜索歷史、瀏覽記錄、收藏的商品或店鋪、關(guān)注的店鋪、購物車或訂單商品或服務(wù)展示服務(wù),我們會收集您的瀏覽信息、搜索記錄、收藏記錄、關(guān)注記錄、加購信息、訂單信息。我們會根據(jù)您的上述信息以及其他您已授權(quán)的信息,進行數(shù)據(jù)分析、預(yù)測您的偏好特征,在京東服務(wù)或者其他第三方應(yīng)用中向您推送您可能感興趣的商品/服務(wù)、商業(yè)廣告、商業(yè)性短信及其他營銷信息?!?這樣的告知,于用戶而言,似乎說了什么,又似乎什么也沒說,用戶對網(wǎng)站如何使用這些數(shù)據(jù)進行推送或產(chǎn)生推薦列表,仍然是一頭霧水。2022 年,為應(yīng)對算法黑箱問題,增加算法透明性和可解釋性,政府推出算法備案制度,要求使用算法的企業(yè)向公眾公示算法運行機制、使用的基本原理以及使用目的,但對用戶而言,此舉對用戶知情權(quán)并無改善。因為用戶對于算法知情的終極目的,不是要知道會收集哪些數(shù)據(jù)、采取的是哪種類別的算法,而是需要知道這種運算的算法對個體而言可能會產(chǎn)生怎樣的后果,對個人權(quán)益是否會產(chǎn)生負(fù)面的作用? 未來要如何更好地利用算法發(fā)揮正面作用、增加信息多元化,避免信息繭房? 個體在算法面前,能不能有主動性或者決定性? 但這些問題對用戶而言,都無法從所公示的信息中獲得答案。

    另一方面,算法解釋或透明度原則雖然可能對算法黑箱予以適當(dāng)糾偏,但過度依賴透明處理原則會陷入“透明陷阱”(transparency fallacy),即個體往往缺乏必要的專業(yè)知識來有意義地行使這些個人權(quán)利。?僅有當(dāng)數(shù)據(jù)主體可以真正理解特定算法所依據(jù)的因素而做出決策時,算法解釋的邏輯才是有意義的。因此,算法透明的核心要義在于能夠在數(shù)據(jù)主體有疑問時提供有意義的、樸實的、普通用戶能夠明白的解釋,從而使用戶可以充分知悉算法作出決策的邏輯,繼而行使質(zhì)疑和問責(zé)的權(quán)利。

    2.用戶只能在算法推薦的范圍內(nèi)進行有限的選擇

    算法推薦技術(shù)在信息分發(fā)方面的優(yōu)勢,使用戶可以擺脫傳統(tǒng)專業(yè)媒體設(shè)置的“議程”,一定程度上,可以實現(xiàn)“我的信息我做主”,自主選擇感興趣的信息?;蛟S有人認(rèn)為用戶至此掌握了信息的選擇權(quán),但實際上,這種選擇權(quán)是對算法推薦結(jié)果的一種有限選擇,而不是出于個體意志的自由選擇。算法推薦所運用的過濾機制,其邏輯過于注重用戶偏好,而忽視了諸如真實、客觀、理性等其他價值理念,實際上是損害了用戶的信息選擇權(quán)。

    用戶能夠選擇的范圍不是看或者不看什么信息,而是在算法推薦的范圍內(nèi),接受還是拒絕算法推薦的信息。因此,用戶選擇的自主性是基于算法推薦的結(jié)果,而選擇的范圍也是基于算法推薦的結(jié)果。個體在算法環(huán)境下,根據(jù)機器計算結(jié)果,通過接受或拒絕模式,與機器進行對話和互動,再代入機器運算模型,繼續(xù)維持或調(diào)整算法推薦結(jié)果,再進一步測試是否符合用戶需求。在這樣“機器—人—機器”的循環(huán)測試中,算法推薦的應(yīng)用,并沒有解決用戶信息過載的問題,反而使用戶更加依賴算法和機器。用戶的點擊、取消、拒絕、點贊、收藏等操作,其實是在和機器完成對話,進而不斷地接受機器的分析、畫像,甚至學(xué)習(xí)和模仿,從而給出看似最適合該個體的決策結(jié)果或推薦列表,但這一行為恰恰是沒有將用戶作為一個有自主意志的人對待,更像是一組代碼或數(shù)據(jù),缺乏對個體人格的尊重,而這正是對自主性原則的違背。

    若長期使用算法推薦獲取信息,則會對算法形成過度依賴,用戶將怠于主動作為,不去積極尋求多元或多樣化內(nèi)容,而是習(xí)慣于在算法支配下的內(nèi)容獲取和選擇,于是乎,用戶逐步成為算法可以預(yù)測,甚至操縱的被動接收者。盡管用戶可以與機器進行一些互動,例如點擊“不想看到類似信息”,但是這并不意味著用戶從此再也看不到類似信息。在商業(yè)利益驅(qū)動下,企業(yè)運用算法不斷進行個性化推送,用戶在技術(shù)包圍下很難沖破算法權(quán)力的控制邊界,所以個體主動性的發(fā)揮空間越來越被侵蝕和壓縮,用戶也從主動欣然接受算法到被動默認(rèn)受算法驅(qū)動。

    3.用戶無法事前拒絕算法的介入,陷入“拒絕困境”

    算法拒絕權(quán)在我國《個人信息保護法》中已有規(guī)定,其本意是為個體配置積極的控制性權(quán)利,防止信息處理者與個人之間因信息不對稱而導(dǎo)致的地位不平等帶來負(fù)面影響。但該法所規(guī)定的拒絕權(quán),嚴(yán)格意義上說,不是拒絕算法,而是拒絕算法推薦的結(jié)果,而且是僅能拒絕對個人有重大影響的算法的結(jié)果。這種拒絕,只能事后且手動拒絕。因此,“通過個體行使控制性權(quán)利進行算法規(guī)制的效果非常有限”?。

    以下選取我國目前用戶過億的5 個應(yīng)用程序的《隱私政策》部分內(nèi)容作為示例(見表1),涉及社交媒體、視頻平臺、電子購物平臺,可以看到“允許”或者“同意”自動化決策都事先存在于《隱私政策》的“一攬子”規(guī)定之中,如果不同意該隱私政策,則不能使用該款軟件,如果想關(guān)閉算法推薦,需要手動操作,有的還需要發(fā)送短信才能取消,如淘寶。即便是選擇關(guān)閉,關(guān)閉的是基于個性化分析的算法結(jié)果,而不是算法推薦本身,如抖音。程序上看,與不同意就無法使用的“同意困境”類似,拒絕權(quán)的行使,也存在“拒絕困境”。算法推薦的“一攬子同意,事后拒絕”模式,使得個人“無法事前行使拒絕權(quán)”?,事后拒絕也因程序設(shè)置的復(fù)雜,難以完全實現(xiàn)。

    表1 5 個應(yīng)用程序《隱私政策》部分內(nèi)容

    四、用戶自主性的規(guī)則重構(gòu)

    智能媒體正在通過算法或代碼重建一個新的虛擬世界,人在虛擬世界按照程序和算法所設(shè)定的“軌道”運行,“代碼就是法律”(code is law)的論斷,預(yù)示著新型法律關(guān)系的產(chǎn)生,也清晰地表明代碼在虛擬社會的強制性和權(quán)力性。個體在算法指令的規(guī)劃和安排下,“人的自主創(chuàng)新和創(chuàng)造能力得到消弭,個體在不知不覺中成了米歇爾·???Michel Foucault)筆下所描述的‘馴順的肉體’”?。人如果完全淪為代碼對象,“人是機器”還是“機器是人”的話題可能不是僅停留在討論層面的問題,而會衍生成人類現(xiàn)實需要面對和解決的問題。面臨技術(shù)失控的危險,人類也將陷入前所未有的社會風(fēng)險。

    因此,智能媒體時代,守住或者重塑人的主體性成為當(dāng)前不可回避的任務(wù)之一。算法權(quán)力,主要掌握在開發(fā)算法的技術(shù)公司和應(yīng)用算法的網(wǎng)絡(luò)平臺手中,相對于以政府為代表的“公權(quán)力”對社會關(guān)系而開展的治理權(quán)而言,技術(shù)公司和網(wǎng)絡(luò)平臺正在以“算法/代碼”為基礎(chǔ),形成能夠影響社會關(guān)系的“數(shù)字私權(quán)力”。作為對此“私權(quán)力”的規(guī)制回應(yīng),可以通過兩個途徑合力實現(xiàn):一是完善以政府為代表的公權(quán)力的合理配置,對算法和企業(yè)進行監(jiān)管或規(guī)制;二是對個人私權(quán)利予以賦權(quán),使得個人有能力對不合理、不合法的數(shù)字化應(yīng)用或其結(jié)果進行抵制。在政府、企業(yè)、用戶所蘊含的“公權(quán)力—私權(quán)力—私權(quán)利”的三元博弈中,平衡算法的功能優(yōu)勢與尊重個體自主原則是算法未來發(fā)展的核心目標(biāo)。

    (一)自主性意識的構(gòu)建

    “自主意識有著強烈的表現(xiàn)自我、實現(xiàn)自我的欲望,這正是啟動創(chuàng)造、施展創(chuàng)造的最深刻的內(nèi)在根源,也是創(chuàng)造千姿百態(tài)、殊相萬千世界的心態(tài)源頭?!?用戶自主性意識的構(gòu)建和強化,不僅需要用戶本身自主意識的覺醒,還需要能夠控制或者影響用戶行為的計算機程序或命令,在執(zhí)行中體現(xiàn)出對用戶自主性的尊重和認(rèn)可,并給予實現(xiàn)這種自主性的空間和途徑。

    人工智能的運行邏輯或算法決策需要人在環(huán)中(human in the loop),無論是自動駕駛,自動飛行,還是智能醫(yī)療?,完全的算法或人工智能存在巨大風(fēng)險。正因如此,世界各方正在從倫理和法律方面制定治理框架,強調(diào)人作為主體的自主意識。2017 年,生命研究所在阿西洛馬會議中心召開人工智能倫理道德會議,提出阿西洛馬人工智能原則,提出應(yīng)尊重人類價值(第11 條),包括“人的尊嚴(yán)、權(quán)利、自由和文化多樣性”?。2019 年4 月歐盟頒布高水平專家組撰寫的《可信任人工智能的倫理框架》,提出AI 的基本宗旨之一為“確保尊重人的自由和自治”?。2021 年11 月23 日,聯(lián)合國教科文組織193 個成員國一致通過《人工智能倫理問題建議書》,該建議書的目標(biāo)之一即“在人工智能系統(tǒng)生命周期的各個階段保護、促進和尊重人權(quán)和基本自由、人的尊嚴(yán)和平等”?。

    盡管現(xiàn)在人工智能技術(shù)整體水平仍處于無自主意識的弱人工智能階段,人尚且可以控制人工智能,但隨著類似ChatGPT 等技術(shù)發(fā)展和進步,可能很快就會進入技術(shù)比肩人類的強人工智能階段。為避免產(chǎn)生人與技術(shù)工具主客體顛倒的異化現(xiàn)象,以及規(guī)避個體徹底淪為被數(shù)據(jù)化客體的風(fēng)險,人類更需要強化自主意識,尊重主體自主性。如果對人工智能不加限制地絕對相信,人終將走向鋪滿鮮花的地獄之門。

    (二)自主性在算法功能設(shè)置上的具體體現(xiàn)

    為避免人主體性的消解和自治性的喪失,需要賦予個體不同階段不受算法決策影響的權(quán)利,讓個體享有真正的意思自治,而不是成為數(shù)據(jù)化、客體化的對象和目標(biāo)?,F(xiàn)代社會,尊重和保證“人”的自主性和完整性的最佳途徑,即是將算法權(quán)力限制在一定的制度規(guī)則之中。在功能設(shè)計上,可以考慮從事前、事中、事后三個階段對算法予以重新構(gòu)建。

    1.事前拒絕算法的權(quán)利

    建議改變目前我國有關(guān)算法應(yīng)用的“一攬子同意、事后拒絕”模式,將是否使用算法的決定權(quán)提前至程序應(yīng)用之前,通過單獨的“知情同意”程序進行告知。雖然用戶的拒絕權(quán)在事前及事后都可以行使,但二者之間存在較大區(qū)別:事前拒絕意味著自始拒絕,從源頭上遏制算法對個人數(shù)據(jù)的收集,使機器無法啟動針對個人的算法程序。而事后拒絕,實質(zhì)上是一種救濟手段,僅在產(chǎn)生特定的推薦結(jié)果之后,數(shù)據(jù)主體可以拒絕其結(jié)果影響。

    源頭保護的事前權(quán)利的行使,較事后行使,更能有效阻斷算法技術(shù)的應(yīng)用。可以參照歐盟《通用數(shù)據(jù)保護條例》(GDPR)的相關(guān)規(guī)定和做法,體現(xiàn)出主體對個人信息的自治性:第一,賦予數(shù)據(jù)主體事前拒絕算法決策的可能。如GDPR 第21 條規(guī)定,當(dāng)數(shù)據(jù)集合的用戶畫像是基于直接的市場營銷目的,數(shù)據(jù)主體有權(quán)在任何時候反對相關(guān)的自動化決策。第二,知情同意規(guī)則需要“充分”且“明確”。GDPR 明令禁止默示同意(opt-out)的規(guī)則,要對進行算法決策作出自主的(freely given)、特定的(specific)、知情的(informed)、明確的(unambiguous)同意,且需以清晰肯定的行為作出(opt-in)。第三,對企業(yè)應(yīng)用算法決策進行限制。增加了事前告知義務(wù)、停止自動化決策處理個人數(shù)據(jù)的義務(wù),以及對算法決策的事前與事后評估責(zé)任等一系列相關(guān)法律責(zé)任。

    2.事中行權(quán)精細(xì)化

    事中階段,賦予用戶各項權(quán)利是有效阻止算法技術(shù)的必要途徑,借助刪除權(quán)、知情權(quán)等權(quán)利,對算法施加人為干預(yù)?!秱€人信息保護法》對個人分別賦予處理權(quán)、查閱權(quán)、更正權(quán)和刪除權(quán)??梢哉f一定程度上滿足了個人在事中階段對算法服務(wù)提供者行權(quán)的基礎(chǔ)。但相比GDPR,我國相關(guān)規(guī)定在設(shè)計數(shù)據(jù)權(quán)利時,還不夠精細(xì)化,可操作性不強。例如,《個人信息保護法》規(guī)定,對于自動化決策作出的決定,若對個人權(quán)益有重大影響,則個體有權(quán)對該決策結(jié)果要求予以說明,并且還有權(quán)拒絕未有人工干預(yù)的純自動化決策的決定。但是何為“重大影響”? 如何要求信息處理者“予以說明”? 如果“不予說明”應(yīng)當(dāng)如何救濟? 說明的語言應(yīng)當(dāng)達到何種清晰程度? 這些在我國的法律規(guī)定中均沒有詳細(xì)說明,因此條文規(guī)定本身的籠統(tǒng)性無法保障具體權(quán)利的落實和保障,時常讓人不知所措。

    3.事后救濟途徑

    事后階段的救濟途徑一般包括兩類: 一是拒絕算法推薦的約束,二是事后司法救濟。拒絕算法前文已述,目前我國法律并未表明個人享有完整的算法拒絕權(quán),用戶僅在某些情況下享有拒絕算法結(jié)果的權(quán)利,而非拒絕算法的權(quán)利。因為屬于事后救濟,行為人怎樣行使拒絕權(quán),行使拒絕權(quán)后是不是就能完全避免自動化決策作出決定,都具有不確定性。因此用戶希望不要等發(fā)生了算法決策的負(fù)面結(jié)果再去拒絕,而是可以從源頭上自始就拒絕使用算法進行決策。例如對于是否可以發(fā)放貸款的決定,用戶不希望銀行首先通過算法進行決策,做出不予貸款的決定之后,用戶再實施要求解釋或予以拒絕的權(quán)利,而是自始希望有人工參與決策,考慮更多不同的現(xiàn)實情況。因此對算法推薦的拒絕,應(yīng)置于“事前階段”,且需以單獨、明示的告知方式,取得用戶同意。

    在司法救濟方面,面對算法推薦的訴訟,結(jié)合已有部分訴訟案件,可以考慮適當(dāng)提高平臺責(zé)任或更加合理地分配舉證責(zé)任。如在“算法推薦第一案”愛奇藝訴字節(jié)公司案,原告愛奇藝稱享有電視劇《延禧攻略》排他性信息網(wǎng)絡(luò)傳播權(quán),在該劇播放期間,被告字節(jié)公司在其所運營的今日頭條APP 上,未經(jīng)原告授權(quán),即向公眾傳播《延禧攻略》一劇的各類短視頻,包括切條、二次創(chuàng)作等多種形式。被告公司利用算法推薦技術(shù),使得這些短視頻被頻繁推薦。被告辯稱,今日頭條APP 僅是為用戶提供了信息存儲空間服務(wù),所有涉案短視頻均系用戶自行上傳,被告并未上傳任何侵權(quán)視頻。另外,被告對用戶上傳的內(nèi)容,均已盡到合理注意義務(wù),主觀上并不存在過錯,侵權(quán)行為不成立。但法院認(rèn)為,字節(jié)公司在本案中,提供的不僅是網(wǎng)絡(luò)空間信息存儲服務(wù),被告利用技術(shù)優(yōu)勢幫助用戶提高效率獲得更多信息的同時,也在為自身獲得更多商業(yè)利益和競爭優(yōu)勢,因此理應(yīng)對用戶的侵權(quán)行為負(fù)有更高的注意義務(wù),故被告行為構(gòu)成侵權(quán)。?在另一起關(guān)于算法歧視的“劉權(quán)訴美團外賣平臺案”中,法院沒有支持原告要求被告承擔(dān)侵權(quán)責(zé)任的訴請,因為法院認(rèn)為原告僅能提供兩份訂單,試圖證明配送費的差距,是無法證明外賣平臺存在“大數(shù)據(jù)殺熟”行為的。而且,兩份訂單下單時間不同,公司根據(jù)平臺交易量對配送費進行動態(tài)調(diào)整,符合其自身經(jīng)營行為,故原告敗訴。?

    在《延禧攻略》案中,被告在運用算法推薦技術(shù)擴大傳播范圍、獲得更多優(yōu)勢和利益的同時,也理應(yīng)承擔(dān)其帶來的風(fēng)險,應(yīng)對用戶的侵權(quán)行為負(fù)有更高的注意義務(wù),故法院判定其侵權(quán)成立。該案作為算法推薦司法第一案,為今后平臺使用算法推薦時應(yīng)承擔(dān)的注意義務(wù)提供了范例。在第二起美團大數(shù)據(jù)殺熟案中,按照目前“誰主張、誰舉證”的證明責(zé)任,原告需要證明被告存在算法歧視明顯有困難,故建議考慮適當(dāng)提高算法服務(wù)提供者舉證責(zé)任。原告提供初步侵權(quán)證據(jù),例如有遇到價格不公的遭遇,以此證明侵權(quán)行為的存在,之后,應(yīng)當(dāng)由算法服務(wù)提供者證明其作出該決策的過程,以及由此產(chǎn)生的結(jié)果是符合相關(guān)法律規(guī)定,公平、公正且合理的,這樣可能更有利于用戶行使救濟權(quán)利。

    總之,“人”的概念在技術(shù)權(quán)力的推動下不斷“滑坡”,科技不僅是人類進化的工具和媒介,也逐漸成為人的欲望和力量的體現(xiàn)?,成為深刻改變?nèi)伺c自然關(guān)系的權(quán)力力量,尤其在智媒時代,所有人和物都可以通過算法生成和控制,人類生命的意義也不再那么崇高和絕對,僅是數(shù)據(jù)系統(tǒng)的一個組成部分而已。

    算法帶給社會的風(fēng)險是隱秘的、擴散的、系統(tǒng)的,僅靠喚醒人的自主性及個體賦權(quán),尚難以全面確保個體獲得逃離算法操控的基礎(chǔ)和能力。需要在具有共識的規(guī)則體系框架內(nèi),通過政府、企業(yè)、用戶的多元協(xié)同合作,客觀理性地認(rèn)識算法風(fēng)險,主動構(gòu)建防御機制,增強個體權(quán)利效能,尊重“人”的自由意志,從而構(gòu)建尊重個體尊嚴(yán)與權(quán)利,并利于技術(shù)發(fā)展的平衡、共生的“人—機”智媒傳播生態(tài)體系。

    注釋:

    ① 單小曦、別君華:《人性化與自主性:媒介智能化進化的內(nèi)在機制與雙重結(jié)構(gòu)》,《中國新聞傳播研究》,2019 年第6 期,第51 頁。

    ② 彭蘭:《“數(shù)據(jù)化生存”:被量化、外化的人與人生》,《蘇州大學(xué)學(xué)報》(哲學(xué)社會科學(xué)版),2022 年第2 期,第160 頁。

    ③ Denise A Baker.Four Ironies of Self-Quantification:Wearable Technologies and the Quantified Self,Science and Engineering Ethics,https://doi.org/10.1007/s11948-020-00181-w,22 January 2020.

    ④ 隋巖:《群體傳播時代:信息生產(chǎn)方式的變革與影響》,《中國社會科學(xué)》,2018 年第11 期,第124 頁。

    ⑤ 於興中:《算法社會與人的秉性》,《中國法律評論》,2018 年第2 期,第57 頁。

    ⑥ 劉培、池忠軍:《算法的倫理問題及其解決進路》,《東北大學(xué)學(xué)報》(社會科學(xué)版),2019 年第2 期,第119 頁。

    ⑦ Neyland D,Mllers N.Algorithmic IF...THEN Rules and the Conditions and Consequences of Power.Information,Communication & Society,vol.20,no.1,2017.p.2.

    ⑧ 衣俊霖:《數(shù)字孿生時代的法律與問責(zé)——通過技術(shù)標(biāo)準(zhǔn)透視算法黑箱》,《東方法學(xué)》,2021 年第4 期,第79 頁。

    ⑨ Stahl BC,Timmermans J,Mittelstadt BD.The Ethics of Computing:A Survey of the Computing-Oriented Literature.Acm Computing Surveys(CSUR),vol.48,no.4,2016.p.27.

    ⑩ 趙樂瑄:《APP 用戶協(xié)議與隱私政策,你真的讀過嗎?》,https://mp.weixin.qq.com/s/cYBatGkuT3Oz6DW7DcZcKg,2022 年4 月29 日。

    ? 光明日報與武漢大學(xué)聯(lián)合調(diào)研組: 《保障安全的“權(quán)利書”,還是竊取信息的“任意門”——App 隱私協(xié)議現(xiàn)狀調(diào)查》,https://baijiahao.baidu.com/s? id=1708521630294149131 & wfr=spider & for=pc,2021 年8 月19 日。

    ? 京東隱私政策:https://about.jd.com/privacy/,2022 年10 月26 日。

    ? Lilian Edwards & Michael Veale.Slave to the Algorithm:Why a Right to an Explanation Is Probably Not the Remedy You Are Looking For,16 Duke Law & Technology Review,vol.16,no.1,2017.p.81.

    ? 謝琳、曾俊森:《個體賦權(quán)在算法決策治理中的定位》,《法治社會》,2022 年第1 期,第91 頁。

    ? 楊立新、趙鑫:《利用個人信息自動化決策的知情同意規(guī)則及保障——以個性化廣告為視角解讀〈個人信息保護法〉第24 條規(guī)定》,《法律適用》,2021 年第10 期,第27 頁。

    ? 盧衛(wèi)紅、楊新福:《人工智能與人的主體性反思》,《重慶郵電大學(xué)學(xué)報》(社會科學(xué)版),2023 年第2 期,第87 頁。

    ? 車洪波:《自主意識的由來與必然走向》,《學(xué)習(xí)與探索》,1997 年第1 期,第60 頁。

    ? 自動駕駛事故指2018 年3 月18 日,uber 自動駕駛汽車在亞利桑那州發(fā)生的交通事故。自動飛行事故指2019 年3 月10 日,埃塞俄比亞航空波音737MAX8 飛機墜毀,事故由波音公司安裝的自動駕駛操作系統(tǒng)(MCAS)造成。智能醫(yī)療事故指2021 年6 月,世界衛(wèi)生組織(WHO)發(fā)布“世界衛(wèi)生組織健康領(lǐng)域人工智能倫理與治理指南”(WHO Guidance on the Ethics and Governance of Artificial Intelligence for Health),《指南》指出人工智能在某些情況下?lián)p害人類自主決策,動搖人類在知識生產(chǎn)中的中心地位,導(dǎo)致認(rèn)知權(quán)威發(fā)生偏移。

    ? Nancy Owano.Asilomar AI Principles: A Framework for Human Value Alignment,https://techxplore.com/news/2017-02-asilomar-ai-principlesframework-human.pdf,6 February 2017.

    ? EU.Ethics Guidelines for Trustworthy AI,https://ec.europa.eu/futurium/en/ai-alliance-consultation.1.html,8 April 2019.

    ? UNESCO.Recommendation on the Ethics of Artificial Intelligence,https://unesdoc.unesco.org/ark:/48223/pf 0000381137,23 November 2021.

    ? 北京市海淀區(qū)人民法院一審民事判決書,(2018)京0108 民初49421 號。

    ? 湖南省長沙市芙蓉區(qū)人民法院一審民事判決書,(2018)湘0102 民初13515 號。

    ? 張旭:《技術(shù)時代的責(zé)任倫理學(xué):論漢斯·約納斯》,《中國人民大學(xué)學(xué)報》,2003 年第2 期,第70 頁。

    猜你喜歡
    自主性權(quán)利決策
    為可持續(xù)決策提供依據(jù)
    我們的權(quán)利
    決策為什么失誤了
    論不存在做錯事的權(quán)利
    法大研究生(2018年2期)2018-09-23 02:19:50
    英語學(xué)習(xí)的自主性及其教學(xué)應(yīng)用
    實用英語教材與藝術(shù)生自主性培養(yǎng)
    發(fā)揮主體作用,加強高中數(shù)學(xué)復(fù)習(xí)的自主性
    權(quán)利套裝
    Coco薇(2015年12期)2015-12-10 02:43:39
    維護科學(xué)的自主性
    愛一個人
    文苑·感悟(2012年12期)2012-12-13 01:53:52
    少妇的丰满在线观看| 成年动漫av网址| 成年动漫av网址| 国产熟女欧美一区二区| 午夜老司机福利片| av国产精品久久久久影院| 亚洲欧美日韩另类电影网站| 免费少妇av软件| 一二三四社区在线视频社区8| 日韩一本色道免费dvd| 别揉我奶头~嗯~啊~动态视频 | 老司机深夜福利视频在线观看 | 午夜福利免费观看在线| 嫁个100分男人电影在线观看 | 国产在线视频一区二区| 亚洲人成电影观看| 中国国产av一级| 老司机在亚洲福利影院| 亚洲国产看品久久| 亚洲九九香蕉| 菩萨蛮人人尽说江南好唐韦庄| 天堂8中文在线网| 欧美精品亚洲一区二区| kizo精华| 一区二区三区精品91| 丰满人妻熟妇乱又伦精品不卡| 又黄又粗又硬又大视频| 国产成人系列免费观看| 香蕉丝袜av| 视频区图区小说| 午夜免费鲁丝| 中文字幕制服av| 亚洲国产精品999| 国产精品 国内视频| 精品欧美一区二区三区在线| 欧美精品啪啪一区二区三区 | 黄片小视频在线播放| 精品免费久久久久久久清纯 | 免费看不卡的av| 亚洲一码二码三码区别大吗| 夫妻午夜视频| 在线观看www视频免费| 午夜免费男女啪啪视频观看| 十八禁人妻一区二区| 亚洲欧洲精品一区二区精品久久久| 男人爽女人下面视频在线观看| 女人高潮潮喷娇喘18禁视频| 久久人妻熟女aⅴ| 最新在线观看一区二区三区 | 国产成人一区二区在线| 又大又爽又粗| 久久久久久久精品精品| 国产爽快片一区二区三区| 91精品三级在线观看| 欧美日韩成人在线一区二区| 男女高潮啪啪啪动态图| 亚洲成人免费电影在线观看 | 大片免费播放器 马上看| 亚洲精品成人av观看孕妇| www.自偷自拍.com| 婷婷丁香在线五月| 大码成人一级视频| svipshipincom国产片| 日本av手机在线免费观看| 丰满少妇做爰视频| av国产久精品久网站免费入址| 最近手机中文字幕大全| 五月天丁香电影| 一级黄片播放器| 欧美 日韩 精品 国产| 国产野战对白在线观看| 欧美在线黄色| 亚洲男人天堂网一区| 老司机影院毛片| 国产精品久久久久久人妻精品电影 | 丰满迷人的少妇在线观看| av不卡在线播放| 亚洲精品在线美女| 久久精品久久久久久久性| 亚洲国产精品国产精品| 欧美精品高潮呻吟av久久| 亚洲视频免费观看视频| www.999成人在线观看| 90打野战视频偷拍视频| 欧美在线一区亚洲| 欧美成狂野欧美在线观看| 视频区图区小说| 2018国产大陆天天弄谢| 天天躁夜夜躁狠狠躁躁| tube8黄色片| 免费在线观看完整版高清| 老司机影院毛片| 亚洲精品自拍成人| 中文字幕人妻熟女乱码| 欧美国产精品一级二级三级| 欧美日韩黄片免| 亚洲,欧美,日韩| 十八禁人妻一区二区| 两个人看的免费小视频| 成人国产一区最新在线观看 | 一本大道久久a久久精品| 91成人精品电影| 少妇裸体淫交视频免费看高清 | 我的亚洲天堂| 91字幕亚洲| 亚洲人成77777在线视频| 精品国产一区二区久久| 老司机影院成人| 亚洲国产看品久久| 999精品在线视频| 深夜精品福利| 极品人妻少妇av视频| 午夜91福利影院| 黄网站色视频无遮挡免费观看| 十八禁高潮呻吟视频| 国产又色又爽无遮挡免| videosex国产| 亚洲精品日韩在线中文字幕| 日本一区二区免费在线视频| 一二三四社区在线视频社区8| 久热这里只有精品99| 久久av网站| 成人免费观看视频高清| 最近中文字幕2019免费版| 久久中文字幕一级| 久久九九热精品免费| 十分钟在线观看高清视频www| 欧美另类一区| 午夜日韩欧美国产| 久久国产精品影院| 波多野结衣av一区二区av| 精品少妇黑人巨大在线播放| 精品免费久久久久久久清纯 | 夫妻午夜视频| 欧美日韩国产mv在线观看视频| 午夜免费成人在线视频| 亚洲国产欧美一区二区综合| 国精品久久久久久国模美| 午夜免费成人在线视频| 十八禁人妻一区二区| 免费一级毛片在线播放高清视频 | 国产在线一区二区三区精| 国产成人精品在线电影| 久久久精品94久久精品| 18禁观看日本| 日韩av不卡免费在线播放| 久久综合国产亚洲精品| 日本五十路高清| cao死你这个sao货| 啦啦啦视频在线资源免费观看| 日本五十路高清| 国产成人精品无人区| 中国国产av一级| 久久久久久久大尺度免费视频| 大陆偷拍与自拍| 国产激情久久老熟女| 午夜两性在线视频| 中文字幕另类日韩欧美亚洲嫩草| 精品第一国产精品| 欧美av亚洲av综合av国产av| 欧美日韩视频精品一区| 真人做人爱边吃奶动态| 天天躁夜夜躁狠狠躁躁| 天天操日日干夜夜撸| av又黄又爽大尺度在线免费看| 国产日韩一区二区三区精品不卡| 国产亚洲av片在线观看秒播厂| 日韩人妻精品一区2区三区| 国产日韩一区二区三区精品不卡| 丝袜喷水一区| 亚洲一卡2卡3卡4卡5卡精品中文| a 毛片基地| 久久久久精品人妻al黑| 欧美日韩亚洲国产一区二区在线观看 | 亚洲精品久久成人aⅴ小说| 欧美成狂野欧美在线观看| 午夜日韩欧美国产| 国产不卡av网站在线观看| 免费在线观看黄色视频的| 老司机深夜福利视频在线观看 | 午夜av观看不卡| 亚洲国产欧美网| 精品人妻在线不人妻| 观看av在线不卡| 亚洲自偷自拍图片 自拍| 91麻豆精品激情在线观看国产 | 91九色精品人成在线观看| 两个人免费观看高清视频| av福利片在线| 97人妻天天添夜夜摸| 十八禁网站网址无遮挡| 夫妻午夜视频| av在线老鸭窝| 欧美日韩视频精品一区| 国产精品一区二区精品视频观看| 丝袜美腿诱惑在线| 高潮久久久久久久久久久不卡| 精品人妻1区二区| 亚洲av国产av综合av卡| 2021少妇久久久久久久久久久| 久久久精品免费免费高清| 精品熟女少妇八av免费久了| 亚洲五月色婷婷综合| 国产男女超爽视频在线观看| 久久久久久久久免费视频了| 波多野结衣av一区二区av| 嫁个100分男人电影在线观看 | 国产成人精品久久久久久| 高潮久久久久久久久久久不卡| 亚洲欧美色中文字幕在线| 亚洲五月婷婷丁香| 国产精品久久久久久精品电影小说| 看免费成人av毛片| 大片电影免费在线观看免费| 久久久久久人人人人人| 视频在线观看一区二区三区| 欧美性长视频在线观看| 国产男女超爽视频在线观看| 久久人人爽av亚洲精品天堂| 成年动漫av网址| 亚洲欧洲国产日韩| 国产亚洲av高清不卡| 黑丝袜美女国产一区| 欧美大码av| 免费黄频网站在线观看国产| 91国产中文字幕| 亚洲欧美一区二区三区久久| 欧美日本中文国产一区发布| 亚洲欧洲日产国产| 女人被躁到高潮嗷嗷叫费观| 欧美精品人与动牲交sv欧美| 精品高清国产在线一区| 亚洲成av片中文字幕在线观看| 中文精品一卡2卡3卡4更新| 欧美 日韩 精品 国产| 交换朋友夫妻互换小说| 一本久久精品| 亚洲成色77777| 制服人妻中文乱码| 精品一品国产午夜福利视频| 国产成人一区二区三区免费视频网站 | 日韩电影二区| 国产三级黄色录像| 国产成人欧美在线观看 | 亚洲av男天堂| 在线亚洲精品国产二区图片欧美| 国产精品国产三级专区第一集| 国产在视频线精品| 久久精品人人爽人人爽视色| 色视频在线一区二区三区| 美女午夜性视频免费| 美女主播在线视频| 精品国产超薄肉色丝袜足j| 大话2 男鬼变身卡| 美国免费a级毛片| 免费看不卡的av| 爱豆传媒免费全集在线观看| 精品人妻1区二区| 国产精品一国产av| 亚洲熟女毛片儿| 精品免费久久久久久久清纯 | 欧美在线一区亚洲| 热99国产精品久久久久久7| 亚洲国产日韩一区二区| 9色porny在线观看| 18禁国产床啪视频网站| 国产精品 欧美亚洲| 国产亚洲精品第一综合不卡| 人人妻人人澡人人看| 亚洲熟女毛片儿| 亚洲国产精品一区二区三区在线| 日韩免费高清中文字幕av| 九草在线视频观看| 精品一区二区三区av网在线观看 | 久久国产精品影院| 99国产精品一区二区蜜桃av | 亚洲av欧美aⅴ国产| 国产1区2区3区精品| 宅男免费午夜| √禁漫天堂资源中文www| 精品亚洲成a人片在线观看| 午夜av观看不卡| 久热爱精品视频在线9| 精品国产乱码久久久久久男人| 日日爽夜夜爽网站| 在线天堂中文资源库| 激情五月婷婷亚洲| 午夜福利视频在线观看免费| 午夜av观看不卡| 秋霞在线观看毛片| 亚洲精品日韩在线中文字幕| 亚洲专区国产一区二区| 欧美精品一区二区大全| 在线 av 中文字幕| 国产成人精品无人区| 人妻人人澡人人爽人人| 波野结衣二区三区在线| 精品高清国产在线一区| www.999成人在线观看| 国产片内射在线| 日韩 欧美 亚洲 中文字幕| 免费不卡黄色视频| 新久久久久国产一级毛片| 日韩伦理黄色片| 在线观看www视频免费| cao死你这个sao货| www日本在线高清视频| 成人亚洲欧美一区二区av| svipshipincom国产片| 精品人妻1区二区| 在线观看免费午夜福利视频| 每晚都被弄得嗷嗷叫到高潮| 麻豆国产av国片精品| 亚洲五月色婷婷综合| 国产精品久久久久久人妻精品电影 | 99热网站在线观看| 久久精品国产a三级三级三级| 99精品久久久久人妻精品| 一区二区三区激情视频| 亚洲精品久久久久久婷婷小说| 精品福利观看| 久久免费观看电影| 曰老女人黄片| 久久久久久久久久久久大奶| 九色亚洲精品在线播放| 视频在线观看一区二区三区| 国产日韩欧美视频二区| 超色免费av| 国产精品免费视频内射| 男女边摸边吃奶| 久久久久网色| 电影成人av| 亚洲一区中文字幕在线| 永久免费av网站大全| 日韩免费高清中文字幕av| 夫妻性生交免费视频一级片| 精品卡一卡二卡四卡免费| 啦啦啦 在线观看视频| 黄色怎么调成土黄色| 91麻豆精品激情在线观看国产 | 久久人人爽av亚洲精品天堂| 91精品三级在线观看| 人人澡人人妻人| 亚洲视频免费观看视频| 两个人看的免费小视频| 午夜免费男女啪啪视频观看| 国产精品免费大片| 国产精品国产av在线观看| 大码成人一级视频| 极品少妇高潮喷水抽搐| 精品熟女少妇八av免费久了| 韩国精品一区二区三区| 女人精品久久久久毛片| 丝袜喷水一区| 国产亚洲欧美精品永久| 精品一品国产午夜福利视频| 国产片内射在线| 热99久久久久精品小说推荐| 搡老乐熟女国产| 国产一卡二卡三卡精品| 欧美久久黑人一区二区| 一二三四社区在线视频社区8| 我的亚洲天堂| 美女高潮到喷水免费观看| 日日爽夜夜爽网站| 亚洲人成77777在线视频| 精品卡一卡二卡四卡免费| 国产精品一区二区在线观看99| 少妇猛男粗大的猛烈进出视频| 国产精品.久久久| 日日夜夜操网爽| 十八禁网站网址无遮挡| 91精品伊人久久大香线蕉| 十八禁网站网址无遮挡| 亚洲色图综合在线观看| 人人妻人人澡人人爽人人夜夜| 免费在线观看日本一区| 国产精品九九99| av天堂久久9| 久久精品aⅴ一区二区三区四区| 高清av免费在线| 巨乳人妻的诱惑在线观看| 中文精品一卡2卡3卡4更新| 精品国产一区二区三区四区第35| 欧美另类一区| 欧美黑人欧美精品刺激| 日日夜夜操网爽| 性高湖久久久久久久久免费观看| 久久精品国产综合久久久| 亚洲av电影在线进入| 亚洲中文日韩欧美视频| 久久国产精品大桥未久av| 9191精品国产免费久久| 成人亚洲欧美一区二区av| av电影中文网址| 日本a在线网址| 欧美国产精品va在线观看不卡| 最近最新中文字幕大全免费视频 | 国产熟女欧美一区二区| 一本久久精品| 久久久久久久久久久久大奶| 国产亚洲一区二区精品| 观看av在线不卡| 伊人久久大香线蕉亚洲五| 日本wwww免费看| 蜜桃国产av成人99| 满18在线观看网站| 成人影院久久| av在线app专区| 久久天躁狠狠躁夜夜2o2o | 人妻一区二区av| 桃花免费在线播放| 午夜视频精品福利| 亚洲激情五月婷婷啪啪| 国产精品久久久久成人av| 久久国产精品影院| 亚洲成色77777| 精品一区二区三区av网在线观看 | 国产激情久久老熟女| 精品人妻1区二区| 美女主播在线视频| 秋霞在线观看毛片| 满18在线观看网站| 女人爽到高潮嗷嗷叫在线视频| www.999成人在线观看| 久久久精品94久久精品| 国产精品麻豆人妻色哟哟久久| 久久精品久久久久久噜噜老黄| 99热全是精品| 亚洲黑人精品在线| 亚洲av片天天在线观看| 精品少妇黑人巨大在线播放| av天堂久久9| 国产精品香港三级国产av潘金莲 | 建设人人有责人人尽责人人享有的| 大陆偷拍与自拍| 啦啦啦在线免费观看视频4| 免费在线观看完整版高清| 久久久久视频综合| 亚洲 国产 在线| 男人操女人黄网站| 又紧又爽又黄一区二区| cao死你这个sao货| 高清欧美精品videossex| 国产成人精品在线电影| 一区二区三区四区激情视频| 18禁国产床啪视频网站| 亚洲国产中文字幕在线视频| 搡老岳熟女国产| 亚洲免费av在线视频| 好男人电影高清在线观看| 国产熟女午夜一区二区三区| 久久人人爽人人片av| 母亲3免费完整高清在线观看| 老司机深夜福利视频在线观看 | 欧美在线一区亚洲| 日本欧美国产在线视频| 欧美激情高清一区二区三区| 亚洲成人手机| 午夜福利在线免费观看网站| 久久 成人 亚洲| 久久久国产精品麻豆| 超碰成人久久| 国产黄频视频在线观看| 日韩制服丝袜自拍偷拍| 2018国产大陆天天弄谢| 久久精品国产亚洲av涩爱| 精品少妇内射三级| 男女下面插进去视频免费观看| 久久影院123| 黄片小视频在线播放| 91精品国产国语对白视频| 免费女性裸体啪啪无遮挡网站| 国产精品一区二区精品视频观看| 69精品国产乱码久久久| 无遮挡黄片免费观看| 久久久精品94久久精品| 美女高潮到喷水免费观看| 2021少妇久久久久久久久久久| 这个男人来自地球电影免费观看| 自线自在国产av| 色综合欧美亚洲国产小说| a级片在线免费高清观看视频| 高清不卡的av网站| 久久精品国产亚洲av高清一级| 亚洲五月色婷婷综合| 国产欧美日韩综合在线一区二区| 精品国产一区二区三区四区第35| 色视频在线一区二区三区| 最近中文字幕2019免费版| 亚洲精品一卡2卡三卡4卡5卡 | 国产一区亚洲一区在线观看| 人妻一区二区av| 午夜91福利影院| 久久免费观看电影| 成年av动漫网址| 2018国产大陆天天弄谢| 欧美日本中文国产一区发布| 免费日韩欧美在线观看| 成年人黄色毛片网站| 国产亚洲精品第一综合不卡| 成人影院久久| 大陆偷拍与自拍| 又紧又爽又黄一区二区| 菩萨蛮人人尽说江南好唐韦庄| 一区二区日韩欧美中文字幕| 国产免费视频播放在线视频| 男的添女的下面高潮视频| 亚洲精品中文字幕在线视频| 可以免费在线观看a视频的电影网站| 亚洲成人国产一区在线观看 | 美女大奶头黄色视频| 亚洲精品中文字幕在线视频| 如日韩欧美国产精品一区二区三区| 美女视频免费永久观看网站| 老汉色∧v一级毛片| 国产黄色免费在线视频| 精品国产超薄肉色丝袜足j| 只有这里有精品99| 999精品在线视频| 女警被强在线播放| 日本五十路高清| 国产精品人妻久久久影院| 亚洲国产看品久久| 男女国产视频网站| 在线观看免费视频网站a站| 精品一区在线观看国产| 在线精品无人区一区二区三| av在线播放精品| 久久精品人人爽人人爽视色| 咕卡用的链子| 国产免费福利视频在线观看| 欧美性长视频在线观看| 大话2 男鬼变身卡| 欧美日韩av久久| 99国产精品一区二区蜜桃av | 欧美精品一区二区免费开放| 久久人人爽av亚洲精品天堂| 少妇被粗大的猛进出69影院| 中文字幕最新亚洲高清| 人妻一区二区av| 啦啦啦中文免费视频观看日本| 五月开心婷婷网| 9191精品国产免费久久| 欧美激情高清一区二区三区| 欧美精品啪啪一区二区三区 | 日韩熟女老妇一区二区性免费视频| 少妇猛男粗大的猛烈进出视频| 老司机影院毛片| 中文字幕精品免费在线观看视频| 51午夜福利影视在线观看| 老司机深夜福利视频在线观看 | 最黄视频免费看| 韩国精品一区二区三区| 在线av久久热| 久久狼人影院| 成人18禁高潮啪啪吃奶动态图| 国产在线视频一区二区| 丝袜美足系列| 亚洲欧美精品自产自拍| 久久久久网色| bbb黄色大片| 热99久久久久精品小说推荐| 国产成人a∨麻豆精品| 亚洲精品日韩在线中文字幕| 亚洲成人免费av在线播放| 黄片播放在线免费| 国产福利在线免费观看视频| 久久久久久久国产电影| 国产视频首页在线观看| 肉色欧美久久久久久久蜜桃| 晚上一个人看的免费电影| 亚洲欧洲日产国产| 国产男女超爽视频在线观看| 啦啦啦啦在线视频资源| 成人三级做爰电影| 午夜福利免费观看在线| 国产精品一二三区在线看| 一本—道久久a久久精品蜜桃钙片| www.999成人在线观看| 9热在线视频观看99| 亚洲伊人久久精品综合| 亚洲av美国av| 曰老女人黄片| 国产成人91sexporn| 亚洲,欧美精品.| 老司机影院成人| 亚洲欧美成人综合另类久久久| 国产一卡二卡三卡精品| 免费日韩欧美在线观看| 亚洲欧美成人综合另类久久久| 18禁国产床啪视频网站| 在现免费观看毛片| 午夜老司机福利片| 亚洲av美国av| 丝袜脚勾引网站| 两人在一起打扑克的视频| 精品人妻熟女毛片av久久网站| 欧美精品亚洲一区二区| 日韩大片免费观看网站| 在线天堂中文资源库| 亚洲精品国产av蜜桃| av天堂久久9| 亚洲国产精品一区二区三区在线| 韩国精品一区二区三区| 欧美日韩视频高清一区二区三区二| 在线看a的网站| 人人妻,人人澡人人爽秒播 | 另类亚洲欧美激情| 无限看片的www在线观看| 欧美日韩福利视频一区二区| 18禁国产床啪视频网站| 男人爽女人下面视频在线观看| 国产成人91sexporn| 在线天堂中文资源库|