• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    智媒時代算法推薦對用戶自主性的解構(gòu)與重構(gòu)*
    ——基于規(guī)則治理的視角

    2023-04-09 02:10:54周麗娜
    關(guān)鍵詞:自主性權(quán)利決策

    —周麗娜—

    人工智能生成物(AIGC)的顛覆性代表ChatGPT 應(yīng)聲出世之后,再次刷新了人類對人工智能邊界的認(rèn)知,也再次加速了人類文明的進程。ChatGPT 不僅建立了一個大語言模型,而且其已經(jīng)擁有一定的認(rèn)知、理解和判斷能力,甚至擁有和人類類似的思維能力?!叭斯ぶ悄茉谕瓿蓪θ祟愅庠诠倌?視覺、聽覺等)的延伸后,進入到對人體延伸的最后階段——意識的技術(shù)模擬階段?!雹俣鴻C器意識的產(chǎn)生是否會對未來人類文明造成不可逆轉(zhuǎn)的危機和風(fēng)險,還尚未可知。

    一、問題的提出

    (一)智媒傳播顛覆“以人為中心”的傳播模式

    人工智能技術(shù)的迭代加速發(fā)展,徹底改變了“以內(nèi)容為中心”的傳統(tǒng)大眾傳播模式和“以用戶為中心”的社交媒體傳播模式,迎來“以數(shù)據(jù)和算法驅(qū)動內(nèi)容生產(chǎn)為中心”的智能傳播模式時代。如果說,社交傳播撼動了傳統(tǒng)大眾傳播確立的“把關(guān)人”及“議程設(shè)置”的專業(yè)內(nèi)容生產(chǎn)和控制傳播模式,奠定了“去中心化”“人人都有麥克風(fēng)”的用戶內(nèi)容生產(chǎn)傳播模式,那么以語言生成模型和語義理解模型為基底的生成式人工智能,則直接解構(gòu)了一個多世紀(jì)以來形成的“以人為中心”的傳播理論體系,“人”再也不是信息和內(nèi)容理所當(dāng)然的生產(chǎn)者和主導(dǎo)者。

    智能傳媒的應(yīng)用,使人的主體性逐漸消解,而機器主體性(或擬主體性)逐漸確立。經(jīng)過一段時間的人工“喂養(yǎng)”和主動學(xué)習(xí),人工智能機器就能夠模仿,甚至模擬人的意識,自主生產(chǎn)內(nèi)容,進而傳播。此外,人工智能通過大數(shù)據(jù)和算法,根據(jù)主體的喜好、興趣、習(xí)慣等,對信息進行千人千面的個性化推送,甚至“人”還會受到機器自動決策的影響,在頻頻推送的“猜你喜歡”情境下,改變個體意志,迎合機器供給。如果說人們目前習(xí)慣使用“人機交互、人機協(xié)同、人機共生”等用語,暗示“人”在“機”前,“人”尚且掌握了一定的主動權(quán)和控制權(quán),那么可以想象,“機人”時代的到來可能指日可待。

    (二)智能傳播運算法使個體被量化、群體化,喪失自主性

    根據(jù)算法推薦技術(shù)原理,其所依賴或存在的所有個性化指標(biāo)終將轉(zhuǎn)化為“0”和“1”的二進制代碼,有關(guān)個體的一切終將以數(shù)據(jù)化的形式呈現(xiàn)。在算法世界,個體的人成為冰冷的數(shù)據(jù),人完全被數(shù)據(jù)化和標(biāo)簽化。個體的集合,僅是具有流通性的數(shù)據(jù)庫資源和商品,是“脫離情感、情緒、感知的數(shù)據(jù)化字符,是被數(shù)據(jù)‘量化的自我,也是市場化的自我’”②。

    美國學(xué)者貝克(Baker)曾對量化自我提出四點質(zhì)疑:量化自我究竟是讓人們更多、更好地了解自己,還是走向它的反面? 是一種更強的自我控制,抑或是一種更強的社會控制? 是讓人們變得更幸福,還是從來沒有讓他們得到真正的幸福? 是讓人們有了更多的選擇,還是侵犯了他們選擇的余地?③很多時候,結(jié)果都有可能是后者。

    個體被量化后,還可能會引發(fā)個體被群化和馴化的風(fēng)險。算法程序根據(jù)掌握的量化數(shù)據(jù)和變量,在數(shù)字空間,“跨越興趣、階層、地域的隔閡將全部的群體關(guān)系整合起來,形成群體內(nèi)部、群體之間的互動,產(chǎn)生堪比大眾傳播覆蓋面的影響效果”④。在群體互動中,渴望展現(xiàn)或追求個性的主體,受群化的興趣、消費、反饋等多方面影響,最終很可能淹沒于群體,失去自我。如在某社交平臺,個體因被算法標(biāo)簽為與他人有共同愛好,而被推送某款產(chǎn)品,不免受到他人或群體消費暗示影響,進而喪失個人判斷和決策,直至被群體完全馴化,喪失自主性。

    理想的人類社會,應(yīng)該是人的智力、情感、理性、德行等均能得到學(xué)習(xí)、發(fā)展和認(rèn)可的社會。在算法社會,一段時間內(nèi),可以使人的智性得到單向度發(fā)展或提高,但過度的算法進化,終將使人喪失人性中更為寶貴和自然的組成部分,即以情感、內(nèi)心、理性為基礎(chǔ)的心性和靈性。⑤

    (三)智能傳播的規(guī)則控制尚不完善

    算法與數(shù)據(jù)、算力被稱為人工智能技術(shù)發(fā)展的三大核心要素,其中算法推薦的廣泛應(yīng)用,對智媒時代信息量過載問題提供了強有力的技術(shù)支持,一定程度上解決了信息無限性與用戶個體需求有限性之間的矛盾,滿足了用戶在快節(jié)奏時代以最少時間成本獲取個性化信息選擇的訴求,但也衍生了“信息繭房”“算法黑箱”“算法歧視”“虛假新聞”“用戶隱私侵犯”等現(xiàn)實問題。

    同時,算法還對公眾的社會活動和個人活動進行規(guī)訓(xùn),并且在重構(gòu)機器與人、技術(shù)與社會之間的關(guān)系過程中,算法正從一項單純的技術(shù),發(fā)展為能夠“干涉甚至主導(dǎo)人類社會事務(wù)的‘算法權(quán)力’(algorithmic power)”⑥,算法不僅打造社會景象與文化意涵,甚至直接影響并控制著我們每個普通人的日常生活,甚至獲得了“真理地位”⑦。

    盡管世界各國均已認(rèn)識到算法風(fēng)險,并普遍認(rèn)為算法應(yīng)當(dāng)具備透明、公正和公平、非惡意、負(fù)責(zé)任和保護隱私等基本倫理規(guī)則,但在理論闡釋和實際應(yīng)用中,仍存在實質(zhì)性分歧。智媒時代,用戶對這種算法權(quán)力能否拒絕? 用戶對算法決策的使用能否自主決定? 對算法歧視、算法黑箱和信息繭房等負(fù)面作用是否有知情及投訴的權(quán)利? 人類在這場技術(shù)變革引發(fā)的社會變革下,需如何應(yīng)對或自處?

    二、現(xiàn)有規(guī)則對算法與用戶自主性的建構(gòu)

    面對智能媒體帶來的新技術(shù)形式和傳播實踐,重新審視和界定“人—機”二元關(guān)系,處理好以智能媒體為代表的非人類傳播主體與人始終作為傳播主體的共生關(guān)系,是防范智能技術(shù)可能引發(fā)社會危機和風(fēng)險的重要議題。各國目前主要的治理邏輯和思路,是通過法律和倫理雙層面的規(guī)則建構(gòu),運用國家強制力的硬約束和道德倫理的軟保障,廓清算法“權(quán)力”邊界,試圖保障用戶的權(quán)利自治和主體意志自由。

    (一)算法推薦技術(shù)及其規(guī)則建構(gòu)

    通常來說,算法推薦技術(shù)是人工智能技術(shù)的一種應(yīng)用,“技術(shù)層面看,算法系統(tǒng)的體系結(jié)構(gòu)由界面、信息和模型三個層次構(gòu)成”⑧。界面層主要功能是對信息進行加工和處理,繼而構(gòu)建出用戶畫像,這是算法推薦系統(tǒng)的基礎(chǔ)。在界面層,系統(tǒng)將收集到的用戶基本數(shù)據(jù)和行為數(shù)據(jù)轉(zhuǎn)化為事實標(biāo)簽,然后傳遞至信息層與模型層進行建模和決策。在用戶畫像基礎(chǔ)上,系統(tǒng)根據(jù)用戶行為(如點擊、評論、轉(zhuǎn)發(fā)、點贊、收藏等)、訪問時長等設(shè)置相應(yīng)權(quán)重,從中發(fā)現(xiàn)用戶的喜好、習(xí)慣和興趣,計算出用戶對某類信息的興趣標(biāo)簽值,找出有相似行為的用戶集,從而進行信息分發(fā)。算法技術(shù)主要應(yīng)用于信息層與模型層。

    目前我國對算法推薦技術(shù)應(yīng)用已經(jīng)建立起一定的法律規(guī)則體系,涵蓋內(nèi)容包括算法應(yīng)用、審核、監(jiān)督、溯源、備案、解釋、拒絕等諸多方面;同時,國家新一代人工治理專業(yè)委員會還發(fā)布了《新一代人工智能倫理規(guī)范》,提出了增進人類福祉、促進公平公正、保護隱私安全、確??煽乜尚?、強化責(zé)任擔(dān)當(dāng)、提升倫理素養(yǎng)6 項基本倫理要求。但在實踐中,對算法控制的實際效力,以及倫理原則的解釋和應(yīng)用,仍無法避免“算法歧視”產(chǎn)生“騎手困于算法”等現(xiàn)實風(fēng)險和問題。

    (二)用戶自主性及其規(guī)則建構(gòu)

    自主性(autonomy)即自我管理,是主體“構(gòu)建自我目標(biāo)和價值且自由地作出決定付諸行動的能力”⑨,主要體現(xiàn)主體的意志自由及決策自由。自主性原則源自康德(Immanuel Kant)的自由理論,認(rèn)為每個個體都有決定自己命運的權(quán)利。

    用戶自主性規(guī)則層面的建構(gòu),主要體現(xiàn)在保障用戶知情權(quán)、解釋權(quán)、選擇權(quán)、拒絕權(quán)等多項權(quán)利方面。

    1.知情權(quán)、解釋權(quán)

    廣義而言,知情權(quán)是公民知悉、獲取信息的自由和權(quán)利,本文僅討論公民的民事知情權(quán),即個體對于自身信息了解、知悉的權(quán)利。

    個人信息知情權(quán)指信息主體對其個人信息享有知情的權(quán)利,具體知情的內(nèi)容包括誰收集的個人信息、收集這些信息用于何種目的、信息將以何種方式進行使用、信息將會被處理者存儲多長時間、信息傳遞給哪些第三方等?!痘ヂ?lián)網(wǎng)信息服務(wù)算法推薦管理辦法》規(guī)定,使用算法服務(wù)的用戶,算法服務(wù)提供者應(yīng)以顯著方式告知用戶其提供算法推薦服務(wù)的情況,如應(yīng)當(dāng)公示它的基本原理是什么,它是如何運行的,它的應(yīng)用場景有哪些,以及它有何使用目的。

    算法解釋權(quán)是用戶個體(或稱數(shù)據(jù)主體)有權(quán)要求算法使用者或數(shù)據(jù)控制者對其使用的算法進行解釋,該解釋應(yīng)當(dāng)具體、清晰、明確、具有實質(zhì)意義。從時間上看,算法解釋權(quán)屬于事后解釋,一般是個體在獲得算法決策結(jié)果后,要求控制者對該決策結(jié)果提供相應(yīng)的解釋。

    2.選擇權(quán)

    信息選擇權(quán)是指用戶有權(quán)自主選擇信息,不受他人干涉。該權(quán)利表明用戶在獲取信息的過程中,能夠根據(jù)自己的想法和意志,自主地選擇和支配信息,也就是算法的使用不得干涉用戶信息選擇自由,用戶有權(quán)決定自己接收或者閱讀哪些信息、不接收或者閱讀哪些信息。用戶擁有選擇權(quán),這實質(zhì)上是對人自主權(quán)的尊重。

    3.拒絕權(quán)

    算法拒絕權(quán)指個人對算法應(yīng)用或其結(jié)果享有抵制的權(quán)利。我國《個人信息保護法》第24 條即是對算法拒絕權(quán)的規(guī)定,包括可以拒絕商業(yè)營銷、個性化推送以及特定情況下的自動化決策。

    如同在數(shù)字社會中個體有拒絕接入數(shù)字世界或選擇是否使用數(shù)字技術(shù)的權(quán)利,對算法技術(shù)而言,個體也有自主決定是否使用算法的權(quán)利,這也是生活方式的一種意愿和選擇。

    三、現(xiàn)有規(guī)則下算法對用戶自主性的解構(gòu)

    盡管在現(xiàn)有法律和倫理規(guī)則框架下,算法似乎是“帶上了鐐銬”,但通過實踐檢視,算法正裹挾大數(shù)據(jù),對人的感情、認(rèn)知,甚至身體健康產(chǎn)生影響,借助“技術(shù)”的掩護,正逐漸剝奪人的自由意志,并最終剝奪自我意志自主控制的權(quán)利和能力。

    (一)用戶個人信息的提供非完全自主性

    如前所述,技術(shù)層面而言,算法推薦基礎(chǔ)是個人數(shù)據(jù)收集和用戶畫像,而這二者的前提是用戶知情同意的情況下對個人信息的自愿提供。雖然在法律上我國已經(jīng)確立了知情同意的強制性規(guī)定,體現(xiàn)主體對個人信息具有決定權(quán)和自主性,但實際上,知情同意原則僅是形同虛設(shè)、徒有其表而已。

    2022 年4 月,有記者在蘋果的應(yīng)用市場中下載了免費“排行榜”前十的APP,在對其用戶協(xié)議以及隱私政策進行統(tǒng)計時發(fā)現(xiàn),這十款A(yù)PP 的用戶協(xié)議、用戶條款的文本總字?jǐn)?shù)超過10 萬字,隱私協(xié)議則共計約12 萬字,二者合計約為22 萬多字,每款A(yù)PP 需要用戶“同意并繼續(xù)”的文本內(nèi)容平均為2.2 萬字,用戶讀完一款A(yù)PP 的用戶協(xié)議與隱私政策,快則需要40 分鐘,慢則1 個小時。⑩2021 年8 月,《光明日報》與高校和研究所組成調(diào)研組,分別對1036 人進行問卷調(diào)查和深度訪談,并對15 類共150 款A(yù)pp 的隱私協(xié)議進行分析,發(fā)現(xiàn)在安裝App 時,有77.8%的用戶“很少或從未”閱讀過隱私協(xié)議。?很多網(wǎng)友自嘲道“撒過最多的謊就是‘我已閱讀并同意用戶協(xié)議’”,因此很難得出結(jié)論,用戶已經(jīng)充分、清晰地知情算法推薦所需要的有關(guān)個體的信息數(shù)據(jù)的收集和處理狀況,更不用說個體有自我決定的能力和權(quán)利。

    (二)算法推薦消解了用戶自主性的各項權(quán)利

    算法表面上是優(yōu)化公眾對信息的選擇,公眾可以在算法給定的范圍內(nèi)快速做出選擇和決定,但這實則是算法對公眾自主性原則的消解。用戶每次基于算法而做出的決定,看似微乎其微、不足為道,但日積月累下來,用戶就習(xí)慣于依賴算法給出的推薦結(jié)果和范圍,而不再積極地、主動地去找尋可能的其他決策,久而久之,用戶自主性屈服于算法,算法逐漸從一項技術(shù)演變?yōu)橐环N權(quán)力。

    1.用戶對算法推薦或不充分知情或一無所知

    在算法推薦語境下,用戶知情權(quán)的消解,主要體現(xiàn)在兩個方面:一個是對涉及個人數(shù)據(jù)的用戶協(xié)議的不完全知情或完全不知情;一個是對算法推薦運行機制的不知情,即存在算法黑箱。

    對涉及個人數(shù)據(jù)的完全不知情或不完全知情,前已論述,在于用戶對用戶協(xié)議或隱私協(xié)議無法進行實質(zhì)性知情及控制,知情權(quán)在用戶知情同意的偽裝下,其內(nèi)容并未實質(zhì)性觸達到用戶,導(dǎo)致用戶對個人信息各階段的處理沒有完整的知情權(quán)。

    對算法推薦運行機制的不知情,是對用戶知情權(quán)的另一種侵害。不論是在用戶協(xié)議中,還是隱私協(xié)議中,用戶都很難知情自己的數(shù)據(jù)是如何應(yīng)用于算法的。例如,在京東網(wǎng)的隱私政策中,對商品和服務(wù)信息的展示,其條款是這樣描述的: “為了向您提供搜索歷史、瀏覽記錄、收藏的商品或店鋪、關(guān)注的店鋪、購物車或訂單商品或服務(wù)展示服務(wù),我們會收集您的瀏覽信息、搜索記錄、收藏記錄、關(guān)注記錄、加購信息、訂單信息。我們會根據(jù)您的上述信息以及其他您已授權(quán)的信息,進行數(shù)據(jù)分析、預(yù)測您的偏好特征,在京東服務(wù)或者其他第三方應(yīng)用中向您推送您可能感興趣的商品/服務(wù)、商業(yè)廣告、商業(yè)性短信及其他營銷信息?!?這樣的告知,于用戶而言,似乎說了什么,又似乎什么也沒說,用戶對網(wǎng)站如何使用這些數(shù)據(jù)進行推送或產(chǎn)生推薦列表,仍然是一頭霧水。2022 年,為應(yīng)對算法黑箱問題,增加算法透明性和可解釋性,政府推出算法備案制度,要求使用算法的企業(yè)向公眾公示算法運行機制、使用的基本原理以及使用目的,但對用戶而言,此舉對用戶知情權(quán)并無改善。因為用戶對于算法知情的終極目的,不是要知道會收集哪些數(shù)據(jù)、采取的是哪種類別的算法,而是需要知道這種運算的算法對個體而言可能會產(chǎn)生怎樣的后果,對個人權(quán)益是否會產(chǎn)生負(fù)面的作用? 未來要如何更好地利用算法發(fā)揮正面作用、增加信息多元化,避免信息繭房? 個體在算法面前,能不能有主動性或者決定性? 但這些問題對用戶而言,都無法從所公示的信息中獲得答案。

    另一方面,算法解釋或透明度原則雖然可能對算法黑箱予以適當(dāng)糾偏,但過度依賴透明處理原則會陷入“透明陷阱”(transparency fallacy),即個體往往缺乏必要的專業(yè)知識來有意義地行使這些個人權(quán)利。?僅有當(dāng)數(shù)據(jù)主體可以真正理解特定算法所依據(jù)的因素而做出決策時,算法解釋的邏輯才是有意義的。因此,算法透明的核心要義在于能夠在數(shù)據(jù)主體有疑問時提供有意義的、樸實的、普通用戶能夠明白的解釋,從而使用戶可以充分知悉算法作出決策的邏輯,繼而行使質(zhì)疑和問責(zé)的權(quán)利。

    2.用戶只能在算法推薦的范圍內(nèi)進行有限的選擇

    算法推薦技術(shù)在信息分發(fā)方面的優(yōu)勢,使用戶可以擺脫傳統(tǒng)專業(yè)媒體設(shè)置的“議程”,一定程度上,可以實現(xiàn)“我的信息我做主”,自主選擇感興趣的信息?;蛟S有人認(rèn)為用戶至此掌握了信息的選擇權(quán),但實際上,這種選擇權(quán)是對算法推薦結(jié)果的一種有限選擇,而不是出于個體意志的自由選擇。算法推薦所運用的過濾機制,其邏輯過于注重用戶偏好,而忽視了諸如真實、客觀、理性等其他價值理念,實際上是損害了用戶的信息選擇權(quán)。

    用戶能夠選擇的范圍不是看或者不看什么信息,而是在算法推薦的范圍內(nèi),接受還是拒絕算法推薦的信息。因此,用戶選擇的自主性是基于算法推薦的結(jié)果,而選擇的范圍也是基于算法推薦的結(jié)果。個體在算法環(huán)境下,根據(jù)機器計算結(jié)果,通過接受或拒絕模式,與機器進行對話和互動,再代入機器運算模型,繼續(xù)維持或調(diào)整算法推薦結(jié)果,再進一步測試是否符合用戶需求。在這樣“機器—人—機器”的循環(huán)測試中,算法推薦的應(yīng)用,并沒有解決用戶信息過載的問題,反而使用戶更加依賴算法和機器。用戶的點擊、取消、拒絕、點贊、收藏等操作,其實是在和機器完成對話,進而不斷地接受機器的分析、畫像,甚至學(xué)習(xí)和模仿,從而給出看似最適合該個體的決策結(jié)果或推薦列表,但這一行為恰恰是沒有將用戶作為一個有自主意志的人對待,更像是一組代碼或數(shù)據(jù),缺乏對個體人格的尊重,而這正是對自主性原則的違背。

    若長期使用算法推薦獲取信息,則會對算法形成過度依賴,用戶將怠于主動作為,不去積極尋求多元或多樣化內(nèi)容,而是習(xí)慣于在算法支配下的內(nèi)容獲取和選擇,于是乎,用戶逐步成為算法可以預(yù)測,甚至操縱的被動接收者。盡管用戶可以與機器進行一些互動,例如點擊“不想看到類似信息”,但是這并不意味著用戶從此再也看不到類似信息。在商業(yè)利益驅(qū)動下,企業(yè)運用算法不斷進行個性化推送,用戶在技術(shù)包圍下很難沖破算法權(quán)力的控制邊界,所以個體主動性的發(fā)揮空間越來越被侵蝕和壓縮,用戶也從主動欣然接受算法到被動默認(rèn)受算法驅(qū)動。

    3.用戶無法事前拒絕算法的介入,陷入“拒絕困境”

    算法拒絕權(quán)在我國《個人信息保護法》中已有規(guī)定,其本意是為個體配置積極的控制性權(quán)利,防止信息處理者與個人之間因信息不對稱而導(dǎo)致的地位不平等帶來負(fù)面影響。但該法所規(guī)定的拒絕權(quán),嚴(yán)格意義上說,不是拒絕算法,而是拒絕算法推薦的結(jié)果,而且是僅能拒絕對個人有重大影響的算法的結(jié)果。這種拒絕,只能事后且手動拒絕。因此,“通過個體行使控制性權(quán)利進行算法規(guī)制的效果非常有限”?。

    以下選取我國目前用戶過億的5 個應(yīng)用程序的《隱私政策》部分內(nèi)容作為示例(見表1),涉及社交媒體、視頻平臺、電子購物平臺,可以看到“允許”或者“同意”自動化決策都事先存在于《隱私政策》的“一攬子”規(guī)定之中,如果不同意該隱私政策,則不能使用該款軟件,如果想關(guān)閉算法推薦,需要手動操作,有的還需要發(fā)送短信才能取消,如淘寶。即便是選擇關(guān)閉,關(guān)閉的是基于個性化分析的算法結(jié)果,而不是算法推薦本身,如抖音。程序上看,與不同意就無法使用的“同意困境”類似,拒絕權(quán)的行使,也存在“拒絕困境”。算法推薦的“一攬子同意,事后拒絕”模式,使得個人“無法事前行使拒絕權(quán)”?,事后拒絕也因程序設(shè)置的復(fù)雜,難以完全實現(xiàn)。

    表1 5 個應(yīng)用程序《隱私政策》部分內(nèi)容

    四、用戶自主性的規(guī)則重構(gòu)

    智能媒體正在通過算法或代碼重建一個新的虛擬世界,人在虛擬世界按照程序和算法所設(shè)定的“軌道”運行,“代碼就是法律”(code is law)的論斷,預(yù)示著新型法律關(guān)系的產(chǎn)生,也清晰地表明代碼在虛擬社會的強制性和權(quán)力性。個體在算法指令的規(guī)劃和安排下,“人的自主創(chuàng)新和創(chuàng)造能力得到消弭,個體在不知不覺中成了米歇爾·???Michel Foucault)筆下所描述的‘馴順的肉體’”?。人如果完全淪為代碼對象,“人是機器”還是“機器是人”的話題可能不是僅停留在討論層面的問題,而會衍生成人類現(xiàn)實需要面對和解決的問題。面臨技術(shù)失控的危險,人類也將陷入前所未有的社會風(fēng)險。

    因此,智能媒體時代,守住或者重塑人的主體性成為當(dāng)前不可回避的任務(wù)之一。算法權(quán)力,主要掌握在開發(fā)算法的技術(shù)公司和應(yīng)用算法的網(wǎng)絡(luò)平臺手中,相對于以政府為代表的“公權(quán)力”對社會關(guān)系而開展的治理權(quán)而言,技術(shù)公司和網(wǎng)絡(luò)平臺正在以“算法/代碼”為基礎(chǔ),形成能夠影響社會關(guān)系的“數(shù)字私權(quán)力”。作為對此“私權(quán)力”的規(guī)制回應(yīng),可以通過兩個途徑合力實現(xiàn):一是完善以政府為代表的公權(quán)力的合理配置,對算法和企業(yè)進行監(jiān)管或規(guī)制;二是對個人私權(quán)利予以賦權(quán),使得個人有能力對不合理、不合法的數(shù)字化應(yīng)用或其結(jié)果進行抵制。在政府、企業(yè)、用戶所蘊含的“公權(quán)力—私權(quán)力—私權(quán)利”的三元博弈中,平衡算法的功能優(yōu)勢與尊重個體自主原則是算法未來發(fā)展的核心目標(biāo)。

    (一)自主性意識的構(gòu)建

    “自主意識有著強烈的表現(xiàn)自我、實現(xiàn)自我的欲望,這正是啟動創(chuàng)造、施展創(chuàng)造的最深刻的內(nèi)在根源,也是創(chuàng)造千姿百態(tài)、殊相萬千世界的心態(tài)源頭?!?用戶自主性意識的構(gòu)建和強化,不僅需要用戶本身自主意識的覺醒,還需要能夠控制或者影響用戶行為的計算機程序或命令,在執(zhí)行中體現(xiàn)出對用戶自主性的尊重和認(rèn)可,并給予實現(xiàn)這種自主性的空間和途徑。

    人工智能的運行邏輯或算法決策需要人在環(huán)中(human in the loop),無論是自動駕駛,自動飛行,還是智能醫(yī)療?,完全的算法或人工智能存在巨大風(fēng)險。正因如此,世界各方正在從倫理和法律方面制定治理框架,強調(diào)人作為主體的自主意識。2017 年,生命研究所在阿西洛馬會議中心召開人工智能倫理道德會議,提出阿西洛馬人工智能原則,提出應(yīng)尊重人類價值(第11 條),包括“人的尊嚴(yán)、權(quán)利、自由和文化多樣性”?。2019 年4 月歐盟頒布高水平專家組撰寫的《可信任人工智能的倫理框架》,提出AI 的基本宗旨之一為“確保尊重人的自由和自治”?。2021 年11 月23 日,聯(lián)合國教科文組織193 個成員國一致通過《人工智能倫理問題建議書》,該建議書的目標(biāo)之一即“在人工智能系統(tǒng)生命周期的各個階段保護、促進和尊重人權(quán)和基本自由、人的尊嚴(yán)和平等”?。

    盡管現(xiàn)在人工智能技術(shù)整體水平仍處于無自主意識的弱人工智能階段,人尚且可以控制人工智能,但隨著類似ChatGPT 等技術(shù)發(fā)展和進步,可能很快就會進入技術(shù)比肩人類的強人工智能階段。為避免產(chǎn)生人與技術(shù)工具主客體顛倒的異化現(xiàn)象,以及規(guī)避個體徹底淪為被數(shù)據(jù)化客體的風(fēng)險,人類更需要強化自主意識,尊重主體自主性。如果對人工智能不加限制地絕對相信,人終將走向鋪滿鮮花的地獄之門。

    (二)自主性在算法功能設(shè)置上的具體體現(xiàn)

    為避免人主體性的消解和自治性的喪失,需要賦予個體不同階段不受算法決策影響的權(quán)利,讓個體享有真正的意思自治,而不是成為數(shù)據(jù)化、客體化的對象和目標(biāo)?,F(xiàn)代社會,尊重和保證“人”的自主性和完整性的最佳途徑,即是將算法權(quán)力限制在一定的制度規(guī)則之中。在功能設(shè)計上,可以考慮從事前、事中、事后三個階段對算法予以重新構(gòu)建。

    1.事前拒絕算法的權(quán)利

    建議改變目前我國有關(guān)算法應(yīng)用的“一攬子同意、事后拒絕”模式,將是否使用算法的決定權(quán)提前至程序應(yīng)用之前,通過單獨的“知情同意”程序進行告知。雖然用戶的拒絕權(quán)在事前及事后都可以行使,但二者之間存在較大區(qū)別:事前拒絕意味著自始拒絕,從源頭上遏制算法對個人數(shù)據(jù)的收集,使機器無法啟動針對個人的算法程序。而事后拒絕,實質(zhì)上是一種救濟手段,僅在產(chǎn)生特定的推薦結(jié)果之后,數(shù)據(jù)主體可以拒絕其結(jié)果影響。

    源頭保護的事前權(quán)利的行使,較事后行使,更能有效阻斷算法技術(shù)的應(yīng)用。可以參照歐盟《通用數(shù)據(jù)保護條例》(GDPR)的相關(guān)規(guī)定和做法,體現(xiàn)出主體對個人信息的自治性:第一,賦予數(shù)據(jù)主體事前拒絕算法決策的可能。如GDPR 第21 條規(guī)定,當(dāng)數(shù)據(jù)集合的用戶畫像是基于直接的市場營銷目的,數(shù)據(jù)主體有權(quán)在任何時候反對相關(guān)的自動化決策。第二,知情同意規(guī)則需要“充分”且“明確”。GDPR 明令禁止默示同意(opt-out)的規(guī)則,要對進行算法決策作出自主的(freely given)、特定的(specific)、知情的(informed)、明確的(unambiguous)同意,且需以清晰肯定的行為作出(opt-in)。第三,對企業(yè)應(yīng)用算法決策進行限制。增加了事前告知義務(wù)、停止自動化決策處理個人數(shù)據(jù)的義務(wù),以及對算法決策的事前與事后評估責(zé)任等一系列相關(guān)法律責(zé)任。

    2.事中行權(quán)精細(xì)化

    事中階段,賦予用戶各項權(quán)利是有效阻止算法技術(shù)的必要途徑,借助刪除權(quán)、知情權(quán)等權(quán)利,對算法施加人為干預(yù)?!秱€人信息保護法》對個人分別賦予處理權(quán)、查閱權(quán)、更正權(quán)和刪除權(quán)??梢哉f一定程度上滿足了個人在事中階段對算法服務(wù)提供者行權(quán)的基礎(chǔ)。但相比GDPR,我國相關(guān)規(guī)定在設(shè)計數(shù)據(jù)權(quán)利時,還不夠精細(xì)化,可操作性不強。例如,《個人信息保護法》規(guī)定,對于自動化決策作出的決定,若對個人權(quán)益有重大影響,則個體有權(quán)對該決策結(jié)果要求予以說明,并且還有權(quán)拒絕未有人工干預(yù)的純自動化決策的決定。但是何為“重大影響”? 如何要求信息處理者“予以說明”? 如果“不予說明”應(yīng)當(dāng)如何救濟? 說明的語言應(yīng)當(dāng)達到何種清晰程度? 這些在我國的法律規(guī)定中均沒有詳細(xì)說明,因此條文規(guī)定本身的籠統(tǒng)性無法保障具體權(quán)利的落實和保障,時常讓人不知所措。

    3.事后救濟途徑

    事后階段的救濟途徑一般包括兩類: 一是拒絕算法推薦的約束,二是事后司法救濟。拒絕算法前文已述,目前我國法律并未表明個人享有完整的算法拒絕權(quán),用戶僅在某些情況下享有拒絕算法結(jié)果的權(quán)利,而非拒絕算法的權(quán)利。因為屬于事后救濟,行為人怎樣行使拒絕權(quán),行使拒絕權(quán)后是不是就能完全避免自動化決策作出決定,都具有不確定性。因此用戶希望不要等發(fā)生了算法決策的負(fù)面結(jié)果再去拒絕,而是可以從源頭上自始就拒絕使用算法進行決策。例如對于是否可以發(fā)放貸款的決定,用戶不希望銀行首先通過算法進行決策,做出不予貸款的決定之后,用戶再實施要求解釋或予以拒絕的權(quán)利,而是自始希望有人工參與決策,考慮更多不同的現(xiàn)實情況。因此對算法推薦的拒絕,應(yīng)置于“事前階段”,且需以單獨、明示的告知方式,取得用戶同意。

    在司法救濟方面,面對算法推薦的訴訟,結(jié)合已有部分訴訟案件,可以考慮適當(dāng)提高平臺責(zé)任或更加合理地分配舉證責(zé)任。如在“算法推薦第一案”愛奇藝訴字節(jié)公司案,原告愛奇藝稱享有電視劇《延禧攻略》排他性信息網(wǎng)絡(luò)傳播權(quán),在該劇播放期間,被告字節(jié)公司在其所運營的今日頭條APP 上,未經(jīng)原告授權(quán),即向公眾傳播《延禧攻略》一劇的各類短視頻,包括切條、二次創(chuàng)作等多種形式。被告公司利用算法推薦技術(shù),使得這些短視頻被頻繁推薦。被告辯稱,今日頭條APP 僅是為用戶提供了信息存儲空間服務(wù),所有涉案短視頻均系用戶自行上傳,被告并未上傳任何侵權(quán)視頻。另外,被告對用戶上傳的內(nèi)容,均已盡到合理注意義務(wù),主觀上并不存在過錯,侵權(quán)行為不成立。但法院認(rèn)為,字節(jié)公司在本案中,提供的不僅是網(wǎng)絡(luò)空間信息存儲服務(wù),被告利用技術(shù)優(yōu)勢幫助用戶提高效率獲得更多信息的同時,也在為自身獲得更多商業(yè)利益和競爭優(yōu)勢,因此理應(yīng)對用戶的侵權(quán)行為負(fù)有更高的注意義務(wù),故被告行為構(gòu)成侵權(quán)。?在另一起關(guān)于算法歧視的“劉權(quán)訴美團外賣平臺案”中,法院沒有支持原告要求被告承擔(dān)侵權(quán)責(zé)任的訴請,因為法院認(rèn)為原告僅能提供兩份訂單,試圖證明配送費的差距,是無法證明外賣平臺存在“大數(shù)據(jù)殺熟”行為的。而且,兩份訂單下單時間不同,公司根據(jù)平臺交易量對配送費進行動態(tài)調(diào)整,符合其自身經(jīng)營行為,故原告敗訴。?

    在《延禧攻略》案中,被告在運用算法推薦技術(shù)擴大傳播范圍、獲得更多優(yōu)勢和利益的同時,也理應(yīng)承擔(dān)其帶來的風(fēng)險,應(yīng)對用戶的侵權(quán)行為負(fù)有更高的注意義務(wù),故法院判定其侵權(quán)成立。該案作為算法推薦司法第一案,為今后平臺使用算法推薦時應(yīng)承擔(dān)的注意義務(wù)提供了范例。在第二起美團大數(shù)據(jù)殺熟案中,按照目前“誰主張、誰舉證”的證明責(zé)任,原告需要證明被告存在算法歧視明顯有困難,故建議考慮適當(dāng)提高算法服務(wù)提供者舉證責(zé)任。原告提供初步侵權(quán)證據(jù),例如有遇到價格不公的遭遇,以此證明侵權(quán)行為的存在,之后,應(yīng)當(dāng)由算法服務(wù)提供者證明其作出該決策的過程,以及由此產(chǎn)生的結(jié)果是符合相關(guān)法律規(guī)定,公平、公正且合理的,這樣可能更有利于用戶行使救濟權(quán)利。

    總之,“人”的概念在技術(shù)權(quán)力的推動下不斷“滑坡”,科技不僅是人類進化的工具和媒介,也逐漸成為人的欲望和力量的體現(xiàn)?,成為深刻改變?nèi)伺c自然關(guān)系的權(quán)力力量,尤其在智媒時代,所有人和物都可以通過算法生成和控制,人類生命的意義也不再那么崇高和絕對,僅是數(shù)據(jù)系統(tǒng)的一個組成部分而已。

    算法帶給社會的風(fēng)險是隱秘的、擴散的、系統(tǒng)的,僅靠喚醒人的自主性及個體賦權(quán),尚難以全面確保個體獲得逃離算法操控的基礎(chǔ)和能力。需要在具有共識的規(guī)則體系框架內(nèi),通過政府、企業(yè)、用戶的多元協(xié)同合作,客觀理性地認(rèn)識算法風(fēng)險,主動構(gòu)建防御機制,增強個體權(quán)利效能,尊重“人”的自由意志,從而構(gòu)建尊重個體尊嚴(yán)與權(quán)利,并利于技術(shù)發(fā)展的平衡、共生的“人—機”智媒傳播生態(tài)體系。

    注釋:

    ① 單小曦、別君華:《人性化與自主性:媒介智能化進化的內(nèi)在機制與雙重結(jié)構(gòu)》,《中國新聞傳播研究》,2019 年第6 期,第51 頁。

    ② 彭蘭:《“數(shù)據(jù)化生存”:被量化、外化的人與人生》,《蘇州大學(xué)學(xué)報》(哲學(xué)社會科學(xué)版),2022 年第2 期,第160 頁。

    ③ Denise A Baker.Four Ironies of Self-Quantification:Wearable Technologies and the Quantified Self,Science and Engineering Ethics,https://doi.org/10.1007/s11948-020-00181-w,22 January 2020.

    ④ 隋巖:《群體傳播時代:信息生產(chǎn)方式的變革與影響》,《中國社會科學(xué)》,2018 年第11 期,第124 頁。

    ⑤ 於興中:《算法社會與人的秉性》,《中國法律評論》,2018 年第2 期,第57 頁。

    ⑥ 劉培、池忠軍:《算法的倫理問題及其解決進路》,《東北大學(xué)學(xué)報》(社會科學(xué)版),2019 年第2 期,第119 頁。

    ⑦ Neyland D,Mllers N.Algorithmic IF...THEN Rules and the Conditions and Consequences of Power.Information,Communication & Society,vol.20,no.1,2017.p.2.

    ⑧ 衣俊霖:《數(shù)字孿生時代的法律與問責(zé)——通過技術(shù)標(biāo)準(zhǔn)透視算法黑箱》,《東方法學(xué)》,2021 年第4 期,第79 頁。

    ⑨ Stahl BC,Timmermans J,Mittelstadt BD.The Ethics of Computing:A Survey of the Computing-Oriented Literature.Acm Computing Surveys(CSUR),vol.48,no.4,2016.p.27.

    ⑩ 趙樂瑄:《APP 用戶協(xié)議與隱私政策,你真的讀過嗎?》,https://mp.weixin.qq.com/s/cYBatGkuT3Oz6DW7DcZcKg,2022 年4 月29 日。

    ? 光明日報與武漢大學(xué)聯(lián)合調(diào)研組: 《保障安全的“權(quán)利書”,還是竊取信息的“任意門”——App 隱私協(xié)議現(xiàn)狀調(diào)查》,https://baijiahao.baidu.com/s? id=1708521630294149131 & wfr=spider & for=pc,2021 年8 月19 日。

    ? 京東隱私政策:https://about.jd.com/privacy/,2022 年10 月26 日。

    ? Lilian Edwards & Michael Veale.Slave to the Algorithm:Why a Right to an Explanation Is Probably Not the Remedy You Are Looking For,16 Duke Law & Technology Review,vol.16,no.1,2017.p.81.

    ? 謝琳、曾俊森:《個體賦權(quán)在算法決策治理中的定位》,《法治社會》,2022 年第1 期,第91 頁。

    ? 楊立新、趙鑫:《利用個人信息自動化決策的知情同意規(guī)則及保障——以個性化廣告為視角解讀〈個人信息保護法〉第24 條規(guī)定》,《法律適用》,2021 年第10 期,第27 頁。

    ? 盧衛(wèi)紅、楊新福:《人工智能與人的主體性反思》,《重慶郵電大學(xué)學(xué)報》(社會科學(xué)版),2023 年第2 期,第87 頁。

    ? 車洪波:《自主意識的由來與必然走向》,《學(xué)習(xí)與探索》,1997 年第1 期,第60 頁。

    ? 自動駕駛事故指2018 年3 月18 日,uber 自動駕駛汽車在亞利桑那州發(fā)生的交通事故。自動飛行事故指2019 年3 月10 日,埃塞俄比亞航空波音737MAX8 飛機墜毀,事故由波音公司安裝的自動駕駛操作系統(tǒng)(MCAS)造成。智能醫(yī)療事故指2021 年6 月,世界衛(wèi)生組織(WHO)發(fā)布“世界衛(wèi)生組織健康領(lǐng)域人工智能倫理與治理指南”(WHO Guidance on the Ethics and Governance of Artificial Intelligence for Health),《指南》指出人工智能在某些情況下?lián)p害人類自主決策,動搖人類在知識生產(chǎn)中的中心地位,導(dǎo)致認(rèn)知權(quán)威發(fā)生偏移。

    ? Nancy Owano.Asilomar AI Principles: A Framework for Human Value Alignment,https://techxplore.com/news/2017-02-asilomar-ai-principlesframework-human.pdf,6 February 2017.

    ? EU.Ethics Guidelines for Trustworthy AI,https://ec.europa.eu/futurium/en/ai-alliance-consultation.1.html,8 April 2019.

    ? UNESCO.Recommendation on the Ethics of Artificial Intelligence,https://unesdoc.unesco.org/ark:/48223/pf 0000381137,23 November 2021.

    ? 北京市海淀區(qū)人民法院一審民事判決書,(2018)京0108 民初49421 號。

    ? 湖南省長沙市芙蓉區(qū)人民法院一審民事判決書,(2018)湘0102 民初13515 號。

    ? 張旭:《技術(shù)時代的責(zé)任倫理學(xué):論漢斯·約納斯》,《中國人民大學(xué)學(xué)報》,2003 年第2 期,第70 頁。

    猜你喜歡
    自主性權(quán)利決策
    為可持續(xù)決策提供依據(jù)
    我們的權(quán)利
    決策為什么失誤了
    論不存在做錯事的權(quán)利
    法大研究生(2018年2期)2018-09-23 02:19:50
    英語學(xué)習(xí)的自主性及其教學(xué)應(yīng)用
    實用英語教材與藝術(shù)生自主性培養(yǎng)
    發(fā)揮主體作用,加強高中數(shù)學(xué)復(fù)習(xí)的自主性
    權(quán)利套裝
    Coco薇(2015年12期)2015-12-10 02:43:39
    維護科學(xué)的自主性
    愛一個人
    文苑·感悟(2012年12期)2012-12-13 01:53:52
    亚洲av免费高清在线观看| 一卡2卡三卡四卡精品乱码亚洲| 桃色一区二区三区在线观看| 亚洲欧美日韩高清在线视频| 99热这里只有是精品50| 精品人妻熟女av久视频| 狂野欧美白嫩少妇大欣赏| 色播亚洲综合网| 综合色丁香网| 69av精品久久久久久| 嫩草影院新地址| 嫩草影院入口| 非洲黑人性xxxx精品又粗又长| 免费观看精品视频网站| 悠悠久久av| 免费电影在线观看免费观看| 毛片女人毛片| 久久久久精品国产欧美久久久| 可以在线观看毛片的网站| 国产精品99久久久久久久久| 久久久久免费精品人妻一区二区| 久久久久精品国产欧美久久久| 久久人人爽人人片av| 老司机午夜福利在线观看视频| 亚洲美女搞黄在线观看 | 日韩欧美在线乱码| 亚洲真实伦在线观看| 成年女人永久免费观看视频| 国产片特级美女逼逼视频| 午夜久久久久精精品| 亚洲经典国产精华液单| 99热网站在线观看| 一区二区三区免费毛片| 精品人妻一区二区三区麻豆 | 免费大片18禁| 夜夜夜夜夜久久久久| 亚洲av中文字字幕乱码综合| 自拍偷自拍亚洲精品老妇| 嫩草影院精品99| 热99re8久久精品国产| 黄色欧美视频在线观看| 亚洲第一区二区三区不卡| 国产蜜桃级精品一区二区三区| 亚洲av熟女| 色av中文字幕| av福利片在线观看| 亚洲熟妇中文字幕五十中出| 久99久视频精品免费| 大又大粗又爽又黄少妇毛片口| av.在线天堂| 丰满人妻一区二区三区视频av| 高清毛片免费观看视频网站| 午夜久久久久精精品| 国产亚洲精品久久久久久毛片| www.色视频.com| 久久婷婷人人爽人人干人人爱| 亚洲国产精品成人综合色| 99久国产av精品| 日本熟妇午夜| 国产三级在线视频| 男女之事视频高清在线观看| 极品教师在线视频| 亚洲精品一卡2卡三卡4卡5卡| 国产精品av视频在线免费观看| 欧美zozozo另类| 精品99又大又爽又粗少妇毛片| 精品福利观看| 日韩中字成人| 日韩高清综合在线| 成人综合一区亚洲| 亚洲精品亚洲一区二区| 免费观看人在逋| 性欧美人与动物交配| 亚洲,欧美,日韩| 日韩欧美精品v在线| 久久综合国产亚洲精品| 精品99又大又爽又粗少妇毛片| 一个人看的www免费观看视频| 午夜a级毛片| 两个人视频免费观看高清| 亚洲av不卡在线观看| 人妻制服诱惑在线中文字幕| 日韩制服骚丝袜av| 日韩亚洲欧美综合| 久久亚洲国产成人精品v| 人人妻人人澡欧美一区二区| 亚洲av熟女| 欧洲精品卡2卡3卡4卡5卡区| 国产黄片美女视频| 波多野结衣高清作品| 亚洲国产精品成人久久小说 | av天堂在线播放| 舔av片在线| 免费看av在线观看网站| 精品福利观看| 欧美精品国产亚洲| 欧美色欧美亚洲另类二区| 午夜日韩欧美国产| 熟女电影av网| 国产精品日韩av在线免费观看| 最近2019中文字幕mv第一页| 国产伦一二天堂av在线观看| 久久婷婷人人爽人人干人人爱| 天美传媒精品一区二区| 国产片特级美女逼逼视频| 天堂网av新在线| 黄色一级大片看看| av国产免费在线观看| 乱人视频在线观看| 简卡轻食公司| 国产精品一区二区免费欧美| 日本熟妇午夜| www日本黄色视频网| 在线观看美女被高潮喷水网站| 久久国内精品自在自线图片| 特大巨黑吊av在线直播| 欧美区成人在线视频| 国产 一区 欧美 日韩| 观看免费一级毛片| 看黄色毛片网站| 亚洲欧美日韩东京热| 国产成人freesex在线 | 成年女人永久免费观看视频| 最后的刺客免费高清国语| 99久国产av精品| 久久久久免费精品人妻一区二区| 日本免费一区二区三区高清不卡| 亚洲成人精品中文字幕电影| 成人特级av手机在线观看| 国产精品久久视频播放| 国产av一区在线观看免费| .国产精品久久| 日本色播在线视频| 久久久久久大精品| 亚洲va在线va天堂va国产| 午夜精品国产一区二区电影 | 美女xxoo啪啪120秒动态图| 给我免费播放毛片高清在线观看| 晚上一个人看的免费电影| 国产精品不卡视频一区二区| 国内精品美女久久久久久| 国产精品av视频在线免费观看| 午夜亚洲福利在线播放| 最近在线观看免费完整版| 国产乱人偷精品视频| 亚洲av五月六月丁香网| 午夜影院日韩av| a级毛片免费高清观看在线播放| 在现免费观看毛片| 国产综合懂色| 国产精品精品国产色婷婷| 草草在线视频免费看| 久久久久久久久久黄片| 69人妻影院| 日韩 亚洲 欧美在线| 久久久久久久久久久丰满| 国产成人freesex在线 | 亚洲自偷自拍三级| aaaaa片日本免费| 观看免费一级毛片| 两性午夜刺激爽爽歪歪视频在线观看| 在线天堂最新版资源| 99热只有精品国产| 性色avwww在线观看| 久久久久久久久久久丰满| 网址你懂的国产日韩在线| 高清午夜精品一区二区三区 | 午夜影院日韩av| 国国产精品蜜臀av免费| 毛片女人毛片| 老女人水多毛片| 日本免费一区二区三区高清不卡| 久久午夜福利片| 国产欧美日韩精品一区二区| 国产高清激情床上av| 亚洲欧美日韩卡通动漫| 午夜激情欧美在线| 久久久久久久久久黄片| 色综合亚洲欧美另类图片| 成人漫画全彩无遮挡| 久久久国产成人免费| 淫妇啪啪啪对白视频| 在线观看66精品国产| 精品国产三级普通话版| 欧美激情在线99| 欧美另类亚洲清纯唯美| 久久精品人妻少妇| 春色校园在线视频观看| 伊人久久精品亚洲午夜| 国产高清视频在线观看网站| 国产69精品久久久久777片| 国产视频一区二区在线看| 亚洲精品粉嫩美女一区| 亚洲不卡免费看| 一区二区三区高清视频在线| 久久天躁狠狠躁夜夜2o2o| 可以在线观看毛片的网站| 久久精品国产自在天天线| 国产淫片久久久久久久久| 亚洲,欧美,日韩| 亚州av有码| 国产亚洲欧美98| 99视频精品全部免费 在线| 国产一区二区激情短视频| 女人被狂操c到高潮| 国产亚洲精品久久久久久毛片| 中国国产av一级| 久久久久久久久久久丰满| 亚洲av中文av极速乱| av卡一久久| 久久久久久久久中文| 九九久久精品国产亚洲av麻豆| 麻豆成人午夜福利视频| 中文亚洲av片在线观看爽| a级毛片免费高清观看在线播放| 别揉我奶头 嗯啊视频| 国产高清视频在线播放一区| 精品久久久久久久末码| 国产精品99久久久久久久久| 久久久精品94久久精品| 日韩欧美国产在线观看| 国产一区二区三区av在线 | 精品无人区乱码1区二区| 亚洲成人av在线免费| 欧美性猛交╳xxx乱大交人| 国产 一区 欧美 日韩| 国产精品无大码| 精品欧美国产一区二区三| 国产成人一区二区在线| 一级毛片电影观看 | 午夜福利在线观看吧| 小蜜桃在线观看免费完整版高清| 精品乱码久久久久久99久播| 成人鲁丝片一二三区免费| 身体一侧抽搐| 一个人观看的视频www高清免费观看| 国内精品久久久久精免费| 色在线成人网| 亚洲欧美日韩卡通动漫| 久久久色成人| 国产av不卡久久| 一个人观看的视频www高清免费观看| 亚洲美女搞黄在线观看 | 国产亚洲91精品色在线| 久久精品夜色国产| 国产综合懂色| 亚洲成人久久性| 亚洲精品粉嫩美女一区| 少妇人妻精品综合一区二区 | 亚洲欧美日韩高清专用| 亚洲av电影不卡..在线观看| av黄色大香蕉| 一级黄色大片毛片| 国产真实伦视频高清在线观看| 俄罗斯特黄特色一大片| 特大巨黑吊av在线直播| 婷婷精品国产亚洲av| 精品国产三级普通话版| 久久午夜福利片| 男女那种视频在线观看| 色哟哟哟哟哟哟| 女生性感内裤真人,穿戴方法视频| 99热全是精品| av在线蜜桃| 少妇猛男粗大的猛烈进出视频 | 亚洲美女黄片视频| 久久九九热精品免费| 亚洲丝袜综合中文字幕| 久久久久国产网址| 亚洲国产精品国产精品| 国产成人freesex在线 | 精品久久久久久久末码| 精品久久久久久久久久免费视频| 国产视频一区二区在线看| 在线免费观看的www视频| 俺也久久电影网| 内射极品少妇av片p| 女生性感内裤真人,穿戴方法视频| 级片在线观看| 国产成人91sexporn| 免费看av在线观看网站| 久久人人精品亚洲av| 国产欧美日韩一区二区精品| 亚洲欧美精品自产自拍| 性插视频无遮挡在线免费观看| 国产伦在线观看视频一区| 国产男人的电影天堂91| 一本精品99久久精品77| www.色视频.com| 精品午夜福利视频在线观看一区| 日本色播在线视频| 男人狂女人下面高潮的视频| 亚洲成人精品中文字幕电影| 最新在线观看一区二区三区| 国产精品福利在线免费观看| 欧美色欧美亚洲另类二区| 日韩欧美 国产精品| 高清毛片免费观看视频网站| 亚洲av二区三区四区| 一级毛片久久久久久久久女| 久久亚洲国产成人精品v| 十八禁网站免费在线| 天堂影院成人在线观看| 99久久精品热视频| 国内久久婷婷六月综合欲色啪| 五月伊人婷婷丁香| 久久精品国产99精品国产亚洲性色| 国产爱豆传媒在线观看| 久久午夜亚洲精品久久| 日本黄大片高清| 久久午夜福利片| 色综合色国产| 99久久无色码亚洲精品果冻| 婷婷亚洲欧美| 国产高清有码在线观看视频| 伦精品一区二区三区| 国产一区二区三区在线臀色熟女| 97超碰精品成人国产| 国产av不卡久久| 国产高清三级在线| 一夜夜www| 小蜜桃在线观看免费完整版高清| 成人特级av手机在线观看| 99热精品在线国产| 天堂√8在线中文| 国产乱人偷精品视频| 久久精品久久久久久噜噜老黄 | 亚洲欧美日韩高清专用| 免费在线观看影片大全网站| 亚洲最大成人手机在线| 精品熟女少妇av免费看| 精品欧美国产一区二区三| 你懂的网址亚洲精品在线观看 | 午夜亚洲福利在线播放| 一个人看视频在线观看www免费| 成人漫画全彩无遮挡| 久久久欧美国产精品| 床上黄色一级片| 久久久久久久亚洲中文字幕| 国产精品一区二区三区四区久久| 啦啦啦观看免费观看视频高清| 亚洲综合色惰| 日韩欧美国产在线观看| 97超视频在线观看视频| 精品久久久久久久久久久久久| 少妇丰满av| 老司机午夜福利在线观看视频| 村上凉子中文字幕在线| 99久国产av精品| 91av网一区二区| 男人狂女人下面高潮的视频| 日韩中字成人| 久久精品国产亚洲av天美| 国内揄拍国产精品人妻在线| 高清毛片免费看| 精品国产三级普通话版| 精品久久久久久久久久久久久| 久久精品国产亚洲av香蕉五月| 午夜福利成人在线免费观看| 九九久久精品国产亚洲av麻豆| 日本三级黄在线观看| 色噜噜av男人的天堂激情| 欧美成人免费av一区二区三区| 亚洲精品成人久久久久久| 女人被狂操c到高潮| 欧美日韩在线观看h| 欧美中文日本在线观看视频| 一级a爱片免费观看的视频| 麻豆av噜噜一区二区三区| 亚洲精品日韩在线中文字幕 | 日韩在线高清观看一区二区三区| 超碰av人人做人人爽久久| 搡老熟女国产l中国老女人| 听说在线观看完整版免费高清| 国产在线男女| 久久综合国产亚洲精品| 欧美激情久久久久久爽电影| 午夜福利在线观看吧| 小说图片视频综合网站| 在现免费观看毛片| 中文字幕av成人在线电影| 简卡轻食公司| av在线观看视频网站免费| a级毛片a级免费在线| 国产麻豆成人av免费视频| 亚洲激情五月婷婷啪啪| 国产欧美日韩一区二区精品| h日本视频在线播放| 丰满的人妻完整版| 午夜福利高清视频| 国产高清视频在线观看网站| 欧美xxxx黑人xx丫x性爽| 小蜜桃在线观看免费完整版高清| 精品乱码久久久久久99久播| 久久99热6这里只有精品| 成人亚洲欧美一区二区av| 国产精品爽爽va在线观看网站| 国产aⅴ精品一区二区三区波| 成人三级黄色视频| 男人和女人高潮做爰伦理| 特级一级黄色大片| 亚洲乱码一区二区免费版| 91久久精品电影网| 69人妻影院| 国产成人a区在线观看| 亚洲激情五月婷婷啪啪| av在线播放精品| 人妻丰满熟妇av一区二区三区| 午夜福利18| 一级毛片我不卡| 亚洲性久久影院| 九色成人免费人妻av| 国产aⅴ精品一区二区三区波| 深夜a级毛片| 亚洲人与动物交配视频| 成人特级黄色片久久久久久久| 91在线精品国自产拍蜜月| 美女被艹到高潮喷水动态| 99在线人妻在线中文字幕| 中文字幕av在线有码专区| 国产精品女同一区二区软件| 精品福利观看| 久久午夜亚洲精品久久| 亚洲精品在线观看二区| 成年女人毛片免费观看观看9| 国产不卡一卡二| av黄色大香蕉| 色哟哟·www| 日日摸夜夜添夜夜添av毛片| 欧美在线一区亚洲| av.在线天堂| 午夜爱爱视频在线播放| 人人妻人人澡欧美一区二区| 精品久久久久久成人av| 五月玫瑰六月丁香| 一级毛片aaaaaa免费看小| 久久久久久久午夜电影| 天天一区二区日本电影三级| 99riav亚洲国产免费| 寂寞人妻少妇视频99o| 别揉我奶头~嗯~啊~动态视频| 国产老妇女一区| 69av精品久久久久久| 国产高清三级在线| 久久久久久久亚洲中文字幕| 蜜臀久久99精品久久宅男| 久久久久国内视频| 淫妇啪啪啪对白视频| 99在线人妻在线中文字幕| 久久亚洲国产成人精品v| 欧美激情在线99| 亚洲中文字幕日韩| 可以在线观看的亚洲视频| 亚洲自拍偷在线| 国产91av在线免费观看| 国产一区亚洲一区在线观看| 欧美日本视频| 国产成人a∨麻豆精品| 国产午夜福利久久久久久| 少妇人妻精品综合一区二区 | 两个人的视频大全免费| 夜夜夜夜夜久久久久| 美女内射精品一级片tv| 国语自产精品视频在线第100页| 久久韩国三级中文字幕| 波野结衣二区三区在线| 99久国产av精品国产电影| 22中文网久久字幕| 一级av片app| 久久精品国产亚洲av香蕉五月| 成人美女网站在线观看视频| 噜噜噜噜噜久久久久久91| 久久鲁丝午夜福利片| 中国美女看黄片| 永久网站在线| 最近的中文字幕免费完整| 97人妻精品一区二区三区麻豆| 欧洲精品卡2卡3卡4卡5卡区| 免费高清视频大片| 国产精品亚洲美女久久久| 国产精品久久视频播放| 国产精品综合久久久久久久免费| 干丝袜人妻中文字幕| 国产伦精品一区二区三区视频9| 久久久久久久亚洲中文字幕| 亚洲最大成人av| 看十八女毛片水多多多| 精品一区二区三区视频在线| 欧美日韩在线观看h| 天堂影院成人在线观看| a级毛片免费高清观看在线播放| 久久鲁丝午夜福利片| 国产亚洲av嫩草精品影院| 少妇猛男粗大的猛烈进出视频 | 色综合站精品国产| 国产精品99久久久久久久久| 在线观看午夜福利视频| 一进一出抽搐gif免费好疼| 日本黄色片子视频| 久久精品国产亚洲av香蕉五月| 成人一区二区视频在线观看| 黄色视频,在线免费观看| 久久久久久久久久成人| 午夜免费激情av| 日产精品乱码卡一卡2卡三| 直男gayav资源| 久久中文看片网| 看片在线看免费视频| 亚洲aⅴ乱码一区二区在线播放| 三级国产精品欧美在线观看| 中文字幕精品亚洲无线码一区| 午夜a级毛片| 可以在线观看毛片的网站| av在线播放精品| 麻豆久久精品国产亚洲av| 国产亚洲欧美98| 久久中文看片网| 搡老熟女国产l中国老女人| 亚洲精品久久国产高清桃花| 成人av一区二区三区在线看| 亚洲欧美精品综合久久99| 国产男人的电影天堂91| 两性午夜刺激爽爽歪歪视频在线观看| 国产精华一区二区三区| 久久久午夜欧美精品| 国产精品伦人一区二区| 国产精品久久久久久精品电影| 99热精品在线国产| 女人十人毛片免费观看3o分钟| 日本-黄色视频高清免费观看| 免费看av在线观看网站| 亚洲av免费在线观看| 特级一级黄色大片| 在现免费观看毛片| 精品久久久久久久久亚洲| av黄色大香蕉| 99九九线精品视频在线观看视频| 在线观看av片永久免费下载| aaaaa片日本免费| 久久精品国产清高在天天线| 亚洲中文日韩欧美视频| 亚洲婷婷狠狠爱综合网| 亚洲精品在线观看二区| 中文字幕人妻熟人妻熟丝袜美| 国产精品爽爽va在线观看网站| 在线a可以看的网站| 一进一出抽搐动态| 久久久午夜欧美精品| 欧美中文日本在线观看视频| 亚洲电影在线观看av| 国内揄拍国产精品人妻在线| 国产69精品久久久久777片| 2021天堂中文幕一二区在线观| 秋霞在线观看毛片| 亚洲精品在线观看二区| 一级av片app| 久久精品国产亚洲av香蕉五月| 久久精品国产亚洲av天美| 日韩欧美三级三区| 丝袜喷水一区| 久久精品影院6| 18+在线观看网站| 中文字幕熟女人妻在线| 内射极品少妇av片p| 99久久无色码亚洲精品果冻| 在线天堂最新版资源| 成人av在线播放网站| av在线观看视频网站免费| 人妻久久中文字幕网| 丰满的人妻完整版| 成人美女网站在线观看视频| 有码 亚洲区| 久久精品国产亚洲av涩爱 | 国产精品久久久久久久久免| 精品久久久久久久久av| .国产精品久久| 日本黄色片子视频| 长腿黑丝高跟| 久久久久久久久久成人| 国产真实乱freesex| 精品一区二区免费观看| 国产精品亚洲美女久久久| 国产淫片久久久久久久久| 男女做爰动态图高潮gif福利片| 日韩成人伦理影院| 春色校园在线视频观看| 欧美bdsm另类| 91在线观看av| 国产欧美日韩一区二区精品| 男女做爰动态图高潮gif福利片| 欧美日本视频| 国产欧美日韩一区二区精品| 久久婷婷人人爽人人干人人爱| 亚洲无线观看免费| 给我免费播放毛片高清在线观看| 男女下面进入的视频免费午夜| 亚洲精华国产精华液的使用体验 | 免费人成在线观看视频色| 一区二区三区免费毛片| 亚洲国产精品sss在线观看| 国产伦精品一区二区三区四那| 国产成人影院久久av| 午夜福利在线在线| 黄色欧美视频在线观看| 国产精品久久视频播放| 成人三级黄色视频| 成人精品一区二区免费| 毛片女人毛片| 搡女人真爽免费视频火全软件 | 久久久精品94久久精品| 免费观看在线日韩| 亚洲美女搞黄在线观看 | 夜夜看夜夜爽夜夜摸| 校园春色视频在线观看| 深爱激情五月婷婷|