• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    算法家長主義現(xiàn)象及其倫理反思

    2024-12-19 00:00:00李波
    倫理學研究 2024年6期

    [摘要]新興智能科技日益發(fā)展,不斷推進算法系統(tǒng)與功能的快速迭代。算法從一種演算程序和計算策略逐步異化為一種算法權力意志,即依據其自身的特性與邏輯發(fā)揮作用,而這種意志勢必會為其自身的強權行為謀求某種合法性與正當性,這便與家長主義立場不謀而合,這使得算法貌似為其自身的強權行為獲得了一定程度的道德辯護。這一情形將會合理化算法原有的問題,也會帶來值得我們慎思與警惕的新問題、新風險。鑒于此,我們詳細論證了算法的家長主義傾向是如何可能的。在此基礎上,對算法家長主義可能帶來的問題與風險進行倫理反思與批判,即警惕算法家長主義為算法權力提供正當性辯護,慎思算法家長主義為平臺權力提供合法性辯護,批判算法家長主義為現(xiàn)存算法秩序提供合理性辯護。

    [關鍵詞]算法家長主義;算法權力;算法秩序;平臺權力

    [作者簡介]李波,湖南師范大學教育部人文社會科學重點研究基地中華倫理文明研究中心、哲學系講師,長沙新一代人工智能倫理治理與公共政策實驗室研究員,哲學博士。

    *本文系國家社會科學基金一般項目“人工智能社會實驗的倫理問題及對策研究”(22BZX039)的階段性成果。

    新興智能科技的日益發(fā)展加速了數字社會的來臨。當前,數字化、智能化正全面、系統(tǒng)地嵌入現(xiàn)代性時空、社會交往、生活樣態(tài)和價值觀念之中,深度變革和重塑了人們的行為、認知和思維方式。貫通于數字社會之中的算法無處不在,它與資本合謀,正逐步操控數字世界的生產、供給、消費與流轉。從個體層面的衣食住行、組織層面的管理調度到社會層面的生產分配,無一不在數字化轉型的進程中接受算法的操控和重構[1](164)。算法從一種演算程序和計算策略,逐步演變?yōu)橐环N算法權力意志,即依據其自身的特性與邏輯而發(fā)揮作用的一種實體性力量。然而,這種算法力量與商業(yè)資本、社會控制和國家治理相互滲透與融合,不斷重構生產方式、生存方式和社會秩序的生成機制,促使算法從一種功能強大的技術力量異化為具有某種權力指向的意志力量,日益支配、操控和維持著數字社會的各個領域。一旦算法權力意志“欲求”持續(xù)、有效地支配、操控和維持數字社會,它勢必會為其自身的權力欲望謀求某種合法性與正當性,這便與家長主義(Paternalism)不謀而合,即訴諸算法的家長主義立場,使其自身的權力欲求獲得某種合法性與正當性。然而,算法權力與家長主義的合謀將會進一步強化人們對它的信任、依賴和盲崇,將會合理化與正當化算法本身帶來的問題與風險,也將帶來值得我們警惕的新問題。鑒于此,我們力圖從理論與實踐兩個方面深入分析和揭示算法的家長主義現(xiàn)象,進而對算法家長主義潛在的問題與風險進行倫理反思與批判。

    一、算法的家長主義傾向是否可能

    當前,大數據、人工智能與商業(yè)活動相互滲透與融合,逐漸蔓延至社會生活的方方面面。在日常生產生活、休閑娛樂活動中,人們使用各類智能應用程序或創(chuàng)建平臺賬號時,首先是被迫勾選平臺單方面預先設定的“知情同意”協(xié)議,然后才能獲得便捷、精準和高效的服務。為了獲得這些服務,用戶不得不共享自己的身份、關系、位置和偏好等個人信息,在很多場景下又不得不接受各種“個性化”的推送、建議和預測,使自己的認知、選擇意愿和決策行為在不同程度上受其干預。這意味著大數據和算法科技能夠將個體的線上、線下數據進行分析與整合,能夠對特定個體行為習慣與偏好進行精準預測和評估,進而通過將算法系統(tǒng)與其他特定環(huán)境控制的系統(tǒng)連接,實現(xiàn)對用戶自主行為的有效干預和操縱。具體而言,算法自動生成的模型能代替用戶做選擇,用戶能接觸哪些內容,不用接觸哪些內容,事先都由算法做了甄別和篩選,用戶只能接觸到算法推送的內容。這意味著算法“相信”“知道”哪些內容對用戶無益或會損害用戶的利益,它是“誠心”為用戶的利益、價值偏好著想,以促進用戶行為自主。不難發(fā)現(xiàn),這是在為算法的自動化建議和決策提供某種家長主義式的辯護。

    家長主義原本是政治學、法學和應用倫理學等領域長期備受關注和爭論的重要問題。我們嘗試立足這一理論視域來探討,算法為其自身的行為謀求某種合理性與正當性是否可能?換言之,算法是否具有家長主義傾向?或算法的家長主義是否可能?對于這一問題的探討,首先,需要超越算法中性論與工具論的立場,如果我們僅僅從人與技術二元的立場出發(fā)將算法科技理解為一種依賴于人或主體視域的抽象客體,將其把握為一種抽象的中性工具,那么很可能的結果是,囿于主體視域的本質特性,算法會在它們如何構建自身以及它們如何發(fā)揮作用這個層面上遮蔽自身。其次,從學理上看,關于家長主義的一般界定能否適用于分析算法特征?如果不行,需要做哪些修正與調整?

    一般而言,家長主義是指為了被干涉者的福祉、益處、幸福、需求、利益或價值,對其行動的自由進行強制的干涉,并因此得到辯護[2](185)。依據這種家長主義的一般界定,算法系統(tǒng)運作在沒有獲得用戶知情同意的情況下,干預了用戶自主選擇的意愿或決策,而它的這種干預行為是“誠心”為了用戶的利益、價值和福祉著想。它“相信”它的干預行為有助于用戶的利益和價值的實現(xiàn),有助于用戶的行為自主。由此,這使得它的干預行為得到辯護。據此而言,算法的家長主義傾向具有一定的可能性。為此,需要進一步從學理上探討算法家長主義能否真正成立。

    “Paternalism”,家長主義或父愛主義,最早出現(xiàn)在19世紀末,從詞源上來看,源自拉丁語“pater”(父親),它是指像滿懷責任和仁慈的父親那樣行為,或對待他人像家長對待孩子一樣,反映了父權社會中,父親或男性家長被認為是負責孩子和下屬福利的權威人物,也隱含著對個人自由和自主的內在價值的批判。在這種傳統(tǒng)中,國家、公司和社區(qū)的成年成員在國王、總統(tǒng)和行政人員預設的仁慈權威下運作。前工業(yè)化時期,政治、經濟和社會活動領域中家長主義現(xiàn)象普遍存在。進入20世紀,工業(yè)化快速發(fā)展,家長主義模式和庇護行為(父親的保護、監(jiān)護和控制)被應用于不平等的階層之間,如雇主與工人、特權階層與弱勢階層、國家與大眾。隨著哲學、政治、經濟和社會領域的自由主義思潮不斷蔓延,個人的自由和自主權不斷得到強調,家長主義主要關注工人、窮人、兒童和其他邊緣群體(如罪犯、精神病患者和殘疾人)的權利。20世紀中期,家長主義相對沉寂了幾十年之后,這個詞在法學領域再次被重新引入,1971年哲學家杰拉爾德·德沃金(Gerald Dworkin)在《道德與法律》一書中深入探討該論題,引起了廣泛關注和爭論,在社會政策、法學和醫(yī)療等領域中家長主義模式也獲得了很多支持與辯護。

    學界關于家長主義的界定存在著諸多爭論和分化,對家長主義的研究與探討,學者們根據其研究領域的需要而有所差異。湯姆·L.比徹姆(Tom L. Beauchamp)將家長主義定義為“一個人的自主被其他人有意限制,限制他人自主的人的行為因其對被限制人的幫助而被證明為正當的”[3](198)。杰拉爾德·德沃金“將其理解為對一個人行動自由的干涉,這種干涉可根據是為了受強迫者的福利、好處、幸福、需要、利益或價值之類的理由而得到辯護”[4](108)。伯納德·格特(Bernard Gert)和查爾斯·卡爾弗(Charles M. Culver)認為家長主義須滿足以下幾個條件:A對S是以家長主義方式來行動的,當且僅當A的行為(正確地)表明A相信:

    (1)他的行動是為了S好;

    (2)他有資格代表S行動;

    (3)他的行動涉及去做情境本身要求他做的事;

    (4)他代表S來行動可以獨立于S過去的、現(xiàn)在的或即將出現(xiàn)的(自由的、知情的)同意而得到辯護;

    (5)S(或許是錯誤地)相信他自己一般來說知道什么對自己有好處[5](49-50)。

    德沃金建議按如下條件來分析,X對Y實施了家長主義行為,應滿足以下條件:

    (1)X實施(不實施)Z干涉了Y的自由或自主權;

    (2)X這樣做沒有得到Y的同意;

    (3)X這么做,只因為X相信,實施Z會提高Y的福祉(包括不使Y的福祉減少),或者會促進Y的利益、價值或益處[6]。

    綜上所述,學者們關于家長主義的界定存在著諸多差異,如比徹姆強調干預者是有意干涉或限制被干預者的自主行為,這種有意限制行為,由于是為被干預者的利益著想而得到辯護;伯納德和查爾斯更強調干預者的信念態(tài)度,從條件(1)、(2)和(5)可知,干預者相信,他只要為了被干預者本身的利益著想,就有資格代替被干預者去行動或做決策,而且被干預者相信自己知道什么東西對自己有益處;從條件(3)和(4)可知,干預者相信,他的干預行為不需要得到被干預者的同意;德沃金強調干預者肯定相信他的干涉行為對被干預者是有益的,還指出實施干涉行為無須得到被干預者的知情同意。根據上述學者們關于家長主義的界定和分析,我們依據德沃金的家長主義版本,對其做了一些調整和綜合,給出滿足算法家長主義的初步條件,即算法系統(tǒng)(A)對用戶或被干預者(U)實施了家長主義行為,應滿足以下條件:

    (1)A有意地干預或限制U(被干預者)的行為;

    (2)A相信實施(不實施)B(行為)會促進或不減少U的利益、價值或益處;

    (3)A實施(不實施)B沒有得到U的同意;

    (4)A實施(不實施)B干預了U的自由或自治。

    二、算法家長主義的修正版本及其相關問題分析

    上文對家長主義的一般界定及相關滿足條件進行了分析和綜合,并給出了滿足算法家長主義的相關條件。我們以算法推送為例,分析和探討算法家長主義的相關條件能否得到滿足。基于用戶大數據的算法推送廣泛應用于社交、出行、網購、新聞、健康管理、短視頻等應用程序,它是一種基于計算機技術、統(tǒng)計學知識,通過將數據、算法、人機交互有機結合,建立用戶和資源個性化關聯(lián),從而為用戶提供信息決策支持的技術系統(tǒng)[7](9)。算法個性化推送何以能實現(xiàn)?首先,需要收集數據,包括用戶的性別、年齡、偏好、職業(yè)等用戶身份的基本數據,用戶的瀏覽、點贊、評論、關注和轉發(fā)等行為數據,位置、旅游、開會和網絡狀況等場景數據;基于這些數據綜合生成用于描繪用戶的“數字畫像”。其次,通過基于用戶基本數據的協(xié)同過濾、基于用戶社交關系的關聯(lián)原則、基于內容流量池的疊加原則等來實現(xiàn)個性化推送,其基本思路是通過對內容(具體內容的點擊量、完播率、閱讀量、點贊量、評論量、轉發(fā)量)、個人(數字畫像)、場景特征的判斷,進行信息匹配與推送[8](71-72)。

    條件(1)是指算法有意地干預或限制被干預者的行為,這對于算法而言很難滿足,因為很難確切地說清楚,算法系統(tǒng)自身具有某種意圖(intentions)。一般而言,只有人才有某種意圖,即一種精神狀態(tài),它包含某人對其未來行動所期望達到的結果,并激勵他據此采取行動,或促使他采取相應的行動。我們主張,超越人與技術的主客二元立場,可適度做些調整或弱化處理。就算法的根本特性而言,正是基于某種數學結構與邏輯使其成其為自身的,而基于這種數學結構與邏輯所構建的計算模型,總會指涉某種功效,而這種功效總是具有滿足某某需要的屬性,或總是負載著滿足某某需要的某種價值或秩序。這樣,作為計算模型的算法總是會為用戶提供某種功能或價值或秩序,滿足其某種需求。如果這種斷定可以成立的話,那么算法設計和功能中蘊含了用戶的需求,算法系統(tǒng)則是以滿足用戶需求為目標導向的。因而,從本質上來說,算法是基于特定目標下的計算模型[9](3)。由此,算法可以描述為目標導向的。因而,需要對條件(1)稍加調整,即用“目標導向地”替代“有意圖地”。

    關于條件(2),對于算法來說,將會面臨更大的困難。算法并不能有意識地知道和辨識“什么是好的或有益的”,也不能有意識地理解“做什么對用戶是好的或有益的”。算法的個性化推送并不是基于算法系統(tǒng)本身有意識地“相信”推送的內容對用戶有益,而是在設計者目標設定基礎之上,基于大數據和深度學習算法所生成的量化模型與已識別的用戶自身的數據比對分析的結果。根據具體內容的點擊量、點贊量、評論量和轉發(fā)量等數據,結合用戶的數據畫像,然后依據相關算法模型給特定用戶進行個性化推送。正如德國學者米夏埃爾·庫勒(Michael Kühler)所言,人工智能系統(tǒng)確實包含了一組可計算(可量化)的標準,來界定它們的目標。這可以從預定義模式的角度來理解,將跟蹤數據中已識別的模式與預定義模式進行比較,若模式匹配或已識別模式與預定義模式的相似性逐漸提升,則可以認為人工智能在達到其目標方面不斷獲得成功[10](196)。這樣,算法推送就類似于有了一個關于“好或有益的概念”(量化標準),能推算出“做什么對用戶是有益的”(預定義模式與識別模式的相似度)。然而,這種量化標準(有益或好的概念)可以是算法系統(tǒng)設計者預先定義的,也可以是基于大數據深度學習算法自身判定的,或者是兩者共同作用的結果,不管怎樣,至少算法具有推算“什么東西對用戶是有益”的相關程序和模式。由此,我們需要將條件(2)調整為:就算法模式匹配而言,A能推算實施(或不實施)B會促進或不減少U的利益、價值或益處。

    關于條件(3)也存有疑惑。用戶在創(chuàng)建某平臺賬號或注冊某智能應用程序之前,都會被要求點擊“同意”,這意味著用戶知情并同意平臺關于數據和算法的相關規(guī)定。如果拒絕同意,那么很多情形下它們不會為你提供服務。以Facebook的情緒傳染實驗為例,2014年Facebook和康奈爾大學合作開展了一項實驗,即以Facebook用戶為實驗對象,通過減少帖子中的情緒內容來測試情緒傳染是否發(fā)生在人際互動之外。結果發(fā)現(xiàn),當看到的正面帖子減少時,人們發(fā)表的正面帖子更少、負面帖子更多;當看到的負面帖子減少時,發(fā)表的正面帖子會增多。實驗表明,個人在Facebook上發(fā)帖表達的情緒會影響其他人的情緒。這一實驗活動備受倫理質疑,即在未經用戶知情同意的情況下開展這項研究,違反了尊重自主的原則。Facebook作出回應,稱該項研究遵守了Facebook的數據使用政策,所有用戶在創(chuàng)建Facebook賬戶之前都同意該政策,即要求用戶接受該公司將個人數據用于“數據分析、測試和研究”,而且這些數據都非常安全。面對Facebook的申辯,我們主張對“知情同意”做一個區(qū)分。用戶開始創(chuàng)建或注冊某平臺的時候,需要簽署(點擊)知情同意書,可稱之為“形式同意”,主要是指程序上同意平臺對用戶數據的收集、存儲、分析、測試和研究等,但是涉及數據的加工、測試和研究的具體方式、內容和目的時,這需要獲得用戶的“同意”,可稱之為“實質同意”。很顯然,F(xiàn)acebook的辯解是用“形式同意”替代“實質同意”,從而規(guī)避相關的倫理責任。

    從平臺到大數據算法本身都試圖憑借用戶注冊時的“形式同意”充當“實質同意”,以示尊重用戶的自主。然而,用戶的“形式同意”并不意味著“實質同意”,即并不意味著自主和真實同意大數據算法對他進行的所有個性化分析與推送,因為基于用戶大數據的算法推送,會不會干擾用戶的自主選擇或自治?是否侵犯用戶的隱私或損害用戶的身心?是否有可能危害用戶的生命與財產安全?這些可能的擔憂和風險恰恰證明,基于用戶大數據的算法分析與推送不僅需要用戶的“形式同意”,還需要用戶的“實質同意”。我們觀察到,很多智能應用程序的算法推送基本沒有“實質同意”這一環(huán)節(jié),也缺乏相應的算法推送功能的自主設置,如網購、搜索、新聞和健康管理等智能應用程序,基于算法系統(tǒng)自身的邏輯給用戶進行個性化推送,哪些內容可見、哪些內容不可見,算法幫你做了“甄別”;食譜清單中哪些可吃、哪些應該排除,算法幫你做了“判斷”;哪些商品你可能購買、哪些商品是你消費不起的或不感興趣的,算法幫你做了“篩選”。這些基于用戶數據的個性化算法推送也都沒有得到用戶的“實質同意”。因此,條件(3)可修正為:A實施(不實施)B沒有得到U的“實質同意”。

    關于條件(4),就行動自由的意義而言,有學者認為,人工智能算法程序很難實現(xiàn)干涉用戶的自由,畢竟一款智能程序怎么可能妨礙人們做自己想做的事情呢?[10](196)然而,我們認為這種看法對于一些人工智能應用場景是不恰當的。從行動效果上看,算法系統(tǒng)至少在以下兩個方面能夠干預用戶的行動自由或自治。第一種情形,它替用戶作出選擇或做決策。諸如社交、網購、新聞資訊等應用程序,基于用戶數據的“精準畫像”所進行的個性化推送,算法決定了用戶能見到哪些內容、哪些內容被屏蔽;用戶只能看到算法推送的內容,算法替你篩選了那些沒有推送給你的內容。它“認為”或“相信”那些內容你不感興趣或對你沒有益處。設想一下未來智能應用場景,如智能管家會依據你的行程安排,自行決定提前給你開燈開窗、自行推送音樂等,它認為你該起床了(像責任感很強的父親那樣);汽車上配置的人工智能系統(tǒng),能夠在駕駛員進入車內時識別出駕駛員是否疲勞或醉酒、精神狀態(tài)是否正常,如果它判斷駕駛員處于異常狀態(tài),則會自動阻止汽車啟動;未來人工智能助手也可能干涉用戶的自主行為。因此,如果人工智能算法系統(tǒng)能夠與其他特定環(huán)境控制的系統(tǒng)相連接,則算法系統(tǒng)從行動效果上將會越來越多地干擾用戶的行動自由[10](196)。

    第二種情形,就行動效果而言,算法系統(tǒng)能干預用戶選擇意愿或決策形成的過程。搜索、網購和健康管理等應用程序中的算法系統(tǒng),通過推送高效、科學和有吸引力的建議,或通過提升用戶對某些選擇的認識和理解來干預或限制用戶選擇意愿或決策的形成,而與此同時它還幫用戶做了選擇,排除了其他可能的建議或選項。以健康App為例,它基于用戶健康狀況的數據分析,向用戶推送定制的食譜清單和飲食方式,以及個性化的生活和健身方式。飲食建議清單中一開始就排除了相應的食材,如不耐受的食物,而用戶卻不知道這種情形。如果用戶堅信,甚至“盲信”健康App的算法推送對他們的健康是有益的,那么用戶使用它改善身體狀況似乎是出于用戶自主的選擇。算法推送的建議或提升認識和理解的推送是不是出于用戶自主的選擇,會不會實質性影響用戶的選擇意愿或決策,可從兩個方面進一步考察。一方面,用戶意識到這些個性化推送是算法過濾的結果,在很多應用場景中人們往往依然相信或接受它們的推送,他們認為算法推送對他們是有益的,這似乎是出于用戶自主的決策。然而,實際上,由于大多數用戶的專業(yè)知識和理解力有限、相關信息和認知能力缺乏、時間和精力有限,他們所謂的“相信”或“自主的意愿或決策”更多的是建立在算法所推薦的信息基礎之上而生成的。另一方面,用戶沒有意識到這些都是算法過濾的結果,因而更不會反思或拒斥它們的推送。由此,就算法應用的特定場景的行動效果而言,用戶的意愿形成和決策過程都不同程度上受到了算法推送的實質性干擾或影響,條件(4)基本上是可以滿足的。

    綜上所述,我們通過對家長主義的一般界定進行適當分析與綜合,給出了滿足算法家長主義的初步條件,然而,這個初步版本經過上述的分析與探討,也是困難重重。鑒于此,我們對這個版本進行適度的調整和附加限定條件,給出了一個修正后的弱化版本,即可將其描述為,如果A(算法)對U(被干預者或用戶)實施了家長主義行為,則需要滿足以下條件:

    (1)A(算法)目標導向地限制或干預了U的行動;

    (2)就算法模式匹配而言,A推算出實施(不實施)B(行為)會促進或不減少U的利益;

    (3)A實施(不實施)B沒有得到U的“實質同意”;

    (4)就算法應用場景的行動效果而言,A實施(不實施)B干預了U的自由或自主權。

    上文給出了滿足算法家長主義的相關條件,為了使這一新概念能夠被用于探討不同算法應用場景的家長主義現(xiàn)象,我們需要進一步分析和探討算法家長主義的強弱。一般而言,弱家長主義干預建立在被干預者判斷能力出現(xiàn)障礙的基礎上,它保護被干預者不受不反映其真實意志的危險選擇的危害。例如,當藥物或疼痛影響了被干預者的意識時,他所作出的判斷就可能是不真實的。因此,弱家長主義不是阻礙自主,而是在實際上保護和提升自主。如德沃金所言,如果某人因自主能力的不足(信息缺乏、非充分理解、非實質自愿或被強制)而無法達到其想要的目標或結果,那么對其行為進行干預就可以得到辯護。強家長主義是指管理者出于維護被干預者的利益或使其免受傷害的善意考慮,不顧被干預者的主觀意志而限制其自由的行為,善意的目的、限制的意圖、限制的行為、對被干預者的意愿的不管不顧構成這個概念的四個重要組成部分[11](659-722)。

    援引密爾的經典案例[12](115),進一步辨析兩者的意涵與差異。路人甲準備經過一座危險的木橋,他不了解該橋的危險狀況,此時路人乙及時阻止他上橋,路人乙的干預行為是弱家長主義的,因為路人甲由于缺乏關于橋的信息而冒險上橋,這并非他的真實意愿。然而,如果路人甲想要上橋自殺,他目標明確,也是他此時的真實意愿,那么,弱家長主義不會干預他上橋自殺的行為;而就強家長主義而言,路人甲由于不知道橋的危險而上橋和由于他想自殺而上橋,這兩種情形都會被及時阻止,因為它不會考慮干預行為是否符合當事人的真實意愿和自主性。由此,我們可以看到,弱家長主義的關鍵在于,它對當事人的真實意愿或抉擇不進行干涉,只有代表真實意愿的決策才值得捍衛(wèi)與尊重。它是為了達成行動主體想要的結果和目標。相反,它只對受到削弱的決定,即“強制、虛假信息、興奮或沖動、被遮蔽的判斷,推理能力不成熟或欠缺”的結果進行限制和干預[13](7),并幫助主體達成其目標。強家長主義是指某主體出于維護被干預者的利益或使其免受傷害的善意考慮,不顧被干預者的主觀意志而限制其自由的行為,其結果和目標也可能不是被干涉者想要達成的。這樣,如果說弱家長主義是從彌補被干預者自主性的不足,朝著他想要的目標而干預的話,那么強家長主義則完全否定了被干預者的意愿和目標。因而,這兩者的區(qū)別在于,家長主義的干涉行為是否有助于達成被干預者想要的目標或結果[14](62)。

    算法的弱家長主義似乎面臨困難。有人認為,很難想象算法系統(tǒng)能夠有意識“知道”或“判斷”用戶是否足夠自主或自治,對算法而言,的確很難做到。不過,上文已適度給出了澄清和限定,算法是以目標導向與用戶發(fā)生關聯(lián)的。我們認為,從約翰·P.薩林斯(John P. Sullins)提出的工程學意義上的效果自主(effective autonomy)來看,當人工智能無須受其他行動主體控制而擁有獨立的實踐能力并能有效地完成任務時,人工智能就是具有自主性行動者,只要算法程序與環(huán)境的復雜交互作用能夠引發(fā)一個人工智能機器人去實施效果上具有自主性的行動,那么人工智能就可以被視作帶有意向的行動主體[15](24-29)。從效果自主的層面看,基于目標導向的算法可以為用戶提供有效信息,可以提升其認識和理解的能力,可以精準匹配相關選項等來促進用戶的行為自主,如網購和社交的個性化推送。這些基于用戶在信息獲取或認知上的欠缺,為他們提供個性化推送或優(yōu)化建議,促進用戶的行為自主,也可以滿足弱家長主義的要求。如健康App基于用戶數據進行分析和預測,即哪些食物可以吃,哪些食物少吃,甚至有些食物不能吃(不耐受、過敏)。由于用戶在認知、專業(yè)度和獲取信息等方面存在差異,個人用戶對于健康方面的知識不夠系統(tǒng)和全面,因而對自己的健康管理也難以真正實現(xiàn)自主。而算法推送為用戶提供健康信息、科學理解和量化標準等,從而促進用戶作出更自主的決策,使用戶健康得到改善的行為更加自主。此外,搜索、新聞資訊和短視頻等智能應用程序中,算法系統(tǒng)基于用戶的數據畫像,推算和預測他們在滿足興趣和需求上缺乏自主性,因而代替他們“做決策”,哪些內容可見,哪些內容不可見,這些情形也符合算法的弱家長主義特征。

    算法的強家長主義似乎同樣也面臨困惑。按照傳統(tǒng)強家長主義的界定,算法需要具有善意的目的、限制的意圖和限制的行為,以及對被干預者的意愿不管不顧,這些條件都被滿足確實很困難。依據上文對算法家長主義的一般界定,以及從效果自主來看,算法可視為具有一定自主性的行動者,算法系統(tǒng)是以目標導向與用戶發(fā)生關聯(lián)的,算法很難“理解”或不會考慮用戶的真實意愿,它更多的是根據自身的邏輯與規(guī)則干預或影響用戶的自主行為或選擇意愿。在一些特定的應用場景中展現(xiàn)出了算法的強家長主義傾向,如人工智能算法系統(tǒng)與相應物理環(huán)境控制關聯(lián)起來,算法系統(tǒng)通過感知、操作和控制周圍的環(huán)境,干擾用戶的行動自由,諸如汽車智能應用程序檢測到司機醉駕或疲勞駕駛,將會自動靠邊停車,或感知到路上不明狀況,會自動減速或剎車等;智能制造、智能家居和智慧金融等應用場景也可能存在算法的強家長主義現(xiàn)象。

    三、警惕算法家長主義為算法權力提供正當性辯護

    上文從諸多層面分析和揭示了算法在不同應用場景中存在著的家長主義作風。當前社會算法的應用與發(fā)展勢不可擋,算法力量在家長主義的加持下日益滲透和膨脹,一方面,算法系統(tǒng)作為一種功能強大的、進步的科技力量,促進社會發(fā)展與進步;另一方面,它將會逐步重構我們的生活樣態(tài)、價值觀念、生存和思維方式。算法技術發(fā)展的初衷是增強人們的謀劃和認知能力,更多的是一種計算謀劃和計算策略,而如今算法科技與商業(yè)資本、社會控制和國家治理相互滲透、深度交融,彼此賦能賦權,使算法從一種計算力量異化成一種支配、操控和維持數字社會秩序的算法權力。一旦算法權力意欲持續(xù)有效地掌控數字社會的算法秩序,將催生算法的權力意志,而這種權力意志勢必會為其自身的強權行為謀求某種正當性的辯護,即訴諸算法的家長主義立場為其自身的權力謀求一定程度的道德辯護。這一情形將會帶來什么樣的問題值得我們深刻反思并提高警惕。

    就算法力量與商業(yè)資本的相互滲透與融合來看,平臺組織以大數據和算法模型進行分析和預測,將資本的意圖嵌入算法設計與應用之中,生成用戶畫像,進行個性化推送,誘導用戶或消費者作出特定的行為。算法助力商業(yè)資本讀懂用戶的所思所想;算法的推送或建議就像我們自己的決定一樣,甚至有時比我們自己更懂自己。我們可以看到,算法系統(tǒng)通過遠程分析和預測用戶偏好、操縱用戶行為、調控用戶心理所展現(xiàn)出的權力行徑,其得到辯護的理由是算法的家長主義立場,它們的掌控行為是“全心全意”為了用戶自身的利益和需求,幫助用戶實現(xiàn)認知、理解和選擇的自主。然而,值得我們反思和警惕的是,算法系統(tǒng)以分析、識別、預測、推送和監(jiān)控的方式,逐步引導、形塑和訂制人們的行為模式、情感需求、思維方式和價值觀念,人的自主性、獨特個性和主體性將形同虛設。

    就算法力量與社會控制、國家治理的深度交融而言,從智慧政務到數字化國家治理,如果說國家權力可以滲透整個國家的肌體中,那么在數字化和算法化科技的加持下,國家權力能夠延伸至各個“毛細血管”,甚至更加精細微末之處[16](51)。國家依據其智能化科技的全面裝置,將公民置于徹底而全方位的監(jiān)控體系下,而公民卻難以有效地運用信息技術來維護其權利,即無法通過數字民主來制衡國家的算法化的監(jiān)控體系[17](36),如個人數據如何被保管和被使用、誰是數據監(jiān)控的潛在目標人群、哪類群體因何種原因被重點監(jiān)控、圍繞公共安全威脅評分的高危人群捕撈模型的應用邊界等等[18](70-71),這些情形都嚴重依賴算法系統(tǒng)的分析、評估、判定和預測。不難發(fā)現(xiàn),智能化科技已全面滲入國家治理中,已成為國家治理和統(tǒng)治體系不可或缺的一部分,它不再僅僅是我們認識世界和改造世界的中性工具,它已經系統(tǒng)、深度地介入政治體系運作之中。這樣,國家權力為算法賦權,而算法也為國家權力賦能,這兩者相互滲透與交融,將逐步生成一種合理化、普遍化和系統(tǒng)化的“算法極權”。它將滲透和蔓延到各個組織或個體的血液里,操控著人們的行為、表達、情緒和認知,這已成為一種新型的社會控制形式。

    然而,值得我們警惕的是,這種算法權力意志以這種新型的數字化、算法化社會治理形式遮蔽其自身的“極權特征”,進而通過算法的家長主義立場為其自身的強權行徑提供正當性的道德辯護。換言之,這種算法權力意志以一種數字化、算法化的科學外衣來遮蔽自身的極權特性;以一種政治性的、科學性的進步力量展現(xiàn)自身,與算法科技不斷進步的正當性敘事相得益彰、相輔相成,不斷滲透到人們的意識形態(tài)中[19](121)。算法權力不斷地意識形態(tài)化,追求進步神話,它已不僅是智能科技力量強大的一種象征性敘事,更多的是凸顯人們對于算法權力“崇拜”的潛意識。它力圖訴諸“科學外衣”、“進步神話”和“崇拜意識”,使其自身的權力獲得某種合法性與正當性,即普遍認同和相信它的權力和進步將會為人類創(chuàng)造更多的福祉或價值,以及帶來美好的生活。就其深層含義而言,這便是算法的權力意志力圖訴諸家長主義立場以為其自身的權力謀求某種合法性和正當性。

    綜上所述,基于算法系統(tǒng)所構建的數字社會中,數字化、算法化已成為人類的基本生存方式,算法權力意志從日常生活、社會活動和國家治理中廣泛存在的算法家長主義現(xiàn)象中獲得正當性支持;從科技進步論、科技價值論和意識形態(tài)論那里蘊含的算法家長主義觀念中獲得合理性支持。然而,值得我們深刻反思的是,如果算法權力以一種科學、進步和道德的形象展現(xiàn)自身,將會使得人們自覺或不自覺地將算法權力本身的邏輯與規(guī)則內化為我們自身的追求和理想;使人們在內心深處認同、接受和服從這種基于算法權力所構建的數字社會秩序,而這種內化、認同、接受和服從意識反過來又進一步維系了算法權力的合法性和正當性。

    四、慎思算法家長主義為平臺權力提供合法性辯護

    隨著大數據、人工智能、物聯(lián)網和5G通信等新興科技的高速發(fā)展,促成社會各種要素智能互聯(lián),社會經濟日趨平臺化,平臺組織在數字社會、數字經濟領域的主導作用日益凸顯[20](2)。在日常生活中,淘寶、京東、百度、滴滴、美團、微信、支付寶等超級平臺日益支配、操控和維持著人們的生活樣態(tài)、行為模式和生存方式。平臺模式日益成為社會經濟運行的重要模式,已經成為繼資本、勞動、技術之后的新生產要素,平臺模式改變著整個社會經濟形態(tài),正在主宰著整個社會經濟的運行,極大地影響著社會權力結構,并催生了平臺權力[21](98-99)。當人們享受超級平臺帶來的高效、精準和即時服務的同時,也在自覺或不自覺地以付出個人數據為代價,從而為這些超級平臺賦權,使它們獲得操控用戶的權力。存在于機構(如政府)、組織(企業(yè))和符號控制者(公司制媒體)的傳統(tǒng)權力受到挑戰(zhàn),而平臺組織通過整合離散化的資源要素形成新的壟斷權力,并在無形的虛擬網絡中傳播、演化和嬗變,形成新的權力體系[21](102)。新興智能科技的不斷發(fā)展和平臺規(guī)模不斷擴大,以及平臺權力監(jiān)管的滯后或缺失,平臺自我治理需要、事實壟斷的存在,行業(yè)自治建設薄弱等現(xiàn)實因素[22](18-20),使得平臺權力日益擴張和膨脹,在一些實際應用場景中已催生出平臺的霸權行為,引起社會各界的廣泛關注與質疑。

    Facebook、Google、Instagram、推特、騰訊、抖音等平臺發(fā)布規(guī)則、聲明和懲罰條款,平臺聲稱秉持公開、透明和中立等原則,依據相應的平臺規(guī)則對內容生產者(生產者)的創(chuàng)作范圍、內容和方式進行審核,也需要對內容使用者(用戶)的使用、互動進行審核和監(jiān)視,對那些被認定為“作弊”或“玩弄算法”的內容生產者進行懲戒,對那些惡意使用者、非法操縱者和使用不當者等發(fā)布的內容進行刪除、警告、屏蔽或關停。平臺主張,誘導分享、搜索引擎優(yōu)化、“擦邊”行為、“惡意引流”等“玩弄算法”的作弊行為會干擾算法系統(tǒng)自身的運算邏輯,進而損害算法系統(tǒng)運算結果的完備性、正當性和可信性。平臺聲稱,為了提高服務質量和保障內容生產的多樣性,提升生產內容的趣味性和價值性,為了維護廣大生產者和用戶的長遠的正當利益,它們秉持中立、平等、公平和透明原則,依據相關規(guī)則對那些玩弄算法的內容生產者和用戶行為進行干預或懲戒。

    平臺權力產生于平臺組織對平臺所凝結的價值、影響力和掌控力的占有,其核心要素是不對稱的操控能力與資源掌控。平臺運作與經營是一種自然的、自律的、自發(fā)的協(xié)同整合行為[21](103)。然而,一旦平臺方意識到匯聚、整合和操控平臺上各種用戶資源和信息價值的潛在利益,這些行為就會體現(xiàn)平臺組織的主觀意志,從而催生平臺的權力意志,而這種權力意志為了確保自身強權行為的有效性與合法性,勢必為其謀求正當性辯護。平臺組織聲稱對玩弄算法的生產者或用戶進行干預或懲戒,是為了維護算法系統(tǒng)自身運行的完備性、中立性和可信性,因為只有算法系統(tǒng)符合自身的邏輯和規(guī)則運作,才能為生產者提供高效、規(guī)范和公平的平臺生態(tài),才能為廣大用戶提供高效、精準和可信賴的內容與服務。換言之,平臺權力的運作是為了更好地保障算法系統(tǒng)按照其自身的邏輯和規(guī)則運行,算法只有如此這般才能最大可能發(fā)揮其功效,為內容生產者和用戶帶來真正的長遠的利益,顯然這與算法的家長主義立場不謀而合。

    平臺權力的展現(xiàn)與運作是為了維持算法系統(tǒng)的正常運作,確保算法的“純潔性”和“完備性”,從而更好捍衛(wèi)用戶和內容生產者的最大利益。它通過建構這種特定的道德話語框架,由此確立其自身的權力和利益的合法性,以及賦予其自身價值的中立性和道德權威的正當性[23](2),這將積極促進廣大生產者與用戶對平臺權力的理解、認同和支持。然而,真正值得我們慎思和警惕的是,平臺權力一旦使其自身的強權行徑獲得了算法家長主義的合法性辯護,將會促使這種權力意志不斷擴張和膨脹,進而加速平臺公權私有化,造成平臺權力壟斷,影響參與主體的利益分配格局,導致平臺權力異化,從而偏離社會最優(yōu)水平;也會加劇平臺權力濫用、平臺責任泛化,從而導致平臺與政府、平臺與用戶、平臺與社會、平臺與平臺之間的沖突不斷[21](106)。

    五、批判算法家長主義為現(xiàn)存算法秩序提供合理性辯護

    人類由傳統(tǒng)工業(yè)社會逐步邁入新型的數字社會,新型社會形態(tài)的演進理應推動社會的物質和精神財富的增長,促進人的自由全面發(fā)展。然而,在這種新型的數字化社會中,算法系統(tǒng)日益成為支配數字社會各個領域的一種社會權力。個人、組織以及政府治理,日益依賴和受制于算法系統(tǒng)所提供的分析、預測和決策功能,我們的表達、情緒、行為和認知等也越來越受算法系統(tǒng)的影響和擺置。數字社會的功能結構、運作秩序和協(xié)同機制本質上是由算法系統(tǒng)控制和維持的。算法系統(tǒng)依據其自身的特性與邏輯來預制和控制數字社會的組織、結構和秩序,以及人們的生活生產方式、交往方式和思維方式。由此,不難發(fā)現(xiàn),隨著以算法系統(tǒng)為其“靈魂”的數字社會初顯端倪,人的認知、思維和行為日益受制于算法特性與邏輯。在無處不在的算法意志的座架下,人們越來越“確信”算法秩序的合理性與正當性。

    當前算法科技的發(fā)展浪潮勢不可擋,科技進步論的觀念普遍支配著人們對于算法發(fā)展的態(tài)度和認知,導致人們自覺或不自覺地認同算法家長主義的合理性。算法系統(tǒng)依據其自身邏輯與規(guī)則來干預甚至操控用戶的表達、認知、選擇意愿和決策行為,它不僅代替人類計算和分析,還為人們做選擇、做決策。這些具有一定“能動性與自主性”的算法行為,在家長主義立場的辯護下,是為了實現(xiàn)人們自身的福祉、利益或價值,這使得算法系統(tǒng)貌似可以為其自身的行為提供某種道德辯護。然而,這將很可能促使人們未經反思地相信算法系統(tǒng)本身的結構和功能及其所生成的算法秩序也是在為人們自身創(chuàng)造新福利、新價值和新進步;這也使得算法及其所帶來的算法秩序可以獲得某種合理性的辯護?;诖耍覀兛梢钥吹?,如果人們普遍相信算法系統(tǒng)的出發(fā)點終究是為被干預者或用戶自身的利益、價值和幸福生活著想的,那么被干預者需要讓渡出自身的自主權及其他權益也是可以理解的;在這種“算法至善”的意志作用下,支配和維持數字社會的算法秩序所帶來的問題最終也是可以得到解決的。由此可以推斷,當前數字社會的現(xiàn)存算法秩序可以從算法家長主義立場中獲得某種合理性辯護。這一情形值得我們警惕,更需要深入反思與批判。

    在算法家長主義的“觀念”中,“人類自主行為”往往被視為導致偏離最佳“秩序”的因素而需要得到合理修正和控制[1](175),這意味著人們的行為應該屈從算法秩序,從而讓人的行為更加自主。在我們看來,實際的情形可能恰恰相反,在算法秩序所建構的數字社會中,人的諸多行為還原為可計算、可分析和可預測的對象,每個個體或群體的行為都被表征為均質化、無差別的代碼,在算法家長主義立場的承諾下,他們的行為只要遵從算法秩序就會變得更加自主。然而,在一個媒體和代碼無處不在的社會,權力越來越存在于算法之中[24](55-78)。在算法權力意志與家長主義的合謀下,算法在道德外衣的加持下無所畏懼。這很可能導致算法自身的邏輯與結構及其所生成的算法秩序將成為人生存于世的內在規(guī)則,人的認知、情緒和欲求為算法系統(tǒng)所預先訂造,人之為人的本質也將主要源自算法自身特性的內在規(guī)定,人的自主行為將名存實亡。

    算法權力與家長主義的不謀而合,使得當前社會的算法秩序貌似可以獲得某種合理辯護,然而,實質上卻使得算法以一種獲得正當性的普遍權力展現(xiàn)自身,引致一系列算法危機及其困境。隨著算法科技與商業(yè)、資本和國家治理深度融合,彼此賦能賦權,催生算法權力。然而,當算法權力獲得“仁慈父親”的角色,它的權力將會進一步“正當地”膨脹,突破倫理邊界,走向算法霸權;強行依據其自身的邏輯與規(guī)則來操控與訂造人們的生產生活、交往和思維方式;促逼著數字社會秩序屈從“算法巨機器”所先行規(guī)定的秩序,進一步加劇“算法歧視”“算法合謀”等倫理問題。

    平臺或機構權力與家長主義的蓄意共謀,將進一步擴大平臺或機構的權力與個人權利的鴻溝。平臺或機構組織作為當前算法秩序的重要引導者與監(jiān)管者,一旦平臺方意識到自身能掌控、壟斷和管制平臺上各種用戶資源和信息價值,就會促進平臺組織的主觀意志的生成,從而催生平臺的權力意志,而這種權力意志將會為其自身所監(jiān)管的算法秩序謀求合理性與正當性。我們可以看到,平臺或機構利用大數據和算法等技術,匯聚和運算海量的用戶數據,使得政府部門、智能科技公司、企業(yè)平臺等能夠利用新的監(jiān)控、規(guī)訓和操縱的方式來駕馭用戶或個體;它們在很大程度上掌握著數據采集、儲存、監(jiān)管和使用的權力,也把控著算法設計、規(guī)范、應用和問責的權力。平臺憑借算法話語的合理性、復雜性和正當性,憑借算法家長主義的合理性辯護,贏得大眾用戶、專業(yè)媒體和政治資本的認同,從而進一步夯實平臺或機構組織所主導的現(xiàn)存算法秩序的合理性與正當性。然而,讓我們擔憂的是,隨著平臺或機構權力日益合理化、合法化與強制化,所付出的代價是個體的權利空間日趨扁平化、形式化;個體的自由空間、自我調控能力、作用范圍和申訴渠道等將會遭到平臺權力的抑制,與此同時所伴隨的是自治權、知情同意權、參與權和申訴權等個體權益面臨嚴重挑戰(zhàn)。顯然,以這種算法家長主義所“聲援”的算法秩序,將進一步加深機構權力與個人權利的鴻溝,也會加快個人自治權及其數字權利的喪失。

    當面對社會各界對于算法倫理問題的質疑時,很多情形下為現(xiàn)存算法秩序進行辯護的理由依然是算法家長主義式的。諸如,一方面日常生活、商業(yè)和政府治理等領域的算法應用,促進人們對事物或信息的認識、理解和分析,進而促進人的行為自主或自治;另一方面,如安防領域的人臉識別、醫(yī)療領域的算法應用、智能制造和智慧城市等,為人們創(chuàng)造了更多的利益、福祉和價值。然而,面對算法科技及算法秩序帶來的諸多倫理問題與挑戰(zhàn)時,有學者主張,對算法研發(fā)與應用進行適度的倫理審查與監(jiān)管,促進算法科技健康有序發(fā)展,核心理念是倫理“服務”算法;也有學者主張將算法倫理形式化,通過技術方案來解決。這些解決思路凸顯的依然是算法家長主義立場的合理性與優(yōu)越性。但我們認為,一方面,僅憑借算法科技自身的發(fā)展與完善很難擔當起如此大任,縱觀計算技術發(fā)展的歷史本身,其所帶來的倫理問題并沒隨著計算速度與能力的改進和發(fā)展而得到更好的解決,甚至是進一步固化原有的問題,引發(fā)更具有挑戰(zhàn)的新問題與新風險;另一方面,就算法的根本特性而言,它是數學模型與邏輯的衍生物,它本身并不會去追問它自身存在的意義問題,更不會去思慮它自身的發(fā)展對人類生存意味著什么,它更多的是在不斷趨近工具理性的完備狀態(tài)。

    [參考文獻]

    [1]賈開.算法社會的技術內涵、演化過程與治理創(chuàng)新[J].探索,2022(2).

    [2]DWORKIN G. Paternalism[C]//GOROVITZ S,JAMETON L A,MACKLIN R,et al(eds.). Moral Problems in Medicine. Englewood Cliffs,NJ:Prentice-Hall,1976.

    [3]BEAUCHAMP T L. Paternalism[C]//POST S G(ed.). Encyclopedia of Bioethics. New York:Thomson Gale press,2004.

    [4]DWORKIN G. Paternalism[C]//WASSERSTROM R(ed.). Morality and the Law. Belmont,CA:Wadsworth Pub? lishing Company Ltd,1971.

    [5]GERT B,CULVER C M. Paternalistic Behavior[J].Philosophy and Public Affairs,1976,6(1).

    [6]DWORKIN G. Paternalism[EB/OL].[2024-10-27].Standford Encyclopedia of Philosophy,2024. https://plato. stanford.edu/entries/paternalism/.

    [7]陳昌鳳,師文.個性化新聞推薦算法的技術解讀與價值探討[J].中國編輯,2018(10).

    [8]陳昌鳳,石澤.技術與價值的理性交往:人工智能時代信息傳播——算法推薦中工具理性與價值理性的思考[J].新聞戰(zhàn)線,2017(17).

    [9]彭蘭.算法社會的“囚徒”風險[J].全球傳媒學刊,2021(1).

    [10]KüHLER M. Exploring the Phenomenon and Ethical Issues of Al Paternalism in Health Apps[J].Bioethics,2020,36(2).

    [11]POPE T M. Counting the Dragon’s Teeth and Claws:The Definition of Hard Paternalism[J].Georgia State University Law Review,2004,20(3).

    [12]約翰·密爾.論自由[M].許寶骙,譯.北京:商務印書館,1998.

    [13]FEINBERG J. Legal Paternalism[C]//SARTORIUS R(ed.). Paternalism. Minneapolis,MN:University of Minne? sota Press,1983.

    [14]朱偉.醫(yī)療家長主義在何種程度上得到辯護?[J].倫理學研究,2018(2).

    [15]SULLINS J P. When Is a Robot a Moral Agent?[J].International Review of Information Ethies,2006,6(6).

    [16]郭春鎮(zhèn).“權力—權利”視野中的數字賦能雙螺旋結構[J].浙江社會科學,2022(1).

    [17]肖濱.信息技術在國家治理中的雙面性與非均衡性[J].學術研究,2009(11).

    [18]單勇.跨越“數字鴻溝”:技術治理的非均衡性社會參與應對[J].中國特色社會主義研究,2019(5).

    [19]皇甫博媛.“算法游戲”:平臺家長主義的話語建構與運作機制[J].國際新聞界,2021(11).

    [20]丁道勤.《電子商務法》平臺責任“管道化”問題及其反思[J].北京航空航天大學學報(社會科學版),2018(6).

    [21]張燕,張祥建.平臺權力的結構、擴張機制與異化效應[J].社會科學家,2022(2).

    [22]李振宇.超級平臺的權力擴張及其法律治理[J].汕頭大學學報(人文社會科學版),2021(8).

    [23]PETRE C,DUFFY B E,HUND E. Gaming the System:Platform Paternalism and the Politics of Algorithmic Visibility[J].Social Media + Society,2019,5(4).

    [24]LASH S. Power After Hegemony:Cultural Studies in Mutation[J].Theory,Culture Society,2007,24(3).

    (責任編輯:孫保學)

    av天堂在线播放| 亚洲性夜色夜夜综合| 色精品久久人妻99蜜桃| 国产男女内射视频| 午夜福利影视在线免费观看| 亚洲全国av大片| 亚洲成人国产一区在线观看| 亚洲国产精品一区二区三区在线| 欧美黄色淫秽网站| 我的亚洲天堂| 婷婷成人精品国产| 亚洲精品美女久久av网站| 亚洲aⅴ乱码一区二区在线播放 | 欧美日韩国产mv在线观看视频| 精品国产超薄肉色丝袜足j| 国产淫语在线视频| 亚洲一码二码三码区别大吗| 久久久国产成人精品二区 | 国产高清视频在线播放一区| 99在线人妻在线中文字幕 | 亚洲av成人不卡在线观看播放网| 国产免费现黄频在线看| 色婷婷av一区二区三区视频| 少妇猛男粗大的猛烈进出视频| 午夜两性在线视频| 精品国产美女av久久久久小说| 黄频高清免费视频| 成人三级做爰电影| 色老头精品视频在线观看| 日本五十路高清| 大香蕉久久网| 美女 人体艺术 gogo| 一级毛片女人18水好多| 午夜视频精品福利| 国产一区二区激情短视频| 国产色视频综合| 成人三级做爰电影| 又紧又爽又黄一区二区| 久9热在线精品视频| 国产高清videossex| 美女国产高潮福利片在线看| 午夜福利乱码中文字幕| a级毛片在线看网站| 成人三级做爰电影| 在线观看66精品国产| avwww免费| 国产伦人伦偷精品视频| 国产亚洲欧美精品永久| 黄色成人免费大全| 在线免费观看的www视频| 亚洲精华国产精华精| 777米奇影视久久| 久久精品亚洲精品国产色婷小说| 日韩成人在线观看一区二区三区| 天天添夜夜摸| 精品无人区乱码1区二区| 国精品久久久久久国模美| 国产精品久久久久久精品古装| 国产欧美日韩一区二区三| 啪啪无遮挡十八禁网站| 伦理电影免费视频| 亚洲精品国产区一区二| 19禁男女啪啪无遮挡网站| 国产av又大| 9色porny在线观看| 女人被躁到高潮嗷嗷叫费观| 女性生殖器流出的白浆| 操出白浆在线播放| 王馨瑶露胸无遮挡在线观看| 99国产极品粉嫩在线观看| 人人妻人人澡人人爽人人夜夜| 国产国语露脸激情在线看| 免费一级毛片在线播放高清视频 | 水蜜桃什么品种好| 他把我摸到了高潮在线观看| 青草久久国产| 亚洲精品av麻豆狂野| 老熟妇仑乱视频hdxx| 欧美激情极品国产一区二区三区| 18禁黄网站禁片午夜丰满| 真人做人爱边吃奶动态| 无遮挡黄片免费观看| 国内毛片毛片毛片毛片毛片| 亚洲avbb在线观看| 日本黄色视频三级网站网址 | 黑人操中国人逼视频| 99国产极品粉嫩在线观看| 国内毛片毛片毛片毛片毛片| 国产男女内射视频| 在线观看免费视频日本深夜| 亚洲熟妇中文字幕五十中出 | 黄色毛片三级朝国网站| 欧美精品高潮呻吟av久久| 久久人妻熟女aⅴ| 精品人妻1区二区| 大香蕉久久网| 91麻豆av在线| 黄网站色视频无遮挡免费观看| 久久中文看片网| 一区在线观看完整版| 国产激情欧美一区二区| 一级a爱片免费观看的视频| 高清黄色对白视频在线免费看| 高清av免费在线| 777久久人妻少妇嫩草av网站| 午夜免费观看网址| 亚洲人成电影免费在线| 精品卡一卡二卡四卡免费| 精品人妻1区二区| 18禁美女被吸乳视频| 狂野欧美激情性xxxx| 免费日韩欧美在线观看| 国产一卡二卡三卡精品| 国产av又大| 丁香六月欧美| 美女午夜性视频免费| 亚洲黑人精品在线| 国产激情欧美一区二区| 亚洲欧美色中文字幕在线| 国产男女超爽视频在线观看| 免费av中文字幕在线| 日本黄色视频三级网站网址 | 不卡av一区二区三区| 精品国产一区二区三区四区第35| 中国美女看黄片| 亚洲欧美日韩高清在线视频| 无遮挡黄片免费观看| av网站免费在线观看视频| 久久久久精品国产欧美久久久| 中文亚洲av片在线观看爽 | 啦啦啦视频在线资源免费观看| 乱人伦中国视频| 国产精品自产拍在线观看55亚洲 | 亚洲少妇的诱惑av| 国产有黄有色有爽视频| 亚洲精品国产色婷婷电影| 激情视频va一区二区三区| 人妻一区二区av| 十八禁人妻一区二区| 黑人欧美特级aaaaaa片| 日本五十路高清| 亚洲欧美一区二区三区黑人| 欧美日韩亚洲国产一区二区在线观看 | av国产精品久久久久影院| 老熟女久久久| 色精品久久人妻99蜜桃| 在线观看免费高清a一片| 成人av一区二区三区在线看| 久久99一区二区三区| 91大片在线观看| 丝袜在线中文字幕| 亚洲av第一区精品v没综合| 法律面前人人平等表现在哪些方面| 757午夜福利合集在线观看| 在线视频色国产色| 日韩视频一区二区在线观看| 久久午夜综合久久蜜桃| 男人舔女人的私密视频| 人人妻人人澡人人爽人人夜夜| 老司机影院毛片| 欧美另类亚洲清纯唯美| 中文字幕制服av| 老熟妇乱子伦视频在线观看| 国产一区二区激情短视频| 久久精品国产99精品国产亚洲性色 | 男女午夜视频在线观看| 在线免费观看的www视频| 久久这里只有精品19| aaaaa片日本免费| 亚洲色图综合在线观看| av在线播放免费不卡| 69av精品久久久久久| 亚洲人成伊人成综合网2020| 亚洲三区欧美一区| 精品一品国产午夜福利视频| 免费在线观看亚洲国产| 久久国产精品影院| 黄网站色视频无遮挡免费观看| 90打野战视频偷拍视频| 国产精品欧美亚洲77777| 50天的宝宝边吃奶边哭怎么回事| 免费看a级黄色片| 国产免费av片在线观看野外av| 亚洲人成电影免费在线| 91九色精品人成在线观看| 亚洲精品国产区一区二| 91av网站免费观看| 国产成人啪精品午夜网站| xxxhd国产人妻xxx| 两个人免费观看高清视频| 午夜精品久久久久久毛片777| 搡老乐熟女国产| 日韩制服丝袜自拍偷拍| 岛国毛片在线播放| 国产单亲对白刺激| 在线观看www视频免费| 精品一品国产午夜福利视频| 99久久国产精品久久久| 黄网站色视频无遮挡免费观看| 两个人免费观看高清视频| 操出白浆在线播放| 国产精品98久久久久久宅男小说| 精品久久久久久,| 人成视频在线观看免费观看| 国产精品永久免费网站| 精品国产亚洲在线| 男女免费视频国产| 我的亚洲天堂| 午夜免费成人在线视频| 一区二区三区精品91| 亚洲成人手机| 纯流量卡能插随身wifi吗| 一夜夜www| 欧美国产精品一级二级三级| 不卡一级毛片| 久久久久久久久久久久大奶| 午夜成年电影在线免费观看| 老熟妇仑乱视频hdxx| 亚洲黑人精品在线| 亚洲 欧美一区二区三区| 亚洲伊人色综图| 母亲3免费完整高清在线观看| www.熟女人妻精品国产| 国产精品免费视频内射| 老司机影院毛片| 久久久久国产一级毛片高清牌| 999精品在线视频| 亚洲一码二码三码区别大吗| 午夜免费鲁丝| 精品一品国产午夜福利视频| av片东京热男人的天堂| 国产成+人综合+亚洲专区| 精品乱码久久久久久99久播| 大码成人一级视频| 丝瓜视频免费看黄片| 久久天躁狠狠躁夜夜2o2o| 成人精品一区二区免费| 人人妻人人爽人人添夜夜欢视频| 欧美日韩亚洲国产一区二区在线观看 | 日韩欧美一区二区三区在线观看 | 超碰97精品在线观看| 亚洲av日韩在线播放| 午夜免费鲁丝| 18禁国产床啪视频网站| 国产精品欧美亚洲77777| 十八禁高潮呻吟视频| 嫁个100分男人电影在线观看| 好看av亚洲va欧美ⅴa在| 午夜福利一区二区在线看| 国产欧美日韩综合在线一区二区| 在线观看www视频免费| 在线看a的网站| 少妇猛男粗大的猛烈进出视频| 丰满的人妻完整版| 精品欧美一区二区三区在线| 婷婷精品国产亚洲av在线 | 99国产极品粉嫩在线观看| 亚洲五月婷婷丁香| 欧美日韩精品网址| 国产在线观看jvid| 久久午夜亚洲精品久久| 国产精品免费视频内射| 久久久久久久精品吃奶| 韩国av一区二区三区四区| 丁香欧美五月| 精品熟女少妇八av免费久了| 老汉色∧v一级毛片| 午夜亚洲福利在线播放| 成人18禁高潮啪啪吃奶动态图| 悠悠久久av| 91精品三级在线观看| 午夜老司机福利片| 欧美 日韩 精品 国产| 久久久久久久久久久久大奶| 午夜免费鲁丝| 国产精品国产av在线观看| 久久草成人影院| 成年版毛片免费区| 久久人妻熟女aⅴ| 男男h啪啪无遮挡| 亚洲精品在线观看二区| 日本一区二区免费在线视频| 国产视频一区二区在线看| 国产精品九九99| 国产精品永久免费网站| 欧美精品高潮呻吟av久久| a在线观看视频网站| 又黄又爽又免费观看的视频| 国产av精品麻豆| 午夜久久久在线观看| 十八禁高潮呻吟视频| 久久香蕉激情| 曰老女人黄片| 狠狠狠狠99中文字幕| 9191精品国产免费久久| 人妻 亚洲 视频| 18禁裸乳无遮挡动漫免费视频| 成人国产一区最新在线观看| 欧美精品人与动牲交sv欧美| 色尼玛亚洲综合影院| 亚洲少妇的诱惑av| 日韩一卡2卡3卡4卡2021年| 国产亚洲精品一区二区www | 亚洲欧洲精品一区二区精品久久久| 一级黄色大片毛片| 中文字幕另类日韩欧美亚洲嫩草| 亚洲午夜理论影院| 亚洲精品国产精品久久久不卡| 99热网站在线观看| 99久久人妻综合| 高清黄色对白视频在线免费看| 91九色精品人成在线观看| 美女高潮到喷水免费观看| 中文字幕色久视频| 极品少妇高潮喷水抽搐| 最新的欧美精品一区二区| 久久久国产一区二区| 身体一侧抽搐| 一二三四社区在线视频社区8| 极品人妻少妇av视频| 欧美日韩亚洲高清精品| av超薄肉色丝袜交足视频| 高清欧美精品videossex| 日韩熟女老妇一区二区性免费视频| 多毛熟女@视频| 日本欧美视频一区| 十八禁人妻一区二区| 亚洲精品一卡2卡三卡4卡5卡| 亚洲av第一区精品v没综合| 看免费av毛片| 久久香蕉国产精品| 啦啦啦在线免费观看视频4| 精品国产一区二区三区四区第35| 成年女人毛片免费观看观看9 | 黑丝袜美女国产一区| 少妇猛男粗大的猛烈进出视频| 国产一区二区三区综合在线观看| 啦啦啦在线免费观看视频4| 91精品三级在线观看| 久久国产精品人妻蜜桃| 国产一卡二卡三卡精品| 久久久国产成人精品二区 | 99久久人妻综合| 日韩有码中文字幕| a级毛片黄视频| 亚洲国产精品一区二区三区在线| 两个人看的免费小视频| 美女高潮喷水抽搐中文字幕| 欧美成人免费av一区二区三区 | 午夜亚洲福利在线播放| 国产精品久久久久成人av| 18禁国产床啪视频网站| 亚洲在线自拍视频| 久久精品国产亚洲av香蕉五月 | 黄色 视频免费看| 成人手机av| 高清欧美精品videossex| 免费观看人在逋| 一级毛片高清免费大全| 亚洲成av片中文字幕在线观看| 欧美久久黑人一区二区| 久久精品aⅴ一区二区三区四区| 国产精品久久电影中文字幕 | 久久中文字幕一级| 国产精品一区二区免费欧美| 在线免费观看的www视频| 69精品国产乱码久久久| 三上悠亚av全集在线观看| cao死你这个sao货| 亚洲专区字幕在线| 久久中文字幕一级| 真人做人爱边吃奶动态| 午夜福利在线免费观看网站| 欧美最黄视频在线播放免费 | 亚洲专区字幕在线| 久久久水蜜桃国产精品网| 熟女少妇亚洲综合色aaa.| 久久久久久久国产电影| 十八禁人妻一区二区| 色婷婷久久久亚洲欧美| 久久久久久久午夜电影 | 欧美性长视频在线观看| 久久精品人人爽人人爽视色| 一级毛片女人18水好多| 国产精品.久久久| 欧美精品av麻豆av| 久久天堂一区二区三区四区| 亚洲国产中文字幕在线视频| 亚洲精品久久成人aⅴ小说| 欧美日韩福利视频一区二区| 精品人妻1区二区| 日本撒尿小便嘘嘘汇集6| 一进一出抽搐gif免费好疼 | 夫妻午夜视频| 国产免费av片在线观看野外av| 欧美黄色淫秽网站| 啦啦啦免费观看视频1| 久久这里只有精品19| 十八禁高潮呻吟视频| 麻豆国产av国片精品| 久久婷婷成人综合色麻豆| 久久精品91无色码中文字幕| 少妇 在线观看| 丝袜美腿诱惑在线| 下体分泌物呈黄色| 久久中文字幕一级| 亚洲欧美一区二区三区久久| 亚洲精品中文字幕一二三四区| 一区二区三区国产精品乱码| 狠狠婷婷综合久久久久久88av| 欧美乱色亚洲激情| 国产av精品麻豆| 超碰成人久久| 亚洲一区二区三区欧美精品| 国产精品久久久久久精品古装| cao死你这个sao货| 日本黄色视频三级网站网址 | 国产男靠女视频免费网站| 亚洲一区高清亚洲精品| 天天影视国产精品| 国产区一区二久久| 成年动漫av网址| av一本久久久久| 男女床上黄色一级片免费看| 亚洲国产欧美网| 少妇被粗大的猛进出69影院| 看免费av毛片| 精品国产一区二区三区久久久樱花| 久久精品亚洲精品国产色婷小说| 国产免费现黄频在线看| 热99国产精品久久久久久7| 69av精品久久久久久| 无限看片的www在线观看| 交换朋友夫妻互换小说| 王馨瑶露胸无遮挡在线观看| 男女下面插进去视频免费观看| 国产精品1区2区在线观看. | 国产在线精品亚洲第一网站| 一区二区日韩欧美中文字幕| xxxhd国产人妻xxx| 免费在线观看完整版高清| 日日爽夜夜爽网站| 国产精品电影一区二区三区 | 大型av网站在线播放| 亚洲精品国产色婷婷电影| 巨乳人妻的诱惑在线观看| 三级毛片av免费| 成年版毛片免费区| av有码第一页| 精品少妇久久久久久888优播| 久久久久久久午夜电影 | 曰老女人黄片| 国产三级黄色录像| 欧美性长视频在线观看| 在线观看午夜福利视频| 国产亚洲av高清不卡| 制服诱惑二区| 变态另类成人亚洲欧美熟女 | 99精品欧美一区二区三区四区| 一级毛片高清免费大全| 亚洲av熟女| 国产亚洲精品久久久久久毛片 | 美女视频免费永久观看网站| 久久这里只有精品19| 一进一出抽搐gif免费好疼 | 亚洲欧洲精品一区二区精品久久久| 天堂动漫精品| 久久久久久久久免费视频了| 成人亚洲精品一区在线观看| 欧美激情久久久久久爽电影 | 人妻一区二区av| 在线观看免费高清a一片| 一本一本久久a久久精品综合妖精| 久久国产精品人妻蜜桃| 宅男免费午夜| 丝袜美足系列| 午夜亚洲福利在线播放| 老司机亚洲免费影院| 嫁个100分男人电影在线观看| 亚洲欧美精品综合一区二区三区| 在线观看免费午夜福利视频| 免费黄频网站在线观看国产| 成年女人毛片免费观看观看9 | 国产亚洲精品久久久久5区| 成年版毛片免费区| 国内毛片毛片毛片毛片毛片| 欧美成人午夜精品| 99香蕉大伊视频| 天堂俺去俺来也www色官网| av福利片在线| 韩国精品一区二区三区| 国产激情久久老熟女| 国产91精品成人一区二区三区| 国产人伦9x9x在线观看| 精品久久久久久久毛片微露脸| 国产成人精品久久二区二区免费| 久久亚洲真实| 久久久久久久国产电影| 久久久精品国产亚洲av高清涩受| 欧美黑人精品巨大| aaaaa片日本免费| 在线观看免费视频网站a站| 免费在线观看日本一区| 久久香蕉国产精品| 亚洲午夜精品一区,二区,三区| 欧美乱妇无乱码| 女人被躁到高潮嗷嗷叫费观| 欧美一级毛片孕妇| 搡老岳熟女国产| 人人澡人人妻人| 亚洲性夜色夜夜综合| 侵犯人妻中文字幕一二三四区| 人人妻人人澡人人看| 日韩 欧美 亚洲 中文字幕| 亚洲欧美日韩高清在线视频| 51午夜福利影视在线观看| 黑人巨大精品欧美一区二区mp4| 中文字幕人妻熟女乱码| 亚洲伊人色综图| 国内久久婷婷六月综合欲色啪| 啦啦啦 在线观看视频| 热99国产精品久久久久久7| 人成视频在线观看免费观看| 三上悠亚av全集在线观看| 在线观看免费午夜福利视频| 精品一品国产午夜福利视频| 少妇猛男粗大的猛烈进出视频| 亚洲人成77777在线视频| 国产精品98久久久久久宅男小说| 热99re8久久精品国产| 国产日韩欧美亚洲二区| 久久午夜综合久久蜜桃| 国产av精品麻豆| 色婷婷久久久亚洲欧美| 亚洲一卡2卡3卡4卡5卡精品中文| 建设人人有责人人尽责人人享有的| 欧美日韩成人在线一区二区| 午夜福利视频在线观看免费| 精品欧美一区二区三区在线| 精品人妻熟女毛片av久久网站| 老司机亚洲免费影院| 一级片免费观看大全| 纯流量卡能插随身wifi吗| 青草久久国产| 国产又爽黄色视频| 亚洲精品av麻豆狂野| 亚洲人成77777在线视频| 国产视频一区二区在线看| 夜夜夜夜夜久久久久| 国产xxxxx性猛交| 看免费av毛片| 69av精品久久久久久| 国产亚洲av高清不卡| 国产区一区二久久| 高清视频免费观看一区二区| 窝窝影院91人妻| 亚洲黑人精品在线| 成人国产一区最新在线观看| 国产成人欧美在线观看 | 精品国产乱子伦一区二区三区| 亚洲精品国产精品久久久不卡| 精品福利观看| 在线观看午夜福利视频| 免费黄频网站在线观看国产| 精品少妇久久久久久888优播| 久久香蕉国产精品| 国产精品免费视频内射| e午夜精品久久久久久久| 国产精品久久久av美女十八| 50天的宝宝边吃奶边哭怎么回事| а√天堂www在线а√下载 | av福利片在线| 天天躁夜夜躁狠狠躁躁| 老司机福利观看| 亚洲精品粉嫩美女一区| 久久 成人 亚洲| 免费看十八禁软件| 涩涩av久久男人的天堂| 高清av免费在线| 人人妻人人澡人人爽人人夜夜| 午夜两性在线视频| 日韩有码中文字幕| 欧美午夜高清在线| 国产在视频线精品| 亚洲七黄色美女视频| 国产精品综合久久久久久久免费 | 十八禁高潮呻吟视频| 两个人看的免费小视频| 最近最新中文字幕大全免费视频| 曰老女人黄片| 99久久精品国产亚洲精品| 亚洲,欧美精品.| 黄色毛片三级朝国网站| 18禁裸乳无遮挡免费网站照片 | 人人妻人人爽人人添夜夜欢视频| 国内久久婷婷六月综合欲色啪| 丝袜美腿诱惑在线| 飞空精品影院首页| 欧美黄色淫秽网站| 国产午夜精品久久久久久| 亚洲欧美日韩另类电影网站| 成人黄色视频免费在线看| 久久久精品免费免费高清| 王馨瑶露胸无遮挡在线观看| 免费人成视频x8x8入口观看| 国产深夜福利视频在线观看| 黄片播放在线免费| 91成年电影在线观看| 妹子高潮喷水视频| 日韩欧美在线二视频 | 精品卡一卡二卡四卡免费| 18禁美女被吸乳视频| 国产成+人综合+亚洲专区| 最近最新免费中文字幕在线| 成年版毛片免费区|