• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    算法私人治理的三個維度:主體、內(nèi)容與方式

    2021-12-27 13:29:31尹鋒林李玲娟
    理論月刊 2021年3期
    關(guān)鍵詞:開發(fā)者使用者個人信息

    □尹鋒林,李玲娟

    (中國科學院大學 公共政策與管理學院,北京100049)

    傳統(tǒng)上的算法概念主要存在于數(shù)學范疇,是指解決一個數(shù)學問題的一系列步驟。隨著計算機的問世和快速發(fā)展,人們不僅可以直接利用計算機通過算法完成復雜的數(shù)值計算問題,而且還可以用數(shù)值表達文字,進而利用計算機通過算法解決某些非數(shù)值計算問題,比如對溫度進行控制,識別用戶的門禁權(quán)限,對用戶咨詢的問題進行分析并應答,根據(jù)用戶指令向第三方轉(zhuǎn)賬等。在信息社會,算法已經(jīng)不再局限于數(shù)學范疇,算法對社會、經(jīng)濟甚至政治生活的影響越來越廣泛和深入,對算法進行治理的需求也相應地越來越迫切[1](p8)。

    從治理主體角度進行分類,可以將算法治理分為公共治理和私人治理兩大類。算法公共治理是指公權(quán)機構(gòu)為了實現(xiàn)公平公正和社會效率而對算法進行治理的行為,比如立法機關(guān)通過立法對算法進行規(guī)范,行政機關(guān)通過具體行政行為對算法進行糾正等[2](p17-22)。算法私人治理是指公民、企業(yè)等私權(quán)主體依法對算法進行治理的行為,比如企業(yè)對自己開發(fā)的算法進行修改完善,公民對政府或企業(yè)的算法行為提起訴訟等。由于私權(quán)主體是算法的直接受影響者,可以最先且最直觀地感受到算法的影響和好壞,同時,也最有動力糾正不合理的算法,因此,算法私人治理不僅是私權(quán)主體維護自身權(quán)益的重要手段,而且對于實現(xiàn)公平公正、維護社會公共利益具有重要意義。

    一、算法私人治理的相關(guān)主體

    算法私人治理的治理主體可以分為以下三種類型:一是開發(fā)或使用算法的企業(yè);二是行業(yè)協(xié)會;三是受算法影響的企業(yè)或公民。

    (一)開發(fā)或使用算法的企業(yè)

    在很多情況下,開發(fā)或使用算法的企業(yè)為了自身經(jīng)濟利益有動力對其算法進行自我治理。比如,為了便利或吸引更多的用戶,企業(yè)會時常修改其算法來優(yōu)化服務流程,或者修正其算法以減少對用戶個人信息的過度索取[3]。當然,企業(yè)對其算法的自我治理是以其利潤最大化為前提的,企業(yè)優(yōu)化或修改其算法的主要考量因素是其短期、中期和長期利益。企業(yè)治理算法除了要考量治理收益之外,還會考慮到治理的成本。企業(yè)算法自我治理成本既包括對算法進行修改或完善所需要投入的直接成本,如方案設計論證成本、程序員工時成本等,還包括算法改變后未來收益的可能損失等間接成本。

    在考量企業(yè)算法自我治理的收益與成本時,還應考慮到相關(guān)法律政策和受算法影響的主體對企業(yè)現(xiàn)有算法的容忍程度。如果法律政策對企業(yè)算法的規(guī)制力度較弱,企業(yè)違規(guī)成本很低,這樣,如果一個企業(yè)對其自身算法進行比較嚴格的自我治理而其他競爭性企業(yè)不進行自我治理,那么進行自我治理的企業(yè)就有可能在市場競爭中處于劣勢地位,從而出現(xiàn)“劣幣驅(qū)逐良幣”的問題。同樣,如果大多數(shù)用戶對算法問題容忍度高,不對算法開發(fā)者或使用者采取積極的應對措施,那么也會變相縱容企業(yè)不對其算法進行嚴格的自我治理,進而形成“壞”算法—用戶默許—企業(yè)獲利—競爭者跟進—“更壞”算法的惡性循環(huán)。

    (二)行業(yè)協(xié)會

    行業(yè)協(xié)會是同一行業(yè)的企業(yè)、個體商業(yè)者及相關(guān)單位自愿組成的民間性、自律性的組織。行業(yè)協(xié)會具有民間自治性的特點,即行業(yè)協(xié)會根據(jù)有關(guān)法律法規(guī),自主地享有應有的權(quán)利,實行自我管理,開展各種與宗旨相符的活動,獨立承擔相應的責任;同時,行業(yè)協(xié)會還通過內(nèi)部組織機制的運行,規(guī)范其成員的行為,實現(xiàn)其團體內(nèi)的秩序,并使其團體內(nèi)秩序與法律秩序相協(xié)調(diào)、相補充[4](p198)。在算法私人治理過程中,行業(yè)協(xié)會的作用至關(guān)重要。

    行業(yè)協(xié)會匯集了同行業(yè)的競爭者,代表本行業(yè)經(jīng)營者共同的長遠利益,因此,在單個企業(yè)擔心出現(xiàn)“劣幣驅(qū)逐良幣”現(xiàn)象而對其算法進行自我治理的動力不足的情況下,行業(yè)協(xié)會就可以組織競爭者討論并形成對相關(guān)算法進行自我治理的行業(yè)標準或行業(yè)最佳實踐。這些由行業(yè)協(xié)會組織制定的有關(guān)算法的行業(yè)標準或行業(yè)最佳實踐,能夠在一定程度上擺脫單個企業(yè)的自身利益考量,實現(xiàn)企業(yè)、競爭者、用戶各方利益的平衡。例如,為了防范互聯(lián)網(wǎng)金融企業(yè)過度索取用戶個人信息,特別是防止企業(yè)通過“爬蟲”程序違規(guī)搜集用戶個人信息,2019 年11 月中國互聯(lián)網(wǎng)金融協(xié)會向會員單位發(fā)布了《關(guān)于增強個人信息保護意識依法開展業(yè)務的通知》。該通知事實上就是一個行業(yè)規(guī)范,從互聯(lián)網(wǎng)金融行業(yè)整體利益角度對相關(guān)企業(yè)獲取用戶個人信息行為做出了明確規(guī)范和指引,進而解決了僅靠單個互聯(lián)網(wǎng)金融企業(yè)難以實現(xiàn)的對“爬蟲”算法進行自我治理的問題[5]。

    (三)受算法影響的企業(yè)或公民

    受算法不利影響的企業(yè)或公民對算法具有最強烈的治理意愿。當用戶受到經(jīng)營者算法的不公平對待或不利影響時,其第一想法顯然都是應對該算法進行治理和完善,以維護自身權(quán)益。但是,在現(xiàn)實中又存在一個奇怪的現(xiàn)象:一方面受影響的主體對算法有強烈的治理意愿,另一方面受影響主體主動對算法發(fā)起治理行動的案例又極少。之所以存在這一現(xiàn)象,主要原因在于受影響主體對算法進行私人治理的成本與收益不對稱,進而導致其進行私人治理的內(nèi)在動力不足。受影響主體對算法進行私人治理的成本包括時間、精力、經(jīng)濟等成本,特別是當受影響的主體是弱小的個體而開發(fā)或使用算法的主體是大型互聯(lián)網(wǎng)平臺的情況下,受影響主體對算法成功進行私人治理的成本會更加巨大。與此同時,受算法影響的主體并非僅是對算法進行私人治理的一個個體,而是包括千千萬萬個個體,這樣,一個個體對算法進行成功的私人治理就具有巨大的正外部性,即一個個體對算法進行私人治理取得了成功,受益者就不僅局限于私人治理個體本身,而且還包括其他受算法影響的大量個體。

    因此,在建立算法治理的政策和制度時,就應當認真考慮是否需要鼓勵受影響主體對算法進行私人治理的問題。如果經(jīng)過利弊分析之后認為應當對受影響主體的私人治理行為進行鼓勵,那么相關(guān)政策制度就應確保受影響主體私人治理的收益應大于其治理成本。受影響主體私人治理的收益可以來自兩個方面:一是由被治理的開發(fā)或使用算法的企業(yè)提供。由于受影響主體私人治理的治理成本是由被治理企業(yè)引起的,因此,由被治理企業(yè)承擔治理成本是合理的。二是由治理后的受益者提供。算法私人治理的受益者是受算法不利影響的其他個體,由于他們并未采取實際的治理行動而同時又享受到了他人算法私人治理行為的惠益,所以由他們共同向算法私人治理主體提供一定的利益,也是合理的。當然,由于算法私人治理的主要結(jié)果是算法的改善,受益者一般不能從治理行為中直接獲得現(xiàn)金利益,因此,如果讓受益者自己拿出貨幣給予私人治理個體,有可能會被大多數(shù)受益者所抵制。所以,從現(xiàn)實角度而言,由被治理主體承擔治理個體的收益則更加可行。

    同時,需要注意的是,企業(yè)或公民不僅有可能會受到其他企業(yè)等市場主體算法的不利影響,而且還有可能會受到政府部門等公權(quán)機構(gòu)的算法的不利影響。企業(yè)或公民在受到公權(quán)機構(gòu)算法的不利影響時而對之做出的積極應對,亦屬于算法私人治理范疇。由于公權(quán)機構(gòu)算法相比市場主體的算法而言,其影響更具有普遍性,其效力更具有強制性,因此,對公權(quán)機關(guān)算法的治理亦應屬于算法私人治理的重點和關(guān)鍵。

    二、算法私人治理的主要內(nèi)容

    與公共治理相比,算法私人治理更關(guān)注的是治理者的個體權(quán)益。算法私人治理的主要目的在于通過對算法進行完善,從而使受算法不利影響的企業(yè)或個人的合法權(quán)益獲得保障。因此,相較于程序正義而言,算法私人治理更加重視的是實體正義和個體正義,即更加注重私人治理對治理者的最終結(jié)果。所以,算法私人治理的內(nèi)容主要涉及與治理者個體利益相關(guān)的問題,具體包括算法歧視、個人信息保護等問題。

    (一)算法歧視

    算法歧視是算法私人治理的主要問題。歧視是指基于某個人或某類人群的特征而給予的不同于他人的、不合理的區(qū)別對待。歧視是人權(quán)法上的一個重要概念。任何形式的歧視都是基于區(qū)分,而區(qū)分的基礎(chǔ)則是個人或群體的特征。人權(quán)法所關(guān)注的歧視區(qū)別特征主要有種族、膚色、性別、年齡、語言、宗教、國籍、財產(chǎn)、身份、社會階層、政治觀點等。在這些區(qū)別特征中,有的是天賦的且不可改變的,如種族、膚色、性別等,有的則是可以改變的,如國籍、語言、財產(chǎn)等。個人或群體的這些特征是發(fā)生歧視的前提,但并不是所有形式的區(qū)別對待都是歧視性的,人權(quán)法所反對的區(qū)別對待是建立在不合理的、不公正標準之上的區(qū)別對待[6](p143)。在信息社會,算法已經(jīng)成為政府與企業(yè)、政府與公民、企業(yè)與企業(yè)、企業(yè)與消費者和公民之間進行交流和事務處理的重要的輔助手段。算法在輔助處理社會主體之間的各種事務時,看似沒有主觀感情,不會故意區(qū)別對待相關(guān)社會主體,但是,由于算法決策是一種自動化的系統(tǒng),因此,一旦算法本身存在歧視問題,那么就會迅速產(chǎn)生系統(tǒng)性的歧視問題。這種系統(tǒng)性的歧視問題,不僅隱蔽,而且難以糾正[7]。

    導致算法歧視的原因主要有兩個方面:一是算法之內(nèi)的原因;二是算法之外的原因。算法之內(nèi)的原因,是算法自身存在的問題而導致的歧視。算法自身存在的問題又可以分為兩種情形:一是算法設計者故意設計存在某種歧視的算法。比如網(wǎng)絡銷售平臺通過對消費者的消費情況和退換貨情況進行統(tǒng)計,而系統(tǒng)性地對消費次數(shù)多且退貨換貨次數(shù)較少的消費者給予比其他消費者更高的商品報價[8](p17-19)。二是算法設計者本身沒有進行歧視的故意,但是由于非故意或算法的內(nèi)在客觀原因不可避免地導致歧視。比如網(wǎng)絡銷售平臺向消費者提供多種網(wǎng)絡支付方式供消費者選擇,而由于不同的網(wǎng)絡支付方式的便利程度有所區(qū)別,那么在這種情況下,擁有不同網(wǎng)絡支付方式的不同消費者就可能產(chǎn)生不同的網(wǎng)絡購物體驗。

    美國司法系統(tǒng)使用的COMPAS 系統(tǒng)主要作用是預測被告未來的再次犯罪率和危險程度,并根據(jù)該系統(tǒng)給出的評估結(jié)論決定被告人刑罰的輕重。由于美國黑人犯罪率以前相對較高,因此,COMPAS系統(tǒng)通過對以往犯罪數(shù)據(jù)的統(tǒng)計,特別是通過機械學習的方式來統(tǒng)計犯罪嫌疑人的某些特征與再犯罪率或危險程度的權(quán)重參數(shù),那么就必然會得出黑人種族比其他種族更高的犯罪危險程度權(quán)重。根據(jù)非營利機構(gòu)ProPublica 對COMPAS 評分數(shù)據(jù)的統(tǒng)計分析,也確實得出了“黑人被告有45%的可能比白人被告得到更高的分數(shù)”的結(jié)論[9](p29-42)。

    由于人工智能的本質(zhì)是通過以往事物的大數(shù)據(jù)得出事物各因素之間的關(guān)聯(lián)參數(shù),然后再運用這些關(guān)聯(lián)參數(shù)對未來進行預測,因此,當事物發(fā)生變化時,人工智能得出的結(jié)論就會與真實世界產(chǎn)生較大偏差。所以,算法如果僅是根據(jù)人工智能得出的結(jié)論做出決策,那么就有可能發(fā)生“失之毫厘,謬以千里”的現(xiàn)象[10]。

    算法本身之外的因素也可能會間接導致歧視問題。特別是當某個特定的算法決策涉及公共服務或準公共服務之時,即使算法本身不存在歧視問題,但是由于算法的使用必須在一定系統(tǒng)和設備上運行,因此,如果該公共服務或準公共服務與算法緊密聯(lián)系,要享受該公共服務或準公共服務就必須具備能夠運行該算法的系統(tǒng)或設備,那么,在這種情況下,算法的存在和使用就會導致對那些沒有相關(guān)系統(tǒng)或設備的社會主體的歧視。比如,在新冠肺炎疫情期間,有些地方乘坐交通工具要求出示健康碼,如果不能出示健康碼就不允許乘坐交通工具,那么,在這種情況下,一些老年人由于接受新知識、新科技的能力的限制,不能使用智能手機獲取健康碼,進而這些老年人就會在事實上被排除到公共交通服務之外[11]。

    (二)個人信息保護

    人是社會關(guān)系的總和。個人信息則是公民建立社會關(guān)系的基礎(chǔ)元素。同時,個人信息隨著科技進步而不斷豐富、發(fā)展和變化。在1876年美國人A.G.貝爾發(fā)明電話機之前,電話號碼不可能成為一個人的個人信息;而在電子郵件系統(tǒng)發(fā)明之前,電子郵箱信息顯然也沒有必要作為個人信息給予保護。當前,隨著信息網(wǎng)絡技術(shù)、人工智能技術(shù)的發(fā)展,與自然人安寧、安全有關(guān)的個人信息越來越豐富,比如上網(wǎng)記錄、地理位置、發(fā)布或瀏覽的信息等內(nèi)容均有可能成為一個自然人的標識性信息。這些信息一方面涉及個人的安寧、安全和尊嚴,另一方面又有可能具有重要商業(yè)價值[12](p153)。在人工智能時代,無論是對于個人還是信息收集者、信息使用者而言,這些信息均有可能具有顯著的實用價值[13](p59)。因此,如何有效保護個人信息數(shù)據(jù),既是人工智能技術(shù)健康發(fā)展和商業(yè)利用所面臨的重要課題,更事關(guān)公民的切身利益。

    為了有效保護個人信息,我國于2021年1月1日起生效的《民法典》專門設立了一章來保護公民的隱私和個人信息?!睹穹ǖ洹返?034 條對個人信息的內(nèi)涵和外延做出了明確的界定。根據(jù)該條規(guī)定,個人信息是指“以電子或者其他方式記錄的能夠單獨或者與其他信息結(jié)合識別特定自然人的各種信息”;個人信息具體可包括自然人的姓名、出生日期、身份證件號碼、生物識別信息、住址、電話號碼、電子郵箱、健康信息、行蹤信息等信息[14]。

    上述個人信息均是算法的處理對象,算法在處理個人信息時必須注重和保障個人信息的安全。根據(jù)國家標準化管理委員會發(fā)布的《信息安全技術(shù)個人信息安全規(guī)范》(GB/T35273-2020),算法在處理個人信息時,主要涉及以下幾個環(huán)節(jié)并應遵循如下規(guī)則:

    第一,個人信息的收集。算法開發(fā)者或使用者要處理個人信息,首先就需要收集用戶的個人信息。收集個人信息應堅持知情同意原則、合法原則和最小化需求原則。除法律規(guī)定的例外情形之外,收集個人信息需要獲得被收集信息用戶的授權(quán)同意。如果間接獲取個人信息,則需要對個人信息來源的合法性進行確認。如果收集的信息涉及個人敏感信息,則收集者應取得個人信息主體的明示同意,并應確保個人信息主體的明示同意是其在完全知情的基礎(chǔ)上自愿給出的、具體的、清晰明確的愿望表示。另外,收集個人信息不得采取欺詐、誘騙、強迫手段,不得隱瞞產(chǎn)品或服務所具有的收集個人信息的功能,不得收集法律法規(guī)明令禁止收集的個人信息。同時,收集的個人信息的類型應與實現(xiàn)產(chǎn)品或服務的業(yè)務功能有直接關(guān)聯(lián),不得捆綁個人信息來強迫用戶接受要求,且應以實現(xiàn)產(chǎn)品或服務的業(yè)務功能所必需的最低頻率、最少數(shù)量進行收集。

    第二,個人信息的保存。算法的開發(fā)者或使用者在保存?zhèn)€人信息時,亦應堅持最小化原則,即個人信息保存期限應為實現(xiàn)目的所必需的最短時間,超出上述個人信息保存期限后應對個人信息進行刪除或匿名化處理。同時,在收集個人信息后,個人信息控制者在可能的情況下應立即進行去標識化處理,將去標識化后的數(shù)據(jù)與可用于恢復識別個人的信息分開存儲,并確保在后續(xù)的個人信息處理中不重新識別個人。另外,如果存儲的個人信息是個人敏感信息,則應采用加密等安全措施,特別是存儲個人生物識別信息時,應在采用技術(shù)措施處理后再進行存儲,例如僅存儲個人生物識別信息的摘要。

    第三,個人信息的使用。算法系統(tǒng)在使用個人信息時,應該按照最小授權(quán)原則對被授權(quán)訪問個人信息的內(nèi)部數(shù)據(jù)操作人員進行使用限制,使其只能訪問職責所需的最少夠用的個人信息,且僅具有完成職責所需的最少的數(shù)據(jù)操作權(quán)限;對個人信息的重要操作應設置內(nèi)部審批流程,如批量修改、拷貝、下載等;應對安全管理人員、數(shù)據(jù)操作人員、審計人員的角色進行分離設置;對個人敏感信息的訪問、修改等行為,應在對角色的權(quán)限控制的基礎(chǔ)上,根據(jù)業(yè)務流程的需求觸發(fā)操作授權(quán)。同時,算法的開發(fā)者或使用者亦應對個人信息的展示、訪問、更正、刪除等活動設計合理的規(guī)則。尤其是在涉及通過算法自動決策而做出顯著影響個人信息主體權(quán)益的決定時,算法的開發(fā)者或使用者應向個人信息主體提供申訴方法[15](p15-18)。

    三、算法私人治理的主要方式

    算法開發(fā)者或使用者以及相關(guān)行業(yè)協(xié)會是算法私人治理的首要主體,他們對其算法的治理主要是一種自律的方式。比如算法開發(fā)者或使用者可以制定算法開發(fā)或使用的企業(yè)標準,并在開發(fā)和使用算法過程中嚴格貫徹其企業(yè)標準,以保障受算法影響主體的合理利益。行業(yè)協(xié)會亦可以組織企業(yè)制定算法治理行業(yè)規(guī)范,以促進和提升行業(yè)內(nèi)算法開發(fā)者或使用者的自律水平。在算法開發(fā)者或使用者通過自律方式難以保障受算法影響主體的正當?shù)暮侠砝鏁r,就需要受算法影響主體通過“他律”的方式糾正算法開發(fā)者或使用者的相關(guān)行為。這種“他律”的治理方式,更能針對問題的實質(zhì),也更能促使問題獲得真正的解決,因此,更應重視“他律”治理方式的構(gòu)建和完善[16](54-58)。訴訟是受算法影響主體對算法進行私人治理的主要方式。具體而言,主要包括以下幾種訴訟行為:

    (一)合同違約之訴

    在很多情況下,受算法影響主體是算法開發(fā)者或使用者的用戶,受算法影響主體與算法開發(fā)者或使用者之間存在書面的或非書面的合同關(guān)系,故二者之間的權(quán)利義務應主要由合同條款進行確定。如果合同中有關(guān)于不歧視和個人信息保護的明確約定,并且這種約定屬于合理、合法的約定,則當算法開發(fā)者或使用者違反這些約定時,受算法影響主體自然可以通過合同違約之訴獲得救濟。

    在實踐中,一些算法開發(fā)者或使用者有可能會在其提供給用戶的格式合同中約定用戶需要接受其基于用戶信息而給出的不同的交易條件;另外,算法開發(fā)者或使用者還有可能以拒絕交易為條件要求用戶提供與其服務不相關(guān)聯(lián)的個人信息,并在格式合同中約定算法開發(fā)者或使用者有權(quán)以任何方式使用或處理這些個人信息。受算法影響主體在起訴算法開發(fā)者或使用者合同違約之后,算法開發(fā)者或使用者則會通過上述格式條款進行抗辯不構(gòu)成違約。針對上述格式條款,受算法影響主體可以依照我國《民法典》通過下列三種途徑進行應對:

    第一,受算法影響主體可以主張對其不利的格式條款不構(gòu)成合同內(nèi)容。根據(jù)《民法典》第496條規(guī)定,提供格式條款的算法開發(fā)者或使用者應當遵循公平原則確定當事人之間的權(quán)利和義務,并采取合理的方式提示對方注意免除或者減輕其責任等與對方有重大利害關(guān)系的條款;同時,如果合同相對方要求解釋說明格式條款的具體含義,算法開發(fā)者或使用者應對相關(guān)條款予以明確說明。如果算法開發(fā)者或使用者未履行提示或者說明義務,致使對方?jīng)]有注意或者理解與其有重大利害關(guān)系的條款的,則對方可以主張該條款不成為合同的內(nèi)容。

    第二,受算法影響主體可以主張相關(guān)格式條款無效。根據(jù)《民法典》第487條規(guī)定,受算法影響主體在以下三種情況下,可以主張算法開發(fā)者或使用者的格式條款無效:一是符合民事法律無效一般規(guī)定的格式條款應被認定為無效。例如,算法開發(fā)者或使用者與無民事行為能力人訂立的合同。二是算法開發(fā)者或使用者不合理地免除或者減輕其責任、加重客戶責任、限制客戶主要權(quán)利的格式條款無效。例如,算法開發(fā)者或使用者與客戶約定完全免除其保護客戶個人信息的義務的格式條款,由于該格式條款不合理地免除了算法開發(fā)者或使用者的主要責任,因此,應該被認定為無效的格式條款。三是算法開發(fā)者或使用者排除客戶主要權(quán)利的格式條款無效。

    第三,當格式條款存在多種解釋時,受算法影響主體可以主張對其有利的解釋?!睹穹ǖ洹返?98條規(guī)定:“對格式條款的理解發(fā)生爭議的,應當按照通常理解予以解釋。對格式條款有兩種以上解釋的,應當作出不利于提供格式條款一方的解釋。格式條款和非格式條款不一致的,應當采用非格式條款?!币虼?,在有關(guān)格式條款模糊不清,需要進行解釋時,則應參考相關(guān)行業(yè)規(guī)范、慣例并從有利于客戶的一方對格式條款進行解釋。

    (二)民事侵權(quán)之訴與民事公益訴訟

    受算法影響主體在難以通過違約之訴獲得救濟的情況下,可以考慮通過民事侵權(quán)之訴進行救濟。對于利用算法進行歧視或損害用戶個人信息權(quán)益的行為,受影響主體主要可以通過以下訴由主張權(quán)利:

    一是濫用市場支配地位。根據(jù)《反壟斷法》第17 條規(guī)定,如果算法開發(fā)者或使用者對其用戶通過算法進行歧視,并且其在相關(guān)市場同時具有市場優(yōu)勢地位,那么算法開發(fā)者或使用者的歧視行為就屬于《反壟斷法》意義上的濫用市場支配地位,受影響的主體可以通過反壟斷之訴要求算法開發(fā)者或使用者糾正其算法并給予相應的賠償。同時需要注意的是,算法開發(fā)者或使用者構(gòu)成濫用市場支配地位的一個重要前提是其歧視行為或差別待遇行為沒有合理的理由;換言之,如果算法開發(fā)者或使用者具有合理理由對用戶給予差別待遇,那么就不屬于濫用市場支配地位,比如,算法開發(fā)者或使用者針對新用戶的首次交易在合理期限內(nèi)開展的優(yōu)惠活動[17](p22)。

    二是不正當價格行為。我國《價格法》第14條規(guī)定,提供相同商品或者服務,對具有同等交易條件的其他經(jīng)營者實行價格歧視,屬于不正當價格行為,應當受到禁止。因此,在算法開發(fā)者或使用者不具有市場支配地位,且沒有合理理由對用戶進行價格歧視或差別定價時,則受影響主體可以依據(jù)《價格法》主張算法開發(fā)者或使用者構(gòu)成侵權(quán)[18](p58)。

    三是侵犯消費者公平交易權(quán)。我國《消費者權(quán)益保護法》第10條規(guī)定:消費者享有公平交易的權(quán)利。消費者在購買商品或者接受服務時,有權(quán)獲得質(zhì)量保障、價格合理、計量正確等公平交易條件,有權(quán)拒絕經(jīng)營者的強制交易行為。因此,如果算法開發(fā)者或使用者通過算法給消費者進行畫像,并依據(jù)畫像結(jié)果對消費者進行不公平的區(qū)別對待,那么消費者就可以依據(jù)《消費者權(quán)益保護費》尋求救濟。值得注意的是,除了法律有明確規(guī)定的之外,區(qū)別對待行為一般應被認定為不公平行為。因此,在是否構(gòu)成不公平的區(qū)別對待的舉證責任問題上,消費者僅對區(qū)別對待問題負有舉證責任,而算法開發(fā)者或使用者應舉證證明該區(qū)別對待行為具有正當性,否則,就應認為該區(qū)別對待行為不具有正當性。

    四是侵犯個人信息權(quán)益。個人信息權(quán)利是我國《民法典》所規(guī)定的一項重要民事權(quán)利。算法開發(fā)者或使用者在收集、保存、利用個人信息時如存在不當行為,受算法影響主體則可以侵犯個人信息權(quán)利為由獲得救濟?!睹穹ǖ洹冯m然自2021年1 月1 日生效,但在此之前,我國已有法院明確保護個人信息權(quán)益的案例。例如,“微信讀書”軟件因在未獲得用戶有效同意的情況下獲取用戶的微信好友關(guān)系,并為用戶自動關(guān)注微信好友且向共同使用“微信讀書”軟件的微信好友默認開放其讀書信息,“微信讀書”軟件的用戶因此而認為該軟件侵犯了其個人信息權(quán)益。北京互聯(lián)網(wǎng)法院一審判決認為“微信讀書”軟件運營方侵害了原告的個人信息權(quán)益,繼而判令“微信讀書”軟件停止收集、使用原告微信好友列表信息的行為,刪除“微信讀書”軟件中留存的原告的微信好友列表信息,解除原告在“微信讀書”軟件中對其微信好友的關(guān)注,解除原告微信好友在“微信讀書”軟件中對原告的關(guān)注,停止將原告使用“微信讀書”軟件生成的信息(包括讀書時長、書架、正在閱讀的讀物)向原告的微信好友展示的行為[19]。

    由于算法影響的人數(shù)眾多,算法私人治理具有較強的外部性,因此,對算法的治理不應只依賴于單獨的個體提起民事訴訟,同時,還應鼓勵適格的公益組織通過民事公益訴訟的方式參與算法的治理。《民事訴訟法》第55 條規(guī)定,對污染環(huán)境、侵害眾多消費者合法權(quán)益等損害社會公共利益的行為,法律規(guī)定的機關(guān)和有關(guān)組織可以向人民法院提起訴訟。由于受算法影響主體中的相當一部分屬于消費者,如果這些消費者因為算法存在歧視或個人信息權(quán)益問題而受到大面積的侵害,那么消費者公益組織就有通過民事公益訴訟維護消費者利益的必要。另外,《民事訴訟法》第55 條進一步對檢察機關(guān)民事公益訴訟作出規(guī)定。根據(jù)該條規(guī)定,檢察機關(guān)民事公益訴訟的管轄范圍是:“破壞生態(tài)環(huán)境和資源保護、食品藥品安全領(lǐng)域侵害眾多消費者合法權(quán)益等損害社會公共利益的行為?!庇捎谠摴茌牱秶囊?guī)定中有一個“等”字,確保了檢察機關(guān)民事公益訴訟管轄范圍的可拓展性,即只要是侵害眾多消費者合法權(quán)益的損害社會公共利益的行為,檢察機關(guān)均有職權(quán)進行民事公益訴訟[20](p16)。因此,檢察機關(guān)對于利用算法實行大范圍的消費者歧視行為或損害個人信息權(quán)益行為亦可以提起民事公益訴訟或?qū)οM者組織的民事公益訴訟行為支持起訴。

    (三)行政訴訟與行政公益訴訟

    在當代社會,隨著人工智能技術(shù)的快速發(fā)展和廣泛應用,行政機關(guān)不僅對各類主體的算法擁有監(jiān)管的法律職責,同時,行政機關(guān)也是一些算法的開發(fā)者和使用者,并越來越廣泛地采用人工智能技術(shù)輔助行政決策與行政管理工作。因此,受算法影響主體在以下兩種情況下可針對行政機關(guān)提起行政訴訟:

    第一,行政機關(guān)未對相關(guān)主體的算法履行法定監(jiān)管職責。根據(jù)我國《行政訴訟法》第12 條第1款第6 項規(guī)定,申請行政機關(guān)履行保護人身權(quán)、財產(chǎn)權(quán)等合法權(quán)益的法定職責,行政機關(guān)拒絕履行或者不予答復的,公民、法人或其他組織有權(quán)向人民法院提起行政訴訟[21](p35)。我國有很多法律、法規(guī)為行政機關(guān)設立了法定監(jiān)管職責。例如,根據(jù)《消費者權(quán)益保護法》第56 條第1 款第9 項規(guī)定,對于侵害消費者人格尊嚴、侵犯消費者人身自由或者侵害消費者個人信息依法得到保護的權(quán)利的行為,市場監(jiān)督管理部門應責令改正,并可以根據(jù)情節(jié)單處或者并處警告、沒收違法所得、處以違法所得一倍以上十倍以下的罰款,沒有違法所得的,處以50 萬元以下的罰款;情節(jié)嚴重的,責令停業(yè)整頓、吊銷營業(yè)執(zhí)照。又如,根據(jù)《價格法》第40條規(guī)定,對于利用虛假的或者使人誤解的價格手段、誘騙消費者或者其他經(jīng)營者與其進行交易或者提供相同商品或者服務、對具有同等交易條件的其他經(jīng)營者實行價格歧視等行為,有關(guān)行政主管部門應責令改正,沒收違法所得,且可并處罰款,對情節(jié)嚴重的,應責令停業(yè)整頓,直至吊銷營業(yè)執(zhí)照。另外,我國立法機關(guān)正在制定《個人信息保護法》和《數(shù)據(jù)安全法》,這兩部擬制定的法律亦規(guī)定了行政機關(guān)對公民個人信息的保護職權(quán)。如《數(shù)據(jù)安全法(草案)》規(guī)定:對于數(shù)據(jù)活動存在較大安全風險的,有關(guān)主管部門應履行數(shù)據(jù)安全監(jiān)管職責,可以對有關(guān)組織和個人進行約談,被約談組織和個人應當按照要求采取措施,進行整改,消除隱患;開展數(shù)據(jù)活動的組織、個人如未健全數(shù)據(jù)安全管理制度、履行數(shù)據(jù)安全管理義務、發(fā)生數(shù)據(jù)安全事件,或采取不合法、不正當?shù)姆绞绞占⑹褂糜脩魝€人數(shù)據(jù),有關(guān)行政主管部門應責令改正,給予警告,并可以對單位及其直接負責的主管人員給予罰款。因此,如果行政機關(guān)未按照法律、法規(guī)規(guī)定對算法履行行政監(jiān)管職責,那么受算法影響的公民、法人或其他組織即可以對行政機關(guān)提起行政訴訟,要求人民法院判決其履行法定職責。

    第二,行政機關(guān)使用的相關(guān)算法損害了行政相對人的權(quán)益。隨著行政機關(guān)越來越普遍地運用自動化辦公系統(tǒng)以提升行政辦公、公共決策和公共服務效率,行政相對人受到行政機關(guān)自動化辦公系統(tǒng)算法的影響越來越大。一旦行政機關(guān)的算法本身或使用時產(chǎn)生問題,那么就會對行政相對人產(chǎn)生系統(tǒng)的、廣泛的影響[22](p62)。例如,美國密歇根州政府利用一款反詐騙系統(tǒng)對該州失業(yè)補貼領(lǐng)取者進行審核,并對申請者是否存在詐騙進行判斷和處罰。據(jù)稱該系統(tǒng)錯誤率高達93%,并最終引起了該州4 萬名居民對州政府提起了集團訴訟。又如,美國紐約州曾使用一種算法系統(tǒng)以預測家長對其子女是否具有“嚴重家暴傾向”并據(jù)此做出決策。該算法系統(tǒng)一度導致該州上萬個家庭父母同其子女被迫分離,最終紐約州政府放棄了該系統(tǒng)的使用[23](p58)。行政機關(guān)開發(fā)、使用的算法系統(tǒng)針對行政相對人所做出的自動化決策和服務,屬于行政機關(guān)的行為,因此,當算法系統(tǒng)的自動化決策或服務導致行政相對人合法權(quán)益受損時,行政相對人即有權(quán)據(jù)此對行政機關(guān)提起行政訴訟。

    同時,按照我國《行政訴訟法》之規(guī)定,我國檢察機關(guān)對于行政訴訟活動亦有法律監(jiān)督之職權(quán)。根據(jù)《行政訴訟法》第25 條第4 款規(guī)定,人民檢察院在履行職責過程中,如果發(fā)現(xiàn)對算法領(lǐng)域負有監(jiān)督管理職責的行政機關(guān)違法行使職權(quán)或者不作為,致使國家利益或社會公共利益受到損害的,應當向行政機關(guān)提出檢察建議,督促其依法履行職責。如果行政機關(guān)在收到檢察建議后仍不依法履行職責的,人民檢察院應當依法向人民法院提起行政公益訴訟。因此,受算法影響的公民、法人或其他組織如果認為算法存在問題且會導致國家或公共利益受損,那么在行政機關(guān)不作為的情況下,可以請求人民檢察院向行政機關(guān)提出檢察建議或向人民法院提起行政公益訴訟。

    四、結(jié)語

    在算法治理的各相關(guān)主體之中,受算法影響的公民、法人或其他組織顯然最有意愿和動力對算法中存在的不當問題進行治理。因此,算法私人治理在整個算法治理體系中應占有重要地位。但是,在強調(diào)和重視算法私人治理作用的同時,并不能因此而淡化其他主體對算法治理的責任和義務。由于受算法影響主體的治理主張并不能自動地獲得實現(xiàn),受算法影響的主體必須與算法開發(fā)者、使用者進行協(xié)商或通過行政機關(guān)、人民法院的救濟才有可能實現(xiàn)其治理目標。由此可見,算法的開發(fā)者和使用者是算法治理的關(guān)鍵,行政機關(guān)和人民法院作為公共管理者和居中裁判者則為算法的公正治理提供了基礎(chǔ)保障。因此,為了實現(xiàn)算法的良性治理,則必需算法開發(fā)者與使用者、受算法影響主體、行業(yè)協(xié)會、行政機關(guān)與司法機關(guān)共同努力,構(gòu)建一個由受算法影響主體的私人治理活動作為主要驅(qū)動力且各相關(guān)主體各負其責、各司其職的算法治理體系。

    猜你喜歡
    開發(fā)者使用者個人信息
    “法定許可”情況下使用者是否需要付費
    如何保護勞動者的個人信息?
    工會博覽(2022年16期)2022-07-16 05:53:54
    個人信息保護進入“法時代”
    警惕個人信息泄露
    綠色中國(2019年14期)2019-11-26 07:11:44
    新型拼插休閑椅,讓人與人的距離更近
    好日子(2018年5期)2018-05-30 16:24:04
    抓拍神器
    16%游戲開發(fā)者看好VR
    CHIP新電腦(2016年3期)2016-03-10 13:06:42
    iOS開發(fā)者調(diào)查
    電腦迷(2015年8期)2015-05-30 12:27:10
    iOS開發(fā)者調(diào)查
    電腦迷(2015年4期)2015-05-30 05:24:09
    個人信息保護等6項通信行業(yè)標準征求意見
    成年av动漫网址| 欧美三级亚洲精品| 久久精品国产亚洲av天美| 欧美成人一区二区免费高清观看| 26uuu在线亚洲综合色| 黄色日韩在线| 精品人妻一区二区三区麻豆| 久久韩国三级中文字幕| 日日撸夜夜添| 国产免费福利视频在线观看| 日日摸夜夜添夜夜添av毛片| 干丝袜人妻中文字幕| 欧美zozozo另类| 看非洲黑人一级黄片| 成年版毛片免费区| 日韩欧美国产在线观看| 国产亚洲av嫩草精品影院| 国产精品无大码| 精品酒店卫生间| 中文在线观看免费www的网站| 亚洲av免费高清在线观看| 国产成人精品婷婷| 国产精品综合久久久久久久免费| 日韩视频在线欧美| 久久精品夜色国产| 免费大片18禁| 五月伊人婷婷丁香| 午夜福利在线在线| 免费人成在线观看视频色| 老司机影院成人| 亚洲av免费在线观看| 边亲边吃奶的免费视频| 男女那种视频在线观看| 日韩成人av中文字幕在线观看| 亚洲国产精品sss在线观看| 亚洲精华国产精华液的使用体验| 汤姆久久久久久久影院中文字幕 | 亚洲av不卡在线观看| 乱系列少妇在线播放| 久久久久久伊人网av| 午夜福利高清视频| av天堂中文字幕网| 97超碰精品成人国产| av线在线观看网站| 韩国av在线不卡| 免费观看性生交大片5| 又粗又硬又长又爽又黄的视频| 色噜噜av男人的天堂激情| 亚洲中文字幕一区二区三区有码在线看| 国产午夜精品论理片| videos熟女内射| 非洲黑人性xxxx精品又粗又长| videossex国产| 久久99热这里只频精品6学生 | 在线观看美女被高潮喷水网站| 爱豆传媒免费全集在线观看| 91av网一区二区| 国内精品美女久久久久久| 国产精品99久久久久久久久| 国产精品1区2区在线观看.| 亚洲国产精品成人久久小说| 丰满乱子伦码专区| 国产一区二区三区av在线| 国产毛片a区久久久久| 国产精品麻豆人妻色哟哟久久 | 性插视频无遮挡在线免费观看| 久久亚洲精品不卡| 人妻夜夜爽99麻豆av| 国产伦在线观看视频一区| 老女人水多毛片| 51国产日韩欧美| 国产精品久久久久久av不卡| 成人特级av手机在线观看| 菩萨蛮人人尽说江南好唐韦庄 | 亚洲自拍偷在线| 日本免费在线观看一区| 国产欧美日韩精品一区二区| 干丝袜人妻中文字幕| 色综合亚洲欧美另类图片| 欧美一级a爱片免费观看看| 校园人妻丝袜中文字幕| 看免费成人av毛片| 一二三四中文在线观看免费高清| 久久久欧美国产精品| 色哟哟·www| 国产精品野战在线观看| 亚洲欧洲日产国产| 色5月婷婷丁香| 中国国产av一级| 夜夜爽夜夜爽视频| 久久久精品94久久精品| 国产午夜精品论理片| 国产黄色小视频在线观看| 少妇高潮的动态图| 一区二区三区免费毛片| 国产成人福利小说| 成人国产麻豆网| 国产精品久久久久久精品电影| 亚洲欧美精品专区久久| 女人久久www免费人成看片 | 在线观看av片永久免费下载| 日日摸夜夜添夜夜添av毛片| 成人美女网站在线观看视频| 真实男女啪啪啪动态图| 久久久久性生活片| 亚洲四区av| 激情 狠狠 欧美| 婷婷六月久久综合丁香| 亚洲国产高清在线一区二区三| 熟妇人妻久久中文字幕3abv| 久久久a久久爽久久v久久| 国产亚洲一区二区精品| 午夜精品在线福利| 天美传媒精品一区二区| 国产私拍福利视频在线观看| 深夜a级毛片| 国产精品综合久久久久久久免费| 欧美激情久久久久久爽电影| 亚洲三级黄色毛片| 亚洲图色成人| 熟女人妻精品中文字幕| 69av精品久久久久久| 国产成人免费观看mmmm| 只有这里有精品99| 一个人看的www免费观看视频| 亚洲精品乱码久久久v下载方式| 久久精品夜色国产| 国产精品久久视频播放| 亚洲精品国产成人久久av| 日本猛色少妇xxxxx猛交久久| 一区二区三区高清视频在线| 国产精品人妻久久久久久| 婷婷色av中文字幕| 国产在视频线精品| 欧美zozozo另类| 日韩强制内射视频| 亚洲av日韩在线播放| 伊人久久精品亚洲午夜| 别揉我奶头 嗯啊视频| 国产成人aa在线观看| 欧美成人a在线观看| 日日干狠狠操夜夜爽| 九色成人免费人妻av| 一级毛片电影观看 | 久久久久久九九精品二区国产| 18+在线观看网站| 亚洲国产精品久久男人天堂| 国产69精品久久久久777片| 成人午夜高清在线视频| 国产男人的电影天堂91| 在线观看av片永久免费下载| 久久精品国产亚洲av涩爱| 国产在线男女| 久久久国产成人精品二区| 国产一区有黄有色的免费视频 | 国产精品国产三级国产专区5o | 日本免费a在线| 全区人妻精品视频| 嘟嘟电影网在线观看| 少妇的逼好多水| 久久久久免费精品人妻一区二区| 丝袜美腿在线中文| 欧美日韩一区二区视频在线观看视频在线 | 精品人妻一区二区三区麻豆| 国产中年淑女户外野战色| 美女内射精品一级片tv| 一区二区三区乱码不卡18| 欧美成人一区二区免费高清观看| 久久综合国产亚洲精品| 色哟哟·www| 久久久久久国产a免费观看| av视频在线观看入口| 精品无人区乱码1区二区| 内地一区二区视频在线| 中文字幕免费在线视频6| 精品久久久久久成人av| 欧美另类亚洲清纯唯美| 如何舔出高潮| 非洲黑人性xxxx精品又粗又长| 秋霞在线观看毛片| 水蜜桃什么品种好| 亚洲最大成人手机在线| 久久久久九九精品影院| 一区二区三区四区激情视频| 一个人免费在线观看电影| 激情 狠狠 欧美| 18禁在线播放成人免费| 午夜亚洲福利在线播放| 一区二区三区四区激情视频| 国产黄片视频在线免费观看| 嫩草影院新地址| 一区二区三区四区激情视频| 久久韩国三级中文字幕| 视频中文字幕在线观看| 观看美女的网站| 日本爱情动作片www.在线观看| 男女视频在线观看网站免费| 日本av手机在线免费观看| 亚洲av熟女| 能在线免费看毛片的网站| 好男人在线观看高清免费视频| 一级黄片播放器| 麻豆乱淫一区二区| 成人鲁丝片一二三区免费| 亚洲久久久久久中文字幕| 日本三级黄在线观看| av黄色大香蕉| 久久久久久久亚洲中文字幕| 大又大粗又爽又黄少妇毛片口| 啦啦啦观看免费观看视频高清| 国产激情偷乱视频一区二区| 人人妻人人看人人澡| 熟妇人妻久久中文字幕3abv| 成年版毛片免费区| 亚洲电影在线观看av| 国产精品一区二区性色av| 波多野结衣高清无吗| 久久99蜜桃精品久久| www日本黄色视频网| 我的女老师完整版在线观看| 国产国拍精品亚洲av在线观看| 国产黄a三级三级三级人| 激情 狠狠 欧美| 狠狠狠狠99中文字幕| 一本久久精品| 午夜爱爱视频在线播放| 国产精品一二三区在线看| 欧美极品一区二区三区四区| 老女人水多毛片| 国产伦一二天堂av在线观看| 国产伦在线观看视频一区| 真实男女啪啪啪动态图| 亚洲国产最新在线播放| 亚洲精品自拍成人| 男女那种视频在线观看| 乱人视频在线观看| 亚洲最大成人中文| 伊人久久精品亚洲午夜| 国产午夜精品论理片| 99久久九九国产精品国产免费| .国产精品久久| 午夜福利在线观看免费完整高清在| 欧美一区二区精品小视频在线| 午夜福利在线在线| 国产一区二区在线观看日韩| 久久亚洲精品不卡| 国产精品国产三级国产av玫瑰| 亚洲精品色激情综合| 精品久久久久久久久av| 变态另类丝袜制服| 一边亲一边摸免费视频| 在线观看美女被高潮喷水网站| 91久久精品国产一区二区成人| 毛片女人毛片| 国产人妻一区二区三区在| 久久草成人影院| 日本一本二区三区精品| 久久久久免费精品人妻一区二区| 成人高潮视频无遮挡免费网站| 国产高清不卡午夜福利| 全区人妻精品视频| 国产高清不卡午夜福利| 亚洲第一区二区三区不卡| 三级国产精品欧美在线观看| 汤姆久久久久久久影院中文字幕 | 青春草国产在线视频| 在线免费观看不下载黄p国产| 欧美成人精品欧美一级黄| 欧美成人精品欧美一级黄| 天堂影院成人在线观看| 国产淫语在线视频| 特级一级黄色大片| 1000部很黄的大片| 爱豆传媒免费全集在线观看| 国产亚洲午夜精品一区二区久久 | 日韩亚洲欧美综合| 国产视频内射| 亚洲国产成人一精品久久久| videos熟女内射| 91狼人影院| 国产av码专区亚洲av| 又粗又爽又猛毛片免费看| 少妇丰满av| 少妇的逼好多水| 少妇猛男粗大的猛烈进出视频 | 精品少妇黑人巨大在线播放 | 综合色丁香网| 国产亚洲av嫩草精品影院| 99热6这里只有精品| av黄色大香蕉| 欧美人与善性xxx| 日本黄色视频三级网站网址| 国产一区二区三区av在线| 亚洲国产精品专区欧美| 一个人免费在线观看电影| 国产美女午夜福利| 国产大屁股一区二区在线视频| 高清视频免费观看一区二区 | 亚洲av中文字字幕乱码综合| 不卡视频在线观看欧美| 日韩人妻高清精品专区| 日日撸夜夜添| 日日摸夜夜添夜夜爱| 人妻系列 视频| 国产免费又黄又爽又色| 女人久久www免费人成看片 | 亚洲av熟女| 久久人人爽人人片av| 精品国内亚洲2022精品成人| 网址你懂的国产日韩在线| 欧美又色又爽又黄视频| 亚洲精品色激情综合| 91精品伊人久久大香线蕉| 国产精品国产三级国产专区5o | 久久这里只有精品中国| 久久久精品欧美日韩精品| 简卡轻食公司| 亚洲天堂国产精品一区在线| 岛国毛片在线播放| 免费看a级黄色片| 长腿黑丝高跟| 在现免费观看毛片| 观看免费一级毛片| 色网站视频免费| 国产午夜精品久久久久久一区二区三区| 亚洲综合色惰| 午夜亚洲福利在线播放| 99在线视频只有这里精品首页| 久久久久久久国产电影| 国产午夜精品论理片| 欧美又色又爽又黄视频| 乱人视频在线观看| 国产精品国产三级国产专区5o | 激情 狠狠 欧美| 欧美丝袜亚洲另类| 国产午夜精品论理片| 少妇丰满av| 18禁裸乳无遮挡免费网站照片| 国产探花在线观看一区二区| 91午夜精品亚洲一区二区三区| 久久精品影院6| 国产成人aa在线观看| 欧美高清性xxxxhd video| 国产精品一区二区性色av| 一级毛片久久久久久久久女| 老师上课跳d突然被开到最大视频| 日韩中字成人| 又爽又黄无遮挡网站| 久久欧美精品欧美久久欧美| 国产中年淑女户外野战色| 国产女主播在线喷水免费视频网站 | 美女xxoo啪啪120秒动态图| 久久这里有精品视频免费| 亚洲国产欧美在线一区| 国产色婷婷99| 床上黄色一级片| 亚洲在线观看片| 美女国产视频在线观看| 中文字幕人妻熟人妻熟丝袜美| 黄片wwwwww| 免费看日本二区| 自拍偷自拍亚洲精品老妇| 国产美女午夜福利| 男人舔奶头视频| 国产黄色视频一区二区在线观看 | 成人鲁丝片一二三区免费| 国产三级中文精品| 青春草国产在线视频| 日韩精品青青久久久久久| 能在线免费观看的黄片| 国产乱人视频| 韩国av在线不卡| ponron亚洲| 在线免费十八禁| 国产免费一级a男人的天堂| 国产亚洲精品久久久com| 精品国产露脸久久av麻豆 | 午夜精品在线福利| 国产免费一级a男人的天堂| 大香蕉97超碰在线| 午夜福利网站1000一区二区三区| 简卡轻食公司| 亚洲精品日韩在线中文字幕| 麻豆精品久久久久久蜜桃| 欧美又色又爽又黄视频| 久久精品久久久久久久性| 只有这里有精品99| 嘟嘟电影网在线观看| 少妇人妻一区二区三区视频| 老司机福利观看| 深夜a级毛片| 成人二区视频| 26uuu在线亚洲综合色| 女的被弄到高潮叫床怎么办| 少妇被粗大猛烈的视频| 别揉我奶头 嗯啊视频| 久久亚洲精品不卡| 亚洲精品一区蜜桃| 色吧在线观看| 亚洲三级黄色毛片| a级毛片免费高清观看在线播放| a级一级毛片免费在线观看| 男女边吃奶边做爰视频| 亚洲欧美成人精品一区二区| 天美传媒精品一区二区| 成年版毛片免费区| 一区二区三区乱码不卡18| 国产黄片美女视频| 91在线精品国自产拍蜜月| 天天一区二区日本电影三级| 亚洲av熟女| 成年版毛片免费区| 亚洲综合精品二区| 纵有疾风起免费观看全集完整版 | 人妻系列 视频| 亚洲精品,欧美精品| 日韩一区二区三区影片| 哪个播放器可以免费观看大片| 女的被弄到高潮叫床怎么办| 99久久精品热视频| 国产色爽女视频免费观看| 五月玫瑰六月丁香| 国产在线男女| 观看美女的网站| 久久久久国产网址| 亚洲高清免费不卡视频| 成年女人看的毛片在线观看| 久99久视频精品免费| 亚洲av中文av极速乱| 久久99热6这里只有精品| 美女大奶头视频| 午夜精品国产一区二区电影 | 熟妇人妻久久中文字幕3abv| 卡戴珊不雅视频在线播放| 老司机影院毛片| 禁无遮挡网站| 久久久亚洲精品成人影院| 日韩一区二区三区影片| 3wmmmm亚洲av在线观看| 级片在线观看| 亚洲内射少妇av| 免费av观看视频| 观看美女的网站| 伦理电影大哥的女人| 欧美xxxx黑人xx丫x性爽| 国产熟女欧美一区二区| 午夜爱爱视频在线播放| 黄片无遮挡物在线观看| 高清毛片免费看| 色吧在线观看| 国产激情偷乱视频一区二区| 亚洲av一区综合| 看免费成人av毛片| 亚洲va在线va天堂va国产| 久久精品91蜜桃| 人妻少妇偷人精品九色| 2021天堂中文幕一二区在线观| 超碰97精品在线观看| 26uuu在线亚洲综合色| 久久精品国产鲁丝片午夜精品| 久久久久久久久久黄片| 久久久久久久久中文| 观看美女的网站| 国产黄片美女视频| 男人的好看免费观看在线视频| 国产精品一区二区在线观看99 | 成人特级av手机在线观看| 成人综合一区亚洲| 国产一区二区在线av高清观看| 国产伦精品一区二区三区四那| 91久久精品国产一区二区三区| 亚洲,欧美,日韩| 国产黄色小视频在线观看| 亚洲色图av天堂| 国产精华一区二区三区| 亚洲精品乱码久久久久久按摩| 国产黄色视频一区二区在线观看 | 亚洲国产成人一精品久久久| 色综合亚洲欧美另类图片| 欧美一级a爱片免费观看看| 久久久久久大精品| 伊人久久精品亚洲午夜| 欧美成人一区二区免费高清观看| 国产精品乱码一区二三区的特点| 狂野欧美激情性xxxx在线观看| 日韩欧美在线乱码| 在线观看美女被高潮喷水网站| 看十八女毛片水多多多| 亚洲四区av| 波多野结衣高清无吗| 欧美成人免费av一区二区三区| 七月丁香在线播放| 国产欧美日韩精品一区二区| 欧美性感艳星| 高清毛片免费看| 国产男人的电影天堂91| 91精品一卡2卡3卡4卡| 少妇猛男粗大的猛烈进出视频 | 国产精品99久久久久久久久| 欧美3d第一页| 免费播放大片免费观看视频在线观看 | 欧美人与善性xxx| 亚洲av一区综合| 一级黄色大片毛片| 人妻少妇偷人精品九色| 精品久久久久久久久亚洲| 国产精品久久电影中文字幕| 国产高清视频在线观看网站| 国产午夜精品论理片| 午夜福利在线观看吧| 我的老师免费观看完整版| 久久久久性生活片| 久久亚洲精品不卡| av专区在线播放| 少妇裸体淫交视频免费看高清| 亚洲国产精品合色在线| 99久国产av精品国产电影| 波多野结衣高清无吗| 国产精品久久电影中文字幕| 中文精品一卡2卡3卡4更新| 欧美日本视频| videossex国产| 日韩一本色道免费dvd| 国产v大片淫在线免费观看| 亚洲av男天堂| 日韩在线高清观看一区二区三区| 色播亚洲综合网| 亚洲精品aⅴ在线观看| 久久草成人影院| 最近最新中文字幕免费大全7| 国产又色又爽无遮挡免| 丝袜美腿在线中文| 91久久精品电影网| 午夜福利成人在线免费观看| 国产高清视频在线观看网站| 搞女人的毛片| 99久国产av精品国产电影| 亚洲精品,欧美精品| 国产在视频线在精品| 久久久久久大精品| 国产白丝娇喘喷水9色精品| 亚洲欧美中文字幕日韩二区| 少妇被粗大猛烈的视频| 日韩视频在线欧美| 岛国在线免费视频观看| 成年女人看的毛片在线观看| 干丝袜人妻中文字幕| 久久久久久久久久黄片| 久久亚洲国产成人精品v| 一区二区三区乱码不卡18| 国产av在哪里看| 国产乱人偷精品视频| 国产精品爽爽va在线观看网站| 黄色日韩在线| 人妻少妇偷人精品九色| 成人国产麻豆网| 看十八女毛片水多多多| 成年女人永久免费观看视频| 久久久久国产网址| 成人无遮挡网站| 国产亚洲5aaaaa淫片| 国产综合懂色| 成人漫画全彩无遮挡| 小说图片视频综合网站| 韩国高清视频一区二区三区| 国产精品一及| 伦精品一区二区三区| 国内精品宾馆在线| 国产 一区精品| 成人综合一区亚洲| 女人十人毛片免费观看3o分钟| 国内精品美女久久久久久| 欧美成人精品欧美一级黄| 高清av免费在线| 国产毛片a区久久久久| 国产成人aa在线观看| 菩萨蛮人人尽说江南好唐韦庄 | 亚洲综合色惰| 亚洲国产日韩欧美精品在线观看| 亚洲va在线va天堂va国产| 亚洲自拍偷在线| 99热这里只有是精品50| 一区二区三区四区激情视频| 22中文网久久字幕| 国产91av在线免费观看| 亚洲精品国产成人久久av| 黄色日韩在线| 韩国av在线不卡| 亚洲av免费在线观看| 人妻制服诱惑在线中文字幕| 在线免费十八禁| 久久婷婷人人爽人人干人人爱| 国产精品不卡视频一区二区| 国语对白做爰xxxⅹ性视频网站| 国产一区二区三区av在线| 免费观看精品视频网站| 岛国在线免费视频观看| 又粗又爽又猛毛片免费看| 中文字幕人妻熟人妻熟丝袜美| 激情 狠狠 欧美| 天堂中文最新版在线下载 | 免费观看性生交大片5| 国产女主播在线喷水免费视频网站 | av线在线观看网站| 噜噜噜噜噜久久久久久91| 国产av码专区亚洲av| 如何舔出高潮| 久久久久久大精品| 美女脱内裤让男人舔精品视频| 亚洲精品456在线播放app| 国产精品三级大全| av天堂中文字幕网| 成年免费大片在线观看| АⅤ资源中文在线天堂| 国产黄片美女视频|