• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    智能社會中算法治理的法律控制研究

    2023-03-22 23:44:48楊利華蘇澤祺
    大理大學(xué)學(xué)報 2023年1期
    關(guān)鍵詞:算法

    楊利華,蘇澤祺

    (中國政法大學(xué)民商經(jīng)濟(jì)法學(xué)院,北京100088)

    在當(dāng)前人與人工智能依存的時代,智能算法的輔助決策乃至自主決策已深入影響到人們的生活,無人駕駛汽車、算法推送、算法過濾、算法評估等都是算法應(yīng)用的典例。公權(quán)力機(jī)關(guān)運(yùn)用算法履行公共職能,平臺企業(yè)運(yùn)用算法提供精準(zhǔn)服務(wù),社會公眾則在享受算法福利的同時,也默許著算法的操控,由此就形成了算法治理的基本架構(gòu)。在構(gòu)建多元共治的大格局下,從政府部門到企業(yè)平臺、從傳統(tǒng)領(lǐng)域到新型行業(yè),如何實現(xiàn)高效、準(zhǔn)確的治理都是重要的議題。算法的功能恰恰適應(yīng)了這一需要,極大地促進(jìn)了治理能力的提升和創(chuàng)新。但在帶來便利的同時,算法治理也存在著風(fēng)險與危機(jī),算法黑箱的存在使得公眾難以對算法進(jìn)行質(zhì)疑與挑戰(zhàn),算法在設(shè)計者主觀價值的影響下也突破了技術(shù)中立的基本預(yù)設(shè),甚至帶來了算法偏見與歧視,造成新形式的不公平現(xiàn)象。這些風(fēng)險并非算法設(shè)計者所期望,但依然是客觀存在的。

    利用算法進(jìn)行社會治理是科學(xué)技術(shù)發(fā)展催生的產(chǎn)物,也是人類社會治理模式的更新和發(fā)展。從風(fēng)險預(yù)防的角度來看,算法治理的風(fēng)險早已初露苗頭,有必要采取合理的措施予以應(yīng)對。本文擬從算法這一基本技術(shù)著手,對算法治理的風(fēng)險及其成因進(jìn)行分析,在此基礎(chǔ)上探索算法治理法律控制的基本原則與可行進(jìn)路。

    一、算法治理的界定

    (一)算法治理的基本內(nèi)涵與原理

    從算法出發(fā)來理解算法治理,首先需要對算法的概念予以明確。算法的本質(zhì)是一種運(yùn)算規(guī)則〔1〕,也有學(xué)者將其定義為“實現(xiàn)某個目標(biāo)對一組數(shù)據(jù)進(jìn)行處理的邏輯步驟”〔2〕。在技術(shù)層面,算法是對計算機(jī)這一載體形式與二進(jìn)制運(yùn)行機(jī)制的融合。隨著技術(shù)的演化和功能的拓展,傳統(tǒng)算法逐漸衍生出排序算法、傅里葉算法和哈希算法等現(xiàn)代算法。這些不同類型的算法在特定數(shù)據(jù)的排序、推送、加密、篩選和評估等方面得到廣泛應(yīng)用〔3〕。算法的實施一般包括算法設(shè)計、數(shù)據(jù)輸入和算法執(zhí)行三個環(huán)節(jié),而在智能算法技術(shù)中,算法在制定完成后即不再需要人類的操控,可以對所在環(huán)境中的數(shù)據(jù)進(jìn)行主動抓取、整理、運(yùn)算和分析,基于分析結(jié)果再進(jìn)行相應(yīng)的反饋,這也是當(dāng)前算法治理的技術(shù)基礎(chǔ)。

    傳統(tǒng)的社會治理模式是單向度的,政府是唯一的公共服務(wù)提供者,并且壟斷著公共管理職能。但由于人類社會的高度復(fù)雜性與不確定性,這種治理模式已經(jīng)難以適應(yīng)社會發(fā)展需要,因此現(xiàn)代社會治理奉行多元共治的基本理念,其特點(diǎn)就在于兼容多元化治理主體與復(fù)合化治理手段,除了政府主導(dǎo)的社會治理外,非政府組織、私主體也在各自領(lǐng)域發(fā)揮著社會治理的功能,由此形成了社會治理網(wǎng)絡(luò)。與此同時,互聯(lián)網(wǎng)、大數(shù)據(jù)、智能算法等科學(xué)技術(shù)也推動了治理創(chuàng)新,算法治理就是在現(xiàn)代治理理念中孕育而生的。在技術(shù)層面,算法治理是指治理主體利用算法進(jìn)行社會治理。隨著機(jī)器深度學(xué)習(xí)技術(shù)的逐漸成熟,人工智能通過神經(jīng)網(wǎng)絡(luò)可以進(jìn)行更高層次的演算和推理,算法模型也會隨著反復(fù)運(yùn)用而不斷地自主提升和完善,使運(yùn)算的準(zhǔn)確性得到極大提高,因此算法在一定程度上獲得了自主決策的能力。例如政府部門利用算法進(jìn)行風(fēng)險預(yù)警、指揮調(diào)度、預(yù)測性執(zhí)法,以及平臺利用算法進(jìn)行侵權(quán)監(jiān)測等都是應(yīng)用這一技術(shù)的具體表現(xiàn)。在算法應(yīng)用下社會治理的效能極大提升,治理成本也極大降低。從價值層面來看,算法治理則強(qiáng)調(diào)算法在治理中的主導(dǎo)地位。實際上,算法正在深刻地影響著人們的觀念和行為方式:一方面,算法技術(shù)的便捷高效使得人們對其產(chǎn)生了高度信任;另一方面,算法嵌入社會生活各個領(lǐng)域,不斷引導(dǎo)和規(guī)范著人們的日常交往活動。簡而言之,算法治理正在從技術(shù)和價值兩個層面影響著人們的社會生活。

    (二)算法治理的應(yīng)用場景

    算法治理在實踐中的應(yīng)用極為廣泛,難以全面列舉。常見的算法治理應(yīng)用例如信息推送、內(nèi)容過濾以及數(shù)據(jù)評估與預(yù)測。

    信息推送是提供個性化信息服務(wù)的重要方式。隨著互聯(lián)網(wǎng)時代信息量的指數(shù)型增長,人們在享受海量信息的同時,也面臨著如何有效便捷地篩選和提取信息的問題,算法推送技術(shù)的出現(xiàn)迎合了這一現(xiàn)實需求。從計算機(jī)學(xué)的角度來看,傳統(tǒng)的推送算法主要包括基于內(nèi)容的推薦算法和協(xié)同過濾的推薦算法。其中,前者是指根據(jù)用戶在網(wǎng)絡(luò)環(huán)境中留存的信息痕跡來構(gòu)造用戶偏好,計算內(nèi)容與用戶偏好的相似度,將相似度最高的內(nèi)容推薦給用戶。后者則是通過分析與目標(biāo)用戶相關(guān)的鄰居用戶的偏好來向目標(biāo)用戶進(jìn)行推薦〔4〕。隨著人工智能技術(shù)的發(fā)展成熟,推薦算法也有了新的提升,典型的表現(xiàn)為推薦算法與人工智能神經(jīng)網(wǎng)絡(luò)相融合,利用深度學(xué)習(xí)技術(shù)評分計算,抑或直接構(gòu)建多層神經(jīng)網(wǎng)絡(luò)對評價進(jìn)行預(yù)測,從而完成內(nèi)容推薦〔5〕,也使得算法推薦的精準(zhǔn)性得到極大提高。

    算法過濾與算法推送的原理類似,但區(qū)別在于算法推送決定的是用戶可以看到什么,而算法過濾則是要屏蔽某類信息以防止用戶獲取特定信息,即決定了不能看到什么。實踐中,算法過濾的主要應(yīng)用價值在于對上傳內(nèi)容進(jìn)行檢查監(jiān)測,例如在公共秩序維護(hù)中,平臺預(yù)先將涉嫌違法犯罪、過于偏激、色情、暴力等違反社會公共利益的內(nèi)容或關(guān)鍵詞設(shè)置為監(jiān)測對象,利用算法對用戶上傳的內(nèi)容進(jìn)行評估,如果識別到存在上述不當(dāng)內(nèi)容或關(guān)鍵詞,則直接予以屏蔽或刪除。此外,算法過濾也可以有效防止侵權(quán)內(nèi)容的傳播,即對含侵權(quán)內(nèi)容的信息進(jìn)行過濾,如實踐中已經(jīng)廣泛應(yīng)用的內(nèi)容元數(shù)據(jù)索引、哈希算法識別和音視頻指紋識別等〔6〕。算法過濾技術(shù)目前已廣泛應(yīng)用于網(wǎng)絡(luò)侵權(quán)監(jiān)測,尤其是在版權(quán)保護(hù)方面。例如“百度文庫”開發(fā)了“反盜版DNA系統(tǒng)”,旨在阻止線上出現(xiàn)惡意文檔;“虎牙直播”使用人工智能識別用戶在直播中上傳圖片、文件里的侵權(quán)元素,極大地提升了審核效率。

    除了上述應(yīng)用外,利用算法進(jìn)行數(shù)據(jù)評估與預(yù)測也極為普遍。大數(shù)據(jù)背景下,算法能夠在數(shù)據(jù)收集的基礎(chǔ)上,對現(xiàn)有數(shù)據(jù)進(jìn)行深度分析、評估與預(yù)測,從而實現(xiàn)社會治理的目的。在宏觀層面,算法決策依據(jù)整體數(shù)據(jù)情況,如在智慧城市理念中,通過對特定時段的人流量、車流量、噪音、路面、天氣以及交通事故等數(shù)據(jù)的收集,利用算法進(jìn)行數(shù)據(jù)建模,進(jìn)而評估和預(yù)測具體時段的路況以及交通事故發(fā)生的概率,以便提前布置交通梳理和分流。在微觀層面上,算法可以對個體分散的數(shù)據(jù)進(jìn)行整合,實現(xiàn)諸如網(wǎng)頁瀏覽、鏈接點(diǎn)擊、購物消費(fèi)、支付記錄以及信用累積等原本以點(diǎn)為表現(xiàn)形式的數(shù)據(jù)之間的關(guān)聯(lián),在算法建模中重新構(gòu)建并形成“虛擬人格”的樣態(tài),在此基礎(chǔ)上便可以對個體行為作出進(jìn)一步預(yù)測。例如銀行可以通過算法評估與預(yù)測來對用戶的償付能力以及信用狀況等作出初步判斷,以決定是否與之建立信貸關(guān)系;法院利用算法對犯罪嫌疑人或者被告人的過往犯罪經(jīng)歷和違法行為進(jìn)行綜合分析,評估其人身危險性和再犯可能性,從而決定采用何種程度的量刑??梢哉f,算法技術(shù)下的數(shù)據(jù)評估和預(yù)測實現(xiàn)了宏觀和微觀層面上社會治理的創(chuàng)新,因此也有學(xué)者將其稱為“評分社會”〔7〕。

    二、算法治理的風(fēng)險及成因

    由于算法的應(yīng)用具有自發(fā)性,加之算法技術(shù)本身的特點(diǎn)以及功能實現(xiàn)的需要,在當(dāng)前缺乏規(guī)范引導(dǎo)的情況下,算法治理在帶來便利的同時也產(chǎn)生了自身的風(fēng)險隱患。

    (一)算法治理的主要風(fēng)險

    1.形成算法黑箱

    算法黑箱由算法不透明所導(dǎo)致,由算法黑箱所構(gòu)成的系統(tǒng)其內(nèi)在數(shù)據(jù)運(yùn)行邏輯不為人知,也不能打開〔8〕。傳統(tǒng)算法決策中人類主體始終掌控著決定權(quán),但隨著人工智能技術(shù)的發(fā)展,算法決策程序逐漸具有了相對自主性。有學(xué)者根據(jù)算法的輸入端、輸出端和中間隱層的自主性程序,將算法黑箱的形態(tài)劃分為初級形態(tài)、中間形態(tài)和高級形態(tài)〔9〕,這種黑箱形態(tài)的演變,反映了算法在一定程度上脫離了人類的控制。而由于算法黑箱的存在,社會公眾無從得知決策的公正性與準(zhǔn)確性,也無法對決策結(jié)果提出質(zhì)疑,只能被動予以接受,這也就導(dǎo)致算法決策失去了受監(jiān)督的可能性。例如在2016年的“魏則西事件”中,百度公司利用算法系統(tǒng)對醫(yī)療廣告進(jìn)行競價排名最終導(dǎo)致悲劇的發(fā)生,根源就在于算法運(yùn)行的不透明導(dǎo)致信息不對稱,相關(guān)公眾難以對算法排名決策進(jìn)行合理評估并做出選擇。

    2.固化虛擬人格

    算法通過對個人網(wǎng)上瀏覽痕跡的分析,進(jìn)行整體的數(shù)據(jù)畫像,形成由個人的興趣、偏好、職業(yè)、信仰等特征組成的個人形象,由此構(gòu)成了算法環(huán)境下個體的虛擬人格。由算法畫像所形成的虛擬人格可能與實際人格存在偏差,原因在于實際人格會因客觀環(huán)境以及個人現(xiàn)實經(jīng)歷的改變而改變。虛擬人格的形成是基于算法對跨越時間維度數(shù)據(jù)的統(tǒng)合而形成的,短期偏好的改變并不能對虛擬人格產(chǎn)生實質(zhì)性的影響,并且在網(wǎng)絡(luò)環(huán)境中個體的虛擬人格已經(jīng)形成,算法據(jù)此進(jìn)行專門的信息和服務(wù)推送,造成“信息繭房”和“回音室”效應(yīng),從而又會強(qiáng)化這一虛擬人格。但在此基礎(chǔ)上的算法治理會忽視這種偏差,從而在治理效能上與實際追求不符。

    3.造成算法偏見

    算法偏見又被稱為算法歧視,無論是算法自身的原因還是外部的人為因素都可能會使算法在運(yùn)行過程中出現(xiàn)偏差,造成算法偏見。技術(shù)性錯誤所造成的算法偏見難以避免,但更為普遍的則是算法背后的價值偏見。在實踐中存在的大數(shù)據(jù)殺熟現(xiàn)象,便是對不同服務(wù)對象設(shè)置不同價格或者提供不同等級的服務(wù)以實現(xiàn)利益的最大化,那些被定義為具有較高消費(fèi)能力或者獲利價值的用戶也會無形中接受更高價格的商品或服務(wù)。再如利用算法進(jìn)行精準(zhǔn)治理時,許多因素可能會被不恰當(dāng)?shù)仃P(guān)聯(lián)起來并形成標(biāo)簽,像性別、種族、健康狀況、財富狀況以及家庭背景等都會被納入算法治理考量的范圍內(nèi)。在這些事實因素的背后,就可能會關(guān)聯(lián)到其他的價值因素,典型的例如種族與犯罪率之間的關(guān)聯(lián),美國的COMPAS風(fēng)險評估系統(tǒng)在分析犯罪率時就對黑人造成了歧視〔10〕。

    (二)算法治理的風(fēng)險成因

    作為一種治理手段,算法必須通過與外界建立各種關(guān)系來發(fā)揮作用,而在這一系列關(guān)聯(lián)之中算法風(fēng)險就隨之產(chǎn)生。

    首先,在算法設(shè)計者與算法之間存在著非中立價值的輸入。傳統(tǒng)技術(shù)中立論強(qiáng)調(diào)技術(shù)只是一種方法論上的工具和手段,主張技術(shù)本身不包括任何的價值手段〔11〕,但技術(shù)本身作為一種合乎目的的手段,其同時也是人的行為方式,這就決定了即使算法設(shè)計之初的動機(jī)是中立的,也會產(chǎn)生一定的價值偏見。原因在于,一方面算法設(shè)計者可能把個人的價值偏見寫進(jìn)了程序,例如在過濾算法的應(yīng)用中,平臺會對某些涉嫌暴力、色情以及其他違背社會公益的內(nèi)容進(jìn)行自動屏蔽,禁止其傳播,此時對于違背社會公益的標(biāo)準(zhǔn)就取決于算法制定者。其二,算法運(yùn)行中獲取和利用的數(shù)據(jù)本身隱含了偏見,例如在“螞蟻金服訴朗動網(wǎng)絡(luò)科技不正當(dāng)競爭案”中,朗動科技對其抓取到的螞蟻微貸原始數(shù)據(jù)進(jìn)行分類整理,并發(fā)布于企查查平臺供用戶查詢,但由于數(shù)據(jù)選擇上存在一定偏差,其發(fā)布的實際信息也與數(shù)據(jù)主體的實際情況不符。法院認(rèn)為該行為給螞蟻微貸公司帶來了商譽(yù)損害,并且影響了其市場競爭優(yōu)勢,構(gòu)成不正當(dāng)競爭①參見浙江省杭州市中級人民法院(2020)浙01民終4847號民事判決書。。質(zhì)言之,盡管算法技術(shù)的出現(xiàn)是為了便捷程序的執(zhí)行或是為問題的解決提供新的程式,但到具體的應(yīng)用場景中時,這一目的就可能與一系列次生目的所關(guān)聯(lián),例如政治、商業(yè)等,從而附加更多的非工具價值,使算法不再中立。

    其次,在治理主體與算法之間形成了算法權(quán)力。技術(shù)直接影響和控制了人的利益得失,從而具備了權(quán)力屬性〔12〕?,F(xiàn)代社會算法能夠嵌入各個場景并發(fā)揮作用,如在平臺經(jīng)濟(jì)中算法使平臺處于一種相對優(yōu)勢的地位,使傳統(tǒng)模式中的平臺、服務(wù)提供者以及用戶之間的利益平衡關(guān)系發(fā)生了改變,而在公共服務(wù)中,算法則通過高效的數(shù)據(jù)收集和持續(xù)運(yùn)行從各方面提升了公權(quán)力的施行能力〔13〕??傮w而言,算法權(quán)力的運(yùn)行具有兩種表現(xiàn)形式:第一種是算法可以直接獲取數(shù)據(jù)并對數(shù)據(jù)進(jìn)行支配,這并不等同于算法直接享有對數(shù)據(jù)的權(quán)利,而是來源于數(shù)據(jù)權(quán)利人自身為了獲取一系列的便利,并自愿接受算法的調(diào)整所做出的權(quán)利讓渡。這樣一種模式類似于一種契約〔14〕,并且往往是通過默許予以推定。例如許多互聯(lián)網(wǎng)平臺或者app會在用戶首次使用時告知為了用戶能夠獲得更好的服務(wù),需要獲取相關(guān)的權(quán)限,而用戶的明示同意或者對服務(wù)的接受都表明其允許平臺對其瀏覽記錄、痕跡以及相關(guān)個人信息的收集,這種對個人數(shù)據(jù)與信息自主性的讓渡構(gòu)成了算法權(quán)力的基礎(chǔ)。第二種表現(xiàn)是算法可以輔助或直接進(jìn)行公共管理,例如互聯(lián)網(wǎng)平臺在運(yùn)用算法過濾等技術(shù)對平臺內(nèi)容進(jìn)行審查和監(jiān)測時,其在這一特定場景下就擁有了網(wǎng)絡(luò)環(huán)境中的立法權(quán)、司法權(quán)和執(zhí)法權(quán)等,這種權(quán)力的集合由于缺乏相應(yīng)的監(jiān)管因而極易導(dǎo)致濫用。

    最后,在被治理主體與算法之間也存在技術(shù)鴻溝。算法技術(shù)本身具有專業(yè)性,對于擁有專業(yè)知識的算法設(shè)計者與實際應(yīng)用者而言,其追求的是算法復(fù)雜性、隱秘性、準(zhǔn)確性以及高效性等的不斷提升,以防備他人的破解與竊取,也更好地促進(jìn)其治理利益的實現(xiàn)。尤其是在市場環(huán)境下,商業(yè)利益的攫取和爭奪會加劇技術(shù)層面的競爭,技術(shù)優(yōu)化與升級將變得愈發(fā)迅捷,算法技術(shù)在這樣的環(huán)境下得到進(jìn)一步的發(fā)展。與之相對,囿于專業(yè)知識所限,社會公眾對算法技術(shù)并不了解,更無法探究其中的原理,這種矛盾所導(dǎo)致的結(jié)果是算法操控者與社會公眾之間產(chǎn)生技術(shù)鴻溝,并且隨時間推移變得更加難以逾越。在傳統(tǒng)治理模式中,公眾監(jiān)督可以限制權(quán)力的行使以防范權(quán)力濫用,從而推動社會治理良性化運(yùn)行。公眾監(jiān)督的基礎(chǔ)是知情權(quán),算法技術(shù)鴻溝的出現(xiàn)則直接妨礙了公眾知情權(quán)的實現(xiàn):第一,公眾無法獲得形式上的算法內(nèi)容;第二,即便公眾獲取了計算機(jī)語言下的算法,但專業(yè)的局限也使其難以真正理解其中的內(nèi)涵;第三,智能算法運(yùn)行過程中的技術(shù)本身的自主性也在發(fā)揮著重要作用,形成算法黑箱,加劇了人類主體理解和操控的難度,而在知情權(quán)受到限制后,公眾參與權(quán)與選擇權(quán)也就無法得到保障。

    綜上所述,算法治理的過程以算法技術(shù)為核心,各方主體則圍繞著算法形成了影響與被影響的關(guān)聯(lián),上述三種關(guān)聯(lián)性,實際上揭示了算法治理法律風(fēng)險產(chǎn)生之根源,而這也恰是法律控制所要解決的根本問題。

    三、算法治理的法律控制進(jìn)路

    法律所具有的規(guī)范性、強(qiáng)制性與普遍性,是實現(xiàn)對算法治理合理有效控制的重要保障。這里的法律控制既包括了狹義的法律規(guī)范,也包括了行政管控,這也是算法控制的兩種主要手段。

    (一)算法治理法律控制的主要模式

    基于算法治理中存在的一系列問題,目前的法律控制路徑主要有兩種,一種是以公眾權(quán)利為中心的個體賦權(quán)模式,另一種是以行政管控為基礎(chǔ)的外部問責(zé)模式。

    1.個體賦權(quán)模式

    個體賦權(quán)模式的基本原理是通過賦予數(shù)據(jù)主體相應(yīng)的權(quán)利,從而使其可以在算法治理中實現(xiàn)一定程度的自主。歐盟的《通用數(shù)據(jù)保護(hù)條例》(GDPR)即為這一模式的典范,根據(jù)《通用數(shù)據(jù)保護(hù)條例》規(guī)定,數(shù)據(jù)主體享有不受自動化處理約束的權(quán)利以及對自動化決策獲得解釋和對相關(guān)決定進(jìn)行質(zhì)疑的權(quán)利。除此之外,還包括知情權(quán)、訪問權(quán)、更正權(quán)等新型數(shù)據(jù)權(quán)利〔15〕。個體賦權(quán)模式的著力點(diǎn)并非直接對算法實施者予以管控,而是通過賦予個體對其數(shù)據(jù)控制和使用的權(quán)利來降低算法決策的影響。從價值取向來看,歐盟立法者并不排斥算法技術(shù)的應(yīng)用,而是試圖調(diào)整算法治理中算法權(quán)力導(dǎo)致的權(quán)利義務(wù)不對等,以實現(xiàn)新的利益平衡。

    實際上,我國近年來大力推行的個人信息和數(shù)據(jù)保護(hù)立法也充分體現(xiàn)了這一理念。例如《民法典》第一千零三十五條賦予了民事主體對個人信息所享有的一定程度的自決權(quán)①《民法典》第一千零三十五條規(guī)定,處理個人信息應(yīng)當(dāng)征得自然人或者其監(jiān)護(hù)人同意,并且應(yīng)當(dāng)公開處理信息的規(guī)則、目的、方式和范圍。。但從可預(yù)期的控制效能來看,個體賦權(quán)模式存在著較大的不足:第一,由于技術(shù)鴻溝的存在,個體權(quán)利并不能充分行使,算法透明的本質(zhì)是公開代碼、數(shù)據(jù)和決策樹等深層信息,其中包含有句法、表征、符號等技術(shù)語言〔16〕,對于一般公眾而言無法理解,更不可能進(jìn)行有效的審查。而且,自主學(xué)習(xí)技術(shù)使得算法決策中的不可控因素增加,算法可以自主改變數(shù)據(jù)權(quán)重來適應(yīng)不同的分析對象和運(yùn)行環(huán)境。因此,即便是公開代碼和數(shù)據(jù),也并不意味著可以直接獲得算法決策的結(jié)果〔17〕。第二,算法的公開將破壞以算法為中心的信任機(jī)制。由于算法黑箱的存在,被治理主體無法參與到?jīng)Q策當(dāng)中,這也就形成了以算法為中心的治理機(jī)制,各主體能相對平等地受到算法決策的影響。隨著算法的公開,算法就具有了受到被治理者干擾和操控的可能性,從而直接影響到結(jié)果的公平性。第三,現(xiàn)代商業(yè)模式的靈活性可能導(dǎo)致個體賦權(quán)模式中的權(quán)利義務(wù)關(guān)系虛化,在現(xiàn)代商業(yè)模式中,平臺可以通過劃分服務(wù)等級、設(shè)定服務(wù)條件等方式來換取公眾的進(jìn)一步消費(fèi)與投入,服務(wù)對象可以自主決定是否提供個人數(shù)據(jù)或信息,而是否提供相應(yīng)數(shù)據(jù)又決定了獲得的服務(wù)等級。由于公眾可以獲得必要的基礎(chǔ)性服務(wù),在形式上公平原則并沒有被違背,但被動地差別對待則會驅(qū)使一些公眾追求更高等級的服務(wù),從而放棄應(yīng)用的權(quán)利,隨著服務(wù)層次的不斷上升,對于權(quán)利放棄的要求也將逐步提高。概言之,在這種模式下,個體權(quán)利在主動的“被放棄”,也恰恰反映了個體賦權(quán)模式的局限性,即完全遵從意思自治將無法克服市場自發(fā)性造成的弊病。

    2.外部問責(zé)模式

    不同于個體賦權(quán)模式下的意思自治,外部問責(zé)模式著重于通過行政手段直接施加管控。例如美國紐約曾經(jīng)通過的對公用事業(yè)領(lǐng)域算法進(jìn)行問責(zé)的法案,用于規(guī)制算法自主和輔助決策的情形,并明確設(shè)立自動決策工作組作為算法問責(zé)制的實施主體,其成員由相關(guān)專業(yè)人士以及受算法自動化決策影響的代表人士組成。此外,還有立法議案要求聯(lián)邦貿(mào)易委員會制定新規(guī),明確自動決策系統(tǒng)對社會公共利益的影響〔18〕。

    外部問責(zé)模式針對算法使用者施加一定的義務(wù),如果沒有完成這些則需要承擔(dān)相應(yīng)的責(zé)任。然而,對于一般公眾而言,參與到算法監(jiān)控的難度是不言而喻的,因此算法監(jiān)控的任務(wù)仍然需要由專業(yè)人士承擔(dān),這就難免會引發(fā)新的算法信任危機(jī)。外部問責(zé)模式的另一個顯著特點(diǎn)是管控的色彩較為濃厚,強(qiáng)調(diào)運(yùn)用公權(quán)力對算法主體進(jìn)行規(guī)制,而這就可能造成一定的風(fēng)險。在自治的環(huán)境下,算法實施者可以通過自主設(shè)置的用戶反饋機(jī)制來倒逼自主完善,并匹配算法運(yùn)行的基本邏輯來開發(fā)出新的運(yùn)行約束機(jī)制。但在外部問責(zé)模式下,公權(quán)力管控將會主動介入,并且極大地壓縮了行業(yè)自治和個體自律的空間,從運(yùn)行成本來看無疑會增大規(guī)制成本,降低規(guī)制的效能。更需要警惕的是,在維護(hù)公共利益的過程中如果一味運(yùn)用行政管制,勢必會影響到相關(guān)產(chǎn)業(yè)的創(chuàng)新與發(fā)展。并且從權(quán)力的運(yùn)行邏輯來看,傳統(tǒng)行政管控中基于縱向?qū)蛹壗Y(jié)構(gòu)信息壟斷的合法性,已經(jīng)被算法治理中知識與信息的碎片化、分散化所消解〔19〕,行政權(quán)力的過分介入不僅會破壞這種已然形成的生態(tài)模式,還違背了多元共治的基本規(guī)律和要求。

    (二)算法治理法律控制的基本原則

    算法治理是由多要素組成的治理系統(tǒng),其復(fù)雜性在于其中涉及的利益沖突,而無論是個人賦權(quán)模式還是外部歸責(zé)模式,都只是關(guān)注到系統(tǒng)中的某一個要素而忽略了其他要素。例如個人賦權(quán)模式側(cè)重于保護(hù)個體權(quán)利,而忽視了算法實施主體本身的利益保障;外部歸責(zé)模式只強(qiáng)調(diào)了從外部對算法實施主體予以管控,而忽視了算法治理的產(chǎn)業(yè)規(guī)律。因此,在探索算法治理的法律控制時應(yīng)當(dāng)兼顧多方利益,具體包括以下幾個方面。

    第一,兼顧法律控制與產(chǎn)業(yè)發(fā)展。許多法律制度的產(chǎn)生都是為了符合特定產(chǎn)業(yè)和技術(shù)發(fā)展的要求,例如互聯(lián)網(wǎng)技術(shù)推動了平臺經(jīng)濟(jì)的發(fā)展,催生了《美國千禧年數(shù)字版權(quán)法》以及避風(fēng)港規(guī)則等一系列新領(lǐng)域的法律制度。這些法律規(guī)則的出現(xiàn)原本不是要遏制平臺經(jīng)濟(jì)的發(fā)展,而是因為互聯(lián)網(wǎng)技術(shù)造成網(wǎng)絡(luò)侵權(quán)的大量出現(xiàn),為了維護(hù)版權(quán)人的利益,促進(jìn)互聯(lián)網(wǎng)產(chǎn)業(yè)的良性發(fā)展,需要有新的法律制度予以回應(yīng)。算法技術(shù)從出現(xiàn)到如今成為社會治理的工具,是因為它在一定程度上能夠滿足社會發(fā)展的需求。因此,算法治理法律控制的目的并非妨礙和阻止算法功能的發(fā)揮,也并非否定算法治理的成果,而是對算法治理的風(fēng)險予以管控,對算法治理下的非常態(tài)化損害予以降低和填補(bǔ),從而更好地促進(jìn)產(chǎn)業(yè)發(fā)展。

    第二,兼顧權(quán)利保障與治理效能。在對算法治理進(jìn)行法律控制時,公眾個體權(quán)利的保障是重要的著力點(diǎn),具體可能會涉及隱私權(quán)、數(shù)據(jù)權(quán)、知情權(quán)、同意權(quán)和自主選擇權(quán)等,但有些權(quán)利在實現(xiàn)的過程中可能會影響到算法治理效能的實現(xiàn),或者直接觸碰到算法治理的根基,例如個人賦權(quán)模式與外部問責(zé)模式都強(qiáng)調(diào)通過公開算法底層代碼和數(shù)據(jù)等信息來提高算法透明度。然而,在實踐中,算法已然成為了市場競爭的重要方面,其往往是由設(shè)計者或所有者投入巨大成本訓(xùn)練而成,具有較高的商業(yè)價值,因此也往往被作為商業(yè)秘密予以保護(hù)。此時對算法的公開無疑會打破算法的受保護(hù)狀態(tài),對所有者利益造成損害。并且由于保密狀態(tài)的算法對于算法治理效能的實現(xiàn)具有基礎(chǔ)性作用,過度的算法公開也必然會影響到治理效能的實現(xiàn),因此也不應(yīng)矯枉過正。

    第三,兼顧行業(yè)自治與政府管控。算法的應(yīng)用是行業(yè)治理的自發(fā)機(jī)制,因此也會存在自發(fā)性之下的盲目性與不穩(wěn)定性,但這并非政府施加管控的依據(jù),因為行業(yè)自治本身也具有一定的修復(fù)功能,而只有在行業(yè)自治失靈的情況下,政府才有必要從外部介入。從經(jīng)濟(jì)學(xué)視角來看,負(fù)外部性指的是某行為在不能得到補(bǔ)償時卻為他人付出了額外的代價。企業(yè)應(yīng)用算法進(jìn)行治理在帶來了福利的同時,也對個體權(quán)利和公共利益造成了一定的負(fù)外部性損害,因此政府管控的合理范圍就應(yīng)當(dāng)是盡可能地減少這種負(fù)外部性或者是將負(fù)外部性內(nèi)部化,只有在這個范圍內(nèi),政府的管控才具有正當(dāng)性和合理性。

    (三)算法治理法律控制的實現(xiàn)進(jìn)路

    1.構(gòu)建算法設(shè)計規(guī)范機(jī)制

    算法設(shè)計與開發(fā)是算法治理的源頭,通過設(shè)置相應(yīng)的規(guī)范機(jī)制可以從源頭上預(yù)防算法風(fēng)險的發(fā)生。一方面,應(yīng)當(dāng)建立算法設(shè)計的登記備案制。對于算法設(shè)計主體,應(yīng)當(dāng)設(shè)置相應(yīng)的市場準(zhǔn)入機(jī)制,要求算法設(shè)計主體符合一定的資格才能夠從事相關(guān)行業(yè)。資格備案制要求算法設(shè)計主體提供相應(yīng)的資格證明,并由監(jiān)管機(jī)構(gòu)或者自律組織進(jìn)行形式審查,審查通過后予以備案登記。對于已經(jīng)備案登記的主體,如果在運(yùn)行過程中出現(xiàn)信息的變更,則應(yīng)當(dāng)重新進(jìn)行備案登記。此外,算法在設(shè)計完成后同樣應(yīng)當(dāng)予以備案并與設(shè)計主體信息相對應(yīng)。不同于算法透明,算法備案僅要求向監(jiān)管機(jī)構(gòu)和自律組織公開〔20〕。監(jiān)管機(jī)構(gòu)和自律組織同樣負(fù)有保密義務(wù)。在算法實施中如果出現(xiàn)了相應(yīng)的更新或修改,則需要重新備案登記;如果出現(xiàn)了算法損害投訴的情況,同樣由監(jiān)管機(jī)構(gòu)予以登記備案,達(dá)到一定程度時可以取消該主體的準(zhǔn)入資格,責(zé)令做出整改并重新登記備案。

    另一方面,為了防止算法在運(yùn)行過程中出現(xiàn)欺騙和操縱,或者造成算法偏見,在算法設(shè)計之初就應(yīng)當(dāng)針對算法設(shè)置相應(yīng)的評估標(biāo)準(zhǔn),并要求算法設(shè)計者對算法進(jìn)行前期測試。由于算法設(shè)計中可能會包含設(shè)計者的個人價值選擇,因此首先應(yīng)當(dāng)對算法設(shè)計進(jìn)行規(guī)范,通過設(shè)定價值評估標(biāo)準(zhǔn),要求算法設(shè)計符合一般道德規(guī)范,并嵌入相對公平的倫理價值,以避免造成算法越界應(yīng)用和不當(dāng)后果〔21〕。在算法運(yùn)行過程中,則應(yīng)當(dāng)包括數(shù)據(jù)抓取測試、數(shù)據(jù)分析測試以及算法決策的準(zhǔn)確性測試,要求算法在數(shù)據(jù)抓取時應(yīng)當(dāng)盡可能地避免偏見,對于數(shù)據(jù)的抓取應(yīng)當(dāng)具有一般性和隨機(jī)性、而非帶有特定指向的篩選。在數(shù)據(jù)分析時也應(yīng)當(dāng)避免偏見的介入,最大限度地保證分析過程和分析結(jié)果的公平性和公正性。此外,還要針對算法數(shù)據(jù)運(yùn)算和決策的結(jié)果進(jìn)行評估,要求算法決策的準(zhǔn)確性達(dá)到一定的標(biāo)準(zhǔn)。保證算法決策的即時性,當(dāng)基礎(chǔ)數(shù)據(jù)發(fā)生改變時算法決策也應(yīng)當(dāng)及時調(diào)整,避免出現(xiàn)決策滯后。

    2.構(gòu)建算法運(yùn)行監(jiān)督機(jī)制

    算法運(yùn)行是算法治理的主要環(huán)節(jié),對算法運(yùn)行予以監(jiān)督可以及時實現(xiàn)糾偏和校正。為此,首先要引導(dǎo)建立行業(yè)自律機(jī)制。其正當(dāng)性基礎(chǔ)在于,企業(yè)在獲取利益的同時,應(yīng)當(dāng)自主承擔(dān)相應(yīng)的社會責(zé)任,這也是企業(yè)存在社會價值的體現(xiàn)。在當(dāng)下算法廣泛應(yīng)用的背景下,算法所造成的風(fēng)險與危機(jī)已然對公共利益構(gòu)成威脅,因此有必要將算法規(guī)制納入企業(yè)社會責(zé)任當(dāng)中,引導(dǎo)企業(yè)建立起行業(yè)自律機(jī)制。一方面應(yīng)當(dāng)建立算法行業(yè)規(guī)范,算法治理通過加強(qiáng)工具理性降低了傳統(tǒng)治理模式中的不確定性因素,然而價值理性的缺失導(dǎo)致了算法偏離了社會治理中以人為本的基本理念。因此,應(yīng)當(dāng)通過建立行業(yè)規(guī)范,將公平、正義、安全等基本原則納入算法運(yùn)行當(dāng)中,引導(dǎo)相關(guān)主體對算法運(yùn)行中的失范進(jìn)行糾正。另一方面可以推動建立行業(yè)協(xié)會,其成員應(yīng)當(dāng)包括企業(yè)界、算法技術(shù)人員、審查人員、法律界以及相關(guān)利益代表,通過行業(yè)協(xié)會的建立加強(qiáng)行業(yè)內(nèi)部的自我監(jiān)督、自我審查和自我完善,從而推動產(chǎn)業(yè)和技術(shù)的良性發(fā)展。其次,可以推動建立算法運(yùn)行的合規(guī)審查制度,要求運(yùn)行在符合法律法規(guī)、行業(yè)守則和倫理規(guī)范的同時,還要符合企業(yè)自身的規(guī)章制度〔22〕。如今,由企業(yè)自主實施的合規(guī)治理已成為現(xiàn)代社會風(fēng)險防范的重要方式,要求企業(yè)首先進(jìn)行自我監(jiān)管和自我完善,如果企業(yè)能夠建立良好的合規(guī)制度并且做到合規(guī)運(yùn)營,就可以減輕或者免除相關(guān)責(zé)任。在“趙某某與浙江某網(wǎng)絡(luò)公司網(wǎng)絡(luò)服務(wù)合同糾紛案”中,原告認(rèn)為被告提供的平臺檢索服務(wù)針對特定的商家或者品牌設(shè)定了算法歧視,導(dǎo)致其無法檢索到想要的產(chǎn)品,法院認(rèn)為被告平臺在利用算法的同時,還提供了檢索反饋渠道等輔助工具,可以彌補(bǔ)算法技術(shù)的不足,因此不構(gòu)成歧視①參見杭州互聯(lián)網(wǎng)法院(2020)浙0192民初2295號民事判決書。。在此種激勵機(jī)制下,企業(yè)將更有可能實現(xiàn)自我治理,從而防范風(fēng)險?,F(xiàn)代企業(yè)合規(guī)制度在算法治理中同樣可以發(fā)揮重要作用,由于算法的運(yùn)行過程本身對于社會公眾具有不可知性,并且算法運(yùn)行過程的全公開也存在相應(yīng)的風(fēng)險,因此通過社會公眾進(jìn)行監(jiān)督不具有可行性。同時,由于算法應(yīng)用規(guī)模龐大,形式多樣,受眾廣泛,要求監(jiān)管部門對算法運(yùn)行進(jìn)行全面監(jiān)督成本過高,也難以實現(xiàn)預(yù)期監(jiān)管的效果。鑒于此,推動建立企業(yè)合規(guī)審查制度就可以減輕監(jiān)管負(fù)擔(dān),有關(guān)部門通過出臺算法運(yùn)行合規(guī)指南和合規(guī)指引來引導(dǎo)企業(yè)建立相關(guān)機(jī)制,包括算法制定監(jiān)督、算法風(fēng)險防控、算法結(jié)果復(fù)審以及算法錯誤糾偏等。

    3.完善算法損害救濟(jì)機(jī)制

    損害救濟(jì)具有事后性,主要起到兜底保障的作用,對于算法損害的救濟(jì),主要應(yīng)當(dāng)從實體救濟(jì)和程序救濟(jì)兩個方面進(jìn)行完善,具體可以從以下幾點(diǎn)著手。

    第一,構(gòu)建算法損害歸責(zé)原則。損害賠償是負(fù)外部性內(nèi)化的重要途徑,在算法治理中受到損害的個體應(yīng)當(dāng)有權(quán)利獲得損害賠償。在歸責(zé)原則方面,算法損害應(yīng)當(dāng)采用無過錯責(zé)任原則并設(shè)置相應(yīng)的法定免責(zé)事由,這是由算法的技術(shù)本質(zhì)所決定的,也與無過錯責(zé)任的制度目的相符合?,F(xiàn)代經(jīng)濟(jì)和技術(shù)的發(fā)展催生了侵權(quán)法上的無過錯責(zé)任,并且可能隨著風(fēng)險社會特征的不斷深化而擴(kuò)大,正如有學(xué)者指出:“傳統(tǒng)以過錯責(zé)任為基礎(chǔ)建立的風(fēng)險分配責(zé)任體系在許多領(lǐng)域都將不復(fù)存在?!薄?3〕算法損害即在這樣的背景下而產(chǎn)生,在算法治理中,由于技術(shù)鴻溝的存在,一般公眾無法得知算法制定和實施的過程,因而也難以證明所謂的過錯。同時,在算法學(xué)習(xí)技術(shù)的應(yīng)用下算法變得更加智能化,算法決策結(jié)果也更加不可預(yù)測,傳統(tǒng)的過錯責(zé)任已不存在適用余地。出于風(fēng)險的現(xiàn)實性和應(yīng)對必要性,理當(dāng)將歸責(zé)原則確定為無過錯責(zé)任。與此同時,為了鼓勵算法技術(shù)的發(fā)展和應(yīng)用,還應(yīng)當(dāng)設(shè)置相應(yīng)的免責(zé)事由,如前述算法合規(guī)審查就可以作為減輕或者免除責(zé)任的情形。責(zé)任主體方面,在不存在免責(zé)事由的情形下,算法損害責(zé)任理應(yīng)由開發(fā)和使用算法技術(shù)的自然人或法人承擔(dān)〔24〕。在整個算法治理中可能存在兩個責(zé)任主體,一個是算法設(shè)計開發(fā)者,另一個是算法使用者,在二者同一的情形下只有一個責(zé)任承擔(dān)者。在二者分離的情況下,則由于公眾直接面對的主體是算法使用者,因此無論是算法實施過程還是算法設(shè)計本身存在的問題,受害公眾都可以首先要求算法使用者承擔(dān)責(zé)任,最終責(zé)任則由算法使用者與算法設(shè)計開發(fā)者根據(jù)具體損害緣由另行分擔(dān)。

    第二,推進(jìn)算法損害集體與公益訴訟?;ヂ?lián)網(wǎng)環(huán)境下的個體權(quán)利具有分散性,無論是個體的專業(yè)知識、行動空間還是協(xié)商能力,都無法與強(qiáng)大的互聯(lián)網(wǎng)治理主體相抗衡。算法損害具有廣泛性,并且直接關(guān)涉重大公共利益。在這種情況下,應(yīng)當(dāng)改變傳統(tǒng)侵權(quán)損害下的個體救濟(jì),轉(zhuǎn)為集體問責(zé)。我國《民事訴訟法》第五十四條規(guī)定了代表人訴訟制度,即在訴訟標(biāo)的同一、當(dāng)事人人數(shù)眾多且無法確定時,人民法院可以以公告形式通知權(quán)利人登記,并允許其推選代表人。代表人訴訟是解決群體爭議的重要途徑。在算法損害廣泛而分散的情形下,代表人訴訟制度不僅有利于損害事實的認(rèn)定,還有利于節(jié)約司法資源,維護(hù)公共利益。此外,司法實踐中檢察機(jī)關(guān)也可以出于維護(hù)公共利益的需要提起公益訴訟,以保護(hù)相關(guān)公眾的合法權(quán)益。例如在“杭州市余杭區(qū)人民檢察院訴某短視頻平臺未成年人保護(hù)民事公益訴訟案”中,被告平臺未經(jīng)兒童監(jiān)護(hù)人同意的情況下利用算法進(jìn)行信息收集和內(nèi)容推送,嚴(yán)重侵害了社會公共利益,檢察機(jī)關(guān)就此提起民事公益訴訟①參見杭州互聯(lián)網(wǎng)法院(2020)浙0192民初10993號民事判決書。。由此可見以公益訴訟的方式化解個體訴訟的不足同樣也是一條可行路徑。

    總之,隨著現(xiàn)代社會的智能化程度不斷提升,算法對人類的影響也將愈發(fā)深入,正如尤瓦爾·赫拉利的預(yù)言,人類將會進(jìn)入到一個“算法社會”〔25〕。算法作為一種社會治理工具,在帶來福利的同時也帶來了風(fēng)險,如果不能對其進(jìn)行有效的防范,這些風(fēng)險終將轉(zhuǎn)化為現(xiàn)實的損害。也應(yīng)當(dāng)看到,算法不是洪水猛獸,包括一般民事法律、知識產(chǎn)權(quán)法、行政法等法律控制所追求的不是對算法的作用進(jìn)行完全限制,而是更好地運(yùn)用算法實現(xiàn)社會治理的目標(biāo)。正如本文所探討的,對于算法進(jìn)行法律控制是必要的,但是對法律控制限度的考量同樣重要。算法治理是一個多要素系統(tǒng),涉及各種價值沖突,因此應(yīng)當(dāng)做到權(quán)衡與兼顧,尤其是要避免法律控制妨礙產(chǎn)業(yè)發(fā)展和技術(shù)創(chuàng)新?;谶@一理念探索的法律控制進(jìn)路,也應(yīng)當(dāng)是將自發(fā)的算法治理引向規(guī)范的軌道,從而更好地實現(xiàn)公共利益??梢灶A(yù)見,隨著算法技術(shù)的完善和相關(guān)制度的落地,算法終將會成為社會福祉的一項重要來源。

    猜你喜歡
    算法
    基于MapReduce的改進(jìn)Eclat算法
    Travellng thg World Full—time for Rree
    進(jìn)位加法的兩種算法
    基于CC2530的改進(jìn)TPSN算法
    基于BCH和HOG的Mean Shift跟蹤算法
    算法初步兩點(diǎn)追蹤
    基于增強(qiáng)隨機(jī)搜索的OECI-ELM算法
    一種改進(jìn)的整周模糊度去相關(guān)算法
    一種抗CPS控制層欺騙攻擊的算法
    Wiener核的快速提取算法
    少妇猛男粗大的猛烈进出视频| 高清视频免费观看一区二区| 亚洲av成人不卡在线观看播放网| 婷婷精品国产亚洲av在线 | 丰满的人妻完整版| 国产真人三级小视频在线观看| 国产精品香港三级国产av潘金莲| 99re在线观看精品视频| 中文字幕另类日韩欧美亚洲嫩草| 午夜老司机福利片| 啦啦啦视频在线资源免费观看| 精品一区二区三区视频在线观看免费 | 亚洲av成人一区二区三| 国产男靠女视频免费网站| 久久香蕉国产精品| 久9热在线精品视频| 久久影院123| a级毛片黄视频| 丁香欧美五月| 国产伦人伦偷精品视频| 99久久综合精品五月天人人| 美女国产高潮福利片在线看| 欧美黑人精品巨大| 99riav亚洲国产免费| 日韩欧美在线二视频 | 国产精品成人在线| 久久九九热精品免费| 日韩视频一区二区在线观看| 精品国产一区二区久久| 看片在线看免费视频| 中文亚洲av片在线观看爽 | 看免费av毛片| 天天躁夜夜躁狠狠躁躁| 老司机影院毛片| 久99久视频精品免费| 人妻丰满熟妇av一区二区三区 | av网站免费在线观看视频| 成人国语在线视频| 国产成+人综合+亚洲专区| 乱人伦中国视频| 欧美精品高潮呻吟av久久| 成年人免费黄色播放视频| 大陆偷拍与自拍| 久久精品成人免费网站| 淫妇啪啪啪对白视频| 亚洲欧美激情在线| 中文字幕人妻丝袜一区二区| 中文字幕人妻熟女乱码| 欧美日韩国产mv在线观看视频| 久久精品国产a三级三级三级| 视频区欧美日本亚洲| 波多野结衣一区麻豆| 人人妻人人添人人爽欧美一区卜| 午夜两性在线视频| 亚洲精品美女久久久久99蜜臀| 国产精品偷伦视频观看了| 欧美大码av| 女同久久另类99精品国产91| 亚洲精品一二三| 久久久久国内视频| 国产激情欧美一区二区| 新久久久久国产一级毛片| 成在线人永久免费视频| av片东京热男人的天堂| 亚洲午夜精品一区,二区,三区| 国产一区在线观看成人免费| 国产黄色免费在线视频| 两个人看的免费小视频| 午夜精品国产一区二区电影| 99精国产麻豆久久婷婷| 一级片'在线观看视频| 日韩免费高清中文字幕av| 午夜影院日韩av| 国产亚洲精品久久久久5区| 很黄的视频免费| 王馨瑶露胸无遮挡在线观看| 国产又色又爽无遮挡免费看| 国产精品 国内视频| 日韩欧美在线二视频 | 欧美日本中文国产一区发布| 午夜精品久久久久久毛片777| 黄色a级毛片大全视频| 亚洲精品国产区一区二| 成在线人永久免费视频| 成人国语在线视频| 欧美精品亚洲一区二区| 人妻一区二区av| 欧美人与性动交α欧美精品济南到| 99精品在免费线老司机午夜| 国产野战对白在线观看| 亚洲五月天丁香| av天堂久久9| 动漫黄色视频在线观看| 一个人免费在线观看的高清视频| 99热网站在线观看| 国产精品久久久久成人av| 搡老岳熟女国产| 欧美精品人与动牲交sv欧美| 我的亚洲天堂| 亚洲美女黄片视频| 亚洲av欧美aⅴ国产| 日韩欧美在线二视频 | 亚洲欧美激情综合另类| 欧美激情久久久久久爽电影 | 搡老岳熟女国产| 亚洲av欧美aⅴ国产| 国产高清国产精品国产三级| 伊人久久大香线蕉亚洲五| 成在线人永久免费视频| 色尼玛亚洲综合影院| 日韩中文字幕欧美一区二区| 亚洲av日韩精品久久久久久密| 精品久久久久久电影网| 搡老熟女国产l中国老女人| 在线视频色国产色| 国产精品久久视频播放| 少妇猛男粗大的猛烈进出视频| 十八禁高潮呻吟视频| 黄频高清免费视频| 亚洲在线自拍视频| 亚洲少妇的诱惑av| 最近最新中文字幕大全免费视频| 国产精品一区二区免费欧美| 日韩免费av在线播放| 亚洲性夜色夜夜综合| 国产单亲对白刺激| 日本黄色视频三级网站网址 | 女性被躁到高潮视频| 两个人免费观看高清视频| 久久亚洲真实| 最新美女视频免费是黄的| 中文字幕制服av| 丝袜美腿诱惑在线| 成人影院久久| 国产高清视频在线播放一区| 人人妻人人澡人人爽人人夜夜| 最近最新免费中文字幕在线| 久久精品国产99精品国产亚洲性色 | av天堂久久9| 欧美乱码精品一区二区三区| 精品一区二区三区视频在线观看免费 | 亚洲精品粉嫩美女一区| 久久精品成人免费网站| 免费不卡黄色视频| 成人18禁高潮啪啪吃奶动态图| 亚洲av片天天在线观看| 黄网站色视频无遮挡免费观看| 国产一区有黄有色的免费视频| 天堂√8在线中文| 1024视频免费在线观看| 99久久国产精品久久久| 亚洲欧洲精品一区二区精品久久久| 欧美 亚洲 国产 日韩一| 超碰97精品在线观看| 99国产极品粉嫩在线观看| 少妇被粗大的猛进出69影院| 久久国产精品大桥未久av| tocl精华| 老司机午夜福利在线观看视频| 亚洲精品av麻豆狂野| 亚洲三区欧美一区| 飞空精品影院首页| 精品人妻在线不人妻| 中文字幕另类日韩欧美亚洲嫩草| 精品熟女少妇八av免费久了| 在线播放国产精品三级| 久久精品亚洲精品国产色婷小说| 老熟妇仑乱视频hdxx| 丁香欧美五月| 天堂中文最新版在线下载| 国产成人一区二区三区免费视频网站| 女性被躁到高潮视频| 亚洲av美国av| 亚洲人成伊人成综合网2020| 亚洲五月色婷婷综合| av有码第一页| 亚洲一区高清亚洲精品| 精品国内亚洲2022精品成人 | 一级片免费观看大全| 久久香蕉激情| 首页视频小说图片口味搜索| 精品国产国语对白av| 国产在线一区二区三区精| 老司机影院毛片| 国产区一区二久久| 午夜91福利影院| 色在线成人网| 亚洲av欧美aⅴ国产| 我的亚洲天堂| 黑人巨大精品欧美一区二区蜜桃| 叶爱在线成人免费视频播放| 少妇的丰满在线观看| 水蜜桃什么品种好| 亚洲精品久久成人aⅴ小说| 男女免费视频国产| 色综合欧美亚洲国产小说| 色综合婷婷激情| 亚洲精品在线观看二区| 亚洲精品中文字幕一二三四区| 法律面前人人平等表现在哪些方面| av不卡在线播放| 久久天堂一区二区三区四区| 久99久视频精品免费| 叶爱在线成人免费视频播放| 欧美亚洲 丝袜 人妻 在线| 国产高清videossex| 曰老女人黄片| 久久精品熟女亚洲av麻豆精品| 视频区欧美日本亚洲| 香蕉国产在线看| 热re99久久国产66热| 天天影视国产精品| 天天操日日干夜夜撸| 亚洲综合色网址| 久久精品国产综合久久久| 少妇粗大呻吟视频| 国产精品.久久久| 电影成人av| 中文字幕人妻熟女乱码| 亚洲av片天天在线观看| 色在线成人网| 亚洲aⅴ乱码一区二区在线播放 | 国产成人影院久久av| 亚洲 欧美一区二区三区| 新久久久久国产一级毛片| 成人免费观看视频高清| 免费不卡黄色视频| 变态另类成人亚洲欧美熟女 | 国产亚洲av高清不卡| 亚洲熟妇熟女久久| 日本wwww免费看| 在线国产一区二区在线| 日本欧美视频一区| 超色免费av| 男男h啪啪无遮挡| 精品亚洲成a人片在线观看| 在线看a的网站| 亚洲欧洲精品一区二区精品久久久| 亚洲精品国产区一区二| 叶爱在线成人免费视频播放| 国产亚洲欧美精品永久| 亚洲欧美日韩另类电影网站| 亚洲熟妇中文字幕五十中出 | 精品久久蜜臀av无| 手机成人av网站| 欧美黄色片欧美黄色片| 天天操日日干夜夜撸| 欧美另类亚洲清纯唯美| 美女国产高潮福利片在线看| 日韩欧美一区视频在线观看| 免费女性裸体啪啪无遮挡网站| 国产成人免费观看mmmm| 精品高清国产在线一区| 成人av一区二区三区在线看| 国内毛片毛片毛片毛片毛片| 99久久综合精品五月天人人| 老司机深夜福利视频在线观看| 久久久国产欧美日韩av| 性色av乱码一区二区三区2| 欧美一级毛片孕妇| 黄色成人免费大全| 国产精品免费一区二区三区在线 | 精品一区二区三区av网在线观看| 亚洲国产欧美日韩在线播放| 色94色欧美一区二区| 女人被狂操c到高潮| 亚洲国产精品合色在线| 黄色女人牲交| 99精品久久久久人妻精品| netflix在线观看网站| 国产精品久久久av美女十八| 1024视频免费在线观看| 国产99久久九九免费精品| 免费看a级黄色片| 免费人成视频x8x8入口观看| 国产在线精品亚洲第一网站| 宅男免费午夜| 国产精品 欧美亚洲| 午夜影院日韩av| 一级作爱视频免费观看| 天堂俺去俺来也www色官网| 久久99一区二区三区| 国产成人精品久久二区二区免费| 十八禁网站免费在线| 老司机福利观看| 成人av一区二区三区在线看| 欧美日韩视频精品一区| 久久香蕉精品热| 亚洲aⅴ乱码一区二区在线播放 | 国产又爽黄色视频| 女人被狂操c到高潮| 亚洲 国产 在线| 制服诱惑二区| 中文亚洲av片在线观看爽 | 飞空精品影院首页| 一区在线观看完整版| 久热爱精品视频在线9| 亚洲av日韩在线播放| 在线国产一区二区在线| 午夜福利免费观看在线| 日日摸夜夜添夜夜添小说| 免费在线观看完整版高清| 熟女少妇亚洲综合色aaa.| 中文字幕制服av| 久久午夜亚洲精品久久| 国产亚洲av高清不卡| 欧美在线一区亚洲| 下体分泌物呈黄色| 欧美精品人与动牲交sv欧美| 欧美日韩瑟瑟在线播放| 久久精品国产亚洲av高清一级| 在线观看舔阴道视频| 日韩三级视频一区二区三区| 脱女人内裤的视频| 久久久久精品人妻al黑| 夜夜躁狠狠躁天天躁| 亚洲精品一二三| 国产精品 欧美亚洲| 美女午夜性视频免费| 国产精品亚洲av一区麻豆| 嫩草影视91久久| 一级作爱视频免费观看| 国产欧美日韩一区二区三区在线| 后天国语完整版免费观看| 午夜91福利影院| 午夜福利欧美成人| 欧美成狂野欧美在线观看| 国产精品1区2区在线观看. | 99国产精品一区二区三区| 90打野战视频偷拍视频| 亚洲中文日韩欧美视频| 视频区欧美日本亚洲| 免费观看精品视频网站| 日本欧美视频一区| 黄片大片在线免费观看| 丝袜美足系列| 欧美日韩中文字幕国产精品一区二区三区 | 国产一区二区三区综合在线观看| 免费在线观看日本一区| 啦啦啦 在线观看视频| 我的亚洲天堂| 亚洲av美国av| 免费在线观看日本一区| 大香蕉久久网| 在线观看免费高清a一片| av电影中文网址| 欧美黄色片欧美黄色片| 久久人人爽av亚洲精品天堂| 亚洲av成人av| 免费一级毛片在线播放高清视频 | 国产av一区二区精品久久| 自拍欧美九色日韩亚洲蝌蚪91| 十八禁高潮呻吟视频| 亚洲欧美激情综合另类| 村上凉子中文字幕在线| 成人国语在线视频| 国产一区在线观看成人免费| 久久久久视频综合| 啦啦啦免费观看视频1| 精品欧美一区二区三区在线| 亚洲片人在线观看| 欧美精品av麻豆av| 深夜精品福利| av国产精品久久久久影院| 捣出白浆h1v1| 国产激情欧美一区二区| 90打野战视频偷拍视频| av电影中文网址| 久久人妻福利社区极品人妻图片| 老司机深夜福利视频在线观看| 中文字幕人妻丝袜制服| 激情在线观看视频在线高清 | 飞空精品影院首页| 人人妻人人澡人人看| 91字幕亚洲| 一进一出抽搐动态| 亚洲精品在线观看二区| 国产成人欧美在线观看 | 亚洲在线自拍视频| 19禁男女啪啪无遮挡网站| 亚洲 欧美一区二区三区| 国产欧美亚洲国产| 精品卡一卡二卡四卡免费| 国产男女超爽视频在线观看| 又黄又粗又硬又大视频| av网站免费在线观看视频| 国产精品99久久99久久久不卡| 色精品久久人妻99蜜桃| 日本黄色视频三级网站网址 | 午夜影院日韩av| 亚洲一区高清亚洲精品| 精品视频人人做人人爽| av天堂久久9| 男女床上黄色一级片免费看| 日日摸夜夜添夜夜添小说| 成人亚洲精品一区在线观看| 一本大道久久a久久精品| 黄频高清免费视频| 国产精品98久久久久久宅男小说| 大香蕉久久成人网| 日韩免费av在线播放| 无人区码免费观看不卡| 在线视频色国产色| 亚洲精品国产一区二区精华液| 久久精品aⅴ一区二区三区四区| 黄色丝袜av网址大全| 亚洲,欧美精品.| 怎么达到女性高潮| 国产一区二区三区在线臀色熟女 | 国产一区有黄有色的免费视频| 自拍欧美九色日韩亚洲蝌蚪91| 在线观看免费视频网站a站| 国内久久婷婷六月综合欲色啪| 午夜免费观看网址| 脱女人内裤的视频| 精品国产一区二区三区久久久樱花| 女人爽到高潮嗷嗷叫在线视频| 免费女性裸体啪啪无遮挡网站| a级毛片黄视频| 视频在线观看一区二区三区| 老司机靠b影院| bbb黄色大片| 国产男靠女视频免费网站| 久久草成人影院| 日韩精品免费视频一区二区三区| 亚洲欧洲精品一区二区精品久久久| 免费在线观看完整版高清| 国产99久久九九免费精品| 国产成人精品在线电影| 欧美日韩瑟瑟在线播放| 嫁个100分男人电影在线观看| 老司机靠b影院| 精品一区二区三区四区五区乱码| 国产真人三级小视频在线观看| 色尼玛亚洲综合影院| 一本一本久久a久久精品综合妖精| 午夜免费鲁丝| 俄罗斯特黄特色一大片| a级毛片黄视频| 丝袜人妻中文字幕| 国产精品综合久久久久久久免费 | 叶爱在线成人免费视频播放| 精品福利观看| 欧美乱妇无乱码| 三上悠亚av全集在线观看| av片东京热男人的天堂| 精品国产一区二区三区四区第35| 最新美女视频免费是黄的| 在线天堂中文资源库| 王馨瑶露胸无遮挡在线观看| 最近最新中文字幕大全免费视频| 老司机亚洲免费影院| 色精品久久人妻99蜜桃| 少妇粗大呻吟视频| 久久精品国产99精品国产亚洲性色 | 国产高清国产精品国产三级| 国产一区二区激情短视频| 亚洲一区二区三区不卡视频| 啪啪无遮挡十八禁网站| 精品一区二区三区视频在线观看免费 | 麻豆av在线久日| 欧美亚洲日本最大视频资源| 性少妇av在线| 80岁老熟妇乱子伦牲交| 伦理电影免费视频| 精品国产美女av久久久久小说| 夫妻午夜视频| 十八禁网站免费在线| 怎么达到女性高潮| 久久久久精品人妻al黑| 亚洲精品av麻豆狂野| 中文字幕另类日韩欧美亚洲嫩草| 亚洲精品成人av观看孕妇| 成人黄色视频免费在线看| 精品人妻1区二区| 老司机福利观看| 日韩欧美三级三区| 99久久99久久久精品蜜桃| 亚洲一码二码三码区别大吗| 动漫黄色视频在线观看| 两人在一起打扑克的视频| 精品一品国产午夜福利视频| 高潮久久久久久久久久久不卡| 亚洲性夜色夜夜综合| 午夜激情av网站| 国产熟女午夜一区二区三区| 亚洲少妇的诱惑av| 亚洲精品国产色婷婷电影| 国产三级黄色录像| 欧美激情久久久久久爽电影 | 午夜福利在线观看吧| 悠悠久久av| 最新在线观看一区二区三区| 午夜免费观看网址| 精品卡一卡二卡四卡免费| av网站免费在线观看视频| 免费在线观看影片大全网站| 国产单亲对白刺激| 美女高潮喷水抽搐中文字幕| 一本综合久久免费| 超色免费av| av天堂在线播放| 国内久久婷婷六月综合欲色啪| 岛国毛片在线播放| 成年人午夜在线观看视频| tocl精华| 天天影视国产精品| 50天的宝宝边吃奶边哭怎么回事| 欧美日韩亚洲综合一区二区三区_| 在线观看66精品国产| 女警被强在线播放| 一a级毛片在线观看| 免费观看精品视频网站| 男女免费视频国产| 飞空精品影院首页| 久久久国产一区二区| 午夜福利,免费看| 黑人操中国人逼视频| 久久久久久久久久久久大奶| 亚洲全国av大片| 高清av免费在线| 久久亚洲精品不卡| 国产亚洲欧美精品永久| 18禁观看日本| 精品一区二区三卡| 女人精品久久久久毛片| 欧美成人午夜精品| 亚洲精品中文字幕一二三四区| 美女福利国产在线| 国产精品.久久久| 丁香六月欧美| 色94色欧美一区二区| 搡老岳熟女国产| 久久精品国产99精品国产亚洲性色 | 免费在线观看影片大全网站| 一区二区三区精品91| 亚洲中文字幕日韩| 欧美亚洲 丝袜 人妻 在线| 日韩中文字幕欧美一区二区| 久久九九热精品免费| 国产成人欧美| 69精品国产乱码久久久| 悠悠久久av| 免费在线观看黄色视频的| 老司机靠b影院| 欧美日韩福利视频一区二区| 亚洲国产欧美日韩在线播放| 男人操女人黄网站| 成人三级做爰电影| 一区福利在线观看| 国产激情久久老熟女| 久久精品aⅴ一区二区三区四区| √禁漫天堂资源中文www| 国产淫语在线视频| aaaaa片日本免费| 国产亚洲精品第一综合不卡| 老司机午夜十八禁免费视频| av中文乱码字幕在线| 老司机午夜福利在线观看视频| 亚洲美女黄片视频| 自拍欧美九色日韩亚洲蝌蚪91| 亚洲国产看品久久| 久久香蕉激情| 午夜视频精品福利| 欧美日韩一级在线毛片| 999精品在线视频| 国产熟女午夜一区二区三区| 老熟妇仑乱视频hdxx| 18禁黄网站禁片午夜丰满| 嫩草影视91久久| 精品久久蜜臀av无| 久久精品aⅴ一区二区三区四区| 国产高清国产精品国产三级| 久久久久精品人妻al黑| 91在线观看av| 亚洲黑人精品在线| 国产精品99久久99久久久不卡| 欧美日韩成人在线一区二区| 国产欧美日韩一区二区三区在线| 色婷婷av一区二区三区视频| 国产又色又爽无遮挡免费看| www.熟女人妻精品国产| 亚洲av成人av| 在线观看舔阴道视频| 狠狠狠狠99中文字幕| 女同久久另类99精品国产91| 如日韩欧美国产精品一区二区三区| 欧美+亚洲+日韩+国产| 少妇的丰满在线观看| 另类亚洲欧美激情| 国产精品电影一区二区三区 | 久久青草综合色| 国内毛片毛片毛片毛片毛片| 老司机在亚洲福利影院| 日本撒尿小便嘘嘘汇集6| 99re6热这里在线精品视频| 欧美日韩精品网址| 国产亚洲欧美98| 十八禁网站免费在线| 国产精品98久久久久久宅男小说| 国产区一区二久久| 一二三四社区在线视频社区8| 亚洲一区中文字幕在线| 亚洲欧美激情综合另类| www.999成人在线观看| 国产精品98久久久久久宅男小说| 国产97色在线日韩免费| 一二三四社区在线视频社区8| 黄色成人免费大全| 国产成人欧美在线观看 | 激情在线观看视频在线高清 | 久久天堂一区二区三区四区| 欧美性长视频在线观看| 女警被强在线播放| 一本一本久久a久久精品综合妖精|