• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能倫理的國際軟法之治:現(xiàn)狀、挑戰(zhàn)與對策

    2023-08-07 06:14:54朱明婷徐崇利
    中國科學院院刊 2023年7期
    關(guān)鍵詞:硬法軟法倫理

    朱明婷 徐崇利

    廈門大學 法學院 廈門 361005

    正如過去工業(yè)時代的蒸汽機和電力一樣,隨著數(shù)據(jù)的積累、算法的進步,以及算力的提高,人工智能(AI)技術(shù)正重塑人類世界。ChatGPT(生成式預(yù)訓轉(zhuǎn)換機器人)的誕生就是智能機器人發(fā)展的一個階段性進步。但是,在取代傳統(tǒng)搜索引擎成為人類工作和生活更為便利的“百科全書”的同時,ChatGPT 也使得人們產(chǎn)生諸如學生利用AI作弊、數(shù)據(jù)泄露、后臺技術(shù)操控者價值滲透等倫理隱憂。

    從理論上講,人工智能可能存在技術(shù)失控和技術(shù)的非正當應(yīng)用風險。技術(shù)失控,指隨著技術(shù)的發(fā)展,人工智能不僅會超越人類的控制能力,還有可能擺脫人類的控制獨立發(fā)展甚至反噬人類。由于當前產(chǎn)業(yè)大部分場景是非封閉的①傳統(tǒng)的工業(yè)自動化都是封閉化,如汽車生產(chǎn)線;而原始的生產(chǎn)過程是人工完成的,是非封閉的,因為人工包含的大量因素是無法完全嚴格描述的,存在很多丟失變元、難解變元。將原始的生產(chǎn)過程改造為工業(yè)自動化過程,使其所有變元都能夠完全描述并精確控制,用AI的觀點看就是封閉化。封閉化的典型應(yīng)用場景主要有智慧農(nóng)業(yè)、物流、信息技術(shù)(IT)和制造業(yè)等。,現(xiàn)有的弱人工智能遠遠無法達到控制人類的程度,暫不存在失控風險。技術(shù)的非正當應(yīng)用包括無意的技術(shù)誤用和有意的技術(shù)濫用2類;在封閉條件下,人工智能技術(shù)本身是中性的,是否出現(xiàn)誤用或濫用,取決于在實際場景中具體使用的合理性(即正當與否)[1]。如果應(yīng)用在正當領(lǐng)域,如偵查部門利用人臉識別技術(shù)抓獲大量犯罪嫌疑人,產(chǎn)生的是正面反饋;如果應(yīng)用在非正當領(lǐng)域,如犯罪分子利用“深度偽造”(deepfake)詐騙、勒索,則會導致隱私泄露、錢財損失等負面反饋。

    在數(shù)據(jù)智能社會背景下,全球范圍內(nèi)治理人工智能倫理的國際硬法②“硬法”(hard law)指那些能夠依靠國家強制力保證實施的法規(guī)范。國際硬法主要指國際條約和國際習慣法,長期以來作為規(guī)范各國行為、確定國際權(quán)利義務(wù)關(guān)系、促進國際協(xié)調(diào)合作、應(yīng)對解決各種國際問題和爭端的基本依據(jù)和方法。缺位、國際軟法③“軟法”(soft law)是相對于硬法而言的,指那些不能運用國家強制力保證實施的法規(guī)范。軟法這一概念最先出現(xiàn)在國際法領(lǐng)域,國際軟法是軟法在國際法上的延伸和發(fā)展。由于國家主權(quán)的存在,一致性的硬法規(guī)則有時難以實現(xiàn),于是出現(xiàn)了區(qū)別于傳統(tǒng)國際條約和國際習慣法的國際軟法。發(fā)達。同時,國際軟法也面臨著國際軟法主體間合作不穩(wěn)定、有時得不到有效實施的治理挑戰(zhàn)。目前國內(nèi)外均尚未提出針對該領(lǐng)域治理困境的可行建議,因而本文主要考察當前國際軟法治理人工智能倫理的現(xiàn)狀及挑戰(zhàn),并提出國際軟法治理對策。

    1 國際軟法治理人工智能倫理的現(xiàn)狀

    國際軟法因具有靈活高效、適用成本低,能填補硬法空白,以及方便區(qū)分治理、分層應(yīng)對倫理問題的優(yōu)勢,其在人工智能倫理治理方面的勃興幾乎是必然的。

    1.1 人工智能技術(shù)涉及的倫理問題

    人工智能技術(shù)所涉及的倫理問題主要包括但不限于合理性問題、可控性問題和重大社會問題。

    合理性問題,指一項人工智能技術(shù)的應(yīng)用倫理上的負效應(yīng)接近或超過可容忍范圍[1]。數(shù)據(jù)智能社會中,人們在日常生活中使用大量智能產(chǎn)品;如果網(wǎng)絡(luò)黑客通過惡意程序遠程操縱無人駕駛汽車系統(tǒng)、人類心臟智能起搏器等,都可以輕易致人死亡[2]。在人工智能系統(tǒng)處理大量敏感信息和個人數(shù)據(jù)的過程中,數(shù)據(jù)被污染、泄露、濫用,不僅會影響輸出結(jié)果,還可能危及人身財產(chǎn)安全、經(jīng)濟社會秩序甚至國家安全。人工智能技術(shù)的設(shè)計和生成離不開設(shè)計人員的主觀意圖,因此容易引發(fā)“算法歧視”和“算法偏見”。例如,美國COMPAS④Correctional Offender Management Profiling for Alternative Sanctions,指替代制裁的懲教罪犯管理分析系統(tǒng)。量刑輔助系統(tǒng)加劇了種族歧視⑤Larson J, Mattu S, Kirchner L, et al. How We Analyzed the COMPAS Recidivism Algorithm. (2016-05-23)[2023-02-07]. https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm.。

    可控性問題,指人類無法控制一種人工智能的持久存在及未來發(fā)展方向,那么它具有不可控性[1]。當前人工智能技術(shù)已具備深度學習能力,由于其存在不可解釋性及不可預(yù)測性,極易產(chǎn)生“算法黑箱”及“欠缺透明性”等問題[3]。司法領(lǐng)域在確定設(shè)計、制造、使用人工智能等環(huán)節(jié)的各方主體責任及義務(wù)時有難度。例如,智能醫(yī)療助手在醫(yī)療手術(shù)過程中失誤致患者手術(shù)失敗、自動駕駛汽車出現(xiàn)決策錯誤導致交通事故發(fā)生,如何界定這些人工智能產(chǎn)品侵權(quán)主體的范圍,是法律責任認定過程中尚需解決的核心問題。

    重大社會問題,指人類面臨的與人工智能倫理治理相關(guān)的不可逆的社會問題[1]。社會倫理方面,數(shù)據(jù)信息環(huán)境的改變使人們易陷入“信息繭房”“過濾氣泡”和“回聲室效應(yīng)”⑥“ 信息繭房”(Information cocoons),指在信息傳播中,因公眾自身的信息需求并非全方位的,公眾只注意自己選擇的東西和使自己愉悅的通信領(lǐng)域,久而久之,會將自身桎梏于像蠶繭一般的“繭房”中“。過濾氣泡”(Filter bubble),指某些大數(shù)據(jù)平臺通過用戶所使用的瀏覽歷史,判斷出用戶偏好,向用戶推薦喜愛的內(nèi)容,并過濾掉異質(zhì)信息,為用戶打造個性化的信息世界;但同時也會筑起信息和觀念的“隔離墻”,令用戶身處在一個“網(wǎng)絡(luò)泡泡”的環(huán)境中,阻礙多元化觀點的交流?!盎芈暿倚?yīng)”(Echo chamber),指在一個相對封閉的環(huán)境上,一些意見相近的聲音不斷重復(fù),并以夸張或其他扭曲形式重復(fù),令處于相對封閉環(huán)境中的大多數(shù)人認為這些扭曲的故事就是事實的全部。解憂的百寶箱“. 信息繭房“”過濾氣泡”與“回音室效應(yīng)”的概念、聯(lián)系、區(qū)分、應(yīng)對措施. (2022-04-27)[2023-06-29]. https://www.bilibili.com/read/cv16343209.。它們都屬于利用信息或算法將用戶套牢,使其受困于狹窄的信息視野。市場經(jīng)濟方面,機器決策可能會產(chǎn)生“無用階級”,以及平臺壟斷造成的階層分化和固化,會深刻影響市場中的合作模式、競爭關(guān)系、雇傭關(guān)系、所有關(guān)系(所有權(quán))及相關(guān)倫理規(guī)范⑦中國發(fā)展研究基金會. 我們該如何應(yīng)對人工智能帶來的倫理挑戰(zhàn)? (2022-04-25)[2023-02-07]. https://www.cdrf.org.cn/jjhdt/5923.htm.。

    1.2 人工智能倫理領(lǐng)域軟法治理的必要性

    雖然人工智能技術(shù)所涉及的倫理問題很多,但其治理基本可以從2個層面來理解:① 以治理推動人工智能倫理的發(fā)展,強調(diào)運用科技治理手段、原則和工具,以治理人工智能倫理的具體問題,如人工智能技術(shù)引發(fā)的與算法公平、數(shù)據(jù)隱私和安全相關(guān)的倫理問題[4]。② 以倫理保障人工智能的治理,強調(diào)根據(jù)“理論—規(guī)則”驅(qū)動進路,將特定群體(如倫理學家和技術(shù)開發(fā)者)認可的價值取向和倫理標準程序化為倫理代碼,為人工智能治理框架提供保障。如科學家或算法工程師將不同場景下(倫理學家解釋的)倫理原則嵌入到算法設(shè)計中,形成對倫理觀念的集體共識[4]。

    作為一個綜合性概念,人工智能的倫理治理最近已經(jīng)形成,以治理推動人工智能倫理的發(fā)展表現(xiàn)為2個方面:① 世界上各國(地區(qū))相繼出臺相應(yīng)的法律法規(guī)來規(guī)范人工智能倫理;② 人工智能倫理相關(guān)治理機構(gòu)相繼建立以監(jiān)督人工智能發(fā)展[4]。由各國(地區(qū))政府及其相關(guān)部門出臺人工智能技術(shù)和與人工智能技術(shù)高度相關(guān)的數(shù)據(jù)隱私方面的立法,具有法律約束力;或者由國家共同制定的國際條約和國際習慣法等,對所有的國際法主體具有法律上的強制力。此時,人工智能倫理原則嵌入上述傳統(tǒng)法律工具之中,會展現(xiàn)出“剛性”的一面(硬法)。例如,2017 年以來,諸多國家和地區(qū)出臺人工智能治理的法律、法規(guī)、準則,立法呈現(xiàn)出從宏觀性準則和發(fā)展戰(zhàn)略逐漸細化至諸如自動駕駛規(guī)制、數(shù)據(jù)安全等具體層面的態(tài)勢,相關(guān)人工智能倫理原則嵌入其中要求人們必須遵守⑧全球技術(shù)地圖. 國外人工智能安全相關(guān)法律法規(guī)情況. (2023-04-25)[2023-06-28]. https://baijiahao.baidu.com/s?id=1764143596130586553&wfr=spider&for=pc.。

    與此同時,人工智能的復(fù)雜性、不確定性、不可預(yù)見性、跨部門及跨領(lǐng)域多主體的特征,共同決定了對其倫理進行治理時,治理的工具必須適應(yīng)發(fā)展速率更快、利益更加多元的技術(shù)不確定性環(huán)境。非?!皠傂浴钡囊?guī)則、固定模式的法律(硬法)很難跟上技術(shù)發(fā)展節(jié)奏,難以靈活規(guī)制人工智能技術(shù)所產(chǎn)生的社會問題。伴隨人工智能技術(shù)的發(fā)展成熟,面對人工智能引發(fā)的倫理問題,此時急需在科技倫理原則和規(guī)范的指導下,發(fā)展人工智能倫理治理的新視角、新方法。

    1.3 人工智能倫理領(lǐng)域的國際軟法淵源

    凡具有法律約束力的規(guī)則,如條約、習慣國際法等,均屬硬法;而不具有嚴格的法律約束力,卻能產(chǎn)生社會實效的規(guī)則應(yīng)歸類為軟法,如各類指南、建議、宣言、行動守則等[5]。在國際實踐中,國際硬法主要體現(xiàn)為《國際法院規(guī)約》第38 條規(guī)定的國際條約、國際習慣和一般法律原則;國際軟法主要體現(xiàn)為國際組織、多邊外交會議通過的包括聲明、決議、宣言、指南或者行為守則等在內(nèi)的非條約式國際性法律文件[6]。與國際硬法具有強制法律效力不同,國際軟法原則上不具有法律約束力但可能產(chǎn)生實際效果,其制訂經(jīng)驗對國際關(guān)系及日后的國際法仍會產(chǎn)生一定影響[7]。譬如,《世界人權(quán)宣言》(Universal Declaration of Human Rights)作為多邊國際法規(guī)范,雖然是軟法性質(zhì)的宣言,但為后來聯(lián)合國通過2 個硬法性質(zhì)、具有法律約束力的人權(quán)公約《經(jīng)濟、社會與文化權(quán)利國際公約》(International Covenant on Economic, Social and Cultural Rights)、《公民權(quán)利與政治權(quán)利國際公約》(International Covenant on Civil and Political Rights)確立目標[8]。

    本文在國際法領(lǐng)域?qū)θ斯ぶ悄軅惱淼闹卫磉M行探討,不涉及比較法領(lǐng)域的論證說明,因此本文采用國際軟法一般定義——雖然缺乏國際法的法律約束力,但在國際實踐中能產(chǎn)生實際效果的,在內(nèi)容中包含有標準、規(guī)范、原則或其他行為規(guī)則的國際性法律文件。實踐中人工智能倫理方面的國際軟法淵源,主要來自聯(lián)合國教科文組織(UNESCO)(政府間國際組織)出臺的和其他國際組織(非政府間國際組織)制定的國際軟法性文件等。

    聯(lián)合國教科文組織為推動各方遵守人工智能倫理原則,自2017 年起積極制訂國際軟法性文件,短短4年間制訂的文件在引導人工智能技術(shù)向著“負責任”的方向邁步;而其他國際組織制訂的國際軟法性文件,可以追溯到2005年(表1)??傮w來看,關(guān)切人類福祉(“造福于人類”)、透明度和問責制是目前大多數(shù)國際軟法性文件所必備的倫理要素。這些文件重點關(guān)注人的尊嚴,作為人工智能倫理的重要價值,關(guān)切人類福祉(“造福于人類”)的人權(quán)理念貫穿各文件始終。

    表1 國際軟法性文件中對人工智能倫理原則的具體規(guī)定Table 1 Specific provisions on ethical principles of artificial intelligence in international soft law documents

    其中,《人工智能倫理問題建議書》(Recommendation on the Ethics of Artificial Intelligence)明確表示,隨著技術(shù)的發(fā)展與時俱進,對人工智能倫理的定義并不做出唯一解釋;其主要原因是目前這種定義需跟隨技術(shù)更迭而日臻完善,對人工智能倫理設(shè)置精確的要求有困難,只能對人工智能倫理的界定模糊不清,因此傳統(tǒng)的“硬法”由于規(guī)則內(nèi)容的精確性和固定性而暫不適合管轄。由聯(lián)合國教科文組織陸續(xù)出臺倫理報告、建議等“軟法”以治理人工智能倫理問題,成為其他國際組織制訂相關(guān)國際軟法性文件的樣本,文件中也都未對人工智能倫理下精確的定義。此外,西方末世論、超人文化與中國共生論、人本文化的價值觀不同[2],即使在國際法層面各方期待嵌入普世價值統(tǒng)一判斷標準,但在構(gòu)建國際硬法體系時很難完全達成有關(guān)人工智能倫理原則的國際共識。因此,國際法領(lǐng)域人工智能倫理的治理亟待觀念革新與溝通協(xié)調(diào),國際軟法的勃興幾乎是必然的。

    1.4 當前國際軟法治理的優(yōu)勢

    《人工智能倫理準則的全球格局》(The Global Landscape of AI Ethics Guidelines)一文中指出,“私營公司、研究機構(gòu)和公共部門組織發(fā)布了人工智能倫理的原則和指導方針,圍繞5 項道德原則(非惡意、透明度、責任、公平正義和隱私)出現(xiàn)的全球趨同,這些原則具有相當大的重疊”[9]。雖然可以通過技術(shù)解決的人工智能倫理問題一般能達成全球共識,但許多技術(shù)上無法解決的倫理問題(如人工智能行業(yè)中的性別差距、可持續(xù)性問題、雙重用途問題,以及勞動力流離失所等)往往被嚴重忽視。人工智能具有區(qū)別于其他技術(shù)的部分特點,所引發(fā)的風險已經(jīng)超出監(jiān)管機構(gòu)對傳統(tǒng)安全、環(huán)境和健康風險的判斷,一國政府運用傳統(tǒng)監(jiān)管方法難以全面治理人工智能發(fā)展中出現(xiàn)的倫理問題。此外,由于人工智能本身發(fā)展速度快,涉及跨行業(yè)、政府機構(gòu)、司法管轄區(qū)和利益相關(guān)者團體時,運用硬法跨主體協(xié)調(diào)監(jiān)管相應(yīng)的倫理問題時,因執(zhí)法成本高、各主體觀點分歧大而難有聯(lián)合執(zhí)法,軟法此時易靈活適用以協(xié)調(diào)各方利益。

    同樣,與國際硬法相比,當前國際軟法對人工智能倫理的治理也有優(yōu)勢。

    (1)國際軟法具有重要的優(yōu)勢,更為靈活高效、適用成本低。一般軟法可以相對較快地被修訂和采納,而不必經(jīng)歷傳統(tǒng)的政府規(guī)則制定程序。有時因不受立法機構(gòu)授權(quán)的約束,幾種不同的軟法甚至可以同時實施,即使會產(chǎn)生并不相同的專業(yè)標準或者軟法激增的情況,仍可以在利益相關(guān)者之間建立合作而不是對抗關(guān)系。因為在一個國際競爭激烈的時代,大部分國家政府(如美國、法國、日本)是不情愿通過先發(fā)制人的監(jiān)管來阻礙新興技術(shù)創(chuàng)新的[10]。各國政府會通過諸多建議、指南、行為準則、最佳實踐、專業(yè)標準等國內(nèi)軟法,以嘗試解決現(xiàn)實層面人工智能倫理問題⑨國際條約作為硬法必須遵守,這既是國際慣例,也是一國在國際社會立足的前提。硬法的訂立給各個參與的主體提出了具體明確和有法律約束力的行為規(guī)范。三維度指“義務(wù)”(obligation)、“精確度”(precision)和“授權(quán)”(delegation),其中授權(quán)維度中暗含了主權(quán)的3個分支——立法權(quán)、行政權(quán)、司法權(quán)。一些國家之所以在訂立硬法時望而卻步,原因是硬法的授權(quán)維度要求參與成員國分割司法權(quán)。而軟法可以在三維度中弱化一個或幾個要素,由于這種優(yōu)勢而成為各成員國的選擇對象。。國際層面更是如此,非政府組織(如國際標準化組織)由于不涉及執(zhí)法機制,可以靈活高效地出臺國際軟法性文件,這些文件(國際軟法)總體上制訂、實施環(huán)節(jié)的運行成本低于國際硬法。

    (2)國際軟法可以補充或完善硬法,通過填補正式法律空白,作為主要備用選項或治理工具[11]。國際軟法不受有限機構(gòu)授權(quán)的約束,因此可以解決技術(shù)引起的任何問題。而且由于沒有被正式的法律機構(gòu)采用,不限于特定的法律管轄區(qū),而是可以具有國際適用性[9]。例如,國際金融研究所(IIF)發(fā)布的《數(shù)據(jù)倫理憲章》(Data Ethics Charter),將有助于補充(而不是取代)國家和地區(qū)立法和條例(國內(nèi)層面)、國際標準(國際層面)。隨著客戶數(shù)據(jù)和算法的使用,《數(shù)據(jù)倫理憲章》雖然不具有強制約束力或法律地位,不建議各國政府及其金融監(jiān)管部門“監(jiān)管”數(shù)據(jù)倫理原則落地,但文件中IIF 邀請各利益相關(guān)方將數(shù)據(jù)倫理納入金融實踐活動中,填補金融服務(wù)領(lǐng)域法律空白[12]。

    (3)國際軟法有利于人工智能倫理的區(qū)分治理、分層應(yīng)對。目前,人工智能技術(shù)的發(fā)展尚處于弱人工智能階段,大多數(shù)用途并不會產(chǎn)生高風險,也不需要我們面臨諸如自動駕駛汽車“電車難題”的功利主義選擇等類似倫理難題⑩韓東屏. 積極應(yīng)對自動駕駛的“ 電車難題”. (2022-06-28) [2023-06-20]. https://baijiahao. baidu. com/s? id=1736840154575501899&wfr=spider&for=pc.。對于低風險人工智能應(yīng)用,在公司、民間社會團體、學術(shù)專家和政府的意見下制訂的軟法將是促進符合道德框架和原則的創(chuàng)新的關(guān)鍵方法[13]。若軟法能對人工智能倫理分級監(jiān)管,對于高風險的人工智能應(yīng)用,也可以成為硬法的重要補充?例如,自動駕駛車輛對車輛(V2V)通信傳遞的信息能夠帶來潛在安全優(yōu)勢,可以允許近距離車輛之間的協(xié)調(diào),以降低事故發(fā)生的可能性并提高交通流的效率。實現(xiàn)V2V的潛力,需要交通部門(如處理核心安全問題、避免事故)利用軟法(如與車輛之間無線信息交換的程序和協(xié)議有關(guān))進行監(jiān)管。。例如,德國數(shù)據(jù)倫理委員會(Datenthikkommission)發(fā)布的《針對數(shù)據(jù)和算法的建議》(Der Weg der gestaffelten Algorithmen)報告,將倫理考慮分為對數(shù)據(jù)或算法系統(tǒng)的關(guān)注?對于數(shù)據(jù),該報告表明與數(shù)據(jù)相關(guān)的權(quán)利將在道德領(lǐng)域發(fā)揮重要作用。例如,確保個人提供知情同意以使用其個人數(shù)據(jù)解決了許多重大的道德問題。但對于算法系統(tǒng),該報告表明人工智能系統(tǒng)可能與受影響的個人沒有聯(lián)系。因此,即使是沒有相關(guān)權(quán)利的非個人數(shù)據(jù)也可能以不道德的方式使用,在可能造成傷害的情況下,監(jiān)管是必要的。,且確定了算法系統(tǒng)關(guān)鍵性的5個級別:潛在危害為零或可忽略不計的應(yīng)用程序?qū)⒉皇鼙O(jiān)管;隨著潛在危害的增加,監(jiān)管負擔將增加,直至完全禁止。對于具有嚴重潛在危害的應(yīng)用程序,該報告建議持續(xù)監(jiān)督。

    2 國際軟法治理人工智能倫理的挑戰(zhàn)

    2.1 國際軟法主體間合作不穩(wěn)定

    鑒于人工智能應(yīng)用的廣泛性及其未來快速發(fā)展而導致的不確定性,截至目前非國家行為體(如IEEE、FLI、OECD等)未有國際硬法的提議與協(xié)調(diào)。當各國都選擇對己有利的收益分配而不依賴具有強制效力的國際硬法來保證合作持續(xù)時,非國家行為體僅借助國際軟法無法保證各國所作承諾的可信性。因此,各國間的合作是不夠穩(wěn)定的,這一點可根據(jù)“囚徒困境”博弈(協(xié)作型博弈)予以闡述緣由。

    數(shù)字產(chǎn)品進行跨國數(shù)字貿(mào)易就屬于“囚徒困境”博弈:各國國內(nèi)施行數(shù)字貿(mào)易措施時援引世界貿(mào)易組織(WTO)或自由貿(mào)易協(xié)定(FTA)規(guī)則中的“安全例外”條款,極有可能是滿足其國內(nèi)數(shù)據(jù)倫理要求的;但在國際層面,這種維護各國自身利益的手段并不利于全球數(shù)字經(jīng)濟秩序發(fā)展。例如,美國就曾利用安全例外條款打壓華為在全球市場的銷售。如果各國都通過濫用“安全例外”條款禁止數(shù)字產(chǎn)品進入各自國內(nèi)市場(即變相的貿(mào)易保護主義),將嚴重阻礙跨國數(shù)字貿(mào)易的發(fā)展,這是集體最差的結(jié)局;但是各國都適度開放本國的數(shù)字貿(mào)易市場,就能取得集體最優(yōu)的結(jié)果。實際對每個國家來說,最優(yōu)策略仍是他國對本國開放數(shù)字貿(mào)易市場,本國則對他國實行變相的貿(mào)易保護主義。當個體理性與集體理性相悖,容易造成各國違反在WTO 或FTA 規(guī)則中的相關(guān)數(shù)字貿(mào)易政策承諾,即使這極可能符合各國國內(nèi)的數(shù)據(jù)倫理(包括人工智能倫理)要求,因此急需國際硬法來壓制各國可能采取的背棄策略。雖然過去需要具有強制效力的國際硬法介入,但在目前各國間數(shù)字經(jīng)濟發(fā)展的相互博弈情況下,如何發(fā)揮國際軟法特有的優(yōu)勢,并與未來可能形成的國際硬法相輔相成、共促穩(wěn)定合作,是國際軟法治理人工智能倫理所面臨的挑戰(zhàn)。

    2.2 國際軟法有時得不到有效實施

    國際軟法有時得不到有效實施,反映在人工智能倫理領(lǐng)域,頗有爭議的是涉及立法問題的問責制。人工智能的問責制,指建立具體的法律制度以說明為什么和采取何種方法能使人工智能系統(tǒng)的部署者和設(shè)計者擔責。當人工智能系統(tǒng)具備了一定的行為和決策自主權(quán)后,明確責任主體就會變得愈加困難和復(fù)雜,面向各類行為主體(如設(shè)計師、制造商、運營商和最終用戶等)建立的多層責任制度難以劃分責任[3]。即使在跨國倫理規(guī)范范本中已經(jīng)規(guī)定并描述了問責制,但是這些軟法缺少正式、具體的責任劃分制度,有可能在現(xiàn)實中得不到有效實施。

    作為制訂聯(lián)合國全系統(tǒng)人工智能治理工作機構(gòu)戰(zhàn)略方針和路線圖的領(lǐng)導機構(gòu),國際電信聯(lián)盟(ITU)協(xié)調(diào)聯(lián)合國各機構(gòu)的參與?UN System Chief Executives Board for Coordination. A United Nations system-wide strategic approach and road map for support‐ing capacity development on artificial intelligence. (2019-06-17)[2023-02-01]. https://unsceb.org/sites/default/files/2020-09/CEB_2019_1_Add-3-EN_0.pdf.。雖與所有有關(guān)聯(lián)合國實體密切合作并酌情與外部伙伴密切合作,但只能作為“促進”協(xié)調(diào)執(zhí)行的機構(gòu)協(xié)調(diào)中心,其執(zhí)行能力有限。此外,《人工智能倫理問題建議書》中第42 條關(guān)于“責任和問責”方面,“應(yīng)建立適當?shù)谋O(jiān)督、影響評估、審計和盡職調(diào)查機制”;其中,“適當”的措辭本身不具有強制執(zhí)行力,其實施主要靠條文本身的吸引力、各成員國對價值利益取向的共同性等加以保障。僅依靠上述推薦性、建議性的軟措施,難免造成軟法有時得不到有效實施的結(jié)果[7]。

    3 國際軟法治理人工智能倫理的對策

    在國際軟法發(fā)達、硬法落后的人工智能倫理領(lǐng)域,為了維持國際合作的穩(wěn)定、促使軟法內(nèi)容可執(zhí)行,構(gòu)造國際軟硬法混合治理的“中心—外圍”模式、構(gòu)建間接執(zhí)行機制具有實踐意義。

    3.1 構(gòu)造國際軟硬法混合治理的“中心—外圍”模式

    3.1.1 “中心—外圍”模式的提出

    在跨國法律體系中,國際硬法位居體系構(gòu)造的中心,與被定義為外圍的國際軟法共同在國際層面構(gòu)成“中心—外圍”關(guān)系。在國際軟法發(fā)達、硬法落后的人工智能倫理領(lǐng)域,在建立各方利益表達、補償、協(xié)調(diào)機制時,國際軟法具有治理功能上的優(yōu)勢和事實上的效力,但這并不代表著因其具有必要性而應(yīng)處于中心地位。因為國際規(guī)范和專業(yè)標準形式的軟法可在不引起治外法權(quán)問題的情況下施加影響,不受頒布法律法規(guī)的政府管轄權(quán)的限制,以市場為導向激勵企業(yè)制訂專業(yè)標準,可使全球市場消費者來檢驗標準的“好壞”[14]。這種多元主體參與國際層面的治理具有協(xié)同作用,可以增強公私治理主體的協(xié)作意識,從而形成國際軟硬法混合治理的“中心—外圍”模式(圖1)。

    圖1 國際軟硬法混合治理的“中心—外圍”模式Figure 1 “Centre-periphery” model of soft-hard mixed law governance

    國際軟法的優(yōu)勢領(lǐng)域多數(shù)情況下僅限于事務(wù)性國際關(guān)系,而不是基礎(chǔ)性國際關(guān)系。這是根據(jù)人工智能倫理全球治理技術(shù)性強、復(fù)雜多變的特性所決定。相較于國際硬法(傳統(tǒng)國際法),國際軟法實施起來更有彈性且方便修改。因為傳統(tǒng)國際法調(diào)整外交、領(lǐng)土、承認等國家間的“共存”關(guān)系,對后來興起的各國間有關(guān)人工智能倫理的“合作”關(guān)系,其基礎(chǔ)性部分仍依賴穩(wěn)定性強且可靠的國際硬法支撐。例如,二十國集團(G20)、OECD等重要國際組織推動各方在包含人權(quán)的“負責任的人工智能”“可信賴的人工智能”等重要概念上達成一致,其中所涉的倫理共識都必須接受執(zhí)行《世界人權(quán)宣言》作為最低限度的秩序。

    因此,國際軟法有時體現(xiàn)的只是過渡形式,一旦時機成熟,仍可將國際硬法對人工智能倫理的規(guī)制提上議事日程。如人工智能應(yīng)用中的自動駕駛汽車倫理,就需要根據(jù)發(fā)生的不同交通事故危險程度厘清責任歸屬,最后將自動駕駛汽車倫理決策判斷和選擇所造成的損害后果進行認定,使車輛開發(fā)者、生產(chǎn)者、銷售者、所有者按照具備倫理原則的國際硬法的規(guī)定去遵守。因為自動駕駛汽車產(chǎn)品開發(fā)的時間與國際硬法規(guī)則制定的時間相似或更長,所以適用于環(huán)境變化不太快的具體技術(shù)的硬法領(lǐng)域[15]。

    3.1.2 “中心—外圍”模式的要義

    在人工智能倫理的治理領(lǐng)域,由國際硬法和國際軟法構(gòu)成的“中心—外圍”模式的要義包括4個方面。

    (1)國際軟法向國內(nèi)硬法的滲透,尤其是技術(shù)標準經(jīng)由國內(nèi)法轉(zhuǎn)化而具有約束力。例如,國際標準化組織(ISO)和國際電工委員會(IEC)制訂的《隱私信息管理要求與指南》(Privacy Information Managment—Requirements and Guildlines,ISO/IEC27701)作為技術(shù)軟法,與歐盟《通用數(shù)據(jù)保護條例》(General Data Protection Regulation)第4章第5節(jié)“行為為準則和認證部分”標準相銜接,經(jīng)由歐盟成文法《通用數(shù)據(jù)保護條例》轉(zhuǎn)化并推動標準互認。成文法規(guī)定嵌入數(shù)據(jù)保護規(guī)范的條件和具體方法,能進一步明確認定技術(shù)標準的法律效力[16]。

    (2)通常有意向發(fā)展人工智能技術(shù)的政府,會鼓勵企業(yè)、用戶群體、非政府組織、科研機構(gòu)等多元監(jiān)管主體積極參與相關(guān)行業(yè)協(xié)會對人工智能倫理的研討,促進國內(nèi)軟硬法相互影響、相互轉(zhuǎn)化。例如,歐盟陸續(xù)出臺指導性文件《可信AI 倫理指南》(Ethics Guidelines for Trustworthy AI)、《算法責任與透明治理框架》(A Governance Framework for Algorithmic Accountability and Transparency),傾向于規(guī)定人工智能倫理的混合性條款,即借鑒軟法的開放協(xié)調(diào)程序以定期修訂條款,通過模糊硬法與軟法的邊界,使軟法和硬法的雙重手段在實踐中優(yōu)勢互補、共同推動人工智能倫理建設(shè)進程。

    (3)各國國內(nèi)企業(yè)、學術(shù)界和政府間國際組織等,可以出臺各類圍繞人工智能的特定用途的文件,以期將各國國內(nèi)技術(shù)治理偏好向國際軟法滲透,爭取國際標準制訂的話語權(quán)。專業(yè)標準可能需要數(shù)年時間來制訂,因此并不總是比硬法更具有速度優(yōu)勢。然而,與硬法相比,專業(yè)標準通常是專門為促進行業(yè)內(nèi)的創(chuàng)新而制訂的,并且可以隨著技術(shù)的發(fā)展而相對快速地更新。例如,IEEE正在制訂主題包括“自治系統(tǒng)的透明度”“解決透明度、問責制和算法偏差的認證方法”的人工智能標準,以及人工智能對人類福祉的影響[17];或者像ISO 正在與IEC 合作開發(fā)一連串以人工智能為要點的標準。而一旦創(chuàng)建了這些專業(yè)標準,數(shù)字產(chǎn)業(yè)的多方利益相關(guān)者或現(xiàn)有私營機構(gòu)就可以在全球范圍內(nèi)傳播和執(zhí)行,逐漸影響乃至主導國際標準制訂。

    (4)即使國際軟法的影響力與國際硬法勢均力敵,也不會從大局上影響國際軟硬法混合治理的“中心—外圍”模式。國際硬法具有法律約束力,通常在實踐中的影響力往往會比只有事實效力的國際軟法更大[18]。未來由各國共同制定的國際硬法,相比由其他非國家行為體制訂的國際軟法,其國際合作更加穩(wěn)定且正當性基礎(chǔ)要更為堅實。例如,容易產(chǎn)生高風險的自動駕駛汽車技術(shù),由于關(guān)切人類福祉(如生命健康權(quán)等),即使國際軟法具有立法成本低等優(yōu)勢,還是需要國際硬法確定其基礎(chǔ)倫理規(guī)范,實施階段硬法成本反而容易比軟法低。

    綜上,在企業(yè)及行業(yè)協(xié)會擬議人工智能倫理準則時,可以參考技術(shù)標準在相同議題上的規(guī)范,尤其是透明度、問責制、關(guān)切人類福祉等普遍性技術(shù)議題。

    例如,人工智能倫理中透明度原則的設(shè)立,可以采取國際軟、硬法混合治理的“中心—外圍”模式:利用硬法(由國家共同制定的法律)規(guī)制來解決更高層次、普適性較強的數(shù)據(jù)/算法/算力/知識突出問題,進行較強力度的底線約束,可以提高人工智能的可靠性;同時,利用軟法(非國家行為體制訂的規(guī)則)解決具體應(yīng)用場景的個性化問題,允許比立法機構(gòu)更接近技術(shù)的專家開發(fā)軟法框架,提供有一定容錯空間的韌性規(guī)范以指導技術(shù)的發(fā)展。

    3.2 構(gòu)建間接執(zhí)行機制

    3.2.1 建立國際治理協(xié)調(diào)委員會

    Marchant和WallachGary[19]從國際角度提出了一個協(xié)調(diào)實體,可稱之為“治理協(xié)調(diào)委員會”(governance coordinating committee)。若在人工智能倫理領(lǐng)域成立一個國際治理協(xié)調(diào)委員會,該委員會“位于政府之外,但包括政府代表、行業(yè)、非政府組織、智庫和其他利益相關(guān)者的參與”,且“該實體不會尋求復(fù)制或取代許多致力于開發(fā)人工智能治理方法的組織,而是提供一種協(xié)調(diào)功能……確保所有不同的參與者相互聯(lián)系,了解并響應(yīng)彼此的提案,同時識別現(xiàn)有計劃中的差距和不一致之處”[9]。因此,多元主體參與國際治理協(xié)調(diào)委員會,有利于其在定義倫理準則時具有可信度,能促成軟法“硬化”以增強軟法約束力和執(zhí)行可能性[20]。

    人工智能機構(gòu)間工作組(IAWG-AI)由聯(lián)合國教科文組織和國際電信聯(lián)盟共同領(lǐng)導,通過支持行政首長協(xié)調(diào)會和方案問題高級別委員會關(guān)于人工智能倫理的工作,尋求在人工智能相關(guān)問題上與相關(guān)機構(gòu)間和多利益相關(guān)方機制合作?UN System Chief Executives Board for Coordination. Inter-Agency Working Group on Artificial Intelligence. (2021-03-01)[2023-02-01]. https://unsceb.org/inter-agency-working-group-artificial-intelligence.。該工作組重點關(guān)注倫理領(lǐng)域,可在其基礎(chǔ)上設(shè)立國際治理協(xié)調(diào)委員會,這既可以降低監(jiān)督機構(gòu)的設(shè)立成本,也可以提高國際影響力。各種類型的軟法(包括倫理標準、指南、行為準則和原則等)在規(guī)范人工智能倫理時,國際治理協(xié)調(diào)委員會可以依賴懲罰手段、社會輿論監(jiān)督和技術(shù)專家的技術(shù)評價等予以保障實施,間接影響和引導相關(guān)責任主體承擔應(yīng)有的責任(圖2)。

    圖2 聯(lián)合國人工智能治理工作機制及構(gòu)建間接執(zhí)行機制設(shè)想Figure 2 United Nations working mechanism for AI governance and assumption of constructing indirect implementation mechanisms

    成立國際治理協(xié)調(diào)委員會,不僅可以擁有在人工智能機構(gòu)間工作組中保持“技術(shù)中立”的專家資源,還可以提高行政首長協(xié)調(diào)會和方案問題高級別委員會所管轄事務(wù)的治理效率。國際治理協(xié)調(diào)委員會作為非國家行為體,制訂的國際軟法雖然無法像國際硬法那樣得到國家強制力單獨的(主要依靠主權(quán)國家自身的力量)或集體的(在某些情況下依靠國際社會的集體力量)支持,但可輔之以非正式和非集中化的間接執(zhí)行機制,取得相應(yīng)的實效[18]。

    3.2.2 非正式和非集中化的間接執(zhí)行機制

    在跨國法律體系框架下,國際軟法作為治理工具不具有法律約束力和強制執(zhí)行效力,但具有實施的效果。許多非國家行為體制訂的國際軟法雖然沒有強制執(zhí)行力保證實施,無法像傳統(tǒng)國際法對違法者訴諸國際司法或仲裁機構(gòu)和進行報復(fù)等,但決不能否定國際軟法具有自我管制和自我約束的功能,外部力量的作用仍能使其得到事實上的遵行。依據(jù)博弈論,通常情況下依靠各軟法主體的“自我實施”,不需要有第三方強制性力量的保障和集中化的權(quán)力機構(gòu),輔之以非正式和非集中化的執(zhí)行機制,如利害關(guān)系者的懲罰、社會壓力及市場力量,就能促使國際軟法得到事實上的效力[18]。

    (1)利害關(guān)系者的懲罰提高違法成本。一般基于硬法工具的威懾,利害關(guān)系者才會遵從軟法。但非國家行為體對不遵守軟法的利害關(guān)系者進行處罰,提高其違反軟法的潛在成本,也可以形成事前的積極威懾并達到預(yù)防的目的。例如,一國違反世界銀行制訂的《外國直接投資待遇指南》,不但無法從世界銀行獲得擔保和貸款,反而還會被此權(quán)威性的國際經(jīng)濟組織宣布為投資環(huán)境欠佳的國家,嚴重影響該國未來吸收外資的能力[18]。建議:國際治理協(xié)調(diào)委員會設(shè)置提高違反軟法成本的懲罰措施,間接提高國際軟法的執(zhí)行力。

    (2)社會壓力促進聲譽機制。違反國際軟法的主體極易受到來自國際社會的壓力,國家、跨國非政府組織、政府間組織等多利益攸關(guān)方的譴責都會使違法者名譽掃地、顏面盡失。有些國際軟法是名義上的軟法、實質(zhì)上的硬法,極大地損傷違法者的經(jīng)濟或商業(yè)利益,其懲戒制裁效果不亞于對其不利的國際仲裁裁決或司法判決。這種“群起的羞辱”間接促使各國遵守國際軟法、維護其在國際社會上的信譽,避免因不執(zhí)行國際軟法而失去國際合作伙伴信賴的不利影響。建議:國際治理協(xié)調(diào)委員會與聯(lián)合國教科文組織、G20、國際電信聯(lián)盟等國際組織積極討論、推動多邊共同監(jiān)管的行動倡議或倫理規(guī)則,探索人工智能倫理的共識與差異[14]。聲譽機制圍繞非國家行為體的倡議或規(guī)則執(zhí)行,要求對破壞倡議或規(guī)則的國家進行懲罰,對維護倡議或規(guī)則的國家進行褒獎,從而使得各國為了維持國際社會良好聲譽,迫于國際社會壓力而承擔國際社會責任。

    (3)市場力量催生“網(wǎng)絡(luò)效應(yīng)”。當接受統(tǒng)一準則或標準的國家聚合,且使用該準則或標準的國家增加時,準則或標準對它們的價值也相應(yīng)增加,從而吸引更多的國家自發(fā)聚合形成“雪球效應(yīng)”,不斷擴大遵守軟法的群體規(guī)模,增強軟法約束力。不接受的國家就會被邊緣化,接受的國家則會獲益越來越多,由此推動各國接受這些國際軟法(統(tǒng)一準則或標準)。例如,ISO 制訂了納米技術(shù)風險管理的國際標準,作為安全處理納米材料的準監(jiān)管標準。雖然這些標準不能直接執(zhí)行,但許多國際合同和一些保險公司要求遵守適用的ISO標準(或其等效標準),從而提供間接執(zhí)行機制[21]。又如,國際治理協(xié)調(diào)委員會學習國際干細胞研究學會制訂的準則,為限制某些類型(反倫理)的研究而制訂研究指南,并為其他類型的研究提供倫理保障。雖然不能直接執(zhí)行,但這些指南為干細胞研究人員設(shè)定了專業(yè)期望,并且可以由研究機構(gòu)、資助機構(gòu)和要求科學家遵守的科學期刊間接執(zhí)行[21]。建議:① 建立起多元化的參與路徑,推動企業(yè)、行業(yè)協(xié)會、專家學者等多層次國際對話,利用科學期刊分享最佳實踐以支撐標準化工作;② 不同國家人工智能倫理規(guī)則在不同文化背景下的協(xié)調(diào)互動、交流碰撞[14],在國際交往中逐漸形成不成文的準則或標準(即國際慣例),從而促使各國在國際實踐中去遵守約定俗成的人工智能倫理規(guī)范。

    猜你喜歡
    硬法軟法倫理
    戰(zhàn)時環(huán)境保護的國際法體系建構(gòu):從“軟法”到“硬法”的向度轉(zhuǎn)換
    《心之死》的趣味與倫理焦慮
    護生眼中的倫理修養(yǎng)
    活力(2019年19期)2020-01-06 07:37:00
    以軟硬法方式加強黨風建設(shè)的路徑探索
    協(xié)商民主的軟法價值實現(xiàn)
    領(lǐng)導干部帶頭禁煙:“軟法”還不夠
    醫(yī)改莫忘構(gòu)建倫理新機制
    互聯(lián)網(wǎng)金融的軟法之治
    金融法苑(2014年2期)2014-10-17 02:54:03
    法律全球化的政治效應(yīng):國際關(guān)系的法律化
    求是學刊(2014年3期)2014-09-23 03:27:59
    論軟法與硬法在多維界分中的漸變
    東方法學(2014年2期)2014-03-15 07:55:05
    欧美变态另类bdsm刘玥| 性高湖久久久久久久久免费观看| 国产欧美亚洲国产| 熟女电影av网| 91久久精品电影网| 日产精品乱码卡一卡2卡三| 少妇人妻一区二区三区视频| 久久久成人免费电影| 九色成人免费人妻av| 国产高潮美女av| 中文字幕av成人在线电影| 免费观看a级毛片全部| 国内揄拍国产精品人妻在线| 看非洲黑人一级黄片| 九九久久精品国产亚洲av麻豆| 自拍欧美九色日韩亚洲蝌蚪91 | 国产国拍精品亚洲av在线观看| 18禁在线播放成人免费| 青春草亚洲视频在线观看| 中文精品一卡2卡3卡4更新| 亚洲精品色激情综合| 国产精品三级大全| 久久99热这里只频精品6学生| 久久青草综合色| 久久久久久久精品精品| 免费久久久久久久精品成人欧美视频 | 久久久久久久国产电影| 国产一区有黄有色的免费视频| 亚洲精品国产av蜜桃| 日本欧美视频一区| 一个人看视频在线观看www免费| 亚洲色图av天堂| av网站免费在线观看视频| 日韩伦理黄色片| 看非洲黑人一级黄片| 亚洲伊人久久精品综合| 中国三级夫妇交换| 男女边吃奶边做爰视频| 国产亚洲最大av| 日本av手机在线免费观看| 丰满少妇做爰视频| 大片免费播放器 马上看| 成年人午夜在线观看视频| 欧美精品亚洲一区二区| 九九爱精品视频在线观看| 国产亚洲精品久久久com| 秋霞在线观看毛片| 中文字幕人妻熟人妻熟丝袜美| 欧美变态另类bdsm刘玥| 久久国产精品大桥未久av | 久久毛片免费看一区二区三区| 岛国毛片在线播放| 这个男人来自地球电影免费观看 | 国产精品99久久99久久久不卡 | 在线观看人妻少妇| 亚洲精品乱码久久久v下载方式| 久久久久久久久久久丰满| 久久久久久久久久久丰满| 熟女av电影| 99视频精品全部免费 在线| 精品熟女少妇av免费看| 天天躁夜夜躁狠狠久久av| 国产熟女欧美一区二区| 人体艺术视频欧美日本| 欧美精品一区二区大全| 深夜a级毛片| 亚洲av男天堂| 亚洲欧洲日产国产| 久久久久人妻精品一区果冻| 久久久久人妻精品一区果冻| 视频中文字幕在线观看| 啦啦啦视频在线资源免费观看| 国产综合精华液| 一级毛片久久久久久久久女| 国产在视频线精品| 国产一区亚洲一区在线观看| 国产黄色免费在线视频| 少妇人妻 视频| 草草在线视频免费看| 七月丁香在线播放| 亚洲精品色激情综合| 观看美女的网站| 中文字幕制服av| 女人久久www免费人成看片| 男女下面进入的视频免费午夜| av国产精品久久久久影院| 免费看日本二区| 国产在线视频一区二区| 国产成人免费观看mmmm| 人妻少妇偷人精品九色| 亚洲性久久影院| 国产精品偷伦视频观看了| 久久人人爽av亚洲精品天堂 | 免费观看av网站的网址| 成人特级av手机在线观看| 乱系列少妇在线播放| 少妇的逼水好多| 日日啪夜夜撸| 美女福利国产在线 | 国产黄频视频在线观看| 超碰av人人做人人爽久久| 国产精品久久久久久精品古装| 人人妻人人爽人人添夜夜欢视频 | 成人国产av品久久久| 日韩一区二区视频免费看| 22中文网久久字幕| 我要看日韩黄色一级片| 亚洲精品乱码久久久v下载方式| 大陆偷拍与自拍| 18禁裸乳无遮挡动漫免费视频| 五月天丁香电影| 小蜜桃在线观看免费完整版高清| 欧美日韩精品成人综合77777| 97在线视频观看| 激情五月婷婷亚洲| 中文字幕久久专区| 美女中出高潮动态图| 久久午夜福利片| 欧美丝袜亚洲另类| 赤兔流量卡办理| 国产永久视频网站| 多毛熟女@视频| 午夜福利影视在线免费观看| 国产91av在线免费观看| 熟女av电影| 精品人妻偷拍中文字幕| 少妇人妻 视频| 国产欧美另类精品又又久久亚洲欧美| 最黄视频免费看| 久久久久久伊人网av| 18禁裸乳无遮挡动漫免费视频| 亚洲av电影在线观看一区二区三区| 高清不卡的av网站| 最近的中文字幕免费完整| 国产色爽女视频免费观看| 免费大片黄手机在线观看| 国产精品国产三级专区第一集| 久久久国产一区二区| 能在线免费看毛片的网站| 18禁裸乳无遮挡免费网站照片| 午夜激情福利司机影院| 在线观看免费视频网站a站| 久久久久久久久久人人人人人人| 欧美亚洲 丝袜 人妻 在线| 欧美少妇被猛烈插入视频| 一区二区三区四区激情视频| 下体分泌物呈黄色| 老熟女久久久| 人人妻人人爽人人添夜夜欢视频 | 久久久久性生活片| av在线app专区| 久久久欧美国产精品| 国产黄片美女视频| 大话2 男鬼变身卡| 久久精品国产自在天天线| 91久久精品国产一区二区三区| 日本欧美国产在线视频| 纯流量卡能插随身wifi吗| 在线播放无遮挡| 国产白丝娇喘喷水9色精品| 久久精品人妻少妇| 精品午夜福利在线看| 国产精品一区二区在线不卡| 亚洲国产精品成人久久小说| 免费黄网站久久成人精品| 国产精品人妻久久久久久| 午夜福利在线在线| 国产一区亚洲一区在线观看| 少妇猛男粗大的猛烈进出视频| 在线免费观看不下载黄p国产| 蜜桃亚洲精品一区二区三区| 免费黄网站久久成人精品| 国产一区二区三区综合在线观看 | 这个男人来自地球电影免费观看 | 91久久精品国产一区二区成人| 日韩 亚洲 欧美在线| 久久精品国产a三级三级三级| 久久久久久久国产电影| 久久精品熟女亚洲av麻豆精品| 麻豆成人av视频| 国产爱豆传媒在线观看| 日韩不卡一区二区三区视频在线| 2018国产大陆天天弄谢| av卡一久久| 亚洲成人一二三区av| 亚洲三级黄色毛片| 九草在线视频观看| 欧美亚洲 丝袜 人妻 在线| 午夜免费鲁丝| 美女视频免费永久观看网站| 高清视频免费观看一区二区| 午夜日本视频在线| 哪个播放器可以免费观看大片| 中国国产av一级| 欧美日韩亚洲高清精品| 亚洲国产日韩一区二区| 亚洲美女黄色视频免费看| 国产亚洲欧美精品永久| 五月天丁香电影| 国产淫语在线视频| 男人舔奶头视频| 自拍欧美九色日韩亚洲蝌蚪91 | 国产淫片久久久久久久久| 欧美3d第一页| 人人妻人人看人人澡| 亚洲精品亚洲一区二区| 麻豆国产97在线/欧美| 麻豆成人午夜福利视频| 联通29元200g的流量卡| 色网站视频免费| 国产黄频视频在线观看| 国产黄片视频在线免费观看| 蜜桃久久精品国产亚洲av| 网址你懂的国产日韩在线| 欧美日韩在线观看h| 青青草视频在线视频观看| 麻豆乱淫一区二区| 不卡视频在线观看欧美| 亚洲真实伦在线观看| 偷拍熟女少妇极品色| 日本黄色片子视频| 小蜜桃在线观看免费完整版高清| 亚洲av国产av综合av卡| 日本爱情动作片www.在线观看| 中文字幕免费在线视频6| 免费大片黄手机在线观看| 少妇丰满av| 欧美日韩视频高清一区二区三区二| 免费看av在线观看网站| 五月开心婷婷网| 国产伦精品一区二区三区视频9| 久久99热这里只频精品6学生| 中文字幕免费在线视频6| 国产高清不卡午夜福利| 日韩制服骚丝袜av| 97热精品久久久久久| 国产乱人偷精品视频| 国产精品.久久久| 色婷婷av一区二区三区视频| 国产老妇伦熟女老妇高清| 久热这里只有精品99| 高清黄色对白视频在线免费看 | 国产精品女同一区二区软件| 一本一本综合久久| 亚洲国产毛片av蜜桃av| 久久女婷五月综合色啪小说| 国产精品av视频在线免费观看| 啦啦啦视频在线资源免费观看| 中文字幕亚洲精品专区| 高清午夜精品一区二区三区| 国产精品人妻久久久影院| 久久精品久久精品一区二区三区| 欧美 日韩 精品 国产| 大陆偷拍与自拍| 黑人高潮一二区| 下体分泌物呈黄色| 十八禁网站网址无遮挡 | 亚洲精品乱久久久久久| 女人十人毛片免费观看3o分钟| 亚洲成人一二三区av| 99国产精品免费福利视频| 男人舔奶头视频| 国精品久久久久久国模美| 美女视频免费永久观看网站| 色综合色国产| 国产极品天堂在线| 亚洲色图综合在线观看| 又黄又爽又刺激的免费视频.| av.在线天堂| 免费久久久久久久精品成人欧美视频 | 少妇被粗大猛烈的视频| 久久97久久精品| 高清在线视频一区二区三区| 高清黄色对白视频在线免费看 | 最近中文字幕高清免费大全6| 干丝袜人妻中文字幕| 中文资源天堂在线| 五月伊人婷婷丁香| av国产久精品久网站免费入址| 欧美 日韩 精品 国产| 免费观看在线日韩| 亚州av有码| 精品一区二区三区视频在线| 中文资源天堂在线| 日本色播在线视频| 久久韩国三级中文字幕| 99热这里只有是精品50| 亚洲av中文av极速乱| 国产免费视频播放在线视频| 国产伦精品一区二区三区四那| 国内揄拍国产精品人妻在线| 美女cb高潮喷水在线观看| 国产日韩欧美亚洲二区| 22中文网久久字幕| 卡戴珊不雅视频在线播放| 成年av动漫网址| 国产在线免费精品| 菩萨蛮人人尽说江南好唐韦庄| 婷婷色综合www| 国产日韩欧美在线精品| 日本黄大片高清| 大片电影免费在线观看免费| 欧美成人精品欧美一级黄| 亚洲国产高清在线一区二区三| 十分钟在线观看高清视频www | 国产综合精华液| 极品少妇高潮喷水抽搐| 亚洲av欧美aⅴ国产| 日韩强制内射视频| 99热这里只有精品一区| 肉色欧美久久久久久久蜜桃| 有码 亚洲区| 国产v大片淫在线免费观看| 女性生殖器流出的白浆| 欧美精品国产亚洲| 建设人人有责人人尽责人人享有的 | 涩涩av久久男人的天堂| 女人久久www免费人成看片| 高清日韩中文字幕在线| a 毛片基地| 岛国毛片在线播放| 97超视频在线观看视频| 国产精品99久久99久久久不卡 | 五月开心婷婷网| 亚州av有码| 亚洲精品中文字幕在线视频 | 欧美最新免费一区二区三区| 最新中文字幕久久久久| 美女内射精品一级片tv| av线在线观看网站| 国产精品一区二区性色av| 午夜免费鲁丝| 国产色爽女视频免费观看| 只有这里有精品99| 能在线免费看毛片的网站| 午夜免费男女啪啪视频观看| 99热国产这里只有精品6| 2021少妇久久久久久久久久久| 人妻一区二区av| 97超视频在线观看视频| 国产精品一二三区在线看| 亚洲经典国产精华液单| 一级a做视频免费观看| 热re99久久精品国产66热6| 插逼视频在线观看| 人人妻人人添人人爽欧美一区卜 | 国产高潮美女av| 在线 av 中文字幕| 久久热精品热| 免费黄色在线免费观看| 中文字幕av成人在线电影| 久久久久精品性色| 国产爱豆传媒在线观看| 亚洲精品成人av观看孕妇| 两个人的视频大全免费| 最近的中文字幕免费完整| 天天躁夜夜躁狠狠久久av| 国产精品一区www在线观看| 日韩欧美 国产精品| 久久久久精品性色| 这个男人来自地球电影免费观看 | 高清日韩中文字幕在线| 少妇精品久久久久久久| 啦啦啦在线观看免费高清www| 啦啦啦啦在线视频资源| 午夜福利在线观看免费完整高清在| 午夜福利影视在线免费观看| 伊人久久精品亚洲午夜| 日本猛色少妇xxxxx猛交久久| 极品少妇高潮喷水抽搐| 亚洲精华国产精华液的使用体验| 多毛熟女@视频| 国产av一区二区精品久久 | 久久久久久久久久久丰满| 国产精品秋霞免费鲁丝片| 狠狠精品人妻久久久久久综合| 最黄视频免费看| 欧美极品一区二区三区四区| 日本vs欧美在线观看视频 | 成人亚洲精品一区在线观看 | 国产 精品1| 看免费成人av毛片| 免费久久久久久久精品成人欧美视频 | 内射极品少妇av片p| 国产精品精品国产色婷婷| 亚洲精品一二三| 日韩强制内射视频| 亚洲在久久综合| 日韩成人av中文字幕在线观看| 日本黄色日本黄色录像| 亚洲高清免费不卡视频| 国产在线视频一区二区| 欧美成人a在线观看| 黑丝袜美女国产一区| 日韩免费高清中文字幕av| 天堂中文最新版在线下载| 亚洲精品日本国产第一区| 欧美精品人与动牲交sv欧美| 午夜激情福利司机影院| 成人黄色视频免费在线看| 中文字幕亚洲精品专区| 亚洲av男天堂| 男女无遮挡免费网站观看| 男女边吃奶边做爰视频| 国产毛片在线视频| 91精品国产国语对白视频| av天堂中文字幕网| 国产精品嫩草影院av在线观看| 亚洲av日韩在线播放| 水蜜桃什么品种好| 欧美日韩在线观看h| 国产欧美日韩一区二区三区在线 | 亚洲美女黄色视频免费看| 国产一级毛片在线| 搡女人真爽免费视频火全软件| av黄色大香蕉| 九色成人免费人妻av| 免费看不卡的av| 欧美日韩视频高清一区二区三区二| 久久久久国产网址| 国语对白做爰xxxⅹ性视频网站| 亚洲欧美精品自产自拍| 少妇人妻精品综合一区二区| 一区在线观看完整版| 欧美高清性xxxxhd video| 久久久成人免费电影| 久久久久久久亚洲中文字幕| 一级a做视频免费观看| kizo精华| 欧美zozozo另类| 国产av精品麻豆| 美女cb高潮喷水在线观看| 边亲边吃奶的免费视频| 久久精品国产亚洲网站| 一区在线观看完整版| 久久精品国产亚洲av天美| 一本—道久久a久久精品蜜桃钙片| 亚洲三级黄色毛片| 美女xxoo啪啪120秒动态图| 精品少妇黑人巨大在线播放| 女人十人毛片免费观看3o分钟| 国产成人一区二区在线| 国产精品免费大片| 久久国产精品男人的天堂亚洲 | 亚洲国产精品999| 日韩成人av中文字幕在线观看| 成人亚洲精品一区在线观看 | 国产黄片美女视频| 久久精品国产鲁丝片午夜精品| 精品国产乱码久久久久久小说| 极品少妇高潮喷水抽搐| 色哟哟·www| 亚洲,欧美,日韩| 啦啦啦视频在线资源免费观看| 高清午夜精品一区二区三区| 97精品久久久久久久久久精品| 亚洲真实伦在线观看| 午夜精品国产一区二区电影| 丰满人妻一区二区三区视频av| 午夜免费观看性视频| 超碰av人人做人人爽久久| 看十八女毛片水多多多| 夜夜骑夜夜射夜夜干| 交换朋友夫妻互换小说| 亚洲精品456在线播放app| 国产成人91sexporn| 日本欧美视频一区| 偷拍熟女少妇极品色| 亚洲成色77777| 成年人午夜在线观看视频| 国产亚洲5aaaaa淫片| 久久久久久人妻| 精品午夜福利在线看| 国产精品不卡视频一区二区| 亚洲高清免费不卡视频| 国内少妇人妻偷人精品xxx网站| 亚洲成人一二三区av| 色婷婷av一区二区三区视频| 国产av一区二区精品久久 | 熟女av电影| 亚洲,一卡二卡三卡| 最近中文字幕2019免费版| 五月天丁香电影| 国产精品成人在线| 国产日韩欧美亚洲二区| 伦理电影免费视频| 一个人看的www免费观看视频| 在线 av 中文字幕| 一区在线观看完整版| 最近最新中文字幕大全电影3| 男女国产视频网站| 国产在线免费精品| 麻豆成人午夜福利视频| av国产免费在线观看| 国产爽快片一区二区三区| 最新中文字幕久久久久| 在线免费观看不下载黄p国产| 亚洲av不卡在线观看| 国产精品国产三级专区第一集| 久久久久精品性色| av网站免费在线观看视频| 日本一二三区视频观看| 精品国产一区二区三区久久久樱花 | 成人国产麻豆网| 欧美日韩亚洲高清精品| 3wmmmm亚洲av在线观看| 国产一级毛片在线| 欧美精品一区二区免费开放| 国产乱来视频区| av在线观看视频网站免费| 久久99热6这里只有精品| 91午夜精品亚洲一区二区三区| 国产老妇伦熟女老妇高清| 亚洲欧美精品自产自拍| 男人和女人高潮做爰伦理| 男女免费视频国产| av女优亚洲男人天堂| 成人毛片60女人毛片免费| 中文乱码字字幕精品一区二区三区| 午夜福利网站1000一区二区三区| 国产精品嫩草影院av在线观看| 久久人妻熟女aⅴ| 亚洲精品日本国产第一区| 成人毛片a级毛片在线播放| 热99国产精品久久久久久7| 午夜福利网站1000一区二区三区| 国产精品99久久99久久久不卡 | 日本一二三区视频观看| av.在线天堂| 久久久久精品性色| 久久女婷五月综合色啪小说| 欧美成人一区二区免费高清观看| 国产精品一区二区在线观看99| 好男人视频免费观看在线| 欧美区成人在线视频| 大片免费播放器 马上看| 老司机影院毛片| 啦啦啦视频在线资源免费观看| 久久精品国产亚洲av涩爱| 国产高清有码在线观看视频| 黄色一级大片看看| 女人十人毛片免费观看3o分钟| 日韩成人av中文字幕在线观看| 免费大片黄手机在线观看| 亚洲高清免费不卡视频| 九九在线视频观看精品| 国产精品久久久久成人av| 三级国产精品欧美在线观看| 熟女人妻精品中文字幕| 这个男人来自地球电影免费观看 | 亚洲成人av在线免费| 亚洲国产最新在线播放| 天堂中文最新版在线下载| 在线免费十八禁| 日产精品乱码卡一卡2卡三| 成人二区视频| 美女主播在线视频| 高清在线视频一区二区三区| 成人漫画全彩无遮挡| 99视频精品全部免费 在线| 麻豆乱淫一区二区| 精品一区二区免费观看| kizo精华| 大香蕉97超碰在线| 亚洲天堂av无毛| 成年女人在线观看亚洲视频| 国产成人a∨麻豆精品| freevideosex欧美| tube8黄色片| av一本久久久久| 国产欧美亚洲国产| 亚洲精品国产av成人精品| 欧美精品人与动牲交sv欧美| 亚洲欧美日韩另类电影网站 | 免费观看无遮挡的男女| 国产精品一区二区在线观看99| 我要看黄色一级片免费的| 两个人的视频大全免费| 天堂俺去俺来也www色官网| 日本色播在线视频| 亚洲国产毛片av蜜桃av| 亚洲欧美日韩卡通动漫| 亚洲av中文av极速乱| 又黄又爽又刺激的免费视频.| 啦啦啦中文免费视频观看日本| 国产永久视频网站| 亚洲av在线观看美女高潮| 久久人人爽av亚洲精品天堂 | 美女高潮的动态| 自拍欧美九色日韩亚洲蝌蚪91 | 久久久久久久久大av| 亚洲无线观看免费| 国产片特级美女逼逼视频| 国产伦精品一区二区三区视频9| 亚洲国产精品999| 精品一区二区三区视频在线| 99久久精品热视频| 99re6热这里在线精品视频| 乱系列少妇在线播放| 99久久中文字幕三级久久日本| 亚洲最大成人中文| 乱系列少妇在线播放| 99久久中文字幕三级久久日本| 亚洲欧美日韩东京热| 少妇 在线观看| 日韩三级伦理在线观看| 伦理电影大哥的女人| 99热这里只有是精品在线观看| 又粗又硬又长又爽又黄的视频| 成人免费观看视频高清| 天堂俺去俺来也www色官网| 国产国拍精品亚洲av在线观看| 国产高清不卡午夜福利| 国产精品久久久久久久久免| 色哟哟·www|