• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能倫理的國際軟法之治:現(xiàn)狀、挑戰(zhàn)與對策

    2023-08-07 06:14:54朱明婷徐崇利
    中國科學院院刊 2023年7期
    關(guān)鍵詞:硬法軟法倫理

    朱明婷 徐崇利

    廈門大學 法學院 廈門 361005

    正如過去工業(yè)時代的蒸汽機和電力一樣,隨著數(shù)據(jù)的積累、算法的進步,以及算力的提高,人工智能(AI)技術(shù)正重塑人類世界。ChatGPT(生成式預(yù)訓轉(zhuǎn)換機器人)的誕生就是智能機器人發(fā)展的一個階段性進步。但是,在取代傳統(tǒng)搜索引擎成為人類工作和生活更為便利的“百科全書”的同時,ChatGPT 也使得人們產(chǎn)生諸如學生利用AI作弊、數(shù)據(jù)泄露、后臺技術(shù)操控者價值滲透等倫理隱憂。

    從理論上講,人工智能可能存在技術(shù)失控和技術(shù)的非正當應(yīng)用風險。技術(shù)失控,指隨著技術(shù)的發(fā)展,人工智能不僅會超越人類的控制能力,還有可能擺脫人類的控制獨立發(fā)展甚至反噬人類。由于當前產(chǎn)業(yè)大部分場景是非封閉的①傳統(tǒng)的工業(yè)自動化都是封閉化,如汽車生產(chǎn)線;而原始的生產(chǎn)過程是人工完成的,是非封閉的,因為人工包含的大量因素是無法完全嚴格描述的,存在很多丟失變元、難解變元。將原始的生產(chǎn)過程改造為工業(yè)自動化過程,使其所有變元都能夠完全描述并精確控制,用AI的觀點看就是封閉化。封閉化的典型應(yīng)用場景主要有智慧農(nóng)業(yè)、物流、信息技術(shù)(IT)和制造業(yè)等。,現(xiàn)有的弱人工智能遠遠無法達到控制人類的程度,暫不存在失控風險。技術(shù)的非正當應(yīng)用包括無意的技術(shù)誤用和有意的技術(shù)濫用2類;在封閉條件下,人工智能技術(shù)本身是中性的,是否出現(xiàn)誤用或濫用,取決于在實際場景中具體使用的合理性(即正當與否)[1]。如果應(yīng)用在正當領(lǐng)域,如偵查部門利用人臉識別技術(shù)抓獲大量犯罪嫌疑人,產(chǎn)生的是正面反饋;如果應(yīng)用在非正當領(lǐng)域,如犯罪分子利用“深度偽造”(deepfake)詐騙、勒索,則會導致隱私泄露、錢財損失等負面反饋。

    在數(shù)據(jù)智能社會背景下,全球范圍內(nèi)治理人工智能倫理的國際硬法②“硬法”(hard law)指那些能夠依靠國家強制力保證實施的法規(guī)范。國際硬法主要指國際條約和國際習慣法,長期以來作為規(guī)范各國行為、確定國際權(quán)利義務(wù)關(guān)系、促進國際協(xié)調(diào)合作、應(yīng)對解決各種國際問題和爭端的基本依據(jù)和方法。缺位、國際軟法③“軟法”(soft law)是相對于硬法而言的,指那些不能運用國家強制力保證實施的法規(guī)范。軟法這一概念最先出現(xiàn)在國際法領(lǐng)域,國際軟法是軟法在國際法上的延伸和發(fā)展。由于國家主權(quán)的存在,一致性的硬法規(guī)則有時難以實現(xiàn),于是出現(xiàn)了區(qū)別于傳統(tǒng)國際條約和國際習慣法的國際軟法。發(fā)達。同時,國際軟法也面臨著國際軟法主體間合作不穩(wěn)定、有時得不到有效實施的治理挑戰(zhàn)。目前國內(nèi)外均尚未提出針對該領(lǐng)域治理困境的可行建議,因而本文主要考察當前國際軟法治理人工智能倫理的現(xiàn)狀及挑戰(zhàn),并提出國際軟法治理對策。

    1 國際軟法治理人工智能倫理的現(xiàn)狀

    國際軟法因具有靈活高效、適用成本低,能填補硬法空白,以及方便區(qū)分治理、分層應(yīng)對倫理問題的優(yōu)勢,其在人工智能倫理治理方面的勃興幾乎是必然的。

    1.1 人工智能技術(shù)涉及的倫理問題

    人工智能技術(shù)所涉及的倫理問題主要包括但不限于合理性問題、可控性問題和重大社會問題。

    合理性問題,指一項人工智能技術(shù)的應(yīng)用倫理上的負效應(yīng)接近或超過可容忍范圍[1]。數(shù)據(jù)智能社會中,人們在日常生活中使用大量智能產(chǎn)品;如果網(wǎng)絡(luò)黑客通過惡意程序遠程操縱無人駕駛汽車系統(tǒng)、人類心臟智能起搏器等,都可以輕易致人死亡[2]。在人工智能系統(tǒng)處理大量敏感信息和個人數(shù)據(jù)的過程中,數(shù)據(jù)被污染、泄露、濫用,不僅會影響輸出結(jié)果,還可能危及人身財產(chǎn)安全、經(jīng)濟社會秩序甚至國家安全。人工智能技術(shù)的設(shè)計和生成離不開設(shè)計人員的主觀意圖,因此容易引發(fā)“算法歧視”和“算法偏見”。例如,美國COMPAS④Correctional Offender Management Profiling for Alternative Sanctions,指替代制裁的懲教罪犯管理分析系統(tǒng)。量刑輔助系統(tǒng)加劇了種族歧視⑤Larson J, Mattu S, Kirchner L, et al. How We Analyzed the COMPAS Recidivism Algorithm. (2016-05-23)[2023-02-07]. https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm.。

    可控性問題,指人類無法控制一種人工智能的持久存在及未來發(fā)展方向,那么它具有不可控性[1]。當前人工智能技術(shù)已具備深度學習能力,由于其存在不可解釋性及不可預(yù)測性,極易產(chǎn)生“算法黑箱”及“欠缺透明性”等問題[3]。司法領(lǐng)域在確定設(shè)計、制造、使用人工智能等環(huán)節(jié)的各方主體責任及義務(wù)時有難度。例如,智能醫(yī)療助手在醫(yī)療手術(shù)過程中失誤致患者手術(shù)失敗、自動駕駛汽車出現(xiàn)決策錯誤導致交通事故發(fā)生,如何界定這些人工智能產(chǎn)品侵權(quán)主體的范圍,是法律責任認定過程中尚需解決的核心問題。

    重大社會問題,指人類面臨的與人工智能倫理治理相關(guān)的不可逆的社會問題[1]。社會倫理方面,數(shù)據(jù)信息環(huán)境的改變使人們易陷入“信息繭房”“過濾氣泡”和“回聲室效應(yīng)”⑥“ 信息繭房”(Information cocoons),指在信息傳播中,因公眾自身的信息需求并非全方位的,公眾只注意自己選擇的東西和使自己愉悅的通信領(lǐng)域,久而久之,會將自身桎梏于像蠶繭一般的“繭房”中“。過濾氣泡”(Filter bubble),指某些大數(shù)據(jù)平臺通過用戶所使用的瀏覽歷史,判斷出用戶偏好,向用戶推薦喜愛的內(nèi)容,并過濾掉異質(zhì)信息,為用戶打造個性化的信息世界;但同時也會筑起信息和觀念的“隔離墻”,令用戶身處在一個“網(wǎng)絡(luò)泡泡”的環(huán)境中,阻礙多元化觀點的交流?!盎芈暿倚?yīng)”(Echo chamber),指在一個相對封閉的環(huán)境上,一些意見相近的聲音不斷重復(fù),并以夸張或其他扭曲形式重復(fù),令處于相對封閉環(huán)境中的大多數(shù)人認為這些扭曲的故事就是事實的全部。解憂的百寶箱“. 信息繭房“”過濾氣泡”與“回音室效應(yīng)”的概念、聯(lián)系、區(qū)分、應(yīng)對措施. (2022-04-27)[2023-06-29]. https://www.bilibili.com/read/cv16343209.。它們都屬于利用信息或算法將用戶套牢,使其受困于狹窄的信息視野。市場經(jīng)濟方面,機器決策可能會產(chǎn)生“無用階級”,以及平臺壟斷造成的階層分化和固化,會深刻影響市場中的合作模式、競爭關(guān)系、雇傭關(guān)系、所有關(guān)系(所有權(quán))及相關(guān)倫理規(guī)范⑦中國發(fā)展研究基金會. 我們該如何應(yīng)對人工智能帶來的倫理挑戰(zhàn)? (2022-04-25)[2023-02-07]. https://www.cdrf.org.cn/jjhdt/5923.htm.。

    1.2 人工智能倫理領(lǐng)域軟法治理的必要性

    雖然人工智能技術(shù)所涉及的倫理問題很多,但其治理基本可以從2個層面來理解:① 以治理推動人工智能倫理的發(fā)展,強調(diào)運用科技治理手段、原則和工具,以治理人工智能倫理的具體問題,如人工智能技術(shù)引發(fā)的與算法公平、數(shù)據(jù)隱私和安全相關(guān)的倫理問題[4]。② 以倫理保障人工智能的治理,強調(diào)根據(jù)“理論—規(guī)則”驅(qū)動進路,將特定群體(如倫理學家和技術(shù)開發(fā)者)認可的價值取向和倫理標準程序化為倫理代碼,為人工智能治理框架提供保障。如科學家或算法工程師將不同場景下(倫理學家解釋的)倫理原則嵌入到算法設(shè)計中,形成對倫理觀念的集體共識[4]。

    作為一個綜合性概念,人工智能的倫理治理最近已經(jīng)形成,以治理推動人工智能倫理的發(fā)展表現(xiàn)為2個方面:① 世界上各國(地區(qū))相繼出臺相應(yīng)的法律法規(guī)來規(guī)范人工智能倫理;② 人工智能倫理相關(guān)治理機構(gòu)相繼建立以監(jiān)督人工智能發(fā)展[4]。由各國(地區(qū))政府及其相關(guān)部門出臺人工智能技術(shù)和與人工智能技術(shù)高度相關(guān)的數(shù)據(jù)隱私方面的立法,具有法律約束力;或者由國家共同制定的國際條約和國際習慣法等,對所有的國際法主體具有法律上的強制力。此時,人工智能倫理原則嵌入上述傳統(tǒng)法律工具之中,會展現(xiàn)出“剛性”的一面(硬法)。例如,2017 年以來,諸多國家和地區(qū)出臺人工智能治理的法律、法規(guī)、準則,立法呈現(xiàn)出從宏觀性準則和發(fā)展戰(zhàn)略逐漸細化至諸如自動駕駛規(guī)制、數(shù)據(jù)安全等具體層面的態(tài)勢,相關(guān)人工智能倫理原則嵌入其中要求人們必須遵守⑧全球技術(shù)地圖. 國外人工智能安全相關(guān)法律法規(guī)情況. (2023-04-25)[2023-06-28]. https://baijiahao.baidu.com/s?id=1764143596130586553&wfr=spider&for=pc.。

    與此同時,人工智能的復(fù)雜性、不確定性、不可預(yù)見性、跨部門及跨領(lǐng)域多主體的特征,共同決定了對其倫理進行治理時,治理的工具必須適應(yīng)發(fā)展速率更快、利益更加多元的技術(shù)不確定性環(huán)境。非?!皠傂浴钡囊?guī)則、固定模式的法律(硬法)很難跟上技術(shù)發(fā)展節(jié)奏,難以靈活規(guī)制人工智能技術(shù)所產(chǎn)生的社會問題。伴隨人工智能技術(shù)的發(fā)展成熟,面對人工智能引發(fā)的倫理問題,此時急需在科技倫理原則和規(guī)范的指導下,發(fā)展人工智能倫理治理的新視角、新方法。

    1.3 人工智能倫理領(lǐng)域的國際軟法淵源

    凡具有法律約束力的規(guī)則,如條約、習慣國際法等,均屬硬法;而不具有嚴格的法律約束力,卻能產(chǎn)生社會實效的規(guī)則應(yīng)歸類為軟法,如各類指南、建議、宣言、行動守則等[5]。在國際實踐中,國際硬法主要體現(xiàn)為《國際法院規(guī)約》第38 條規(guī)定的國際條約、國際習慣和一般法律原則;國際軟法主要體現(xiàn)為國際組織、多邊外交會議通過的包括聲明、決議、宣言、指南或者行為守則等在內(nèi)的非條約式國際性法律文件[6]。與國際硬法具有強制法律效力不同,國際軟法原則上不具有法律約束力但可能產(chǎn)生實際效果,其制訂經(jīng)驗對國際關(guān)系及日后的國際法仍會產(chǎn)生一定影響[7]。譬如,《世界人權(quán)宣言》(Universal Declaration of Human Rights)作為多邊國際法規(guī)范,雖然是軟法性質(zhì)的宣言,但為后來聯(lián)合國通過2 個硬法性質(zhì)、具有法律約束力的人權(quán)公約《經(jīng)濟、社會與文化權(quán)利國際公約》(International Covenant on Economic, Social and Cultural Rights)、《公民權(quán)利與政治權(quán)利國際公約》(International Covenant on Civil and Political Rights)確立目標[8]。

    本文在國際法領(lǐng)域?qū)θ斯ぶ悄軅惱淼闹卫磉M行探討,不涉及比較法領(lǐng)域的論證說明,因此本文采用國際軟法一般定義——雖然缺乏國際法的法律約束力,但在國際實踐中能產(chǎn)生實際效果的,在內(nèi)容中包含有標準、規(guī)范、原則或其他行為規(guī)則的國際性法律文件。實踐中人工智能倫理方面的國際軟法淵源,主要來自聯(lián)合國教科文組織(UNESCO)(政府間國際組織)出臺的和其他國際組織(非政府間國際組織)制定的國際軟法性文件等。

    聯(lián)合國教科文組織為推動各方遵守人工智能倫理原則,自2017 年起積極制訂國際軟法性文件,短短4年間制訂的文件在引導人工智能技術(shù)向著“負責任”的方向邁步;而其他國際組織制訂的國際軟法性文件,可以追溯到2005年(表1)??傮w來看,關(guān)切人類福祉(“造福于人類”)、透明度和問責制是目前大多數(shù)國際軟法性文件所必備的倫理要素。這些文件重點關(guān)注人的尊嚴,作為人工智能倫理的重要價值,關(guān)切人類福祉(“造福于人類”)的人權(quán)理念貫穿各文件始終。

    表1 國際軟法性文件中對人工智能倫理原則的具體規(guī)定Table 1 Specific provisions on ethical principles of artificial intelligence in international soft law documents

    其中,《人工智能倫理問題建議書》(Recommendation on the Ethics of Artificial Intelligence)明確表示,隨著技術(shù)的發(fā)展與時俱進,對人工智能倫理的定義并不做出唯一解釋;其主要原因是目前這種定義需跟隨技術(shù)更迭而日臻完善,對人工智能倫理設(shè)置精確的要求有困難,只能對人工智能倫理的界定模糊不清,因此傳統(tǒng)的“硬法”由于規(guī)則內(nèi)容的精確性和固定性而暫不適合管轄。由聯(lián)合國教科文組織陸續(xù)出臺倫理報告、建議等“軟法”以治理人工智能倫理問題,成為其他國際組織制訂相關(guān)國際軟法性文件的樣本,文件中也都未對人工智能倫理下精確的定義。此外,西方末世論、超人文化與中國共生論、人本文化的價值觀不同[2],即使在國際法層面各方期待嵌入普世價值統(tǒng)一判斷標準,但在構(gòu)建國際硬法體系時很難完全達成有關(guān)人工智能倫理原則的國際共識。因此,國際法領(lǐng)域人工智能倫理的治理亟待觀念革新與溝通協(xié)調(diào),國際軟法的勃興幾乎是必然的。

    1.4 當前國際軟法治理的優(yōu)勢

    《人工智能倫理準則的全球格局》(The Global Landscape of AI Ethics Guidelines)一文中指出,“私營公司、研究機構(gòu)和公共部門組織發(fā)布了人工智能倫理的原則和指導方針,圍繞5 項道德原則(非惡意、透明度、責任、公平正義和隱私)出現(xiàn)的全球趨同,這些原則具有相當大的重疊”[9]。雖然可以通過技術(shù)解決的人工智能倫理問題一般能達成全球共識,但許多技術(shù)上無法解決的倫理問題(如人工智能行業(yè)中的性別差距、可持續(xù)性問題、雙重用途問題,以及勞動力流離失所等)往往被嚴重忽視。人工智能具有區(qū)別于其他技術(shù)的部分特點,所引發(fā)的風險已經(jīng)超出監(jiān)管機構(gòu)對傳統(tǒng)安全、環(huán)境和健康風險的判斷,一國政府運用傳統(tǒng)監(jiān)管方法難以全面治理人工智能發(fā)展中出現(xiàn)的倫理問題。此外,由于人工智能本身發(fā)展速度快,涉及跨行業(yè)、政府機構(gòu)、司法管轄區(qū)和利益相關(guān)者團體時,運用硬法跨主體協(xié)調(diào)監(jiān)管相應(yīng)的倫理問題時,因執(zhí)法成本高、各主體觀點分歧大而難有聯(lián)合執(zhí)法,軟法此時易靈活適用以協(xié)調(diào)各方利益。

    同樣,與國際硬法相比,當前國際軟法對人工智能倫理的治理也有優(yōu)勢。

    (1)國際軟法具有重要的優(yōu)勢,更為靈活高效、適用成本低。一般軟法可以相對較快地被修訂和采納,而不必經(jīng)歷傳統(tǒng)的政府規(guī)則制定程序。有時因不受立法機構(gòu)授權(quán)的約束,幾種不同的軟法甚至可以同時實施,即使會產(chǎn)生并不相同的專業(yè)標準或者軟法激增的情況,仍可以在利益相關(guān)者之間建立合作而不是對抗關(guān)系。因為在一個國際競爭激烈的時代,大部分國家政府(如美國、法國、日本)是不情愿通過先發(fā)制人的監(jiān)管來阻礙新興技術(shù)創(chuàng)新的[10]。各國政府會通過諸多建議、指南、行為準則、最佳實踐、專業(yè)標準等國內(nèi)軟法,以嘗試解決現(xiàn)實層面人工智能倫理問題⑨國際條約作為硬法必須遵守,這既是國際慣例,也是一國在國際社會立足的前提。硬法的訂立給各個參與的主體提出了具體明確和有法律約束力的行為規(guī)范。三維度指“義務(wù)”(obligation)、“精確度”(precision)和“授權(quán)”(delegation),其中授權(quán)維度中暗含了主權(quán)的3個分支——立法權(quán)、行政權(quán)、司法權(quán)。一些國家之所以在訂立硬法時望而卻步,原因是硬法的授權(quán)維度要求參與成員國分割司法權(quán)。而軟法可以在三維度中弱化一個或幾個要素,由于這種優(yōu)勢而成為各成員國的選擇對象。。國際層面更是如此,非政府組織(如國際標準化組織)由于不涉及執(zhí)法機制,可以靈活高效地出臺國際軟法性文件,這些文件(國際軟法)總體上制訂、實施環(huán)節(jié)的運行成本低于國際硬法。

    (2)國際軟法可以補充或完善硬法,通過填補正式法律空白,作為主要備用選項或治理工具[11]。國際軟法不受有限機構(gòu)授權(quán)的約束,因此可以解決技術(shù)引起的任何問題。而且由于沒有被正式的法律機構(gòu)采用,不限于特定的法律管轄區(qū),而是可以具有國際適用性[9]。例如,國際金融研究所(IIF)發(fā)布的《數(shù)據(jù)倫理憲章》(Data Ethics Charter),將有助于補充(而不是取代)國家和地區(qū)立法和條例(國內(nèi)層面)、國際標準(國際層面)。隨著客戶數(shù)據(jù)和算法的使用,《數(shù)據(jù)倫理憲章》雖然不具有強制約束力或法律地位,不建議各國政府及其金融監(jiān)管部門“監(jiān)管”數(shù)據(jù)倫理原則落地,但文件中IIF 邀請各利益相關(guān)方將數(shù)據(jù)倫理納入金融實踐活動中,填補金融服務(wù)領(lǐng)域法律空白[12]。

    (3)國際軟法有利于人工智能倫理的區(qū)分治理、分層應(yīng)對。目前,人工智能技術(shù)的發(fā)展尚處于弱人工智能階段,大多數(shù)用途并不會產(chǎn)生高風險,也不需要我們面臨諸如自動駕駛汽車“電車難題”的功利主義選擇等類似倫理難題⑩韓東屏. 積極應(yīng)對自動駕駛的“ 電車難題”. (2022-06-28) [2023-06-20]. https://baijiahao. baidu. com/s? id=1736840154575501899&wfr=spider&for=pc.。對于低風險人工智能應(yīng)用,在公司、民間社會團體、學術(shù)專家和政府的意見下制訂的軟法將是促進符合道德框架和原則的創(chuàng)新的關(guān)鍵方法[13]。若軟法能對人工智能倫理分級監(jiān)管,對于高風險的人工智能應(yīng)用,也可以成為硬法的重要補充?例如,自動駕駛車輛對車輛(V2V)通信傳遞的信息能夠帶來潛在安全優(yōu)勢,可以允許近距離車輛之間的協(xié)調(diào),以降低事故發(fā)生的可能性并提高交通流的效率。實現(xiàn)V2V的潛力,需要交通部門(如處理核心安全問題、避免事故)利用軟法(如與車輛之間無線信息交換的程序和協(xié)議有關(guān))進行監(jiān)管。。例如,德國數(shù)據(jù)倫理委員會(Datenthikkommission)發(fā)布的《針對數(shù)據(jù)和算法的建議》(Der Weg der gestaffelten Algorithmen)報告,將倫理考慮分為對數(shù)據(jù)或算法系統(tǒng)的關(guān)注?對于數(shù)據(jù),該報告表明與數(shù)據(jù)相關(guān)的權(quán)利將在道德領(lǐng)域發(fā)揮重要作用。例如,確保個人提供知情同意以使用其個人數(shù)據(jù)解決了許多重大的道德問題。但對于算法系統(tǒng),該報告表明人工智能系統(tǒng)可能與受影響的個人沒有聯(lián)系。因此,即使是沒有相關(guān)權(quán)利的非個人數(shù)據(jù)也可能以不道德的方式使用,在可能造成傷害的情況下,監(jiān)管是必要的。,且確定了算法系統(tǒng)關(guān)鍵性的5個級別:潛在危害為零或可忽略不計的應(yīng)用程序?qū)⒉皇鼙O(jiān)管;隨著潛在危害的增加,監(jiān)管負擔將增加,直至完全禁止。對于具有嚴重潛在危害的應(yīng)用程序,該報告建議持續(xù)監(jiān)督。

    2 國際軟法治理人工智能倫理的挑戰(zhàn)

    2.1 國際軟法主體間合作不穩(wěn)定

    鑒于人工智能應(yīng)用的廣泛性及其未來快速發(fā)展而導致的不確定性,截至目前非國家行為體(如IEEE、FLI、OECD等)未有國際硬法的提議與協(xié)調(diào)。當各國都選擇對己有利的收益分配而不依賴具有強制效力的國際硬法來保證合作持續(xù)時,非國家行為體僅借助國際軟法無法保證各國所作承諾的可信性。因此,各國間的合作是不夠穩(wěn)定的,這一點可根據(jù)“囚徒困境”博弈(協(xié)作型博弈)予以闡述緣由。

    數(shù)字產(chǎn)品進行跨國數(shù)字貿(mào)易就屬于“囚徒困境”博弈:各國國內(nèi)施行數(shù)字貿(mào)易措施時援引世界貿(mào)易組織(WTO)或自由貿(mào)易協(xié)定(FTA)規(guī)則中的“安全例外”條款,極有可能是滿足其國內(nèi)數(shù)據(jù)倫理要求的;但在國際層面,這種維護各國自身利益的手段并不利于全球數(shù)字經(jīng)濟秩序發(fā)展。例如,美國就曾利用安全例外條款打壓華為在全球市場的銷售。如果各國都通過濫用“安全例外”條款禁止數(shù)字產(chǎn)品進入各自國內(nèi)市場(即變相的貿(mào)易保護主義),將嚴重阻礙跨國數(shù)字貿(mào)易的發(fā)展,這是集體最差的結(jié)局;但是各國都適度開放本國的數(shù)字貿(mào)易市場,就能取得集體最優(yōu)的結(jié)果。實際對每個國家來說,最優(yōu)策略仍是他國對本國開放數(shù)字貿(mào)易市場,本國則對他國實行變相的貿(mào)易保護主義。當個體理性與集體理性相悖,容易造成各國違反在WTO 或FTA 規(guī)則中的相關(guān)數(shù)字貿(mào)易政策承諾,即使這極可能符合各國國內(nèi)的數(shù)據(jù)倫理(包括人工智能倫理)要求,因此急需國際硬法來壓制各國可能采取的背棄策略。雖然過去需要具有強制效力的國際硬法介入,但在目前各國間數(shù)字經(jīng)濟發(fā)展的相互博弈情況下,如何發(fā)揮國際軟法特有的優(yōu)勢,并與未來可能形成的國際硬法相輔相成、共促穩(wěn)定合作,是國際軟法治理人工智能倫理所面臨的挑戰(zhàn)。

    2.2 國際軟法有時得不到有效實施

    國際軟法有時得不到有效實施,反映在人工智能倫理領(lǐng)域,頗有爭議的是涉及立法問題的問責制。人工智能的問責制,指建立具體的法律制度以說明為什么和采取何種方法能使人工智能系統(tǒng)的部署者和設(shè)計者擔責。當人工智能系統(tǒng)具備了一定的行為和決策自主權(quán)后,明確責任主體就會變得愈加困難和復(fù)雜,面向各類行為主體(如設(shè)計師、制造商、運營商和最終用戶等)建立的多層責任制度難以劃分責任[3]。即使在跨國倫理規(guī)范范本中已經(jīng)規(guī)定并描述了問責制,但是這些軟法缺少正式、具體的責任劃分制度,有可能在現(xiàn)實中得不到有效實施。

    作為制訂聯(lián)合國全系統(tǒng)人工智能治理工作機構(gòu)戰(zhàn)略方針和路線圖的領(lǐng)導機構(gòu),國際電信聯(lián)盟(ITU)協(xié)調(diào)聯(lián)合國各機構(gòu)的參與?UN System Chief Executives Board for Coordination. A United Nations system-wide strategic approach and road map for support‐ing capacity development on artificial intelligence. (2019-06-17)[2023-02-01]. https://unsceb.org/sites/default/files/2020-09/CEB_2019_1_Add-3-EN_0.pdf.。雖與所有有關(guān)聯(lián)合國實體密切合作并酌情與外部伙伴密切合作,但只能作為“促進”協(xié)調(diào)執(zhí)行的機構(gòu)協(xié)調(diào)中心,其執(zhí)行能力有限。此外,《人工智能倫理問題建議書》中第42 條關(guān)于“責任和問責”方面,“應(yīng)建立適當?shù)谋O(jiān)督、影響評估、審計和盡職調(diào)查機制”;其中,“適當”的措辭本身不具有強制執(zhí)行力,其實施主要靠條文本身的吸引力、各成員國對價值利益取向的共同性等加以保障。僅依靠上述推薦性、建議性的軟措施,難免造成軟法有時得不到有效實施的結(jié)果[7]。

    3 國際軟法治理人工智能倫理的對策

    在國際軟法發(fā)達、硬法落后的人工智能倫理領(lǐng)域,為了維持國際合作的穩(wěn)定、促使軟法內(nèi)容可執(zhí)行,構(gòu)造國際軟硬法混合治理的“中心—外圍”模式、構(gòu)建間接執(zhí)行機制具有實踐意義。

    3.1 構(gòu)造國際軟硬法混合治理的“中心—外圍”模式

    3.1.1 “中心—外圍”模式的提出

    在跨國法律體系中,國際硬法位居體系構(gòu)造的中心,與被定義為外圍的國際軟法共同在國際層面構(gòu)成“中心—外圍”關(guān)系。在國際軟法發(fā)達、硬法落后的人工智能倫理領(lǐng)域,在建立各方利益表達、補償、協(xié)調(diào)機制時,國際軟法具有治理功能上的優(yōu)勢和事實上的效力,但這并不代表著因其具有必要性而應(yīng)處于中心地位。因為國際規(guī)范和專業(yè)標準形式的軟法可在不引起治外法權(quán)問題的情況下施加影響,不受頒布法律法規(guī)的政府管轄權(quán)的限制,以市場為導向激勵企業(yè)制訂專業(yè)標準,可使全球市場消費者來檢驗標準的“好壞”[14]。這種多元主體參與國際層面的治理具有協(xié)同作用,可以增強公私治理主體的協(xié)作意識,從而形成國際軟硬法混合治理的“中心—外圍”模式(圖1)。

    圖1 國際軟硬法混合治理的“中心—外圍”模式Figure 1 “Centre-periphery” model of soft-hard mixed law governance

    國際軟法的優(yōu)勢領(lǐng)域多數(shù)情況下僅限于事務(wù)性國際關(guān)系,而不是基礎(chǔ)性國際關(guān)系。這是根據(jù)人工智能倫理全球治理技術(shù)性強、復(fù)雜多變的特性所決定。相較于國際硬法(傳統(tǒng)國際法),國際軟法實施起來更有彈性且方便修改。因為傳統(tǒng)國際法調(diào)整外交、領(lǐng)土、承認等國家間的“共存”關(guān)系,對后來興起的各國間有關(guān)人工智能倫理的“合作”關(guān)系,其基礎(chǔ)性部分仍依賴穩(wěn)定性強且可靠的國際硬法支撐。例如,二十國集團(G20)、OECD等重要國際組織推動各方在包含人權(quán)的“負責任的人工智能”“可信賴的人工智能”等重要概念上達成一致,其中所涉的倫理共識都必須接受執(zhí)行《世界人權(quán)宣言》作為最低限度的秩序。

    因此,國際軟法有時體現(xiàn)的只是過渡形式,一旦時機成熟,仍可將國際硬法對人工智能倫理的規(guī)制提上議事日程。如人工智能應(yīng)用中的自動駕駛汽車倫理,就需要根據(jù)發(fā)生的不同交通事故危險程度厘清責任歸屬,最后將自動駕駛汽車倫理決策判斷和選擇所造成的損害后果進行認定,使車輛開發(fā)者、生產(chǎn)者、銷售者、所有者按照具備倫理原則的國際硬法的規(guī)定去遵守。因為自動駕駛汽車產(chǎn)品開發(fā)的時間與國際硬法規(guī)則制定的時間相似或更長,所以適用于環(huán)境變化不太快的具體技術(shù)的硬法領(lǐng)域[15]。

    3.1.2 “中心—外圍”模式的要義

    在人工智能倫理的治理領(lǐng)域,由國際硬法和國際軟法構(gòu)成的“中心—外圍”模式的要義包括4個方面。

    (1)國際軟法向國內(nèi)硬法的滲透,尤其是技術(shù)標準經(jīng)由國內(nèi)法轉(zhuǎn)化而具有約束力。例如,國際標準化組織(ISO)和國際電工委員會(IEC)制訂的《隱私信息管理要求與指南》(Privacy Information Managment—Requirements and Guildlines,ISO/IEC27701)作為技術(shù)軟法,與歐盟《通用數(shù)據(jù)保護條例》(General Data Protection Regulation)第4章第5節(jié)“行為為準則和認證部分”標準相銜接,經(jīng)由歐盟成文法《通用數(shù)據(jù)保護條例》轉(zhuǎn)化并推動標準互認。成文法規(guī)定嵌入數(shù)據(jù)保護規(guī)范的條件和具體方法,能進一步明確認定技術(shù)標準的法律效力[16]。

    (2)通常有意向發(fā)展人工智能技術(shù)的政府,會鼓勵企業(yè)、用戶群體、非政府組織、科研機構(gòu)等多元監(jiān)管主體積極參與相關(guān)行業(yè)協(xié)會對人工智能倫理的研討,促進國內(nèi)軟硬法相互影響、相互轉(zhuǎn)化。例如,歐盟陸續(xù)出臺指導性文件《可信AI 倫理指南》(Ethics Guidelines for Trustworthy AI)、《算法責任與透明治理框架》(A Governance Framework for Algorithmic Accountability and Transparency),傾向于規(guī)定人工智能倫理的混合性條款,即借鑒軟法的開放協(xié)調(diào)程序以定期修訂條款,通過模糊硬法與軟法的邊界,使軟法和硬法的雙重手段在實踐中優(yōu)勢互補、共同推動人工智能倫理建設(shè)進程。

    (3)各國國內(nèi)企業(yè)、學術(shù)界和政府間國際組織等,可以出臺各類圍繞人工智能的特定用途的文件,以期將各國國內(nèi)技術(shù)治理偏好向國際軟法滲透,爭取國際標準制訂的話語權(quán)。專業(yè)標準可能需要數(shù)年時間來制訂,因此并不總是比硬法更具有速度優(yōu)勢。然而,與硬法相比,專業(yè)標準通常是專門為促進行業(yè)內(nèi)的創(chuàng)新而制訂的,并且可以隨著技術(shù)的發(fā)展而相對快速地更新。例如,IEEE正在制訂主題包括“自治系統(tǒng)的透明度”“解決透明度、問責制和算法偏差的認證方法”的人工智能標準,以及人工智能對人類福祉的影響[17];或者像ISO 正在與IEC 合作開發(fā)一連串以人工智能為要點的標準。而一旦創(chuàng)建了這些專業(yè)標準,數(shù)字產(chǎn)業(yè)的多方利益相關(guān)者或現(xiàn)有私營機構(gòu)就可以在全球范圍內(nèi)傳播和執(zhí)行,逐漸影響乃至主導國際標準制訂。

    (4)即使國際軟法的影響力與國際硬法勢均力敵,也不會從大局上影響國際軟硬法混合治理的“中心—外圍”模式。國際硬法具有法律約束力,通常在實踐中的影響力往往會比只有事實效力的國際軟法更大[18]。未來由各國共同制定的國際硬法,相比由其他非國家行為體制訂的國際軟法,其國際合作更加穩(wěn)定且正當性基礎(chǔ)要更為堅實。例如,容易產(chǎn)生高風險的自動駕駛汽車技術(shù),由于關(guān)切人類福祉(如生命健康權(quán)等),即使國際軟法具有立法成本低等優(yōu)勢,還是需要國際硬法確定其基礎(chǔ)倫理規(guī)范,實施階段硬法成本反而容易比軟法低。

    綜上,在企業(yè)及行業(yè)協(xié)會擬議人工智能倫理準則時,可以參考技術(shù)標準在相同議題上的規(guī)范,尤其是透明度、問責制、關(guān)切人類福祉等普遍性技術(shù)議題。

    例如,人工智能倫理中透明度原則的設(shè)立,可以采取國際軟、硬法混合治理的“中心—外圍”模式:利用硬法(由國家共同制定的法律)規(guī)制來解決更高層次、普適性較強的數(shù)據(jù)/算法/算力/知識突出問題,進行較強力度的底線約束,可以提高人工智能的可靠性;同時,利用軟法(非國家行為體制訂的規(guī)則)解決具體應(yīng)用場景的個性化問題,允許比立法機構(gòu)更接近技術(shù)的專家開發(fā)軟法框架,提供有一定容錯空間的韌性規(guī)范以指導技術(shù)的發(fā)展。

    3.2 構(gòu)建間接執(zhí)行機制

    3.2.1 建立國際治理協(xié)調(diào)委員會

    Marchant和WallachGary[19]從國際角度提出了一個協(xié)調(diào)實體,可稱之為“治理協(xié)調(diào)委員會”(governance coordinating committee)。若在人工智能倫理領(lǐng)域成立一個國際治理協(xié)調(diào)委員會,該委員會“位于政府之外,但包括政府代表、行業(yè)、非政府組織、智庫和其他利益相關(guān)者的參與”,且“該實體不會尋求復(fù)制或取代許多致力于開發(fā)人工智能治理方法的組織,而是提供一種協(xié)調(diào)功能……確保所有不同的參與者相互聯(lián)系,了解并響應(yīng)彼此的提案,同時識別現(xiàn)有計劃中的差距和不一致之處”[9]。因此,多元主體參與國際治理協(xié)調(diào)委員會,有利于其在定義倫理準則時具有可信度,能促成軟法“硬化”以增強軟法約束力和執(zhí)行可能性[20]。

    人工智能機構(gòu)間工作組(IAWG-AI)由聯(lián)合國教科文組織和國際電信聯(lián)盟共同領(lǐng)導,通過支持行政首長協(xié)調(diào)會和方案問題高級別委員會關(guān)于人工智能倫理的工作,尋求在人工智能相關(guān)問題上與相關(guān)機構(gòu)間和多利益相關(guān)方機制合作?UN System Chief Executives Board for Coordination. Inter-Agency Working Group on Artificial Intelligence. (2021-03-01)[2023-02-01]. https://unsceb.org/inter-agency-working-group-artificial-intelligence.。該工作組重點關(guān)注倫理領(lǐng)域,可在其基礎(chǔ)上設(shè)立國際治理協(xié)調(diào)委員會,這既可以降低監(jiān)督機構(gòu)的設(shè)立成本,也可以提高國際影響力。各種類型的軟法(包括倫理標準、指南、行為準則和原則等)在規(guī)范人工智能倫理時,國際治理協(xié)調(diào)委員會可以依賴懲罰手段、社會輿論監(jiān)督和技術(shù)專家的技術(shù)評價等予以保障實施,間接影響和引導相關(guān)責任主體承擔應(yīng)有的責任(圖2)。

    圖2 聯(lián)合國人工智能治理工作機制及構(gòu)建間接執(zhí)行機制設(shè)想Figure 2 United Nations working mechanism for AI governance and assumption of constructing indirect implementation mechanisms

    成立國際治理協(xié)調(diào)委員會,不僅可以擁有在人工智能機構(gòu)間工作組中保持“技術(shù)中立”的專家資源,還可以提高行政首長協(xié)調(diào)會和方案問題高級別委員會所管轄事務(wù)的治理效率。國際治理協(xié)調(diào)委員會作為非國家行為體,制訂的國際軟法雖然無法像國際硬法那樣得到國家強制力單獨的(主要依靠主權(quán)國家自身的力量)或集體的(在某些情況下依靠國際社會的集體力量)支持,但可輔之以非正式和非集中化的間接執(zhí)行機制,取得相應(yīng)的實效[18]。

    3.2.2 非正式和非集中化的間接執(zhí)行機制

    在跨國法律體系框架下,國際軟法作為治理工具不具有法律約束力和強制執(zhí)行效力,但具有實施的效果。許多非國家行為體制訂的國際軟法雖然沒有強制執(zhí)行力保證實施,無法像傳統(tǒng)國際法對違法者訴諸國際司法或仲裁機構(gòu)和進行報復(fù)等,但決不能否定國際軟法具有自我管制和自我約束的功能,外部力量的作用仍能使其得到事實上的遵行。依據(jù)博弈論,通常情況下依靠各軟法主體的“自我實施”,不需要有第三方強制性力量的保障和集中化的權(quán)力機構(gòu),輔之以非正式和非集中化的執(zhí)行機制,如利害關(guān)系者的懲罰、社會壓力及市場力量,就能促使國際軟法得到事實上的效力[18]。

    (1)利害關(guān)系者的懲罰提高違法成本。一般基于硬法工具的威懾,利害關(guān)系者才會遵從軟法。但非國家行為體對不遵守軟法的利害關(guān)系者進行處罰,提高其違反軟法的潛在成本,也可以形成事前的積極威懾并達到預(yù)防的目的。例如,一國違反世界銀行制訂的《外國直接投資待遇指南》,不但無法從世界銀行獲得擔保和貸款,反而還會被此權(quán)威性的國際經(jīng)濟組織宣布為投資環(huán)境欠佳的國家,嚴重影響該國未來吸收外資的能力[18]。建議:國際治理協(xié)調(diào)委員會設(shè)置提高違反軟法成本的懲罰措施,間接提高國際軟法的執(zhí)行力。

    (2)社會壓力促進聲譽機制。違反國際軟法的主體極易受到來自國際社會的壓力,國家、跨國非政府組織、政府間組織等多利益攸關(guān)方的譴責都會使違法者名譽掃地、顏面盡失。有些國際軟法是名義上的軟法、實質(zhì)上的硬法,極大地損傷違法者的經(jīng)濟或商業(yè)利益,其懲戒制裁效果不亞于對其不利的國際仲裁裁決或司法判決。這種“群起的羞辱”間接促使各國遵守國際軟法、維護其在國際社會上的信譽,避免因不執(zhí)行國際軟法而失去國際合作伙伴信賴的不利影響。建議:國際治理協(xié)調(diào)委員會與聯(lián)合國教科文組織、G20、國際電信聯(lián)盟等國際組織積極討論、推動多邊共同監(jiān)管的行動倡議或倫理規(guī)則,探索人工智能倫理的共識與差異[14]。聲譽機制圍繞非國家行為體的倡議或規(guī)則執(zhí)行,要求對破壞倡議或規(guī)則的國家進行懲罰,對維護倡議或規(guī)則的國家進行褒獎,從而使得各國為了維持國際社會良好聲譽,迫于國際社會壓力而承擔國際社會責任。

    (3)市場力量催生“網(wǎng)絡(luò)效應(yīng)”。當接受統(tǒng)一準則或標準的國家聚合,且使用該準則或標準的國家增加時,準則或標準對它們的價值也相應(yīng)增加,從而吸引更多的國家自發(fā)聚合形成“雪球效應(yīng)”,不斷擴大遵守軟法的群體規(guī)模,增強軟法約束力。不接受的國家就會被邊緣化,接受的國家則會獲益越來越多,由此推動各國接受這些國際軟法(統(tǒng)一準則或標準)。例如,ISO 制訂了納米技術(shù)風險管理的國際標準,作為安全處理納米材料的準監(jiān)管標準。雖然這些標準不能直接執(zhí)行,但許多國際合同和一些保險公司要求遵守適用的ISO標準(或其等效標準),從而提供間接執(zhí)行機制[21]。又如,國際治理協(xié)調(diào)委員會學習國際干細胞研究學會制訂的準則,為限制某些類型(反倫理)的研究而制訂研究指南,并為其他類型的研究提供倫理保障。雖然不能直接執(zhí)行,但這些指南為干細胞研究人員設(shè)定了專業(yè)期望,并且可以由研究機構(gòu)、資助機構(gòu)和要求科學家遵守的科學期刊間接執(zhí)行[21]。建議:① 建立起多元化的參與路徑,推動企業(yè)、行業(yè)協(xié)會、專家學者等多層次國際對話,利用科學期刊分享最佳實踐以支撐標準化工作;② 不同國家人工智能倫理規(guī)則在不同文化背景下的協(xié)調(diào)互動、交流碰撞[14],在國際交往中逐漸形成不成文的準則或標準(即國際慣例),從而促使各國在國際實踐中去遵守約定俗成的人工智能倫理規(guī)范。

    猜你喜歡
    硬法軟法倫理
    戰(zhàn)時環(huán)境保護的國際法體系建構(gòu):從“軟法”到“硬法”的向度轉(zhuǎn)換
    《心之死》的趣味與倫理焦慮
    護生眼中的倫理修養(yǎng)
    活力(2019年19期)2020-01-06 07:37:00
    以軟硬法方式加強黨風建設(shè)的路徑探索
    協(xié)商民主的軟法價值實現(xiàn)
    領(lǐng)導干部帶頭禁煙:“軟法”還不夠
    醫(yī)改莫忘構(gòu)建倫理新機制
    互聯(lián)網(wǎng)金融的軟法之治
    金融法苑(2014年2期)2014-10-17 02:54:03
    法律全球化的政治效應(yīng):國際關(guān)系的法律化
    求是學刊(2014年3期)2014-09-23 03:27:59
    論軟法與硬法在多維界分中的漸變
    東方法學(2014年2期)2014-03-15 07:55:05
    av专区在线播放| 色尼玛亚洲综合影院| 国模一区二区三区四区视频| 日韩成人伦理影院| 久久精品影院6| 中文在线观看免费www的网站| 久久国产乱子免费精品| 51国产日韩欧美| 你懂的网址亚洲精品在线观看 | 国产高清有码在线观看视频| 99热精品在线国产| 一区福利在线观看| 久久久国产成人精品二区| 日韩av不卡免费在线播放| 亚洲精品国产av成人精品 | 亚洲精品色激情综合| 国产高清视频在线观看网站| 久久精品人妻少妇| 成人综合一区亚洲| 成人av在线播放网站| 综合色av麻豆| av在线观看视频网站免费| 99热全是精品| 国产精品综合久久久久久久免费| 男女视频在线观看网站免费| 两性午夜刺激爽爽歪歪视频在线观看| 女生性感内裤真人,穿戴方法视频| 中文在线观看免费www的网站| 国产高清激情床上av| 校园春色视频在线观看| 日韩欧美一区二区三区在线观看| 高清日韩中文字幕在线| 欧美+亚洲+日韩+国产| 国产精品不卡视频一区二区| 男人狂女人下面高潮的视频| 日日摸夜夜添夜夜爱| 久久精品国产清高在天天线| 久久久久免费精品人妻一区二区| av在线天堂中文字幕| 欧美日本视频| 黄色视频,在线免费观看| 搡老熟女国产l中国老女人| 久久精品国产清高在天天线| 国产黄色视频一区二区在线观看 | 美女黄网站色视频| 国产aⅴ精品一区二区三区波| 免费av毛片视频| 99久久成人亚洲精品观看| 色吧在线观看| 淫妇啪啪啪对白视频| 国产高清视频在线观看网站| 国产成人a区在线观看| 国产欧美日韩精品亚洲av| 日韩一区二区视频免费看| a级毛片免费高清观看在线播放| 亚洲欧美日韩高清在线视频| 国产av不卡久久| 亚洲丝袜综合中文字幕| 国产一区二区三区在线臀色熟女| 尾随美女入室| а√天堂www在线а√下载| 看免费成人av毛片| 少妇猛男粗大的猛烈进出视频 | 成人av一区二区三区在线看| 亚洲国产精品成人久久小说 | 99久久九九国产精品国产免费| 春色校园在线视频观看| 麻豆久久精品国产亚洲av| 在现免费观看毛片| 国产高清三级在线| 日韩,欧美,国产一区二区三区 | 麻豆一二三区av精品| 黄色日韩在线| 日韩精品青青久久久久久| 久久久久久久久大av| 天美传媒精品一区二区| 乱系列少妇在线播放| 国产色爽女视频免费观看| 欧美日韩国产亚洲二区| 成人av一区二区三区在线看| 九九久久精品国产亚洲av麻豆| 日本a在线网址| 婷婷亚洲欧美| 午夜免费激情av| 一进一出抽搐gif免费好疼| 午夜激情福利司机影院| 国产午夜精品久久久久久一区二区三区 | 国产午夜精品久久久久久一区二区三区 | 国产成人福利小说| 亚洲成av人片在线播放无| 国产精品女同一区二区软件| 国产精品99久久久久久久久| 一区二区三区四区激情视频 | 国产精品永久免费网站| 美女黄网站色视频| 国产激情偷乱视频一区二区| 免费大片18禁| 三级经典国产精品| 在现免费观看毛片| 国产av在哪里看| 日本三级黄在线观看| 亚洲国产欧洲综合997久久,| 欧美高清成人免费视频www| 一个人免费在线观看电影| 99久久九九国产精品国产免费| 久久国内精品自在自线图片| 男女啪啪激烈高潮av片| 极品教师在线视频| 在线免费观看的www视频| 午夜影院日韩av| 日韩欧美三级三区| 少妇人妻一区二区三区视频| 国产成人精品久久久久久| 中国美白少妇内射xxxbb| 久久久a久久爽久久v久久| 久久久精品欧美日韩精品| 精品不卡国产一区二区三区| 一进一出抽搐动态| 国产伦精品一区二区三区视频9| 国产在线男女| 色播亚洲综合网| 在线观看av片永久免费下载| 一卡2卡三卡四卡精品乱码亚洲| 久久精品国产清高在天天线| 午夜日韩欧美国产| 亚洲国产精品成人久久小说 | 日本黄色片子视频| 美女黄网站色视频| 在线播放国产精品三级| 99热只有精品国产| 欧美+日韩+精品| 精品久久久噜噜| 久久精品国产鲁丝片午夜精品| 成人鲁丝片一二三区免费| 国产精品女同一区二区软件| 亚洲欧美精品自产自拍| 中国美白少妇内射xxxbb| 国产淫片久久久久久久久| 久久99热这里只有精品18| 国产免费男女视频| 最近的中文字幕免费完整| 日日撸夜夜添| 婷婷亚洲欧美| 欧美3d第一页| a级毛片免费高清观看在线播放| 亚洲人成网站在线播放欧美日韩| 国产精品久久久久久久久免| 成人特级av手机在线观看| 亚洲电影在线观看av| 欧美成人免费av一区二区三区| 麻豆国产97在线/欧美| av.在线天堂| 日本在线视频免费播放| 国产黄色小视频在线观看| 欧美+亚洲+日韩+国产| 成人美女网站在线观看视频| 久久午夜福利片| 婷婷色综合大香蕉| 亚洲无线观看免费| 国产黄色视频一区二区在线观看 | 久久午夜福利片| 欧美bdsm另类| 久久精品国产亚洲av涩爱 | 噜噜噜噜噜久久久久久91| 成人av一区二区三区在线看| 丝袜喷水一区| 亚洲精品影视一区二区三区av| 久久人人精品亚洲av| 看黄色毛片网站| 女同久久另类99精品国产91| 精品久久久久久久久亚洲| 69人妻影院| 51国产日韩欧美| 波多野结衣巨乳人妻| 亚洲国产高清在线一区二区三| 亚洲真实伦在线观看| 午夜影院日韩av| 久久久久久久久中文| 欧美色视频一区免费| 亚洲18禁久久av| 插逼视频在线观看| 国产精品永久免费网站| 国产精品久久视频播放| 久久亚洲精品不卡| 国产探花极品一区二区| 91精品国产九色| 岛国在线免费视频观看| 亚洲精品成人久久久久久| 精品少妇黑人巨大在线播放 | a级一级毛片免费在线观看| 麻豆成人午夜福利视频| 亚洲av美国av| 亚洲中文字幕日韩| 真实男女啪啪啪动态图| 久久国内精品自在自线图片| 在线免费观看的www视频| av.在线天堂| 成人美女网站在线观看视频| 国产精品嫩草影院av在线观看| 国产精品一区二区三区四区久久| 日韩一区二区视频免费看| 精品午夜福利在线看| 又爽又黄a免费视频| 午夜a级毛片| 久久草成人影院| 日本五十路高清| 黄片wwwwww| 97超级碰碰碰精品色视频在线观看| 亚洲中文字幕一区二区三区有码在线看| 国产黄色小视频在线观看| 国产精品不卡视频一区二区| 男女边吃奶边做爰视频| 亚洲在线自拍视频| av免费在线看不卡| 免费人成在线观看视频色| 熟女人妻精品中文字幕| a级毛片a级免费在线| 亚洲精品一区av在线观看| 伦精品一区二区三区| 99久国产av精品| 亚洲精品影视一区二区三区av| 国产精品久久久久久精品电影| 亚洲av二区三区四区| 久久人妻av系列| 一本一本综合久久| 国产成人福利小说| 免费看a级黄色片| 亚洲国产精品合色在线| 国内久久婷婷六月综合欲色啪| 国产精华一区二区三区| 国产v大片淫在线免费观看| 免费黄网站久久成人精品| 精品人妻一区二区三区麻豆 | 看免费成人av毛片| 一个人看的www免费观看视频| 黄色配什么色好看| 精品一区二区三区av网在线观看| 午夜激情欧美在线| 99久久无色码亚洲精品果冻| 国产成年人精品一区二区| 人人妻,人人澡人人爽秒播| 国产精品一区二区三区四区免费观看 | 国产91av在线免费观看| 在现免费观看毛片| 久久综合国产亚洲精品| 久久这里只有精品中国| 亚洲一区二区三区色噜噜| 波多野结衣高清作品| 亚洲va在线va天堂va国产| 久久精品国产鲁丝片午夜精品| 欧美三级亚洲精品| 欧美一区二区国产精品久久精品| 秋霞在线观看毛片| 欧美激情国产日韩精品一区| 最新中文字幕久久久久| 一区二区三区免费毛片| 亚洲第一电影网av| 国产女主播在线喷水免费视频网站 | 3wmmmm亚洲av在线观看| 男女之事视频高清在线观看| 欧美成人免费av一区二区三区| h日本视频在线播放| 亚洲成人中文字幕在线播放| 亚洲内射少妇av| 99热6这里只有精品| 成人精品一区二区免费| 久久久久久九九精品二区国产| 亚洲熟妇中文字幕五十中出| 一个人观看的视频www高清免费观看| 久久精品国产亚洲av天美| 插逼视频在线观看| 国产精品日韩av在线免费观看| 美女 人体艺术 gogo| 久久精品国产亚洲av天美| 成年版毛片免费区| 日本与韩国留学比较| 成人漫画全彩无遮挡| 91精品国产九色| 天天一区二区日本电影三级| 日韩欧美精品v在线| 99久久无色码亚洲精品果冻| 国产人妻一区二区三区在| 91在线观看av| 久久亚洲精品不卡| 美女cb高潮喷水在线观看| 看黄色毛片网站| 男女啪啪激烈高潮av片| 嫩草影院新地址| 男女那种视频在线观看| 精品一区二区三区视频在线观看免费| 久久人人爽人人爽人人片va| 国产精品美女特级片免费视频播放器| 国产精品亚洲美女久久久| 99久久精品热视频| 男人的好看免费观看在线视频| 国产激情偷乱视频一区二区| 国产 一区精品| 在线观看午夜福利视频| av专区在线播放| 亚洲精品日韩av片在线观看| videossex国产| 久久久精品大字幕| 久久精品人妻少妇| 男女视频在线观看网站免费| 亚洲欧美日韩高清在线视频| 寂寞人妻少妇视频99o| 国产欧美日韩精品亚洲av| av卡一久久| 精品久久久久久久久久免费视频| 国产欧美日韩精品一区二区| 天天躁夜夜躁狠狠久久av| 黑人高潮一二区| 毛片女人毛片| 啦啦啦韩国在线观看视频| 午夜福利18| av在线天堂中文字幕| 最新在线观看一区二区三区| 久久精品国产亚洲av涩爱 | 黄色欧美视频在线观看| 欧美区成人在线视频| 长腿黑丝高跟| 国产精品美女特级片免费视频播放器| 国产伦精品一区二区三区四那| 久久热精品热| 99九九线精品视频在线观看视频| 成人二区视频| 精品少妇黑人巨大在线播放 | 欧美色欧美亚洲另类二区| 亚洲丝袜综合中文字幕| 国产乱人视频| 噜噜噜噜噜久久久久久91| 免费看日本二区| 国产白丝娇喘喷水9色精品| 亚洲国产精品sss在线观看| 日韩欧美免费精品| 亚洲一区高清亚洲精品| 人妻丰满熟妇av一区二区三区| 亚洲av中文av极速乱| 日韩制服骚丝袜av| 久久久久国内视频| 可以在线观看毛片的网站| 国产三级中文精品| 两个人视频免费观看高清| 精品久久久久久成人av| 三级男女做爰猛烈吃奶摸视频| 97人妻精品一区二区三区麻豆| 丝袜美腿在线中文| 尤物成人国产欧美一区二区三区| 我的老师免费观看完整版| 一级毛片久久久久久久久女| 亚洲人成网站在线观看播放| 久久久精品94久久精品| 一级毛片aaaaaa免费看小| 97超视频在线观看视频| av在线老鸭窝| 深夜精品福利| 久久久精品大字幕| 长腿黑丝高跟| 精品国内亚洲2022精品成人| 亚洲内射少妇av| 亚洲在线自拍视频| 国产亚洲91精品色在线| 99热精品在线国产| 国产一区二区在线av高清观看| 国产又黄又爽又无遮挡在线| 97超视频在线观看视频| 天堂影院成人在线观看| 久久久久久伊人网av| 国产久久久一区二区三区| 欧美bdsm另类| 国产精品久久电影中文字幕| 久久这里只有精品中国| 在线播放国产精品三级| 国产精品一及| 精品久久久久久久久久免费视频| 亚洲18禁久久av| 久久人妻av系列| 亚洲av.av天堂| 亚洲不卡免费看| 最新中文字幕久久久久| 国产久久久一区二区三区| 久久精品久久久久久噜噜老黄 | 亚洲国产色片| 日韩人妻高清精品专区| 国产麻豆成人av免费视频| ponron亚洲| 国内精品宾馆在线| 成人av一区二区三区在线看| 国产麻豆成人av免费视频| 在线观看av片永久免费下载| 精品无人区乱码1区二区| 男人舔奶头视频| 午夜激情福利司机影院| 国产男靠女视频免费网站| 99热全是精品| 日韩欧美精品v在线| 免费看av在线观看网站| 日韩中字成人| 国产中年淑女户外野战色| av福利片在线观看| 插阴视频在线观看视频| 亚洲成人av在线免费| 嫩草影院精品99| 日韩大尺度精品在线看网址| 亚洲熟妇熟女久久| 亚洲人成网站在线观看播放| 成人漫画全彩无遮挡| 国产午夜精品论理片| 日韩欧美免费精品| 婷婷亚洲欧美| 在线观看午夜福利视频| 不卡一级毛片| 国产麻豆成人av免费视频| 波多野结衣高清无吗| 日本撒尿小便嘘嘘汇集6| 欧美日本亚洲视频在线播放| 女的被弄到高潮叫床怎么办| 久久精品夜夜夜夜夜久久蜜豆| 别揉我奶头 嗯啊视频| 国产蜜桃级精品一区二区三区| 99久久成人亚洲精品观看| 91麻豆精品激情在线观看国产| 观看免费一级毛片| 国产黄a三级三级三级人| 亚洲丝袜综合中文字幕| 舔av片在线| 国产伦一二天堂av在线观看| 久久6这里有精品| 一个人看的www免费观看视频| videossex国产| 成人特级黄色片久久久久久久| 亚洲欧美清纯卡通| 一区二区三区高清视频在线| 久久久久性生活片| 婷婷色综合大香蕉| 99久久成人亚洲精品观看| 亚洲一级一片aⅴ在线观看| 精品一区二区三区av网在线观看| 国国产精品蜜臀av免费| 亚洲成av人片在线播放无| 少妇裸体淫交视频免费看高清| 国产精品乱码一区二三区的特点| 久久午夜福利片| 欧美三级亚洲精品| 国产美女午夜福利| 精品人妻视频免费看| 亚洲精品456在线播放app| 男女下面进入的视频免费午夜| 亚洲第一电影网av| a级毛色黄片| 久久亚洲国产成人精品v| 九九久久精品国产亚洲av麻豆| 午夜激情福利司机影院| 成人特级黄色片久久久久久久| 欧美激情在线99| 18+在线观看网站| 久久人人爽人人爽人人片va| 国产乱人偷精品视频| 美女免费视频网站| 日本撒尿小便嘘嘘汇集6| 色哟哟哟哟哟哟| 最后的刺客免费高清国语| 看免费成人av毛片| 欧美一区二区亚洲| 天堂av国产一区二区熟女人妻| 黑人高潮一二区| 国产乱人偷精品视频| 五月伊人婷婷丁香| 亚洲成人久久爱视频| 国产极品精品免费视频能看的| 午夜福利在线观看吧| 天天一区二区日本电影三级| 免费看美女性在线毛片视频| 国产成人freesex在线 | 亚洲欧美精品自产自拍| 久久九九热精品免费| av天堂中文字幕网| 亚洲高清免费不卡视频| 人妻夜夜爽99麻豆av| 一级黄片播放器| 美女免费视频网站| 国产aⅴ精品一区二区三区波| 天堂动漫精品| 亚洲天堂国产精品一区在线| 男人舔女人下体高潮全视频| 亚洲精品乱码久久久v下载方式| 亚洲欧美成人综合另类久久久 | 久久6这里有精品| 国产视频一区二区在线看| 麻豆成人午夜福利视频| 色在线成人网| 国产在视频线在精品| 亚洲内射少妇av| 成人永久免费在线观看视频| 中国美女看黄片| 成人av一区二区三区在线看| 免费看av在线观看网站| 香蕉av资源在线| 国产av麻豆久久久久久久| 国产精品女同一区二区软件| 在线观看66精品国产| 国产淫片久久久久久久久| 2021天堂中文幕一二区在线观| 国产精品久久电影中文字幕| 免费高清视频大片| 91在线观看av| 精品久久久久久久末码| 22中文网久久字幕| 亚洲av不卡在线观看| 免费不卡的大黄色大毛片视频在线观看 | 久久热精品热| 99久国产av精品| 亚洲一级一片aⅴ在线观看| 中文字幕av在线有码专区| 两个人视频免费观看高清| 欧美日韩一区二区视频在线观看视频在线 | 国产精品爽爽va在线观看网站| 搞女人的毛片| 最近手机中文字幕大全| 日产精品乱码卡一卡2卡三| 内地一区二区视频在线| 国产黄a三级三级三级人| 欧美激情国产日韩精品一区| 午夜免费激情av| 波多野结衣高清无吗| 亚洲人成网站在线播| 国产亚洲91精品色在线| 国产免费男女视频| 最后的刺客免费高清国语| 又粗又爽又猛毛片免费看| 成人亚洲精品av一区二区| 五月玫瑰六月丁香| 国产精品99久久久久久久久| 日本一二三区视频观看| 免费看a级黄色片| 99久久成人亚洲精品观看| 久久精品综合一区二区三区| 大香蕉久久网| 国产人妻一区二区三区在| 日本色播在线视频| 午夜精品一区二区三区免费看| 超碰av人人做人人爽久久| 波野结衣二区三区在线| 热99re8久久精品国产| 午夜a级毛片| 成人一区二区视频在线观看| 国产高清有码在线观看视频| av在线蜜桃| 国产精品久久久久久久久免| 波多野结衣高清作品| 精品少妇黑人巨大在线播放 | 免费观看人在逋| 国产精品久久久久久久电影| 成人av在线播放网站| 男女啪啪激烈高潮av片| 免费在线观看成人毛片| 99国产极品粉嫩在线观看| 国产人妻一区二区三区在| 亚洲av中文av极速乱| 午夜激情欧美在线| 1000部很黄的大片| 三级毛片av免费| 日韩欧美精品v在线| 干丝袜人妻中文字幕| 五月伊人婷婷丁香| 亚洲av电影不卡..在线观看| 精品人妻视频免费看| 一卡2卡三卡四卡精品乱码亚洲| 国内揄拍国产精品人妻在线| 别揉我奶头 嗯啊视频| 丰满人妻一区二区三区视频av| 精品久久久噜噜| 一级毛片电影观看 | 一级a爱片免费观看的视频| 97超级碰碰碰精品色视频在线观看| 人人妻人人澡欧美一区二区| 免费在线观看成人毛片| 91av网一区二区| 国产精品永久免费网站| 国产精品久久久久久精品电影| 国产精品一区二区免费欧美| 黑人高潮一二区| 99热精品在线国产| 国产精品爽爽va在线观看网站| 国产精品亚洲美女久久久| 亚洲七黄色美女视频| 伊人久久精品亚洲午夜| 日日干狠狠操夜夜爽| 亚洲av五月六月丁香网| 亚洲高清免费不卡视频| 99视频精品全部免费 在线| 99riav亚洲国产免费| 两个人的视频大全免费| 亚洲成人久久爱视频| 国产男靠女视频免费网站| 极品教师在线视频| www.色视频.com| 人妻丰满熟妇av一区二区三区| 久久久久久国产a免费观看| 尾随美女入室| 精品免费久久久久久久清纯| 三级经典国产精品| 国产亚洲精品久久久com| 22中文网久久字幕| 女人被狂操c到高潮| 欧美日韩精品成人综合77777| 免费黄网站久久成人精品| 日韩欧美三级三区| 免费一级毛片在线播放高清视频| 欧美性猛交╳xxx乱大交人| 亚洲国产精品合色在线| 午夜老司机福利剧场| 久久久久久九九精品二区国产| 成人鲁丝片一二三区免费| 日韩制服骚丝袜av|