• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    歐盟《人工智能法案》的域外效力研究

    2025-04-03 00:00:00謝焱葉知秋
    電子知識產(chǎn)權(quán) 2025年1期

    摘要:人工智能技術(shù)的廣泛應(yīng)用對社會、經(jīng)濟、法律等領(lǐng)域產(chǎn)生了深遠影響,引發(fā)了一系列亟待解決的法律問題。歐盟在《通用數(shù)據(jù)保護條例》成功實施的基礎(chǔ)上,推出《人工智能法案》,旨在擴大其域外效力。該法案域外效力可以解構(gòu)為“投放地標準”和“效果原則”:前者根據(jù)歐盟境內(nèi)的活動程度設(shè)定監(jiān)管義務(wù),后者則基于在歐盟內(nèi)產(chǎn)生的實質(zhì)性影響及受影響者位置拓展管轄范圍。然而,長臂管轄的實施面臨著挑戰(zhàn),需平衡各國法律差異,尊重他國主權(quán),同時緊跟技術(shù)發(fā)展步伐,確保既促進創(chuàng)新又有效管理風(fēng)險。為此,歐盟需加強國際合作,通過對話協(xié)商與標準互認,共同構(gòu)建適應(yīng)人工智能時代的國際法律秩序。這將有助于促進全球科技治理的完善,確保人工智能技術(shù)的健康發(fā)展。

    關(guān)鍵詞:人工智能法案;歐盟;域外管轄權(quán);域外效力

    一、從《通用數(shù)據(jù)保護條例》到《人工智能法案》

    (一)歐盟《人工智能法案》的立法背景

    近年來,人工智能技術(shù)取得了顯著進展,尤其是在深度學(xué)習(xí)、自然語言處理等領(lǐng)域,大語言模型如GPT系列的出現(xiàn)更是引發(fā)了廣泛關(guān)注。這些技術(shù)的廣泛應(yīng)用對社會、經(jīng)濟、法律等多個領(lǐng)域產(chǎn)生了深遠影響,德國勞工部長海爾(Hubertus Heil)預(yù)測,最遲到2035年,世界上將沒有與人工智能應(yīng)用無關(guān)的工作。與此同時,人工智能技術(shù)的普及也暴露出一系列潛在風(fēng)險,如侵犯個人隱私、影響就業(yè)、加劇社會不平等,甚至威脅公共安全和國家安全。因此,為應(yīng)對人工智能的機遇與挑戰(zhàn),制定和完善針對人工智能技術(shù)的監(jiān)管措施已成為必要之舉。

    為促進人工智能安全發(fā)展,世界各國都在積極推進相關(guān)監(jiān)管立法。歐盟《人工智能法案》的立法進程并非一蹴而就。2021年4月,歐盟委員會(Europe Commission)提出了《關(guān)于制定人工智能的協(xié)調(diào)規(guī)則并修改相關(guān)聯(lián)盟立法的歐洲議會和歐盟理事會條例的提議》,該提議先后經(jīng)歐盟理事會和歐洲議會談判審議,于2024年2月2日獲得27個成員國代表一致通過,形成了歐盟《人工智能法案》(EU AI Act,以下簡稱《法案》)。 2024年3月12日,《人工智能法案》(Artificial Intelligence Act, Regulation[EU]2024/1689)正式推出,《法案》為歐盟區(qū)域性國際公約,對歐盟內(nèi)所有成員國具有規(guī)范效力。2024年8月1日,該法正式生效,總則條款、包括法案的范圍、定義等基礎(chǔ)條款將在法案生效6個月后開始正式實施。

    歐盟長期致力于構(gòu)建全面的數(shù)字法律體系,包括《通用數(shù)據(jù)保護條例》(以下簡稱GDPR)、《數(shù)字市場法》《數(shù)字服務(wù)法》等一系列法律法規(guī)。其中GDPR是對20世紀90年代以來數(shù)據(jù)隱私立法的強化和現(xiàn)代化。GDPR通過嚴格的數(shù)據(jù)保護標準,賦予個體更多對個人數(shù)據(jù)的控制權(quán),以應(yīng)對數(shù)字經(jīng)濟帶來的隱私挑戰(zhàn)。該法不僅在歐盟境內(nèi)產(chǎn)生影響,還在全球范圍內(nèi)提高了數(shù)據(jù)保護標準,促使企業(yè)在數(shù)據(jù)透明度和用戶權(quán)利管理方面進行深度改革,引發(fā)了“布魯塞爾效應(yīng)”。而《法案》正是歐盟數(shù)字法律框架下的重要補充。

    《法案》聚焦于管理人工智能技術(shù)的風(fēng)險與發(fā)展,旨在保護個人和社會免受人工智能技術(shù)的潛在威脅,同時促進技術(shù)創(chuàng)新。通過對人工智能應(yīng)用進行風(fēng)險分類及設(shè)立嚴格的責任和透明性標準,歐盟希望在保障安全與倫理之下,推動負責任的人工智能技術(shù)發(fā)展,從而繼續(xù)在全球科技治理中發(fā)揮引領(lǐng)作用。

    (二)從GDPR到《人工智能法案》域外效力的演進

    GDPR是在數(shù)字經(jīng)濟重塑人類生活的大背景下歐盟數(shù)據(jù)治理改革的重要立法成果,也是迄今為止全球范圍內(nèi)最具影響力的個人數(shù)據(jù)保護立法之一。該法適用于全球范圍內(nèi)處理歐盟數(shù)據(jù)主體個人數(shù)據(jù)的公司,不僅提高了全球的數(shù)據(jù)保護標準,也促使企業(yè)在數(shù)據(jù)透明度和用戶權(quán)利管理方面進行深度改革。

    自2018年實施以來,GDPR引起的“布魯塞爾效應(yīng)”受到理論和實務(wù)界的廣泛關(guān)注,歐盟在該法中制定了備受爭議的“目標指向”標準,以“數(shù)據(jù)主體”與本國的聯(lián)系擴張GDPR的保護范疇及實效,防范他國政府和個人對區(qū)域內(nèi)個人數(shù)據(jù)的不當獲取和處理。隨著人工智能的崛起,歐盟意識到僅關(guān)注數(shù)據(jù)保護已不足以應(yīng)對人工智能技術(shù)帶來的復(fù)雜倫理和社會挑戰(zhàn),因此制定了《法案》?!斗ò浮吩诶^承GDPR域外效力的基礎(chǔ)上,進一步擴展了適用范圍。《法案》第2條適用范圍條款指出,在歐盟市場中開發(fā)、投放或使用人工智能系統(tǒng),無論這些系統(tǒng)是由歐盟內(nèi)還是歐盟外的開發(fā)者創(chuàng)建的,都適用本法。由此可見,《法案》采用了類似于GDPR在全球范圍內(nèi)的應(yīng)用模式。為確保其法律影響力跨越國界,《法案》不僅強調(diào)了其對歐盟內(nèi)企業(yè)的約束力,也明確規(guī)定,只要人工智能系統(tǒng)的輸出影響了歐盟市場或用戶,該系統(tǒng)的開發(fā)者就必須遵守歐盟的法律和規(guī)定,即使該主體位于歐盟之外。

    歐盟通過對個人數(shù)據(jù)權(quán)利的嚴格保護,形成了對人工智能的源頭規(guī)制模式,而《法案》所涉范圍更廣?!斗ò浮逢P(guān)注從人工智能系統(tǒng)開發(fā)到部署的整個生命周期,這包括風(fēng)險分類思路、產(chǎn)品規(guī)制路徑、負責任創(chuàng)新和實驗主義治理理念等,旨在應(yīng)對突出的算法黑箱問題,確保投放到歐盟市場的人工智能系統(tǒng)及其使用的安全性。這一演變反映出,歐盟不僅將數(shù)據(jù)視作個人隱私載體而重點關(guān)注,還著眼于人工智能技術(shù)本身的潛在風(fēng)險和影響,強調(diào)技術(shù)創(chuàng)新與社會責任之間的平衡。這些要求不僅適用于歐盟境內(nèi)的企業(yè),也適用于那些向歐盟市場提供人工智能產(chǎn)品或服務(wù)的非歐盟企業(yè)。因此,《法案》的域外效力在承接GDPR的基礎(chǔ)上,更加強調(diào)了全球人工智能企業(yè)風(fēng)險管理和合規(guī)要求的重要性。

    總的來說,人工智能法案繼承了GDPR域外效力的基本框架,并結(jié)合人工智能技術(shù)的特殊性和風(fēng)險性進行擴展和完善,體現(xiàn)了歐盟在數(shù)據(jù)保護和人工智能監(jiān)管方面的持續(xù)努力和創(chuàng)新。

    二、《人工智能法案》的域外管轄效力

    (一)域外效力問題的提出

    如前文所述,《法案》的域外效力并非憑空設(shè)計,而是基于GDPR立法上的經(jīng)驗和借鑒。但需要明確的是,《法案》的域外效力并不僅僅局限于傳統(tǒng)的數(shù)據(jù)保護或算法歧視等領(lǐng)域,還涉及更為復(fù)雜的法律問題,如大數(shù)據(jù)殺熟、個人信息保護、訓(xùn)練數(shù)據(jù)使用以及著作專利權(quán)屬認定等,其影響力遠遠超出了單一國家的邊界,對全球治理體系提出了新的挑戰(zhàn)。這些問題的解決,不僅需要專屬管轄和管轄權(quán)的明確,更需要對人工智能法案域外效力的深入研究。

    在全球化背景下,人工智能法案的域外效力研究不能孤立進行,而應(yīng)結(jié)合具體的法律問題和語境,與其他部門法相互參照,以實現(xiàn)更加全面和深入的理解。通過對《法案》的域外效力條款進行詳細解讀,具體分析其地域范圍的適用標準和規(guī)制思路,以評估《法案》域外效力的實施效果和可行性,并反思設(shè)立域外效力的合理性、適用性和潛在影響。本研究不僅對歐盟內(nèi)部的法律實踐具有重要意義,也為全球范圍內(nèi)人工智能的法律規(guī)制提供了參考和啟示。

    (二)域外效力分析路徑

    《法案》第2(1)條界定了該法的適用條款(scope),其中(a),(c),(g)項涉及非歐盟地域內(nèi)的域外效力條款。這些條款明確指出了哪些人工智能系統(tǒng)相關(guān)主體的市場行為將落入《法案》的適用范圍,也是本文展開具體闡釋的對象。

    基于國際法中的管轄原則和歐盟內(nèi)部市場一體化的需求,可將《法案》所涉及的域外效力分為以下兩大標準:其一,根據(jù)“投放地”標準,即根據(jù)人工智能系統(tǒng)相關(guān)主體的“投放地”來確定歐盟是否對此擁有管轄權(quán)。只要“投放市場地(placing on the market)/投入運行地(putting into service)”位于歐盟境內(nèi),無論其實際經(jīng)營設(shè)立場所在何處,均適用本條例。其二,依據(jù)“效果原則”,無論人工智能系統(tǒng)所涉主體是否位于歐盟境內(nèi),只要其系統(tǒng)“產(chǎn)生的產(chǎn)出(produced output)”作用于歐盟范圍內(nèi);又或者根據(jù)(g)條款,若在歐盟境內(nèi)存在受影響的主體(affected person),則該人工智能系統(tǒng)同樣受《法案》的管轄。

    需要指出的是,“投放地”標準中,有學(xué)者將“putting into service”譯為“提供服務(wù)地”,筆者認為該譯法可能會引起歧義。原因在于,此處譯為“提供服務(wù)地”無法明確該“提供服務(wù)”是否特指人工智能“服務(wù)型”產(chǎn)品,抑或是為歐盟境內(nèi)人工智能用戶提供的“某種服務(wù)”?“服務(wù)”一詞的范圍又應(yīng)如何界定?為了澄清這一問題,本研究回顧了《法案》的德語譯本,德語譯本中的用語為“in Betrieb nehmen”,該詞在德語中為功能性動詞,表達的含義為“把某物投入生產(chǎn),開始使用某物”,可以譯為“投入運行”。同時參考了法語版本為“ou mettent en service”,進而發(fā)現(xiàn),英文和法文的service含有“(機器)的使用”一意。因此為了避免對原文意的曲解,本文建議將“putting into service”翻譯為“將人工智能投放市場或投入運行”。在后續(xù)的討論中,將采用這一翻譯,并在此基礎(chǔ)上進一步探討“投放市場”及“投入運行”的具體含義。

    本文根據(jù)分析的標準及其所涉域外管轄元素、對應(yīng)條款制作下表1,以便讀者查閱對照。

    三、投放地標準的域外效力

    (一)受監(jiān)管者的范圍

    歐盟在GDPR中主要對兩類角色施加合規(guī)義務(wù):數(shù)據(jù)控制者(data controllers)和數(shù)據(jù)處理者(data processors)。而《法案》的適用主體不僅涵蓋了人工智能系統(tǒng)的開發(fā)者和使用者,還包括了所有可能對人工智能系統(tǒng)產(chǎn)生影響或受到其影響的實體。這包括從產(chǎn)品開發(fā)、設(shè)計到最終使用的所有階段,但如前文所述,2(1)(a)及2(1)(c)兩條具有明確域外效力的條款主要涉及“提供者”(provider)及“部署者”(deployer)兩個法律主體。鑒于《法案》對“提供者”和“部署者”施加了不同程度的監(jiān)管義務(wù),且對于“提供者”和“部署者”的劃分采用事實認定的方式,因此,對于“提供者”和“部署者”的準確識別和區(qū)分至關(guān)重要,這要求我們首先明確兩者之間的區(qū)別與聯(lián)系。

    根據(jù)《法案》第3(3)條,“提供者”是指“開發(fā)人工智能系統(tǒng)或通用人工智能模型,或已開發(fā)人工智能系統(tǒng)或通用人工智能模型,并將其投放市場或以自己的名義或商標提供服務(wù)的自然人或法人、公共機關(guān)、機構(gòu)或其他團體,無論有償還是無償”;而“部署者”根據(jù)《法案》序言第13條可解釋為“在授權(quán)之下使用人工智能系統(tǒng)的任何自然人或法人,包括公共機關(guān)、機構(gòu)或其他團體,但在個人的非職業(yè)活動中使用人工智能系統(tǒng)的情況除外”。簡而言之,兩者之間的區(qū)別在于:“提供者”一般直接參與到人工智能的委托創(chuàng)造和設(shè)計中;“部署者”主要對“提供者”提供的人工智能系統(tǒng)或者模型進行整合管理,或在其業(yè)務(wù)范圍內(nèi)使用人工智能系統(tǒng)。

    但該主體的區(qū)分可能在實踐中存在界限不清或者認定困難的問題。鑒于《法案》側(cè)重于監(jiān)管“提供者”的義務(wù),對“部署者”施加的義務(wù)較輕,企業(yè)可能會通過外包設(shè)計等策略試圖規(guī)避作為“提供者”的法律責任,但實踐中,對于“提供者”“部署者”的認定是基于事實行為,而非基于合同的約定。舉例來說,如果一家公司對其“投放市場”或僅“以其名義”投入使用的人工智能系統(tǒng)進行大量定制化開發(fā),即使開發(fā)活動完全外包,該實體也可能被認定為“提供者”。因為即使開發(fā)活動被外包,原始品牌持有者或市場推動者仍需對其產(chǎn)品的質(zhì)量和安全性負責。同樣,如果一家人工智能“部署者”企業(yè)在收到他人提供的人工智能產(chǎn)品后又進行了實質(zhì)上的修改,導(dǎo)致其最終向客戶提供的人工智能系統(tǒng)與原始系統(tǒng)存在實質(zhì)性差異,那么該“部署者”也可能被認定為是“提供者”。換句話說,對于角色的認定更多的是基于對產(chǎn)品最終形態(tài)的實質(zhì)性影響,而非僅僅基于產(chǎn)品的最初來源,而這種認定原則有助于實現(xiàn)《法案》對人工智能產(chǎn)品來源合規(guī)性和安全性控制的目的。

    除此之外,還有幾類主體也將受到《法案》的監(jiān)管:進口商,指任何位于或在歐盟成立的組織,將帶有歐盟境外實體名稱的人工智能系統(tǒng)投放市場;分銷商,指除了“提供者”或“進口商”之外,任何為“在歐盟市場分銷或使用”而提供人工智能系統(tǒng)或通用人工智能模型的組織。分銷商不需要是人工智能價值鏈中首次向歐盟市場發(fā)布人工智能系統(tǒng)或通用人工智能模型的組織。對于產(chǎn)品制造商的概念,《法案》沒有明確定義,而是在《法案》附件I中通過引用歐盟協(xié)調(diào)立法來進行定義。產(chǎn)品制造商指的是以自己的名稱或者商標,與其產(chǎn)品一起在歐盟市場提供、分銷或使用人工智能系統(tǒng)的主體。授權(quán)代表,作為歐盟境外提供者與歐盟當局和消費者之間的中介,是任何接受提供者書面授權(quán)的歐盟組織,代替提供者履行《法案》所規(guī)定的相關(guān)義務(wù)。

    在司法實踐中,對于法律主體資格的確定,不應(yīng)僅僅依賴于合同的約定,而應(yīng)基于實際行為和事實進行認定,這在處理涉及歐盟市場的跨境企業(yè)時顯得尤為重要。域外企業(yè)在進入歐盟市場時,必須對其自身的法律地位和角色有明確的認識,并在人工智能系統(tǒng)或模型的開發(fā)、部署以及商業(yè)化過程中,對其商業(yè)行為進行準確的法律定性。

    (二)“投放地”標準的域外效力

    根據(jù)2(1)(a)條款,只要是在歐盟境內(nèi)將人工智能系統(tǒng)投放市場或提供服務(wù)或?qū)⑼ㄓ萌斯ぶ悄苣P屯斗攀袌龅奶峁┱?,無論這些提供者是設(shè)立于還是位于歐盟境內(nèi)或者第三國,均受到《法案》管轄。在屬地管轄原則的視角下,可以認為“投放市場地/投入運行地”構(gòu)成了一個主張管轄權(quán)的連接因素,簡述為“投放地”標準。

    1.“人工智能系統(tǒng)”和“通用人工智能模型”的區(qū)別

    首先需要明確的是,“投放地”標準主要適用于“提供者”,而不包含“部署者”。其次,對于“提供者”,《法案》規(guī)定了以下兩種情形:其一是將人工智能系統(tǒng)(AI-system)投放市場或投入運行的提供者;其二是將通用人工智能模型(GPAI)投放市場的提供者??梢钥吹剑藢m用主體的區(qū)分外,《法案》還對“人工智能系統(tǒng)”和“通用人工智能模型”這兩種不同類型的人工智能產(chǎn)品施加了不同程度的監(jiān)管義務(wù)。因此,在進一步闡釋何為“投放地”標準,何為“投放市場”和“投入運行”前,有必要先明確人工智能系統(tǒng)和通用人工智能模型的區(qū)別,這對于理解《法案》為何對兩種產(chǎn)品在投入運行這一行為上采取不同程度的監(jiān)管措施至關(guān)重要。

    根據(jù)《法案》定義,人工智能系統(tǒng)(AI-system)是“一種基于機器的系統(tǒng),設(shè)計為以不同程度的自主性運行,在部署后可能表現(xiàn)出適應(yīng)性,并且為了明確或隱含的目標,從其接收的輸入中推斷如何生成可影響物理或虛擬環(huán)境的輸出,如預(yù)測、內(nèi)容、建議或決定”。通用人工智能模型是指“這樣一個人工智能模型,包括在使用大量數(shù)據(jù)進行大規(guī)模自我監(jiān)督訓(xùn)練時,無論該模型以何種方式投放市場,都顯示出顯著的通用性,能夠勝任各種不同的任務(wù),并可集成到各種下游系統(tǒng)或應(yīng)用中”。結(jié)合以上定義和實踐中的運用可以看出,人工智能系統(tǒng)通常指的是一個綜合性的系統(tǒng),它不僅包括人工智能模型,還可能包含用戶界面、軟件和硬件組件等,旨在實現(xiàn)特定的功能或服務(wù)。例如,Amazon的算法推薦系統(tǒng)和Siri虛擬助手便是人工智能系統(tǒng)的典型代表;而“通用人工智能模型”更強調(diào)其通用性,通用模型并非專為單一或特定的應(yīng)用場景設(shè)計,而是能夠被應(yīng)用于多種不同的環(huán)境和任務(wù)中。通用模型可以被不同的用戶在下游重復(fù)使用和調(diào)整,用戶可以向預(yù)先存在的人工智能模型提供新的學(xué)習(xí)數(shù)據(jù),通過微調(diào)技術(shù)以優(yōu)化性能,就像在相同的產(chǎn)品上貼上不同的標簽,再瞄準特定的客戶群。例如,GPT-4.0作為一個通用人工智能模型,可以被應(yīng)用于多種自然語言處理任務(wù)。

    相較于人工智能系統(tǒng),通用人工智能模型有更高的系統(tǒng)性風(fēng)險,因為功能強大的模型可能會在不同的場景中被廣泛適用,如果一個通用模型含有算法偏見或缺陷,這將可能導(dǎo)致嚴重的事故,或者被濫用于網(wǎng)絡(luò)攻擊中,損害廣大使用者的權(quán)益,造成嚴重的社會影響。因此,對于“通用人工智能模型”的監(jiān)管態(tài)度、通用人工智能模型提供者和部署者之間的責任分配,以及利益相關(guān)方之間的權(quán)益平衡等問題,需要進行更為細致和審慎的考量。

    2.“投放市場”和“投入運行”

    《法案》第3條對“投放市場”和“投入運行”進行了定義?!巴斗攀袌觥笔侵浮霸跉W盟市場上首次提供人工智能系統(tǒng)或通用人工智能模型”;“投入運行”指的是“將人工智能系統(tǒng)直接提供給部署者首次使用,或供其在聯(lián)盟內(nèi)按預(yù)定目的自用”。其中,“預(yù)定目的(intended purpose)”是指“提供者在使用說明、宣傳或銷售材料和聲明以及技術(shù)文件中提供的信息所規(guī)定的人工智能系統(tǒng)的預(yù)期用途,包括具體的使用環(huán)境和條件”。而由于通用人工智能模型具備“萬金油”的特性,具有強大的下游適應(yīng)性,這將導(dǎo)致提供者難以對其適用范圍進行明確的界定,從技術(shù)角度來說,對這類模型的預(yù)定用途進行精確限定可能是不切實際的。在《法案》的立法歷程中,斯洛文尼亞輪值主席曾提出一項折中提案,建議在《法案》中增加一個新的標題(IVA)和第(52a)條,將“通用人工智能系統(tǒng)”排除在“預(yù)定目的”(intended purpose)的定義之外。從目前的最終版本來看,“通用人工智能模型”的確被排除在了“預(yù)定目的”范圍外,在“預(yù)定目的”規(guī)定中僅涉及了“人工智能系統(tǒng)”。

    但實際上,將通用人工智能模型排除在“預(yù)定目的”的定義之外減輕人工智能模型提供者在開發(fā)過程中的法律約束,這一做法對于部署者,即人工智能模型的下游用戶來說,可能會帶來額外的合規(guī)負擔。此外,由于下游用戶缺乏對通用人工智能模型的開發(fā)流程及技術(shù)特點的深入了解,盡管提供者會提供一些幫助,但也很可能將部署者置于相對被動和消極的處境中,使其有效尋求補救的手段和措施。在ALLAI做出的一份有關(guān)人工智能法案適用范圍的報告中也提及,尤其對于發(fā)展中的小企業(yè)和初創(chuàng)公司來說,這實際上存在扼殺創(chuàng)新而不是支持創(chuàng)新的風(fēng)險。

    綜上,《法案》對于人工智能系統(tǒng)和通用人工智能模型在“投放市場”和“投入運行”行為上的區(qū)分,實際上是對人工智能開發(fā)、設(shè)計及使用過程中的不同主體的利益平衡的結(jié)果,體現(xiàn)了其立法的主觀意圖,即以犧牲部分下游用戶的法律穩(wěn)定性為代價,從而在一定程度上減輕通用人工智能模型提供者的法律義務(wù),促進通用人工智能模型開發(fā)企業(yè)的創(chuàng)新。對于《法案》的域外管轄效力而言,開發(fā)不同的人工智能產(chǎn)品給予了企業(yè)進入歐盟市場的不同條件,相較于人工智能系統(tǒng)開發(fā)者,通用人工智能模型的提供者只需遵守“投放市場”行為對應(yīng)的法律義務(wù),而無需在“預(yù)期目的、使用環(huán)境和條件”上受到過多的限制。

    四、“效果”原則的域外效力

    “效果”原則主張,法律的適用應(yīng)基于行為或產(chǎn)品的實際影響和后果,而不僅僅局限于其發(fā)生或開發(fā)的地理位置。這一原則在《法案》中得到了體現(xiàn),具體表現(xiàn)在兩個方面:首先,它強調(diào)人工智能系統(tǒng)的產(chǎn)出對歐盟市場和公民的實際影響,無論這些系統(tǒng)在哪里開發(fā)或運行。即便一個人工智能系統(tǒng)是在非歐盟國家研發(fā)和執(zhí)行的,只要其產(chǎn)生的產(chǎn)出——例如數(shù)據(jù)分析、自動化決策或其他形式的技術(shù)輸出——在歐盟境內(nèi)被實際使用或?qū)W盟市場產(chǎn)生影響,那么根據(jù)效果原則,該系統(tǒng)必須遵循歐盟的法律和標準。其次,根據(jù)效果原則,法律管轄權(quán)的確定并不依賴于人工智能系統(tǒng)的物理位置,而是依據(jù)其產(chǎn)出的影響力。這種管轄權(quán)的確定方式擴展了歐盟法律的適用范圍,使得在全球范圍內(nèi)影響歐盟的人工智能系統(tǒng)都需符合歐盟法規(guī)。這反映了歐盟對商業(yè)活動的實質(zhì)性關(guān)注,而不是形式上的地域限制,從而確保了對歐盟消費者的權(quán)益和市場公平的有效保護。通過效果原則的應(yīng)用,歐盟能夠?qū)θ蚱髽I(yè)施加法律責任,要求他們在人工智能系統(tǒng)設(shè)計和運營中考慮可能帶來的每一個實際影響。這不僅確保了在歐盟內(nèi)使用的所有人工智能技術(shù)都符合規(guī)范,還推動了全球科技公司在跨國合規(guī)和數(shù)據(jù)安全方面的積極努力。

    然而,此前歐盟將效果原則作為個人數(shù)據(jù)保護立法理論依據(jù)的合理性就已經(jīng)在學(xué)術(shù)界引發(fā)了廣泛的質(zhì)疑。批評者認為,網(wǎng)絡(luò)空間的特性使得以“效果原則”為基礎(chǔ)的管轄權(quán)過于模糊與廣泛。在經(jīng)濟全球化和網(wǎng)絡(luò)全球互聯(lián)的背景下,國家對網(wǎng)絡(luò)活動的聯(lián)系變得普遍而復(fù)雜。如果各國都依據(jù)效果原則進行立法,可能會導(dǎo)致頻繁的管轄權(quán)沖突,因為理論上幾乎每個國家都可能聲稱對某些數(shù)字行為或數(shù)據(jù)處理活動有管轄權(quán)。無獨有偶,該原則在《法案》中也存在類似的爭議。

    在《法案》中,(c)條款中的“產(chǎn)生的產(chǎn)出(produced 'output' used in EU)”以及(g)條款中的“受影響者(affected oerson located in EU)”都可以視為效果原則的體現(xiàn),接下來就文本進行具體的闡釋:

    (一)“產(chǎn)生的產(chǎn)出”

    與GDPR第 3(2) 條對境外實體的管轄原則類似,《法案》序言第22條明確指出:“本條例也應(yīng)適用于在第三國設(shè)立的人工智能系統(tǒng)的提供者和部署者,只要這些系統(tǒng)產(chǎn)生的輸出結(jié)果意圖在歐盟境內(nèi)使用(intended to be used)”。這個表述側(cè)重于人工智能系統(tǒng)的產(chǎn)出或結(jié)果,無論這些結(jié)果是通過數(shù)據(jù)分析、決策支持系統(tǒng)、自動化流程還是其他形式呈現(xiàn),只要這些產(chǎn)出“意圖”在歐盟境內(nèi)被使用,就會受到《法案》的規(guī)制。這種定義使得法律的適用范圍不僅限于歐盟內(nèi)的人工智能系統(tǒng),也涵蓋那些雖然在歐盟外開發(fā)和運行但對歐盟市場和居民產(chǎn)生影響的系統(tǒng)。

    然而,同樣就“產(chǎn)生的產(chǎn)出”進行立法規(guī)定的第2(1)(c)條在用語上與序言略有不同:“本法適用于場所位于第三國或者位于第三國的人工智能系統(tǒng)提供者和部署者,其系統(tǒng)產(chǎn)生的產(chǎn)出用于歐盟”。與序言第22條相比,第 2(1)(c)條去除了“意圖”要素,而是規(guī)定,只要系統(tǒng)的輸出在歐盟使用,無論是否有意圖使用,都受到《法案》的約束。

    此處用語上的細微差別可能導(dǎo)致不同的法律適用,即“主觀意圖”是否應(yīng)成為該規(guī)定適用的要件之一。如果采用的是第2(1)(c)的法律用語,則表明,《法案》相較于GDPR,已經(jīng)不再考量主體的主觀意圖,而是取決于客觀事實。即使歐盟境外的提供者/部署者沒有意圖將其人工智能系統(tǒng)或者通用人工智能模型在歐盟境內(nèi)使用,該主體也可能受人工智能法案的約束。目前對于“意圖”是否應(yīng)該作為該條的構(gòu)成要件之一尚無定論,但可以預(yù)見的是,未來法律實踐中對于“意圖”的判斷將可能成為個案中爭議的焦點。

    為進一步說明《法案》中“產(chǎn)出的產(chǎn)出”如何實現(xiàn)其域外效力,我們可以構(gòu)建一個假想的案例:假設(shè)有一家注冊于美國的科技公司名為TechVision,該公司開發(fā)了一種基于人工智能的招聘系統(tǒng),旨在幫助企業(yè)篩選求職者。這個系統(tǒng)利用大數(shù)據(jù)分析和機器學(xué)習(xí)算法,為雇主提供關(guān)于候選人職位匹配度的建議。TechVision的系統(tǒng)主要在美國開發(fā)和執(zhí)行,但其業(yè)務(wù)擴展至全球客戶,其中包括多家歐盟企業(yè)。在歐盟境內(nèi),歐盟一家跨國企業(yè)采用了TechVision的人工智能招聘系統(tǒng)來輔助其進行員工招聘。盡管系統(tǒng)在美國運行并由TechVision在美國維護和更新,但分析結(jié)果直接被歐盟的這家企業(yè)用于實際的招聘決策。根據(jù)《法案》,由于該人工智能系統(tǒng)的產(chǎn)出(招聘決策)在歐盟境內(nèi)被使用,TechVision公司必須確保其系統(tǒng)的輸出符合歐盟的規(guī)定,即便其系統(tǒng)的主要運行和管理是在美國。為了符合《法案》的要求,TechVision需要證明其人工智能模型符合歐盟在數(shù)據(jù)處理、透明度、公平性及非歧視性方面的要求。此外,該公司可能還需對人工智能系統(tǒng)進行獨立的技術(shù)審核,以確保算法沒有偏見,并且產(chǎn)出結(jié)果是可解釋的。如果TechVision的系統(tǒng)因未能滿足合規(guī)要求導(dǎo)致在歐盟市場產(chǎn)生不良后果,如招聘過程中存在歧視行為,TechVision將可能收到歐盟的法律和監(jiān)管部門的調(diào)查,并承擔相應(yīng)的法律責任。此案例展示了即使TechVision的地理位置位于歐盟之外,但因為其人工智能系統(tǒng)的產(chǎn)出在歐盟境內(nèi)被使用,根據(jù)《法案》的域外效力,TechVision仍須承擔相應(yīng)的合規(guī)責任。

    在該案例情形下,我們看到了人工智能行業(yè)所涉及的多方法律問題。一方面,人工智能產(chǎn)品既需要符合GDPR對于數(shù)據(jù)的相關(guān)規(guī)定,還需要滿足《法案》所要求的透明度和非歧視等要求,而目前美國和歐盟對于人工智能企業(yè)的管理顯現(xiàn)出不同的兩個方向,企業(yè)在合規(guī)方面需要投入更多的人力物力以滿足兩方要求。另一方面,在實踐中對于域外效力的范圍還存在較大不確定性,例如,哪些產(chǎn)出應(yīng)落入《法案》所規(guī)定的“產(chǎn)生的產(chǎn)出”中?是否要區(qū)分人工智能系統(tǒng)的產(chǎn)出是決定性還是輔助性的?如何判斷TechVision是否有主觀上將該系統(tǒng)運用于歐盟的“意圖”?這些問題的不確定性也增加了法律適用的復(fù)雜性。

    (二)“受影響者”

    除了2(c)條款外,《法案》的2(g)條款表明,該法同樣適用于“位于歐盟內(nèi)的受影響者”,在理解“受影響者(affected persons located in EU)”這一概念時,需要明確的是,該條適用的是歐盟境內(nèi)可能受到人工智能系統(tǒng)產(chǎn)出影響的“個人”?!斗ò浮冯m沒有對“受影響者”施加義務(wù),但是受影響的自然人可以對人工智能生命周期中的所有實體行使其權(quán)利,包括部署者、提供者等。該條可以視作對2(1)(c)條款的補充,盡管位于第三國的人工智能企業(yè)可能沒有意圖將其產(chǎn)生的產(chǎn)出在歐盟境內(nèi)進行使用,但如果企業(yè)活動最終通過某些途徑對歐盟境內(nèi)自然人造成影響,仍應(yīng)受到《法案》的管轄。

    其具體內(nèi)涵可從以下幾個方面進一步闡釋:首先,“受影響者”(affected persons)范圍廣泛,不僅限于直接與人工智能系統(tǒng)交互的人,也包括那些因這些系統(tǒng)的決策或行動間接受到影響的個體。例如,一個人工智能招聘系統(tǒng)既影響招聘者的判斷,也影響被篩選的求職者的就業(yè)機會。其次,所受的影響包括積極和消極影響,如改善產(chǎn)品、因算法偏見而導(dǎo)致的不公平待遇等。因此,法律所指的“受影響”范圍涵蓋任何由人工智能系統(tǒng)直接或間接導(dǎo)致的效果,包括潛在的隱私侵犯、歧視或其他人權(quán)問題。

    此外,該條款所體現(xiàn)的管轄原則不局限于歐盟地理邊界之內(nèi)。具體而言,該條款中的“位于歐盟”(located in EU)的概念,涵蓋了所有在歐盟境內(nèi)與人工智能系統(tǒng)產(chǎn)生交互的個體,無論這些交互發(fā)生于何地。這意味著,即便人工智能技術(shù)在全球范圍實施,其對歐盟內(nèi)個體的影響仍需遵循歐盟的法律和標準。通過這樣的規(guī)定,歐盟在法規(guī)中體現(xiàn)了對其境內(nèi)所有居民權(quán)益的保護,不論這些影響來自境內(nèi)或境外開發(fā)的系統(tǒng)。這種對“受影響者”的界定和保護確保了任何對歐盟居民有實質(zhì)影響的技術(shù)應(yīng)用,尤其是人工智能系統(tǒng),都必須符合嚴格的法律和道德標準,保障其權(quán)益不受侵犯。

    綜上所述,該條款尤其體現(xiàn)了《法案》的域外效力,即便人工智能系統(tǒng)是由非歐盟企業(yè)開發(fā)并在歐盟外運行,只要其對歐盟境內(nèi)個人產(chǎn)生影響,仍適應(yīng)《法案》。這突破了傳統(tǒng)法規(guī)的地域界限,覆蓋了所有直接或間接影響歐盟居民的人工智能主體行為。這種全面性增強了法規(guī)的域外效力,體現(xiàn)了法規(guī)對技術(shù)影響的全面性和前瞻性,也是該法在技術(shù)與人權(quán)之間相權(quán)衡的體現(xiàn)。

    五、《人工智能法案》域外效力影響

    (一)域外管轄條款與他國法律的沖突

    首先,在國際法領(lǐng)域,管轄權(quán)沖突始終是一個核心問題?!伴L臂管轄”的有效性不僅依賴于國家的綜合實力,還取決于立法的速度與先后,更關(guān)鍵在于法律規(guī)范能否切實回應(yīng)特定社會需求。他山之石,雖可以攻玉,但在比較法的研究范疇內(nèi),應(yīng)當避免采取簡單“拿來主義”策略,而是基于各國的法律體系、社會文化背景進行深入分析。不同國家和地區(qū)在人工智能治理上的路徑和措施各異,反映了各國技術(shù)發(fā)展水平、社會需求和價值取向的差異?!斗ò浮匪?guī)定的域外效力在理想狀態(tài)下確實所涉甚廣,但其在世界范圍內(nèi)能產(chǎn)生的影響力,取決于其是否滿足各國在價值共識、產(chǎn)業(yè)發(fā)展、技術(shù)進步以及包括消費者在內(nèi)的社會公共需求。如果一部歐盟法能夠滿足這些需求,就不存在所謂的“布魯塞爾效應(yīng)”,而是達成了最具輻射力的共識。值得注意的是,在探討人工智能法規(guī)的域外適用性時,我們?nèi)詫⒚媾R多方面的法律挑戰(zhàn)。

    各主權(quán)國家的意識形態(tài)和法律框架方面的調(diào)整與發(fā)展仍處于一個動態(tài)且不確定的階段。盡管《布萊切利宣言》(Bletchley Declaration)作為綱領(lǐng)性文件已經(jīng)達成了力求推動人工智能的安全、負責任和倫理性的發(fā)展的共識,但實質(zhì)性的法律沖突和主權(quán)沖突可能成為域外效力實施的潛在障礙?!斗ò浮分羞^于嚴苛的標準會對“布魯塞爾效應(yīng)”的實現(xiàn)產(chǎn)生負面影響:歐盟的標準如果被認為過于繁重或滯后,則可能會被忽視或繞過。例如,《法案》中對于“受影響者”所受的影響究竟如何界定?效果原則施加的過重監(jiān)管是否符合技術(shù)發(fā)展趨勢及各國發(fā)展理念?法律條文的定義與解釋在不同國家間還可能引發(fā)理解上的分歧,這種情況在涉及國家核心監(jiān)管政策時尤其顯得尖銳,需要在主權(quán)與國際合作之間進行細致的平衡。此外,文化和社會背景的差異也可能造成某些法律精神在不同地區(qū)的誤解或偏離。例如,隱私保護在歐美國家與亞洲國家的關(guān)注點和執(zhí)行力度存在顯著差異,從目前歐盟和美國之間就人工智能企業(yè)關(guān)于“軟法”和“硬法”的不同立法態(tài)度上也可見一斑。

    可以預(yù)見的是,國際企業(yè)在遵守不同國家的法規(guī)時將面臨巨大挑戰(zhàn),進而阻礙跨國貿(mào)易和科技合作的順暢進行。為了有效應(yīng)對這種挑戰(zhàn),各國需在制定和實施涉及跨國效力的數(shù)字法規(guī)時,尋求國際合作與妥協(xié),以實現(xiàn)全球治理的協(xié)同效應(yīng)。

    (二)域外管轄條款與需求市場的適配

    在全球化背景下,基于對歐盟市場的需求和技術(shù)市場規(guī)模的現(xiàn)實考量,企業(yè)往往不得不遵守其法律法規(guī)以維持市場準入。盡管如此,企業(yè)合規(guī)意愿與現(xiàn)實需求之間的張力不容忽視。在《通用數(shù)據(jù)保護條例》(GDPR)生效后的半年內(nèi),歐盟的中小企業(yè)在融資方面遭遇了顯著挑戰(zhàn),而大型企業(yè)則因合規(guī)優(yōu)勢而獲益。這一現(xiàn)象凸顯了在法規(guī)實施初期,不同規(guī)模企業(yè)在適應(yīng)性上的差異??梢灶A(yù)見,隨著《法案》的施行企業(yè)合規(guī)的成本與負擔將呈現(xiàn)出經(jīng)濟和法律的雙重挑戰(zhàn)。盡管域外適用性為全球人工智能法規(guī)的制定提供了明確框架,但其實施仍需克服這些法律障礙。國際社會需要通過積極的對話和跨境合作,在尊重各國主權(quán)和文化差異的基礎(chǔ)上的共同解決方案,以協(xié)作構(gòu)建更加一致和有效的全球人工智能治理機制。

    如若《法案》中的限制標準與產(chǎn)業(yè)促進措施實現(xiàn)了良好平衡,則該法可能會成為增強歐盟相關(guān)競爭力和影響力的利器。歐盟可以成功地將自己確立為人工智能監(jiān)管的規(guī)范設(shè)定者,以此增強其在國際談判中的地位,還可為其他國家設(shè)立先例。但在“布魯塞爾效應(yīng)”嚴格標準的要求下,法律規(guī)則與現(xiàn)實需求的適配與否是否會成為掣肘“布魯塞爾效應(yīng)”的因素還尚未可知。例如,有觀點認為《法案》對人工智能技術(shù)施以嚴格的監(jiān)管要求,將使開發(fā)者面臨高昂的合規(guī)成本和不成比例的責任風(fēng)險,導(dǎo)致創(chuàng)新企業(yè)和投資者將業(yè)務(wù)和資金轉(zhuǎn)移至歐盟以外地區(qū)。如前文所述,雖然通用人工智能模型的提供者可以在預(yù)定目的上有較大的靈活性,但人工智能系統(tǒng)的提供者仍需要滿足較高的合規(guī)要求。并且,由于法案將監(jiān)管責任轉(zhuǎn)移到了歐盟內(nèi)的部署者身上,在企業(yè)合作、業(yè)務(wù)流轉(zhuǎn)過程中對于各方義務(wù)的銜接需要各主體仔細磋商,以免對各國家主體間的市場流動以及技術(shù)創(chuàng)新產(chǎn)生不利影響。因此,歐盟還需基于國際通行的治理原則,確保該法的推行與合規(guī)的成本可控,防止主權(quán)國家回應(yīng)寥寥、相關(guān)主體切割市場,從而阻礙《法案》的全球推廣。

    六、結(jié)語

    《人工智能法案》的域外效力彰顯了歐盟在人工智能領(lǐng)域立法的前瞻性和廣泛影響力。該法案的適用范圍不僅覆蓋了歐盟境內(nèi)的人工智能活動,還通過其寬泛的域外管轄條款,對全球范圍內(nèi)的人工智能系統(tǒng)和相關(guān)活動施加了法律約束。然而,這種寬泛性也帶來了實施上的復(fù)雜性和挑戰(zhàn),其在實踐中可能會引發(fā)管轄權(quán)沖突、法律的不確定性,以及阻礙跨國貿(mào)易和科技合作。為了有效應(yīng)對這些挑戰(zhàn),國際社會必須通過加強合作與尋求妥協(xié),建立一個清晰、一致的法律框架。這一框架應(yīng)當有益于減少法律沖突,明確各方的權(quán)利與義務(wù),同時促進國家間法律協(xié)調(diào)與合作。通過這種方式,可以為全球人工智能的治理提供一個穩(wěn)定且可預(yù)測的法律環(huán)境,從而支持技術(shù)創(chuàng)新和國際貿(mào)易的健康發(fā)展。在構(gòu)建這一框架的過程中,應(yīng)當考慮到不同國家和地區(qū)在法律傳統(tǒng)、文化背景、經(jīng)濟發(fā)展水平以及技術(shù)能力方面的差異。此外,還需要確保法律框架的靈活性,以適應(yīng)人工智能技術(shù)的快速進步和不斷變化的市場需求。通過國際合作,可以共同探討和制定適應(yīng)性強、普遍接受的法律規(guī)范,以促進全球人工智能的健康發(fā)展和有效治理。

    Study on the Extraterritorial Effectiveness of the AI Act

    Abstract: The wide application of artificial intelligence technology has had a far-reaching impact on society, economy, law and other fields, triggering a series of legal issues that need to be resolved. Based on the successful implementation of GDPR, the EU has introduced the Artificial Intelligence Act, aiming to expand its extraterritorial effect. The Act’s extraterritoriality can be deconstructed into the ‘place of delivery standard’ and the ‘effects principle’: the former creates regulatory obligations based on the extent of activity within the EU, while the latter expands the scope of jurisdiction based on the substantive impacts and location of those affected within the EU. However, the implementation of the long-arm jurisdiction faces challenges in balancing differences in national laws and respecting the sovereignty of other countries, while at the same time keeping pace with technological developments to ensure that it promotes innovation and effectively manages risks. To this end, the EU needs to strengthen international cooperation and jointly build an international legal order adapted to the AI era through dialogue, consultation and mutual recognition of standards. This will help promote the improvement of global science and technology governance and ensure the healthy development of AI technology for the benefit of all mankind.

    Keywords: Artificial Intelligence; EU; Extraterritorial Jurisdiction; Extraterritorial Effect

    亚洲,一卡二卡三卡| 欧美在线黄色| 香蕉丝袜av| 91国产中文字幕| 又粗又硬又长又爽又黄的视频| 久久 成人 亚洲| 成人二区视频| 欧美激情 高清一区二区三区| av.在线天堂| 国产国语露脸激情在线看| 国产成人av激情在线播放| 秋霞在线观看毛片| 国产成人一区二区在线| 久久久久久久久久久久大奶| 亚洲内射少妇av| 2021少妇久久久久久久久久久| 久久久久久久国产电影| videosex国产| 成人国产麻豆网| 欧美精品国产亚洲| 天堂8中文在线网| 五月天丁香电影| 老女人水多毛片| 90打野战视频偷拍视频| 美女国产视频在线观看| 久久国内精品自在自线图片| 新久久久久国产一级毛片| 国产白丝娇喘喷水9色精品| 日本色播在线视频| 在线观看免费高清a一片| 18禁动态无遮挡网站| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 少妇被粗大猛烈的视频| 啦啦啦视频在线资源免费观看| 999精品在线视频| 日韩在线高清观看一区二区三区| 波多野结衣一区麻豆| 综合色丁香网| 国产精品蜜桃在线观看| 亚洲经典国产精华液单| 十分钟在线观看高清视频www| 久久午夜福利片| 老熟女久久久| 日本-黄色视频高清免费观看| 成人国产av品久久久| 最近中文字幕高清免费大全6| 可以免费在线观看a视频的电影网站 | 性少妇av在线| 美女主播在线视频| 人人妻人人澡人人看| 色吧在线观看| 久久久精品94久久精品| 91在线精品国自产拍蜜月| 国语对白做爰xxxⅹ性视频网站| 中文乱码字字幕精品一区二区三区| 丰满饥渴人妻一区二区三| 亚洲精品国产av蜜桃| 久久国产精品男人的天堂亚洲| 免费看不卡的av| 亚洲经典国产精华液单| 一级,二级,三级黄色视频| 国产男人的电影天堂91| 麻豆精品久久久久久蜜桃| 亚洲欧美成人精品一区二区| 欧美亚洲 丝袜 人妻 在线| 国产视频首页在线观看| 国产精品蜜桃在线观看| 精品国产乱码久久久久久男人| 国产97色在线日韩免费| 日韩免费高清中文字幕av| 在线观看人妻少妇| 精品福利永久在线观看| 久久热在线av| 久热久热在线精品观看| 欧美日韩综合久久久久久| 日韩一卡2卡3卡4卡2021年| 亚洲婷婷狠狠爱综合网| 久久狼人影院| 欧美日韩成人在线一区二区| 在线观看美女被高潮喷水网站| 另类精品久久| 国产高清不卡午夜福利| 中国三级夫妇交换| 亚洲一区中文字幕在线| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 一本久久精品| 两个人免费观看高清视频| 日韩人妻精品一区2区三区| 国产视频首页在线观看| 免费看av在线观看网站| 免费大片黄手机在线观看| 99香蕉大伊视频| 91精品国产国语对白视频| 日日啪夜夜爽| 在线天堂最新版资源| 久久久久视频综合| 欧美日韩av久久| 亚洲美女黄色视频免费看| 久久综合国产亚洲精品| 乱人伦中国视频| 欧美日韩一区二区视频在线观看视频在线| 欧美精品av麻豆av| 三上悠亚av全集在线观看| 成人亚洲精品一区在线观看| 啦啦啦在线观看免费高清www| a 毛片基地| 宅男免费午夜| 91aial.com中文字幕在线观看| 久久青草综合色| 久久久久久人妻| 国产有黄有色有爽视频| 久久ye,这里只有精品| 免费看av在线观看网站| 中文字幕人妻丝袜制服| 搡老乐熟女国产| 国产精品久久久久久精品古装| 久久鲁丝午夜福利片| 亚洲欧美成人综合另类久久久| 欧美日韩国产mv在线观看视频| av在线老鸭窝| 成人亚洲精品一区在线观看| 国产精品成人在线| 中国三级夫妇交换| 亚洲国产最新在线播放| 国产亚洲av片在线观看秒播厂| 熟女电影av网| 成人国语在线视频| 欧美国产精品va在线观看不卡| 亚洲第一av免费看| 边亲边吃奶的免费视频| 国产精品欧美亚洲77777| 侵犯人妻中文字幕一二三四区| 久久久欧美国产精品| 在线观看免费日韩欧美大片| 午夜免费鲁丝| 人妻少妇偷人精品九色| 秋霞在线观看毛片| 涩涩av久久男人的天堂| a级片在线免费高清观看视频| 精品国产露脸久久av麻豆| 黄片无遮挡物在线观看| 免费不卡的大黄色大毛片视频在线观看| 中文字幕av电影在线播放| 在线 av 中文字幕| 新久久久久国产一级毛片| 99国产精品免费福利视频| 老鸭窝网址在线观看| 七月丁香在线播放| 人人澡人人妻人| 国产成人aa在线观看| 欧美97在线视频| 亚洲一区二区三区欧美精品| 丝袜美足系列| 国产成人午夜福利电影在线观看| 少妇人妻久久综合中文| 人妻系列 视频| 女性生殖器流出的白浆| 一区二区av电影网| 亚洲 欧美一区二区三区| 欧美日韩精品网址| 亚洲图色成人| 久久久欧美国产精品| 纵有疾风起免费观看全集完整版| 一边亲一边摸免费视频| 夜夜骑夜夜射夜夜干| 亚洲成人一二三区av| 欧美变态另类bdsm刘玥| 成年美女黄网站色视频大全免费| 人人妻人人澡人人看| 久久久久久久久免费视频了| 秋霞在线观看毛片| 亚洲精品久久成人aⅴ小说| 一级毛片黄色毛片免费观看视频| 日韩制服骚丝袜av| 日韩成人av中文字幕在线观看| 日韩 亚洲 欧美在线| 国产日韩欧美亚洲二区| 精品酒店卫生间| 成人黄色视频免费在线看| 伦理电影免费视频| 在线 av 中文字幕| 久久久a久久爽久久v久久| 国产一区二区激情短视频 | 亚洲综合色网址| 国产精品嫩草影院av在线观看| 男女午夜视频在线观看| 亚洲成人av在线免费| 精品国产乱码久久久久久小说| 亚洲四区av| 人妻一区二区av| 日韩制服骚丝袜av| 免费看av在线观看网站| 中文天堂在线官网| av国产精品久久久久影院| 一个人免费看片子| av福利片在线| 一二三四在线观看免费中文在| 欧美激情极品国产一区二区三区| 男女高潮啪啪啪动态图| 天天躁狠狠躁夜夜躁狠狠躁| 美女主播在线视频| 韩国av在线不卡| 老司机影院毛片| 免费av中文字幕在线| 18禁观看日本| 免费高清在线观看视频在线观看| 超碰成人久久| 成人免费观看视频高清| 国产精品一区二区在线不卡| 国产精品久久久av美女十八| 一区在线观看完整版| 日韩欧美精品免费久久| tube8黄色片| 日韩一本色道免费dvd| 国产一区二区 视频在线| 麻豆精品久久久久久蜜桃| 国产精品香港三级国产av潘金莲 | 超碰97精品在线观看| 亚洲国产精品999| 久久99精品国语久久久| 国产精品一区二区在线不卡| 久久人人爽人人片av| 赤兔流量卡办理| 男女啪啪激烈高潮av片| 97在线视频观看| 亚洲欧美精品综合一区二区三区 | 亚洲欧美成人综合另类久久久| 欧美精品亚洲一区二区| 欧美激情高清一区二区三区 | 国产精品一区二区在线不卡| 最近2019中文字幕mv第一页| 成年动漫av网址| 女人久久www免费人成看片| 久久精品国产自在天天线| 啦啦啦中文免费视频观看日本| 欧美 日韩 精品 国产| 国产探花极品一区二区| 一区在线观看完整版| 啦啦啦在线免费观看视频4| 久久久久久久大尺度免费视频| 美女高潮到喷水免费观看| 欧美人与性动交α欧美精品济南到 | 欧美精品av麻豆av| 婷婷色av中文字幕| 人人妻人人澡人人爽人人夜夜| 少妇的丰满在线观看| 国产片特级美女逼逼视频| 亚洲第一av免费看| 高清黄色对白视频在线免费看| 色吧在线观看| videossex国产| 天天躁狠狠躁夜夜躁狠狠躁| 精品福利永久在线观看| 国产人伦9x9x在线观看 | 日韩av不卡免费在线播放| 精品一区在线观看国产| 少妇熟女欧美另类| 亚洲国产精品999| 欧美日韩视频精品一区| 日韩成人av中文字幕在线观看| 黄色 视频免费看| 精品国产一区二区三区久久久樱花| 校园人妻丝袜中文字幕| 亚洲成人一二三区av| 国产成人精品福利久久| 一级毛片 在线播放| 超碰97精品在线观看| av网站免费在线观看视频| 欧美日韩国产mv在线观看视频| 欧美人与善性xxx| www.精华液| 国产日韩欧美亚洲二区| 亚洲国产av影院在线观看| 久久久久久免费高清国产稀缺| 交换朋友夫妻互换小说| 中文字幕精品免费在线观看视频| 夫妻性生交免费视频一级片| 午夜福利视频精品| 国产成人精品福利久久| 久久精品久久精品一区二区三区| 尾随美女入室| 国产精品免费大片| 日韩视频在线欧美| 日韩制服骚丝袜av| 九九爱精品视频在线观看| 只有这里有精品99| 亚洲欧美日韩另类电影网站| 欧美精品一区二区大全| 99久国产av精品国产电影| 人人妻人人澡人人爽人人夜夜| 人人澡人人妻人| 精品人妻在线不人妻| 极品人妻少妇av视频| 超碰97精品在线观看| 亚洲激情五月婷婷啪啪| 黄色视频在线播放观看不卡| 天天操日日干夜夜撸| 99九九在线精品视频| 久久鲁丝午夜福利片| 亚洲av电影在线观看一区二区三区| 久久国产精品男人的天堂亚洲| 少妇人妻久久综合中文| 999久久久国产精品视频| 国产精品国产三级专区第一集| 国产精品嫩草影院av在线观看| 免费高清在线观看日韩| 精品卡一卡二卡四卡免费| 久久鲁丝午夜福利片| 久久热在线av| 午夜福利,免费看| 丰满乱子伦码专区| 80岁老熟妇乱子伦牲交| 国产精品欧美亚洲77777| 亚洲第一av免费看| 国产男人的电影天堂91| 国产色婷婷99| 久久久国产一区二区| 91成人精品电影| 亚洲美女视频黄频| 亚洲美女搞黄在线观看| 视频区图区小说| 婷婷成人精品国产| 国产精品无大码| 少妇熟女欧美另类| 1024视频免费在线观看| 亚洲五月色婷婷综合| 欧美精品人与动牲交sv欧美| 热99国产精品久久久久久7| 夫妻性生交免费视频一级片| 亚洲欧美一区二区三区久久| 99国产综合亚洲精品| 精品少妇内射三级| 成人亚洲精品一区在线观看| 王馨瑶露胸无遮挡在线观看| 久久国产精品大桥未久av| 日日摸夜夜添夜夜爱| 在线精品无人区一区二区三| 久久久久久久精品精品| 精品人妻熟女毛片av久久网站| 国产片内射在线| 久久久精品免费免费高清| 在线观看三级黄色| 青春草视频在线免费观看| 国产精品人妻久久久影院| 国产亚洲av片在线观看秒播厂| 亚洲国产av影院在线观看| 国产爽快片一区二区三区| 日韩中字成人| 丝瓜视频免费看黄片| 成人国产麻豆网| 久久久久久久国产电影| 少妇人妻 视频| 国产欧美日韩一区二区三区在线| 又大又黄又爽视频免费| 日韩制服丝袜自拍偷拍| 亚洲av男天堂| 少妇精品久久久久久久| 成年女人毛片免费观看观看9 | 最近手机中文字幕大全| 肉色欧美久久久久久久蜜桃| 99久国产av精品国产电影| av.在线天堂| 夜夜骑夜夜射夜夜干| 在线天堂最新版资源| 人妻人人澡人人爽人人| 国产免费福利视频在线观看| 亚洲国产精品成人久久小说| 精品人妻偷拍中文字幕| 三级国产精品片| 免费高清在线观看视频在线观看| 婷婷色av中文字幕| 国产一区二区三区av在线| 精品国产超薄肉色丝袜足j| 街头女战士在线观看网站| 日韩一区二区三区影片| 日本色播在线视频| 自线自在国产av| 日本wwww免费看| 久久精品国产鲁丝片午夜精品| 精品国产一区二区久久| 极品少妇高潮喷水抽搐| 亚洲国产欧美在线一区| 秋霞伦理黄片| 久久影院123| 人妻一区二区av| 人人妻人人添人人爽欧美一区卜| 看免费成人av毛片| 丝袜美足系列| 天堂中文最新版在线下载| 国产精品嫩草影院av在线观看| 亚洲一码二码三码区别大吗| 在线免费观看不下载黄p国产| 丝袜人妻中文字幕| 超碰97精品在线观看| 欧美人与性动交α欧美精品济南到 | 纯流量卡能插随身wifi吗| 国产av码专区亚洲av| 精品第一国产精品| 午夜福利乱码中文字幕| 亚洲一级一片aⅴ在线观看| 日韩制服丝袜自拍偷拍| 汤姆久久久久久久影院中文字幕| 99久国产av精品国产电影| 波野结衣二区三区在线| 人人澡人人妻人| 免费看不卡的av| 国产精品免费大片| 丝袜喷水一区| 日韩一卡2卡3卡4卡2021年| 飞空精品影院首页| 丝袜人妻中文字幕| 欧美日韩精品网址| 寂寞人妻少妇视频99o| 一本久久精品| 久久鲁丝午夜福利片| 国产亚洲午夜精品一区二区久久| 日韩视频在线欧美| 亚洲av男天堂| 自线自在国产av| 欧美日韩一级在线毛片| 亚洲国产欧美日韩在线播放| 超色免费av| av女优亚洲男人天堂| av.在线天堂| 亚洲欧美清纯卡通| 国产av码专区亚洲av| 国产成人a∨麻豆精品| 免费看不卡的av| √禁漫天堂资源中文www| 黑人巨大精品欧美一区二区蜜桃| 制服诱惑二区| 国产精品免费视频内射| 肉色欧美久久久久久久蜜桃| 午夜免费鲁丝| 欧美变态另类bdsm刘玥| 一本色道久久久久久精品综合| 18禁观看日本| 国产一区二区三区av在线| 亚洲欧美日韩另类电影网站| 在线看a的网站| 丝袜美足系列| 亚洲国产日韩一区二区| 久久综合国产亚洲精品| 两个人免费观看高清视频| xxx大片免费视频| 国产日韩欧美亚洲二区| 国产国语露脸激情在线看| 欧美亚洲日本最大视频资源| 国产精品 国内视频| 女性被躁到高潮视频| 在线天堂最新版资源| 99久久综合免费| av有码第一页| 亚洲国产欧美网| 亚洲av日韩在线播放| 亚洲欧美一区二区三区国产| 观看av在线不卡| videos熟女内射| 免费久久久久久久精品成人欧美视频| 伦精品一区二区三区| 热re99久久国产66热| 久久精品国产亚洲av高清一级| 亚洲精品第二区| 99香蕉大伊视频| 91成人精品电影| 国产精品 欧美亚洲| 99re6热这里在线精品视频| 日日爽夜夜爽网站| 1024香蕉在线观看| 国产精品 欧美亚洲| 精品人妻一区二区三区麻豆| 亚洲天堂av无毛| 国产乱来视频区| 伊人亚洲综合成人网| 亚洲av免费高清在线观看| 国产成人精品在线电影| 丰满迷人的少妇在线观看| 精品人妻在线不人妻| 亚洲内射少妇av| 欧美av亚洲av综合av国产av | 亚洲精品乱久久久久久| 亚洲伊人色综图| 视频区图区小说| 国产深夜福利视频在线观看| 啦啦啦在线观看免费高清www| 尾随美女入室| 日韩欧美精品免费久久| 日韩av在线免费看完整版不卡| 飞空精品影院首页| 国产麻豆69| 天天躁夜夜躁狠狠躁躁| 国产精品一国产av| 国产黄色视频一区二区在线观看| 国产女主播在线喷水免费视频网站| 国语对白做爰xxxⅹ性视频网站| 性高湖久久久久久久久免费观看| 人人妻人人添人人爽欧美一区卜| 国产毛片在线视频| 国产精品一区二区在线不卡| 午夜免费男女啪啪视频观看| 久久久精品94久久精品| 久久狼人影院| 亚洲国产欧美在线一区| 国产野战对白在线观看| 性少妇av在线| 精品人妻一区二区三区麻豆| 精品一区二区三区四区五区乱码 | 国产精品偷伦视频观看了| 日韩免费高清中文字幕av| 欧美成人午夜精品| 寂寞人妻少妇视频99o| 又黄又粗又硬又大视频| 色网站视频免费| 男男h啪啪无遮挡| 岛国毛片在线播放| 91精品国产国语对白视频| 精品酒店卫生间| 精品少妇内射三级| 免费在线观看完整版高清| 一边亲一边摸免费视频| 欧美av亚洲av综合av国产av | 日本色播在线视频| 女的被弄到高潮叫床怎么办| av又黄又爽大尺度在线免费看| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 国产av一区二区精品久久| 久久国产亚洲av麻豆专区| 最近最新中文字幕大全免费视频 | 亚洲国产最新在线播放| 精品国产乱码久久久久久男人| 国产精品免费大片| 少妇 在线观看| 久久精品国产a三级三级三级| 可以免费在线观看a视频的电影网站 | 我要看黄色一级片免费的| 成年美女黄网站色视频大全免费| 色婷婷久久久亚洲欧美| 日韩av在线免费看完整版不卡| 亚洲精品成人av观看孕妇| av在线观看视频网站免费| 婷婷成人精品国产| 日韩一卡2卡3卡4卡2021年| 亚洲国产看品久久| 成人18禁高潮啪啪吃奶动态图| 黄色一级大片看看| 99久久精品国产国产毛片| a级毛片在线看网站| 国产精品久久久久久精品古装| 超色免费av| 久久人人97超碰香蕉20202| 色吧在线观看| 日韩一区二区视频免费看| 两个人看的免费小视频| 久久精品国产亚洲av涩爱| 日本爱情动作片www.在线观看| 岛国毛片在线播放| 高清欧美精品videossex| 99国产精品免费福利视频| 国产av国产精品国产| 人人妻人人澡人人爽人人夜夜| 丝袜美足系列| 天天操日日干夜夜撸| 伊人久久大香线蕉亚洲五| 久久久精品94久久精品| 99国产综合亚洲精品| 久久久久久免费高清国产稀缺| 国产精品人妻久久久影院| 在线天堂中文资源库| 欧美日韩av久久| 亚洲国产av新网站| 久久亚洲国产成人精品v| 欧美人与性动交α欧美软件| 欧美人与性动交α欧美精品济南到 | 亚洲经典国产精华液单| 亚洲国产色片| 欧美精品一区二区免费开放| 中文字幕制服av| 99久久中文字幕三级久久日本| 久久国产精品男人的天堂亚洲| 免费av中文字幕在线| 伦精品一区二区三区| 91精品国产国语对白视频| 欧美日韩一区二区视频在线观看视频在线| 亚洲欧美中文字幕日韩二区| 亚洲人成电影观看| 久久久久久久国产电影| 一本—道久久a久久精品蜜桃钙片| 久久狼人影院| 亚洲精品av麻豆狂野| 亚洲精品视频女| 91成人精品电影| 久久精品久久精品一区二区三区| 久久免费观看电影| 精品亚洲成国产av| 啦啦啦中文免费视频观看日本| 国产精品 国内视频| 丁香六月天网| 免费观看性生交大片5| 亚洲激情五月婷婷啪啪| 国产亚洲av片在线观看秒播厂| 最近中文字幕高清免费大全6| 久久免费观看电影| 日本91视频免费播放| 一区二区三区四区激情视频| 亚洲精品自拍成人| 欧美av亚洲av综合av国产av | av线在线观看网站| 人人澡人人妻人| 电影成人av| 波多野结衣av一区二区av| 国产成人免费无遮挡视频| 免费女性裸体啪啪无遮挡网站| 久久人人爽人人片av| 久久这里只有精品19| 国产av一区二区精品久久|