• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能治理:從科技中心主義到科技人文協(xié)作

    2020-12-17 10:57:19曹建峰
    關(guān)鍵詞:治理跨學(xué)科倫理

    摘 要: 隨著人工智能技術(shù)的發(fā)展應(yīng)用,算法推薦、深度合成、人臉識別、自動駕駛汽車、人工智能醫(yī)療等成為現(xiàn)實(shí),但也引發(fā)了人們對隱私保護(hù)、算法歧視、安全與責(zé)任、技術(shù)濫用、社會倫理等問題的擔(dān)憂。呼吁加強(qiáng)人工智能治理成為2019年人工智能發(fā)展的主線之一,各國陸續(xù)出臺政策或立法對人工智能技術(shù)及其應(yīng)用進(jìn)行必要的監(jiān)管。人工智能監(jiān)管需要采取科技人文協(xié)作的方式,構(gòu)建多層次的治理體系,符合比例原則和利益平衡,確保實(shí)現(xiàn)安全、可信、負(fù)責(zé)任的人工智能。

    關(guān)鍵詞: 人工智能;治理;倫理;跨學(xué)科

    中圖分類號:TP18文獻(xiàn)標(biāo)識碼:A文章編號:1004-8634(2020)05-0098-(10)

    DOI:10.13852/J.CNKI.JSHNU.2020.05.011

    作為有望引領(lǐng)第四次工業(yè)革命、重塑經(jīng)濟(jì)社會發(fā)展形態(tài)的新興技術(shù),人工智能(AI)已經(jīng)成為全球科技競爭的焦點(diǎn)。2017年以來,全球30多個國家(如中、美、日、德、英等)和地區(qū)(如歐盟)已出臺了AI戰(zhàn)略,搶占技術(shù)、應(yīng)用和產(chǎn)業(yè)高地。(Future of Life Institute, “National and International AI Strategies”, Retrieved from https://futureoflife.org/national-international-ai-strategies/?cn-reloaded=1.)在此背景下,人工智能作為底層技術(shù)(如深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí))、功能性應(yīng)用(如人臉識別、語音識別)和應(yīng)用領(lǐng)域(如安防、交通、醫(yī)療)組成的產(chǎn)業(yè)生態(tài)系統(tǒng),正從互聯(lián)網(wǎng)領(lǐng)域加速擴(kuò)張滲透到實(shí)體經(jīng)濟(jì)等諸多領(lǐng)域和各行各業(yè),并與大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)(IoT)等深度融合,推動經(jīng)濟(jì)社會數(shù)字化、智能化發(fā)展,并塑造新的經(jīng)濟(jì)和社會形態(tài)。中國作為全球最大的互聯(lián)網(wǎng)市場,為人工智能的發(fā)展提供了肥沃的土壤,在數(shù)字世界與物理世界融合、人工智能與實(shí)體經(jīng)濟(jì)融合、從數(shù)字化到智能化轉(zhuǎn)型等背景下,人工智能新技術(shù)給中國經(jīng)濟(jì)社會的高質(zhì)量、可持續(xù)發(fā)展提供了前所未有的機(jī)遇,需要適宜的制度土壤來孕育面向未來的產(chǎn)業(yè)格局和國家競爭力。

    但在另一方面,人工智能的廣泛應(yīng)用,也引發(fā)了社會各界對人工智能的法律、倫理和社會影響的持續(xù)關(guān)注和激烈討論,呼吁重視AI倫理,加強(qiáng)AI治理,踐行科技向善,發(fā)展安全可信、負(fù)責(zé)任的人工智能。回顧2019年,AI倫理原則和AI倫理審查,以及AI算法決策、深度偽造和合成內(nèi)容、人臉識別、自動駕駛汽車和“城市空中出行”(UAM)、AI醫(yī)療等細(xì)分領(lǐng)域監(jiān)管,是全球人工智能治理的焦點(diǎn)話題,表明國內(nèi)外對人工智能治理的持續(xù)高度重視。總結(jié)各國經(jīng)驗(yàn),對人工智能需要采取多方主體共同參與的多元、多層次治理模式,從而構(gòu)筑適宜技術(shù)創(chuàng)新和產(chǎn)業(yè)發(fā)展的制度土壤,以打造面向未來的科技引擎。

    一、AI倫理和治理成基本共識,各界探索落地機(jī)制

    1.中美歐采取不同的AI路徑,創(chuàng)新與倫理平衡是AI治理的關(guān)鍵

    全球來看,中美歐是AI領(lǐng)域的主要“玩家”,代表著不同的發(fā)展路徑?;ヂ?lián)網(wǎng)等數(shù)字技術(shù)發(fā)展薄弱、在數(shù)字經(jīng)濟(jì)領(lǐng)域顯著落后于美國的歐盟,采取了更加側(cè)重立法和監(jiān)管的路徑,其AI戰(zhàn)略的三大支柱之一即“建立與人工智能發(fā)展和應(yīng)用相適應(yīng)的法律和倫理框架”。(曹建峰、方齡曼:《歐盟人工智能倫理與治理的路徑及啟示》,《人工智能》2019年第4期。)《通用數(shù)據(jù)保護(hù)條例》(General Data Protection Regulation,簡稱GDPR)影響著全球個人信息保護(hù)立法,歐盟希望在AI立法和監(jiān)管上成為全球的領(lǐng)導(dǎo)者。2019年歐盟不僅提出了系統(tǒng)性的倫理框架,而且開始醞釀人工智能的相關(guān)立法,以2019年4月發(fā)布的《可信AI倫理指南》和《關(guān)于構(gòu)筑對以人為本的人工智能的信任的通訊》等政策文件為代表。但歐盟對立法和監(jiān)管的過度強(qiáng)調(diào),能否最終轉(zhuǎn)化為其在AI技術(shù)、產(chǎn)業(yè)上的國際競爭力,是值得深入探討的。另外,就像通過GDPR、數(shù)字稅、互聯(lián)網(wǎng)反壟斷調(diào)查等一系列舉措來限制美國大型互聯(lián)網(wǎng)企業(yè)一樣,歐盟希望通過AI政策提升其自身競爭力的意圖也是不言而喻的。

    相反,美國作為AI領(lǐng)域的領(lǐng)頭羊,采取了輕監(jiān)管、促創(chuàng)新的路徑,以政策不阻礙AI技術(shù)和產(chǎn)業(yè)發(fā)展、降低創(chuàng)新的門檻和成本為優(yōu)先考慮,并在發(fā)展過程中采取漸進(jìn)式監(jiān)管而非激進(jìn)的監(jiān)管,來應(yīng)對新出現(xiàn)的問題。目前美國已在積極廢除或修訂交通、醫(yī)療等重點(diǎn)應(yīng)用領(lǐng)域內(nèi)限制、阻礙AI技術(shù)發(fā)展應(yīng)用的既有監(jiān)管規(guī)則。2019年2月,美國正式出臺AI戰(zhàn)略(其中提出制定AI監(jiān)管指南并設(shè)定AI治理標(biāo)準(zhǔn))。而且美國提出了聯(lián)邦政府參與、主導(dǎo)AI標(biāo)準(zhǔn)的系統(tǒng)性計(jì)劃。美國的國家人工智能戰(zhàn)略雖然姍姍來遲,但為表明在人工智能領(lǐng)域維持并鞏固其全球領(lǐng)導(dǎo)地位的決心,預(yù)計(jì)其將采取一系列措施和行動。例如,為了推動實(shí)施美國AI戰(zhàn)略,2020年1月美國聯(lián)邦政府發(fā)布了《人工智能應(yīng)用的監(jiān)管指南》,要求聯(lián)邦政府在針對人工智能技術(shù)和相關(guān)產(chǎn)業(yè)采取監(jiān)管和非監(jiān)管措施時,要以減少AI技術(shù)應(yīng)用的障礙、促進(jìn)技術(shù)創(chuàng)新為宗旨,《指南》同時提出了管理人工智能應(yīng)用的十大原則,并呼吁更多采用行業(yè)細(xì)分的政策指南或框架、試點(diǎn)項(xiàng)目和實(shí)驗(yàn)(如為AI應(yīng)用提供安全港)、自愿性的行業(yè)標(biāo)準(zhǔn)等非監(jiān)管的措施。因此可以預(yù)見,相比草率地推行強(qiáng)硬的立法和監(jiān)管,未來美國的AI政策會更加側(cè)重標(biāo)準(zhǔn)、指南等敏捷靈活的方式。

    就中國而言,除了密集出臺促進(jìn)人工智能發(fā)展的產(chǎn)業(yè)政策外,中國也已開始加強(qiáng)AI倫理、標(biāo)準(zhǔn)等方面的建設(shè),《新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的人工智能》回應(yīng)了國際社會對中國不重視AI倫理和治理的質(zhì)疑,國務(wù)院副總理劉鶴在2019年重慶智博會上提出了發(fā)展智能技術(shù)需要堅(jiān)持四個原則并呼吁“科技向善”。未來在AI治理上,中國需要結(jié)合自身產(chǎn)業(yè)發(fā)展實(shí)際,遵循促創(chuàng)新、促發(fā)展的路徑,同時采取多元化的方式防范技術(shù)的倫理風(fēng)險(xiǎn),避免偏向歐盟的強(qiáng)監(jiān)管模式給技術(shù)創(chuàng)新和產(chǎn)業(yè)發(fā)展形成掣肘。

    2.國際社會探索建立廣泛認(rèn)可的AI倫理原則,推進(jìn)敏捷靈活的AI治理

    國際層面,AI領(lǐng)域的競爭已從技術(shù)和產(chǎn)業(yè)應(yīng)用擴(kuò)張到國際規(guī)則的制定,尤其是AI倫理和治理規(guī)則的制定。2019年5月,經(jīng)濟(jì)合作與發(fā)展組織(OECD)成員國批準(zhǔn)了全球首個由各國政府簽署的AI原則——《負(fù)責(zé)任地管理可信AI的原則》,包括包容性增長、可持續(xù)發(fā)展和福祉原則,以人為本的價值觀和公平原則,透明性和可解釋性原則,穩(wěn)健性和安全可靠原則,以及責(zé)任原則。這些原則已被G20采納,今后有望成為AI領(lǐng)域的國際準(zhǔn)則。

    整體而言,從聯(lián)合國的“AI向善國際峰會”(AI for Good Global Summit)和推動建立“AI倫理國際對話”的努力到OECD和G20人工智能原則,國際層面的AI治理已進(jìn)入實(shí)質(zhì)性階段,初步確立了以人為本、安全可信、創(chuàng)新發(fā)展、包容普惠等基調(diào),以及敏捷靈活的治理理念。

    此外,根據(jù)世界知識產(chǎn)權(quán)組織(WIPO)的報(bào)告,科學(xué)知識和創(chuàng)新呈現(xiàn)出越來越全球化的趨勢。(WIPO, “World Intellectual Property Report (WIPR) 2019”, Retrieved from https://www.wipo.int/wipr/en/2019/.)在此背景下,為了實(shí)現(xiàn)可持續(xù)發(fā)展目標(biāo),AI領(lǐng)域的國際合作尤其重要。所以需要包容性、全球化的路徑。中國需要積極參與、主導(dǎo)AI領(lǐng)域的國際治理和國際規(guī)則制定,輸出AI倫理和治理理念,增強(qiáng)話語權(quán)。

    3.科技行業(yè)日益重視AI倫理,但落地機(jī)制仍需探索行業(yè)共識

    行業(yè)層面,互聯(lián)網(wǎng)、人工智能等數(shù)字技術(shù)的影響日益廣泛、縱深和復(fù)雜,對“科技向善”的呼吁已經(jīng)成為行業(yè)共識。在此背景下,微軟、谷歌、騰訊等國內(nèi)外主流科技公司紛紛提出各自的AI倫理原則,積極防范AI濫用風(fēng)險(xiǎn)并緩解AI應(yīng)用可能引發(fā)的負(fù)面問題。例如,騰訊在國內(nèi)率先提出“科技向善”理念,將其與“用戶為本”一起作為新的使命愿景,并提出人工智能研究與應(yīng)用需要遵循的“四可”(可用、可靠、可知、可控)原則。

    但對于以什么樣的方式和標(biāo)準(zhǔn)來落地AI倫理原則和要求,行業(yè)缺乏共識。倫理審查委員會作為科技行業(yè)開始探索的一種機(jī)制,目前存在較大爭議。2019年3月,谷歌成立外部顧問性質(zhì)的AI倫理委員會,但由于引發(fā)了較大爭議,不久之后便被解散。2019年谷歌子公司DeepMind也遣散了其AI醫(yī)療部門的倫理審查委員會。微軟則成立了內(nèi)部的AI倫理委員會,旨在制定內(nèi)部政策,確保AI業(yè)務(wù)和AI平臺符合其核心價值和原則并造福社會。中國已在組建國家科技倫理委員會,科技行業(yè)除在制定AI倫理原則外,還需要探索更具體的舉措,讓倫理原則真正落地到AI研究與應(yīng)用活動中,對技術(shù)和產(chǎn)業(yè)發(fā)展形成正向引導(dǎo)和規(guī)范。

    二、細(xì)分領(lǐng)域監(jiān)管持續(xù)推進(jìn),立法需合理平衡風(fēng)險(xiǎn)防范與發(fā)展訴求

    1.歐盟探索AI算法分類分級監(jiān)管機(jī)制,避免過度規(guī)制商業(yè)領(lǐng)域應(yīng)用

    AI算法自動化決策系統(tǒng)在數(shù)字內(nèi)容分發(fā)、在線廣告、電子商務(wù)、金融等領(lǐng)域的廣泛應(yīng)用,可以提高決策的效率、準(zhǔn)確性或者避免人類決策者自身可能持有的偏見,但也引發(fā)了社會各界對歧視、隱私、安全等問題的關(guān)注。中國和歐盟、加拿大等已在立法上對這些問題予以了回應(yīng)。

    中國《數(shù)據(jù)安全管理辦法》《個人信息安全規(guī)范》《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》等立法,針對定向推送、算法推薦、個性化展示、信息系統(tǒng)自動決策提出了要求,規(guī)范算法系統(tǒng)的應(yīng)用。(參見《數(shù)據(jù)安全管理辦法草案》第23條,《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》第12條,《個人信息安全規(guī)范的最新修訂草案》7.5、7.7。)例如,對于定向推送或個性化展示,要求標(biāo)明“定推”字樣或通過不同的欄目、板塊、頁面分別展示,并提供退出選項(xiàng)和信息刪除;開展定向推送活動禁止歧視、欺詐等;對于滿足條件的信息系統(tǒng)自動決策,建立個人信息安全影響評估和用戶投訴機(jī)制;個性化算法推薦體現(xiàn)主流價值導(dǎo)向,建立人工干預(yù)機(jī)制。

    歐盟的《通用數(shù)據(jù)保護(hù)條例》,從個人信息保護(hù)的角度,針對不存在人為干預(yù)的完全自動化決策(包括畫像)做出了規(guī)定,但其賦予個人拒絕權(quán)僅限于產(chǎn)生法律效果或類似重大效果的應(yīng)用場景,而非針對所有的應(yīng)用場景,因此并不約束新聞、廣告等數(shù)字內(nèi)容的算法推薦。其后,歐盟進(jìn)一步調(diào)整監(jiān)管思路,2019年4月發(fā)布的《算法責(zé)任與透明治理框架》提出建立分類分級監(jiān)管機(jī)制,且不要求對算法進(jìn)行公開或解釋。具體而言,在算法監(jiān)管方面,分類即針對政府和公共部門使用的算法系統(tǒng)和商業(yè)領(lǐng)域的算法系統(tǒng)建立不同的監(jiān)管,前者需要建立“算法影響評估”(Algorithmic Impact Assessment)機(jī)制;分級即對一般的商業(yè)算法系統(tǒng)采取事后追究法律責(zé)任的方式,但對具有與政府和公共部門算法系統(tǒng)應(yīng)用類似的重大影響的商業(yè)算法系統(tǒng)可考慮建立“算法影響評估”機(jī)制。這種做法能避免給企業(yè)帶來不成比例的成本和管理負(fù)擔(dān),有助于人工智能的發(fā)展應(yīng)用。2020年2月歐盟發(fā)布的《人工智能白皮書》呼吁,進(jìn)一步建立人工智能監(jiān)管框架,對“高風(fēng)險(xiǎn)”的人工智能應(yīng)用進(jìn)行較強(qiáng)監(jiān)管。(曹建峰:《歐美收緊人工智能監(jiān)管,中國企業(yè)將如何應(yīng)對?》,載微信公眾號“騰訊研究院”,2020年3月2日上傳。)

    在算法透明方面,歐盟立法者認(rèn)為,技術(shù)透明不等于“對算法的每一個步驟、算法的技術(shù)原理和實(shí)現(xiàn)細(xì)節(jié)進(jìn)行解釋”,簡單公開算法系統(tǒng)的源代碼也不能提供有效的透明度,反倒可能威脅數(shù)據(jù)隱私或影響技術(shù)安全應(yīng)用??紤]到AI的技術(shù)特征,理解AI系統(tǒng)整體是異常困難的,對理解AI做出的某個特定決策也收效甚微。因此,對于現(xiàn)代AI系統(tǒng),通過解釋某個結(jié)果如何得出而實(shí)現(xiàn)透明,將面臨巨大的技術(shù)挑戰(zhàn),也會極大地限制AI的應(yīng)用;相反,在AI系統(tǒng)的行為和決策上實(shí)現(xiàn)有效透明,會更可取,也能提供顯著的效益。因此,考慮到人工智能的技術(shù)特征,GDPR并沒有要求對特定自動化決策進(jìn)行解釋,而僅要求提供關(guān)于內(nèi)在邏輯的有意義的信息,并解釋自動化決策的重要性和預(yù)想的后果。除了監(jiān)管之外,歐盟立法者認(rèn)為,還應(yīng)通過教育、新聞報(bào)道、揭秘等方式提高公眾的算法素養(yǎng)。

    全球來看,“算法影響評估”機(jī)制得到越來越多的討論。除歐盟外,加拿大、美國等也在探索相關(guān)措施。例如,2019年2月5日加拿大出臺的《自動化決策指令》(Directive on Automated Decision-making),將算法監(jiān)管的重心放在政府部門,《指令》針對政府部門在做出行政行為的過程中使用自動化決策系統(tǒng)(Automated Decision System),提出了算法影響評估、透明度(例如決策前通知、決策后提供解釋、軟件準(zhǔn)入許可、公布源代碼等)、質(zhì)量保證(如測試和監(jiān)測結(jié)果、數(shù)據(jù)質(zhì)量、同行審查、員工培訓(xùn)、意外事故處置、安全、合規(guī)、人類干預(yù)等)、救濟(jì)、報(bào)告等要求。2019年4月美國國會議員提出的《算法責(zé)任法案》則要求針對符合條件的主體的高風(fēng)險(xiǎn)自動化決策系統(tǒng),建立自動化決策系統(tǒng)影響評估機(jī)制(Automated Decision System Impact Assessment),評估自動化決策系統(tǒng)及其開發(fā)過程(包括系統(tǒng)的設(shè)計(jì)和訓(xùn)練數(shù)據(jù)),以評估其在準(zhǔn)確性、公平、偏見、歧視、隱私、安全等方面的影響。然而在現(xiàn)階段,“算法影響評估”機(jī)制這一新倡議在全球范圍內(nèi)存在巨大爭議,仍有很多落地問題懸而未決,需要理性對待。

    2.深度偽造和合成內(nèi)容引監(jiān)管關(guān)注,立法防范風(fēng)險(xiǎn)同時留出發(fā)展空間

    深度偽造(Deepfake)和合成內(nèi)容隨著生成對抗網(wǎng)絡(luò)(GAN)等機(jī)器學(xué)習(xí)技術(shù)的發(fā)展而出現(xiàn),其最常見的方式是AI換臉,如deepfake、face2face等技術(shù),此外還包括語音模擬、人臉合成、視頻生成等,這些技術(shù)統(tǒng)稱為深度偽造或者說深度合成。深度偽造及相關(guān)的AI技術(shù)在文娛、教育、醫(yī)療等諸多領(lǐng)域具有積極的應(yīng)用價值,如實(shí)現(xiàn)虛擬主播、替身演出、虛擬歌手、戲仿和自我表達(dá)(如AI換臉應(yīng)用“ZAO”讓普通人實(shí)現(xiàn)明星夢)、醫(yī)療數(shù)據(jù)生成等,但也給網(wǎng)絡(luò)平臺治理提出了新的挑戰(zhàn),主要表現(xiàn)為利用深度學(xué)習(xí)等AI技術(shù)制作高度逼真且真假難辨的圖片、音頻、視頻等深度偽造內(nèi)容來從事各種欺騙和欺詐活動,將網(wǎng)絡(luò)攻擊場景和信息安全問題帶到一個全新的層面,如色情報(bào)復(fù)、敲詐勒索、假冒身份、散布虛假信息等,給個人和企業(yè)利益以及公共安全帶來威脅。(張欽坤、曹建峰:《從〈網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定〉看互聯(lián)網(wǎng)新技術(shù)的治理》,《信息安全與通信保密》2020年第2期。)而且深度偽造生成方法開源軟件的增多,極大地降低了操縱、偽造音視頻的門檻。報(bào)告顯示,網(wǎng)上的深度偽造視頻的總數(shù)比2018年12月翻了一番,達(dá)到近15000個,其中偽造的色情視頻占比高達(dá)96%。

    美國最早對深度偽造進(jìn)行規(guī)制,2020年以來,美國尤其擔(dān)心深度偽造對大選和國家安全的影響,開始探索立法應(yīng)對措施,防范潛在的濫用風(fēng)險(xiǎn)。(曹建峰、方齡曼:《“深度偽造”的風(fēng)險(xiǎn)及對策研究》,《信息安全與通信保密》2020年第2期。)2019年6月,美國國會先后提出了《深度偽造責(zé)任法案》和《2019年深度偽造報(bào)告法案》。此外,美國加州、德州、馬薩諸塞州、弗吉尼亞州等也陸續(xù)推出了相關(guān)立法。這些立法提出的主要措施包括:

    第一,劃定應(yīng)用邊界,禁止政治干擾、色情報(bào)復(fù)、假冒身份等非法目的的深度偽造,否則可能構(gòu)成刑事犯罪。例如,美國加州的法律草案規(guī)定,禁止在投票選舉前60日內(nèi)傳播明知是偽造或合成的候選人視頻,除非包含視頻屬于偽造的免責(zé)聲明。美國得克薩斯州2019年9月1日生效的一項(xiàng)法案,把在選舉前30日內(nèi)制作、散布深度偽造視頻意圖傷害候選人或影響選舉結(jié)果的行為認(rèn)定為刑事犯罪。此外,美國弗吉尼亞州2019年7月1日生效的反色情復(fù)仇修正法案,把“制作、傳播虛假的裸體或性視頻、圖像”意圖脅迫、騷擾或恐嚇?biāo)说男袨檎J(rèn)定為刑事犯罪?!渡疃葌卧熵?zé)任法案》規(guī)定,利用深度偽造技術(shù)實(shí)施數(shù)字冒名頂替行為也應(yīng)被視為假冒身份行為。

    第二,設(shè)置披露義務(wù),要求制作者、上傳者以適當(dāng)方式披露、標(biāo)記合成內(nèi)容,如采取嵌入數(shù)字水印、文字、語音標(biāo)識等方式。《深度偽造責(zé)任法案》規(guī)定,利用深度偽造技術(shù)合成虛假內(nèi)容放置網(wǎng)絡(luò)上傳播的,制作者應(yīng)當(dāng)采用嵌入數(shù)字水印、文字、語音標(biāo)識等方式披露合成信息。違反披露義務(wù)的制作者或者惡意刪除披露信息的行為人需承擔(dān)民事責(zé)任,行為惡劣、造成嚴(yán)重后果的還會面臨罰金、人身監(jiān)禁等刑事處罰。

    第三,加強(qiáng)技術(shù)攻防,呼吁開發(fā)檢測識別技術(shù)和反制技術(shù)。《深度偽造責(zé)任法案》要求成立深度偽造特別小組,其職責(zé)包括:研究開發(fā)針對包括深度偽造在內(nèi)的圖像、音視頻操縱技術(shù)的檢測識別和反制技術(shù);為研究此類技術(shù)的其他政府部門提供行政和科學(xué)支持;與私營企業(yè)或?qū)W術(shù)機(jī)構(gòu)合作開發(fā)檢測識別工具等。此外,《2019年深度偽造報(bào)告法案》要求美國國土安全部(DHS)定期發(fā)布關(guān)于深度偽造技術(shù)的評估報(bào)告。

    中國相關(guān)立法也開始關(guān)注深度偽造問題,制定中的《數(shù)據(jù)安全管理辦法》以及已出臺的《民法典人格權(quán)編》《網(wǎng)絡(luò)音視頻信息服務(wù)管理規(guī)定》《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》等都做出了相應(yīng)規(guī)定,側(cè)重人格侵權(quán)和內(nèi)容安全。(參見《民法典人格權(quán)編》第799條,《數(shù)據(jù)安全管理辦法草案》第24條,《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》第23條,《音視頻信息服務(wù)管理規(guī)定》第11—13條。)具體包括:禁止利用信息技術(shù)手段偽造的方式侵犯他人的肖像權(quán)和聲音;針對自動合成的信息內(nèi)容標(biāo)明“合成”字樣;禁止利用深度偽造等新技術(shù)從事禁止性活動。

    從國外監(jiān)管趨勢來看,規(guī)范深度偽造和合成內(nèi)容的應(yīng)用,需要政府、企業(yè)、公眾、用戶等多方主體共同參與,除分類分場景監(jiān)管外,還可采取制定行業(yè)公約和技術(shù)標(biāo)準(zhǔn)、研發(fā)視頻鑒偽和溯源技術(shù)、提高公眾的警惕防范意識和數(shù)字素養(yǎng)等多元化的方式,同時鼓勵行業(yè)探索更多運(yùn)用場景,引導(dǎo)技術(shù)向善發(fā)展,提振產(chǎn)業(yè)發(fā)展信心。未來需要加強(qiáng)源頭治理,構(gòu)建以制作者的標(biāo)注、標(biāo)記義務(wù)為核心的治理機(jī)制,同時鼓勵發(fā)展應(yīng)用鑒別對抗技術(shù)。

    在源頭治理方面,如前所述,當(dāng)前美國的做法主要是要求制作者、上傳者對深度偽造內(nèi)容進(jìn)行標(biāo)注,從而從源頭上對深度偽造進(jìn)行規(guī)范。這一源頭治理的做法具有合理性,因?yàn)闆]有標(biāo)注的深度偽造內(nèi)容一旦傳播出去,第三方就很難鑒別,檢測技術(shù)的開發(fā)、成熟也面臨著諸多困難,而且難以跟上深度偽造技術(shù)進(jìn)化的步伐。所以,開發(fā)溯源技術(shù)并進(jìn)行源頭標(biāo)記是最有效的措施。此外,考慮到行業(yè)內(nèi)當(dāng)前還沒有通用的、高準(zhǔn)確率的視頻鑒偽網(wǎng)絡(luò),相應(yīng)的鑒偽技術(shù)也尚在起步階段,還有很長一段路要走,所以美國并未強(qiáng)制要求平臺對用戶上傳的或第三方的視頻是否屬于“深度偽造”或“自動合成”進(jìn)行檢測識別,也未以此為由要求平臺承擔(dān)責(zé)任,因?yàn)檫@將給企業(yè)帶來不成比例的管理負(fù)擔(dān)和成本。

    在技術(shù)對抗方面,當(dāng)前谷歌、Facebook、騰訊等國內(nèi)外主流科技公司都開始通過多種舉措,發(fā)展甄別深度偽造和合成內(nèi)容、對抗深度偽造技術(shù)濫用的方法和工具,包括:構(gòu)建并開放深度偽造數(shù)據(jù)集,為研究、開發(fā)檢測識別技術(shù)提供基準(zhǔn);支持、發(fā)起深度偽造檢測挑戰(zhàn)賽,與行業(yè)攜手推動檢測技術(shù)的研究與開發(fā);開發(fā)深度偽造檢測識別和標(biāo)注工具;培訓(xùn)專門的合成內(nèi)容審查人員,加強(qiáng)對視頻內(nèi)容的真實(shí)性審核。可見,面對人工智能等新技術(shù)的潛在風(fēng)險(xiǎn),行業(yè)內(nèi)越來越重視自律性質(zhì)的風(fēng)險(xiǎn)管理措施。

    3.人臉識別引發(fā)法律和倫理爭議,政策選項(xiàng)在于規(guī)范而非禁止

    2019年,人臉識別技術(shù)廣泛應(yīng)用,從設(shè)備解鎖、刷臉核身、刷臉支付到安檢、安防、犯罪偵查等,在帶來效率、便利并增進(jìn)社會福祉的同時,也不斷引發(fā)歧視偏見、隱私保護(hù)、個人自由、倫理邊界等諸多爭議。例如,F(xiàn)acebook因使用照片自動標(biāo)記功能而招致潛在賠償額高達(dá)350億美元的人臉識別集體訴訟,可能改寫美國隱私訴訟要求有形損害的規(guī)則(無形損害也可作為提起隱私訴訟的理由)。據(jù)悉,F(xiàn)acebook已同意和解該案,將向原告支付5.5億美元和解費(fèi)。此外,2019年8月瑞典數(shù)據(jù)保護(hù)機(jī)構(gòu)針對當(dāng)?shù)匾凰咧欣萌四樧R別記錄學(xué)生出勤的行為,開出了GDPR生效以來的第一張人臉識別罰單,認(rèn)為學(xué)校的數(shù)據(jù)收集行為違反必要性原則且缺乏正當(dāng)性依據(jù)。中國也出現(xiàn)了相關(guān)訴訟,郭兵訴杭州野生動物世界被認(rèn)為是國內(nèi)人臉識別第一案。

    隨著相關(guān)爭議的不斷發(fā)酵,美歐開始推進(jìn)人臉識別立法,嘗試為政府部門使用人臉識別技術(shù)建立較高的法律門檻。2019年以來,美國已有多個城市(如舊金山、薩默維爾以及奧克蘭)禁止政府部門使用人臉識別技術(shù);美國國會提出了《商業(yè)人臉識別隱私法案》,要求使用人臉識別技術(shù)前須獲得終端用戶的“明確同意”(Affirmative Consent)。然而,美國個別城市的“保守”態(tài)度引發(fā)了美國商會(CTEC)的擔(dān)憂,CTEC認(rèn)為過早禁止人臉識別技術(shù)將阻礙技術(shù)的利用和創(chuàng)新,并會沖擊相關(guān)產(chǎn)品的市場。為此,2019年12月CTEC起草了《面部識別政策原則》(Facial Recognition Policy Principles),期望協(xié)助政策制定者在平衡技術(shù)與隱私的前提下制定監(jiān)管提案,建議國會在減少面部識別技術(shù)相關(guān)風(fēng)險(xiǎn)的基礎(chǔ)上,確保人臉識別技術(shù)能得到安全開發(fā)和有效監(jiān)管。

    英國對人臉識別技術(shù)的態(tài)度較為理性,在R (Bridges) v The Chief Constable of South Wales一案中,英國高等法院判決認(rèn)為警方對實(shí)時人臉識別技術(shù)(LFR)的使用是合法的;英國信息專員公署(ICO)發(fā)布的《關(guān)于執(zhí)法部門在公共場所使用實(shí)時人臉識別技術(shù)的建議》則呼吁政府針對實(shí)時人臉識別技術(shù)的部署和使用,建立強(qiáng)行性規(guī)則和較高的法律門檻,充分平衡各方利益,即執(zhí)法部門必須提供充分的證據(jù)來證明在每一個特定的場景下使用人臉識別技術(shù)是嚴(yán)格必需的、有效的且符合利益平衡原則和比例原則。(ICO, “Blog: Live Facial Recognition Technology – Police Forces Need to Slow Down and Justify Its Use”, Retrieved from https://ico.org.uk/about-the-ico/news-and-events/blog-live-facial-recognition-technology-police-forces-need-to-slow-down-and-justify-its-use/.)此外,歐盟也在推進(jìn)制定人臉識別技術(shù)的特殊監(jiān)管規(guī)則,如2020年1月被媒體披露的歐盟人工智能監(jiān)管政策白皮書中已針對人臉識別技術(shù)提出了潛在監(jiān)管方案,其中一項(xiàng)即為“在評估人臉識別技術(shù)影響的方法和風(fēng)險(xiǎn)管理措施被開發(fā)出來之前,可能會暫時(3-5年)禁止在公共場所使用該項(xiàng)技術(shù)”。但2020年2月的《歐盟人工智能白皮書》透露出歐盟對人臉識別技術(shù)的態(tài)度已經(jīng)大為緩和,并未禁止人臉識別技術(shù)的使用,但規(guī)定了限定使用情形,并要求建立安全措施,即必須確保特定使用情形是合法正當(dāng)?shù)?,符合比例原則,并采取充分的安全措施。而對于在公共場所使用人臉識別技術(shù),歐盟委員會后續(xù)將討論確定正當(dāng)?shù)氖褂脠鼍耙约肮餐陌踩胧?/p>

    在中國,AI換臉應(yīng)用“ZAO”收集人臉信息、人臉識別技術(shù)進(jìn)課堂、北京地鐵擬利用人臉識別技術(shù)對乘客進(jìn)行分類安檢等爭議性事件引發(fā)社會各界的激烈討論。從實(shí)時人臉識別到分析步態(tài)、預(yù)測情緒的AI技術(shù)的快速進(jìn)步,給監(jiān)管提出了更多挑戰(zhàn)。結(jié)合國外監(jiān)管趨勢來看,科學(xué)理性的政策選擇在于規(guī)范而非禁止,明確合法性依據(jù)和合規(guī)要求是應(yīng)有之意。政策制定者應(yīng)當(dāng)看到人臉識別的積極價值,在權(quán)衡利弊的基礎(chǔ)上對其進(jìn)行適度監(jiān)管和規(guī)范,在人臉識別技術(shù)的發(fā)展上尋求科技創(chuàng)新與隱私保護(hù)的“最大公約數(shù)”,而非一刀切地予以禁止或者放任不管。更進(jìn)一步而言,鑒于人臉作為個人生物識別信息的敏感性,人臉識別技術(shù)的妥善應(yīng)用需要明確技術(shù)應(yīng)用的法律和倫理邊界,建立法規(guī)標(biāo)準(zhǔn)。一方面需要針對不同的應(yīng)用場景配置不同的監(jiān)管要求,明確人臉識別技術(shù)應(yīng)用的合法性依據(jù)和利益平衡、比例原則等問題;另一方面需要消除算法系統(tǒng)中的歧視和偏見,以合理平衡個人權(quán)利保護(hù)、公共利益和產(chǎn)業(yè)發(fā)展。就中國而言,行業(yè)的健康有序發(fā)展離不開標(biāo)準(zhǔn)和規(guī)范的支持,中國目前已在制定人臉識別國家標(biāo)準(zhǔn),確保人臉識別系統(tǒng)功能、性能及安全要求,保障算法與應(yīng)用的準(zhǔn)確率,引導(dǎo)人臉識別技術(shù)健康發(fā)展。

    4.立法助推自動駕駛汽車落地,“城市空中出行”呼吁監(jiān)管革新

    當(dāng)前,全球多國已將發(fā)展自動駕駛汽車技術(shù)上升為國家戰(zhàn)略,通過立法、標(biāo)準(zhǔn)、技術(shù)指南、倫理準(zhǔn)則等全方位舉措加速推進(jìn)其應(yīng)用落地。(曹建峰、祝林華:《多國出臺政策法規(guī):為自動駕駛創(chuàng)新發(fā)展保駕護(hù)航》,《機(jī)器人產(chǎn)業(yè)》2018年第2期。)2019年是自動駕駛汽車從測試逐步走向商業(yè)化應(yīng)用的一年,谷歌旗下自動駕駛技術(shù)公司W(wǎng)aymo等行業(yè)領(lǐng)頭羊開始推出自動駕駛出租汽車服務(wù),立法和監(jiān)管政策也在加速這一發(fā)展趨勢。例如,美國加州已于2018年允許自動駕駛汽車客運(yùn)服務(wù)試點(diǎn)項(xiàng)目。2019年6月,美國佛羅里達(dá)州制定的自動駕駛立法,不僅將在道路上操作自動駕駛汽車合法化,而且提出了“自動駕駛汽車共享網(wǎng)絡(luò)”這一全新的客運(yùn)交通服務(wù),為自動駕駛汽車的應(yīng)用普及奠定了堅(jiān)實(shí)的法律基礎(chǔ)。美國國家層面,在2018年未能最終通過自動駕駛汽車法案后,2019年美國國會繼續(xù)推動相關(guān)立法,以期通過法律和監(jiān)管創(chuàng)新來加速自動駕駛汽車的商業(yè)化發(fā)展,終于在2020年1月美國交通部發(fā)布了《自動駕駛汽車政策4.0:確保美國在自動駕駛汽車技術(shù)上的領(lǐng)導(dǎo)地位》(Ensuring American Leadership in Automated Vehicle Technologies: Automated Vehicles 4.0),其在過去發(fā)布的三版自動駕駛汽車政策指南的基礎(chǔ)上,系統(tǒng)提出了美國政府對自動駕駛汽車技術(shù)的監(jiān)管原則,表明了美國大力推動自動駕駛汽車技術(shù)發(fā)展落地、搶占國際制高點(diǎn)的決心。(US Department of Transportation, “Ensuring American Leadership in Automated Vehicle Technologies: Automated Vehicles 4.0”, Retrieved from https://www.transportation.gov/av/4.)

    就中國而言,在2018年出臺《智能網(wǎng)聯(lián)汽車道路測試管理規(guī)范(試行)》允許路測后,各地已在出臺推動智能網(wǎng)聯(lián)汽車應(yīng)用落地的政策。2019年9月,《上海市智能網(wǎng)聯(lián)汽車道路測試和示范應(yīng)用管理辦法(試行)》的出臺,使得上海成為國內(nèi)首個為企業(yè)頒發(fā)智能網(wǎng)聯(lián)汽車示范應(yīng)用牌照的城市,并推動測試牌照區(qū)域互認(rèn)。北京、廣州、長沙、武漢等城市已允許載人、載物、編隊(duì)行駛等測試情形,如2019年12月13日北京出臺《北京市自動駕駛車輛道路測試管理實(shí)施細(xì)則(試行)》,允許載人及載物測試、編隊(duì)行駛測試等。智能網(wǎng)聯(lián)汽車向商業(yè)化和市場化邁進(jìn)了一步。長遠(yuǎn)來看,中國自動駕駛汽車技術(shù)和產(chǎn)業(yè)發(fā)展普及需要在安全標(biāo)準(zhǔn)、道路測試、商業(yè)試點(diǎn)、高精地圖、責(zé)任保險(xiǎn)等多方面配套推進(jìn)政策措施,并積極廢除或修改阻礙自動駕駛汽車發(fā)展應(yīng)用的既有法規(guī)和標(biāo)準(zhǔn),才能確保在制造業(yè)、信息與通信技術(shù)(ICT)融合的自動駕駛汽車領(lǐng)域搶占全球高地。

    此外,以電動垂直起降航空器(eVTOL)為核心的未來“城市空中出行”(UAM)也呼吁監(jiān)管革新。未來交通領(lǐng)域的變革不限于自動駕駛汽車,商用的電動垂直起降航空器,即所謂的“飛行汽車”,也已成為美歐的重點(diǎn)布局。目前Uber Elevate、Airbus、Lilium、Volocopter等航空制造商已在嘗試推出“空中出租車”服務(wù)。城市交通未來將有更大的想象空間,到2030年城市空中出行行業(yè)的市場價值有望達(dá)到79億美元。美歐已在從無到有地建立城市空中出行監(jiān)管,需要解決很多監(jiān)管挑戰(zhàn),如設(shè)備設(shè)計(jì)認(rèn)證、適航管理等。2019年7月,歐洲航空安全局(EASA)出臺了針對小型eVTOL航空器操作的特殊規(guī)定,針對這類新的飛行設(shè)備建立了基本的監(jiān)管框架。美國FAA也在推進(jìn)制定合適的安全立法,并已于2019年4月就無人機(jī)送貨服務(wù)向谷歌子公司W(wǎng)ing頒發(fā)了第一個適航認(rèn)證。eVTOL作為新生事物,在中國存在諸多監(jiān)管障礙和法律空白。長遠(yuǎn)來看,為了應(yīng)對eVTOL帶來的監(jiān)管挑戰(zhàn)并推動其應(yīng)用普及,需要加快建立eVTOL設(shè)計(jì)和操作的監(jiān)管框架,并可考慮建立一套以UAM為核心的新體系,兼顧安全、公共利益和行業(yè)發(fā)展訴求。

    5.人工智能賦能醫(yī)療健康產(chǎn)業(yè)發(fā)展,應(yīng)用落地離不開監(jiān)管革新

    在醫(yī)療健康領(lǐng)域,人工智能正被廣泛應(yīng)用于醫(yī)學(xué)影像、輔助診療、疾病預(yù)測、藥物研發(fā)、健康管理等,有望變革醫(yī)療健康行業(yè)。全球醫(yī)療市場對“AI醫(yī)療”的需求巨大,據(jù)互聯(lián)網(wǎng)數(shù)據(jù)中心(IDC)統(tǒng)計(jì),到2025年人工智能應(yīng)用市場規(guī)模將達(dá)到1270億美元,其中醫(yī)療健康行業(yè)將占市場規(guī)模的五分之一。

    但AI醫(yī)療的發(fā)展面臨著AI醫(yī)療設(shè)備準(zhǔn)入和審批、醫(yī)療數(shù)據(jù)庫建設(shè)與共享、責(zé)任承擔(dān)、隱私保護(hù)等諸多問題。美國、日本、印度、新加坡等已在探索制定促進(jìn)AI醫(yī)療服務(wù)應(yīng)用落地的法律和監(jiān)管規(guī)則。例如,由于AI技術(shù)可不斷利用新獲取的數(shù)據(jù)來精進(jìn)算法,AI模型的自主性、適應(yīng)性和持續(xù)迭代成了監(jiān)管難點(diǎn),給傳統(tǒng)的醫(yī)療設(shè)備監(jiān)管框架提出了挑戰(zhàn)。因此,美國食品藥品監(jiān)督管理局(FDA)已為AI醫(yī)療設(shè)備提出了新的監(jiān)管框架,從而允許AI醫(yī)療設(shè)備在獲得審批、投入市場之后不斷迭代改進(jìn)。

    就中國而言,2019年6月發(fā)布的《深度學(xué)習(xí)輔助決策醫(yī)療器械軟件的審評要點(diǎn)及相關(guān)說明》,進(jìn)一步明確了AI醫(yī)療設(shè)備的審批標(biāo)準(zhǔn)??梢灶A(yù)見,AI醫(yī)療領(lǐng)域的市場準(zhǔn)入、數(shù)據(jù)共享與數(shù)據(jù)安全、責(zé)任承擔(dān)等問題將極大影響產(chǎn)業(yè)走向,呼吁監(jiān)管革新。一方面,AI醫(yī)療分級監(jiān)管與審批已成為國際趨勢,在行業(yè)發(fā)展探索階段,對部分風(fēng)險(xiǎn)較小的細(xì)分領(lǐng)域加快審批速度,優(yōu)先發(fā)展,有利于提供更多實(shí)踐經(jīng)驗(yàn)。另一方面,中國豐富的醫(yī)療數(shù)據(jù)資源亟待整合,加快數(shù)據(jù)平臺建設(shè)實(shí)現(xiàn)醫(yī)療數(shù)據(jù)的結(jié)構(gòu)化與標(biāo)準(zhǔn)化,構(gòu)建醫(yī)療數(shù)據(jù)分享與利用機(jī)制,可能成為中國下一階段AI醫(yī)療發(fā)展的重要優(yōu)勢。

    三、合理有效的人工智能治理離不開科技人文協(xié)作

    近幾年來,各國對人工智能的監(jiān)管及治理均在加強(qiáng),這是對當(dāng)今世界技術(shù)發(fā)展趨勢的積極回應(yīng),是以人文之手積極引導(dǎo)技術(shù)之力。人工智能有望像歷史上的火種和電力一樣,重塑人類生活和人類社會的未來——加速的自動化和智能化,無處不在的連接,物理與數(shù)字世界的融合,甚至人類與技術(shù)的融合。我們正在步入高度依賴技術(shù)的社會,生物層、物理層、技術(shù)層有可能融合成為三位一體。未來,包括企業(yè)在內(nèi)的所有組織機(jī)構(gòu)都會數(shù)字化、智能化。目前呈現(xiàn)出來的主要趨勢則是無處不在的數(shù)據(jù)和算法正在催生新型的人工智能驅(qū)動的經(jīng)濟(jì)和社會形式。巨大潛力的背后,是不確定的風(fēng)險(xiǎn)。如前所述,人工智能在隱私、歧視、安全、責(zé)任、就業(yè)等經(jīng)濟(jì)、倫理和社會方面的問題正在顯現(xiàn),未來可能出現(xiàn)的通用人工智能和超級人工智能則可能帶來更深遠(yuǎn)而廣泛的安全、倫理等問題。

    在這樣的背景下,對人工智能等新技術(shù)進(jìn)行更多的人文和倫理思考,就顯得尤為必要且迫切。正如華裔AI科學(xué)家李飛飛所言,要讓倫理成為人工智能研究與發(fā)展的根本組成部分?;粮褚舱f,面對人工智能的興起,人們在哲學(xué)、倫理、法律、制度、理智等各方面都還沒做好準(zhǔn)備,因?yàn)槿斯ぶ悄艿燃夹g(shù)變革正在沖擊既有的世界秩序,我們無法完全預(yù)料這些技術(shù)的影響,而且這些技術(shù)可能最終導(dǎo)致我們的世界所依賴的各種機(jī)器為數(shù)據(jù)和算法所驅(qū)動且不受倫理或哲學(xué)規(guī)范的約束。顯然,在當(dāng)前人工智能等新技術(shù)背景下,我們比歷史上任何時候都更加需要“科技向善”理念,更加需要技術(shù)與倫理的平衡,以確保新技術(shù)朝著更加有利于人類和人類社會的方向發(fā)展。一方面,技術(shù)意味著速度和效率,要發(fā)揮好技術(shù)的無限潛力,要善用技術(shù),追求效率,從而創(chuàng)造出更多的社會效益和經(jīng)濟(jì)效益。另一方面,人性意味著深度和價值,要追求人性,維護(hù)人類價值和自我實(shí)現(xiàn),避免技術(shù)發(fā)展和應(yīng)用突破人類倫理底線。因此,只有保持警醒和敬畏,在以效率為準(zhǔn)繩的“技術(shù)算法”和以倫理為準(zhǔn)繩的“人性算法”之間實(shí)現(xiàn)平衡,才能確?!翱萍枷蛏啤薄6@一平衡的實(shí)現(xiàn),離不開科技人文協(xié)作。因?yàn)楝F(xiàn)代科學(xué)技術(shù)與經(jīng)濟(jì)社會以異乎尋常的速度整合和相互建構(gòu),但其高度的專業(yè)化、知識化和技術(shù)化使圈外人很難對其中的風(fēng)險(xiǎn)和不確定性有準(zhǔn)確的認(rèn)知和判斷,沒有來自科學(xué)共同體內(nèi)部的風(fēng)險(xiǎn)預(yù)警和自我反思,任何一種社會治理模式都很難奏效。

    猜你喜歡
    治理跨學(xué)科倫理
    《心之死》的趣味與倫理焦慮
    跨學(xué)科教學(xué)在高中生物課堂教學(xué)中的應(yīng)用實(shí)踐
    初中歷史跨學(xué)科主題學(xué)習(xí)活動的實(shí)踐與思考
    應(yīng)用型高校推進(jìn)跨學(xué)科人才培養(yǎng)的路徑探索
    大學(xué)(2021年2期)2021-06-11 01:13:32
    護(hù)生眼中的倫理修養(yǎng)
    活力(2019年19期)2020-01-06 07:37:00
    商標(biāo)跨類保護(hù)的跨學(xué)科解釋
    諧波分析與治理措施探討
    治理背景下我國少數(shù)民族傳統(tǒng)體育運(yùn)動會的發(fā)展
    體育時空(2016年8期)2016-10-25 18:49:34
    淺析網(wǎng)絡(luò)輿情治理
    數(shù)據(jù)+輿情:南方報(bào)業(yè)創(chuàng)新轉(zhuǎn)型提高服務(wù)能力的探索
    中國記者(2016年6期)2016-08-26 12:36:20
    亚洲中文av在线| 少妇人妻一区二区三区视频| 亚洲精品国产精品久久久不卡| 母亲3免费完整高清在线观看| 国产视频内射| 国产熟女xx| 亚洲成人久久性| 他把我摸到了高潮在线观看| 这个男人来自地球电影免费观看| www.精华液| 超碰成人久久| 亚洲欧美日韩无卡精品| 狠狠狠狠99中文字幕| 好男人在线观看高清免费视频| 国产又黄又爽又无遮挡在线| 成人特级黄色片久久久久久久| 国产精品香港三级国产av潘金莲| 国产精品久久久久久人妻精品电影| 久久久久性生活片| 看黄色毛片网站| 国产高清视频在线播放一区| 久久久久久国产a免费观看| 真人一进一出gif抽搐免费| 日韩欧美在线二视频| 亚洲国产精品合色在线| 国产又色又爽无遮挡免费看| 欧美激情在线99| 亚洲欧美激情综合另类| 久久精品国产综合久久久| 日本免费一区二区三区高清不卡| 亚洲18禁久久av| 高清毛片免费观看视频网站| 精品一区二区三区av网在线观看| 悠悠久久av| 国产高清视频在线观看网站| 在线观看日韩欧美| 中文字幕高清在线视频| 男女午夜视频在线观看| 搡老妇女老女人老熟妇| 亚洲avbb在线观看| 精品不卡国产一区二区三区| 国产成年人精品一区二区| 十八禁人妻一区二区| 黄色丝袜av网址大全| 成年版毛片免费区| 91麻豆精品激情在线观看国产| 久久亚洲真实| 九色国产91popny在线| 国产亚洲精品久久久久久毛片| 99久久精品热视频| 一本一本综合久久| 亚洲国产欧美网| 男人舔女人的私密视频| 黄色视频,在线免费观看| 99久久国产精品久久久| 又黄又粗又硬又大视频| 久久精品aⅴ一区二区三区四区| 欧美在线一区亚洲| 真实男女啪啪啪动态图| 九九在线视频观看精品| 久久99热这里只有精品18| 久久亚洲真实| 久久午夜综合久久蜜桃| 国产精品综合久久久久久久免费| av在线天堂中文字幕| 桃色一区二区三区在线观看| 成人国产综合亚洲| 国产精品,欧美在线| 男人的好看免费观看在线视频| 中文字幕最新亚洲高清| 久久香蕉精品热| 美女高潮喷水抽搐中文字幕| 男人和女人高潮做爰伦理| 亚洲在线观看片| 成年女人看的毛片在线观看| 国产av不卡久久| 在线播放国产精品三级| 黄色日韩在线| 99精品欧美一区二区三区四区| 成年人黄色毛片网站| 亚洲在线观看片| 国产高潮美女av| 成年女人永久免费观看视频| 99久久国产精品久久久| 岛国在线观看网站| 亚洲18禁久久av| 最近在线观看免费完整版| 看免费av毛片| 人人妻,人人澡人人爽秒播| 国产精品av久久久久免费| 欧美黄色淫秽网站| av福利片在线观看| 深夜精品福利| 久久久久性生活片| 亚洲专区国产一区二区| 久久精品综合一区二区三区| 美女高潮的动态| 成人高潮视频无遮挡免费网站| 国产一区二区在线观看日韩 | 国产成人福利小说| 女人被狂操c到高潮| 亚洲欧美日韩东京热| 国产不卡一卡二| a级毛片在线看网站| 一本精品99久久精品77| 国产99白浆流出| АⅤ资源中文在线天堂| www国产在线视频色| 日韩精品中文字幕看吧| 日韩欧美三级三区| 精品一区二区三区视频在线 | 又粗又爽又猛毛片免费看| 国产亚洲欧美在线一区二区| 亚洲成a人片在线一区二区| 又黄又粗又硬又大视频| 宅男免费午夜| 欧美日韩福利视频一区二区| 国产亚洲精品一区二区www| 美女大奶头视频| 久久天躁狠狠躁夜夜2o2o| 校园春色视频在线观看| 亚洲精品在线美女| 香蕉丝袜av| 美女扒开内裤让男人捅视频| 999精品在线视频| 久久久久久国产a免费观看| 两人在一起打扑克的视频| 又黄又粗又硬又大视频| 亚洲美女视频黄频| 99久久国产精品久久久| 成人高潮视频无遮挡免费网站| 国产蜜桃级精品一区二区三区| 毛片女人毛片| netflix在线观看网站| 搡老岳熟女国产| 欧美xxxx黑人xx丫x性爽| 91老司机精品| 在线视频色国产色| 毛片女人毛片| www日本在线高清视频| 一区福利在线观看| 国产美女午夜福利| 国产黄片美女视频| 午夜福利免费观看在线| 国产精品久久电影中文字幕| 12—13女人毛片做爰片一| 久久久精品欧美日韩精品| 久久久久国产一级毛片高清牌| 国产精品98久久久久久宅男小说| 久久久久久久久久黄片| 在线观看免费午夜福利视频| 国产精品1区2区在线观看.| 男女床上黄色一级片免费看| 日本黄色片子视频| 日本黄色视频三级网站网址| av在线天堂中文字幕| 亚洲国产中文字幕在线视频| 日韩欧美 国产精品| 国产精品精品国产色婷婷| 亚洲avbb在线观看| www.自偷自拍.com| 亚洲aⅴ乱码一区二区在线播放| 久久午夜综合久久蜜桃| 亚洲自拍偷在线| 久久天躁狠狠躁夜夜2o2o| 日日夜夜操网爽| 男女午夜视频在线观看| 久久午夜亚洲精品久久| 亚洲国产日韩欧美精品在线观看 | 母亲3免费完整高清在线观看| 91老司机精品| 亚洲片人在线观看| 别揉我奶头~嗯~啊~动态视频| 国产精品99久久久久久久久| 长腿黑丝高跟| 国产97色在线日韩免费| 变态另类成人亚洲欧美熟女| 久久香蕉国产精品| 在线播放国产精品三级| 只有这里有精品99| 亚洲最大成人手机在线| 亚洲最大成人中文| 精品久久国产蜜桃| 亚洲天堂国产精品一区在线| 久久国产乱子免费精品| 国内精品宾馆在线| 亚洲最大成人中文| a级毛片免费高清观看在线播放| 中文字幕亚洲精品专区| 日韩一本色道免费dvd| 成人午夜高清在线视频| 国产日韩欧美在线精品| 看非洲黑人一级黄片| 一本一本综合久久| 网址你懂的国产日韩在线| 九色成人免费人妻av| 91精品国产九色| 天堂中文最新版在线下载 | 美女大奶头视频| 免费观看的影片在线观看| 亚洲成av人片在线播放无| 日本wwww免费看| 国产精品一区www在线观看| 亚洲国产精品合色在线| 高清av免费在线| 亚洲av不卡在线观看| 精品一区二区三区人妻视频| 好男人视频免费观看在线| 少妇的逼水好多| eeuss影院久久| 丝袜美腿在线中文| 最近最新中文字幕大全电影3| 天天躁日日操中文字幕| 自拍偷自拍亚洲精品老妇| 国产成人a∨麻豆精品| 久久久久久久久久久丰满| 日本-黄色视频高清免费观看| 我的女老师完整版在线观看| 欧美成人a在线观看| 中文字幕久久专区| av国产免费在线观看| 男女下面进入的视频免费午夜| 视频中文字幕在线观看| 麻豆精品久久久久久蜜桃| 乱码一卡2卡4卡精品| 精品久久久久久久久久久久久| 久久久久久久久久久免费av| 一级黄色大片毛片| 国产精品国产三级国产av玫瑰| 精品欧美国产一区二区三| 国产欧美日韩精品一区二区| 亚洲精品国产av成人精品| 欧美xxxx性猛交bbbb| 日韩在线高清观看一区二区三区| 自拍偷自拍亚洲精品老妇| 日日干狠狠操夜夜爽| 亚洲人成网站在线播| 亚洲经典国产精华液单| 深夜a级毛片| 国产亚洲最大av| 午夜激情欧美在线| 日韩一区二区视频免费看| 亚洲中文字幕一区二区三区有码在线看| 菩萨蛮人人尽说江南好唐韦庄 | 午夜免费激情av| 男女那种视频在线观看| 国产成人精品久久久久久| 亚洲国产精品专区欧美| 精品久久久久久久末码| 亚洲国产成人一精品久久久| 国产精品.久久久| 久久精品国产自在天天线| 久久韩国三级中文字幕| 亚洲图色成人| 国产三级在线视频| 一级黄片播放器| 国产极品精品免费视频能看的| 日本av手机在线免费观看| 午夜精品一区二区三区免费看| 国产一区二区在线观看日韩| 干丝袜人妻中文字幕| 国内精品美女久久久久久| 纵有疾风起免费观看全集完整版 | 中文乱码字字幕精品一区二区三区 | 亚洲在线观看片| 欧美日韩精品成人综合77777| 精品一区二区三区视频在线| 天堂中文最新版在线下载 | 美女国产视频在线观看| 国产69精品久久久久777片| 国产免费一级a男人的天堂| 毛片一级片免费看久久久久| 黄色配什么色好看| 日本av手机在线免费观看| 亚洲av中文字字幕乱码综合| 国产高清视频在线观看网站| 最近最新中文字幕大全电影3| 看非洲黑人一级黄片| 人妻系列 视频| 亚洲精品aⅴ在线观看| 最后的刺客免费高清国语| 天天一区二区日本电影三级| 一个人免费在线观看电影| 免费一级毛片在线播放高清视频| 精品久久久久久电影网 | 亚洲精品色激情综合| 蜜桃久久精品国产亚洲av| 国产亚洲5aaaaa淫片| 亚洲国产精品成人久久小说| 九九在线视频观看精品| av国产久精品久网站免费入址| 久久久久久久久久成人| 乱人视频在线观看| av专区在线播放| 免费电影在线观看免费观看| 高清在线视频一区二区三区 | 青春草国产在线视频| 一区二区三区高清视频在线| 日本欧美国产在线视频| 中文亚洲av片在线观看爽| 国产免费视频播放在线视频 | 日本色播在线视频| 成人鲁丝片一二三区免费| 91午夜精品亚洲一区二区三区| 大香蕉97超碰在线| 亚洲av二区三区四区| 日本免费a在线| 亚洲人成网站在线观看播放| 欧美性猛交黑人性爽| 黄色欧美视频在线观看| 亚洲av成人av| 精品久久久噜噜| 99久久中文字幕三级久久日本| 内地一区二区视频在线| 精品国产三级普通话版| 亚洲久久久久久中文字幕| 日本色播在线视频| 女的被弄到高潮叫床怎么办| 蜜臀久久99精品久久宅男| 国产成人aa在线观看| 国产免费一级a男人的天堂| 日本一二三区视频观看| 国产极品精品免费视频能看的| 丰满少妇做爰视频| 成人亚洲欧美一区二区av| 国产高清有码在线观看视频| 国产成人freesex在线| 偷拍熟女少妇极品色| 欧美变态另类bdsm刘玥| 九九热线精品视视频播放| 中文字幕久久专区| 精品久久国产蜜桃| 看黄色毛片网站| 成年女人永久免费观看视频| 中文字幕av在线有码专区| 男女边吃奶边做爰视频| 天堂av国产一区二区熟女人妻| 长腿黑丝高跟| a级一级毛片免费在线观看| 亚洲国产欧美在线一区| 免费观看精品视频网站| 亚洲欧洲日产国产| 国产精品人妻久久久久久| 欧美一区二区国产精品久久精品| 看片在线看免费视频| 日本猛色少妇xxxxx猛交久久| 国产免费又黄又爽又色| 久久精品影院6| 国产日韩欧美在线精品| 少妇的逼好多水| 一级爰片在线观看| 久久人人爽人人爽人人片va| 美女被艹到高潮喷水动态| 99在线人妻在线中文字幕| 黄色欧美视频在线观看| 亚洲欧洲日产国产| 在线播放无遮挡| 久久久精品欧美日韩精品| 日韩欧美在线乱码| 美女xxoo啪啪120秒动态图| 亚洲精华国产精华液的使用体验| 欧美一区二区亚洲| 人妻制服诱惑在线中文字幕| 毛片一级片免费看久久久久| 三级经典国产精品| 一边摸一边抽搐一进一小说| 日本-黄色视频高清免费观看| 99久久精品国产国产毛片| 欧美三级亚洲精品| 国产人妻一区二区三区在| 久久久久久九九精品二区国产| 麻豆成人午夜福利视频| 亚洲激情五月婷婷啪啪| 人妻系列 视频| 免费看a级黄色片| 美女高潮的动态| 国产一区二区三区av在线| 久久草成人影院| 免费观看a级毛片全部| 欧美成人精品欧美一级黄| 久久99蜜桃精品久久| 国产亚洲精品久久久com| 久久亚洲国产成人精品v| 久久久成人免费电影| 国产精品一区www在线观看| av福利片在线观看| 免费大片18禁| 日韩视频在线欧美| 99久久精品热视频| 老司机福利观看| 日日啪夜夜撸| 亚洲最大成人手机在线| 国产av码专区亚洲av| 99久久无色码亚洲精品果冻| 国产成人一区二区在线| 精品午夜福利在线看| 免费不卡的大黄色大毛片视频在线观看 | 色噜噜av男人的天堂激情| 亚洲欧美中文字幕日韩二区| 国产高清不卡午夜福利| 青青草视频在线视频观看| 99久久成人亚洲精品观看| 亚洲精品,欧美精品| 男人的好看免费观看在线视频| 熟妇人妻久久中文字幕3abv| 亚洲av免费在线观看| 女的被弄到高潮叫床怎么办| 一区二区三区高清视频在线| 亚洲婷婷狠狠爱综合网| 国产伦精品一区二区三区四那| 99热网站在线观看| 人妻系列 视频| 免费观看人在逋| 亚洲不卡免费看| 日产精品乱码卡一卡2卡三| 午夜激情欧美在线| 亚洲第一区二区三区不卡| av卡一久久| 国产精品99久久久久久久久| 99在线人妻在线中文字幕| 久热久热在线精品观看| 国产午夜福利久久久久久| 国产精品一区二区三区四区久久| 亚洲精品456在线播放app| 色网站视频免费| 舔av片在线| 成人亚洲精品av一区二区| 日本五十路高清| 久久精品夜色国产| 国产成人精品久久久久久| 激情 狠狠 欧美| 久久久久久久国产电影| 看非洲黑人一级黄片| 在线免费观看不下载黄p国产| 成人毛片60女人毛片免费| 亚洲欧美日韩高清专用| 寂寞人妻少妇视频99o| 一边摸一边抽搐一进一小说| www.av在线官网国产| 国产精品一区二区三区四区久久| 久久久久久久久久久丰满| 深夜a级毛片| 国产美女午夜福利| 日韩国内少妇激情av| 成人午夜高清在线视频| 日日摸夜夜添夜夜添av毛片| 亚洲国产欧洲综合997久久,| 精品久久久噜噜| 草草在线视频免费看| 亚洲不卡免费看| 国产成人91sexporn| 级片在线观看| 久久久久久久久大av| av黄色大香蕉| 亚洲欧美成人综合另类久久久 | .国产精品久久| 麻豆国产97在线/欧美| 成年女人永久免费观看视频| 免费观看的影片在线观看| 亚洲国产高清在线一区二区三| 国产精品久久久久久av不卡| 亚洲成av人片在线播放无| 高清av免费在线| 国产激情偷乱视频一区二区| 亚洲国产欧美人成| 成人午夜精彩视频在线观看| 长腿黑丝高跟| 又爽又黄a免费视频| 日韩精品有码人妻一区| 亚洲久久久久久中文字幕| 亚洲av成人精品一二三区| 蜜桃亚洲精品一区二区三区| 国产三级在线视频| 国产69精品久久久久777片| 22中文网久久字幕| 亚洲四区av| 九九在线视频观看精品| av卡一久久| 国产精品.久久久| 日本免费a在线| 欧美人与善性xxx| 久久久精品94久久精品| 免费人成在线观看视频色| 国产男人的电影天堂91| videos熟女内射| 久久久久久久久大av| 99久久人妻综合| 免费播放大片免费观看视频在线观看 | 狠狠狠狠99中文字幕| 亚洲国产日韩欧美精品在线观看| 精品久久国产蜜桃| 久久这里有精品视频免费| 国产成人福利小说| 久久这里有精品视频免费| 超碰av人人做人人爽久久| av天堂中文字幕网| 久久精品夜色国产| 草草在线视频免费看| 可以在线观看毛片的网站| 一个人免费在线观看电影| 美女脱内裤让男人舔精品视频| 午夜精品在线福利| 国产女主播在线喷水免费视频网站 | 亚洲久久久久久中文字幕| 中文欧美无线码| 超碰97精品在线观看| 日本午夜av视频| 男人狂女人下面高潮的视频| 2021天堂中文幕一二区在线观| 成人性生交大片免费视频hd| 中文天堂在线官网| 能在线免费观看的黄片| 男的添女的下面高潮视频| 18禁裸乳无遮挡免费网站照片| 插逼视频在线观看| 在线免费十八禁| 久久热精品热| 在线免费观看不下载黄p国产| 中文欧美无线码| 日本黄色片子视频| 自拍偷自拍亚洲精品老妇| 一级av片app| 亚洲欧洲国产日韩| 久久久久久久久久久丰满| 亚洲国产精品专区欧美| 级片在线观看| 亚洲自偷自拍三级| 亚洲三级黄色毛片| 成人性生交大片免费视频hd| 日本免费一区二区三区高清不卡| 国产麻豆成人av免费视频| 国产三级中文精品| 久久精品国产亚洲网站| 2022亚洲国产成人精品| 人妻系列 视频| 国产一区二区三区av在线| 特大巨黑吊av在线直播| 美女大奶头视频| 国产精品久久电影中文字幕| 亚洲av男天堂| 国产日韩欧美在线精品| 变态另类丝袜制服| 国产午夜精品一二区理论片| 亚洲av电影在线观看一区二区三区 | 亚洲av成人精品一二三区| 直男gayav资源| 精品久久久久久电影网 | 美女xxoo啪啪120秒动态图| 亚洲中文字幕日韩| 免费看日本二区| 五月玫瑰六月丁香| 岛国毛片在线播放| 国产麻豆成人av免费视频| 亚洲国产精品专区欧美| 国产午夜精品论理片| 午夜免费激情av| 国产午夜精品久久久久久一区二区三区| 又黄又爽又刺激的免费视频.| 国产黄色小视频在线观看| 成人毛片60女人毛片免费| 精品久久久久久成人av| АⅤ资源中文在线天堂| 成年版毛片免费区| 少妇熟女欧美另类| 最近最新中文字幕免费大全7| 欧美+日韩+精品| 欧美色视频一区免费| 免费播放大片免费观看视频在线观看 | 久久热精品热| 国产av一区在线观看免费| 久久综合国产亚洲精品| 三级国产精品欧美在线观看| 18禁动态无遮挡网站| 一边亲一边摸免费视频| 波野结衣二区三区在线| 青春草国产在线视频| 五月玫瑰六月丁香| 亚洲色图av天堂| 麻豆精品久久久久久蜜桃| 五月玫瑰六月丁香| 大香蕉久久网| 日韩一区二区三区影片| 五月玫瑰六月丁香| 免费无遮挡裸体视频| 国产精品国产三级国产专区5o | 国产伦在线观看视频一区| 日本欧美国产在线视频| 最新中文字幕久久久久| 在线播放无遮挡| 亚洲欧美日韩高清专用| 亚洲美女视频黄频| 国产伦一二天堂av在线观看| 在线免费十八禁| 99热网站在线观看| 天天一区二区日本电影三级| 热99re8久久精品国产| 国产精品,欧美在线| 伊人久久精品亚洲午夜| 国产麻豆成人av免费视频| 美女黄网站色视频| 日韩,欧美,国产一区二区三区 | 草草在线视频免费看| 色5月婷婷丁香| 午夜爱爱视频在线播放| 国产精品一及| 九草在线视频观看| 久久久久性生活片| 天堂√8在线中文| 欧美日韩综合久久久久久| 干丝袜人妻中文字幕| 亚洲欧洲日产国产| av.在线天堂| 亚洲av电影不卡..在线观看| 青春草亚洲视频在线观看| 纵有疾风起免费观看全集完整版 |