• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    邁向負責任AI:中國AI治理趨勢與展望

    2023-07-17 04:22:38曹建峰

    曹建峰

    摘 ? 要: 過去十年,得益于深度學習算法、大數(shù)據(jù)、AI專用芯片、開源軟件框架等諸多技術要素的匯聚發(fā)展,AI迅速成為新的通用技術并被廣泛應用于經(jīng)濟社會的各個領域。與此同時,AI也帶來了一系列法律、倫理和社會問題,AI治理由此成為“必選項”和“必答題”。政府、企業(yè)、行業(yè)組織等各主體,圍繞宏觀政策、科技倫理治理、算法監(jiān)管、傳統(tǒng)強監(jiān)管領域的監(jiān)管創(chuàng)新、AI知識產(chǎn)權規(guī)則、AI標準化建設、行業(yè)自律、全球AI治理合作八大方面,推進AI治理走向深入。展望未來,AI治理的完善,需要持續(xù)推進精準敏捷監(jiān)管,采取AI“監(jiān)管沙盒”、AI治理社會化服務等多元化方式,推動AI治理從原則邁向?qū)嵺`,探索AI風險管理、嵌入設計、技術解決方案等多元化路徑。同時,推動全球AI治理合作持續(xù)深化,實現(xiàn)各國普惠發(fā)展,讓AI的發(fā)展持續(xù)造福全人類利益。

    關鍵詞: 科技倫理;負責任AI;精準敏捷監(jiān)管;監(jiān)管沙盒;AI治理 ;隱私計算

    中圖分類號: TP18 ?文獻標識碼:A 文章編號:1004-8634(2023)04-0005-(11)

    DOI:10.13852/J.CNKI.JSHNU.2023.04.001

    引言

    21世紀是數(shù)字化、網(wǎng)絡化、智能化深入發(fā)展的時代,人工智能(AI)作為其中的關鍵技術,其進展備受各界矚目。而過去十年被認為是以深度學習為代表的AI的“黃金十年”。1 通過深度學習,AI領域的神經(jīng)網(wǎng)絡技術(Neural Networks)迎來復蘇,讓AI領域迎來飛速發(fā)展的“第三個春天”。在這之前,自從1956年達特茅斯會議提出“人工智能”這一概念以來,AI領域已經(jīng)歷兩起兩落。具體而言,機器學習算法、大數(shù)據(jù)、云計算、AI專用芯片、開源軟件框架等諸多技術要素的匯聚發(fā)展,推動了AI領域取得巨大進展,不僅AI的感知、理解、學習、決策等能力持續(xù)得到提高,而且AI因此迅速成為新的通用技術和經(jīng)濟社會的智能底座,被廣泛應用于經(jīng)濟社會的各個領域,帶來新的產(chǎn)品和服務。從消費互聯(lián)網(wǎng)領域的算法推薦、AI生成內(nèi)容(AIGC)、聊天機器人,到產(chǎn)業(yè)領域的無人駕駛汽車、AI醫(yī)療軟件、AI質(zhì)檢,再到社會公共服務中的各種便民應用,AI對經(jīng)濟社會高質(zhì)量發(fā)展的巨大價值持續(xù)得到彰顯。1 總之,作為引領新一輪科技革命和產(chǎn)業(yè)變革(第四次工業(yè)革命)的戰(zhàn)略性技術,AI有望重塑人類經(jīng)濟社會,對生產(chǎn)力、勞動就業(yè)、收入分配、全球化等都將帶來巨大影響。

    在此背景下,AI成為國際競爭的新焦點,全球各國紛紛出臺AI發(fā)展戰(zhàn)略和具體政策,搶占戰(zhàn)略制高點和發(fā)展機遇。2017年7月,中國發(fā)布《新一代人工智能發(fā)展規(guī)劃》,AI上升為國家戰(zhàn)略;2018年4月,歐盟出臺AI戰(zhàn)略,旨在讓歐盟成為世界級的AI中心并確保AI是以人為本的、可信的;2019年2月,《美國AI計劃》發(fā)布,啟動AI戰(zhàn)略,旨在提升美國在AI領域的領導地位;2021年9月,英國出臺AI戰(zhàn)略,希望通過十年計劃把英國打造為AI超級大國。分析各國的AI戰(zhàn)略不難看出,AI領域的國際競爭不僅事關技術創(chuàng)新與產(chǎn)業(yè)經(jīng)濟,而且牽涉AI治理等維度。隨著AI的廣泛應用,AI帶來的諸多科技倫理問題持續(xù)引起社會各界的高度關注,諸如算法歧視、信息繭房、不公平的AI決策、個人信息濫用和隱私侵犯、AI安全、算法黑箱、責任承擔、技術濫用(如大數(shù)據(jù)殺熟、AI造假和合成虛假信息)、工作和就業(yè)影響、倫理道德沖擊等風險挑戰(zhàn)。2 因此,伴隨著過去十年AI技術發(fā)展應用的“高歌猛進”,國內(nèi)外各界同步推進AI治理,探索立法、倫理框架、標準和認證、行業(yè)最佳做法等多元治理措施和保障機制,支持負責任的、可信的、以人為本的AI發(fā)展。

    本文立足國際視野,梳理過去十年中國在AI治理領域的重要進展,分析總結其中的規(guī)律和趨勢,并展望未來發(fā)展。在可預見的未來,隨著AI的能力越來越強,其應用和影響將日益加深,因此,負責任的AI(Responsible AI)將變得越來越重要。而負責任的AI的推進和落實,離不開合理有效的AI治理。換句話說,建立健全AI治理,是邁向負責任AI、保障AI未來發(fā)展的必由之路。希冀本文對未來AI治理的持續(xù)開展和落地有所助益。

    AI治理的八個趨勢

    1.宏觀戰(zhàn)略與落地政策并舉,培育國家AI競爭力

    自2013年2月發(fā)布的《關于推進物聯(lián)網(wǎng)有序健康發(fā)展的指導意見》提出“經(jīng)濟社會智能化發(fā)展”以來,AI便進入國家宏觀戰(zhàn)略的視野,成為國家頂層政策文件的重要議題。例如,2015年《關于積極推進“互聯(lián)網(wǎng)+”行動的指導意見》首次提出“培育發(fā)展人工智能新興產(chǎn)業(yè)”。此后,國家對AI的重視程度不斷提高,持續(xù)在戰(zhàn)略層面對發(fā)展AI做出部署,確保實現(xiàn)核心技術自主可控,推進高水平科技自立自強(表1)。

    落地政策同樣重要。AI是新興技術與新興產(chǎn)業(yè)的綜合體,AI技術創(chuàng)新只有轉(zhuǎn)化為可持續(xù)的產(chǎn)業(yè)生態(tài),并和實體經(jīng)濟深度融合,才能發(fā)揮好其作為新的增長引擎的強大作用。在這方面,試驗區(qū)、先導區(qū)等先行先試模式發(fā)揮著重要作用。科技部著力推進的人工智能創(chuàng)新發(fā)展試驗區(qū)建設成果顯著,全國已經(jīng)批復建設18個國家新一代人工智能創(chuàng)新發(fā)展試驗區(qū),在政策工具、應用模式、經(jīng)驗做法等方面起到了很好的引領帶動作用。2019年至今,工信部批復建設11個國家人工智能創(chuàng)新應用先導區(qū),促進AI和實體經(jīng)濟深度融合;2022年7月,科技部等六部門發(fā)布《關于加快場景創(chuàng)新以人工智能高水平應用促進經(jīng)濟高質(zhì)量發(fā)展的指導意見》,著力解決AI應用和產(chǎn)業(yè)化問題,以“數(shù)據(jù)底座+算力平臺+場景開放”三駕馬車驅(qū)動AI與經(jīng)濟社會發(fā)展深度融合,更好支撐高質(zhì)量發(fā)展。

    在國家宏觀戰(zhàn)略和落地政策的持續(xù)支持下,中國AI領域的創(chuàng)新創(chuàng)業(yè)持續(xù)活躍,AI領域的國家級實驗室陸續(xù)建立,在AI領域的技術創(chuàng)新、產(chǎn)業(yè)應用、人才規(guī)模等方面均取得了重要成就。中國科學技術信息研究所發(fā)布的《2021全球人工智能創(chuàng)新指數(shù)報告》顯示,目前全球AI發(fā)展呈現(xiàn)中美兩國引領、主要國家激烈競爭的總體格局。1 中國AI發(fā)展成效顯著,AI創(chuàng)新水平已經(jīng)進入世界第一梯隊,與美國的差距進一步縮小。中國的超算中心、AI企業(yè)規(guī)模、專利注冊數(shù)量、人才隊伍建設和科研實力均處在全球領先行列,未來,AI對中國經(jīng)濟增長和社會發(fā)展的貢獻將持續(xù)放大。普華永道的研究報告預測,全球來看,到2030年AI對全球經(jīng)濟的貢獻將達到15.7萬億美元,中國將從AI中收獲最大的經(jīng)濟收益,達到7萬億美元,意味著AI將推動中國GDP增長約26.1%;美國和北美其次,將達到3.7萬億美元。2

    2.科技倫理制度不斷完善,成為AI創(chuàng)新的重要保障

    在數(shù)字時代,AI等新興數(shù)字技術,具有不同于工業(yè)時代的技術應用的獨特性和復雜性。主要體現(xiàn)為:(1)更廣泛的聯(lián)通性,網(wǎng)絡的連接和數(shù)據(jù)的收集、處理無處不在;(2)更強的自主性,AI系統(tǒng)驅(qū)動各種產(chǎn)品和服務獨立運行,無須人類干預;(3)更深的不透明性,AI系統(tǒng)的“算法黑箱”難以被理解和解釋;3(4)更高的擬真性,AI生成、合成的內(nèi)容、數(shù)據(jù)和虛擬世界越來越逼近現(xiàn)實。正因如此,AI等新技術應用可能引發(fā)的社會倫理問題越來越具有突發(fā)性、隱蔽性、規(guī)模性、不可預測性等諸多特征,這給科技倫理治理提出新的挑戰(zhàn)。在AI的發(fā)展應用過程中,同步考慮甚至提前考慮科技倫理問題變得越來越必要和重要。1 科技倫理制度的調(diào)整完善,由此成為AI時代的重要議題,需要從關注人的倫理轉(zhuǎn)向關注技術的倫理,實施對智能體進行道德約束,構建友善的數(shù)字社會秩序。2 更進一步而言,隨著全球科技競爭日益激化,科技倫理不僅事關科技安全風險挑戰(zhàn)之防范,而且關乎國家科技競爭力之打造。

    黨的十八大以來,國家對科技倫理的重視程度不斷提升,明確提出科技倫理是科技活動必須遵守的價值準則,并將科技倫理納入頂層政策設計,作為科技創(chuàng)新的重要支撐和保障?!吨泄仓醒腙P于堅持和完善中國特色社會主義制度 ?推進國家治理體系和治理能力現(xiàn)代化若干重大問題的決定》和《十四五規(guī)劃和2035年遠景目標綱要》對科技倫理做出了頂層部署,要求健全科技倫理治理體制,健全科技倫理體系。目前,國家持續(xù)建立健全科技倫理制度,塑造科技向善的文化理念和保障機制。主要體現(xiàn)在以下三個方面:

    第一,組建國家科技倫理委員會,負責指導和統(tǒng)籌協(xié)調(diào)推進全國科技倫理治理體系建設工作。2019年7月,中央全面深化改革委員會第九次會議審議通過了《國家科技倫理委員會組建方案》,正式確立了中國國家級的科技倫理管理機構。2022年3月發(fā)布的《關于加強科技倫理治理的意見》進一步明確了國家科技倫理委員會的管理職責。

    第二,出臺科技倫理相關的政策法規(guī),支持科技倫理治理落地實施。2021年12月修訂的《科學技術進步法》的一大亮點就是增加了科技倫理相關條款,一方面對健全科技倫理治理體制做出了整體規(guī)定,另一方面要求科學技術研究開發(fā)機構、高等學校、企業(yè)事業(yè)單位等主體履行科技倫理管理主體責任,對科學技術活動開展倫理審查,同時明確科學技術研究開發(fā)和應用活動的法律倫理底線?!蛾P于加強科技倫理治理的意見》則對科技倫理治理提出了更為全面的要求,涉及總體要求、原則、體制、制度保障、審查和監(jiān)管以及教育和宣傳六大方面,為科技倫理治理的落地實施奠定了基礎。后續(xù)還將制定科技倫理審查辦法、科技倫理高風險科技活動清單、細分領域的科技倫理規(guī)范等配套規(guī)定。

    第三,強調(diào)AI領域的科技倫理治理。國家新一代人工智能治理專業(yè)委員會先后發(fā)布《新一代人工智能治理原則——發(fā)展負責任的人工智能》和《新一代人工智能倫理規(guī)范》,為發(fā)展負責任的AI提供倫理指南?!稊?shù)據(jù)安全法》《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》《關于加強互聯(lián)網(wǎng)信息服務算法綜合治理的指導意見》等法律法規(guī),對數(shù)據(jù)和算法活動提出科技倫理要求和管理措施。《關于加強科技倫理治理的意見》將AI、生命科學、醫(yī)學作為“十四五”期間的三個重點領域,要求制定專門的科技倫理規(guī)范、指南等,加強科技倫理立法,并要求相關行業(yè)主管部門推出科技倫理監(jiān)管舉措。可以預見,未來AI領域的科技倫理監(jiān)管將得到加強。此外,地方層面的立法如《深圳人工智能產(chǎn)業(yè)促進條例》和《上海促進人工智能產(chǎn)業(yè)發(fā)展條例》都把AI倫理治理作為支持AI產(chǎn)業(yè)健康發(fā)展的重要保障。

    從以上分析可以看出,目前在AI的科技倫理治理方面,一個顯著的趨勢是把創(chuàng)新主體的科技倫理管理主體責任作為一個主要的抓手,這和互聯(lián)網(wǎng)平臺監(jiān)管強調(diào)平臺主體責任具有一定的相似性。政府對平臺的監(jiān)管,在很大程度上是通過落實、壓實平臺主體責任來實現(xiàn)的,網(wǎng)絡領域的相關立法構建了事前、事中、事后全方位的平臺義務體系,市場監(jiān)管總局發(fā)布的《互聯(lián)網(wǎng)平臺落實主體責任指南(征求意見稿)》嘗試對不同類型的平臺的主體責任進行細化。政府對AI的監(jiān)管,呈現(xiàn)出類似的思路。目前的相關政策法規(guī)嘗試對科技倫理管理主體責任進行細化,要求創(chuàng)新主體建立倫理委員會、堅持科技倫理底線、進行科技倫理審查、開展科技倫理風險監(jiān)測預警和評估、開展科技倫理培訓等。

    3.互聯(lián)網(wǎng)領域算法應用成為AI監(jiān)管的重點對象

    算法推薦、算法自動化決策、AI深度合成等互聯(lián)網(wǎng)領域的算法應用,由于應用廣泛、社會公眾關注度高、負面問題持續(xù)凸顯等因素,成為政府在AI領域重點監(jiān)管的對象。近年來,國家出臺了一系列法律法規(guī),積極規(guī)范互聯(lián)網(wǎng)領域算法應用。3 國家互聯(lián)網(wǎng)信息辦公室等九部門出臺的《關于加強互聯(lián)網(wǎng)信息服務算法綜合治理的指導意見》提出了較為全面的管理要求,希望利用三年左右時間,逐步建立治理機制健全、監(jiān)管體系完善、算法生態(tài)規(guī)范的算法安全綜合治理格局。該意見同樣強調(diào)強化企業(yè)主體責任,包括算法安全責任、科技倫理審查等。

    在算法推薦方面,《網(wǎng)絡信息內(nèi)容生態(tài)治理規(guī)定》提出針對算法推薦技術健全人工干預和用戶自主選擇機制。2022年3月1日起施行的《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》則是中國第一部聚焦算法治理的立法,該規(guī)定針對算法推薦服務提供者提出全方位的義務和禁止性要求,提出算法安全風險監(jiān)測、算法安全評估、算法備案管理等一系列監(jiān)管舉措,進一步強化平臺企業(yè)的算法安全責任。業(yè)內(nèi)人士以此為標志,將2022年稱為算法監(jiān)管元年。

    在算法自動化決策方面,《中華人民共和國個人信息保護法》《中華人民共和國電子商務法》《在線旅游經(jīng)營管理服務暫行規(guī)定》等都有相關條款對算法歧視、大數(shù)據(jù)殺熟等不公平、不正當?shù)乃惴Q策行為進行規(guī)制,提出了向個人提供選擇權限、開展影響評估、個人可以要求說明和享有拒絕權限等規(guī)制方式,更好地平衡個人權益保護和算法商業(yè)應用活動。

    在AI深度合成(主要是指利用AI技術生成、合成信息內(nèi)容)方面,相關立法積極為AI深度合成技術劃定應用紅線,促進技術正向應用,如《網(wǎng)絡音視頻信息服務管理規(guī)定》《網(wǎng)絡信息內(nèi)容生態(tài)治理規(guī)定》《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》等都禁止將深度合成算法用于虛假新聞信息和其他違法違規(guī)活動。2022年11月通過的《互聯(lián)網(wǎng)信息服務深度合成管理規(guī)定》,總結既往監(jiān)管經(jīng)驗,從深度合成服務提供者主體責任、深度合成信息內(nèi)容標識管理等方面,對深度合成技術應用進行全面規(guī)范,通過內(nèi)容標識、檢測識別、內(nèi)容溯源等必要的安全保障措施確保深度合成技術應用安全可靠,更好地促進技術創(chuàng)新發(fā)展和積極正向應用。

    整體而言,互聯(lián)網(wǎng)領域的算法監(jiān)管強調(diào)安全可控、權益保護、公平公正、公開透明、濫用防范等多元目的,在算法應用分級分類基礎上,重點規(guī)制高風險類算法應用。算法分級分類監(jiān)管和《歐盟人工智能法案》對AI系統(tǒng)的監(jiān)管思路是類似的,后者按照不可接受風險、高風險、有限風險、最小風險對AI系統(tǒng)進行分級,并對不同風險程度的AI系統(tǒng)提出不同的監(jiān)管要求。在此背景下,學界對算法治理的研究興趣濃厚,提出了算法解釋、算法影響評估、算法審計等諸多思路。未來,各界還需進一步探索完善算法監(jiān)管的方式方法和治理舉措,更好地保障算法應用向上、向善。

    4.以監(jiān)管創(chuàng)新促進AI在傳統(tǒng)強監(jiān)管領域應用落地

    對于交通、醫(yī)療等傳統(tǒng)強監(jiān)管領域而言,自動駕駛汽車、載人無人機(無人駕駛的飛行汽車)、AI醫(yī)療軟件等新生事物面臨的主要問題是,其商業(yè)化應用仍面臨較大的法律和監(jiān)管障礙。這些障礙不僅影響消費者和公眾對技術的信任,而且打擊創(chuàng)新者和投資者的積極性。因此,有效的監(jiān)管創(chuàng)新是這些新事物發(fā)展應用的關鍵所在。以自動駕駛汽車為例,只有加快革新旨在規(guī)制傳統(tǒng)汽車和人類司機的立法和監(jiān)管框架,進而建立新的、有效的監(jiān)管框架,才能加快實現(xiàn)自動駕駛汽車的商業(yè)化應用。

    中國的政策制定者積極創(chuàng)新監(jiān)管方式和手段,通過“監(jiān)管沙盒”(Regulatory Sandbox,詳見后文介紹)、試點、示范應用等方式支持、促進AI新事物應用落地。在自動駕駛汽車領域,國家出臺了一系列立法和規(guī)范性文件,鼓勵、支持和規(guī)范自動駕駛汽車道路測試與示范應用活動,探索自動駕駛汽車安全標準的“監(jiān)管沙盒”,完善自動駕駛汽車準入和上路通行規(guī)則,保障自動駕駛汽車運輸安全。由于監(jiān)管政策利好,北上廣深等各地紛紛搶占發(fā)展高地,部分城市已向自動駕駛廠商發(fā)放了允許車內(nèi)無駕駛?cè)?、可以收費運營的無人駕駛汽車試運營牌照;深圳則在全國率先出臺《深圳智能網(wǎng)聯(lián)汽車管理條例》,為商業(yè)化應用奠定立法和監(jiān)管框架。在AI醫(yī)療領域,由于AI醫(yī)療軟件具有不同于傳統(tǒng)醫(yī)療器械的諸多全新特征,包括自主性、學習進化能力、持續(xù)迭代性、算法黑箱、不可預測性等,這使得傳統(tǒng)審批程序難以有效適應AI醫(yī)療軟件的發(fā)展需求。為此,監(jiān)管部門積極完善AI醫(yī)療器械的注冊申報和審批程序、使用管理規(guī)范,支持智能醫(yī)學影像等輔助診斷和輔助治療的AI醫(yī)療軟件加快臨床應用;目前國內(nèi)已有AI醫(yī)療軟件獲得審批,如騰訊覓影的AI輔助診斷青光眼軟件、肺炎AI輔助診斷系統(tǒng)都已獲批第三類醫(yī)療器械注冊證(“三類證”)。未來,監(jiān)管部門還需持續(xù)完善、優(yōu)化針對AI醫(yī)療軟件的注冊申報和審批程序,讓AI醫(yī)療應用更好地增進民生福祉。

    5.加快探索AI的知識產(chǎn)權保護規(guī)則

    AI生成內(nèi)容(AI-Generated Contents,縮寫AIGC)已經(jīng)成為AI的新疆域,代表著AI的未來發(fā)展方向。1 在互聯(lián)網(wǎng)領域,AIGC是PGC(專業(yè)生產(chǎn)內(nèi)容)和UGC(用戶生產(chǎn)內(nèi)容)之后的內(nèi)容生產(chǎn)形態(tài),帶來自動化內(nèi)容生產(chǎn)的巨大變革。目前,AIGC技術已能自主生產(chǎn)多種形式的內(nèi)容,包括文本、圖片、音頻、視頻、3D內(nèi)容(3D物品、3D虛擬場景)等。AIGC技術及其應用的知識產(chǎn)權保護規(guī)則由此成為繞不過去的重要議題,諸如“AIGC內(nèi)容的著作權保護及歸屬如何確立”“AIGC技術使用他人版權內(nèi)容是否侵權”等都是亟待解決的問題。2 國外有學者提出,需要建立專門的AI知識產(chǎn)權保護規(guī)則和國際條約,因為AI技術打破了創(chuàng)作者和發(fā)明人只能是人類的既有模式。3

    國內(nèi)外已在積極探索AI生成內(nèi)容的知識產(chǎn)權保護規(guī)則。在國外,英國、歐盟、日本、南非等在考慮或者已經(jīng)制定了專門的AI知識產(chǎn)權保護規(guī)則,如英國《版權、設計與專利法》中的計算機生成作品保護條款、歐盟《單一數(shù)字市場版權指令》中的基于AI技術的文本與數(shù)據(jù)挖掘版權例外條款等。在專利方面,英國的政策指出,由于AI還沒有先進到可以獨立自主地進行發(fā)明創(chuàng)造,所以當前還沒必要對專利法進行修改,但需密切關注技術進展并及時評估AI的專利問題。

    在國內(nèi),北京菲林律師事務所訴百度“百家號”著作權侵權案中,法院雖然認為只有自然人創(chuàng)作完成的獨創(chuàng)性作品才可獲得版權保護,由此否定了AI直接且獨立生成的作品的版權保護可能性,但卻指出可以通過競爭法等方式對AI生成內(nèi)容的相關權益(如競爭性權益)進行保護。深圳市騰訊計算機系統(tǒng)有限公司訴上海盈訊科技有限公司侵害著作權及不正當競爭糾紛案中,法院基于AI領域的人機協(xié)作現(xiàn)實,指出AI寫稿軟件Dreamwriter在技術上“生成”作品只是創(chuàng)作過程的一個環(huán)節(jié),原告主持的多團隊、多人分工形成的整體智力活動才是創(chuàng)作的核心環(huán)節(jié),并由此認定涉案文章是原告主持的法人作品。關于Dreamwriter案的認定更符合當前AIGC技術及其應用的發(fā)展狀況,對將來通過立法進一步明確AI生成內(nèi)容的知識產(chǎn)權保護規(guī)則具有較大的借鑒意義。在立法上,2020年新修訂的《中華人民共和國著作權法》采用開放性的作品認定方式,在明確作品構成要件、列舉主要作品類型的同時,規(guī)定了開放式的兜底條款,為AIGC等新技術應用帶來的新客體保護預留出制度空間。

    6.標準化建設是AI治理的關鍵一環(huán)

    《國家標準化發(fā)展綱要》指出,標準化在推進國家治理體系和治理能力現(xiàn)代化中發(fā)揮著基礎性、引領性作用。對于AI領域而言,AI標準不僅是支持、促進AI發(fā)展進步和廣泛應用的重要手段(如技術標準),而且是推進落實AI治理的有效方式(如治理標準、倫理標準),因為AI治理標準可以起到“承接立法和監(jiān)管、對接技術實踐”的重要作用。再者,AI治理領域的標準相比立法和監(jiān)管更具敏捷性、靈活性和適應性。因此,AI治理標準已經(jīng)成為AI技術和產(chǎn)業(yè)發(fā)展中的一個制高點,國際社會紛紛提出落地舉措。典型代表有歐盟的可信AI標準,美國國家標準與技術研究院(NIST)主導的AI風險管理、AI歧視識別等治理標準,英國的AI認證生態(tài)系統(tǒng)發(fā)展規(guī)劃,IEEE的AI倫理標準等。在落地方面,IEEE已面向行業(yè)推出了AI倫理認證項目;英國希望通過5年時間培育一個世界領先、價值數(shù)十億英鎊規(guī)模的AI認證行業(yè),通過中立第三方的AI認證服務(包括審計、影響評估、認證)來評估、交流AI系統(tǒng)的可信性和合規(guī)性。

    中國非常重視AI領域的標準化建設,《國家標準化發(fā)展綱要》要求在AI、量子信息、生物技術等領域,開展標準化研究。近年來,各界持續(xù)推進AI治理領域的國家標準、行業(yè)標準、地方標準、團體標準等標準化工作。例如,國家標準化管理委員會成立國家人工智能標準化總體組,全國信息技術標準化技術委員會設立人工智能分技術委員會,都旨在推進制定AI領域的國家標準。2020年7月印發(fā)的《國家新一代人工智能標準體系建設指南》明確了AI標準領域的頂層設計,該指南將安全/倫理標準作為AI標準體系的核心組成部分,旨在通過安全/倫理標準為AI建立合規(guī)體系,促進AI健康、可持續(xù)發(fā)展。未來,AI治理相關標準需加快制定并落地實施,從而為AI領域的技術創(chuàng)新和產(chǎn)業(yè)發(fā)展提供更多保障。

    7.行業(yè)主動探索AI治理的自律措施,踐行負責任創(chuàng)新和科技向善理念

    有效的AI治理需要政府、企業(yè)、行業(yè)組織、學術團體、用戶或消費者、社會公眾等多元主體的共同參與,其中,科技企業(yè)的自我治理和自律管理是落實“倫理先行”理念的重要方式。之所以呼吁“倫理先行”,在很大程度上是因為面對AI的快速發(fā)展,“法律的滯后性”現(xiàn)象變得越來越突出。在AI領域,“倫理先行”首先表現(xiàn)為科技企業(yè)的科技倫理自律管理,而且領先企業(yè)的最佳實踐做法往往能夠起到很好的引領帶動作用,推動整個行業(yè)踐行負責任創(chuàng)新和科技向善理念。

    在行業(yè)層面,近年來,相關研究機構和行業(yè)組織紛紛提出AI的倫理指南、自律公約等,為企業(yè)的AI活動提供倫理指引。這方面的典型代表有中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟(AIIA)的《人工智能行業(yè)自律公約》和《可信AI操作指引》、北京智源人工智能研究院的《人工智能北京共識》和《人工智能產(chǎn)業(yè)擔當宣言》、全國信息安全標準化委員會的《網(wǎng)絡安全標準實踐指南——人工智能倫理安全風險防范指引》等。

    在企業(yè)層面,科技企業(yè)作為AI技術創(chuàng)新和產(chǎn)業(yè)應用的主體,擔負著負責任地研發(fā)應用AI的重要責任。在國外,從提出AI倫理原則,到成立內(nèi)部的AI倫理治理機構,再到開發(fā)管理和技術工具甚至商業(yè)性的負責任AI解決方案,科技公司探索出了較為成熟的經(jīng)驗,積累了很多可資推廣的實踐做法(表2)。1 近年來,國內(nèi)科技公司積極落實監(jiān)管要求,探索相關自律措施,主要包括:發(fā)布AI倫理原則,建立內(nèi)部的AI治理組織(如倫理委員會),針對AI活動開展倫理審查或安全風險評估,對外披露算法相關信息、促進算法公開透明,探索應對AI倫理問題的技術解決方案(如針對合成信息內(nèi)容的檢測識別工具、AI治理測評工具、聯(lián)邦學習等隱私計算方案),等等。

    8.全球AI治理合作與競爭并存

    全球AI競爭,既是技術與產(chǎn)業(yè)的競爭,也是治理規(guī)則與標準的競爭。全球數(shù)字經(jīng)濟發(fā)展正在形成AI、數(shù)據(jù)等方面新的國際規(guī)則,如數(shù)據(jù)流動、AI治理框架等。近年來,全球AI治理合作持續(xù)推進。2019年的OECD/G20人工智能原則,是首個全球性的AI政策框架。2021年11月聯(lián)合國UNESCO通過的全球首個AI倫理協(xié)議《人工智能倫理問題建議書》(Recommendation on the Ethics of Artificial Intelligence),則是目前最全面、具有廣泛共識的全球性AI政策框架,該建議書建議各國通過AI倫理官、倫理影響評估等機制來加強AI倫理治理。

    與此同時,美歐加速推進AI政策,以期強化在AI政策領域的領導地位并影響全球AI治理規(guī)則與標準。例如,歐盟正在制定一部統(tǒng)一的AI法案,當其預期在2023年通過時,將建立全面的、基于風險的AI監(jiān)管路徑。很多專家預測,正像之前的數(shù)據(jù)隱私立法GPDR對全球科技行業(yè)的影響那樣,歐盟AI法案將“布魯塞爾效應”延伸到AI領域,而這正是歐盟所希望的,即通過監(jiān)管為全球樹立AI治理標準。1AI立法之外,歐洲理事會還在醞釀全球第一個“國際AI公約”,正像之前的《網(wǎng)絡犯罪公約》和《隱私公約》那樣,成員國和非成員國都可以加入并批準將來的AI公約。2美國在技術和產(chǎn)業(yè)方面一直是AI領域的全球領導者,近年來開始積極重塑其在AI政策領域的領導地位。2020年成立的美歐貿(mào)易和技術理事會(US-EU Trade and Technology Council)的一個核心任務就是推進美歐在AI治理方面的合作。3總之,全球AI競爭日益重視AI政策和治理領域的軟實力競爭,可以說是代表了21世紀科技競爭的一個重大轉(zhuǎn)變。

    近年來,中國對參與全球科技治理高度重視,積極提出自己的主張,爭取更多認同與共識。例如,中國提出《全球數(shù)據(jù)安全倡議》,持續(xù)為全球數(shù)字治理注入正能量。2022年11月,在聯(lián)合國《特定常規(guī)武器公約》締約國大會上,中國提交加強人工智能倫理治理立場的文件,提出堅持倫理先行、加強自我約束、負責任使用人工智能、鼓勵國際合作等主張。

    三點展望

    《“十四五”規(guī)劃和2035年遠景目標綱要》《法治中國建設規(guī)劃(2020—2025)》《關于加強科技倫理治理的意見》等諸多政策和規(guī)范性文件表明,AI治理持續(xù)成為科技治理和科技倫理的核心領域。中國進一步增進在AI領域的全球競爭力,不僅需要更加注重培育技術和產(chǎn)業(yè)硬實力,而且需要著力塑造軟實力,尤其是在AI政策和治理方面的話語權和領導地位。因為AI治理已經(jīng)成為全球AI競爭力的重要組成部分。

    回顧既往,中國已經(jīng)明確了發(fā)展與安全并重、創(chuàng)新與倫理并行的AI監(jiān)管和治理思路,在支持、促進創(chuàng)新發(fā)展的同時,保障技術應用的安全、可靠、可控。面向未來,我們需更好地發(fā)揮政府、行業(yè)/企業(yè)、研究機構、社會組織、用戶/消費者、社會公眾、媒體等多利益相關方的合力作用,持續(xù)推動AI治理實踐的良性發(fā)展,讓AI更好地造福經(jīng)濟社會發(fā)展,增進民生福祉,把科技向善推向更高水平。

    進一步而言,已經(jīng)過去的AI“黃金十年”給人們帶來了日益強大的AI模型,而且在可預見的未來,AI只會變得更加強大。這意味著,AI在與社會生態(tài)系統(tǒng)互動過程中,可能帶來的人類的、社會的和環(huán)境的影響將遠超以往任何技術。因此,AI治理的首要任務是,持續(xù)倡導并踐行“負責任AI”的理念;“負責任AI”必須是以人為本的,要求在設計、開發(fā)、部署AI的技術實踐中秉持善意,增進對技術的信任,給利益相關方創(chuàng)造價值并增進其福祉,防范濫用、誤用和惡用??傊?,有效的AI治理需要推動負責任AI實踐走向深入,打造可信AI(Trustworthy AI)。

    1.持續(xù)完善數(shù)據(jù)與AI法律框架,推進精準敏捷監(jiān)管

    AI的健康可持續(xù)發(fā)展,一方面離不開合理有效的監(jiān)管,另一方面需要持續(xù)提升AI領域的數(shù)據(jù)供給和流通利用水平。實際上,AI在醫(yī)療、制造、金融等諸多領域的發(fā)展應用,所面臨的一個主要問題就是數(shù)據(jù)獲取利用問題,包括數(shù)據(jù)難以獲取、數(shù)據(jù)質(zhì)量差、數(shù)據(jù)標準不統(tǒng)一等。因此,未來AI的進一步發(fā)展,在很大程度上依賴于對數(shù)據(jù)與AI法律框架的持續(xù)完善。英國的《數(shù)字監(jiān)管計劃》提出,設計優(yōu)良的監(jiān)管,對于推動發(fā)展、塑造生機勃勃的數(shù)字經(jīng)濟和社會可以產(chǎn)生強大的效應,但是設計糟糕或者限制性的監(jiān)管則會阻礙創(chuàng)新。正確的規(guī)則可以幫助人們信任他們所使用的產(chǎn)品服務,這反過來會推動產(chǎn)品服務的普及以及進一步消費、投資和創(chuàng)新。1 對于AI而言也是如此。

    一方面,對于AI治理,需要更好地推進精準敏捷監(jiān)管。這包括:第一,針對不同的AI產(chǎn)品、服務和應用采取不同的規(guī)則。因為現(xiàn)在AI應用幾乎無處不在,一刀切似的規(guī)則難以合理適應不同行業(yè)和領域中AI應用的獨特特征及其對個人和社會的影響。這要求我們采取基于風險的AI治理政策框架。例如,同樣的AI技術既能用來分析、預測用戶的人身屬性和個人偏好并進行個性化的內(nèi)容推送,也可以用來輔助疾病診斷和治療;計算機視覺技術既能用來對手機相冊進行自動分類和整理,又能用來識別癌癥腫瘤。這些應用在風險等級、結果重要性、個人和社會影響等方面存在巨大差異,如果籠統(tǒng)、一刀切地提出監(jiān)管要求,顯然既不科學,也不現(xiàn)實。第二,強調(diào)在對AI應用進行分級分類基礎上,采取分散式、差異化監(jiān)管。就像互聯(lián)網(wǎng)一樣,AI是很寬泛、很通用的技術,不適宜也難以進行統(tǒng)一監(jiān)管。國外來看,目前只有歐盟嘗試針對所有AI應用建立一個統(tǒng)一的、一般化的監(jiān)管框架(歐盟模式),英國、美國則強調(diào)基于應用場景和風險的行業(yè)分散監(jiān)管(英美模式)。英國提出以原則為指導,對AI應用采取促創(chuàng)新的監(jiān)管,其核心理念包括:聚焦具體應用場景,基于風險大小,確保監(jiān)管的相稱性和適應性;2 美國一貫強調(diào)行業(yè)監(jiān)管和行業(yè)自律相結合的治理路徑,如《AI權利法案藍圖》在提出5項原則的同時,明確了行業(yè)主管部門牽頭、應用場景導向的分散化監(jiān)管思路。3就中國而言,過去對AI所采取的立法和監(jiān)管更接近于英美模式,即針對算法推薦服務、深度合成、自動駕駛等不同AI應用分別制定監(jiān)管規(guī)則。這種分散式、差異化的監(jiān)管模式符合敏捷治理原則,能更好地適應AI技術及其應用快速發(fā)展迭代的復雜特征。第三,呼吁不斷創(chuàng)新監(jiān)管工具箱,采取多元化的監(jiān)管舉措。一是AI“監(jiān)管沙盒”。歐盟在AI監(jiān)管方面的一大創(chuàng)舉就是提出了AI“監(jiān)管沙盒”。4 “監(jiān)管沙盒”作為支持、促進監(jiān)管者和創(chuàng)新主體之間溝通協(xié)作的有效方式,可以提供一個受控的環(huán)境來合規(guī)地研發(fā)、測試、驗證創(chuàng)新性的AI應用。從“監(jiān)管沙盒”中產(chǎn)生的最佳實踐做法和實施指南,將有助于企業(yè)尤其是中小微企業(yè)和創(chuàng)業(yè)公司落實監(jiān)管規(guī)則。二是AI治理社會化服務,包括AI治理標準、認證、檢測、評估、審計等。在網(wǎng)絡安全領域,網(wǎng)絡安全認證、檢測和風險評估等網(wǎng)絡安全社會化服務,是落實監(jiān)管要求的重要方式。AI治理完全可以借鑒這一方式。當前,歐盟、英國、美國以及IEEE等都在推進AI治理社會化服務。例如,IEEE已面向行業(yè)推出了AI倫理認證;5 英國發(fā)布的《建立有效AI認證生態(tài)系統(tǒng)的路線圖》希望培育一個世界領先的AI認證行業(yè),通過中立第三方的AI認證服務(包括影響評估、偏見審計和合規(guī)審計、認證、合規(guī)性評估、性能測試等)來評估、交流AI系統(tǒng)的可信性和合規(guī)性。英國認為這將是一個價值數(shù)十億英鎊的新行業(yè)。1 中國需要加快建立健全AI治理社會化服務體系,通過下游的AI治理服務更好地承接、落實上游的立法和監(jiān)管要求。此外,政策指南、責任安全港、試點、示范應用、事后追責等監(jiān)管方式,在不同應用場景下都可發(fā)揮重要作用。

    另一方面,需要加快完善數(shù)據(jù)流通利用的法律框架,持續(xù)提升AI領域的數(shù)據(jù)供給水平。一是在國家層面構建公共數(shù)據(jù)開放共享的法律框架,統(tǒng)一數(shù)據(jù)質(zhì)量和數(shù)據(jù)治理標準,通過數(shù)據(jù)下載、API接口、隱私計算(聯(lián)邦學習、安全多方計算、安全可信計算環(huán)境等)、數(shù)據(jù)空間(Data Space)等多元化的管理和技術方式,促進公共數(shù)據(jù)最大化開放共享。二是積極掃除隱私計算技術、合成數(shù)據(jù)技術發(fā)展應用所面臨的各種障礙。目前,在各類數(shù)據(jù)的流通利用方面,聯(lián)邦學習等隱私計算技術發(fā)揮著越來越重要的作用,可以實現(xiàn)“數(shù)據(jù)可用/可算不可見”“數(shù)據(jù)不動算法/價值動”等效果。受到AI和大數(shù)據(jù)應用發(fā)展的驅(qū)動,聯(lián)邦學習作為隱私計算領域主要推廣和應用的方法,是目前最為成熟的技術路徑。下一步可以通過構建戰(zhàn)略性領域的數(shù)據(jù)空間、制定隱私計算行業(yè)標準、出臺法律層面的隱私計算技術實施指南等方式,更好地支持聯(lián)邦學習等隱私計算技術的應用發(fā)展。

    2.AI倫理治理需從原則邁向?qū)嵺`

    隨著科技倫理治理的建制化和法治化發(fā)展,對于科技企業(yè)而言,加強科技倫理治理已是“必選項”和“必答題”之一。在“倫理先行”理念之下,科技倫理治理要求意味著,科技企業(yè)不能寄希望于以事后補救的方式來應對AI倫理問題,而是需要在從設計到開發(fā)、再到部署的整個AI生命周期中,積極主動地履行科技倫理管理主體責任,以多種方式創(chuàng)新性地推進科技倫理自律。整體而言,在一個高度技術化、數(shù)字化的社會,科技企業(yè)需要考慮將AI治理整體納入其公司治理版圖,作為與法務、財務、風控等既有模塊同等重要的模塊。以下幾個方面值得進一步探索:

    首先,在管理上,要建立AI倫理風險管理機制。AI倫理風險管理需要貫穿AI全生命周期,包括預設計階段、設計開發(fā)階段、部署階段以及貫穿這幾個階段的測試和評估活動,以全面識別、分析、評估、管理、治理AI倫理風險。這有賴于企業(yè)建立相應的組織架構和管理規(guī)范,如倫理委員會、倫理審查流程和其他管理工具。政策制定者可以考慮出臺這方面的政策指南。

    其次,在設計上,需遵循以人為本的設計理念,踐行“倫理嵌入設計”(Ethics by Design)理念。倫理嵌入設計意味著,將倫理價值、原則、要求和程序融入AI、機器人和大數(shù)據(jù)系統(tǒng)的設計、開發(fā)、部署過程。企業(yè)需要反思技術人員主導的AI研發(fā)應用過程,更多地強調(diào)AI研發(fā)應用活動的多元背景和多元參與。將政策、法律、倫理、社會、哲學等多學科、跨學科人員引入技術開發(fā)團隊,是將倫理要求嵌入技術設計開發(fā)最直接、有效的方式。未來,政策制定者可以攜手行業(yè)總結經(jīng)驗教訓,出臺倫理嵌入設計的技術指南、最佳實踐做法等文件。

    最后,在技術上,需要持續(xù)探索以技術化方式和市場化路徑應對AI倫理問題,打造可信AI應用。一是AI倫理工具。AI應用的很多問題諸如可解釋性、公平性、安全性、隱私保護等,都是可以通過技術創(chuàng)新手段來解決的。業(yè)界圍繞這些問題,已經(jīng)探索出一些AI倫理工具和AI審計工具,未來這個方面的工作還需繼續(xù)深入開展。二是AI倫理服務(AI Ethics as a Service)。2 它是市場化的路徑,AI倫理領先企業(yè)和AI倫理創(chuàng)業(yè)公司開發(fā)以AI倫理工具及服務為核心的負責任AI解決方案,作為商業(yè)服務對外提供。3研究咨詢公司Forrester預測,會有越來越多的AI科技企業(yè)、應用AI的其他領域企業(yè)采購負責任AI解決方案來幫助其落實公平和透明的AI倫理原則,AI倫理服務市場規(guī)模將翻倍。三是AI倫理賞金(AI Ethics Bounty)等技術眾包方式。類似于互聯(lián)網(wǎng)企業(yè)廣泛采用的網(wǎng)絡安全漏洞賞金(Bug bounty),算法歧視賞金(Algorithmic Bias Bounty)等技術眾包方式,在發(fā)現(xiàn)、識別、解決AI倫理問題,開發(fā)AI審計工具,打造可信AI應用上將發(fā)揮重要作用。Twitter、斯坦福大學等國外一些企業(yè)和大學研究機構已開展了算法歧視賞金挑戰(zhàn)賽、AI審計挑戰(zhàn)賽,呼吁參與者開發(fā)工具來識別、減輕AI模型中的算法歧視。通過這些技術眾包方式培育、壯大AI倫理社群,將在AI治理中扮演重要角色。

    3.全球AI治理合作需持續(xù)深化

    如前所述,全球AI治理呈現(xiàn)競爭態(tài)勢,這并不符合以人為本、技術開放共享、普惠發(fā)展等理念。各國需要在國際AI治理方面持續(xù)深化合作,推動制定AI倫理和治理的國際協(xié)議,形成具有廣泛共識的國際AI治理框架、標準規(guī)范,增進技術、人才、產(chǎn)業(yè)等方面的交流與協(xié)作,反對排斥主義,推動技術普惠和科技向善,實現(xiàn)各國普惠發(fā)展。中國深度參與全球科技治理,需要抓住AI、數(shù)據(jù)等領域的新一輪國際規(guī)則制定機遇,不斷提出符合全球共識的AI治理方案,持續(xù)為全球數(shù)字治理和AI治理注入中國智慧。同時,我們需要增強國際發(fā)聲,把自己的理念、主張、做法等融入國際社會,爭取更多認同與共識,增強話語權和影響力。

    面向未來,隨著AI技術的不斷發(fā)展,AI將變得越來越強大,未來可能出現(xiàn)通用AI(Artificial General Intelligence,縮寫AGI)。通用AI將具備與人類同等水平的智慧,可以執(zhí)行人類能夠執(zhí)行的任何智力任務。理論上,通用AI可能設計出更高級別的智能,帶來智能大爆炸,也就是所謂的“奇點”,產(chǎn)生超級智能。從現(xiàn)在的AI應用到將來的AGI,可能是一個從量變到質(zhì)變的飛躍。這引發(fā)了人們對AGI取代人類工作、失控甚至威脅人類生存的擔憂。因此,對于通用AI發(fā)展及其潛在的安全、倫理等問題,全球需未雨綢繆,通力合作,確保AI技術更普惠、安全可靠、可控地發(fā)展,造福全人類。

    Towards Responsible AI: Trends and Outlook for AI Governance in China

    CAO Jianfeng

    Abstract: Over the past decade, AI has rapidly become a new general-purpose technology widely used in various fields of economy and society, thanks to the convergence and development of various technical elements such as deep learning algorithms, big data, AI-specific chips, open-source software frameworks. However, AI has also brought a series of legal, ethical, and social issues, making AI governance a "mandatory choice" and a "must-answer question." Stakeholders including governments, enterprises, industry organizations, etc., are advancing the deepening of AI governance in eight major areas: macro policies, technology ethics governance, algorithm regulation, regulatory innovation in traditionally strongly regulated areas, AI intellectual property rules, AI standardization, industry self-discipline, and global AI governance cooperation. Looking forward, the perfection of AI governance requires continuous advancement in precise and agile regulation, adopting diversified methods such as "AI regulatory sandboxes" and socialized AI governance services, pushing AI governance from principles to practice, and exploring diverse paths such as AI risk management, embedded design, and technical solutions. Meanwhile, promoting the continued deepening of global AI governance cooperation to achieve inclusive development in all countries, so that the development of AI continues to benefit all of humanity.

    Key words: technology ethics; responsible AI; precise and agile regulation; regulatory sandbox; AI governance; privacy ?computing

    (責任編輯:蘇建軍)

    波野结衣二区三区在线| 女性生殖器流出的白浆| av在线app专区| 国产精品久久久久久久久免| 亚洲国产精品一区三区| 美女大奶头黄色视频| 亚洲三级黄色毛片| a级毛片在线看网站| 男女啪啪激烈高潮av片| 免费黄频网站在线观看国产| 观看美女的网站| 国产精品一国产av| 男人添女人高潮全过程视频| 春色校园在线视频观看| 十分钟在线观看高清视频www| 久久久久久久久久人人人人人人| 三上悠亚av全集在线观看| 国产免费视频播放在线视频| 又大又黄又爽视频免费| 成年人免费黄色播放视频| 18禁动态无遮挡网站| 黄色怎么调成土黄色| 黄片无遮挡物在线观看| 久久久久精品人妻al黑| 狠狠精品人妻久久久久久综合| 午夜福利视频精品| 日韩制服骚丝袜av| 熟女电影av网| 欧美97在线视频| 欧美日韩精品网址| 国产精品一区二区在线不卡| 麻豆av在线久日| 亚洲男人天堂网一区| 欧美亚洲日本最大视频资源| 啦啦啦在线免费观看视频4| 一级毛片电影观看| 精品人妻偷拍中文字幕| 午夜91福利影院| 卡戴珊不雅视频在线播放| 日韩一区二区三区影片| 欧美中文综合在线视频| 久久女婷五月综合色啪小说| 一级片'在线观看视频| 亚洲精品美女久久av网站| 国产亚洲av片在线观看秒播厂| 日韩一区二区三区影片| av不卡在线播放| 丰满迷人的少妇在线观看| 日韩制服骚丝袜av| 婷婷色麻豆天堂久久| 夫妻性生交免费视频一级片| 热99久久久久精品小说推荐| 日日啪夜夜爽| 香蕉精品网在线| a 毛片基地| 人妻人人澡人人爽人人| 亚洲av电影在线观看一区二区三区| 国产亚洲午夜精品一区二区久久| 另类精品久久| 国产xxxxx性猛交| 亚洲五月色婷婷综合| 欧美少妇被猛烈插入视频| 精品国产乱码久久久久久小说| 亚洲,欧美,日韩| 亚洲综合精品二区| 成人国产麻豆网| 精品国产乱码久久久久久男人| 99国产精品免费福利视频| 日韩制服丝袜自拍偷拍| 国语对白做爰xxxⅹ性视频网站| 精品久久久久久电影网| www.av在线官网国产| 如何舔出高潮| av.在线天堂| 亚洲第一av免费看| 国产黄色视频一区二区在线观看| 黑人欧美特级aaaaaa片| 香蕉国产在线看| 久久鲁丝午夜福利片| 国产成人精品一,二区| 亚洲欧美一区二区三区国产| av在线播放精品| 街头女战士在线观看网站| 精品少妇黑人巨大在线播放| 999久久久国产精品视频| 人妻人人澡人人爽人人| 成人国产av品久久久| 大香蕉久久成人网| 久久久久久久亚洲中文字幕| videossex国产| 亚洲成国产人片在线观看| 欧美xxⅹ黑人| 国产色婷婷99| 中文字幕制服av| 亚洲精品国产av成人精品| 中文精品一卡2卡3卡4更新| 18在线观看网站| 老汉色av国产亚洲站长工具| 久久精品国产亚洲av天美| 久久午夜福利片| 久久99热这里只频精品6学生| 免费观看a级毛片全部| 一级毛片黄色毛片免费观看视频| 黄片小视频在线播放| 18禁国产床啪视频网站| 午夜福利乱码中文字幕| 一区福利在线观看| 新久久久久国产一级毛片| 亚洲国产成人一精品久久久| 少妇熟女欧美另类| 亚洲精品在线美女| 少妇熟女欧美另类| 久久国产精品大桥未久av| 国产深夜福利视频在线观看| 男的添女的下面高潮视频| 久久av网站| 亚洲少妇的诱惑av| 在线免费观看不下载黄p国产| 午夜老司机福利剧场| 国产视频首页在线观看| 综合色丁香网| 成人国产av品久久久| 久久青草综合色| 亚洲美女视频黄频| 老司机影院毛片| 久久久久久久久久人人人人人人| 久久久久久久大尺度免费视频| 久久韩国三级中文字幕| 国产亚洲最大av| 日本vs欧美在线观看视频| 国产成人精品久久久久久| 欧美人与善性xxx| 蜜桃在线观看..| 亚洲国产精品国产精品| 国产成人欧美| 蜜桃国产av成人99| 老司机亚洲免费影院| 亚洲国产欧美网| 久久综合国产亚洲精品| 欧美精品av麻豆av| 亚洲精品国产一区二区精华液| 99热网站在线观看| 精品久久蜜臀av无| 国产精品亚洲av一区麻豆 | 天堂俺去俺来也www色官网| 黄片播放在线免费| av.在线天堂| 成人免费观看视频高清| 80岁老熟妇乱子伦牲交| a级片在线免费高清观看视频| 免费黄频网站在线观看国产| 国产精品国产三级国产专区5o| 99九九在线精品视频| 夜夜骑夜夜射夜夜干| 一区二区三区四区激情视频| 国产精品一区二区在线不卡| av免费在线看不卡| 欧美精品一区二区免费开放| 男的添女的下面高潮视频| 免费观看在线日韩| 精品少妇黑人巨大在线播放| 人妻一区二区av| 久久久欧美国产精品| 国产av一区二区精品久久| 亚洲,欧美精品.| 欧美最新免费一区二区三区| 亚洲第一区二区三区不卡| 18在线观看网站| 日韩制服骚丝袜av| 亚洲成国产人片在线观看| 成人漫画全彩无遮挡| 美女福利国产在线| 热99国产精品久久久久久7| 亚洲,一卡二卡三卡| 国产精品欧美亚洲77777| 中文字幕最新亚洲高清| 91国产中文字幕| 欧美最新免费一区二区三区| av在线老鸭窝| av在线app专区| 久久精品aⅴ一区二区三区四区 | 成年人午夜在线观看视频| av天堂久久9| 黑人猛操日本美女一级片| 一边亲一边摸免费视频| 日本午夜av视频| 国产精品无大码| 日本色播在线视频| 亚洲欧美成人综合另类久久久| 五月伊人婷婷丁香| 一区二区三区精品91| 日韩一卡2卡3卡4卡2021年| 色播在线永久视频| 夫妻性生交免费视频一级片| 亚洲欧美成人精品一区二区| 尾随美女入室| 亚洲国产毛片av蜜桃av| 精品人妻一区二区三区麻豆| 999精品在线视频| 亚洲三区欧美一区| 热re99久久精品国产66热6| 妹子高潮喷水视频| 亚洲国产成人一精品久久久| 午夜福利视频在线观看免费| 国产亚洲av片在线观看秒播厂| 国产深夜福利视频在线观看| 免费看av在线观看网站| 成人二区视频| 国产日韩欧美视频二区| av女优亚洲男人天堂| 国产成人欧美| 女的被弄到高潮叫床怎么办| 丝袜在线中文字幕| 久久久久久人人人人人| 妹子高潮喷水视频| 免费黄色在线免费观看| 一边摸一边做爽爽视频免费| 国产亚洲一区二区精品| 人妻系列 视频| 精品国产超薄肉色丝袜足j| 国产乱来视频区| 韩国高清视频一区二区三区| 777久久人妻少妇嫩草av网站| 美国免费a级毛片| av国产久精品久网站免费入址| 9191精品国产免费久久| 亚洲,一卡二卡三卡| 9191精品国产免费久久| 亚洲av免费高清在线观看| 亚洲国产最新在线播放| 欧美人与性动交α欧美软件| 色婷婷久久久亚洲欧美| 久久久精品区二区三区| 久久人人97超碰香蕉20202| 久久久久久久亚洲中文字幕| 老汉色∧v一级毛片| 久久久精品区二区三区| 韩国av在线不卡| 欧美 日韩 精品 国产| 免费在线观看视频国产中文字幕亚洲 | 欧美精品人与动牲交sv欧美| 日本-黄色视频高清免费观看| 秋霞伦理黄片| 久久国产精品大桥未久av| 人人妻人人爽人人添夜夜欢视频| 免费在线观看完整版高清| 18+在线观看网站| 99精国产麻豆久久婷婷| 在线看a的网站| 一级片免费观看大全| 精品人妻偷拍中文字幕| 91国产中文字幕| 国产熟女午夜一区二区三区| 久久人妻熟女aⅴ| 免费女性裸体啪啪无遮挡网站| 成年美女黄网站色视频大全免费| 精品福利永久在线观看| 边亲边吃奶的免费视频| 国产黄频视频在线观看| 少妇人妻 视频| av又黄又爽大尺度在线免费看| 午夜老司机福利剧场| 妹子高潮喷水视频| 捣出白浆h1v1| a级片在线免费高清观看视频| 十八禁网站网址无遮挡| 欧美人与善性xxx| 精品国产一区二区三区久久久樱花| 性高湖久久久久久久久免费观看| 国产免费又黄又爽又色| 丰满饥渴人妻一区二区三| 69精品国产乱码久久久| 天天躁夜夜躁狠狠久久av| 国产日韩欧美亚洲二区| av在线app专区| 午夜免费观看性视频| 另类亚洲欧美激情| 捣出白浆h1v1| 老汉色av国产亚洲站长工具| 90打野战视频偷拍视频| 天天操日日干夜夜撸| 欧美亚洲 丝袜 人妻 在线| 国产精品一国产av| 日韩中文字幕视频在线看片| 日本猛色少妇xxxxx猛交久久| 久久久久久伊人网av| 日韩中文字幕视频在线看片| 亚洲av男天堂| 桃花免费在线播放| 精品人妻在线不人妻| 国产熟女午夜一区二区三区| 久久久久国产一级毛片高清牌| 成人黄色视频免费在线看| 天堂俺去俺来也www色官网| 亚洲精品国产av成人精品| 在线 av 中文字幕| 18禁动态无遮挡网站| 欧美av亚洲av综合av国产av | 考比视频在线观看| 婷婷成人精品国产| 久久精品久久精品一区二区三区| 国产视频首页在线观看| 各种免费的搞黄视频| 成人国语在线视频| 国产日韩一区二区三区精品不卡| 国产成人av激情在线播放| 国产免费视频播放在线视频| 欧美人与性动交α欧美软件| 性色avwww在线观看| 日韩 亚洲 欧美在线| 久久人人爽人人片av| 欧美成人午夜免费资源| 久久亚洲国产成人精品v| 国产有黄有色有爽视频| 国产福利在线免费观看视频| 国产黄色免费在线视频| 国产高清不卡午夜福利| 精品国产露脸久久av麻豆| 亚洲av欧美aⅴ国产| 欧美bdsm另类| 大码成人一级视频| 国产精品女同一区二区软件| 日韩av免费高清视频| 国产精品免费大片| 日本色播在线视频| 自拍欧美九色日韩亚洲蝌蚪91| 一边亲一边摸免费视频| 1024视频免费在线观看| 制服诱惑二区| 午夜福利在线观看免费完整高清在| 国产成人精品久久二区二区91 | 丁香六月天网| 精品亚洲成a人片在线观看| 一区二区日韩欧美中文字幕| 亚洲,欧美,日韩| 久久久国产精品麻豆| 香蕉丝袜av| 18在线观看网站| 亚洲成国产人片在线观看| 国产男人的电影天堂91| 国产激情久久老熟女| 成年女人毛片免费观看观看9 | 18+在线观看网站| 国产综合精华液| 午夜老司机福利剧场| 丝袜脚勾引网站| 乱人伦中国视频| 在线观看免费视频网站a站| 久久狼人影院| 中文字幕人妻丝袜一区二区 | 国产精品久久久久久久久免| 老女人水多毛片| 在线观看免费视频网站a站| 久久久久久久大尺度免费视频| 欧美97在线视频| 久久人人97超碰香蕉20202| 久久精品熟女亚洲av麻豆精品| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 精品一区在线观看国产| 欧美精品高潮呻吟av久久| 黄色一级大片看看| 丝袜美腿诱惑在线| 叶爱在线成人免费视频播放| freevideosex欧美| av网站在线播放免费| 亚洲国产欧美在线一区| 午夜免费鲁丝| 秋霞在线观看毛片| 久久97久久精品| 中国国产av一级| 五月天丁香电影| 熟妇人妻不卡中文字幕| 欧美97在线视频| 亚洲人成77777在线视频| 18在线观看网站| 精品国产乱码久久久久久小说| xxx大片免费视频| 午夜福利视频精品| 亚洲国产最新在线播放| 美女国产高潮福利片在线看| 九色亚洲精品在线播放| 国产亚洲精品第一综合不卡| 国产成人午夜福利电影在线观看| 国产探花极品一区二区| 一级,二级,三级黄色视频| 国产国语露脸激情在线看| 亚洲欧洲精品一区二区精品久久久 | 午夜激情av网站| 我的亚洲天堂| 天美传媒精品一区二区| 色婷婷久久久亚洲欧美| 精品人妻一区二区三区麻豆| 国产深夜福利视频在线观看| kizo精华| 天天操日日干夜夜撸| 青青草视频在线视频观看| 一级a爱视频在线免费观看| 欧美av亚洲av综合av国产av | 十分钟在线观看高清视频www| 日本av手机在线免费观看| a 毛片基地| 国产xxxxx性猛交| 午夜福利一区二区在线看| 国产福利在线免费观看视频| 亚洲av男天堂| av片东京热男人的天堂| 国产精品久久久久久av不卡| 三级国产精品片| 午夜精品国产一区二区电影| 欧美av亚洲av综合av国产av | 美女主播在线视频| 国产精品一区二区在线不卡| 国产精品 欧美亚洲| 热re99久久精品国产66热6| 深夜精品福利| 国产成人91sexporn| 在线观看美女被高潮喷水网站| 99九九在线精品视频| 欧美97在线视频| 久久精品人人爽人人爽视色| 夫妻性生交免费视频一级片| 成年美女黄网站色视频大全免费| av在线观看视频网站免费| www.熟女人妻精品国产| 欧美人与性动交α欧美软件| 国产精品久久久久久精品电影小说| 久久精品国产亚洲av天美| 亚洲精品一二三| 美女大奶头黄色视频| 大片电影免费在线观看免费| 99久久综合免费| 午夜精品国产一区二区电影| 尾随美女入室| 精品福利永久在线观看| 69精品国产乱码久久久| 日本爱情动作片www.在线观看| 免费日韩欧美在线观看| 一区二区三区四区激情视频| 午夜福利视频精品| 女人被躁到高潮嗷嗷叫费观| 亚洲精品一二三| 美女视频免费永久观看网站| 亚洲第一av免费看| 你懂的网址亚洲精品在线观看| 亚洲天堂av无毛| 国产麻豆69| 青春草亚洲视频在线观看| 久久久久久久精品精品| 极品人妻少妇av视频| 国产日韩一区二区三区精品不卡| 精品少妇内射三级| 91精品国产国语对白视频| 韩国高清视频一区二区三区| 18+在线观看网站| 久久久久久人人人人人| 精品一区二区三卡| 美女午夜性视频免费| 国产成人精品在线电影| 男人操女人黄网站| 日本午夜av视频| 欧美激情高清一区二区三区 | 亚洲精品自拍成人| 最近最新中文字幕免费大全7| videossex国产| 国产爽快片一区二区三区| 国产欧美日韩一区二区三区在线| 老女人水多毛片| 大话2 男鬼变身卡| 精品午夜福利在线看| 五月天丁香电影| 国产色婷婷99| 国产成人精品久久二区二区91 | 亚洲精品自拍成人| 精品第一国产精品| 看免费av毛片| 最近的中文字幕免费完整| 国产免费又黄又爽又色| 久久久久久久精品精品| 在线看a的网站| 日本猛色少妇xxxxx猛交久久| 97人妻天天添夜夜摸| 亚洲伊人色综图| 99re6热这里在线精品视频| 只有这里有精品99| 欧美精品一区二区免费开放| 日本av手机在线免费观看| 激情视频va一区二区三区| 久久久久精品人妻al黑| 99热国产这里只有精品6| 丰满迷人的少妇在线观看| 日韩视频在线欧美| 男女高潮啪啪啪动态图| 一级爰片在线观看| 搡女人真爽免费视频火全软件| 精品午夜福利在线看| 久久久久久人人人人人| 亚洲第一区二区三区不卡| 黄色毛片三级朝国网站| 午夜福利视频在线观看免费| 大香蕉久久网| 日本wwww免费看| 亚洲av免费高清在线观看| 久久精品熟女亚洲av麻豆精品| 亚洲av日韩在线播放| 多毛熟女@视频| 各种免费的搞黄视频| 国产 精品1| 亚洲第一青青草原| 在线观看免费日韩欧美大片| 午夜免费鲁丝| 国产亚洲精品第一综合不卡| 两个人免费观看高清视频| 香蕉国产在线看| 夫妻午夜视频| 精品国产超薄肉色丝袜足j| 日韩一区二区视频免费看| 亚洲美女黄色视频免费看| 久久韩国三级中文字幕| 丝袜脚勾引网站| 国产成人精品福利久久| 精品久久久久久电影网| 在线 av 中文字幕| 日韩电影二区| 亚洲精品aⅴ在线观看| 国产人伦9x9x在线观看 | videossex国产| 国产亚洲精品第一综合不卡| 亚洲av国产av综合av卡| 国产精品 欧美亚洲| 九色亚洲精品在线播放| 国产成人午夜福利电影在线观看| 久久精品国产自在天天线| 久久国内精品自在自线图片| 在线 av 中文字幕| 久久精品aⅴ一区二区三区四区 | 街头女战士在线观看网站| 天美传媒精品一区二区| 精品亚洲成国产av| 成人国产麻豆网| 久久精品国产综合久久久| 国产成人精品一,二区| 精品人妻偷拍中文字幕| 国产精品嫩草影院av在线观看| 欧美人与善性xxx| 久久久久视频综合| 97精品久久久久久久久久精品| 岛国毛片在线播放| 一本色道久久久久久精品综合| 九色亚洲精品在线播放| 欧美精品人与动牲交sv欧美| 久久久久久久久免费视频了| 女人高潮潮喷娇喘18禁视频| 天天操日日干夜夜撸| av不卡在线播放| 伦精品一区二区三区| 最新中文字幕久久久久| 亚洲国产成人一精品久久久| 在线看a的网站| 人人澡人人妻人| 18+在线观看网站| 精品一区二区三区四区五区乱码 | 9191精品国产免费久久| 巨乳人妻的诱惑在线观看| 91午夜精品亚洲一区二区三区| 国产熟女午夜一区二区三区| 午夜日韩欧美国产| 精品国产一区二区三区四区第35| 狠狠婷婷综合久久久久久88av| 日本色播在线视频| 99久久精品国产国产毛片| 秋霞伦理黄片| 免费人妻精品一区二区三区视频| 亚洲伊人久久精品综合| 亚洲国产欧美网| 女的被弄到高潮叫床怎么办| 国产午夜精品一二区理论片| 国产精品国产三级专区第一集| 一二三四在线观看免费中文在| freevideosex欧美| 久久久精品区二区三区| 天天操日日干夜夜撸| 久久精品夜色国产| 免费大片黄手机在线观看| 欧美精品国产亚洲| 午夜日韩欧美国产| 国产av一区二区精品久久| 日韩大片免费观看网站| 激情视频va一区二区三区| 90打野战视频偷拍视频| 亚洲国产欧美在线一区| 美女福利国产在线| 欧美日韩亚洲高清精品| 成年女人在线观看亚洲视频| 久久久久久久久久人人人人人人| 精品一区二区免费观看| 天美传媒精品一区二区| 丝瓜视频免费看黄片| 女人久久www免费人成看片| 夫妻午夜视频| 在线观看人妻少妇| 国产极品粉嫩免费观看在线| 亚洲精品国产av蜜桃| 日韩av不卡免费在线播放| 日韩欧美精品免费久久| 久久久精品免费免费高清| 黄片无遮挡物在线观看| 母亲3免费完整高清在线观看 | 9191精品国产免费久久| 久久人人爽人人片av| 欧美变态另类bdsm刘玥| 色婷婷av一区二区三区视频| 亚洲欧美一区二区三区久久| 日本欧美视频一区| 五月伊人婷婷丁香| 成年人午夜在线观看视频|