• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能良性創(chuàng)新發(fā)展的法制構(gòu)建思考*

    2018-02-06 16:29:09張吉豫
    中國法律評論 2018年2期
    關(guān)鍵詞:專利制度規(guī)制人工智能

    張吉豫

    一、引言

    “科學(xué)進展是一種悲喜交集的福音?!?卡爾·雷門德·波普爾(Karl Raimund Popper),紀樹立譯,《科學(xué)革命的合理性》,載《世界科學(xué)譯刊》1979年第8期,第1頁。該文摘譯自《Problems of Scientific Revolution: Problems and Obstacles to Progress in the Science》,Rom Harré編,牛津大學(xué)出版社1975年版。該語句是波普爾教授引用了博德默(W. F. Bodmer)教授的觀點并表示贊同。這在人工智能領(lǐng)域體現(xiàn)得尤為突出。

    自第一次工業(yè)革命以來,世界各國逐漸形成共識:科技創(chuàng)新對于社會進步、經(jīng)濟增長、人類福祉的提高和國家安全與競爭力提升有著重要意義。這尤其體現(xiàn)在各國政府重視和鼓勵創(chuàng)新的政策上。特別是21世紀以來,每一次科技界提出一個新的發(fā)展方向,很快就可以看到多國政府紛紛研究并發(fā)布促進政策。2例如,云計算這一概念被提出后,2010年8月,日本經(jīng)濟省發(fā)布《云計算與日本競爭力研究》,指出政府、用戶和云服務(wù)提供商應(yīng)構(gòu)建一個云計算產(chǎn)業(yè)發(fā)展的良好環(huán)境;2011年2月,美國發(fā)布《聯(lián)邦云計算戰(zhàn)略》;2011年9月,韓國政府制定了《云計算全面振興計劃》;2012年,歐盟委員會啟動“釋放歐洲云計算潛力”戰(zhàn)略計劃;2010年10月,中國國務(wù)院發(fā)布《國務(wù)院關(guān)于加快培育和發(fā)展戰(zhàn)略性新興產(chǎn)業(yè)的決定》,將云計算列為戰(zhàn)略性新興產(chǎn)業(yè)之一;2012年7月,國務(wù)院發(fā)布《“十二五”國家戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展規(guī)劃》,亦將云計算作為重點工程之一;等等。參見http://tech.sina.com.cn/it/2013-12-09/13538988745.shtml,2018年2月2日訪問。

    在2016年AlphaGo戰(zhàn)勝人類頂尖圍棋手之后,人工智能這一概念成為社會各界關(guān)注的焦點。盡管“人工智能”并不是一個新的概念,在1956年美國達特茅斯人工智能暑期研究計劃會議上就已將人工智能這個名詞固定下來;但近十年來以深度神經(jīng)網(wǎng)絡(luò)為代表的人工智能算法在圖像識別、語音識別等領(lǐng)域取得的突破性進展,再結(jié)合超級計算機和云計算平臺提供的強大計算能力,以及傳統(tǒng)互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)和正在發(fā)展的物聯(lián)網(wǎng)所帶來的日益豐富多樣的數(shù)據(jù)資源,為人工智能的發(fā)展繪制了一幅可信的光明圖景,引起了美國、歐洲、中國等多國政府的高度重視。3如美國國會發(fā)布了《為人工智能的未來做好準備》報告、《國家人工智能研究與發(fā)展戰(zhàn)略規(guī)劃》,美國國家科學(xué)基金會等贊助了《2016美國機器人發(fā)展路線圖——從互聯(lián)網(wǎng)到機器人》報告,蘋果公司發(fā)布了自己的人工智能發(fā)展報告,斯坦福大學(xué)發(fā)布了人工智能發(fā)展報告,2016年10月英國下議院的科學(xué)和技術(shù)委員會發(fā)布了《機器人和人工智能》報告,等等。2017年7月,中國國務(wù)院在《新一代人工智能發(fā)展規(guī)劃》中提出“人工智能成為國際競爭的新焦點。人工智能是引領(lǐng)未來的戰(zhàn)略性技術(shù),世界主要發(fā)達國家把發(fā)展人工智能作為提升國家競爭力、維護國家安全的重大戰(zhàn)略”,我國要“搶抓人工智能發(fā)展的重大戰(zhàn)略機遇,構(gòu)筑我國人工智能發(fā)展的先發(fā)優(yōu)勢,加快建設(shè)創(chuàng)新型國家和世界科技強國”。4國務(wù)院《新一代人工智能發(fā)展規(guī)劃》,2017年7月8日,載http://www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm, 2018年2月2日訪問。習(xí)近平總書記在中國共產(chǎn)黨十九大報告中指出,要“推動互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和實體經(jīng)濟深度融合”。5習(xí)近平:《決勝全面建成小康社會,奪取新時代中國特色社會主義偉大勝利——在中國共產(chǎn)黨第十九次全國代表大會上的報告》。

    由此可見,發(fā)展人工智能科技和產(chǎn)業(yè)應(yīng)用是當(dāng)前階段黨和國家的一項重要方針政策,是在目前各國大力發(fā)展人工智能的國際環(huán)境下,提升我國國家安全和全球競爭力、增進社會福祉的重要路徑,有必要創(chuàng)建能夠保障和促進人工智能技術(shù)創(chuàng)新發(fā)展的良好制度和政策環(huán)境。有利于人工智能產(chǎn)業(yè)創(chuàng)新發(fā)展的法律制度則是其中一個非常重要的方面。

    然而,在各國發(fā)布政策推進人工智能發(fā)展的同時,許多政府及民間組織也意識到人工智能在倫理、安全、隱私等諸多方面為人類社會帶來的重大挑戰(zhàn),紛紛提出對人工智能技術(shù)加強管制的要求和建議。實際上,呼吁政府對新技術(shù)進行監(jiān)管并不罕見;新技術(shù)的發(fā)展也需要建立比較明確的法律規(guī)范,使產(chǎn)業(yè)界和消費者均對技術(shù)應(yīng)用的法律有明確的預(yù)期。但此次引人注目的是,很多科技界、產(chǎn)業(yè)界的領(lǐng)軍人士都開始表達對于人工智能技術(shù)的擔(dān)憂,6Matthew U. Scherer,“Regulating Artificial Intelligence Systems: Risks, Challenges, Competencies, and Strategies”,Harvard Journal of Law & Technology ,Vol.29,(2016),p.355.一些行業(yè)協(xié)會、產(chǎn)業(yè)組織也對倫理和安全高度重視。例如,美國電子和電子工程師協(xié)會(IEEE)設(shè)立了自主與智能系統(tǒng)倫理全球倡議項目,連續(xù)兩年發(fā)布了《人工智能設(shè)計的倫理準則》白皮書;7https://ethicsinaction.ieee.org/,2018年3月1日訪問。美國計算機協(xié)會下屬美國公共政策委員會也在2017年年初發(fā)布了《算法透明性和可問責(zé)性聲明》,提出了七項基本原則;8https://www.acm.org/binaries/content/assets/public-policy/2017_usacm_statement_algorithms.pdf,2018年3月1日訪問。等等。在上文所述國務(wù)院《新一代人工智能發(fā)展規(guī)劃》中提出要“加強人工智能相關(guān)法律、倫理和社會問題研究,建立保障人工智能健康發(fā)展的法律法規(guī)和倫理道德框架”,包括:(1)制定相關(guān)安全管理法規(guī),為新技術(shù)的快速應(yīng)用奠定法律基礎(chǔ);(2)民事與刑事責(zé)任確認;(3)建立追溯和問責(zé)制度;(4)加強對人工智能潛在危害與收益的評估;等等。9國務(wù)院《新一代人工智能發(fā)展規(guī)劃》指出,要“加強人工智能相關(guān)法律、倫理和社會問題研究,建立保障人工智能健康發(fā)展的法律法規(guī)和倫理道德框架。開展與人工智能應(yīng)用相關(guān)的民事與刑事責(zé)任確認、隱私和產(chǎn)權(quán)保護、信息安全利用等法律問題研究,建立追溯和問責(zé)制度,明確人工智能法律主體以及相關(guān)權(quán)利、義務(wù)和責(zé)任等。重點圍繞自動駕駛、服務(wù)機器人等應(yīng)用基礎(chǔ)較好的細分領(lǐng)域,加快研究制定相關(guān)安全管理法規(guī),為新技術(shù)的快速應(yīng)用奠定法律基礎(chǔ)。開展人工智能行為科學(xué)和倫理等問題研究,建立倫理道德多層次判斷結(jié)構(gòu)及人機協(xié)作的倫理框架。制定人工智能產(chǎn)品研發(fā)設(shè)計人員的道德規(guī)范和行為守則,加強對人工智能潛在危害與收益的評估,構(gòu)建人工智能復(fù)雜場景下突發(fā)事件的解決方案。積極參與人工智能全球治理,加強機器人異化和安全監(jiān)管等人工智能重大國際共性問題研究,深化在人工智能法律法規(guī)、國際規(guī)則等方面的國際合作,共同應(yīng)對全球性挑戰(zhàn)。”中國電子標(biāo)準化研究院在國家標(biāo)準化管理委員會工業(yè)二部的指導(dǎo)下,組織編寫并發(fā)布了中國《人工智能標(biāo)準化白皮書》(2018年版),10《人工智能標(biāo)準化白皮書》(2018年版),載http://www.cesi.ac.cn/201801/3545.html, 2018年3月1日訪問。其中包含了“人工智能的安全、倫理和隱私問題”部分,體現(xiàn)了關(guān)于人工智能的倫理和法律規(guī)制的考慮。

    盡管已產(chǎn)生諸多倡議,但在相關(guān)政策法規(guī)還不明晰的同時,人工智能技術(shù)在社會中已逐漸開始得到應(yīng)用,對人們的生活產(chǎn)生著日益明晰的影響。一方面,人工智能算法日益廣泛地滲透到用戶畫像、事件抓取與畫像、信息精準推送、征信、數(shù)字化文學(xué)藝術(shù)作品生產(chǎn)等應(yīng)用領(lǐng)域,直接影響著人們在線上網(wǎng)絡(luò)空間的生活,并間接與處于線下物理世界的我們發(fā)生聯(lián)系。另一方面,與機械裝置的控制相結(jié)合、直接作用于物理世界的人工智能的應(yīng)用也已展開。例如,在自動駕駛領(lǐng)域,我國北京、上海、重慶等城市已經(jīng)出臺試行政策,支持自動駕駛汽車測試。11例如,2017年12月,北京市交通委員會、北京市公安局公安交通管理局和北京市經(jīng)濟和信息化委員會發(fā)布了《北京市關(guān)于加快推進自動駕駛車輛道路測試有關(guān)工作的指導(dǎo)意見(試行)》和《北京市自動駕駛車輛道路測試管理實施細則(試行)》。諸多機構(gòu)預(yù)測,在不遠的將來,人工智能在醫(yī)療、交通、金融服務(wù)、媒體、廣告、零售、制造、教育等領(lǐng)域的應(yīng)用將日益普及。12See Mckinsey Global Institute,“Artificial Intelligence: the Next Digital Frontier?”,June 2017, https://www.mckinsey.com/~/media/McKinsey/Industries/Advanced%20Electronics/Our%20Insights/How%20artificial%20intelligence%20 can%20deliver%20real%20value%20to%20companies/MGI-Artificial-Intelligence-Discussion-paper.ashx, PWC, “2018 AI Predictions”, https://www.pwc.com/us/en/advisory-services/publications/artificial-intelligence-predictions.html,accessed on March 8, 2018.而當(dāng)前也已經(jīng)出現(xiàn)了自動駕駛汽車的交通事故、司法定罪量刑中的算法歧視與不透明性、電子商務(wù)中“算法殺熟”、人臉識別與隱私憂患等一系列具體問題。人工智能的法律規(guī)制需求已近在眼前。

    當(dāng)前我國法律制度的發(fā)展完善面臨著一項急迫的任務(wù):面對人工智能這樣一項正處在飛速發(fā)展階段的復(fù)雜技術(shù),如何更好地構(gòu)建法律制度,以在推動人工智能技術(shù)創(chuàng)新發(fā)展的同時,能夠良好應(yīng)對人工智能技術(shù)可能帶來的倫理挑戰(zhàn)和社會風(fēng)險問題。技術(shù)創(chuàng)新一方面充滿著不確定性,可能給社會帶來新的風(fēng)險;另一方面技術(shù)創(chuàng)新又為社會發(fā)展、人類福祉的提升帶來新的機遇,并且需要一定發(fā)展空間以使其逐步完善。然而,目前支撐這一領(lǐng)域法治建設(shè)的法學(xué)理論和實踐經(jīng)驗都并不充分,有待法律界積極探索。正如曼尼(Geoffrey A.Manne)等所指出的,“關(guān)于創(chuàng)新、競爭和監(jiān)管政策之間的關(guān)系,已知與未知之間的比例驚人地低”。13Geoffrey A. Manne, Joshua D. Wright, eds., Regulating Innovation: Competition Policy and Patent Law under Uncertainty,Cambridge U. Press, 2009, p.4.本文旨在研究如何為安全可信的人工智能技術(shù)創(chuàng)新構(gòu)建良好的法律環(huán)境,分析典型法律制度對科技創(chuàng)新的激勵與規(guī)制特點,探討當(dāng)前人工智能技術(shù)發(fā)展特點與法律規(guī)制,為相關(guān)法律制度基本框架的構(gòu)建提出一些初步建議。

    二、法律制度對科技創(chuàng)新的激勵與規(guī)制

    科技界時常有一些“顛覆性創(chuàng)新”,然而對于法律這項人類的古老發(fā)明,基于對法的穩(wěn)定性的追求,人們在面對新問題構(gòu)建法律時,往往傾向于更多地在已有的概念、原則、制度的基礎(chǔ)上進行發(fā)展,以滿足對體系穩(wěn)定性的需要。因此,在具體探討激勵和規(guī)制人工智能創(chuàng)新發(fā)展的法律制度之時,必須借鑒法律對科技創(chuàng)新的激勵與規(guī)制。

    (一)法律制度對技術(shù)創(chuàng)新的激勵

    在整個人類歷史長河中,人類科技的創(chuàng)新發(fā)展曾經(jīng)非常緩慢,直到近幾百年才發(fā)展日益迅速,而在近幾十年中則以指數(shù)級增長的速度發(fā)展。一種得到眾多支持的假說認為,如果某一領(lǐng)域的發(fā)明進展非常緩慢,最有可能的原因是支撐相應(yīng)研究的社會制度匱乏。有研究指出,在公元前2600多年的古埃及時代,伊姆賀特普(Imhotep)等一些“政府雇員”們解決了金字塔建造中遇到的很多技術(shù)難題,用現(xiàn)在的術(shù)語講,這些成就歸功于政府在研發(fā)領(lǐng)域里的直接采購。而在更廣闊的民用領(lǐng)域則缺少“政府采購”,也鮮有如此令人矚目的發(fā)明。在公元前600—公元前300年的古希臘時代,除政府在研發(fā)領(lǐng)域的直接采購?fù)?,促進研究和探索的制度還包括了給予研究者高度的尊敬和聲望、以教師為中心來組織學(xué)校等。這種制度對發(fā)明的激勵來源于政府的需要和研究者的興趣。14參見[美]蘇珊娜·斯科奇姆:《創(chuàng)新與激勵》,劉勇譯,格致出版社、上海人民出版社2010年版,第4—27頁。實際上,在人類社會發(fā)展的相當(dāng)長的時間中,法律并不主動地深度介入技術(shù)創(chuàng)新領(lǐng)域。直到1474年威尼斯元老院專利法案的誕生15歐洲最早的“專利制度”與現(xiàn)代專利法在目的和具體制度上均有很大差異。在早期歐洲,采礦、伐木、河運等行業(yè)常由政府直接控制,政府則許可某些商人在一定時期或區(qū)域獨占經(jīng)營的權(quán)利,從而限制競爭,實現(xiàn)商人和政府的雙贏。1474年威尼斯元老院專利法案則不同,該法案規(guī)定:“吾人中有稟賦卓群者,擅長發(fā)明或發(fā)現(xiàn)各種精巧裝置;同時,本市乃禮儀富貴之邦,世界各地的才人智士也爭相而至。若法律規(guī)定知悉此種裝置者不得為模仿制造而損及發(fā)明人的聲譽,則將有更多人等積極發(fā)揮聰明才智,發(fā)現(xiàn)并制造各種實用器物,從而增進公共福祉。因此經(jīng)議會決定,本法作出如下規(guī)定:任何人在本城制造本城邦內(nèi)先前未曾有人制造的、新穎且精巧的、經(jīng)改進完善即可使用和操作的機械裝置,應(yīng)向本城行政部門登記,以使該發(fā)明得以應(yīng)用。未經(jīng)發(fā)明人同意,本城其他人在10年內(nèi)不得制造與該裝置相同或者相似的產(chǎn)品;若有仿造者,發(fā)明人可向本城執(zhí)行官告發(fā),執(zhí)行官可令侵權(quán)者賠償100枚金幣,并處銷毀侵權(quán)裝置?!?,以促進技術(shù)創(chuàng)新和應(yīng)用為宗旨的現(xiàn)代專利制度才初步形成。專利、獎賞、贊助等制度成為了現(xiàn)代歐洲社會激勵科學(xué)發(fā)展和技術(shù)創(chuàng)新的重要工具,互相配合,互為補充。與政府采購、獎賞等制度不同,現(xiàn)代專利制度實際是由市場決定一項技術(shù)能夠給發(fā)明人帶來的經(jīng)濟回報,而并非依賴少數(shù)主體來決定資金的分配。因而專利制度為真正滿足市場中人們需求的那些發(fā)明創(chuàng)造提供了激勵。

    現(xiàn)代專利法在激勵技術(shù)創(chuàng)新方面具有如下幾方面的特點:

    (1)總體上而言,專利制度一般并不主動限制技術(shù)創(chuàng)新發(fā)展方向,對于不能獲得專利保護的技術(shù)領(lǐng)域僅有非常有限的限制。16我國現(xiàn)行《專利法》第5條規(guī)定,對違反法律、社會公德或者妨害公共利益的發(fā)明創(chuàng)造,不授予專利權(quán)。第25條規(guī)定了對科學(xué)發(fā)現(xiàn)、智力活動的規(guī)則和方法、疾病的診斷和治療方法、動物和植物品種、用原子核變換方法獲得的物質(zhì)和對平面印刷品的圖案、色彩或者二者的結(jié)合作出的主要起標(biāo)識作用的設(shè)計不授予專利權(quán)。

    (2)專利制度不主動引導(dǎo)技術(shù)創(chuàng)新發(fā)展的具體方向,但由于專利制度并不直接獎勵創(chuàng)新,而是通過市場產(chǎn)生作用,因此,專利制度所真正激勵的創(chuàng)新,是有望在市場上獲得廣泛應(yīng)用的技術(shù)。

    不同于獎賞、贊助等直接提供經(jīng)濟回報或支持的促進技術(shù)創(chuàng)新方式,專利制度不但沒有直接給予發(fā)明人經(jīng)濟收益,還要求發(fā)明人在申請時繳納申請費,并在授權(quán)后在希望保持專利有效的時間內(nèi)繳納年費,且專利年費一般隨著時間的推移而階梯性升高,以此來敦促那些已經(jīng)基本明確無法給權(quán)利人帶來收益的專利技術(shù)盡快進入公有領(lǐng)域。因此,在單純的專利制度下,如果一項專利技術(shù)完全沒有市場應(yīng)用需求和前景,擁有該專利并不能給專利權(quán)人帶來實際的經(jīng)濟收益,相反,還由于需要交納年費而徒增成本。當(dāng)然,有的時期會存在一些特定的政策,給單純的專利制度加上一些市場之外的激勵。例如,個人可能憑借專利獲得某類評價上的優(yōu)勢,企業(yè)可能享受地方政府的專利申請費補貼或憑借專利享有減免稅收等優(yōu)惠,但這些并非專利制度本身之意,關(guān)于這些政策對于專利制度的利弊也有很多討論。因此,在不考慮其他特殊政策的單純專利制度下,只有對在市場上能夠被使用的發(fā)明創(chuàng)造,17這里所說的使用未必是企業(yè)自身真正使用了該技術(shù)。企業(yè)對于一項在市場中可能應(yīng)用的技術(shù)申請專利可能有多種目的,例如,可能用于提高他人進入市場的成本,或是用于防御,保障自己能夠進入相應(yīng)市場領(lǐng)域,等等。企業(yè)獲得相關(guān)專利權(quán)才能使企業(yè)在市場競爭中獲得更加優(yōu)勢的地位有積極意義。這種制度設(shè)計實際上使專利與市場需求建立起了密切聯(lián)系。在一定意義上,專利制度建立了一種由市場需求引導(dǎo)技術(shù)創(chuàng)新發(fā)展方向的法律支持。這一方面有利于使技術(shù)創(chuàng)新更切合市場需求,另一方面實際上也對專利制度能夠激勵的技術(shù)創(chuàng)新領(lǐng)域產(chǎn)生了限制。

    (3)專利制度與促進技術(shù)創(chuàng)新發(fā)展的關(guān)系仍有許多質(zhì)疑。例如,1958年,美國經(jīng)濟學(xué)者弗里茨·馬克盧普(Fritz Machlup)在向美國國會提交的一份關(guān)于專利的研究報告中提出:“如果我們沒有專利制度,在對專利制度經(jīng)濟后果現(xiàn)有了解的基礎(chǔ)上,建議建立專利制度將是不負責(zé)任的;但是我們既然已經(jīng)在很長時間內(nèi)實施了專利制度,在現(xiàn)有了解的基礎(chǔ)上建議廢除專利制度也是不負責(zé)任的?!?8Fritz Machlup, An Economic Review of the Patent System, Study of the Subcommittee on Patents, Trademarks, and Copyrights of the Committee on the Judiciary, 85th Congress, 2nd Session, Government Priting Office, 1958, p.80.

    (4)專利制度在軟件和商業(yè)方法的授權(quán)條件方面仍有較大的爭議。對于人工智能技術(shù)而言,很多創(chuàng)新將涉及軟件和商業(yè)方法。如何設(shè)置授權(quán)條件以符合人工智能的創(chuàng)新激勵需求,仍值得進一步觀察和論證。

    除專利法外,我國《科學(xué)技術(shù)進步法》從其他方面原則性地規(guī)定了一些科技創(chuàng)新激勵制度,主要包括:國家建立科學(xué)技術(shù)獎勵制度,對在科學(xué)技術(shù)進步活動中做出重要貢獻的組織和個人給予獎勵;設(shè)立自然科學(xué)基金等基金,資助科研;稅收優(yōu)惠政策;鼓勵和引導(dǎo)金融機構(gòu)在信貸等方面支持科學(xué)技術(shù)應(yīng)用和高新技術(shù)產(chǎn)業(yè)發(fā)展,鼓勵保險機構(gòu)根據(jù)高新技術(shù)產(chǎn)業(yè)發(fā)展的需要開發(fā)保險品種;政府采購的優(yōu)先考慮;鼓勵企業(yè)設(shè)置內(nèi)部科學(xué)技術(shù)研究開發(fā)機構(gòu)和依法設(shè)置博士后流動站;明確關(guān)于國家資助科研項目的知識產(chǎn)權(quán)歸屬;等等。

    (二)科技倫理、風(fēng)險與法律規(guī)制

    自19世紀末20世紀初開始,人們發(fā)現(xiàn)一些新興科學(xué)技術(shù)的發(fā)展可能挑戰(zhàn)人類的倫理道德,或可能帶來公共風(fēng)險,因而開始相對比較積極地通過法律對一些特定領(lǐng)域的科技研發(fā)和應(yīng)用進行規(guī)制。

    在對人類傳統(tǒng)倫理道德的挑戰(zhàn)方面,人類胚胎干細胞的研究是一個典型實例。胚胎干細胞是指一類起源于胚胎,處于未分化狀態(tài),可以長期自我分化和自我更新,具有在一定條件下分化形成各種組織細胞潛能的細胞。19參見陸士新主編:《干細胞與腫瘤》,中國協(xié)和醫(yī)科大學(xué)出版社2009年版,第3頁。胚胎干細胞可能發(fā)育成人類的各種組織或器官,可能用于攻克很多原本難于醫(yī)治的疾病,具有非常重要的科研和醫(yī)學(xué)應(yīng)用價值。然而,人類胚胎干細胞的研究涉及比較激烈的倫理爭議。一方面,在提取人類胚胎干細胞時很有可能會使胚胎受到破壞甚至摧毀,而該胚胎是本可能發(fā)育成人的,因此涉嫌殺害人類生命。另一方面,很多人士擔(dān)心人類胚胎干細胞的研究可能會導(dǎo)致完整的克隆人,即實質(zhì)進行不同于“治療性克隆”的“生殖性克隆”,這對人類尊嚴和倫理維系都帶來挑戰(zhàn)。因此,英國、美國、澳大利亞等許多國家都出臺法律,對人類胚胎干細胞的研究予以管制。我國科學(xué)技術(shù)部、衛(wèi)生部也聯(lián)合下發(fā)了《人胚胎干細胞研究倫理指導(dǎo)原則》,20一些學(xué)者認為該規(guī)范缺少對進一步操作的規(guī)范細則,參見杜珍媛:《人類胚胎干細胞研究的倫理準則與法律監(jiān)管政策研究》,載《科技管理研究》2011年第17期。并在衛(wèi)生部發(fā)布的《醫(yī)療技術(shù)臨床應(yīng)用管理辦法》《人類輔助生殖技術(shù)規(guī)范》中也進行了相關(guān)規(guī)制。21衛(wèi)生部《醫(yī)療技術(shù)臨床應(yīng)用管理辦法》第58條規(guī)定,異種干細胞治療技術(shù)、異種基因治療技術(shù)、人類體細胞克隆技術(shù)等醫(yī)療技術(shù)暫不得應(yīng)用于臨床。衛(wèi)生部《人類輔助生殖技術(shù)規(guī)范》第三部分“實施技術(shù)人員的行為準則”第15項規(guī)定:禁止克隆人。同時,許多國家還進一步規(guī)定不對胚胎干細胞相關(guān)的技術(shù)方案授予專利。例如,我國現(xiàn)行《專利法》第5條中規(guī)定,對違反法律、社會公德或者妨害公共利益的發(fā)明創(chuàng)造,不授予專利權(quán)。在國家知識產(chǎn)權(quán)局發(fā)布的《專利審查指南》中規(guī)定,人類胚胎干細胞及其制備方法,均屬于《專利法》第5條第1款規(guī)定的不能被授予專利權(quán)的發(fā)明。由此可見,整體上而言,對于人類胚胎干細胞研究這類引起了重大倫理爭議的技術(shù),法律中傾向于采取比較嚴格的管制,并且拒絕予以激勵。

    在風(fēng)險方面,自工業(yè)化以來,現(xiàn)代科技和大規(guī)模生產(chǎn)所帶來的風(fēng)險與日俱增。正如德國學(xué)者烏爾里希·貝克(Ulrich Beck)所述,現(xiàn)代社會中的公眾可以切實感受到人類社會已經(jīng)進入“風(fēng)險社會”階段。22參見[德]烏爾里?!へ惪耍骸讹L(fēng)險社會》,何博聞譯,譯林出版社2004 年版。美國學(xué)者彼得·休伯(Peter Huber)則進一步將風(fēng)險區(qū)分為“私人風(fēng)險”(private risk)和“公共風(fēng)險”(public risk)。公共風(fēng)險這一概念用來指代那些集中或大規(guī)模生產(chǎn)的、廣泛傳播的,且在很大程度上超出了個體風(fēng)險承擔(dān)者直接理解和控制的給人的健康或安全帶來的威脅。23Peter Huber,“Safety and the Second Best: The Hazards of Public Risk Management in the Courts”, Columbia Law Review,Vol. 85, No. 2 (Mar., 1985), pp. 277-337.一般認為,絕大部分的公共風(fēng)險具有兩面性。例如,疫苗往往不會是100%的滅活,總會讓一些人患??;但整體而言,卻增進了公共健康。再如,可以想見,自動駕駛技術(shù)并不能完全避免交通事故的發(fā)生,總難免會有人因自動駕駛而遭受損傷,但也有許多人士預(yù)測,發(fā)展成熟后自動駕駛的普及除了可以為人們增加便利之外,也將可能從整體上大大降低交通事故發(fā)生的概率。

    在風(fēng)險治理方面,一般存在市場和政府兩種手段,對應(yīng)到法律制度層面,則主要有侵權(quán)法和政府規(guī)制兩種進路。24參見傅蔚岡:《對公共風(fēng)險的政府規(guī)制——闡釋與評述》,載《環(huán)球法律評論》2012年第2期。侵權(quán)法是一種間接的規(guī)制模式,主要通過承擔(dān)侵權(quán)責(zé)任的威懾來影響未來的行為,促使相應(yīng)的主體提高注意程度,進而減少風(fēng)險。政府規(guī)制則是政府通過設(shè)定相關(guān)行為的準入門檻、行為標(biāo)準、要求強制披露風(fēng)險活動的信息等方式來達到減少風(fēng)險的目的。兩項路徑比較而言,侵權(quán)法依賴于事先固定的法律以及在事后對引起損害的事實的認定,更多地關(guān)注于個案,能夠通過雙方當(dāng)事人及律師的對抗獲得個案更全面的信息,其實際對人們行為的影響力依賴于被侵權(quán)者對于他人過錯或產(chǎn)品缺陷責(zé)任等的證明能力。25參見司曉、曹建峰:《論人工智能的民事責(zé)任: 以自動駕駛汽車和智能機器人為切入點》,載《法律科學(xué)》2017年第5期。政府機構(gòu)則更便利組織跨學(xué)科專家團隊,對一個領(lǐng)域進行長期跟蹤和定期考察,滿足監(jiān)管所需的技術(shù)性、事實性判斷,通過設(shè)置產(chǎn)業(yè)標(biāo)準等途徑影響科技企業(yè)的行為和技術(shù)產(chǎn)品的特性,并通過發(fā)布標(biāo)準、進行公共宣傳,收集和傳播風(fēng)險信息等途徑,使公眾更容易推斷一類產(chǎn)品的相對安全性。

    綜上,對于新興技術(shù)的創(chuàng)新發(fā)展,專利制度針對市場競爭環(huán)境提供了本身不加過多選擇的“中立的”研發(fā)激勵,市場需求實際在很大程度上決定了技術(shù)創(chuàng)新發(fā)展方向,而針對倫理道德和風(fēng)險治理需求的法律規(guī)制則對市場和行為進行了干預(yù),引導(dǎo)技術(shù)創(chuàng)新向更加符合人類福祉的方向發(fā)展。由于規(guī)制在很大程度上影響了市場,在一定意義上,規(guī)制的導(dǎo)向也間接指導(dǎo)了專利制度能夠激勵的創(chuàng)新方向。在針對新技術(shù)發(fā)展構(gòu)建創(chuàng)新友好型法律環(huán)境時,應(yīng)該結(jié)合專利激勵與法律規(guī)制來綜合分析考量。

    三、當(dāng)前人工智能發(fā)展特點與法律規(guī)制要求

    盡管人工智能的法律規(guī)制還是一個相對較新的話題,但已有許多學(xué)者和實務(wù)界人士從法律規(guī)制的視角下從許多不同方面分析總結(jié)了人工智能的主要特點。例如,馬修·謝勒(Matthew U.Scherer)提出了人工智能如下方面的特征使其在法律規(guī)制上較為困難:(1)自主性、預(yù)見性和因果關(guān)系方面;(2)控制方面;(3)研究和開發(fā)方面:謹慎程度低、分散開發(fā)、應(yīng)用大量構(gòu)架組裝和不透明性。再如,美國學(xué)者瑞安·卡曼(Ryan Calo)在對人工智能的一個領(lǐng)域——機器人法——進行研究時指出,機器人與互聯(lián)網(wǎng)相比具有不同的基本特質(zhì),因此會引發(fā)不同的法律問題,這些特質(zhì)包括:機器人第一次將基于多維、多來源數(shù)據(jù)的算法與對人身造成傷害的能力結(jié)合起來;機器人系統(tǒng)以不可預(yù)知的方式完成任務(wù);機器人越來越模糊人與工具之間的界限;等等。26Ryan Calo, “Robotics and the Lessons of Cyberlaw”, http://www.californialawreview.org/wp-content/uploads/2015/07/Calo_Robots-Cyberlaw.pdf,accessed on February 16, 2018.而杰克·巴爾金(Jack M. Balkin)教授則認為,由于技術(shù)在社會生活中的應(yīng)用不斷發(fā)展,而且人們不斷尋找新的方式來善用或不善用技術(shù),所以在特定的時刻凍結(jié)某些使用特征并將其標(biāo)記為“必要的”可能是無益的。27Jack M. Balkin, “The Path of Robotics Law”, http://scholarship.law.berkeley.edu/cgi/viewcontent.cgi?article=1071&cont ext=clrcircuit,accessed on February 2, 2018.

    上述總結(jié)都是從侵權(quán)法和政府規(guī)制角度減少和合理分配人工智能技術(shù)風(fēng)險的重要視角。本文在此無意再從上述角度進行全面分析,而是希望從對傳統(tǒng)工程技術(shù)和信息技術(shù)產(chǎn)業(yè)實踐的觀察出發(fā),說明即使是存在專利制度激勵、國家獎勵的前提下,產(chǎn)業(yè)界仍然缺少足夠的動力來加強在產(chǎn)品安全性、正確性方面的創(chuàng)新技術(shù)的研發(fā)和應(yīng)用。然而對于以深度學(xué)習(xí)為代表的新一代人工智能技術(shù)而言,其安全性、可解釋性方面的技術(shù)創(chuàng)新發(fā)展還遠遠不夠,其應(yīng)用的普及性、傳播的迅速性、更加突出的不可解釋性和不可控性等,都使我們有必要通過更多的途徑來促進人工智能安全性、可解釋性方面的研發(fā)。

    在2017年的人工智能重量級會議神經(jīng)信息處理系統(tǒng)進展大會(NIPS)上,阿里·拉希米(Ali Rahimi)將人工智能中的機器學(xué)習(xí)技術(shù)比作煉金術(shù)。28演講視頻參見https://www.youtube.com/watch?v=Qi1Yry33TQE。著名深度學(xué)習(xí)專家揚·勒丘思(Yann LeCun)在此后迅速做出回應(yīng),表示我們需要更好地理解我們所用的方法,但正確的態(tài)度應(yīng)該是嘗試去解決問題。具體參見https://www.facebook.com/yann.lecun/posts/10154938130592143。后續(xù)相關(guān)文獻可參閱Ali Rahimi and Ben Recht, “An Addendum to Alchemy”, http://www.argmin.net/2017/12/11/alchemy-addendum/,accessed on February 16, 2018。他指出,人工智能技術(shù)就好像當(dāng)年的煉金術(shù)一樣“管用”。煉金術(shù)帶來了冶金、紡織、玻璃、醫(yī)療等領(lǐng)域的大量發(fā)明和技術(shù)進展,但同時煉金術(shù)也有一些謬誤存在,例如相信可以點石成金。從過去的煉金術(shù)到現(xiàn)代物理和化學(xué),科學(xué)家們花費了2000年的時間。對于某些并不是那么關(guān)鍵的領(lǐng)域,采用單純的技術(shù)可以解決問題,例如使用煉金術(shù)來提煉純度更高的物質(zhì),或者使用機器學(xué)習(xí)來識別車牌號碼。但如果是關(guān)鍵場景,則需要我們更加謹慎,如期望用機器學(xué)習(xí)來影響判決、選舉等。

    在工程領(lǐng)域,產(chǎn)業(yè)界常常并沒有強烈的直接動力在系統(tǒng)安全性和正確性方面做出更多投入,更常見的應(yīng)對是來源于問題發(fā)生之后的補救和分析。1849年,列隊士兵齊步通過法國曼恩河上大橋時,由于共振導(dǎo)致橋身斷裂,但橋梁載荷遠未超過許可范疇。塔科馬海峽大橋坍塌也是未考慮風(fēng)載荷的共振而導(dǎo)致穩(wěn)定性不足的一個著名案例。正是類似事件,推動了相關(guān)理論的研究發(fā)展,并最終導(dǎo)致相關(guān)強制性標(biāo)準的出臺。例如,美國AISC 360-10鋼結(jié)構(gòu)建筑規(guī)范和我國工程建設(shè)強制性標(biāo)準,都指出設(shè)計師們在結(jié)構(gòu)設(shè)計時,應(yīng)根據(jù)情況對主要結(jié)構(gòu)進行動力分析,并對照動荷載頻率的統(tǒng)計進行調(diào)整來避免共振的影響。即使如此,如果要防止共振,必須要改變外部激勵頻率或者結(jié)構(gòu)固有頻率。由于外部振動激勵并不確定,而結(jié)構(gòu)的固有頻率調(diào)整也是很困難的,因此在設(shè)計中也只能有減輕振動的大體設(shè)計原則,而無法完全規(guī)避。再如,目前關(guān)于工程領(lǐng)域疲勞的計算大都是基于統(tǒng)計數(shù)據(jù),疲勞壽命以及各種導(dǎo)致疲勞出現(xiàn)的因素表現(xiàn)為方差極大的概率分布,這是建立有效疲勞理論的“瓶頸”。在工程實踐中即使結(jié)構(gòu)應(yīng)力遠低于疲勞極限也存在失效的可能,只是概率比較低。但即使如此,在機械和材料相關(guān)的諸多領(lǐng)域,也都確定了和疲勞測試相關(guān)的行業(yè)強制性標(biāo)準。

    在計算機領(lǐng)域,自從計算機問世以來,計算機系統(tǒng)的不確定性問題就一直伴隨著計算機的發(fā)展而存在。計算機軟硬件安全漏洞產(chǎn)生的根源在于系統(tǒng)驚人的復(fù)雜性,例如Linux操作系統(tǒng)內(nèi)核的規(guī)模在過去呈指數(shù)級增長,29“The Increasing Size of the Linux Kernel”, https://www.phoronix.com/scan.php?page=news_item&px=MTAxNDg,accessed on March 1, 2018.2015年6月發(fā)布的4.1版本Linux內(nèi)核代碼庫的代碼量已超過1950萬行。30GitStats - linux, https://www.phoronix.com/misc/linuxstat-june-2015/index.html,accessed on March 1, 2018.流行的Windows系統(tǒng)則超過5000萬行代碼,集成了數(shù)萬個驅(qū)動程序。31Codebases. Millions of lines of code. https://informationisbeautiful.net/visualizations/million-lines-of-code/,accessed on March 1, 2018.主流的商業(yè)操作系統(tǒng)或大型應(yīng)用系統(tǒng)都由上千萬甚至上億行代碼構(gòu)成。在計算機的核心硬件部件處理器設(shè)計中,幾十億個晶體管構(gòu)成的超大規(guī)模集成電路已經(jīng)非常常見。1994年英特爾公司的奔騰系列處理器曾被發(fā)現(xiàn)了一個浮點除法部件的錯誤,該錯誤僅會在極端的大量數(shù)學(xué)工程計算中導(dǎo)致錯誤結(jié)果,但英特爾公司最終為此遭受了近5億美元的損失。32Pentium FDIV bug. https://en.wikipedia.org/wiki/Pentium_FDIV_bug,accessed on March 1, 2018.正是在此之后,英特爾公司引進了劍橋大學(xué)開發(fā)的基于高階邏輯的定理證明器HOL系統(tǒng)33Interactive Theorem Prover. https://hol-theorem-prover.org/,accessed on March 1, 2018.并開發(fā)了商業(yè)化的形式化驗證系統(tǒng)FORTE,將形式化方法引入驗證流程從而改善系統(tǒng)設(shè)計的可靠性。34Roope Kaivola, Katherine R Kohatsu. “Proof engineering in the large: formal verification of Pentium4 floating- point divider”. International Journal on Software Tools for Technology Transfer. May 2003, Vol. 4, pp.323-334. https://doi.org/10.1007/s10009-002-0081-6,accessed on March 1, 2018.2018年1月報道的英特爾等公司的處理器中的“熔斷”和“幽靈”設(shè)計漏洞,對數(shù)十億顆處理器芯片造成難以消除的影響,經(jīng)濟損失難以估計。35Gibbs, Samuel, "Meltdown and Spectre: 'worst ever' CPU bugs affect virtually all computers". The Guardian. https://www.theguardian.com/technology/2018/jan/04/meltdown-spectre-worst-cpu-bugs-ever-found-affect-computers-intelprocessors-security-flaw,accessed on March 1, 2018.而在之前很長的一段時間內(nèi),首先以及主要關(guān)心系統(tǒng)安全和正確性的還是學(xué)術(shù)機構(gòu)的研究人員。過去的大量實踐情況顯示,產(chǎn)業(yè)界在系統(tǒng)行為的風(fēng)險控制和產(chǎn)品性能、研發(fā)成本等方面進行權(quán)衡時,更多選擇性地忽視了前者。以“熔斷”和“幽靈”設(shè)計漏洞為例,所有應(yīng)用了分支預(yù)測和高速緩存技術(shù)的現(xiàn)代亂序超標(biāo)量商業(yè)處理器幾乎都存在這兩個漏洞。即使在1995年就有研究人員對英特爾的處理器提出了風(fēng)險質(zhì)疑,36O. Sibert, P. A. Porras, and R. Lindell,“The Intel 80x86 Processor Architecture: Pitfalls for Secure Systems”,In Proceedings of the 1995 IEEE Symposium on Security and Privacy,IEEE Press,1995.即使專業(yè)人員幾乎都知道被使用的計算機緩存原則上應(yīng)該被清除,37這兩個漏洞都是為了提高CPU性能而引入亂序執(zhí)行和預(yù)測執(zhí)行而產(chǎn)生的,這都可能導(dǎo)致預(yù)執(zhí)行的代碼被放入緩存,這些被使用的緩存原則上應(yīng)該被清除,但也許是緩存策略設(shè)計上出現(xiàn)了錯誤,也許是處理器設(shè)計者在權(quán)衡緩存信息安全和性能、功耗等因素上出現(xiàn)了失誤,最終處理器緩存中的信息并沒有被及時正確地清除,這使旁路攻擊可以讀取緩存,導(dǎo)致關(guān)鍵信息泄露。該漏洞一直到2018年才被公諸于世,并一直存在于包括英特爾、IBM、ARM等重量級公司的芯片產(chǎn)品中。

    也許是由于計算機軟件系統(tǒng)能夠通過在線更新或者補丁的方式修正錯誤,軟件廠商們甚至可能對設(shè)計本身的安全性和正確性關(guān)注得更少。例如早期的Windows操作系統(tǒng)并不提供數(shù)據(jù)執(zhí)行保護,這會使內(nèi)存數(shù)據(jù)可以當(dāng)作代碼來執(zhí)行。2003年,一款名為“沖擊波”的病毒38Blaster (computer worm). https://en.wikipedia.org/wiki/Blaster_(computer_worm),accessed on March 1, 2018.沖擊波病毒利用了2003年7月21日公布的一個windows遠程過程調(diào)用(RPC)漏洞進行傳播,造成了數(shù)十億美元的經(jīng)濟損失。掃蕩全球之后,微軟將其Windows XP升級為第二版服務(wù)包(SP2)時,才加入了數(shù)據(jù)執(zhí)行保護,避免在數(shù)據(jù)區(qū)域執(zhí)行代碼。由于軟件在系統(tǒng)的重要性越來越重要,其可信性問題也日益突出,這里所說的可信性,通常指在特定環(huán)境下其運行行為及其結(jié)果符合人們預(yù)期,并在受到干擾時仍能提供連續(xù)有效的服務(wù)。39劉克、單志廣、王戟等:《“可信軟件基礎(chǔ)研究”重大研究計劃綜述》,載《中國科學(xué)基金》2008年第3期。在過去的研究中,為獲得令人滿意的軟件可信性,形式化方法和工程化方法雖然取得了很大的進展,但在實際應(yīng)用中,相關(guān)的可信性軟件構(gòu)造、評測和確保等技術(shù)工作仍然嚴重滯后。此外,軟件的運行環(huán)境和開發(fā)環(huán)境已經(jīng)從傳統(tǒng)的封閉靜態(tài)環(huán)境延伸到了開放動態(tài)的分布式與網(wǎng)絡(luò)環(huán)境,其中計算實體的行為存在不可控性和不確定性, 這既對傳統(tǒng)的軟件開發(fā)方法和技術(shù)提出了挑戰(zhàn),更對運行時刻的可信保障提出了嚴峻的挑戰(zhàn)。40沈昌祥、張煥國、王懷民、王戟、趙波、嚴飛、余發(fā)江、張立強、徐明迪:《可信計算的研究與發(fā)展》,載《中國科學(xué):信息科學(xué)》2010年第2期。

    實際上,如何保證系統(tǒng)的可信性并給予恰當(dāng)?shù)脑u價也是非常困難的。2005年, 美國科學(xué)院組織了專家小組對此進行了研究,咨詢報告建議用更好的證據(jù)來評估改進可信性的方法,軟件可信性問題的關(guān)鍵是證據(jù)的構(gòu)造與評價等,可通過收集足夠的證據(jù)來支持軟件的可信性認證。41National Research Council. 2007,Software for Dependable Systems: Sufficient Evidence, The National Academies Press,https://doi.org/10.17226/11923.這些結(jié)論和建議可能也適用于人工智能系統(tǒng),我們可能需要圍繞可信性目標(biāo),建立證據(jù)以及論證證據(jù)說明目標(biāo)是否符合預(yù)期。

    從系統(tǒng)復(fù)雜性來看,人工智能特別是深度學(xué)習(xí)技術(shù)的處境可能會和建筑、機械等工程領(lǐng)域的發(fā)展存在相似之處。目前的人工智能,特別是其中有關(guān)深度學(xué)習(xí)技術(shù)的理論亟待獲得突破。但實際上由于復(fù)雜系統(tǒng)中的高維度、非線性、隨機性以及大量反饋環(huán)節(jié)的存在,使理解和解釋復(fù)雜系統(tǒng)從來都是極其困難的。在具體的應(yīng)用場景上,由于梯度下降方向的選擇等問題,以機器學(xué)習(xí)為代表的人工智能技術(shù)并不穩(wěn)定。很多時候我們會把脆弱的技術(shù)用在了我們并未完全理解的場景上。而深度學(xué)習(xí)則為復(fù)雜系統(tǒng)的神秘性增加了更多的不可知因素。

    人工智能技術(shù)領(lǐng)域的應(yīng)用范圍相比傳統(tǒng)工程技術(shù)可能更為廣泛,在廣度和深度上都可能更具影響力。對共振的不理解可能導(dǎo)致橋梁坍塌,對疲勞理論的不理解可能導(dǎo)致飛機墜毀,這些事件的發(fā)生固然重大,但就事件本身而言不具有傳播性,在概率上也不具普遍性。但廣泛基于計算機技術(shù)的人工智能系統(tǒng),一旦在關(guān)鍵應(yīng)用場景出現(xiàn)嚴重錯誤,則有可能在極短時間內(nèi)在極廣泛范圍內(nèi)造成災(zāi)難性影響。此外,人工智能技術(shù)的發(fā)展速度明顯更快,隨著計算能力和數(shù)據(jù)規(guī)模的大幅度增強,深度學(xué)習(xí)技術(shù)近十年來獲得了令人難以置信的發(fā)展。指數(shù)級的發(fā)展速度使未來難以預(yù)測,這也使我們有必要以更加審慎的態(tài)度對待人工智能相關(guān)技術(shù)的發(fā)展。

    盡管有國家獎勵、專利制度等激勵,信息行業(yè)在安全性、正確性方面的創(chuàng)新投入遠遠不足。這在一定意義上提示我們,如果想更大力度地促進安全性方面的研究投入,可能有必要結(jié)合侵權(quán)責(zé)任制度和政府監(jiān)管來進行探索。在當(dāng)前全球范圍內(nèi)人工智能發(fā)展應(yīng)用勢不可當(dāng)?shù)那疤嵯拢瑧?yīng)該看到當(dāng)前人工智能技術(shù)迅猛發(fā)展的趨勢和潛在的社會影響,同時看到人工智能技術(shù)在當(dāng)前安全性、可解釋性等方面技術(shù)創(chuàng)新的相對滯后,吸取之前軟件產(chǎn)業(yè)正確性驗證等方面發(fā)展相對落后的經(jīng)驗教訓(xùn),構(gòu)建可以更好地促進可信人工智能創(chuàng)新發(fā)展的法制環(huán)境。

    四、推進可信人工智能創(chuàng)新發(fā)展的法律制度

    一方面,人工智能技術(shù)正處于高速發(fā)展時期,缺少確定性,也需要一定發(fā)展空間來逐步完善;另一方面,當(dāng)前人工智能技術(shù)在很多領(lǐng)域取得突出進展的同時,在安全性、可解釋性等方面的發(fā)展卻相對滯后。這些都是人工智能技術(shù)發(fā)展的特點,在法律制度構(gòu)建中需要予以考察。專利制度、侵權(quán)責(zé)任制度和政府機構(gòu)管制均對技術(shù)創(chuàng)新有一定的影響,而不同法律制度具有不同的特點和具體目的。可以從上述三個方面的結(jié)合來考慮,如何在保有一定人工智能技術(shù)創(chuàng)新發(fā)展空間的同時,通過法律制度保障其合倫理性、控制和減少風(fēng)險,并促進對人工智能安全性、可解釋性領(lǐng)域的研發(fā)投入。

    正如本文在第二部分中所述,那些不會在產(chǎn)業(yè)上加以利用的專利技術(shù),無法從市場上給發(fā)明人帶來收益,由此專利制度將難以激勵人們加大對這類技術(shù)創(chuàng)新的研發(fā)。而產(chǎn)業(yè)上是否會采用某些技術(shù),與法律對相關(guān)風(fēng)險承擔(dān)的分配有密切關(guān)系。目前主流人工智能技術(shù)在安全性、可解釋性方面還沒有得到充分發(fā)展和廣泛的研發(fā)投入。此時,一方面,如果法律簡單地規(guī)定人工智能產(chǎn)品提供者在產(chǎn)品致人損害時的歸責(zé)原則為嚴格責(zé)任原則,或者在政府監(jiān)管時忽視了相關(guān)技術(shù)尚不成熟且正飛速發(fā)展的實際情況,創(chuàng)設(shè)過高或者過于單一的準入門檻,則有可能導(dǎo)致人工智能企業(yè)的大幅度減少,進而亦不能保障足夠的主體參與安全、可解釋人工智能技術(shù)的創(chuàng)新。另一方面,如果法律一直設(shè)置較低的準入門檻,也不規(guī)定相關(guān)責(zé)任,則可能致使企業(yè)沒有動力去應(yīng)用新的安全和可解釋性方面的技術(shù)。這其中的界限應(yīng)劃分在哪里,需要跨領(lǐng)域?qū)<裔槍唧w的典型應(yīng)用開展密切合作和深入考察。相關(guān)法律制度的構(gòu)建可以從以下幾方面開展:

    (1)制定法律,設(shè)置人工智能產(chǎn)業(yè)發(fā)展與安全委員會,由其組織論證,將人工智能的主要應(yīng)用加以區(qū)分和考察,進行風(fēng)險預(yù)評估,確定需進行特別規(guī)制考察的人工智能產(chǎn)品或服務(wù),并組建相應(yīng)的專家委員會進行標(biāo)準制定或?qū)彶?、認證規(guī)則制定及法律規(guī)制構(gòu)建。

    并非所有的人工智能應(yīng)用均需要特別規(guī)制。例如,有一款移動智能終端上運行的應(yīng)用程序“微軟識花”,它可以識別用戶拍攝的花朵,并自動分析輸出它判斷的結(jié)果——是哪種花和正確概率如何。這也是一款結(jié)合了智能圖像識別的人工智能產(chǎn)品,但這類程序在合理提示了自身判斷局限性的情況下,并不會不合理地致人損害或帶來公共風(fēng)險。

    在設(shè)置具體法律規(guī)制方面,本文認為當(dāng)前重點在于建立一套結(jié)合不同法律規(guī)制及其特點的理論框架,使前述委員會可以相對容易地在進行了調(diào)研的基礎(chǔ)上構(gòu)建具體的規(guī)則。例如,可在一定程度上參考謝勒(Matthew U. Scherer)等提出的雙分支侵權(quán)體系(a bifurcated tort system),42Matthew U. Scherer,“Regulating Artificial Intelligence Systems: Risks, Challenges, Competencies, and Strategies”,Harvard Journal of Law & Technology,Vol.29, (2016),p. 394.并在其基礎(chǔ)上進行擴展,對于獲得委員會認證或符合推薦性標(biāo)準的產(chǎn)品,則在判斷產(chǎn)品提供者是否侵權(quán)時適用過錯責(zé)任原則;對于未獲得認證或不符合推薦性標(biāo)準的產(chǎn)品,則在判斷產(chǎn)品提供者是否侵權(quán)時,適用嚴格責(zé)任原則。

    (2)考察強制保險制度和賠償金制度的適用性;引導(dǎo)和鼓勵在人工智能領(lǐng)域中的商業(yè)保險,增強社會抵御風(fēng)險的能力,使其在現(xiàn)代社會風(fēng)險防范體系中更好地發(fā)揮作用。

    (3)關(guān)注專利制度與標(biāo)準必要專利。密切關(guān)注專利制度中軟件和商業(yè)方法相關(guān)發(fā)明創(chuàng)造可專利性的判斷標(biāo)準,在可能影響到人工智能安全、可解釋性創(chuàng)新發(fā)展時組織論證。并且,在產(chǎn)業(yè)標(biāo)準制定過程中,應(yīng)注重加強對促進安全、可解釋等方面的先進技術(shù)的引入。一方面將先進技術(shù)引入標(biāo)準,促進相關(guān)技術(shù)的推廣應(yīng)用;另一方面通過標(biāo)準必要專利的公平、合理、無歧視許可原則或其他機制,保障相應(yīng)專利的公平合理許可。

    五、結(jié)語

    人工智能技術(shù)的發(fā)展和應(yīng)用為法學(xué)研究和法治建設(shè)提出了新的問題。對于快速發(fā)展的人工智能技術(shù),侵權(quán)責(zé)任分配以及監(jiān)管規(guī)則將對相關(guān)市場產(chǎn)生重要影響,并通過與專利制度的結(jié)合,間接引導(dǎo)著技術(shù)創(chuàng)新的發(fā)展方向。從一定意義上來看,責(zé)任分配和法律監(jiān)管對此類創(chuàng)新的影響比專利制度更為重要也更為基礎(chǔ),需要進行審慎論證。應(yīng)設(shè)置人工智能產(chǎn)業(yè)發(fā)展與安全委員會,針對重點應(yīng)用領(lǐng)域進行調(diào)研,并重視對于正在快速發(fā)展的人工智能技術(shù)對發(fā)展空間的需求,以及人工智能技術(shù)中安全性、可解釋性等方面發(fā)展相對滯后的現(xiàn)實,從專利制度、侵權(quán)責(zé)任制度和政府機構(gòu)管制三個方面的綜合考慮出發(fā),構(gòu)建可以更好地促進可信人工智能創(chuàng)新發(fā)展的法制環(huán)境。

    猜你喜歡
    專利制度規(guī)制人工智能
    主動退市規(guī)制的德國經(jīng)驗與啟示
    日本專利制度和中國專利制度的對比分析
    法制博覽(2019年19期)2019-12-14 16:05:57
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    保護與規(guī)制:關(guān)于文學(xué)的刑法
    刑法論叢(2018年4期)2018-05-21 00:44:30
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    論《反不正當(dāng)競爭法》的規(guī)制范疇
    法治研究(2016年4期)2016-12-01 03:41:40
    下一幕,人工智能!
    專利制度在科技發(fā)展中的作用研究
    今日湖北(2015年17期)2015-12-03 15:52:20
    社會福利視角下的專利制度問題
    三级国产精品欧美在线观看| 男的添女的下面高潮视频| 欧美日韩在线观看h| 午夜久久久在线观看| 精品卡一卡二卡四卡免费| 免费看日本二区| 亚洲欧美成人精品一区二区| 日本-黄色视频高清免费观看| 观看av在线不卡| 亚洲欧洲精品一区二区精品久久久 | 亚洲av中文av极速乱| 日韩中字成人| 久久青草综合色| 国产黄色视频一区二区在线观看| 青春草视频在线免费观看| 熟女电影av网| 国产一区二区在线观看日韩| 久久99热这里只频精品6学生| 国产精品一二三区在线看| a级一级毛片免费在线观看| 欧美最新免费一区二区三区| 亚洲美女视频黄频| 亚洲精品久久午夜乱码| 国产精品伦人一区二区| 国产精品99久久久久久久久| 国产午夜精品久久久久久一区二区三区| 国产精品三级大全| 国产精品99久久99久久久不卡 | 天堂中文最新版在线下载| 精品一区二区免费观看| 亚洲色图综合在线观看| 国产精品久久久久久久久免| 中文资源天堂在线| 免费人妻精品一区二区三区视频| 国产日韩一区二区三区精品不卡 | 男人狂女人下面高潮的视频| 麻豆成人av视频| 亚洲精品亚洲一区二区| 欧美日韩视频精品一区| 中国国产av一级| 啦啦啦中文免费视频观看日本| 人妻少妇偷人精品九色| 久久久精品免费免费高清| 国产免费一级a男人的天堂| 免费不卡的大黄色大毛片视频在线观看| videossex国产| 国产深夜福利视频在线观看| 黄色日韩在线| 99热网站在线观看| 热re99久久国产66热| 中文字幕制服av| 国产午夜精品久久久久久一区二区三区| 成人特级av手机在线观看| 精品人妻熟女av久视频| av视频免费观看在线观看| av福利片在线观看| 一区二区av电影网| 久久韩国三级中文字幕| 九九爱精品视频在线观看| 国产成人freesex在线| 亚洲美女黄色视频免费看| 我要看日韩黄色一级片| 免费黄色在线免费观看| 日日摸夜夜添夜夜添av毛片| 欧美日韩视频精品一区| 卡戴珊不雅视频在线播放| 三上悠亚av全集在线观看 | 国产av国产精品国产| 国产精品久久久久久久久免| 久久婷婷青草| 夜夜看夜夜爽夜夜摸| 18禁裸乳无遮挡动漫免费视频| 亚洲精品国产av成人精品| 91成人精品电影| 夜夜看夜夜爽夜夜摸| 国产精品人妻久久久影院| 国内精品宾馆在线| 免费人成在线观看视频色| 精品人妻偷拍中文字幕| av天堂久久9| 99热这里只有是精品在线观看| kizo精华| 中文欧美无线码| 人人妻人人添人人爽欧美一区卜| 国产爽快片一区二区三区| 少妇高潮的动态图| 日韩制服骚丝袜av| 一本大道久久a久久精品| 亚洲第一av免费看| 久久免费观看电影| 噜噜噜噜噜久久久久久91| 性色av一级| 亚洲久久久国产精品| 婷婷色综合大香蕉| 91精品伊人久久大香线蕉| 黑人巨大精品欧美一区二区蜜桃 | 少妇的逼水好多| 亚洲精品乱码久久久久久按摩| 国产亚洲最大av| 啦啦啦啦在线视频资源| 女人久久www免费人成看片| 99久久精品热视频| 久久国内精品自在自线图片| 精品一品国产午夜福利视频| 国产精品偷伦视频观看了| 亚洲国产精品一区三区| 如何舔出高潮| 国产av精品麻豆| 精品午夜福利在线看| 国产精品一区www在线观看| 午夜免费男女啪啪视频观看| 婷婷色麻豆天堂久久| 黄色怎么调成土黄色| 久久久久久久大尺度免费视频| 大香蕉久久网| 国产精品国产三级国产av玫瑰| 大香蕉97超碰在线| 人妻 亚洲 视频| 免费高清在线观看视频在线观看| 日日爽夜夜爽网站| 新久久久久国产一级毛片| 亚洲第一区二区三区不卡| 久久久国产一区二区| 熟女人妻精品中文字幕| 99re6热这里在线精品视频| 99热国产这里只有精品6| 王馨瑶露胸无遮挡在线观看| 日韩精品免费视频一区二区三区 | 午夜福利,免费看| 欧美日韩精品成人综合77777| 卡戴珊不雅视频在线播放| 久久久国产欧美日韩av| 亚州av有码| 国产片特级美女逼逼视频| 国产又色又爽无遮挡免| 少妇被粗大猛烈的视频| 中文字幕精品免费在线观看视频 | 亚洲av在线观看美女高潮| 免费观看在线日韩| 成人漫画全彩无遮挡| 如何舔出高潮| 亚洲第一区二区三区不卡| 男女国产视频网站| 国产91av在线免费观看| 制服丝袜香蕉在线| 美女xxoo啪啪120秒动态图| 欧美 日韩 精品 国产| 国产av精品麻豆| 少妇的逼好多水| 日韩一区二区三区影片| 成人亚洲精品一区在线观看| 2018国产大陆天天弄谢| 婷婷色av中文字幕| 国产精品久久久久久久电影| 多毛熟女@视频| 亚洲精品中文字幕在线视频 | 精品少妇久久久久久888优播| 丝瓜视频免费看黄片| 中文字幕人妻丝袜制服| 丰满迷人的少妇在线观看| 中文字幕免费在线视频6| 成年美女黄网站色视频大全免费 | 麻豆精品久久久久久蜜桃| 伦精品一区二区三区| 99久久精品热视频| 一本久久精品| 九九爱精品视频在线观看| 寂寞人妻少妇视频99o| 亚洲欧洲国产日韩| av国产久精品久网站免费入址| 精品久久久噜噜| 2022亚洲国产成人精品| videossex国产| 国产欧美日韩精品一区二区| 久久精品国产自在天天线| 99久久精品国产国产毛片| 18+在线观看网站| 欧美bdsm另类| 国产欧美日韩一区二区三区在线 | 一本色道久久久久久精品综合| 国产黄色视频一区二区在线观看| 亚洲av二区三区四区| 久久久国产一区二区| 一级av片app| 国产熟女欧美一区二区| 国产日韩一区二区三区精品不卡 | 秋霞伦理黄片| 26uuu在线亚洲综合色| 老司机亚洲免费影院| 国产伦精品一区二区三区四那| 五月伊人婷婷丁香| 国产 精品1| 高清视频免费观看一区二区| 日韩三级伦理在线观看| 久热久热在线精品观看| 国产女主播在线喷水免费视频网站| 国产综合精华液| 色视频www国产| 夫妻性生交免费视频一级片| 国产精品一区二区在线不卡| 老女人水多毛片| 免费人妻精品一区二区三区视频| 99久久精品国产国产毛片| 国产毛片在线视频| av福利片在线| 我要看黄色一级片免费的| 尾随美女入室| 黑人高潮一二区| 性色av一级| 肉色欧美久久久久久久蜜桃| 日韩成人av中文字幕在线观看| 亚洲国产毛片av蜜桃av| 久久国产乱子免费精品| 男人爽女人下面视频在线观看| 在线精品无人区一区二区三| 18禁裸乳无遮挡动漫免费视频| 日本黄色片子视频| 成人毛片60女人毛片免费| 久久97久久精品| 免费人成在线观看视频色| 日韩伦理黄色片| 丝袜脚勾引网站| av有码第一页| 久久影院123| 十八禁高潮呻吟视频 | 老熟女久久久| 在线观看免费日韩欧美大片 | tube8黄色片| 自拍偷自拍亚洲精品老妇| 一本久久精品| 国产探花极品一区二区| 有码 亚洲区| 蜜桃久久精品国产亚洲av| 久久久亚洲精品成人影院| 少妇猛男粗大的猛烈进出视频| 亚洲丝袜综合中文字幕| 久久久久久久久大av| 性色av一级| 大话2 男鬼变身卡| 精品卡一卡二卡四卡免费| 欧美老熟妇乱子伦牲交| 一边亲一边摸免费视频| 亚洲国产精品国产精品| 中文欧美无线码| 五月天丁香电影| 女人久久www免费人成看片| 伦理电影免费视频| 丝袜喷水一区| 少妇人妻 视频| 少妇熟女欧美另类| 国产成人精品久久久久久| 免费观看无遮挡的男女| 蜜桃在线观看..| av免费在线看不卡| 成年av动漫网址| 国产精品国产三级专区第一集| 国产在视频线精品| 成人亚洲精品一区在线观看| 色视频在线一区二区三区| 美女中出高潮动态图| av福利片在线| 欧美丝袜亚洲另类| 亚洲精品视频女| 成人无遮挡网站| 国产毛片在线视频| 成人特级av手机在线观看| 在线观看人妻少妇| 亚洲怡红院男人天堂| 三级国产精品片| 亚洲第一区二区三区不卡| 一二三四中文在线观看免费高清| 97超碰精品成人国产| 97超视频在线观看视频| 九九爱精品视频在线观看| 国产精品福利在线免费观看| 日韩 亚洲 欧美在线| 最近中文字幕2019免费版| 日本av手机在线免费观看| 两个人免费观看高清视频 | 精品一品国产午夜福利视频| 黑人高潮一二区| 熟妇人妻不卡中文字幕| 如日韩欧美国产精品一区二区三区 | 最近中文字幕高清免费大全6| 午夜免费观看性视频| 国产成人免费观看mmmm| 免费黄网站久久成人精品| 国产精品福利在线免费观看| 亚洲精品日本国产第一区| 日韩一区二区视频免费看| 午夜av观看不卡| 午夜老司机福利剧场| 日韩成人伦理影院| 丰满人妻一区二区三区视频av| 久久人人爽人人片av| 亚洲国产精品999| 日本vs欧美在线观看视频 | 国产男女超爽视频在线观看| 免费不卡的大黄色大毛片视频在线观看| 亚洲欧美中文字幕日韩二区| 久久亚洲国产成人精品v| 日韩中字成人| 一区二区三区乱码不卡18| 日韩精品免费视频一区二区三区 | 精品人妻熟女av久视频| 欧美人与善性xxx| 亚洲国产av新网站| 大香蕉97超碰在线| 97超碰精品成人国产| 最黄视频免费看| 好男人视频免费观看在线| 久久婷婷青草| 精品国产乱码久久久久久小说| 丰满少妇做爰视频| 内射极品少妇av片p| 九色成人免费人妻av| videos熟女内射| 国产伦精品一区二区三区视频9| 免费看日本二区| 日日啪夜夜撸| 国产中年淑女户外野战色| 亚洲av日韩在线播放| 亚洲精品国产av成人精品| 人人妻人人澡人人爽人人夜夜| 天美传媒精品一区二区| 高清视频免费观看一区二区| 国产综合精华液| 在线播放无遮挡| 97在线视频观看| 欧美97在线视频| 亚洲精品乱久久久久久| 精品亚洲成a人片在线观看| 只有这里有精品99| 亚洲,一卡二卡三卡| 国产乱人偷精品视频| 岛国毛片在线播放| 久久精品久久精品一区二区三区| 不卡视频在线观看欧美| 一级毛片久久久久久久久女| 人妻一区二区av| 久久ye,这里只有精品| 日韩一区二区视频免费看| 啦啦啦在线观看免费高清www| 久久精品国产亚洲av天美| 美女主播在线视频| 欧美日韩亚洲高清精品| 哪个播放器可以免费观看大片| 三级国产精品片| 亚洲av中文av极速乱| 国产黄色视频一区二区在线观看| 亚洲一区二区三区欧美精品| 三级国产精品片| 亚洲精品日韩在线中文字幕| 最近的中文字幕免费完整| 天天躁夜夜躁狠狠久久av| 中文乱码字字幕精品一区二区三区| 天堂中文最新版在线下载| 亚洲精品国产av成人精品| 欧美区成人在线视频| 亚洲成人手机| 久久国产精品大桥未久av | 91久久精品电影网| 久久久久国产精品人妻一区二区| 婷婷色麻豆天堂久久| 久久人人爽人人片av| 婷婷色麻豆天堂久久| 秋霞在线观看毛片| 国产精品无大码| 国产无遮挡羞羞视频在线观看| 中文欧美无线码| 97精品久久久久久久久久精品| 天天躁夜夜躁狠狠久久av| 亚洲欧美一区二区三区国产| 免费人妻精品一区二区三区视频| 嘟嘟电影网在线观看| 少妇人妻一区二区三区视频| 精品99又大又爽又粗少妇毛片| 国产欧美日韩综合在线一区二区 | 蜜臀久久99精品久久宅男| 国产中年淑女户外野战色| freevideosex欧美| 亚洲精品中文字幕在线视频 | 在线免费观看不下载黄p国产| 22中文网久久字幕| 亚洲欧美日韩另类电影网站| 国产亚洲5aaaaa淫片| 建设人人有责人人尽责人人享有的| 免费高清在线观看视频在线观看| 国产精品伦人一区二区| 亚洲欧美成人综合另类久久久| 熟妇人妻不卡中文字幕| 我的女老师完整版在线观看| 美女中出高潮动态图| 色哟哟·www| a级一级毛片免费在线观看| 激情五月婷婷亚洲| 欧美激情国产日韩精品一区| 91精品国产国语对白视频| h日本视频在线播放| 午夜91福利影院| 色网站视频免费| 美女cb高潮喷水在线观看| 亚洲国产精品一区二区三区在线| 51国产日韩欧美| 久久99精品国语久久久| 亚洲av不卡在线观看| 亚洲欧洲国产日韩| 又黄又爽又刺激的免费视频.| 久久久久视频综合| 80岁老熟妇乱子伦牲交| 少妇裸体淫交视频免费看高清| 99re6热这里在线精品视频| 国产av国产精品国产| 亚洲av二区三区四区| 国语对白做爰xxxⅹ性视频网站| 肉色欧美久久久久久久蜜桃| 水蜜桃什么品种好| 日本av免费视频播放| 丝袜在线中文字幕| 九九久久精品国产亚洲av麻豆| 丁香六月天网| 国产亚洲91精品色在线| 亚洲精品一二三| 久久人人爽av亚洲精品天堂| 黄色配什么色好看| 日韩欧美精品免费久久| 国产成人精品无人区| 少妇 在线观看| 国产午夜精品久久久久久一区二区三区| 特大巨黑吊av在线直播| 少妇人妻久久综合中文| 国产免费又黄又爽又色| 中国国产av一级| 国产成人freesex在线| 男男h啪啪无遮挡| 99精国产麻豆久久婷婷| a 毛片基地| 一区二区三区精品91| 久久久久久久大尺度免费视频| 精品一区二区免费观看| 精品久久久噜噜| 男女国产视频网站| 免费大片黄手机在线观看| 亚洲高清免费不卡视频| 成人毛片60女人毛片免费| 一级黄片播放器| 免费观看a级毛片全部| 自线自在国产av| 97超视频在线观看视频| 人人妻人人看人人澡| 亚洲国产精品一区三区| 看十八女毛片水多多多| 国产av一区二区精品久久| 久久影院123| 国产成人精品福利久久| 免费观看的影片在线观看| 91久久精品电影网| 免费看日本二区| www.色视频.com| 免费少妇av软件| 欧美少妇被猛烈插入视频| 99国产精品免费福利视频| 好男人视频免费观看在线| 亚洲国产精品一区二区三区在线| 建设人人有责人人尽责人人享有的| 欧美bdsm另类| 国产免费又黄又爽又色| 一级毛片久久久久久久久女| 黑丝袜美女国产一区| 老司机亚洲免费影院| 2022亚洲国产成人精品| 丝瓜视频免费看黄片| 欧美精品国产亚洲| 中文资源天堂在线| 精品国产国语对白av| 边亲边吃奶的免费视频| 嘟嘟电影网在线观看| 桃花免费在线播放| 欧美变态另类bdsm刘玥| 亚洲色图综合在线观看| 亚洲欧美精品自产自拍| 在线观看www视频免费| 菩萨蛮人人尽说江南好唐韦庄| 国产日韩欧美在线精品| 美女xxoo啪啪120秒动态图| 亚洲成色77777| 精品一区二区三区视频在线| av播播在线观看一区| 精品亚洲乱码少妇综合久久| 黑人猛操日本美女一级片| 成年人免费黄色播放视频 | 五月开心婷婷网| 高清欧美精品videossex| 婷婷色麻豆天堂久久| 久久久久久人妻| 日韩中文字幕视频在线看片| 中国美白少妇内射xxxbb| 91精品伊人久久大香线蕉| 亚洲av日韩在线播放| 久久精品久久久久久久性| 亚洲综合色惰| 国产又色又爽无遮挡免| 18禁在线无遮挡免费观看视频| 两个人的视频大全免费| 如何舔出高潮| 啦啦啦在线观看免费高清www| 国产毛片在线视频| 亚洲精品国产av成人精品| 这个男人来自地球电影免费观看 | 亚洲中文av在线| 2021少妇久久久久久久久久久| 亚洲精品乱码久久久久久按摩| 国产欧美日韩一区二区三区在线 | 亚洲国产最新在线播放| 人体艺术视频欧美日本| 夜夜骑夜夜射夜夜干| 欧美亚洲 丝袜 人妻 在线| 亚洲av不卡在线观看| 久久精品久久久久久噜噜老黄| 久久久久久人妻| 久久久国产一区二区| 久久鲁丝午夜福利片| 老司机亚洲免费影院| 如日韩欧美国产精品一区二区三区 | 久久精品久久久久久久性| 桃花免费在线播放| 亚洲无线观看免费| 一本大道久久a久久精品| 自拍偷自拍亚洲精品老妇| 中文在线观看免费www的网站| av天堂久久9| 亚洲成人av在线免费| 少妇熟女欧美另类| 国产成人免费观看mmmm| 亚洲欧美成人精品一区二区| 精品久久久精品久久久| 婷婷色综合大香蕉| 国产淫语在线视频| 一二三四中文在线观看免费高清| 欧美精品人与动牲交sv欧美| 在线亚洲精品国产二区图片欧美 | 国产美女午夜福利| 精品国产一区二区久久| 两个人免费观看高清视频 | 亚洲av欧美aⅴ国产| 欧美 日韩 精品 国产| 日韩av免费高清视频| 人人妻人人澡人人看| 在线观看一区二区三区激情| 综合色丁香网| 制服丝袜香蕉在线| 女的被弄到高潮叫床怎么办| 久久人人爽人人爽人人片va| av有码第一页| 午夜激情福利司机影院| 女人精品久久久久毛片| 亚洲性久久影院| 亚洲av免费高清在线观看| 91aial.com中文字幕在线观看| 免费黄频网站在线观看国产| 色视频在线一区二区三区| 久久99一区二区三区| 三上悠亚av全集在线观看 | 免费看光身美女| 国产淫片久久久久久久久| 久久精品久久久久久噜噜老黄| 午夜免费观看性视频| 99久久综合免费| 日韩av在线免费看完整版不卡| 国产深夜福利视频在线观看| 我要看日韩黄色一级片| 亚洲第一区二区三区不卡| 欧美成人精品欧美一级黄| 亚洲一级一片aⅴ在线观看| 99国产精品免费福利视频| 国产淫片久久久久久久久| 人人妻人人澡人人看| kizo精华| 2021少妇久久久久久久久久久| 免费观看a级毛片全部| 亚洲丝袜综合中文字幕| 精品卡一卡二卡四卡免费| 一区二区三区精品91| 日本欧美视频一区| 卡戴珊不雅视频在线播放| 亚洲一区二区三区欧美精品| 日本91视频免费播放| 少妇裸体淫交视频免费看高清| 成人毛片60女人毛片免费| 丝瓜视频免费看黄片| 成人漫画全彩无遮挡| 久久99一区二区三区| 黑人巨大精品欧美一区二区蜜桃 | 大码成人一级视频| 国产成人精品福利久久| 韩国av在线不卡| 一本色道久久久久久精品综合| 人妻制服诱惑在线中文字幕| 97精品久久久久久久久久精品| 日韩大片免费观看网站| 日韩,欧美,国产一区二区三区| 人妻少妇偷人精品九色| 亚洲av男天堂| 久久鲁丝午夜福利片| 亚洲欧美日韩另类电影网站| 各种免费的搞黄视频| 五月开心婷婷网| 韩国高清视频一区二区三区| 久久久国产一区二区| 黑丝袜美女国产一区| 嘟嘟电影网在线观看| 成人特级av手机在线观看| 免费观看av网站的网址| 久久久久久人妻| 久久人人爽av亚洲精品天堂|