• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    以《民法典》代理權(quán)說構(gòu)建人工智能主體的資格制度研究

    2021-03-14 18:01:34呂群蓉崔力天
    關(guān)鍵詞:理論基礎(chǔ)民法典代理

    呂群蓉 崔力天

    摘 要:通過對以自然人、法人主體資格演進脈絡(luò)為起點,結(jié)合人工智能具備相對獨立的自由意志與認知、具備享有權(quán)利和承擔(dān)義務(wù)的能力的研究顯示,人工智能應(yīng)當(dāng)被賦予法律人格。同時,因人工智能獨立意志的不完全性,其權(quán)利義務(wù)的承擔(dān)可參考“代理人”制度,以人工智能代理自然人、法人實施法律行為視角,建構(gòu)人工智能的民事權(quán)利能力范圍和民事責(zé)任制度。

    關(guān)鍵詞:人工智能;法律人格;理論基礎(chǔ);代理

    中圖分類號: D923??? 文獻標(biāo)志碼: A???? 文章編號:1672-0539(2021)06-0059-09

    一、引言

    隨著社會發(fā)展與技術(shù)進步,特別是在移動互聯(lián)網(wǎng)、大數(shù)據(jù)、超級計算、傳感網(wǎng)、腦科學(xué)等新理論、新技術(shù)以及經(jīng)濟發(fā)展強烈需求的共同驅(qū)動下,人工智能加速發(fā)展,呈現(xiàn)出深度學(xué)習(xí)、跨界融合、人機協(xié)同、群智開放、自主操控等新特征[1]。盡管早在1949年,知名腦科醫(yī)生杰弗里·杰佛遜爵士(Sir Geoffrey Jefferson)提出人工智能只有用自己的思想感情去寫出一首十四行詩,或者做出一部協(xié)奏曲時,才應(yīng)該被承認機器可以等同于人腦[2]。在“深藍”對戰(zhàn)國際象棋冠軍卡斯帕羅夫時,人們也普遍不信任電腦方。但近年來,人工智能已在較高程度上參與人類社會活動,并獲得很大影響力:2016年松琦教授團隊制造的人工智能“有嶺雷太”創(chuàng)作小說《人工智能寫小說的那一天》并入圍日本“星新一獎”;人工智能“小冰”發(fā)表詩集《陽光失了玻璃窗》。這些著述“以假亂真”,幾乎分不清人工智能與一般自然人創(chuàng)作的區(qū)別。

    2016年,Alpha Go通過學(xué)習(xí)人類棋譜,擊敗圍棋世界冠軍李世石和圍棋世界最高分柯潔;AlphaGo Zero更以自我訓(xùn)練的方式,以100∶0的戰(zhàn)績擊敗了前輩;發(fā)展至今,棋類最后的堡壘,用窮舉法窮盡宇宙原子算不盡棋局數(shù)的圍棋也被人工智能輕松攻破。人工智能的發(fā)展程度已經(jīng)遠超李斯特們的想象,對人工智能的規(guī)范與監(jiān)管都刻不容緩:人工智能是否能夠擁有法律人格?如果擁有,應(yīng)擁有何種法律人格?如果擁有法律人格,那么對侵權(quán)行為如何承擔(dān)責(zé)任?

    關(guān)于前述問題,法學(xué)界普遍存在三種觀點:其一,應(yīng)當(dāng)給人工智能自然人或代理人地位的獨立法律人格說;其二,另立主體或比照法人等擬制主體的有限法律人格說;其三,人工智能只是工具和法律關(guān)系客體的法律人格否定說。隨著人工智能獨立性一面的日益發(fā)展,以代理人說、擬制主體說為代表的主體說獲得更多認可,客體說則式微。在兩種主體說的比較中,采有限法律人格說還是獨立法律人格說,仍是學(xué)界亟待解決的問題。

    自2017年以來,國際上以俄羅斯《智能機器人法案草案》(以下簡稱格里申法案)、歐盟“電子代理人決議”等賦予人工智能代理人地位的獨立法律人格說取得重大發(fā)展。恰逢《中華人民共和國民法典》(以下簡稱《民法典》)頒布,對于代理權(quán)進行了概括精要的規(guī)定,本文嘗試以《民法典》代理權(quán)視角作為破局,提供一種人工智能獨立法律人格探索的觀點和制度架構(gòu)路徑。

    二、人工智能法律人格的理論基礎(chǔ)

    法律人格是指享有權(quán)利和履行義務(wù)的資格,包括自然人和法律擬制人。法律賦予每個自然人法律人資格,將其分為無民事行為能力人、限制行為能力人和完全行為能力人,法律人格伴隨自然人終生。法人經(jīng)法律擬制按法定程序成立獲得主體資格,是自然人的永久合伙人[3]。簡言之,法律人格是主體成為法律意義上“人”的能力和資格,人格可以擴展到自然之外的實體[4]。

    (一)法律主體資格的演進

    從歷史發(fā)展的角度看,法律史就是一部法律主體擴張史。法律主體資格從權(quán)貴擴散到下層階級,從少量貴族男性擴散到全體自然人,從僅限人類到“非人可人”。法律主體對象在不斷擴張,各法律主體的地位也在不斷走向平等[5]。

    1.自然人法律主體資格的演進

    自然人法律主體的演進路徑從之前依據(jù)嚴格的身份階級制度確立不同法律地位,到如今“人人平等”被作為基本原則,經(jīng)歷了漫長的過程。

    在羅馬法制度中,就存在著因自然人身份不同導(dǎo)致的差別對待。羅馬法原則上是屬人法,也即一個人的社會身份,很大程度上決定他適用何種法律。在羅馬法實施初期,只有為數(shù)不多的羅馬市民擁有完整的法律主體權(quán)利,而人數(shù)占多數(shù)的奴隸、異邦人則完全不享有權(quán)利[6]。查士丁尼民法典頒布后,萬民法與市民法融合,內(nèi)容上逐漸接近,羅馬非公民才取得市民權(quán)[7]63。

    在我國古代,儒家思想是社會主導(dǎo)思想,法律也隨之儒家化:社會看重身份,法律等級化,各法律主體不平等。如周朝開始到明清才結(jié)束的“八議之辟”制度,就明確規(guī)定特殊身份地位的人可以酌情減免法律處罰,直接體現(xiàn)法律主體的不平等[8]。即使是比較進步的“海瑞定理”,由于受儒家孝悌思想的影響,自然人的法律地位也“與其屈兄,寧屈其弟;與其屈叔伯,寧屈其侄”,身份歧視嚴重[9]。

    直到近代,隨著“人”的自我意識和自由平等博愛思潮逐漸占據(jù)主流,資本主義的發(fā)展和民族意識的覺醒促進民族解放和獨立,也激發(fā)了思想解放運動,經(jīng)過各族人民艱苦卓絕的斗爭,自然人之間在法律上的平等地位逐漸得到確認[10]。如法國的《人權(quán)宣言》宣告“人生來是并且始終是自由平等的”,《法國民法典》稱“所有法國人都享有民事權(quán)利”[11],《普魯士普通邦法》宣告:“人就是每一個自然人?!盵12]至此,人類才實現(xiàn)法律意義上自然人法律主體地位平等。

    2.法人法律主體資格的演進

    與古羅馬一樣,非自然人群體也經(jīng)歷了法律主體的擴張歷程。雖然古羅馬商品經(jīng)濟已經(jīng)有所發(fā)展,但羅馬法對于非自然人群體的法律地位,特別是經(jīng)濟群體的法律地位,并未明確規(guī)定[13]。因為此時的羅馬本質(zhì)上仍然是奴隸社會,盡管有些經(jīng)濟和政治團體,如自由城市、商會、教堂等,但這些群體只是大多數(shù)自然人的組合,并未擁有獨立的法律主體資格[14]。在這一時期,羅馬法不可能建立系統(tǒng)的法人制度,法人制度起源于羅馬法,隨著羅馬領(lǐng)土的擴張,原料貿(mào)易的頻繁,以及私人團體的出現(xiàn)和迅速發(fā)展,羅馬法開始承認社會團體的主體地位。羅馬的法律組織包括公共組織、宗教組織、慈善機構(gòu)、商業(yè)組織,以及工業(yè)組織和非政府政治組織[13]。而現(xiàn)代法律也大體包括兩類法律組織:社會組織和金融組織。

    雖然羅馬法有不少關(guān)于法人的內(nèi)容,但由于當(dāng)時沒有現(xiàn)代法人概念和術(shù)語,法人制度十分粗略。中世紀(jì)時,教會權(quán)力在歐洲國家達到頂峰,當(dāng)時教會已經(jīng)是一個完善的法人團體,其基本特征與現(xiàn)代法人相似[14]。但封建社會自然經(jīng)濟的主導(dǎo)性特征決定當(dāng)時法人組織并不普遍,法人的獨立所有權(quán)相對較低,法人制度尚處于起步階段。

    隨著西方在海洋領(lǐng)域的發(fā)展,大航海時代到來,意大利自治城市出現(xiàn)了航海自治組織——航運協(xié)會。其有自己的代表處,每個股東只承擔(dān)自己投資的風(fēng)險,按比例盈利[15]。此后隨著資本主義經(jīng)濟的進一步發(fā)展,出現(xiàn)了區(qū)分有限合伙人和無限合伙人的“康曼達”合伙企業(yè)[16];15世紀(jì)末,荷蘭和英國出現(xiàn)各種商業(yè)組織[16];隨著16世紀(jì)至18世紀(jì)西歐資產(chǎn)階級革命和19世紀(jì)工業(yè)革命的深入,與經(jīng)濟相適應(yīng)的實體——法人最終在許多國家民法典中的法律主體地位被確認。

    號稱西方第一部民法典的《法國民法典》,注重自然人的影響,沒有將法人等非自然人實體納入民事適用領(lǐng)域:認為生活中的人的規(guī)范是法律產(chǎn)生的先決條件,即民法作用人與人之間的交往中,此稱之為法律關(guān)系。法律關(guān)系相異于早期的財產(chǎn)關(guān)系與血緣關(guān)系[11],在法律關(guān)系中,人的行為被予以強制性評價,因而與權(quán)利義務(wù)直接相聯(lián)系?!兜聡穹ǖ洹肥夹纬芍黧w資格二元結(jié)構(gòu):承襲羅馬法,認為“一切權(quán)利均因人而設(shè)立”[17],但從權(quán)利角度提出“法律行為能力”新概念,并在《法律行為章》中將“法律行為能力”作為區(qū)分人的唯一法律依據(jù)[18]。《德國民法典》創(chuàng)造沒有傳統(tǒng)生物學(xué)意義的法人,將其作為具有權(quán)利能力、與自然人法律地位平等的虛構(gòu)民事實體,參與民事活動。

    (二)人工智能成為法律主體的可行性分析

    1.人工智能具有相對的自由意志與認知能力

    自由意志是法律主體存在的基本前提,判斷能否成為民事主體的根本標(biāo)準(zhǔn)即是否具有“獨立意志”,只有具備獨立意志才能成為民事主體。獨立意志是民事主體為了一定目標(biāo)自覺的組織行為,并深信此類行為切實可行的判斷意識[19]。現(xiàn)有法律主體均具有一定獨立意志:自然人以心理與生理基礎(chǔ)共同作用產(chǎn)生獨立意志,并以主體身份作為意志的載體與實現(xiàn)途徑;法人公司則依據(jù)董事會決策形成獨立的意思表示。

    雖然人工智能在結(jié)構(gòu)上與人類存在較大差異,但仍具有相對獨立意志。人工智能以程序代碼和大量數(shù)據(jù)輸入為基礎(chǔ),在新舊任務(wù)之間有足夠的相似性時,便具備“學(xué)習(xí)遷移能力”,這與自然人腦功能存在相似性。人工智能與人交互的實質(zhì)是對人心理狀態(tài)的認知過程。人工智能在生理基礎(chǔ)與心理基礎(chǔ)方面與自然人均存在實質(zhì)上的相似性,具備成為責(zé)任主體的獨立意志基礎(chǔ)[20]。但人工智能的行為必須基于最初的數(shù)據(jù)輸入與程序設(shè)計,因此其意志獨立性受到一定限制,目前無法擁有與自然人相當(dāng)?shù)淖杂梢庵尽5斯ぶ悄鼙日杖祟愋袨楦哂锌深A(yù)測性,只要求人工智能在其工作范圍內(nèi)具有相對的自由意志代理人說正好可以利用此特點,如Alpha Go等對人類棋譜進行機器與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),達到遠超人類想象的走法與策略能力[21],與自然人與法人“自由意志”相類。

    2.人工智能有享有權(quán)利和承擔(dān)義務(wù)的能力

    民事權(quán)利是法律賦予民事主體享有的利益范圍和實施一定行為或不為一定行為以實現(xiàn)某種利益的意志。民事義務(wù)是指義務(wù)人為滿足權(quán)利人的利益而為一定行為或不得為一定行為的必要性[7]。法律主體需要有相應(yīng)享有權(quán)利和承擔(dān)義務(wù)的能力,而人工智能具備此種能力。

    目前國際上對于人工智能的觀點也呈現(xiàn)出權(quán)利與義務(wù)并重的趨勢,即人工智能應(yīng)該能享有權(quán)利和承擔(dān)義務(wù),不是純粹的客體與工具[22]。以版權(quán)與著作權(quán)為例,微軟人工智能小冰可以根據(jù)不同人群的需求,在不同場景下有針對性地創(chuàng)作。人工智能利用其學(xué)習(xí)能力,對在原有知識基礎(chǔ)上創(chuàng)作的作品享有著作權(quán),同時也應(yīng)承擔(dān)相應(yīng)法律義務(wù)[23]。

    2017年2月16日,歐盟法律事務(wù)委員會表決通過《電子代理人》決議,要求將日益先進的自動化機器確定為“電子代理人”[24],賦予人工智能一定主體資格:為人工智能登記注冊、開立基金賬戶,要求相關(guān)主體履行法律義務(wù)(包括支付法律規(guī)定的費用等);同時人工智能未能履行義務(wù),則應(yīng)承擔(dān)相應(yīng)法律責(zé)任。

    三、《格里申法案》和歐盟“電子代理人”決議關(guān)于人工智能代理人地位觀點的批判與借鑒

    隨著俄羅斯《格里申法案》和歐盟“電子代理人”決議的倡導(dǎo),現(xiàn)行觀點普遍支持人工智能的代理人地位。但兩項法案(議案)對人工智能法律人格的構(gòu)建都有不同程度的缺陷與問題,需要在批判中加以借鑒,并通過實踐進行完善。

    (一)缺少法理價值的引領(lǐng)

    科學(xué)技術(shù)的每一重要應(yīng)用都伴隨著爭議。以20世紀(jì)末討論度較高的克隆人為例,克隆技術(shù)能否在生理上復(fù)制一直是人們的討論焦點:聯(lián)合國制定了有關(guān)基因規(guī)范的《人權(quán)宣言》,明令禁止針對人的生殖性克隆[25];日本通過法案禁止克隆人的出現(xiàn)[26];國際社會大多明確克隆人不具有人的資格,以法律禁止克隆人[26]。但是人工智能與克隆人存在重大差別:克隆人的出生會引起血緣關(guān)系與倫理關(guān)系的爭議,讓血脈親情受阻;而人工智能不是“人造人”,其人格可以獨立,不存在相關(guān)倫理問題。盡管現(xiàn)在普遍擔(dān)心如果人工智能發(fā)展水平太高,可能會反制人類,但人工智能正以不可阻擋之勢向前發(fā)展,賦予其法律人格,這是經(jīng)濟和技術(shù)發(fā)展的要求,無可回避。但因為對人工智能不確定性風(fēng)險的擔(dān)憂以及法律的滯后性等影響因素,使以代理權(quán)為主要觀點的法案(議案)對人工智能法律人格的規(guī)范比較模糊,對人工智能的發(fā)展缺乏相關(guān)法律價值指引。

    1.俄羅斯《格里申法案》的局限

    《格里申法案》立法目的與初衷都偏好實用性,始終貫徹利益最大化原則:人類與人工智能、機器人的關(guān)系應(yīng)當(dāng)在最短時間內(nèi)在立法上予以描述和規(guī)定[27]?!陡窭锷攴ò浮坊诶嬖瓌t對人工智能的規(guī)定過于實用性,只是當(dāng)人工智能作為高度危險來源致人損害時,才明確其作為財產(chǎn)的地位;并未規(guī)定人工智能所有權(quán)人行使其財產(chǎn)權(quán)利不得違背人道主義原則,因此缺乏對人工智能的基本法律人格關(guān)懷。其對人工智能的態(tài)度更多的是功利性的。

    2. 歐盟“電子代理人”決議的法理問題

    歐盟“電子代理人”決議認為,“人工智能的自主性很可能會發(fā)展到必須遵守道德規(guī)范的程度,須為它們編寫專門防止其有害行為(如危害人類或環(huán)境)的道德規(guī)范(ethical codes)”(1)。同時指出,對于飛速發(fā)展的人工智能如果出現(xiàn)故障并傷害人類,誰應(yīng)該在道德和法律上承擔(dān)責(zé)任?人工智能技術(shù)是一個新穎且變化迅速的領(lǐng)域,可能會對人類造成重大的人身與財產(chǎn)傷害(例如,軍用人工智能或失去控制的自動人工智能汽車等),它對現(xiàn)實世界的影響尚難預(yù)測,應(yīng)該在倫理和法律上加強監(jiān)管[28]。

    人工智能規(guī)范的先驅(qū)阿西莫夫曾提出人工智能倫理規(guī)范“三定律”:“第一定律:人工智能不可對人類造成傷害,也不能對人類的危險袖手旁觀。第二定律:人工智能必須服從人類給予的使命,除非違反第一定律。第三定律:人工智能要盡可能地保護自己,除非與第一二定律相違背?!盵29]但這三定律依然尚存難以解決的問題:比如人們要求人工智能去懲罰罪犯,可這就用第二定律違反了第一定律,人工智能不會執(zhí)行命令。再比如,不可對人類造成傷害與對人類袖手旁觀本身就有矛盾點:罪犯劫持人質(zhì),或者正在傷害他人,只有用傷害罪犯的方式才能解除傷害等。甚至人工智能不能對人類做手術(shù)——做手術(shù)會傷害人類的身體。所以又出現(xiàn)了第零定律:人工智能必須保護人類的整體利益不受傷害,且三定律都不可違背第零定律(2)[30]。

    顯而易見,無論我們給人工智能植入何等倫理規(guī)范,人工智能的決策和判斷可能都非常艱難。因為很多倫理問題,人類尚無法作出較優(yōu)判斷,又何談人工智能呢?

    (二)對于人工智能的法律地位規(guī)定不明

    1.《格里申法案》中法律定位的模糊性

    《格里申法案》要求明確人工智能民事行為的性質(zhì)與主體地位,但并未規(guī)定人工智能的法律行為能力,以及是否比照法人或新設(shè)獨立主體確定人工智能是特殊的民事主體[31]。從整個法律文本來看,由于過分強調(diào)代理人、所有人、工作人員和開發(fā)者的獨立責(zé)任,人工智能的獨立民事責(zé)任并未明確界定,尤其是對其所有人、占有人和管理人的獨立民事責(zé)任。人工智能的法律地位可以比照封建時代家長制下的奴隸,即便是生物意義上的“人”,也不能成為法律關(guān)系中獨立法律主體;只有經(jīng)過父母或主人的認可,才能代表父母進行商業(yè)活動,但法律行為的后果和責(zé)任可能是父母或主人承受[31]。

    因此人工智能雖然被法案授予民事主體地位,但人工智能只是其所有者的附屬品,在與所有者、相對人的三方之間僅形成代理與委托關(guān)系,所有人工智能與相對人發(fā)生的民事法律關(guān)系都歸屬于其所有人,人工智能依舊不具有獨立法律人格。盡管該法案還賦予人工智能獨立財產(chǎn)權(quán),不過是基于對所屬者的依附,其財產(chǎn)權(quán)的責(zé)任與義務(wù)受到較大限制。這也引發(fā)了質(zhì)疑:財產(chǎn)權(quán)既然最終歸所有人,那么人工智能擁有獨立財產(chǎn)權(quán)的意義又在哪里?

    同時,《格里申法案》雖然確立了人工智能作為代理人的民事主體地位,但不被視為普通的訴訟主體,只能“在法律規(guī)定的特殊情況下”于法院或法律保護機構(gòu)(如檢察院等)參與民事訴訟,其利益只能由相關(guān)的所有人和法人主體代表。因此,人工智能的法律人格概念不明確,其法律地位也不明確。

    2.歐盟“電子代理人”決議中的人工智能定位問題

    歐盟“電子代理人”決議承認人工智能擁有獨立思想、具有人的部分特性[28]。但如果人工智能被賦予人權(quán),是否就意味著“人工智能與人平等”。決議對于人工智能該屬何種法律實體及是否擁有主體地位并未明確。人人平等是最基本人權(quán),是一切利益和權(quán)利的前提和基礎(chǔ),無論國家國體、政體如何,都可尋求某種方式加以保護。如果人工智能適應(yīng)人權(quán)和人類倫理規(guī)范,它是否具有與人類相同的法律地位?如果它與人類具有同等的法律地位,是否會導(dǎo)致現(xiàn)行法律體系的崩潰,甚至導(dǎo)致人類賴以生存的倫理和社會邏輯的崩潰?這都是“電子代理人”決議亟待解決的問題[32]。

    (三)缺少具體規(guī)則標(biāo)準(zhǔn)與實施能力

    1.《格里申法案》中對比照相關(guān)主體適用法律的模糊以及實施問題

    《格里申法案》對于人工智能主體資格定位多重,無法清晰區(qū)別:規(guī)定人工智能與動物在財產(chǎn)問題上具有特定相似性,但沒有明確人工智能在財產(chǎn)問題上可以適用或準(zhǔn)用相關(guān)的動物法律[33];規(guī)定人工智能在民事權(quán)利方面可以適用法人的民事立法原則,但人工賦予智能的權(quán)利卻遠少于法人,與人工智能的民事主體地位不相匹配?!陡窭锷攴ò浮访鞔_機器人-代理人具有程序上的民事訴訟權(quán)利,可以作為民事訴訟主體(3),但因為民事實體權(quán)利的極大限制,使人工智能的流轉(zhuǎn)只限于相關(guān)主管機關(guān)規(guī)定的類型與范圍,同時因未具體規(guī)定人工智能在何種情形下可以作為民事訴訟主體,只籠統(tǒng)規(guī)定“比照民法典與其他法律類推適用”。歸責(zé)方面也更多將相關(guān)人員作為對象,人工智能僅在于由于自身設(shè)計問題人類不可控的情況下才可作為歸責(zé)對象。

    2.歐盟“電子代理人”決議的實施問題

    盡管歐盟會議通過了人工智能報告,但右翼保守派把人工智能的法律人格問題與外來移民等問題關(guān)聯(lián)起來,認為賦予人工智能法律人格就是將它們看作人,會搶奪普通自然人的工作崗位,這阻礙了對人工智能賦予法律人格的實施(4)[28]。因此,歐盟2020年發(fā)布的《人工智能系統(tǒng)運營責(zé)任立法倡議》已經(jīng)改變立場,明確指出:“對現(xiàn)有法律框架進行任何必要的修改,首先要明確AI系統(tǒng)既不具有法律人格,也不具有人類的良知,其唯一的任務(wù)就是為人類服務(wù)?!盵34]

    四、以《民法典》代理權(quán)的視角構(gòu)建人工智能法律人格

    (一)《民法典》代理權(quán)視角下人工智能法律人格的構(gòu)建

    1. 人工智能法律人格的誕生與消滅

    由于人工智能不具有“天賦人權(quán)”,主體資格系法律后天擬制和構(gòu)建,商業(yè)活動中作為電子代理人的人工智能,是一種具有智能性、交互性能夠獨立回應(yīng)、處理電子數(shù)據(jù)的自動化智能程序[35]。低智能的電子代理人可以提供商業(yè)意見,高智能的電子代理人甚至可以自主作出商業(yè)決定,訂立合同。類比律師事務(wù)所、基金公司等代理權(quán)行使的實踐,賦予人工智能代理人法律主體資格:比照法人主體資格登記制度,建立人工智能主體資格的產(chǎn)生與登記制度。

    (1)人工智能的開始和終止時間。借鑒公司法關(guān)于法人的成立登記和注銷制度確認人工智能法律人格的開始和終止時間,同時配套強制審核登記制度,即人工智能的法律人格應(yīng)該進行強制審核。人工智能自審核通過登記之日獲得法律人格,享有民事權(quán)利能力和行為能力,自注銷登記之日起,主體資格消滅。

    (2)人工智能的注銷登記條件。

    當(dāng)人工智能出現(xiàn)法律規(guī)定的注銷登記條件時,應(yīng)該進行注銷登記,消滅其法律人格[36]。人工智能的消滅條件,包括破產(chǎn)、難以為繼(維持人工智能的成本遠超過其利益),或法律要求銷毀、禁止生產(chǎn)等。格里申法案規(guī)定:“機器人-代理人擁有獨立財產(chǎn)并以此承擔(dān)債務(wù)和責(zé)任,可以自己名義取得并行使民事權(quán)利和承擔(dān)民事義務(wù)。在法律規(guī)定的情況下,機器人-代理人可以作為民事訴訟的參加者”。在《民法典》將來修訂時規(guī)定:人工智能解散、被宣告破產(chǎn)或有法律規(guī)定的其他原因時,可以進行清算、注銷登記,使人工智能人格終止。

    2. 《民法典》代理權(quán)視角下人工智能民事權(quán)利能力范圍

    盡管人工智能越來越具有類人性,但終究不是自然人,法律也不會賦予其自然人同等的法律人格。人工智能雖然與法人具有相似性,但畢竟不同于法人,其人格制度在借鑒法人人格制度之時,也應(yīng)與之有所區(qū)別。在代理權(quán)視角下,人工智能的權(quán)利能力必須是特定且有限的。有限權(quán)利能力是人格要素不完整的主體在法律規(guī)定的特定情況下所享有的民事權(quán)利能力。完整的法律人格應(yīng)該自我負責(zé)、完全獨立,未來的強人工智能可能擁有完全獨立的思維和行為能力,但目前的人工智能尚不具備[37]。目前的人工智能可以參照法人與非法人組織(5),以人類的“代理人”“受委托人”身份行使民事行為。如松琦教授團隊“委托”有嶺雷太寫小說,微軟“委托”小冰創(chuàng)作詩集等。

    隨著人工智能的發(fā)展,企業(yè)開始使用電子代理人開展商事活動,企業(yè)使用的各種智能化交易系統(tǒng)不僅能根據(jù)要求獨立完成特定的商業(yè)事務(wù),還能訂立甚至履行合同[39]。在可預(yù)見的未來,人工智能會出現(xiàn)于商業(yè)、法律等專業(yè)領(lǐng)域,給予其相關(guān)的民事主體資格,有利于使其在職權(quán)范圍內(nèi)發(fā)揮更加積極的作用。

    但“強人工智能”與“弱人工智能”的民事權(quán)利能力范圍應(yīng)該加以區(qū)分:(1)對于沒有獨立意志或獨立意志薄弱的“人類智力仿真”弱人工智能,其行為系由人類設(shè)立相關(guān)程序,仿照人類活動而形成,可以比照《民法典》無行為能力人加以規(guī)定(6),或者直接適用產(chǎn)品責(zé)任的規(guī)定,無需賦予主體資格。(2)對利用神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí),擁有自主進化和學(xué)習(xí)能力、自主判斷力的人工智能,可以比照《民法典》限制行為能力人。(3)對最終的強人工智能以及超人工智能,是否可以成為民法上的完全民事行為能力人,科技領(lǐng)域?qū)Υ松杏蓄H多爭議(7),法律界現(xiàn)在亦無定論[39]。但當(dāng)人工智能擁有完整的自主意識,能獨立判斷和實施民事行為之時,法律也應(yīng)該給予其完整的民事能力[38]。法律肯定人工智能的權(quán)利能力,但是考慮到技術(shù)發(fā)展、道德和倫理的制約,其權(quán)利能力應(yīng)當(dāng)予以一定限制。事實上,賦予人工智能權(quán)利能力卻又限制其權(quán)利范圍,本質(zhì)上并不矛盾,都是人工智能制度構(gòu)建的應(yīng)有之義。同時,人工智能享有的民事權(quán)利可以通過不完全列舉的方式規(guī)定,使人工智能的主體資格衡平人類社會發(fā)展。

    根據(jù)我國《民法典》人格權(quán)篇規(guī)定,法人擁有民事權(quán)利能力和民事行為能力(8),法人、非法人組織享有名稱權(quán)、名譽權(quán)和榮譽權(quán)(9),此等權(quán)利可以擴展至人工智能。目前,一批優(yōu)秀的人工智能(如Alpha Go、索菲亞等)已經(jīng)在世界范圍有知名度,應(yīng)當(dāng)享有名稱權(quán)、名譽權(quán)等權(quán)利,使其能夠承擔(dān)相應(yīng)責(zé)任。

    (二)《民法典》代理權(quán)視角下人工智能民事責(zé)任制度

    1.《民法典》代理權(quán)視角下人工智能民事責(zé)任制度的內(nèi)容

    《民法典》代理制度規(guī)定,民事主體可以通過代理人實施民事法律行為,委托代理人按照被代理人的委托行使代理權(quán)。

    人工智能大幅解放人類勞動力,提高生產(chǎn)效率,通過賦予其相對獨立的法律人格,使其享有權(quán)利,同時也承擔(dān)相應(yīng)責(zé)任和義務(wù)[40]。法律對人工智能民事責(zé)任承擔(dān)制度的規(guī)定,是人工智能主體資格構(gòu)建的關(guān)鍵點。以代理制度為基礎(chǔ)的人工智能民事責(zé)任制度應(yīng)考慮以下內(nèi)容:

    (1)獨立財產(chǎn)。能夠被法律承認為民事主體的人工智能應(yīng)具有獨立可支配的財產(chǎn),可以利用其本身所擁有的財產(chǎn)履行義務(wù),承擔(dān)民事責(zé)任。

    (2)具體民事責(zé)任承擔(dān)制度的構(gòu)建應(yīng)該考慮弱人工智能,其性質(zhì)只能為“產(chǎn)品”,責(zé)任承擔(dān)應(yīng)依據(jù)“產(chǎn)品責(zé)任”或“替代責(zé)任”制度予以追究。

    (3)人工智能雖然被法律規(guī)定為民事主體,但非法設(shè)計、制造、使用或惡意操控人工智能的第三人,超越登記范圍進行活動,致人損害需要承擔(dān)民事責(zé)任時,應(yīng)該參考“法人人格否認制度”,明確承擔(dān)責(zé)任的主體。人工智能的惡意設(shè)計者、制造者、所有者及惡意操控人應(yīng)該承擔(dān)法律責(zé)任[41]。

    2.《民法典》代理權(quán)視角下人工智能民事責(zé)任承擔(dān)方式

    承認人工智能具有獨立法律人格,擁有獨立財產(chǎn)并享有部分民事權(quán)利,能夠履行義務(wù)和承擔(dān)責(zé)任,在責(zé)任承擔(dān)方式上,人工智能可以承擔(dān)絕大多數(shù)返還性責(zé)任和損害賠償責(zé)任[42]。即使在人工智能自身獨立財產(chǎn)不足以支付賠償且基金制度尚未完善之時,人工智能也可以通過提供公共服務(wù)或由其被代理人來支付罰金,承擔(dān)損害賠償責(zé)任。這一點可以比照公司法人和自然人:由于公司法人擁有財產(chǎn),所以罰金對公司法人而言是最容易的刑罰方式,對人工智能也是如此:自然人犯罪支付罰金,那么他的家人會因此失去金錢;公司法人支付罰金,其員工、主管和客戶便不能再使用其資金。

    但是人工智能防御性責(zé)任的承擔(dān)卻仍存在困難。比如,以自然人特有的羞恥感為基礎(chǔ)設(shè)立的“賠禮道歉”就難以適用于人工智能。因此,有必要針對人工智能的特點增設(shè)其專屬的民事責(zé)任承擔(dān)方式。具體而言,可以增設(shè)修改程序并設(shè)立閾值、清理惡意程序、強制銷毀、禁止生產(chǎn)等專屬人工智能的民事責(zé)任承擔(dān)方式。修改程序并設(shè)立閾值,是通過程序技術(shù)識別分析出人工智能中致人損害的程序進行修改,并要求人工智能的生產(chǎn)者為人工智能設(shè)立安全閾值,將人工智能學(xué)習(xí)和決策的能力限制在合理的安全范圍內(nèi)[43];清理惡意程序,是指通過惡意程序檢驗,將人工智能運行過程產(chǎn)生或外部輸入的惡意代碼刪除(10),若刪除之后,經(jīng)評估人工智能仍然具有可利用和改造價值,可以添加新的程序,使其能夠再次進入市場。在人工智能致人損害程度極其嚴重,社會影響極大,前兩種責(zé)任承擔(dān)方式難以消除影響的情況下,則可以考慮銷毀,同時禁止生產(chǎn)該型號的人工智能。

    同時應(yīng)該加強人工智能的人格建設(shè),如我們熟知的“索菲亞”“阿爾法狗”等人工智能均擁有自己的身份、名號以及一定的知名度。將人工智能與其身份姓名相綁定,即可讓其通過在媒體網(wǎng)站、報紙雜志等發(fā)表道歉聲明,對損害他人人格權(quán)的行為賠禮道歉,消除影響。人工智能本身的公眾人物身份與名氣都可以成為使賠償更為有力的工具。

    3.“揭露人工智能人格面紗”制度的建設(shè)

    刺破人工智能人格面紗制度是指在滿足法律規(guī)定條件的情況下,拒絕承認人工智能法律人格的獨立存在,即使其符合人工智能法律人格的全部構(gòu)成要素。該制度的核心在于,使藏在人工智能背后的惡意制造人、使用或管理人“原形畢露”,使這些惡意者直接承擔(dān)人工智能的侵權(quán)責(zé)任,而非被代理人責(zé)任。

    結(jié)合人工智能法律人格的特點,參照“法人人格否認”制度,建立“人工智能人格否認”制度。人工智能理應(yīng)享有的是以代理權(quán)補充的獨立法律人格,在《民法典》中,應(yīng)規(guī)定代理人和相對人惡意串通、損害被代理人合法權(quán)益的,代理人和相對人應(yīng)當(dāng)承擔(dān)連帶責(zé)任。這是對于人工智能與他人串通損害客戶(被代理人)合法權(quán)益的規(guī)定。

    但是,由于目前強人工智能尚未出現(xiàn),人工智能尚不能完全分辨自己的行為并反抗人類的命令。所以當(dāng)人工智能的制造者或使用管理人惡意利用人工智能的獨立法律人格,實施加害行為,卻將法律責(zé)任加諸人工智能之上。此種情形顯然與人工智能法律人格制度的設(shè)立意愿背離,對人工智能的發(fā)展造成不良影響。因此,參照“揭開公司面紗”制度的表現(xiàn)行為,在以下情況下,可以設(shè)立“揭露人工智能面紗”的制度,使其背后的制造者或使用者承擔(dān)法律責(zé)任:

    (1)申報注冊登記的人工智能用途、使用技術(shù)以及性能報告、人工智能出生日等關(guān)鍵性信息不實,則人工智能法律人格自始不存在;

    (2)惡意編寫損害人類利益的代碼,造成侵權(quán)甚至違反法律行為,危急社會公共和個人人身財產(chǎn)利益的;

    (3)使用者不按照工作說明操作人工智能,使其進行違法犯罪等活動[44]。

    被揭露面紗后的人工智能,其責(zé)任由造成人工智能面紗揭露的主體按照法律規(guī)定承擔(dān)責(zé)任。不能因人工智能為非傳統(tǒng)的法律主體就逃避法律制裁,但需要考慮在不同的責(zé)任類型中設(shè)定人工智能特定的責(zé)任承擔(dān)主體。

    五、結(jié)語

    法律應(yīng)順應(yīng)時代要求和社會發(fā)展規(guī)律進行完善與超越。世界主流觀點認為可以賦予人工智能法律人格:一些國家規(guī)定非人生物也可成為法律訴訟主體,法律主體制度不僅為人而生,亦可為非人而設(shè);沙特阿拉伯承認人工智能“索菲亞”的主體地位,規(guī)定人工智能是獨立法律實體。在一定條件下,傳統(tǒng)法律主體制度可以突破,人工智能亦可成為法律主體。盡管大多數(shù)觀點接受人工智能應(yīng)當(dāng)具有法律主體資格,但在實踐中,如何以《民法典》代理權(quán)視角賦予人工智能法律主體資格、界定人工智能的內(nèi)涵和外延、豐富現(xiàn)有法律概念,還需要解決諸多問題。新的法律人格理論尚須進一步厘清基本人性與法律擬制人格的關(guān)系和區(qū)別,以及人工智能人格的局限性,以適應(yīng)人工智能的發(fā)展和實踐。

    注釋:

    (1)歐盟電子人決議原文“Robots’ autonomy is likely to grow to the extent that their ethical regulation will become necessary, by programming them with ethical codes specifically designed to prevent their harmful behavior (e.g. endangering humans or the environment)”,決議認為機器人自主性增長過快,因而有必要制定道德規(guī)范來防止機器人的危害行為。

    (2)根據(jù)俄羅斯全國門戶網(wǎng)站保安和安全網(wǎng)發(fā)布的信息稱,皇家科學(xué)界和英國科學(xué)院最近發(fā)表的一份報告直言,機器人定律可以用一條普遍的規(guī)則來取代:“人必須成功”。

    (3)格里申法案第一條規(guī)定:“機器人-代理人擁有獨立的財產(chǎn)并以之為自己的債務(wù)承擔(dān)責(zé)任,可以以自己名義取得并行使民事權(quán)利和承擔(dān)民事義務(wù)。在法律規(guī)定的情況下,機器人-代理人可以作為民事訴訟的參加者”。

    (4)如俄羅斯國家杜馬信息政策、信息技術(shù)和通信委員會主席萊昂尼德·萊文說過,機器人化將導(dǎo)致“驅(qū)逐勞動力”,例如銀行、會計和法律服務(wù)、工業(yè)。因此,在不久的將來,可能會面臨失業(yè)上升。這是事實性的闡述,但保守派勢力將這種威脅與移民等問題結(jié)合,過分夸大了人工智能的威脅。

    (5)參照《民法典》第一百七十條規(guī)定:執(zhí)行法人或者非法人組織工作任務(wù)的人員,就其職權(quán)范圍內(nèi)的事項,以法人或者非法人組織的名義實施民事法律行為,對法人或者非法人組織發(fā)生效力。

    (6)《民法典》關(guān)于民事行為能力的規(guī)定有:第十八條 成年人為完全民事行為能力人,可以獨立實施民事法律行為。十六周歲以上的未成年人,以自己的勞動收入為主要生活來源的,視為完全民事行為能力人。

    第十九條 八周歲以上的未成年人為限制民事行為能力人,實施民事法律行為由其法定代理人代理或者經(jīng)其法定代理人同意、追認;但是,可以獨立實施純獲利益的民事法律行為或者與其年齡、智力相適應(yīng)的民事法律行為。

    第二十條 不滿八周歲的未成年人為無民事行為能力人,由其法定代理人代理實施民事法律行為。

    第二十一條 不能辨認自己行為的成年人為無民事行為能力人,由其法定代理人代理實施民事法律行為。八周歲以上的未成年人不能辨認自己行為的,適用前款規(guī)定。

    (7)如北京航空航天大學(xué)教授何立民所言:“(現(xiàn)在)人們有條件開始研究弱人工智能生成機理,展望強人工智能,但卻難以預(yù)測未來的超人工智能?!?/p>

    (8)《民法典》第五十七條規(guī)定:法人是具有民事權(quán)利能力和民事行為能力,依法獨立享有民事權(quán)利和承擔(dān)民事義務(wù)的組織。

    (9)《民法典》第一百一十條規(guī)定:自然人享有生命權(quán)、身體權(quán)、健康權(quán)、姓名權(quán)、肖像權(quán)、名譽權(quán)、榮譽權(quán)、隱私權(quán)、婚姻自主權(quán)等權(quán)利。法人、非法人組織享有名稱權(quán)、名譽權(quán)和榮譽權(quán)。

    (10)外部的惡意代碼主要通過包括病毒、懦蟲、遠控木馬、僵尸程序、勒索軟件等攻擊形態(tài)進入,可以通過傳統(tǒng)計算機安全防護手段與深度學(xué)習(xí)結(jié)合進行防護,具體可參考張銘倫先生的:《面向惡意軟件對抗樣本攻擊的可信人工智能防御方法研究》。

    參考文獻:

    [1]劉辰.國務(wù)院印發(fā)《新一代人工智能發(fā)展規(guī)劃》:構(gòu)筑我國人工智能發(fā)展先發(fā)優(yōu)勢[J].中國科技產(chǎn)業(yè),2017,(8):78-79.

    [2]A. M. Turing. Computing Machinery and Intelligence[J]. Mind, 1950, 59(236):433-460.

    [3]戴維·M.沃克.牛津法律人辭典[M].光明日報出版社1988,687.

    [4]葉欣.私法上自然人法律人格之解析[J].武漢大學(xué)學(xué)報(哲學(xué)社會科學(xué)版),2011,64(6):125-129.

    [5]吳高臣.人工智能法律主體資格研究[J].自然辯證法通訊,2020,42(6):20-26.

    [6]張紹欣.法律位格、法律主體與人工智能的法律地位[J].現(xiàn)代法學(xué),2019,41(4):53-64.

    [7]鄒瑜,顧明. 法學(xué)大辭典[M]. 北京:中國政法大學(xué)出版社, 1991:63.

    [8]宋磊.從爵的法律特權(quán)變革的角度再釋法律儒家化[J].社會科學(xué),2021,(6):161-170.

    [9]黃仁宇. 萬歷十五年[M].北京:生活·讀書·新知三聯(lián)書店, 2008:.

    [10]陳廣文. 重建修正案的評價與解釋[D].濟南:山東大學(xué),2016.

    [11]尹田.論人格權(quán)的本質(zhì)——兼評我國民法草案關(guān)于人格權(quán)的規(guī)定[J].法學(xué)研究,2003,(4):3-14.

    [12]胡長兵.法律主體考略——以近代以來法律人像為中心[J].東方法學(xué),2015,(5):46-54.

    [13]張力.論法人人格否認制度的古羅馬法淵源[J].學(xué)術(shù)論壇,2008,(4):137-143.

    [14]彼德羅·彭梵得..羅馬法教科書( 2017年校訂版)[M]. 黃風(fēng),譯.北京:中國政法大學(xué)出版社, 2017.

    [15]莢振坤. 中世紀(jì)歐洲海商法研究(11 至 15 世紀(jì))[D].上海:華東政法大學(xué),2013.

    [16]馬克斯·韋伯. 中世紀(jì)商業(yè)合伙史[M].上海:東方出版中心, 2010.

    [17]宇培峰.“家長權(quán)”研究[D].北京:中國政法大學(xué),2011.

    [18]德國民法典[M].杜景林,盧諶.譯.北京:中國政法大學(xué)出版社, 2014.

    [19]唐偉元.論民事主體的判斷標(biāo)準(zhǔn)[J].科技創(chuàng)新導(dǎo)報,2008,(18):126.

    [20]許中緣.論人工智能的工具性人格[J].法學(xué)評論,2018,36(5):153-164.

    [21]崔愷旭. 計算機圍棋強化學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)[D].北京:北京郵電大學(xué),2019.

    [22]張悅.論人工智能的法律主體資格[D].石家莊:河北經(jīng)貿(mào)大學(xué),2020.

    [23]曹越.人工智能創(chuàng)作物的著作權(quán)問題研究——以“微軟小冰”為例[J].社會科學(xué)動態(tài),2019,(3):75-82.

    [24]曹建峰.10大建議!看歐盟如何預(yù)測AI立法新趨勢[J].機器人產(chǎn)業(yè),2017,(2):16-20.

    [25]世界人類基因組與人權(quán)宣言——聯(lián)合國教育、科學(xué)及文化組織[J].中國醫(yī)學(xué)倫理學(xué),1998,(2):2-66.

    [26]高奎.生殖性克隆人行為的世界立法應(yīng)對[J].法制與社會,2009,(21):325-326.

    [27]The first rule of robotics... The State Duma will prepare the rules for human communication with robots [DB/OL] (2017-12-20)[2021-06-11].http://guardinfo.online/2017/09/26/pervoe-pravilo-robototexniki-gosduma-podgotovit-pravila-obshheniya-cheloveka-s-robotami/.

    [28]UNESCO science experts explore robots’right [DB/OL](2013-05-06)[2021-06-11].http://www.unesco.org/new/en/media-services/single-view/news/unesco_science_experts_explore_robots_rights/.

    [29]阿西莫夫. 我,機器人[M].國強,等,譯. 北京:科學(xué)普及出版社, 1981.

    [30]艾薩克·阿西莫夫.銀河帝國 12 機器人與帝國[M]. 葉李華,譯. 南京:江蘇鳳凰文藝出版社, 2015.

    [31]王春梅.《格里申法案》機器人二元定性的啟示與反思[J].江漢論壇,2020,(9):127-131.

    [32]袁昭江. 歐盟機器人民事法律規(guī)則研究[D].長沙:湖南師范大學(xué),2020.

    [33]張建文.格里申法案的貢獻與局限——俄羅斯首部人工智能法草案述評[J].華東政法大學(xué)學(xué)報,2018,21(2):32-41.

    [34]鄭志峰.自動駕駛汽車交通事故責(zé)任的立法論與解釋論——以民法典相關(guān)內(nèi)容為視角[J/OL].東方法學(xué),{3},{4}{5}:1-15[2021-07-14].https://doi.org/10.19404/j.cnki.dffx.20210430.010.

    [35]周洪政.網(wǎng)絡(luò)時代電子要約和承諾的特殊法律問題研究[J].清華法學(xué),2012,6(4):162-176.

    [36]沈建銘. 論人工智能實體的法律主體資格[D].武漢:華中師范大學(xué),2017.

    [37]喬芳娥. 人工智能對民事主體地位的挑戰(zhàn)與應(yīng)對——以未來強人工智能的出現(xiàn)為視角的分析[C]. 2021年世界人工智能大會組委會.《上海法學(xué)研究》集刊(2021年第5卷 總第53卷)——2021世界人工智能大會法治論壇文集.2021年世界人工智能大會組委會:上海市法學(xué)會,2021:10.

    [38]張沁芊.電子商務(wù)中人工智能體的民事責(zé)任研究——以“電子代理人”為例[J].湖北工程學(xué)院學(xué)報,2020,40(1):100-105.

    [39]何立民.人工智能系統(tǒng)智能生成機理探索之六 從弱人工智能、強人工智能到超人工智能[J].單片機與嵌入式系統(tǒng)應(yīng)用,2020,20(8):87-89.

    [40]吳戈.人工智能發(fā)展帶來的問題及其倫理思考[J].中州學(xué)刊,2021,(3):93-95.

    [41]梁慧星.《民法總則》重要條文的理解與適用[J].四川大學(xué)學(xué)報(哲學(xué)社會科學(xué)版),2017,(4):51-65.

    [42]梁志文.論人工智能創(chuàng)造物的法律保護[J].法律科學(xué)(西北政法大學(xué)學(xué)報),2017,35(5):156-165.

    [43]雷恩·卡羅,鄭志峰.人工智能政策:入門與路線圖[J].求是學(xué)刊,2019,46(2):25-44.

    [44]韓旭.人工智能侵權(quán)責(zé)任主體問題研究[D].大連:大連海事大學(xué),2020.

    Constructing the Qualification System of Artificial

    Intelligence Subject with? Theory of Agency in the Civil

    Code: Based on the Discussion of the Current Robot Draft

    LYU Qunrong,CUI Litian

    (School of Health Management, Southern Medical University,Guangzhou Guangdong 510515, China)

    Abstract:This article takes the evolution of natural persons and legal persons as the research starting point, considering that artificial intelligence should be endowed with legal personality, in combination with the two characteristics of artificial intelligence (AI): relatively independent free will and cognition, and the ability to enjoy rights and bear obligations. Meanwhile, due to the incompleteness of the independent will of artificial intelligence, the assumption of its rights and obligations may be determined by reference to the “agent” system, and the scope of capacity for civil rights and the system of civil liability of artificial intelligence shall be established from the perspective of the implementation of legal acts by natural persons and legal persons on behalf of artificial intelligence.

    Key words:? Artificial Intelligence (AI);subject qualification; theoretical basis; the agency

    編輯:鄒蕊

    3905500338274

    猜你喜歡
    理論基礎(chǔ)民法典代理
    無信不立 無誠不久——民法典中關(guān)于合同的那些規(guī)定
    公民與法治(2022年5期)2022-07-29 00:47:52
    民法典誕生
    云南畫報(2021年1期)2021-06-11 06:04:56
    民法典來了
    中國民法典,誕生!
    金橋(2020年7期)2020-08-13 03:06:56
    代理圣誕老人
    代理手金寶 生意特別好
    實踐性知識視角下教師培訓(xùn)實踐性課程開發(fā)的理論基礎(chǔ)
    淺議中職計算機基礎(chǔ)課自主學(xué)習(xí)教學(xué)模式
    會計準(zhǔn)則變革的非預(yù)期效應(yīng)理論框架構(gòu)建
    商情(2016年40期)2016-11-28 09:40:02
    非法證據(jù)排除規(guī)則的理論基礎(chǔ)
    91成人精品电影| 久久精品人人爽人人爽视色| 好男人电影高清在线观看| 色播在线永久视频| 高潮久久久久久久久久久不卡| 99香蕉大伊视频| 亚洲狠狠婷婷综合久久图片| 国产亚洲精品第一综合不卡| 欧美精品亚洲一区二区| 亚洲欧洲精品一区二区精品久久久| 男人的好看免费观看在线视频 | 麻豆成人av在线观看| 亚洲在线自拍视频| 操美女的视频在线观看| 18美女黄网站色大片免费观看| 国产一区二区激情短视频| 久久人人精品亚洲av| 九色亚洲精品在线播放| 在线国产一区二区在线| 久久影院123| 日韩一卡2卡3卡4卡2021年| 国产一区二区三区综合在线观看| 精品少妇一区二区三区视频日本电影| 国产99久久九九免费精品| 国产97色在线日韩免费| 国产有黄有色有爽视频| 国产男靠女视频免费网站| 午夜激情av网站| 我的亚洲天堂| 国产区一区二久久| 成人黄色视频免费在线看| videosex国产| 亚洲av日韩精品久久久久久密| 黑人巨大精品欧美一区二区mp4| 黑人猛操日本美女一级片| 久久性视频一级片| 国产午夜精品久久久久久| 国产精品自产拍在线观看55亚洲| 亚洲第一av免费看| 99久久久亚洲精品蜜臀av| 手机成人av网站| 丁香六月欧美| 久久热在线av| 中文字幕色久视频| 国产极品粉嫩免费观看在线| 99精品久久久久人妻精品| 精品久久久久久久毛片微露脸| 久久亚洲精品不卡| 日本五十路高清| 久热爱精品视频在线9| 国产亚洲精品一区二区www| 成人影院久久| 国产麻豆69| 亚洲国产精品一区二区三区在线| 宅男免费午夜| 神马国产精品三级电影在线观看 | 校园春色视频在线观看| 成年人黄色毛片网站| 满18在线观看网站| 美女高潮喷水抽搐中文字幕| 亚洲av成人不卡在线观看播放网| 日韩免费高清中文字幕av| 黄色怎么调成土黄色| 久久久精品国产亚洲av高清涩受| 亚洲九九香蕉| 精品国产一区二区三区四区第35| 动漫黄色视频在线观看| 亚洲午夜理论影院| 久久国产精品人妻蜜桃| 成人国语在线视频| 国产极品粉嫩免费观看在线| 天堂中文最新版在线下载| 午夜福利一区二区在线看| 黄网站色视频无遮挡免费观看| 精品卡一卡二卡四卡免费| 国产单亲对白刺激| 精品免费久久久久久久清纯| 久久精品国产亚洲av香蕉五月| 国产99白浆流出| 精品高清国产在线一区| 免费不卡黄色视频| 国产黄色免费在线视频| 中文字幕人妻丝袜制服| 国产精品日韩av在线免费观看 | 久久久久久人人人人人| 国产伦一二天堂av在线观看| 91大片在线观看| 一级片'在线观看视频| 狂野欧美激情性xxxx| 日本撒尿小便嘘嘘汇集6| 亚洲av第一区精品v没综合| 欧美激情 高清一区二区三区| av在线播放免费不卡| 激情视频va一区二区三区| 国产亚洲精品综合一区在线观看 | 高清毛片免费观看视频网站 | 欧美丝袜亚洲另类 | 亚洲一区二区三区欧美精品| 久久天堂一区二区三区四区| 国产成人系列免费观看| 男人舔女人的私密视频| 999久久久精品免费观看国产| 两性午夜刺激爽爽歪歪视频在线观看 | 热99国产精品久久久久久7| 看免费av毛片| 美女扒开内裤让男人捅视频| 亚洲一卡2卡3卡4卡5卡精品中文| 精品国产乱码久久久久久男人| 久久精品影院6| 亚洲精品在线观看二区| 天堂俺去俺来也www色官网| av电影中文网址| 亚洲精品久久午夜乱码| 在线国产一区二区在线| 看片在线看免费视频| 真人做人爱边吃奶动态| 美女福利国产在线| 久久久国产成人精品二区 | 成人18禁高潮啪啪吃奶动态图| 极品人妻少妇av视频| 性少妇av在线| 丰满人妻熟妇乱又伦精品不卡| www.熟女人妻精品国产| 国产精品一区二区免费欧美| 高清在线国产一区| 最新美女视频免费是黄的| 午夜免费鲁丝| 在线国产一区二区在线| 99精品在免费线老司机午夜| 精品国产乱子伦一区二区三区| 亚洲 欧美一区二区三区| 久久热在线av| 丰满迷人的少妇在线观看| 亚洲精品国产色婷婷电影| 高清在线国产一区| 亚洲精品国产一区二区精华液| x7x7x7水蜜桃| 黄色片一级片一级黄色片| 久久九九热精品免费| 日韩三级视频一区二区三区| 无遮挡黄片免费观看| 999精品在线视频| 亚洲午夜精品一区,二区,三区| 淫妇啪啪啪对白视频| 欧美日韩福利视频一区二区| 欧美激情高清一区二区三区| 欧美黑人欧美精品刺激| 成人三级黄色视频| ponron亚洲| 亚洲专区国产一区二区| 午夜久久久在线观看| x7x7x7水蜜桃| 免费在线观看黄色视频的| 老鸭窝网址在线观看| 国产精品九九99| 两个人免费观看高清视频| 无遮挡黄片免费观看| 午夜日韩欧美国产| 久久久久精品国产欧美久久久| 久99久视频精品免费| 久久久久久久久久久久大奶| 露出奶头的视频| 国产精品一区二区三区四区久久 | 免费在线观看日本一区| 国产激情久久老熟女| 女警被强在线播放| 桃红色精品国产亚洲av| 久久中文字幕人妻熟女| av视频免费观看在线观看| 精品电影一区二区在线| 亚洲va日本ⅴa欧美va伊人久久| 久久精品国产综合久久久| 丰满迷人的少妇在线观看| 欧美中文日本在线观看视频| 中文欧美无线码| 满18在线观看网站| 国产精品av久久久久免费| 亚洲av美国av| 久久国产乱子伦精品免费另类| 妹子高潮喷水视频| 欧美日韩av久久| 欧美日韩国产mv在线观看视频| 美女扒开内裤让男人捅视频| 午夜老司机福利片| 精品国产乱码久久久久久男人| 免费在线观看完整版高清| 久久人人精品亚洲av| 成人av一区二区三区在线看| 女同久久另类99精品国产91| 在线视频色国产色| 脱女人内裤的视频| 欧美大码av| 免费久久久久久久精品成人欧美视频| 午夜成年电影在线免费观看| 97超级碰碰碰精品色视频在线观看| 亚洲自拍偷在线| 成人特级黄色片久久久久久久| 国产免费男女视频| 国产成人免费无遮挡视频| 精品卡一卡二卡四卡免费| 国产熟女xx| 国产区一区二久久| 亚洲avbb在线观看| 国产成人欧美在线观看| svipshipincom国产片| 国产精品久久电影中文字幕| 国产区一区二久久| 一级片'在线观看视频| 亚洲成a人片在线一区二区| 久9热在线精品视频| 欧美日韩福利视频一区二区| 超色免费av| 亚洲狠狠婷婷综合久久图片| 亚洲成国产人片在线观看| 一进一出好大好爽视频| 色在线成人网| 欧美不卡视频在线免费观看| 亚洲中文日韩欧美视频| 国产av一区在线观看免费| 色综合欧美亚洲国产小说| 极品教师在线视频| 免费在线观看成人毛片| 成年女人毛片免费观看观看9| 女人被狂操c到高潮| 免费在线观看亚洲国产| 精品一区二区免费观看| 12—13女人毛片做爰片一| 麻豆成人av在线观看| av在线蜜桃| 国产精品一区二区三区四区免费观看 | 日本五十路高清| 人人妻人人澡欧美一区二区| 97碰自拍视频| 国内精品美女久久久久久| ponron亚洲| 久久欧美精品欧美久久欧美| 日韩欧美国产一区二区入口| 精品人妻偷拍中文字幕| 免费在线观看影片大全网站| 亚洲精品在线美女| 久久国产精品影院| 三级男女做爰猛烈吃奶摸视频| 日韩精品中文字幕看吧| 亚洲va日本ⅴa欧美va伊人久久| 少妇熟女aⅴ在线视频| 成人永久免费在线观看视频| 成人永久免费在线观看视频| 日韩国内少妇激情av| 国产精品人妻久久久久久| 免费一级毛片在线播放高清视频| 日日摸夜夜添夜夜添小说| 丁香六月欧美| 看免费av毛片| 人人妻人人看人人澡| 波多野结衣巨乳人妻| 天堂av国产一区二区熟女人妻| 国产色婷婷99| 丁香六月欧美| 国产精品亚洲美女久久久| 看黄色毛片网站| 成人一区二区视频在线观看| 别揉我奶头 嗯啊视频| 内地一区二区视频在线| 如何舔出高潮| 欧美另类亚洲清纯唯美| 亚洲第一欧美日韩一区二区三区| 首页视频小说图片口味搜索| 亚洲精品456在线播放app | a级毛片免费高清观看在线播放| 欧美一区二区亚洲| 床上黄色一级片| 久久中文看片网| 久久久成人免费电影| 欧美在线黄色| 亚洲精品亚洲一区二区| 无遮挡黄片免费观看| 成人三级黄色视频| 少妇被粗大猛烈的视频| 国产蜜桃级精品一区二区三区| 亚洲18禁久久av| 国产精品精品国产色婷婷| 日本一二三区视频观看| 美女 人体艺术 gogo| 国产欧美日韩一区二区精品| 嫁个100分男人电影在线观看| 麻豆国产av国片精品| 国产成人aa在线观看| 老司机午夜福利在线观看视频| 国产在线精品亚洲第一网站| 国产伦精品一区二区三区四那| 亚洲av五月六月丁香网| 日本黄大片高清| 亚洲av成人不卡在线观看播放网| 日韩欧美国产一区二区入口| 美女大奶头视频| 久久久久久九九精品二区国产| 成人国产一区最新在线观看| 老熟妇仑乱视频hdxx| 亚洲自拍偷在线| 国内揄拍国产精品人妻在线| 深夜a级毛片| 最新中文字幕久久久久| 搡女人真爽免费视频火全软件 | 国产免费男女视频| 欧美+日韩+精品| 激情在线观看视频在线高清| 黄色配什么色好看| 国产精品1区2区在线观看.| 日韩中文字幕欧美一区二区| 国产午夜福利久久久久久| 一进一出抽搐gif免费好疼| 神马国产精品三级电影在线观看| 亚洲成人精品中文字幕电影| 热99在线观看视频| 高清日韩中文字幕在线| 亚洲自偷自拍三级| 欧美性感艳星| 欧美日韩乱码在线| 欧美zozozo另类| 成人午夜高清在线视频| 最近中文字幕高清免费大全6 | 少妇被粗大猛烈的视频| 国产欧美日韩精品一区二区| 久久99热6这里只有精品| 日本免费a在线| 免费看美女性在线毛片视频| 一二三四社区在线视频社区8| 国产欧美日韩精品亚洲av| 成年女人永久免费观看视频| 少妇裸体淫交视频免费看高清| 成人av在线播放网站| 无人区码免费观看不卡| 午夜激情福利司机影院| 别揉我奶头 嗯啊视频| 国产激情偷乱视频一区二区| 熟妇人妻久久中文字幕3abv| 内射极品少妇av片p| 国产亚洲精品久久久久久毛片| 每晚都被弄得嗷嗷叫到高潮| 国产真实伦视频高清在线观看 | 免费大片18禁| 亚洲av熟女| 欧美色视频一区免费| 色av中文字幕| 免费在线观看日本一区| 久久久久国产精品人妻aⅴ院| 精品一区二区三区人妻视频| 搡老岳熟女国产| 极品教师在线免费播放| 51午夜福利影视在线观看| a在线观看视频网站| 别揉我奶头~嗯~啊~动态视频| 亚洲av电影不卡..在线观看| 淫妇啪啪啪对白视频| 亚洲无线观看免费| 国产视频一区二区在线看| 午夜福利在线在线| 久久精品久久久久久噜噜老黄 | 日韩人妻高清精品专区| 久久99热这里只有精品18| 制服丝袜大香蕉在线| 午夜精品在线福利| 最新在线观看一区二区三区| 男女那种视频在线观看| 国语自产精品视频在线第100页| 日韩欧美国产一区二区入口| 精品国产三级普通话版| 淫秽高清视频在线观看| 国产色婷婷99| 国内精品一区二区在线观看| 在线观看66精品国产| 久久久久久九九精品二区国产| 日韩中字成人| 欧美精品国产亚洲| 亚洲精品色激情综合| 免费观看人在逋| 亚洲成人久久爱视频| 丰满人妻熟妇乱又伦精品不卡| 精品久久久久久久人妻蜜臀av| 欧美日韩综合久久久久久 | 中文字幕av成人在线电影| 国产一区二区在线观看日韩| 国产成人福利小说| 18美女黄网站色大片免费观看| 日本撒尿小便嘘嘘汇集6| 老女人水多毛片| 亚洲成av人片在线播放无| 在线观看66精品国产| 波多野结衣高清无吗| 国产高清激情床上av| 欧美性猛交╳xxx乱大交人| 久久久久九九精品影院| 国产69精品久久久久777片| 亚洲天堂国产精品一区在线| 国产亚洲精品av在线| 黄色日韩在线| 国产三级中文精品| 久久精品影院6| 亚洲国产精品成人综合色| 日韩欧美精品免费久久 | 久久久色成人| 一边摸一边抽搐一进一小说| 在现免费观看毛片| 亚洲男人的天堂狠狠| 国产亚洲欧美98| 中文字幕人妻熟人妻熟丝袜美| 搞女人的毛片| 每晚都被弄得嗷嗷叫到高潮| 色噜噜av男人的天堂激情| 久久久久久国产a免费观看| 日日干狠狠操夜夜爽| 久久久久性生活片| 国产成人a区在线观看| 免费av不卡在线播放| 国产精品久久久久久亚洲av鲁大| 长腿黑丝高跟| 国模一区二区三区四区视频| 成人性生交大片免费视频hd| 又爽又黄a免费视频| 亚洲经典国产精华液单 | avwww免费| 欧美日韩乱码在线| 欧美日韩福利视频一区二区| 又黄又爽又刺激的免费视频.| 久久精品国产亚洲av涩爱 | 51国产日韩欧美| 夜夜躁狠狠躁天天躁| 中文字幕av成人在线电影| 欧美+亚洲+日韩+国产| 色哟哟·www| 禁无遮挡网站| 中文字幕人妻熟人妻熟丝袜美| 在线十欧美十亚洲十日本专区| 我的老师免费观看完整版| 亚洲综合色惰| 美女xxoo啪啪120秒动态图 | 99热6这里只有精品| 久久久久久久亚洲中文字幕 | 国产伦精品一区二区三区视频9| 成人特级av手机在线观看| 一本一本综合久久| 国产精品久久电影中文字幕| 成人永久免费在线观看视频| 男女做爰动态图高潮gif福利片| 久久久久久国产a免费观看| 无人区码免费观看不卡| 高清在线国产一区| 亚洲无线观看免费| 99视频精品全部免费 在线| 99久久精品热视频| 午夜精品久久久久久毛片777| 国产熟女xx| 国产高清激情床上av| 午夜精品在线福利| 亚洲国产日韩欧美精品在线观看| 欧美bdsm另类| 男人的好看免费观看在线视频| 熟妇人妻久久中文字幕3abv| 国产亚洲欧美在线一区二区| 真实男女啪啪啪动态图| 91午夜精品亚洲一区二区三区 | 亚洲成人久久性| 五月玫瑰六月丁香| 别揉我奶头~嗯~啊~动态视频| www日本黄色视频网| 欧美日韩中文字幕国产精品一区二区三区| 久久天躁狠狠躁夜夜2o2o| 老司机福利观看| 国产成人av教育| 少妇高潮的动态图| 麻豆久久精品国产亚洲av| 精品一区二区免费观看| 亚洲成人久久爱视频| 又黄又爽又免费观看的视频| 久久久久久久久大av| 真人一进一出gif抽搐免费| 国产欧美日韩精品一区二区| av天堂在线播放| 性色av乱码一区二区三区2| 欧美日韩亚洲国产一区二区在线观看| 日韩国内少妇激情av| eeuss影院久久| 99久久无色码亚洲精品果冻| 亚洲国产精品久久男人天堂| 九九在线视频观看精品| 搡女人真爽免费视频火全软件 | 自拍偷自拍亚洲精品老妇| 我要搜黄色片| 日本在线视频免费播放| 永久网站在线| 亚洲熟妇熟女久久| 99精品久久久久人妻精品| 精品久久久久久久久久免费视频| 欧美日韩黄片免| 九色成人免费人妻av| 中文字幕精品亚洲无线码一区| 看黄色毛片网站| 97超视频在线观看视频| 亚洲人与动物交配视频| 中文资源天堂在线| 午夜a级毛片| 亚洲av成人av| xxxwww97欧美| 在线观看舔阴道视频| 国产精品影院久久| 欧美性猛交╳xxx乱大交人| 欧美色欧美亚洲另类二区| 精品一区二区三区av网在线观看| 亚洲中文字幕一区二区三区有码在线看| 在线免费观看的www视频| 丝袜美腿在线中文| 久久久久精品国产欧美久久久| 熟女电影av网| 久久久久久大精品| 蜜桃久久精品国产亚洲av| 99久久久亚洲精品蜜臀av| 超碰av人人做人人爽久久| 直男gayav资源| 国内少妇人妻偷人精品xxx网站| 18禁在线播放成人免费| 国产成人啪精品午夜网站| 欧美三级亚洲精品| 久久精品综合一区二区三区| 亚洲av电影不卡..在线观看| 999久久久精品免费观看国产| 女生性感内裤真人,穿戴方法视频| 国产精品亚洲av一区麻豆| 看十八女毛片水多多多| 亚洲熟妇熟女久久| 国产视频内射| 夜夜看夜夜爽夜夜摸| 琪琪午夜伦伦电影理论片6080| 老司机午夜福利在线观看视频| 婷婷亚洲欧美| 99热只有精品国产| 麻豆成人午夜福利视频| 好看av亚洲va欧美ⅴa在| 久久99热这里只有精品18| 一边摸一边抽搐一进一小说| 美女被艹到高潮喷水动态| 丁香欧美五月| 在现免费观看毛片| 久久久久久久久中文| 国产精品久久久久久亚洲av鲁大| 亚洲成人中文字幕在线播放| 男人舔女人下体高潮全视频| 美女cb高潮喷水在线观看| 国产探花在线观看一区二区| 亚洲自拍偷在线| 午夜老司机福利剧场| 亚洲中文日韩欧美视频| 国产高清激情床上av| 久久99热6这里只有精品| 国产精品亚洲一级av第二区| 亚洲狠狠婷婷综合久久图片| 真人一进一出gif抽搐免费| 国产精品人妻久久久久久| 国产精品av视频在线免费观看| 欧美成人一区二区免费高清观看| 美女cb高潮喷水在线观看| 脱女人内裤的视频| 亚洲,欧美精品.| 久久性视频一级片| 午夜日韩欧美国产| 亚洲成人免费电影在线观看| 欧美黑人巨大hd| 成人高潮视频无遮挡免费网站| 一个人免费在线观看的高清视频| 99热精品在线国产| 国产高清视频在线观看网站| 观看免费一级毛片| 亚洲综合色惰| 丰满人妻熟妇乱又伦精品不卡| 久久精品夜夜夜夜夜久久蜜豆| 国产精品久久久久久久久免 | 国产蜜桃级精品一区二区三区| 亚洲不卡免费看| 久久久成人免费电影| 99久久成人亚洲精品观看| 国产蜜桃级精品一区二区三区| 欧洲精品卡2卡3卡4卡5卡区| 婷婷色综合大香蕉| 一级av片app| 2021天堂中文幕一二区在线观| 在线免费观看不下载黄p国产 | 999久久久精品免费观看国产| 免费观看的影片在线观看| 亚洲中文字幕一区二区三区有码在线看| 国产精华一区二区三区| 夜夜看夜夜爽夜夜摸| 桃红色精品国产亚洲av| 久久国产精品影院| 午夜福利在线观看吧| 日韩精品中文字幕看吧| 一级毛片久久久久久久久女| 在线观看舔阴道视频| 嫩草影院精品99| 91九色精品人成在线观看| 国产精品自产拍在线观看55亚洲| 麻豆一二三区av精品| 亚洲内射少妇av| 欧美最黄视频在线播放免费| 亚洲av成人av| 可以在线观看毛片的网站| 有码 亚洲区| 国产在线男女| 嫩草影院精品99| 欧美精品啪啪一区二区三区| 老鸭窝网址在线观看| 国产极品精品免费视频能看的| 99精品久久久久人妻精品| 又粗又爽又猛毛片免费看| 非洲黑人性xxxx精品又粗又长| av中文乱码字幕在线| 欧美黄色淫秽网站|