• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    智能機(jī)器人法律人格問題論析

    2018-05-28 05:26孫占利
    東方法學(xué) 2018年3期
    關(guān)鍵詞:人格主體機(jī)器人

    孫占利

    內(nèi)容摘要:初期的人工智能仍屬于工具范疇,自主智能機(jī)器人的“自主意識”和“表意能力”是賦予智能機(jī)器人取得法律人格的必要條件,其“人性化”將直接影響甚至決定其法律人格化。“工具論”“控制論”“擬制論”將漸次成為解決其法律人格的可能方案。自主智能機(jī)器人將可能先成為著作權(quán)等特定權(quán)益的主體,其權(quán)益變相歸屬于公共領(lǐng)域。強(qiáng)人工智能時期可能出現(xiàn)具有擬制法律人格或類法律人格的智能機(jī)器人,傳統(tǒng)法律制度將出現(xiàn)顛覆性的變革。

    關(guān)鍵詞:人工智能自主意識人性化法律人格人類中心主義

    人工智能的法律問題是近年來的研究熱點(diǎn)之一,學(xué)術(shù)界就智能機(jī)器人的法律人格、無人駕駛的民事責(zé)任、人工智能創(chuàng)作物的權(quán)屬、法律職業(yè)替代、社會風(fēng)險(xiǎn)控制等問題進(jìn)行了積極而有富有價(jià)值的研究。法律作為一種明確的、可預(yù)測性的規(guī)定,企業(yè)和個人可以通過法律得知什么是禁為和應(yīng)為的行為,從而將自己的行為納入制度允許的軌道。法律制度還規(guī)定了權(quán)利和義務(wù),具有利導(dǎo)性,能夠進(jìn)一步通過其激勵機(jī)制引導(dǎo)人們的行為,并通過強(qiáng)制功能規(guī)范人們的行為?!? 〕在人工智能的諸法律問題中,首當(dāng)其沖的是法律人格問題。筆者將在對國內(nèi)外的代表性觀點(diǎn)進(jìn)行梳理和借鑒的基礎(chǔ)上對其中的法律問題進(jìn)行探討。

    一、智能機(jī)器人 〔2 〕的法律人格問題的緣起

    1950年,圖靈發(fā)表了《計(jì)算機(jī)器與智能》,提出機(jī)器可以有思維,并提出了著名的圖靈測試,該文為圖靈贏得了“人工智能之父”的美譽(yù)。1956年的達(dá)特茅斯會議勾畫了人工智能研究的藍(lán)圖,會議的發(fā)起人麥卡錫起草的倡議書中使用的AI一詞也得以確立,達(dá)特茅斯會議被認(rèn)為是人工智能誕生的標(biāo)志。

    2017年被稱為人工智能年。這一年里,在人機(jī)圍棋大戰(zhàn)、德州撲克比賽等競技中,智能機(jī)器人取得了驕人的成績。索菲亞更是被沙特授予公民身份,成為第一個取得公民身份的機(jī)器人。2017年5月,微軟智能機(jī)器人“小冰”的原創(chuàng)詩集《陽光失了玻璃窗》正式出版,售價(jià)近50元。這是人類歷史上第一部100%由人工智能創(chuàng)造的詩集。微軟還讓“小冰”在天涯、豆瓣、簡書等平臺,用27個筆名發(fā)表自己的詩歌,不過讀者們并沒有發(fā)現(xiàn)“駱夢”“風(fēng)的指尖”等筆名的“詩人”并非人類。從事實(shí)上來看,微軟、出版社及公眾都認(rèn)為詩集的作者是“小冰”。但在法律上,因?yàn)椤靶”辈痪哂蟹扇烁瘢⒉荒艹蔀橹鳈?quán)的主體。雖然產(chǎn)生了這些法律問題,但卻隱含著微軟向世人宣告具有創(chuàng)造性的機(jī)器人的誕生,昭示著科技的進(jìn)步將為人類產(chǎn)生新的福祉和帶來新的挑戰(zhàn)。

    2016年,微軟開發(fā)的聊天機(jī)器人Tay在Twitter上線。Tay在部分用戶的刺激下開始發(fā)表種族歧視、性別歧視的言論,旋即被微軟下線。之后微軟聲明是因?yàn)橛腥死昧艘粋€漏洞對Tay展開攻擊。更為不幸的是,機(jī)器人殺人和傷害等“犯罪”事件屢見不鮮。1978年日本一家工廠的切割機(jī)器人突然“轉(zhuǎn)身”將工人抓住并切割,這是世界上第一宗機(jī)器人殺人事件。另一件曾轟動全球的事件是1989年人工智能機(jī)器人落敗于蘇聯(lián)國際象棋冠軍后釋放強(qiáng)電流致使冠軍身亡。此外,機(jī)器人“自焚”后引燃房屋、機(jī)器人打人等事件也見諸媒體。此類事件引發(fā)了人們的憂慮,也引起了侵權(quán)主體、犯罪主體及其法律責(zé)任的探討。

    吳漢東教授認(rèn)為,對于人工智能引發(fā)的現(xiàn)代性的負(fù)面影響,有必要采取風(fēng)險(xiǎn)措施,即預(yù)防性行為和因應(yīng)性制度。面向未來時代的調(diào)整規(guī)范構(gòu)成,應(yīng)以人工智能的發(fā)展與規(guī)制為主題,形成制度性、法治化的社會治理體系,包括以安全為核心的法律價(jià)值目標(biāo)、以倫理為先導(dǎo)的社會規(guī)范調(diào)控體系和以技術(shù)、法律為主導(dǎo)的風(fēng)險(xiǎn)控制機(jī)制。借鑒國外經(jīng)驗(yàn),立足本土需要,當(dāng)前應(yīng)盡快出臺“國家發(fā)展戰(zhàn)略”,及時制定“機(jī)器人倫理章程”,適時進(jìn)行機(jī)器人專門立法。〔3 〕從人工智能創(chuàng)作內(nèi)容的版權(quán)歸屬、無人駕駛的責(zé)任認(rèn)定、自動生成裁判文書情況下的裁判主體與效力等問題可以看出,此問題已經(jīng)是一個現(xiàn)實(shí)法律問題。

    從法律角度來看,法律人格直接關(guān)系到法律關(guān)系的主體問題,關(guān)系到能否以其身份自主設(shè)立、變更及終止法律關(guān)系。申言之,關(guān)系到主體的權(quán)利、義務(wù)及法律責(zé)任,也關(guān)系到權(quán)利能力和行為能力問題。法律關(guān)系源于法律對社會關(guān)系的調(diào)整,因此,也會進(jìn)而影響到社會關(guān)系和社會秩序問題。從法治實(shí)踐的角度看,關(guān)系到智慧立法、智慧執(zhí)法、智慧司法、智慧法律服務(wù)的主體與效力等問題。從法理的角度看,傳統(tǒng)的法律制度是基于人與人之間的社會關(guān)系。如果賦予智能機(jī)器人以法律人格,傳統(tǒng)法律的調(diào)整對象將演變?yōu)槿N社會關(guān)系:人與人之間的社會關(guān)系、人與智能機(jī)器人的社會關(guān)系、智能機(jī)器人之間的社會關(guān)系。從國際法角度看,智能機(jī)器人的法律人格關(guān)系到國籍、戰(zhàn)時平民保護(hù)、機(jī)器人武器的作戰(zhàn)主體與作戰(zhàn)手段等問題。

    總之,法律關(guān)注的是主體及主體的法律關(guān)系與法律責(zé)任,主體問題是首先要解決的問題,否則無法解決法律關(guān)系與法律責(zé)任問題。因此,智能機(jī)器人的法律人格問題也是相關(guān)法學(xué)研究和法律實(shí)踐中首當(dāng)其沖的問題。

    二、智能機(jī)器人的法律人格問題的主要觀點(diǎn)

    近年來,隨著人工智能及其應(yīng)用的快速發(fā)展和對人類社會產(chǎn)生的巨大影響,關(guān)于智能機(jī)器人的法律人格問題的討論比較多,代表性觀點(diǎn)主要如下:

    (一)電子人或法律人格說

    2016年5月31日,歐盟委員會法律事務(wù)委員會提交一項(xiàng)動議,要求歐盟委員會把正在自動化智能機(jī)器“工人”的身份界定為“電子人”的身份,并賦予這些機(jī)器人依法享有著作權(quán)等特殊的權(quán)利與義務(wù)。眾所周知,沙特更是直接賦予智能機(jī)器人索菲亞以公民身份。

    (二)有限法律人格說

    袁曾認(rèn)為,人工智能具有獨(dú)立自主的行為能力,有資格享有法律權(quán)利并承擔(dān)責(zé)任義務(wù),人工智能應(yīng)當(dāng)具有法律人格。但由于人工智能承擔(dān)行為能力的后果有限,人工智能適用特殊的法律規(guī)范與侵權(quán)責(zé)任體系安排,其具有的法律人格是有限的法律人格。為調(diào)整適應(yīng)人工智能有限法律人格的規(guī)制安排,必須明確人工智能歸責(zé)原則,通過強(qiáng)制投保責(zé)任險(xiǎn)、確立以人為本的監(jiān)管體系、加速《人工智能發(fā)展法》立法等體系性安排,促進(jìn)人工智能在可控的范圍內(nèi)發(fā)展?!? 〕

    (三)次等法律人格說

    楊清望、張磊認(rèn)為,為了適應(yīng)社會發(fā)展,解決新矛盾新糾紛,必須從人類的權(quán)益出發(fā),運(yùn)用法律擬制的立法技術(shù)賦予人工智能次等法律人格,借鑒法人制度建立人工智能登記備案制,完善人工智能的法律責(zé)任制度。這一方面有利于促進(jìn)人工智能更好服務(wù)于人類,另一方面確保其不異化為“超人類”的主體。將人工智能界定為“有限”法律人格并不能闡明人工智能法律人格的根本屬性,因?yàn)槿斯ぶ悄苁侨祟惖膭?chuàng)造物,重要的是要把它的法律人格同人類主體的法律人格區(qū)別開來并賦予其獨(dú)立的法律人格,而不只是在既有法律框架內(nèi)通過對自然人權(quán)利能力限縮的方式實(shí)現(xiàn)?!? 〕

    (四)位格加等說

    張紹欣認(rèn)為,現(xiàn)代法人制度通過“位格加等”把人為設(shè)置的團(tuán)體提升到具有一定人格權(quán)的地位,人工智能概念則通過“位格加等”把機(jī)器人提升到自然人的法律位格?!皥D靈測試”摧毀著傳統(tǒng)法律人類學(xué)的位格等級制度。根據(jù)“圖靈測試”,在人的身體與機(jī)器之間作出位格等級區(qū)分是沒有必要的;而人的智能又是不可知不可評估的,因而不能用智能作為標(biāo)準(zhǔn)來區(qū)分人與機(jī)器。在“賽博格”和“賽博人”的時代,法律擬制正在從人類中心主義向“超人類主義”轉(zhuǎn)換——不是把低于人類的事物擬制到人類的位格等級,而是要把人向“超人”的位格來提升和擬制。〔6 〕

    (五)人格類比說

    Gabriel Hallevy認(rèn)為,人工智能沒有靈魂,其法律人格畢竟有限,即使將來擁有自我意志也無法存在繁殖性的肉體或者真實(shí)感情,在刑法對待人工智能的法律地位上,與公司的法律地位無異。〔7 〕此外,F(xiàn). Patrick Hubbard建議可以將自主性機(jī)器人視為兒童或動物,這樣使用者就有義務(wù)去注意機(jī)器人的行為,在機(jī)器人造成損失的時候根據(jù)比例原則等承擔(dān)過錯責(zé)任?!? 〕不過,該觀點(diǎn)實(shí)質(zhì)上是采用轉(zhuǎn)化或類推適用的方式來解決法律問題,并非直接主張賦予人工智能以法律人格。

    (六)電子代理人說

    “電子代理人”一詞最早見于美國法學(xué)會和美國統(tǒng)一州法全國委員會擬訂的《統(tǒng)一計(jì)算機(jī)信息交易法》(1999年7月美國統(tǒng)一州法全國委員會通過并向各州推薦采用)。1999年8月美國統(tǒng)一州法全國委員會通過的《統(tǒng)一電子交易法》(修訂稿)第2條也有關(guān)于電子代理人的定義,“電子代理人”系指非經(jīng)人的行為或?qū)徍?,全部或部分?dú)立地發(fā)起某種行為或應(yīng)對電子記錄或履行的計(jì)算機(jī)程序、電子手段或其他自動化手段。該法原來使用的是“電子設(shè)施”一詞,受《統(tǒng)一計(jì)算機(jī)信息交易法》的影響,也改用“電子代理人”。2003年美國《統(tǒng)一商法典(買賣篇)》沿用了此概念。此外,受美國立法的影響,加拿大的《統(tǒng)一電子商務(wù)法》(1999年通過)也使用了“電子代理人”。即使在《統(tǒng)一計(jì)算機(jī)信息交易法》和《統(tǒng)一電子交易法》中,其所稱的“人”也并不包括電子代理人。該等法案所稱的“人”指個人、公司、商業(yè)信托、信托、合伙、有限責(zé)任公司、協(xié)會、合資企業(yè)、政府部門和機(jī)構(gòu)、中介或代理、公共法人、或任何其他法律或商業(yè)實(shí)體?!? 〕

    (七)利益平衡說

    司曉、曹建峰認(rèn)為,為了更合理、有效地對智能機(jī)器人造成的損害分配法律責(zé)任,嚴(yán)格責(zé)任、差別化責(zé)任、強(qiáng)制保險(xiǎn)和賠償基金、智能機(jī)器人法律人格等都可作為潛在的法律方案;但立法者或者法院最終選擇何種方案,需要進(jìn)行全方位的論證,以便實(shí)現(xiàn)法律的利益平衡目的?!?0 〕

    (八)權(quán)利與責(zé)任一體說

    Aishwarya Limaye認(rèn)為,即使是最超前的機(jī)器人責(zé)任政策立法也沒有將自主性機(jī)器人作為責(zé)任主體,原因是因?yàn)闄C(jī)器人的法律地位并不明確,若要確定機(jī)器人的責(zé)任,首先要確定機(jī)器人的憲法基本權(quán)利,比如美國憲法第二修正案的攜帶武器的權(quán)利和憲法第一修正案的言論自由權(quán)。〔11 〕該觀點(diǎn)也可稱為法律地位說。

    (九)控制說

    吳漢東認(rèn)為,“受自然人、自然人集合體——民事主體控制的機(jī)器人,尚不足以取得獨(dú)立的主體地位?!?〔12 〕換言之,如果出現(xiàn)不受民事主體控制的機(jī)器人,是有可能取得獨(dú)立的主體地位的。

    (十)機(jī)器或工具說

    鄭戈認(rèn)為,機(jī)器人無論以何種方式承擔(dān)責(zé)任,即使提出了“電子人”的概念,最終的責(zé)任承擔(dān)者都是人。這使得它的“法律人格”顯得多余和毫無必要?!?3 〕郝鐵川認(rèn)為,人工智能無法成為法律關(guān)系的主體。人類可以制造人工智能,也可以毀滅人工智能。人工智能是孫悟空,而人類卻是如來佛和唐僧。人工智能屬于勞動工具。勞動工具為人所造、為人所用,它怎么可能取代人呢?第一,人工智能是人控制之下的、人能力的延伸物,它本身沒有內(nèi)源性的行為能力,也沒有內(nèi)源性的權(quán)利能力。第二,人工智能缺乏法治所需要的辯證邏輯思維能力。第三,人工智能沒有運(yùn)用法律原則和模糊性法律規(guī)范的能力,在解決疑難復(fù)雜和新型案件方面一籌莫展。第四,人工智能沒有判斷證據(jù)真?zhèn)蔚哪芰?。第五,人工智能不具備討價(jià)還價(jià)、靈活多變的調(diào)解能力??傊斯ぶ悄苤荒茉谀承┓矫鎺椭祟悘氖路ㄖ位顒?,而根本改變不了人在法治中的主導(dǎo)作用,因?yàn)樗皇侨?,是人造的機(jī)器。〔14 〕

    當(dāng)前關(guān)于法律人格問題的討論,總體上是以自主智能機(jī)器人為研究前提的,大體上可以分為三類觀點(diǎn),即肯定說、否定說及在一定條件下賦予智能機(jī)器人法律人格,具體的觀點(diǎn)和論證也不盡相同,甚至對該問題是否屬于真問題也有爭議,可謂“百花齊放,百家爭鳴”。賦予智能機(jī)器人法律人格的立法條件并不成熟,然而,對此問題的科學(xué)探討有助于對現(xiàn)實(shí)存在的法律問題提出解決建議。一些觀點(diǎn)根據(jù)人工智能的發(fā)展現(xiàn)狀和技術(shù)原理洞察其發(fā)展趨勢,前瞻性地提出了不同的法律解決方案,其學(xué)術(shù)價(jià)值也是值得肯定的。值得注意的是,在是否賦予法律人格和賦予何種法律人格的探討中,上述研究成果使用了“獨(dú)立自主的行為能力”“法律地位明確”“民事主體控制”“勞動工具”“權(quán)利能力和行為能力”“靈魂、肉體、感情”“利益平衡”等作為標(biāo)準(zhǔn),可見,在這個問題上觀點(diǎn)也是不盡一致的。

    三、智能機(jī)器人的法律人格問題的思考

    (一)機(jī)器學(xué)習(xí)使得探討智能機(jī)器人的法律人格問題并不為時過早

    以前盛行的人工智能探索試圖把人類思維變成符號操作法,例如變成計(jì)算機(jī)可以理解的語言或數(shù)學(xué)。而機(jī)器學(xué)習(xí)恰好相反,它是建立和改善算法的過程,算法規(guī)則可以根據(jù)數(shù)據(jù)得出結(jié)論。算法與程序截然不同,是要求一臺計(jì)算機(jī)遵守的一系列規(guī)則或指令,而程序是給計(jì)算機(jī)下達(dá)明確精準(zhǔn)、按部就班的指令?!?5 〕20世紀(jì)的相關(guān)討論尚局限于或主要基于自動化程序,機(jī)器學(xué)習(xí)使人工智能發(fā)展到不再是按照下達(dá)的指令來運(yùn)行,其運(yùn)算的過程是“黑箱”,運(yùn)算的結(jié)果(例如決策或判斷)也是開發(fā)者無法預(yù)計(jì)的。

    2017年,F(xiàn)acebook人工智能研究所對兩個聊天機(jī)器人進(jìn)行對話策略迭代升級,結(jié)果它們竟試圖創(chuàng)造出人類無法理解的語言進(jìn)行交流。2015年,波士頓塔夫茨大學(xué)人機(jī)交互實(shí)驗(yàn)室向來訪者展示了敢于違逆人類命令的機(jī)器人。一旦會拒絕人類指令的機(jī)器人出現(xiàn),就意味著機(jī)器人有了自己的推理能力。2013年,能夠感知人類情感變化或外部環(huán)境的一千臺機(jī)器人“胡椒”在一分鐘內(nèi)被一搶而光,“胡椒”的功能源于“類似內(nèi)分泌系統(tǒng)的多層神經(jīng)網(wǎng)絡(luò)”。出于保護(hù)開發(fā)者的絕對主導(dǎo)地位,很多科學(xué)家對那些反抗人類命令的智能技術(shù)研究往往是淺嘗輒止。〔16 〕然而,基于行為失范現(xiàn)象的理性觀察和深刻了解,法律人是不會對此完全信賴的。

    此外,我們不應(yīng)將立法條件和研究條件混為一談。即使立法條件不成熟,只要存在現(xiàn)實(shí)問題或預(yù)見到問題的現(xiàn)實(shí)發(fā)生可能性,就應(yīng)當(dāng)積極投入研究。誠如卡魯姆·蔡斯所言;“我們不必對這種結(jié)果完全肯定時才覺得有必要監(jiān)控發(fā)展情況、制定應(yīng)變計(jì)劃。畢竟,要看到奇點(diǎn)邊界事件并非易事?!绻覀儾荒苋〉梅e極成效,那就有可能活該成為數(shù)字超人工智能的引導(dǎo)加載程序,而不是它的線粒體?!?〔17 〕我國政府高度重視相關(guān)問題的研究,國務(wù)院《“十三五”國家科技創(chuàng)新規(guī)劃》提出:以腦認(rèn)知原理為主體,以類腦計(jì)算與腦機(jī)智能、腦重大疾病診治為兩翼,搭建關(guān)鍵技術(shù)平臺,搶占腦科學(xué)前沿研究制高點(diǎn)。

    (二)探討智能機(jī)器人的法律人格問題的理念

    如同對其他法律問題的研究,科學(xué)性、合理性、必要性及可行性是對此問題進(jìn)行探討的基本理念。筆者要強(qiáng)調(diào)的是,關(guān)于是否賦予智能機(jī)器人法律人格問題的爭議,可以認(rèn)為,主張賦予智能機(jī)器人法律人格并非基于機(jī)器人的“人權(quán)”和其他權(quán)利保護(hù)的需要,蓋因“人類中心主義”的理念使然。其原因在于面臨的諸多法律問題和即將產(chǎn)生的更多法律問題需要法律作出必要的回應(yīng),而賦予機(jī)器人法律人格將使目前面臨的著作權(quán)歸屬、無人駕駛的法律責(zé)任的部分問題迎刃而解(雖然這種看法是片面的)。

    人工智能將逐步對法律制度產(chǎn)生日益劇烈的沖擊,智能機(jī)器人的法律人格等新的法律問題將會引發(fā)激烈的爭論,爭論的本源是“人類中心主義”和“去人類中心主義”的倫理之爭,對“人類沙文主義”的質(zhì)疑將可能從環(huán)境法領(lǐng)域延續(xù)到人工智能法律領(lǐng)域。以開放、包容及創(chuàng)新的理念觀察人工智能時代帶來的倫理、社會、法律等領(lǐng)域的問題應(yīng)該會得到較多的認(rèn)同。那么,在強(qiáng)人工智能階段,甚至在弱人工智能的中后期,“去人類中心主義”將可能成為新的倫理理念。斯坦福大學(xué)教授克利福德·納斯的觀點(diǎn)值得我們重視:“生命是特別的,我們不應(yīng)該像破壞法律那樣去虐待那些機(jī)器、動物等非人類生命,非人類生命也應(yīng)該有相應(yīng)的‘人權(quán)?!?〔18 〕

    (三)賦予智能機(jī)器人法律人格的條件

    1.當(dāng)前的法律確立的法律人格條件

    關(guān)于環(huán)境法的調(diào)整對象問題,也產(chǎn)生了類似的爭議。一種觀點(diǎn)認(rèn)為,環(huán)境法律關(guān)系的主體僅限于“人”,即環(huán)境法律關(guān)系是直接建立在人與人之間或者以自然為媒介間接建立在人與人之間的環(huán)境社會關(guān)系;另一種觀點(diǎn)認(rèn)為,環(huán)境法既調(diào)整人與人之間的關(guān)系也調(diào)整人與自然的關(guān)系。環(huán)境法學(xué)界迄今未能達(dá)成一致意見。不同的理念是導(dǎo)致這一問題的根本原因,“人類中心主義”和“人類沙文主義”成為符號化的標(biāo)簽。此類標(biāo)簽也會再現(xiàn)于人與智能機(jī)器人的關(guān)系的論爭中。

    按照當(dāng)前的法律,自然人、法人及其他組織是法律主體,法人和其他組織是法律賦予的擬制人格。自主意識和獨(dú)立的意思表示是賦予法律主體的必要條件,財(cái)產(chǎn)則是主體承擔(dān)法律責(zé)任的物質(zhì)基礎(chǔ),并為賦予法律主體資格提供了可行性。然而,動物是生命的主體,有自主意識和可以進(jìn)行“意思表示”,甚至也擁有財(cái)產(chǎn),但并非法律主體,蓋因法律調(diào)整的是社會關(guān)系(即人與人之間通過意思表示所形成的社會關(guān)系)使然。

    2.智能機(jī)器人的“自主意識”

    弱人工智能是不具有自主意識的人工智能類型,推理和解決問題的能力局限于特定的任務(wù),不能自主提出問題。強(qiáng)人工智能把人工智能和意識、感性、知識和自覺等人類的特征相結(jié)合,具有提出問題和獨(dú)立推理與解決問題的能力。超人工智能只是理論上的設(shè)想,目前尚處于弱人工智能階段,甚至是弱人工智能的初步階段。

    從目前的研究來看,區(qū)別人與智能機(jī)器人的法律意義在于判斷智能機(jī)器人在多大程度上與人類具有相似性,這是賦予智能機(jī)器人的前提條件。從當(dāng)前的法律來看,自主意識是智能機(jī)器人取得法律人格的主觀條件,能夠進(jìn)行獨(dú)立的意思表示并進(jìn)而形成社會關(guān)系是客觀條件。必須認(rèn)識到,是否屬于社會關(guān)系是由人來作概念上的設(shè)定,意思表示能力對現(xiàn)在的智能機(jī)器人而言已無技術(shù)障礙。至于是否屬于獨(dú)立的意思表示,一方面受制于是否屬于社會主體(這個問題仍然取決于是否認(rèn)可智能機(jī)器人的社會主體地位,否則會陷入邏輯悖論。),另一方面也取決于智能機(jī)器人有無“自主意識”??傊?,按照當(dāng)前的法律理念,“自主意識”和“表意能力”是賦予智能機(jī)器人法律人格的必要條件,“自主意識”則是其判斷標(biāo)準(zhǔn)。

    自主意識與人類控制是緊密相關(guān)的概念,也是可接受性較強(qiáng)的觀察視角。人類對智能機(jī)器人的控制將可能出現(xiàn)三種情形:完全控制、部分控制及超出控制。即使在弱人工智能階段,由于深度學(xué)習(xí)和自主學(xué)習(xí),如前文所述,智能機(jī)器人也已經(jīng)在一定程度上出現(xiàn)超出人類控制的實(shí)例。智能機(jī)器人的“自主意識”的自主程度決定了是否賦予法律人格及賦予條件。

    然而,用“自主意識”作為判斷賦予智能機(jī)器人法律人格的標(biāo)準(zhǔn)是否科學(xué)、合理呢?因?yàn)楫?dāng)前的法律是人對自身行為的規(guī)范,是在智能機(jī)器人產(chǎn)生之前的法律。而且,目前對自主意識的內(nèi)涵和外延界定是基于當(dāng)前的人類理念和對人類的意識的觀察所形成的結(jié)果。換言之,無論智能機(jī)器人是否具有意識,反對的觀點(diǎn)通常是因?yàn)檎J(rèn)為計(jì)算機(jī)和程序無法達(dá)到意向性,它必須由人腦或者具有人腦類似的生理結(jié)構(gòu)和組織才能達(dá)到。人工智能史上有句名言:只需要再多一條規(guī)則,人工智能就能馬上實(shí)現(xiàn)。那么,能否認(rèn)為:只需要再少一條規(guī)則,人工智能就能馬上實(shí)現(xiàn)自主意識呢?

    筆者無意否定現(xiàn)在的法律理念將“自主意識”作為判斷標(biāo)準(zhǔn)的合理性,或許真正的問題在于能不能用人類的意識標(biāo)準(zhǔn)來判斷智能機(jī)器人是否具有自主意識。類似的問題也會出現(xiàn)在思維方面,也就是智能機(jī)器人(例如阿爾法元)的推理和決策是否屬于思維的問題。當(dāng)然,筆者也不完全贊同將智能機(jī)器人的學(xué)習(xí)、推理、決策等能力作為擁有自主意識的依據(jù),但同時應(yīng)該看到,正如人類的意識與能力直接相關(guān)一樣,計(jì)算能力至少提供了一種觀察智能機(jī)器人的“自主意識”的視角。

    當(dāng)前的人工智能已經(jīng)具備了通過數(shù)據(jù)、算法及計(jì)算分析問題和解決問題的能力,但尚不能自主提出問題。如果能夠自主提出問題,是否就可以認(rèn)為具有自主意識呢?答案或許并不能取得一致認(rèn)同。以圖靈測試為例,圖靈測試是對機(jī)器人沿用人類辨識同類的方法進(jìn)行測試,那么,通過測試的機(jī)器人是否就意味著具備意識和思維呢?目前來看,答案是基本否定的。2014年,俄羅斯科學(xué)家弗拉基米爾·維西羅夫開發(fā)的人工智能軟件尤金·古斯特曼通過了圖靈測試,但各種質(zhì)疑紛至沓來。是時候該回顧一下丹尼爾·丹尼特的名言了:如果行為表現(xiàn)不能用來檢驗(yàn)意識,怎么保證現(xiàn)實(shí)中的其他人不是自然演化出來的僵尸呢?雖然人工智能的一個分支是致力于通過人工神經(jīng)網(wǎng)絡(luò)來推動人工智能的發(fā)展,但人工智能的發(fā)展路徑具有多種可能性。完全用人類的自主意識作為判斷標(biāo)準(zhǔn)的科學(xué)性和合理性是值得商榷的。

    莫拉維克悖論揭示了一個和常識相反的現(xiàn)象:人類獨(dú)有的高階智慧能力只需要非常少的計(jì)算能力,例如推理。但是,無意識的技能和直覺卻需要極大的運(yùn)算能力,例如系鞋帶。然而,醫(yī)療機(jī)器人達(dá)芬奇已經(jīng)可以縫合葡萄皮了。從這個角度看,如果以自主意識作為是否賦予智能機(jī)器人法律人格的標(biāo)準(zhǔn),其結(jié)果可能是不利于否定派的觀點(diǎn)的。

    目前的智能機(jī)器人的超人類的能力尚局限于有規(guī)則的圍棋、國際象棋等游戲領(lǐng)域。然而,這已經(jīng)足以讓人們放棄人與機(jī)器人的區(qū)別在于經(jīng)驗(yàn)學(xué)習(xí)的判斷標(biāo)準(zhǔn)。通過機(jī)器學(xué)習(xí)和深度學(xué)習(xí),借助于模擬人類的神經(jīng)網(wǎng)絡(luò),機(jī)器人也可以擁有類似人類的直覺或感覺,擁有獨(dú)特的創(chuàng)意和靈感(例如作詩和寫小說)。2017年,OpenAI宣布了他們的一項(xiàng)研究成果,證明通過訓(xùn)練,智能體是可以創(chuàng)造語言并進(jìn)行交流的。同時,他們也將論文《Emergence of Grounded Compositional Language in Multi-Agent Populations》同步到arxiv上?!?9 〕

    智能機(jī)器人主要依靠數(shù)據(jù)、算法和計(jì)算能力來進(jìn)行學(xué)習(xí)、判斷和決策,雖然其思維過程并不完全相同,但智能機(jī)器人在圍棋等領(lǐng)域彰顯的超人類能力不應(yīng)被忽視。隨著環(huán)境感知能力的增強(qiáng),機(jī)器人的環(huán)境反應(yīng)能力和環(huán)境適應(yīng)能力也會相應(yīng)增強(qiáng)。這一切都在逐步消滅人與機(jī)器人的差別,正因如此,才被稱為“機(jī)器人”或“智能機(jī)器人”,才有人類的科技進(jìn)步和社會發(fā)展。個人情感和好惡判斷并不能阻止這一切的發(fā)生。

    即使如此,人與機(jī)器人仍然是有區(qū)別的,人對精神利益和物質(zhì)利益的追求也使得人與機(jī)器人有本質(zhì)的區(qū)別。而且,雖然機(jī)器人在不斷模擬人的神經(jīng)網(wǎng)絡(luò),可以自主學(xué)習(xí),甚至通過自主完善的算法來在某些領(lǐng)域顯示出超越人類的思維能力,從而具備獨(dú)特的思維能力,但人類思維(包括情感思維)的復(fù)雜性是機(jī)器人無法企及的。同時,也應(yīng)當(dāng)看到,智能機(jī)器人的程序和算法雖然是由人來設(shè)計(jì)的(至少在目前是這樣的),但其運(yùn)算和作出判斷、決策的過程是一個“黑箱”,能否因此認(rèn)為智能機(jī)器人擁有類似人的思維呢?或許這個問題的關(guān)鍵是將思維的主體限定為人類的固有理念,因此被認(rèn)為不是思維,而是設(shè)計(jì)者的思維、智慧及意志的延伸。然而,人類大腦的細(xì)胞運(yùn)行迄今對人類的科技認(rèn)識而言在一定程度上也是“黑箱”,但在此之前就認(rèn)為人類是有自主意識的。對于自主智能機(jī)器人而言,這種觀點(diǎn)將難以自圓其說,或許現(xiàn)實(shí)法律問題和科技進(jìn)步將推動形成“自主意識”的新內(nèi)涵。

    (四)智能機(jī)器人法律人格問題的法律選擇

    在早期的人工智能階段,將智能機(jī)器人或自動信息系統(tǒng)的行動歸屬于個人或法律實(shí)體,并非基于代理關(guān)系的考慮,而是基于自動信息系統(tǒng)只能在預(yù)先設(shè)定的程序的技術(shù)結(jié)構(gòu)內(nèi)工作這種典型特征。

    對于智能機(jī)器人的法律人格問題,仍需要遵循“最小化原則”和“程序化原則”,盡力將已經(jīng)存在的法律適用到人工智能時代,盡量在最小程度上對人工智能制訂新的法律,盡可能通過程序性的技術(shù)改造來適用已有的法律,以清除法律障礙或者明確關(guān)系?;诖?,“工具論”仍然是當(dāng)前解釋和適用法律的方式。例如,智慧法院的“智能法院”建設(shè)中將可能采用符合法定條件的智能化自動立案、自動保全及自動劃扣等執(zhí)行措施,智慧法官雖然可以代替法官的職業(yè)活動,但這些訴訟“行動”仍然是代表法院作出的,相關(guān)司法文書的制作和發(fā)出主體仍然是法院。智慧律師等職業(yè)替代所產(chǎn)生的問題也可以同樣解決。

    在自主智能機(jī)器人不再完全是人類控制的工具的情形下,例如微軟“小冰”創(chuàng)作詩歌作品時,可考慮在著作權(quán)等權(quán)益方面賦予智能機(jī)器人特定的權(quán)益主體地位,其實(shí)質(zhì)是將該等權(quán)益變相歸屬于公共領(lǐng)域,此可稱為“控制論”或“權(quán)益主體論”。如果強(qiáng)人工智能的奇點(diǎn)出現(xiàn)了,法律將被迫援用“擬制論”來賦予智能機(jī)器人擬制法律人格或者類法律人格?!肮ぞ哒摗薄翱刂普摗奔啊皵M制論”將漸次成為解決智能機(jī)器人法律人格和法律責(zé)任問題的可能方案。圖靈測試、中文房間等測試及以后產(chǎn)生的新的測試實(shí)驗(yàn)將引入法律領(lǐng)域來確定智能機(jī)器人是否擁有自主意識,以便確定是否賦予法律人格和賦予何種法律人格。歐盟和愛沙尼亞、韓國等正在討論賦予智能機(jī)器人的擬制法律人格的動議,無論結(jié)果如何,“擬制論”已經(jīng)提上了人類的議事日程。

    如果把問題的討論不再局限于將“自主意識”作為賦予智能機(jī)器人法律人格的條件,或可考慮將機(jī)器人的“人性化”作為是否賦予法律人格的考量標(biāo)準(zhǔn)。換言之,智能機(jī)器人的“人性化”將直接影響甚至決定其法律人格化。人性化標(biāo)準(zhǔn)的優(yōu)勢在于:可以充分體現(xiàn)人類的人性理念,展現(xiàn)對智能機(jī)器人的人文關(guān)懷,反映關(guān)于智能機(jī)器人法律人格的諸學(xué)說或理論的要求。從另一個角度看,也可以解除或一定程度上解除賦予智能機(jī)器人法律人格后智能機(jī)器人對人類的不利影響的疑慮。

    預(yù)計(jì)對法律人格制度帶來根本沖擊的將是Cyborg(Cybernetic Organism,音譯為“賽博格”)。Cyborg是能夠“自我調(diào)節(jié)的人機(jī)系統(tǒng)”,既擁有機(jī)械裝置的優(yōu)點(diǎn),也具備人類的感覺、感情以及思維。未來的生化電子人尚停留在科幻層面,但或許也并不遙遠(yuǎn)。機(jī)器人的人類化和人類的機(jī)器人化可能并非最恰當(dāng)?shù)谋硎?,但可以比較形象地說明人類和機(jī)器人趨同而行的未來發(fā)展趨勢。強(qiáng)人工智能階段,人機(jī)界限的模糊和人機(jī)共存狀態(tài)成為新的社會特征,可能出現(xiàn)具有法律人格或類法律人格的智能機(jī)器人,以人際社會關(guān)系作為調(diào)整對象的法律制度將出現(xiàn)顛覆性的變革。那時,可能不是賦予智能機(jī)器人以法律人格,而是智能機(jī)器人取得法律人格,如果“法律人格”一詞還存在的話。

    (五)賦予智能機(jī)器人法律人格的影響

    法律是人類的創(chuàng)造物,是調(diào)整人與人之間的社會關(guān)系的法律規(guī)范的總稱。如果要賦予智能機(jī)器人法律人格,必須在此前充分認(rèn)識到這一做法的影響并對此進(jìn)行充分評估。

    雖然沙特賦予以公民資格并不能成為理論上主張智能機(jī)器人應(yīng)具有法律人格的充分依據(jù),但無論沙特此舉的動機(jī)如何,都屬于其主權(quán)范圍內(nèi)的活動,并不違反國際法。然而,一旦賦予智能機(jī)器人公民身份,將會引起一系列的法律問題。法律人格問題不僅關(guān)系到權(quán)利、義務(wù)和責(zé)任的主體問題,而且,法律將調(diào)整新型社會關(guān)系,即人與智能機(jī)器人之間的社會關(guān)系及智能機(jī)器人之間的社會關(guān)系。法律如果調(diào)整人與非人之間的關(guān)系,國內(nèi)法和國際法都將會出現(xiàn)顛覆性的變革。

    在電子商務(wù)法乃至信息網(wǎng)絡(luò)法的立法和研究中,一直秉承“最小化原則”和“程序化原則”,以期盡可能不改變傳統(tǒng)的法律制度。如果賦予機(jī)器人以法律人格,就必須清醒認(rèn)識到,這將是對傳統(tǒng)的法律制度的重大改造甚至是再造。

    法律不僅是一種規(guī)范事實(shí),而且還是一種價(jià)值體系。價(jià)值從來不是一元自足的閉塞體系,而是多元競爭的開放體系;不是自洽的和諧體系,而是多元競爭的開放體系;不是一成不變的靜態(tài)體系,而是因時因地而變的動態(tài)體系?!?0 〕法律的變革是法律自身的發(fā)展規(guī)律,也是法律價(jià)值的本質(zhì)要求與具體體現(xiàn)。法律是隨著社會生活的發(fā)展而發(fā)展的,即使再造法律,也未嘗不可。然而,由于智能機(jī)器人的法律人格問題的特殊性,應(yīng)當(dāng)充分認(rèn)識到一旦賦予其法律人格而可能產(chǎn)生的法治影響及由此而引發(fā)的社會影響。

    結(jié)語

    吳漢東教授認(rèn)為:“凡是可以描述的、重要的、有固定規(guī)則和標(biāo)準(zhǔn)答案的工作崗位,都有被智能機(jī)器人取代的可能。” 〔21 〕當(dāng)前在立法上賦予智能機(jī)器人法律人格的立法條件確實(shí)并不成熟,但是,未雨綢繆,對相關(guān)的問題的理論探討是必要的。我們需要警惕人工智能產(chǎn)生的各種社會風(fēng)險(xiǎn),但更重要的是人類要完成自身的革命,個體也需要認(rèn)識到職業(yè)替代的風(fēng)險(xiǎn)和完成自我重塑。技術(shù)演進(jìn)過程中的人類與機(jī)器人之間并非魔與道的關(guān)系,也非奴役與被奴役的關(guān)系,人類的理性與智慧終將解決這一難題并在此過程中完成人類自身的革命。

    猜你喜歡
    人格主體機(jī)器人
    以鳥喻人
    論碳審計(jì)主體
    磨課活動中多元主體需求的深度挖掘
    《人格的發(fā)展——巴金傳》(評傳)
    你是回避付出型人格嗎?
    何謂“主體間性”
    租賃房地產(chǎn)的多主體貝葉斯博弈研究
    租賃房地產(chǎn)的多主體貝葉斯博弈研究
    機(jī)器人來幫你
    認(rèn)識機(jī)器人
    国产欧美亚洲国产| 在线观看免费高清a一片| 一级毛片精品| 久久久久久久精品吃奶| 欧美日韩av久久| 自线自在国产av| 日本wwww免费看| 交换朋友夫妻互换小说| 国产精品av久久久久免费| 亚洲精品美女久久久久99蜜臀| 国产一卡二卡三卡精品| 在线观看免费视频网站a站| av欧美777| 80岁老熟妇乱子伦牲交| 两性午夜刺激爽爽歪歪视频在线观看 | 在线观看日韩欧美| 一夜夜www| 色在线成人网| 国产精品1区2区在线观看. | 国产精品免费视频内射| 黄色成人免费大全| 国产亚洲精品久久久久久毛片 | 高清毛片免费观看视频网站 | 天堂√8在线中文| 99精国产麻豆久久婷婷| 亚洲av美国av| 亚洲第一青青草原| 高清视频免费观看一区二区| 国产精品九九99| 一个人免费在线观看的高清视频| 天堂动漫精品| 99热只有精品国产| 黄片小视频在线播放| 久久中文字幕人妻熟女| 久久精品人人爽人人爽视色| 91成年电影在线观看| 在线观看舔阴道视频| 久久精品国产清高在天天线| 九色亚洲精品在线播放| 怎么达到女性高潮| 亚洲情色 制服丝袜| 大香蕉久久成人网| 另类亚洲欧美激情| www日本在线高清视频| 国产成人av教育| 一区二区三区精品91| 99re6热这里在线精品视频| 中文字幕人妻丝袜一区二区| 久久天堂一区二区三区四区| 天堂√8在线中文| 90打野战视频偷拍视频| 免费观看人在逋| 日韩人妻精品一区2区三区| 大香蕉久久成人网| 国产黄色免费在线视频| 中国美女看黄片| 女警被强在线播放| 大码成人一级视频| 国产高清国产精品国产三级| 国产成人啪精品午夜网站| 免费在线观看亚洲国产| 亚洲熟妇熟女久久| 妹子高潮喷水视频| 国产精品免费大片| 亚洲一区中文字幕在线| 国产区一区二久久| 亚洲人成电影观看| 久久精品国产亚洲av高清一级| 亚洲熟妇熟女久久| 国产高清激情床上av| 亚洲美女黄片视频| 久久精品亚洲熟妇少妇任你| 两个人看的免费小视频| 久久久国产一区二区| tocl精华| 黄频高清免费视频| 久久亚洲精品不卡| 国产精品影院久久| 久久国产精品男人的天堂亚洲| 在线视频色国产色| 亚洲av成人不卡在线观看播放网| 久久国产乱子伦精品免费另类| 99国产极品粉嫩在线观看| 乱人伦中国视频| 午夜免费成人在线视频| 久久国产精品人妻蜜桃| 99香蕉大伊视频| 欧美色视频一区免费| 欧美在线一区亚洲| 欧美 日韩 精品 国产| 欧美不卡视频在线免费观看 | 国产蜜桃级精品一区二区三区 | 国产区一区二久久| 一级作爱视频免费观看| 18在线观看网站| 亚洲一区二区三区欧美精品| 无人区码免费观看不卡| 老司机午夜十八禁免费视频| 欧美一级毛片孕妇| 国产人伦9x9x在线观看| 我的亚洲天堂| 看免费av毛片| 无限看片的www在线观看| 精品少妇一区二区三区视频日本电影| 国产精品一区二区精品视频观看| 12—13女人毛片做爰片一| 国产精品影院久久| 国产xxxxx性猛交| 欧美黑人欧美精品刺激| 欧美av亚洲av综合av国产av| av电影中文网址| 高清av免费在线| 满18在线观看网站| 91麻豆精品激情在线观看国产 | 免费日韩欧美在线观看| 国产成人av激情在线播放| 99精品久久久久人妻精品| 亚洲一卡2卡3卡4卡5卡精品中文| 99热网站在线观看| 久久午夜综合久久蜜桃| 色播在线永久视频| 国产视频一区二区在线看| 精品一区二区三区视频在线观看免费 | 中国美女看黄片| 亚洲人成电影免费在线| 一级片'在线观看视频| 国产精品一区二区在线不卡| 欧美精品av麻豆av| 国产男靠女视频免费网站| 免费在线观看日本一区| xxx96com| 国产麻豆69| 精品福利永久在线观看| 午夜亚洲福利在线播放| 十八禁高潮呻吟视频| 两性午夜刺激爽爽歪歪视频在线观看 | 国产精品98久久久久久宅男小说| 777久久人妻少妇嫩草av网站| 亚洲全国av大片| 欧美老熟妇乱子伦牲交| 国产精品久久久av美女十八| 人人妻,人人澡人人爽秒播| 99国产极品粉嫩在线观看| 亚洲精品在线观看二区| 亚洲精品在线观看二区| 飞空精品影院首页| 欧美成人午夜精品| 又紧又爽又黄一区二区| 又黄又粗又硬又大视频| 9色porny在线观看| 国产成人啪精品午夜网站| 欧美一级毛片孕妇| 熟女少妇亚洲综合色aaa.| 亚洲精品久久午夜乱码| 在线观看舔阴道视频| 激情视频va一区二区三区| 搡老岳熟女国产| 99在线人妻在线中文字幕 | 成年女人毛片免费观看观看9 | 99久久国产精品久久久| 亚洲精品一二三| 另类亚洲欧美激情| 日韩三级视频一区二区三区| 亚洲性夜色夜夜综合| 国产免费现黄频在线看| 中文字幕制服av| 悠悠久久av| 午夜免费成人在线视频| 亚洲精品一二三| 日本a在线网址| 国产精华一区二区三区| 亚洲欧美激情综合另类| 91国产中文字幕| 欧美老熟妇乱子伦牲交| 久久国产精品男人的天堂亚洲| 久久精品亚洲熟妇少妇任你| 岛国在线观看网站| 国产精品一区二区免费欧美| 大码成人一级视频| 精品午夜福利视频在线观看一区| 一区二区三区精品91| av网站免费在线观看视频| 日韩欧美免费精品| 色94色欧美一区二区| 欧美激情极品国产一区二区三区| 大香蕉久久网| 亚洲av第一区精品v没综合| 国产精品偷伦视频观看了| 99久久综合精品五月天人人| 黄色a级毛片大全视频| 精品福利观看| 国产精品综合久久久久久久免费 | 久久亚洲真实| 久久久国产一区二区| 怎么达到女性高潮| 一边摸一边做爽爽视频免费| 国产蜜桃级精品一区二区三区 | 欧美大码av| 免费不卡黄色视频| 国产亚洲欧美98| 国产97色在线日韩免费| av网站在线播放免费| 男女免费视频国产| 男女之事视频高清在线观看| 国内毛片毛片毛片毛片毛片| 亚洲av日韩在线播放| 最新的欧美精品一区二区| 亚洲一卡2卡3卡4卡5卡精品中文| 两人在一起打扑克的视频| 高清av免费在线| 黄色a级毛片大全视频| 无限看片的www在线观看| 美女国产高潮福利片在线看| 两性午夜刺激爽爽歪歪视频在线观看 | 国产一区二区激情短视频| 麻豆成人av在线观看| 脱女人内裤的视频| 亚洲色图av天堂| 精品亚洲成国产av| 女人久久www免费人成看片| 操出白浆在线播放| 怎么达到女性高潮| 欧美亚洲日本最大视频资源| 亚洲少妇的诱惑av| 啦啦啦 在线观看视频| 国产精品成人在线| 成人三级做爰电影| 制服人妻中文乱码| 精品少妇久久久久久888优播| 在线观看免费高清a一片| 黄片播放在线免费| 国产免费男女视频| 午夜两性在线视频| 久热这里只有精品99| 久久精品国产亚洲av高清一级| 国产熟女午夜一区二区三区| 午夜日韩欧美国产| 日日摸夜夜添夜夜添小说| 国产亚洲一区二区精品| 十八禁高潮呻吟视频| 一进一出好大好爽视频| 午夜亚洲福利在线播放| 一区在线观看完整版| 国产片内射在线| 手机成人av网站| 亚洲国产精品sss在线观看 | 久久久久久久久免费视频了| 中文字幕精品免费在线观看视频| 咕卡用的链子| 国产精品乱码一区二三区的特点 | 午夜福利,免费看| 国产一卡二卡三卡精品| 亚洲av电影在线进入| 香蕉丝袜av| 日本一区二区免费在线视频| 欧洲精品卡2卡3卡4卡5卡区| 好看av亚洲va欧美ⅴa在| av天堂在线播放| 国产成人精品在线电影| e午夜精品久久久久久久| 热re99久久国产66热| 丝瓜视频免费看黄片| 欧美日本中文国产一区发布| 在线观看日韩欧美| 国产99久久九九免费精品| 热re99久久精品国产66热6| 免费在线观看完整版高清| 青草久久国产| 夫妻午夜视频| 免费在线观看影片大全网站| 久久狼人影院| 精品国产一区二区三区久久久樱花| 又大又爽又粗| 多毛熟女@视频| 亚洲午夜精品一区,二区,三区| 男女午夜视频在线观看| 99国产综合亚洲精品| 午夜亚洲福利在线播放| 最近最新免费中文字幕在线| 国产极品粉嫩免费观看在线| 法律面前人人平等表现在哪些方面| 久久人人爽av亚洲精品天堂| av电影中文网址| 啦啦啦在线免费观看视频4| 欧美激情久久久久久爽电影 | 男女下面插进去视频免费观看| 国产精品秋霞免费鲁丝片| 搡老乐熟女国产| 久久精品亚洲精品国产色婷小说| 老司机靠b影院| av在线播放免费不卡| 老汉色av国产亚洲站长工具| 男女之事视频高清在线观看| 国产极品粉嫩免费观看在线| 国产精品欧美亚洲77777| 亚洲中文日韩欧美视频| 又紧又爽又黄一区二区| 亚洲欧美激情在线| 另类亚洲欧美激情| 国产成人影院久久av| 欧美大码av| 12—13女人毛片做爰片一| 久久久国产精品麻豆| 色婷婷av一区二区三区视频| 看免费av毛片| 99久久人妻综合| 亚洲av日韩精品久久久久久密| 人人妻人人澡人人看| 欧美乱色亚洲激情| 老司机在亚洲福利影院| 女人高潮潮喷娇喘18禁视频| 两个人免费观看高清视频| 免费高清在线观看日韩| 国产精品秋霞免费鲁丝片| 一本综合久久免费| 亚洲国产毛片av蜜桃av| 狠狠狠狠99中文字幕| 国产欧美日韩综合在线一区二区| 欧洲精品卡2卡3卡4卡5卡区| 久久精品亚洲熟妇少妇任你| 久久亚洲精品不卡| 十八禁人妻一区二区| 欧美最黄视频在线播放免费 | 麻豆国产av国片精品| 国产欧美日韩一区二区精品| 国产精品久久电影中文字幕 | 在线观看免费视频网站a站| 黄色视频,在线免费观看| 十分钟在线观看高清视频www| 国产成+人综合+亚洲专区| 久久久久久久国产电影| 日韩熟女老妇一区二区性免费视频| 亚洲色图 男人天堂 中文字幕| 啦啦啦在线免费观看视频4| 日韩欧美国产一区二区入口| 日韩欧美免费精品| 欧美另类亚洲清纯唯美| 老司机福利观看| 91大片在线观看| 99国产精品99久久久久| 两性夫妻黄色片| 亚洲欧美色中文字幕在线| 另类亚洲欧美激情| 老司机影院毛片| 午夜精品久久久久久毛片777| 国产亚洲欧美精品永久| 看片在线看免费视频| 亚洲 国产 在线| 亚洲黑人精品在线| 99精品在免费线老司机午夜| 丁香欧美五月| 又大又爽又粗| 夜夜躁狠狠躁天天躁| 18禁观看日本| 国产欧美亚洲国产| aaaaa片日本免费| 老熟妇乱子伦视频在线观看| 99热只有精品国产| 黄色片一级片一级黄色片| 91九色精品人成在线观看| 搡老岳熟女国产| 视频在线观看一区二区三区| av天堂久久9| 国产精品乱码一区二三区的特点 | 视频区欧美日本亚洲| 18禁黄网站禁片午夜丰满| 欧美久久黑人一区二区| 中文亚洲av片在线观看爽 | 亚洲成a人片在线一区二区| 搡老熟女国产l中国老女人| 日本五十路高清| 中文字幕另类日韩欧美亚洲嫩草| 亚洲成国产人片在线观看| 欧美精品啪啪一区二区三区| av在线播放免费不卡| 最近最新免费中文字幕在线| 伦理电影免费视频| 亚洲精品成人av观看孕妇| 国产精品久久久人人做人人爽| 国产伦人伦偷精品视频| 亚洲综合色网址| 国产亚洲精品久久久久久毛片 | 黄片播放在线免费| 纯流量卡能插随身wifi吗| 丰满的人妻完整版| 俄罗斯特黄特色一大片| 国产97色在线日韩免费| 一二三四在线观看免费中文在| 女人久久www免费人成看片| 亚洲avbb在线观看| 国产99白浆流出| 国产伦人伦偷精品视频| 淫妇啪啪啪对白视频| 老熟女久久久| 久久中文字幕一级| 亚洲欧洲精品一区二区精品久久久| 久久久久久人人人人人| 99国产精品一区二区蜜桃av | 一区二区日韩欧美中文字幕| 99香蕉大伊视频| 一边摸一边抽搐一进一出视频| 久久久久精品人妻al黑| 国产精品亚洲av一区麻豆| 午夜激情av网站| 他把我摸到了高潮在线观看| 在线观看免费日韩欧美大片| 亚洲av成人一区二区三| 国产免费av片在线观看野外av| 视频区图区小说| 亚洲精品一卡2卡三卡4卡5卡| 久久久水蜜桃国产精品网| 成人国语在线视频| 精品国产亚洲在线| 狠狠狠狠99中文字幕| 国产在线精品亚洲第一网站| 国产精品综合久久久久久久免费 | 国产精品一区二区在线不卡| 每晚都被弄得嗷嗷叫到高潮| 久久久久久久精品吃奶| 久久国产亚洲av麻豆专区| 免费少妇av软件| 久久午夜亚洲精品久久| 免费在线观看视频国产中文字幕亚洲| 80岁老熟妇乱子伦牲交| 久久性视频一级片| 久久青草综合色| 国产野战对白在线观看| 高清黄色对白视频在线免费看| av网站在线播放免费| 麻豆乱淫一区二区| 久久久久久久午夜电影 | 一级作爱视频免费观看| 免费日韩欧美在线观看| 精品人妻熟女毛片av久久网站| 久久久精品国产亚洲av高清涩受| 久热爱精品视频在线9| 俄罗斯特黄特色一大片| 精品第一国产精品| 男女午夜视频在线观看| 中文欧美无线码| 亚洲专区字幕在线| 欧美黑人欧美精品刺激| 操美女的视频在线观看| 美女国产高潮福利片在线看| 亚洲精品美女久久av网站| 日韩欧美在线二视频 | 狠狠狠狠99中文字幕| 国产高清videossex| 午夜影院日韩av| 亚洲熟女精品中文字幕| 老熟妇乱子伦视频在线观看| 亚洲av日韩精品久久久久久密| 久久久久精品国产欧美久久久| 亚洲精品在线观看二区| 欧美精品人与动牲交sv欧美| 亚洲成人手机| 亚洲av美国av| av网站在线播放免费| 国产男靠女视频免费网站| 久9热在线精品视频| 又黄又爽又免费观看的视频| 90打野战视频偷拍视频| 午夜免费鲁丝| 精品亚洲成国产av| 色播在线永久视频| 亚洲国产精品一区二区三区在线| 欧美国产精品va在线观看不卡| 国产深夜福利视频在线观看| av中文乱码字幕在线| 久久国产乱子伦精品免费另类| 久久精品国产清高在天天线| 捣出白浆h1v1| 无人区码免费观看不卡| 丝袜美足系列| 两个人免费观看高清视频| 男人的好看免费观看在线视频 | 99热国产这里只有精品6| 无限看片的www在线观看| 1024香蕉在线观看| 亚洲av第一区精品v没综合| 热99re8久久精品国产| 中文字幕精品免费在线观看视频| 午夜福利乱码中文字幕| 一区二区三区精品91| 在线观看免费高清a一片| 国产又色又爽无遮挡免费看| 免费观看a级毛片全部| 色婷婷久久久亚洲欧美| 精品人妻熟女毛片av久久网站| 1024视频免费在线观看| 亚洲色图综合在线观看| 女人高潮潮喷娇喘18禁视频| 黄片大片在线免费观看| 欧美久久黑人一区二区| 精品久久久久久,| 51午夜福利影视在线观看| 丰满人妻熟妇乱又伦精品不卡| 久久人人97超碰香蕉20202| 日本a在线网址| 午夜免费鲁丝| 久久国产精品男人的天堂亚洲| 成人黄色视频免费在线看| 99久久99久久久精品蜜桃| 80岁老熟妇乱子伦牲交| 国产精品偷伦视频观看了| 日日夜夜操网爽| 丁香欧美五月| 一级,二级,三级黄色视频| 中文字幕最新亚洲高清| 欧美+亚洲+日韩+国产| 久久狼人影院| 久9热在线精品视频| 99久久99久久久精品蜜桃| 亚洲视频免费观看视频| 午夜老司机福利片| 久久久久国产精品人妻aⅴ院 | 亚洲国产欧美一区二区综合| 中文字幕av电影在线播放| 国产成人欧美| 韩国精品一区二区三区| 免费看十八禁软件| 午夜91福利影院| www.999成人在线观看| 欧美人与性动交α欧美精品济南到| 高清欧美精品videossex| 亚洲精品粉嫩美女一区| 午夜久久久在线观看| 日韩制服丝袜自拍偷拍| 后天国语完整版免费观看| 亚洲专区字幕在线| 久久中文看片网| 不卡一级毛片| 高清视频免费观看一区二区| 99热网站在线观看| 亚洲五月色婷婷综合| 国产精品二区激情视频| 精品无人区乱码1区二区| 亚洲国产精品合色在线| 精品国产一区二区三区四区第35| 亚洲人成电影免费在线| 又紧又爽又黄一区二区| 国产一区二区三区综合在线观看| 欧美成狂野欧美在线观看| 久久午夜综合久久蜜桃| 久久婷婷成人综合色麻豆| 男女免费视频国产| 亚洲在线自拍视频| 精品一品国产午夜福利视频| 桃红色精品国产亚洲av| 久久久久国产精品人妻aⅴ院 | 午夜精品在线福利| 女人爽到高潮嗷嗷叫在线视频| 国产欧美日韩精品亚洲av| 18禁裸乳无遮挡动漫免费视频| 国产人伦9x9x在线观看| 极品少妇高潮喷水抽搐| 午夜精品久久久久久毛片777| 女同久久另类99精品国产91| 亚洲中文av在线| 午夜免费鲁丝| 国产不卡av网站在线观看| 国产激情久久老熟女| 在线视频色国产色| 免费观看a级毛片全部| 婷婷成人精品国产| 青草久久国产| 激情视频va一区二区三区| 亚洲国产精品一区二区三区在线| 国产1区2区3区精品| 80岁老熟妇乱子伦牲交| 国产黄色免费在线视频| 黄色毛片三级朝国网站| 亚洲成人国产一区在线观看| 国产麻豆69| 久久国产精品影院| 香蕉丝袜av| 日日摸夜夜添夜夜添小说| 啦啦啦免费观看视频1| 亚洲欧美激情综合另类| 亚洲午夜精品一区,二区,三区| 午夜福利,免费看| 久久久国产一区二区| 亚洲全国av大片| 国产精华一区二区三区| 欧美不卡视频在线免费观看 | 日本wwww免费看| 精品国产超薄肉色丝袜足j| 大型av网站在线播放| xxx96com| 免费少妇av软件| 99热国产这里只有精品6| 欧美日韩黄片免| 最近最新免费中文字幕在线| 久久精品亚洲熟妇少妇任你| 99精国产麻豆久久婷婷| 成人影院久久| 久久国产精品男人的天堂亚洲| 精品久久蜜臀av无| 人人妻,人人澡人人爽秒播| 国产精品美女特级片免费视频播放器 | 国产欧美日韩一区二区三| www.精华液| 国产高清激情床上av| 日韩欧美在线二视频 | 三级毛片av免费| 亚洲欧美激情在线| 母亲3免费完整高清在线观看| 午夜福利在线观看吧| 亚洲欧美一区二区三区久久| 免费高清在线观看日韩| 香蕉久久夜色| 午夜亚洲福利在线播放| 亚洲一区二区三区不卡视频| 中文字幕人妻丝袜制服| 国产精品久久久久成人av|