• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能養(yǎng)老服務(wù)侵權(quán)問題探析

    2021-12-29 10:40:05蘇煒杰
    蘭州學(xué)刊 2021年4期
    關(guān)鍵詞:醫(yī)養(yǎng)機器養(yǎng)老

    蘇煒杰

    以智能家居、智能城市、智慧社區(qū)以及智能醫(yī)療為支撐的人工智能養(yǎng)老模式,在提升老人的獲得感、安全感和幸福感的同時也帶來了諸多新風(fēng)險,如服務(wù)提供者由于故意或重大過失等原因不當(dāng)操作智能養(yǎng)老機器造成老人的人身、財產(chǎn)權(quán)益遭受侵害,抑或是國務(wù)院辦公廳《關(guān)于切實解決老年人運用智能技術(shù)困難實施方案的通知》(2020)中指出的,老人由于數(shù)據(jù)鴻溝問題導(dǎo)致其在智能化時代的多種新型權(quán)利遭受到侵害??萍紕?chuàng)新催生經(jīng)濟發(fā)展新動能,伴隨著智能養(yǎng)老機器在養(yǎng)老服務(wù)活動中的廣泛應(yīng)用,我國養(yǎng)老工作領(lǐng)域逐漸邁進了人工智能時代,受其影響我國養(yǎng)老服務(wù)侵權(quán)法律制度也經(jīng)歷著深刻的變革。養(yǎng)老服務(wù)領(lǐng)域有效適用侵權(quán)責(zé)任法律制度能有效防止侵權(quán)行為的發(fā)生和確保老人權(quán)益的實現(xiàn)。但人工智能時代以5G、大數(shù)據(jù)、物聯(lián)網(wǎng)為代表的智能技術(shù)在養(yǎng)老服務(wù)領(lǐng)域的廣泛應(yīng)用,使得傳統(tǒng)侵權(quán)責(zé)任法律制度在養(yǎng)老服務(wù)領(lǐng)域的適用面臨著嚴(yán)峻的挑戰(zhàn)。

    一、文獻綜述

    域外立法機關(guān)多采取積極行動來應(yīng)對人工智能養(yǎng)老服務(wù)過程中可能存在的各種風(fēng)險,如在國際老齡聯(lián)合會(IFA)發(fā)布的《老年人信息通信技術(shù)的社會倫理和隱私需求:對話路線圖》(1)國際老齡聯(lián)合會(International Federation on Ageing),The Senior Project Social Ethical and Privacy Needs in ICT for Older People:a Dialogue Roadmap,https://ifa.ngo/wp-content/uploads/2012/12/059_Report-on-good-practices-ethical-guidance-15-Nov-09.pdf,訪問日期:2021年02月13日。、歐洲立法機構(gòu)發(fā)布的《歐洲機器人技術(shù)路線圖》(2)電氣與電子工程師協(xié)會(IEEE),The EURON Roboethics Roadmap,https://ieeexplore.ieee.org/document/4115667,訪問日期:2021年02月13日。和《歐盟機器人民事法律規(guī)則》(3)歐盟出版辦公室(Publications Office of the EU),European civil law rules in robotics,https://op.europa.eu/en/publication-detail/-/publication/19ea0f1c-9ab0-11e6-868c-01aa75ed71a1/language-en,訪問日期:2021年02月13日。等文件中,都著重強調(diào)了智能養(yǎng)老領(lǐng)域研究人員的法律責(zé)任、保障老人權(quán)利實現(xiàn)的路徑以及智能養(yǎng)老服務(wù)產(chǎn)業(yè)發(fā)展的具體指導(dǎo)意見。我國政府也相繼出臺了《智慧健康養(yǎng)老產(chǎn)業(yè)發(fā)展行動計劃(2017-2020年)》《關(guān)于推進養(yǎng)老服務(wù)發(fā)展的意見》和《關(guān)于促進“互聯(lián)網(wǎng)+醫(yī)療健康”發(fā)展的意見》等政策文件,在政府政策激勵下我國人工智能養(yǎng)老服務(wù)業(yè)也迎來了重大發(fā)展機遇。

    智能養(yǎng)老服務(wù)過程中出現(xiàn)的侵權(quán)風(fēng)險和歸責(zé)難題逐漸受到了學(xué)界的關(guān)注。一是國內(nèi)學(xué)者的研究,主要集中在智能養(yǎng)老機器法律地位以及侵權(quán)責(zé)任承擔(dān)主體等領(lǐng)域。學(xué)者們對于人工智能產(chǎn)品是否具有獨立的人格地位存在較大分歧,有學(xué)者認(rèn)為特定情況下可賦予人工智能機器法律主體地位,(4)陳吉棟:《論機器人的法律人格-基于法釋義學(xué)的討論》,《上海大學(xué)學(xué)報(社會科學(xué)版)》2018年第3期。此種觀點下智能養(yǎng)老機器可能被認(rèn)定為侵權(quán)法中的法律主體進而需要獨立承擔(dān)民事責(zé)任。這種認(rèn)識也引發(fā)了社會法學(xué)者的共鳴,如有學(xué)者認(rèn)為若不賦予家居機器人主體地位可能會導(dǎo)致在適用現(xiàn)行侵權(quán)法律制度時會面臨較大困難。(5)朱海龍、唐辰明:《智慧養(yǎng)老的社會風(fēng)險與法律制度安排》,《吉首大學(xué)學(xué)報(社會科學(xué)版》2020年第5期。但也有學(xué)者認(rèn)為智能機器不具有規(guī)范性認(rèn)知能力所以不應(yīng)賦予其法律主體地位,發(fā)生侵權(quán)行為后需由人類承擔(dān)相應(yīng)責(zé)任,(6)韓旭至:《人工智能法律主體批判》,《安徽大學(xué)學(xué)報(哲學(xué)社會科學(xué)版》2019第4期。這種觀點下智能養(yǎng)老機器侵權(quán)所產(chǎn)生的風(fēng)險最終需要由養(yǎng)老服務(wù)提供者承擔(dān)。但算法技術(shù)的發(fā)展使得智慧養(yǎng)老服務(wù)機器可通過自動決策為老人提供服務(wù),此時讓無辜的智能養(yǎng)老機器使用者單獨承擔(dān)侵權(quán)責(zé)任明顯不公平。所以有學(xué)者認(rèn)為,即使算法決策技術(shù)因具有不可解釋性特征而可以逃避法律責(zé)任,(7)張凌寒:《算法規(guī)制的迭代與革新》,《法學(xué)論壇》2019年第2期。基于公共利益考量也應(yīng)該讓智能機器的研發(fā)者、制造者、使用者共同承擔(dān)相應(yīng)責(zé)任。(8)袁曾:《無人駕駛汽車侵權(quán)責(zé)任的鏈?zhǔn)椒峙錂C制-以算法應(yīng)用為切入點》,《東方法學(xué)》2019第5期。考慮到我國已經(jīng)連續(xù)4年展開了智慧健康養(yǎng)老產(chǎn)品與服務(wù)推廣目錄申報以及智慧健康應(yīng)用試點工作,可以預(yù)見在未來的智能養(yǎng)老服務(wù)過程中,健康檢測、康復(fù)訓(xùn)練和中醫(yī)療養(yǎng)等智能養(yǎng)老服務(wù)機器會被大量應(yīng)用。所以明晰智能養(yǎng)老機器使用者、研發(fā)者以及生產(chǎn)者等相關(guān)主體的責(zé)任,對規(guī)制智能養(yǎng)老機器侵權(quán)現(xiàn)象尤為必要。二是國外學(xué)者的研究,主要集中在應(yīng)用智能養(yǎng)老機器帶來的不利影響以及侵害老人身體健康權(quán)利時所能采取的保護措施。雖然智能機器有利于提高老人的護理質(zhì)量,但其難以像人類那樣有效維護老人的尊嚴(yán),(9)Henrik Skaug Saetra.“The foundations of a policy for the use of social robots in care”,Technology in Societ,vol 63,November 2020, pp.1-9.智能護理機器代替護理人員使得老人與人類的接觸活動減少,這可能會導(dǎo)致老人正常的人際關(guān)系受到影響,所以護理人員在養(yǎng)老服務(wù)過程中仍占據(jù)著重要地位,畢竟人際關(guān)系在社會關(guān)懷中占據(jù)首要位置,自主權(quán)和維護人際關(guān)系權(quán)也是體面對待老年人的重要組成部分。(10)G. Toms,F(xiàn).Verity,A. Orrell,F(xiàn)iona Verity.“Social care technologies for older people: Evidence for instigating a broader and more inclusive dialogue”,Technology in Societ,vol 58, August 2019, pp.1-7.另外,智能養(yǎng)老機器會對老人的隱私權(quán)、自主權(quán)造成威脅,所以需形成由智能護理機器供應(yīng)商、制造商、政府等組成的協(xié)同監(jiān)管框架。(11)Valarie K. Blake.“Regulating care robots”,Temple Law Review,vol 92, No 3, Spring 2020, pp.551-594.雖然智能機器已經(jīng)逐漸融入了人類的道德決策過程中,但機器倫理不同于人類倫理且兩者并不能相互替代,所以也需對智能機器倫理進行規(guī)制以確保其符合人類期望。(12)Bart Wernaart.“Developing a roadmap for the moral programming of smart technology”,Technology in Societ,vol 64, February 2021, pp.1-12.

    相較于傳統(tǒng)侵權(quán)行為,人工智能引發(fā)的侵權(quán)行為具有復(fù)雜性和不可預(yù)見性,且養(yǎng)老服務(wù)領(lǐng)域的侵權(quán)問題也與老人慢性病治療以及康復(fù)護理等知識緊密結(jié)合,具有很強的專業(yè)性且對技術(shù)條件要求較高,這些因素導(dǎo)致智能養(yǎng)老服務(wù)領(lǐng)域的侵權(quán)問題復(fù)雜性特征顯著。但縱觀現(xiàn)階段關(guān)于該領(lǐng)域的研究,一方面,國內(nèi)多數(shù)研究仍聚焦于智能養(yǎng)老服務(wù)面臨的安全風(fēng)險、倫理風(fēng)險、法律公平性風(fēng)險等傳統(tǒng)領(lǐng)域,(13)代利鳳:《智慧養(yǎng)老綜合體服務(wù):緣起、風(fēng)險與政策應(yīng)對》,《廣西社會科學(xué)》2019第10期。對于智能養(yǎng)老機器侵權(quán)的損害事實認(rèn)定、歸責(zé)原則確定、責(zé)任承擔(dān)方式以及損害賠償?shù)染唧w規(guī)則的探討則較為匱乏;另一方面,相比于人工智能在自動駕駛汽車、著作權(quán)保護等領(lǐng)域侵權(quán)問題的研究,人工智能養(yǎng)老服務(wù)侵權(quán)領(lǐng)域的研究明顯不足。(14)筆者分別以“人工智能;養(yǎng)老”、“人工智能;自動駕駛”、“人工智能;著作權(quán)”為關(guān)鍵詞在知網(wǎng)系統(tǒng)中進行檢索,檢索出法學(xué)類核心期刊的數(shù)量分別是20篇、92篇、171篇?;诖?,筆者嘗試在厘清智能養(yǎng)老機器法律地位的基礎(chǔ)上,對智能養(yǎng)老機器在不同養(yǎng)老服務(wù)模式中應(yīng)如何適用侵權(quán)制度進行剖析,以期為解決人工智能養(yǎng)老服務(wù)侵權(quán)困局提供可行的建議。

    二、人工智能養(yǎng)老服務(wù)應(yīng)用現(xiàn)狀以及相關(guān)侵權(quán)案例

    伴隨著人工智能技術(shù)在養(yǎng)老服務(wù)領(lǐng)域的應(yīng)用,我國養(yǎng)老服務(wù)智能化水平進展順利。我國現(xiàn)階段形成了四種典型的人工智能養(yǎng)老服務(wù)模式,(15)張雷、韓永樂:《當(dāng)前我國智慧養(yǎng)老的主要模式、存在問題與對策》,《社會保障研究》2017第2期。即智能居家養(yǎng)老服務(wù)模式、智能機構(gòu)養(yǎng)老服務(wù)模式、智能醫(yī)療與養(yǎng)老服務(wù)模式(醫(yī)養(yǎng)結(jié)合模式)、智能城市養(yǎng)老服務(wù)模式,且前三種模式在實務(wù)活動中的效果更為顯著。

    (一)人工智能養(yǎng)老服務(wù)應(yīng)用現(xiàn)狀

    1.智能居家養(yǎng)老服務(wù)模式

    人工智能技術(shù)提升了居家養(yǎng)老服務(wù)工作效率且利于老人差異化養(yǎng)老需求的實現(xiàn)。美國的Senior home care(老年家庭護理)、Assisted-Living(輔助生活)服務(wù)遵循以人為本理念,在熟悉的家庭環(huán)境為老人提供照護服務(wù)的同時也提升了老人的社交活動能力(16)美國新聞與世界報道(U.S. News & World Report,)Assisted Living Versus Senior Home Caret,https://health.usnews.com/best-assisted-living/articles/assisted-living-versus-senior-home-care,訪問日期:2020年12月13日。。美國考克斯通信公司(Cox Communications)發(fā)起的智能家居(家庭自動化)項目也廣受歡迎,其通過Wi-Fi控制養(yǎng)老、醫(yī)療設(shè)備的形式確保老人在家里就能獲得高質(zhì)量的養(yǎng)老和醫(yī)療服務(wù)。(17)Businesspress:Smart home shows how residents can age in place,https://businesspress.vegas/real-estate/smart-home-shows-how-residents-can-age-in-place-photos/,訪問日期:2020年12月13日??紤]到美國老人習(xí)慣在家就地養(yǎng)老(Aging In Place),美國住房和城市發(fā)展部(HUD)自2015年啟動了無障礙住房技術(shù)研究與示范補助計劃,(18)美國住房和城市發(fā)展部(U.S. Department of Housing and Urban Development),U.S. and Japan Case Studies: Aging In Place 2020,https://www.huduser.gov/portal/sites/default/files/pdf/USJapanStudies.pdf,訪問日期:2020年12月13日。注重利用技術(shù)手段改進房屋條件來滿足行動不便人員的居家養(yǎng)老需求。我國江蘇等地形成的“平臺+服務(wù)+老人+終端”智能居家養(yǎng)老服務(wù)模式,能夠為老人提供信息化、人性化、精準(zhǔn)化的智能養(yǎng)老服務(wù)。我國智能居家養(yǎng)老服務(wù)體系是圍繞著社會親老化、適老化需求所進行的社會變革,逐漸形成了一項由技術(shù)、理念、法治等為基礎(chǔ)的系統(tǒng)性工程。(19)賈玉嬌、王叢:《結(jié)構(gòu)二重性視角下智慧居家養(yǎng)老服務(wù)體系釋析——從“人技隔閡”到“人技融合”》,《社會科學(xué)戰(zhàn)線》2020第12期。

    2.智能機構(gòu)養(yǎng)老服務(wù)模式

    人工智能技術(shù)和機構(gòu)養(yǎng)老的結(jié)合能夠?qū)⒎稚⒌酿B(yǎng)老服務(wù)資源進行集中然后進行精準(zhǔn)供給。人工智能技術(shù)有效解決了養(yǎng)老機構(gòu)存在的服務(wù)人員缺少、運營成本高的困境,智能設(shè)備還可以將機構(gòu)養(yǎng)老與居家養(yǎng)老進行有序?qū)?,以養(yǎng)老院為中心將優(yōu)質(zhì)養(yǎng)老資源適當(dāng)延伸到居家養(yǎng)老服務(wù)過程中,實現(xiàn)拓寬養(yǎng)老院經(jīng)營范圍和提高其市場競爭力的目標(biāo)。如新疆生產(chǎn)建設(shè)兵團第六師五家渠市吾家樂寶養(yǎng)老總院就將養(yǎng)老資源進行了整合,以養(yǎng)老總院為平臺逐漸將養(yǎng)老資源向社區(qū)和居家養(yǎng)老服務(wù)延伸,構(gòu)建了“機構(gòu)定標(biāo)準(zhǔn),優(yōu)質(zhì)服務(wù)進家庭、進社區(qū)”的專業(yè)化服務(wù)機制。(20)武曉媛、李夢飛:《六師五家渠市吾家樂寶養(yǎng)老總院入選全國公辦養(yǎng)老機構(gòu)改革優(yōu)秀案例》,中國網(wǎng):http://union.china.com.cn/jdnews/txt/2020-12/30/content_41412586.html,訪問日期:2020年12月13日。國務(wù)院辦公廳《關(guān)于推進養(yǎng)老服務(wù)發(fā)展的意見》中提出了建設(shè)“智慧養(yǎng)老院”和促進“互聯(lián)網(wǎng)+養(yǎng)老院”模式發(fā)展,各地也通過養(yǎng)老機構(gòu)的虛擬化、網(wǎng)絡(luò)適老化改造工程打造了一批真正意義上沒有圍墻的養(yǎng)老院。

    3.智能醫(yī)養(yǎng)結(jié)合服務(wù)模式

    隨著人口老齡化發(fā)展趨勢加快以及慢性病患者增加,醫(yī)療護理業(yè)務(wù)在智能養(yǎng)老服務(wù)中的重要性顯著提升。國外普遍重視將智能養(yǎng)老服務(wù)與醫(yī)療服務(wù)進行有效結(jié)合,如美國研究機構(gòu)research and markets發(fā)布的《全球醫(yī)療保健人工智能報告2020-2027》顯示,隨著老齡人口數(shù)量以及患慢性病、傳染病人數(shù)的攀升,到2027年全球智能醫(yī)療保健市場會達到 353.235 億美元,將逐漸從量型醫(yī)療保健過渡到基于價值的醫(yī)療保健。(21)市場和研究(Research and markets),Artificial intelligence in Healthcare Global Market Forecast To 2027,https://menafn.com/1101293130/Global-Artificial-Intelligence-in-Healthcare-Market-Forecast-to-2027,訪問日期:2020年12月13日。智能醫(yī)養(yǎng)結(jié)合服務(wù)本質(zhì)上以智能養(yǎng)老服務(wù)平臺為核心、以醫(yī)療服務(wù)為重點,為老人提供醫(yī)療康復(fù)、生活照顧等全方位、一體化服務(wù)。我國多地積極開展醫(yī)養(yǎng)結(jié)合服務(wù),如湖北省宜昌市社會福利院突出慢病康復(fù)、長期照護特色,通過醫(yī)保全覆蓋來為患病、臨終老人提供“醫(yī)、養(yǎng)、康、護、慰”一體化醫(yī)養(yǎng)結(jié)合服務(wù);廣州市老人院則建立了醫(yī)養(yǎng)康養(yǎng)相結(jié)合、居家社區(qū)機構(gòu)相協(xié)調(diào)的全生命周期老年健康服務(wù)體系和養(yǎng)老服務(wù)體系,(22)民政部:《民政部辦公廳國家發(fā)展改革委辦公廳關(guān)于公辦養(yǎng)老機構(gòu)改革優(yōu)秀案例的通報》,中國政府網(wǎng):http://www.gov.cn/xinwen/2020-10/04/content_5549278.htm,訪問日期:2020年12月13日。這些醫(yī)養(yǎng)結(jié)合服務(wù)實踐過程中也普遍重視利用智能技術(shù)促進服務(wù)質(zhì)量的提升。

    (二)人工智能養(yǎng)老服務(wù)領(lǐng)域的侵權(quán)案例

    人工智能養(yǎng)老服務(wù)過程中由于不當(dāng)使用智能機器而導(dǎo)致老人權(quán)利受侵害的現(xiàn)象廣泛存在,主要包括:其一,老人的隱私和個人信息遭到不當(dāng)泄露。在對老人進行全方位照護服務(wù)過程中所收集的隱私信息可能會因為技術(shù)漏洞而遭到泄露,如Cybernews 團隊研究發(fā)現(xiàn)國內(nèi)部分智慧養(yǎng)老服務(wù)平臺中包含大量老人健康隱私信息的數(shù)據(jù)庫能被外部訪問。(23)萬佳:《國內(nèi)兩公司近500萬敏感信息泄露含幾十萬老人及其家屬數(shù)據(jù)》,搜狐網(wǎng):https://www.sohu.com/a/406853391_683048,訪問日期:2020年12月13日。而在疫情防護過程中,養(yǎng)老服務(wù)機構(gòu)出于安全因素考慮往往會在服務(wù)場所安裝智能監(jiān)控或采取健康二維碼等無接觸防控措施,這些服務(wù)過程中可能存在侵犯老人隱私權(quán)和知情權(quán)的現(xiàn)象。其二,老人身體健康權(quán)受侵害且面臨嚴(yán)重的安全問題?,F(xiàn)階段醫(yī)養(yǎng)結(jié)合服務(wù)中普遍重視老人的醫(yī)療與康復(fù)護理,隨著智能醫(yī)療手段在臨床治療中的廣泛應(yīng)用,多數(shù)智慧醫(yī)療、健康護理項目中出現(xiàn)了由于不當(dāng)利用醫(yī)療人工智能技術(shù)而導(dǎo)致老人身體健康權(quán)受侵害的現(xiàn)象。智能養(yǎng)老機器工作一旦出現(xiàn)錯誤會嚴(yán)重侵害老人身體健康甚至生命,如美國老人盧安-達根由于智能呼叫機器Alexa未能及時幫助她報警而失去了生命。(24)??怂剐侣?Fox news),Nursing home patient asked Alexa for ‘help’ before dying from COVID-19: Report,https://fox17.com/news/coronavirus/nursing-home-patient-asked-alexa-for-help-before-dying-from-covid-19,訪問日期:2020年12月13日。其三,老人在數(shù)字時代產(chǎn)生的新型權(quán)利受到了侵害。部分老人群體受到學(xué)習(xí)能力、經(jīng)濟條件以及社會結(jié)構(gòu)變革等因素影響,對智能養(yǎng)老設(shè)施的理解、接受與運用能力均處于劣勢,智能養(yǎng)老服務(wù)的快速開展導(dǎo)致這些老人難以共享發(fā)展成果,這在事實上使得他們也成為了數(shù)字弱勢群體,他們的基本生存能力與權(quán)益保障均受到了侵害。如現(xiàn)代社會中出現(xiàn)的“94歲老人被抱起做人臉識別”“老人無健康碼遭地鐵拒載”等現(xiàn)象,(25)孫小婷:《94歲老人被抱起做人臉識別別讓便利折騰人》,新浪網(wǎng):http://k.sina.com.cn/article_1402977920_v539fbe8001900zrye.html,訪問日期:2020年12月13日。其實是智能養(yǎng)老服務(wù)時代老人數(shù)字新型權(quán)利受侵害的例證。伴隨著數(shù)據(jù)挖掘、智能化決策技術(shù)的使用,老人的免受算法自動化決策權(quán)、個人信息被遺忘權(quán)等新型權(quán)利逐漸興起,而智能養(yǎng)老服務(wù)平臺在數(shù)據(jù)處理過程中對老人信息的過度支配和控制,容易引發(fā)侵害老人上述新型權(quán)利行為的發(fā)生。

    另外,筆者以“人工智能”“養(yǎng)老”“侵權(quán)”“老人”為關(guān)鍵詞,以近五年(2016-2020)為區(qū)間,在中國裁判文書網(wǎng)共檢索到56件判決書,且大體呈現(xiàn)出連年增加的趨勢(分別為5件、12件、14件、17件、8件)。這些侵權(quán)案件類型豐富,包括人工智能技術(shù)應(yīng)用于養(yǎng)老服務(wù)活動中出現(xiàn)的機構(gòu)侵權(quán)、服務(wù)人員侵權(quán)、服務(wù)設(shè)施與產(chǎn)品侵權(quán)等??紤]到人工智能技術(shù)的快速發(fā)展以及侵權(quán)案件具有的隱蔽性、復(fù)雜性特征,社會中實際侵犯老人權(quán)利的案件數(shù)量估計會更多。由此可知,智能養(yǎng)老服務(wù)領(lǐng)域的侵權(quán)現(xiàn)象逐漸成為了涉人工智能領(lǐng)域的熱點。正如國務(wù)院辦公廳《關(guān)于建立健全養(yǎng)老服務(wù)綜合監(jiān)管制度促進養(yǎng)老服務(wù)高質(zhì)量發(fā)展的意見》(國辦發(fā)〔2020〕48號)文件中指出,需立足長期安全運營和落實安全責(zé)任,主動防范和消除食品、醫(yī)療衛(wèi)生等方面的隱患,加強對居家養(yǎng)老服務(wù)內(nèi)設(shè)醫(yī)療機構(gòu)執(zhí)業(yè)、醫(yī)療器械與藥品的監(jiān)督管理。有效落實這些規(guī)定對于解決智能養(yǎng)老時代侵害老人權(quán)利的現(xiàn)象十分重要。

    三、人工智能養(yǎng)老服務(wù)侵權(quán)的特點

    (一)侵權(quán)行為類型復(fù)雜

    我國正處于構(gòu)建居家社區(qū)機構(gòu)相協(xié)調(diào)、醫(yī)養(yǎng)康養(yǎng)相結(jié)合養(yǎng)老服務(wù)體系的關(guān)鍵時期,居家養(yǎng)老、機構(gòu)養(yǎng)老、醫(yī)養(yǎng)結(jié)合等模式中均注重引入人工智能技術(shù),但不同模式中智能機器侵犯老人權(quán)利的行為類型、責(zé)任承擔(dān)方式卻有較大差別。首先是智能機構(gòu)養(yǎng)老服務(wù),該模式中不當(dāng)利用智能機器引發(fā)的侵權(quán)行為,主要包括養(yǎng)老機構(gòu)未盡到安全保護義務(wù)、養(yǎng)老機構(gòu)工作人員存在職務(wù)不當(dāng)行為、智能養(yǎng)老機器本身存在缺陷等,需要適用侵權(quán)責(zé)任法律中的安全保障注意義務(wù)條款、用人單位替代責(zé)任條款進行規(guī)制。其次是智能居家養(yǎng)老服務(wù)中,該模式具有服務(wù)供給主體多元化、服務(wù)內(nèi)容多樣化特征,這導(dǎo)致發(fā)生侵權(quán)行為后難以查明具體的責(zé)任承擔(dān)主體,且不同主體間可能構(gòu)成共同侵權(quán)、無意思聯(lián)絡(luò)分別侵權(quán)等多種侵權(quán)類型。最后是智能醫(yī)養(yǎng)結(jié)合服務(wù),在醫(yī)療、助餐、精神慰藉等服務(wù)過程中發(fā)生的侵權(quán)行為,若是由于養(yǎng)老組織提供的服務(wù)造成侵權(quán)需適用過錯責(zé)任;而若由于醫(yī)療組織提供的服務(wù)造成侵權(quán),則需要適用過錯推定責(zé)任、無過錯責(zé)任等歸責(zé)原則。

    (二)侵權(quán)事實認(rèn)定困難

    人工智能養(yǎng)老服務(wù)侵權(quán)行為的事實認(rèn)定往往較為困難。人工智能養(yǎng)老機器具有較強的自主性,如我國智能養(yǎng)老機器設(shè)備在搭載AI模塊后可通過決策系統(tǒng)和深度學(xué)習(xí)技術(shù)實現(xiàn)各種復(fù)雜的智能化操作,以及提供更好的環(huán)境感知能力和人機互動體驗,(26)段明杰:《一文看懂養(yǎng)老機器人的前世、今生與未來》,價值中國網(wǎng):http://www.chinavalue.net/Biz/Blog/2019-11-15/1840752.aspx,訪問日期:2020年12月13日。這使得人類并不能完全控制人工智能養(yǎng)老機器的具體運行過程。智能機器可能會打破人類預(yù)先設(shè)定的服務(wù)規(guī)則進而進行自主決策,這種由于智能機器程序的自由運行導(dǎo)致的事故其原因一般較為復(fù)雜,而人工智能機器研發(fā)設(shè)計中的漏洞和運行程序的不合理也加劇了侵權(quán)事故認(rèn)定上的難度。另外,智能養(yǎng)老機器侵權(quán)呈現(xiàn)出極強的隱蔽性和不可預(yù)見性特征,應(yīng)用于養(yǎng)老服務(wù)領(lǐng)域的人工智能機器可通過算法技術(shù)進行獨立判斷,人類因此難以探究智能養(yǎng)老機器是否具有主觀過錯,這導(dǎo)致在高度自主化環(huán)境下探究客觀事實以便于解決舉證難的問題愈發(fā)困難。(27)李坤海、徐來:《人工智能對侵權(quán)責(zé)任構(gòu)成要件的挑戰(zhàn)及應(yīng)對》,《重慶社會科學(xué)》2019第2期。這些因素共同導(dǎo)致了老人受到智能機器侵害后對具體事實的調(diào)查存在巨大困難。

    (三)老人救濟能力較弱

    老人在智能養(yǎng)老服務(wù)中受到侵害后往往難以獲得有效救濟。首先是老人對智能產(chǎn)品侵權(quán)的認(rèn)知水平有限。根據(jù)第《46次中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告》顯示,我國60歲以上網(wǎng)民占比約為10.3%且多數(shù)老人使用的仍是功能單一的智能設(shè)備,(28)中國互聯(lián)網(wǎng)信息中心:《第46次中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告》,中國網(wǎng)信網(wǎng):http://www.cac.gov.cn/2020-09/29/c_1602939918747816.htm,訪問日期:2020年12月13日。老人多習(xí)慣于傳統(tǒng)的人工服務(wù)而對智能化服務(wù)、智能養(yǎng)老技術(shù)均缺乏足夠了解,這導(dǎo)致老人對于智能養(yǎng)老服務(wù)中可能會出現(xiàn)的侵權(quán)行為缺乏足夠的應(yīng)對能力,在使用過程中也缺乏證據(jù)固定和證據(jù)保全意識。其次是受侵害老人不具有識別人工智能侵權(quán)的專業(yè)知識。人工智能養(yǎng)老機器中涉及到大量專業(yè)知識,智能機器研發(fā)和生產(chǎn)機構(gòu)以知識產(chǎn)權(quán)保護為由不公開相關(guān)技術(shù)規(guī)則也是符合規(guī)定的,即使受害者通過法律途徑獲得了相關(guān)信息,普通用戶、律師和裁判人員尚且難以有效辨識這些信息,對于缺乏專業(yè)知識且對新技術(shù)理解能力較低的老人來說會更困難。

    四、人工智能養(yǎng)老服務(wù)侵權(quán)法律適用困境

    (一)智能養(yǎng)老機器法律地位不明

    解決人工智能養(yǎng)老服務(wù)侵權(quán)問題的首要步驟是明晰誰是責(zé)任承擔(dān)主體。首先,從人工智能養(yǎng)老服務(wù)實務(wù)視角看。技術(shù)的發(fā)展趨勢似乎傾向于賦予部分智能養(yǎng)老服務(wù)機器人適當(dāng)?shù)姆扇烁?,如在第四屆國際養(yǎng)老健康產(chǎn)業(yè)博覽會上所展示的智慧機器人temi,對于老人和護理人員來說更像是一款有溫度、可觸摸的人工智能產(chǎn)品。(29)鳳凰網(wǎng):《廣州老博會舉辦 temi機器人接地氣聚焦智慧養(yǎng)老》,https://tech.ifeng.com/c/7zMTLcQMtJe,訪問日期:2020年12月13日。所以針對介于人類與工具之間的新型實體,有學(xué)者提出有必要賦予智能機器人獨立的法律主體資格。(30)成素梅、高詩宇:《智能機器人應(yīng)有法律主體資格嗎?》,《西安交通法學(xué)學(xué)報(社會科學(xué)版)》2020年第1期。其次,從學(xué)術(shù)研究視角看。學(xué)者們對于是否賦予人工智能機器法律人格的爭論可歸納為主體說(包括代理人格說、人格減等說)、擬制說、客體說(包括類人說、工具說)。但這些學(xué)說存在的問題是:一、主體說認(rèn)為可以賦予智能養(yǎng)老機器法律主體資格,但是這種從權(quán)利角度出發(fā)認(rèn)為人工智能具有權(quán)利能力進而需要賦予其主體資格的做法,忽略了權(quán)利僅是權(quán)利能力的部分構(gòu)成要素,還包括承擔(dān)義務(wù)和負(fù)擔(dān)責(zé)任等內(nèi)容。(31)郭劍平:《制度變遷史視域下人工智能法律主體地位的法理詮釋》,《北方法學(xué)》2020年第6期。二、人格減等說源于羅馬法且主要指羅馬公民自由、市民資格、家族權(quán)的喪失或變更,而這種針對自然人法律人格地位變化的說法難以直接用來解釋于人與人工智能機器之間的關(guān)系。(32)楊清望、張磊:《論人工智能的擬制法律人格》,《湖南科技大學(xué)學(xué)報(社會科學(xué)版)》2018年第6期。三、擬制說認(rèn)為法律人格是立法者簡化法律部關(guān)系的一種手段,但是否具有法律人格需關(guān)注其能否獨立做出意思表示、獨立主張法律權(quán)利與承擔(dān)法律責(zé)任,(33)朱藝浩:《人工智能法律人格論批判及理性應(yīng)對》,《法學(xué)雜志》2020年第3期。顯然人工智能不具有這兩方面的能力??梢姡F(xiàn)階段對是否賦予智能養(yǎng)老機器獨立法律地位仍存在爭議。

    (二)侵權(quán)法律關(guān)系主體難以認(rèn)定

    傳統(tǒng)養(yǎng)老服務(wù)過程中的侵權(quán)法律關(guān)系較為簡單,如養(yǎng)老機構(gòu)與入住老人之間、居家養(yǎng)老服務(wù)提供商與接受服務(wù)老人之間一般都訂立了服務(wù)合同,在提供養(yǎng)老服務(wù)過程中存在侵權(quán)行為時,老人及其監(jiān)護人可依據(jù)合同之債確定具體的責(zé)任承擔(dān)主體。

    但智能養(yǎng)老服務(wù)侵權(quán)主體卻呈現(xiàn)出復(fù)雜性,原因是人工智能養(yǎng)老服務(wù)網(wǎng)絡(luò)需要個人、家庭、社會組織、醫(yī)療機構(gòu)、養(yǎng)老服務(wù)提供者和政府等多元主體共同參與,這導(dǎo)致人工智能養(yǎng)老服務(wù)過程中發(fā)生的侵權(quán)行為屬于典型的多數(shù)人侵權(quán)。僅憑智能養(yǎng)老設(shè)施或產(chǎn)品本身或許并不會對老人構(gòu)成侵權(quán),還需要智能養(yǎng)老服務(wù)信息平臺、養(yǎng)老服務(wù)提供商及其服務(wù)人員等提供的后續(xù)服務(wù)才有可能產(chǎn)生損害事實,這使得具體侵權(quán)行為的產(chǎn)生原因極為復(fù)雜。另外,智能養(yǎng)老服務(wù)信息平臺的開發(fā)者,智能養(yǎng)老產(chǎn)品的研發(fā)者、生產(chǎn)者、銷售者、使用者,甚至其他第三方民事主體均有可能成為侵權(quán)行為主體。我國《民法典》第1169條至第1172條對多數(shù)人侵權(quán)制度做出了具體規(guī)定,多數(shù)人侵權(quán)類型較為復(fù)雜且在責(zé)任構(gòu)成上包括共同加害、無意思聯(lián)絡(luò)多數(shù)人侵權(quán)、共同危險,在責(zé)任效果上包括連帶責(zé)任、不真正連帶責(zé)任、按份責(zé)任等。(34)張平華:《〈民法典〉多數(shù)人侵權(quán)體系及相關(guān)法律適用問題》,《東南學(xué)術(shù)》2020年第5期??梢?,智能養(yǎng)老服務(wù)過程中引發(fā)的侵權(quán)行為在具體侵權(quán)主體認(rèn)定以及法律適用上均面臨較為復(fù)雜的情況。

    (三)侵害客體多樣增加了保護難度

    人工智能養(yǎng)老服務(wù)模式注重對老人日常生活、醫(yī)療保障、人格尊嚴(yán)與自我實現(xiàn)等多元化需求的滿足,在此過程中可能侵害老人的隱私權(quán)、個人信息利益以及其他新型權(quán)利。人工智能技術(shù)服務(wù)于老人過程中,一方面需廣泛收集諸如身體健康狀況、實時定位數(shù)據(jù)等諸多隱私信息,這些兼具人格屬性與財產(chǎn)屬性的信息被不當(dāng)利用后,可能會導(dǎo)致老人財產(chǎn)權(quán)、隱私權(quán)、生命健康權(quán)等多項權(quán)利受到侵害。另一方面,老人科技知識水平與經(jīng)濟條件的提升促進了老人群體權(quán)利意識的勃興,(35)粟丹:《我國智慧養(yǎng)老模式的法律特征及其制度需求-以智慧養(yǎng)老政策為中心》,《江漢學(xué)術(shù)》2018年第6期。人工智能時代逐漸衍生出老人自決權(quán)、免受算法自動化決策權(quán)和個人信息被遺忘權(quán)等新型權(quán)利。自決權(quán)指的是老人在智能養(yǎng)老過程中可自主決定接受由誰以何種方式提供的服務(wù),如國外的“以人為本護理計劃”(Person-directed care planning),其目的就在于確保養(yǎng)老服務(wù)提供者尊重老人自主決定權(quán),由老人根據(jù)自身需求與偏好來選擇服務(wù),而非在他們沒參與的情況下為其制定護理方案。(36)Michael Lepore etal.“Person-directed care planning in nursing homes: A scoping review”,International journal of older people nursing,Vol 13, Issue 4 , December 2018, pp. 1-12.被遺忘權(quán)指的是老人可要求智能養(yǎng)老服務(wù)提供主體對與自身相關(guān)的信息履行刪除和保密義務(wù),由于智慧養(yǎng)老服務(wù)企業(yè)可通過大數(shù)據(jù)技術(shù)掌握老人的需求定位與消費偏好,若其存在《關(guān)于平臺經(jīng)濟領(lǐng)域的反壟斷指南(征求意見稿)》文件中所禁止的大數(shù)據(jù)殺熟行為,風(fēng)險意識較差的老人其權(quán)益很容易遭受侵害。而賦予老人數(shù)據(jù)信息被遺忘權(quán)則有助于及時消除與老人密切關(guān)聯(lián)的信息,進而從源頭上遏制侵害權(quán)益行為的發(fā)生。這些新型權(quán)利的形成對老人權(quán)利受到侵害時如何有效利用現(xiàn)行法律進行救濟提出了新的要求。

    (四)侵權(quán)責(zé)任歸責(zé)原則適用困難

    首先,過錯責(zé)任難以直接適用。智能養(yǎng)老服務(wù)機器在現(xiàn)行立法中的法律地位尚不明晰,在未將其納入侵權(quán)責(zé)任主體范疇的狀況下,若直接適用過錯責(zé)任原則會與該原則需以行為人主觀上具有過錯這一要件發(fā)生沖突。(37)劉小璇、張虎:《論人工智能的侵權(quán)責(zé)任》,《南京社會科學(xué)》2018年第9期。其次,無過錯責(zé)任亦難以直接適用。無過錯責(zé)任原則是特殊的歸責(zé)原則且嚴(yán)格限制在法律特別規(guī)定的情形中,在我國侵權(quán)責(zé)任立法中未明確智能養(yǎng)老產(chǎn)品侵權(quán)可適用該規(guī)則,且立法機關(guān)也未出臺其他特殊規(guī)定的情況下,是難以在智能養(yǎng)老服務(wù)侵權(quán)領(lǐng)域直接適用該歸責(zé)原則的。再次,產(chǎn)品責(zé)任也存在適用困境。人工智能養(yǎng)老服務(wù)中難以直接適用該規(guī)則,原因在于適用產(chǎn)品責(zé)任需要證明產(chǎn)品存在缺陷且與損害事實之間具有因果關(guān)系,而我國現(xiàn)階段缺乏關(guān)于智能養(yǎng)老產(chǎn)品國家、行業(yè)層面統(tǒng)一的認(rèn)定標(biāo)準(zhǔn)或體系,而且社會中也缺乏專門的智能養(yǎng)老機器司法鑒定機關(guān)對此進行認(rèn)定。從次,替代責(zé)任也難以直接適用。替代責(zé)任適用于雇主對雇員、父母對未成年子女的責(zé)任承擔(dān),適用的前提是雙方之間存在雇傭關(guān)系、監(jiān)護與被監(jiān)護關(guān)系,但現(xiàn)階段卻難以認(rèn)定智能養(yǎng)老機器與養(yǎng)老服務(wù)企業(yè)之間存在雇傭關(guān)系。雇主替代責(zé)任也僅以雇員從事雇傭活動造成的損害危險為限,不對雇員職務(wù)行為以外的損害擔(dān)責(zé),而智能養(yǎng)老機器具有的自主決策能力導(dǎo)致難以認(rèn)定哪些行為屬于其正確履行職務(wù)的行為。最后,醫(yī)療損害責(zé)任的適用困境。養(yǎng)老服務(wù)機構(gòu)內(nèi)設(shè)的醫(yī)療服務(wù)組織能否認(rèn)定為侵權(quán)法上的醫(yī)療機構(gòu),進而承擔(dān)醫(yī)療損害責(zé)任尚無政策文件予以明確,且現(xiàn)行立法中關(guān)于醫(yī)療機構(gòu)、養(yǎng)老機構(gòu)侵權(quán)分別采取不同的歸責(zé)原則也導(dǎo)致該問題更加棘手。能否將智能醫(yī)養(yǎng)結(jié)合服務(wù)中的智能機器等同于醫(yī)務(wù)工作人員,進而適用醫(yī)療損害責(zé)任追究其法律責(zé)任也存在爭議。

    五、人工智能養(yǎng)老服務(wù)侵權(quán)的法律對策

    (一)明確人工智能養(yǎng)老服務(wù)機器的法律客體地位

    人工智能養(yǎng)老服務(wù)機器不應(yīng)具有法律主體地位。人工智能技術(shù)需遵循由弱到強的漸進性、階段性特征,現(xiàn)階段養(yǎng)老人工智能仍處于資源整合、輔助養(yǎng)老服務(wù)實現(xiàn)的發(fā)展階段,相關(guān)的法律與政策供給也應(yīng)該符合這一現(xiàn)實情況。

    智能養(yǎng)老服務(wù)機器雖然具有一定的深度學(xué)習(xí)與獨立思考能力,但并不具有人類獨有的自我表示與情感表達能力,仍需要在人類控制下運作和提供服務(wù),這決定了現(xiàn)階段智能養(yǎng)老機器在民事法律關(guān)系中仍處于客體地位。具體來說:第一,養(yǎng)老服務(wù)法律的核心理念是保障老人權(quán)利實現(xiàn),但賦予智能養(yǎng)老機器法律主體地位并不必然有助于老人權(quán)利保障目標(biāo)的實現(xiàn)。即使賦予人工智能法律主體地位也不能為法律問題之解決帶來突破性意義,且對于人工智能侵權(quán)責(zé)任承擔(dān)問題也缺乏有效的解決措施。(38)劉洪華:《人工智能法律主體資格的否定及其法律規(guī)制構(gòu)想》,《北方法學(xué)》2019年第4期。第二,智能養(yǎng)老機器在研發(fā)時應(yīng)遵循功能適度原則-易用性原則-延續(xù)性原則-人文關(guān)懷原則,(39)楊小靜:《基于用戶特征的適老智能產(chǎn)品設(shè)計研究》,《包裝工程》2020年第6期。制造出的智能養(yǎng)老產(chǎn)品需貼合老人的生理、心理特征,可見設(shè)計者、制造者也多是將智能養(yǎng)老機器定位為保護老人權(quán)利實現(xiàn)的輔助者。所以現(xiàn)階段人工智能養(yǎng)老服務(wù)機器仍屬于輔助人類在養(yǎng)老服務(wù)過程中提供具體服務(wù)的養(yǎng)老設(shè)施、產(chǎn)品或軟件系統(tǒng),其在具體的民事法律關(guān)系中也只能處于客體地位,在現(xiàn)行法律制度框架內(nèi)尚不能獨立承擔(dān)侵權(quán)損害賠償責(zé)任。

    (二)不同智能養(yǎng)老服務(wù)模式下責(zé)任承擔(dān)主體的認(rèn)定

    1.智能居家養(yǎng)老服務(wù)模式下侵權(quán)責(zé)任承擔(dān)主體的認(rèn)定

    此種情況下智能養(yǎng)老服務(wù)侵權(quán)責(zé)任承擔(dān)主體的認(rèn)定須遵循以下路徑:第一步,確定提供具體服務(wù)的責(zé)任主體。根據(jù)智能養(yǎng)老服務(wù)侵權(quán)行為產(chǎn)生的原因,利用智能養(yǎng)老機器提供養(yǎng)老服務(wù)的企業(yè)、個人(助殘、助浴、助行、托養(yǎng)、心理疏導(dǎo)等服務(wù)提供者)可能成為直接的侵權(quán)責(zé)任主體,此外智能養(yǎng)老機器的研發(fā)者、制造商、銷售者以及第三人等民事主體也可能成為侵權(quán)責(zé)任主體。第二步,確定承擔(dān)管理職責(zé)的責(zé)任主體。考慮到智能居家養(yǎng)老服務(wù)過程中需要由智慧養(yǎng)老信息平臺、社區(qū)管理服務(wù)中心整合老人的各項需求,進行精準(zhǔn)匹配后再分派具體的服務(wù)供給者為老人提供上門服務(wù),這一過程中智慧養(yǎng)老服務(wù)平臺、管理中心對智能養(yǎng)老服務(wù)提供者是否具有資質(zhì)以及提供的服務(wù)是否安全均擔(dān)負(fù)一定的管理、監(jiān)督職責(zé),所以其也有可能會成為具體侵權(quán)行為的責(zé)任承擔(dān)主體。第三步,在已經(jīng)明確智能養(yǎng)老服務(wù)提供主體和養(yǎng)老服務(wù)監(jiān)督管理主體后,由其共同向受侵害的服務(wù)接受對象(老人及其家屬)承擔(dān)損害賠償責(zé)任。

    2.智能機構(gòu)養(yǎng)老服務(wù)模式下侵權(quán)責(zé)任承擔(dān)主體的認(rèn)定

    智能機構(gòu)養(yǎng)老服務(wù)有助于發(fā)揮養(yǎng)老機構(gòu)專業(yè)化、集中化的優(yōu)勢。養(yǎng)老機構(gòu)也可充分利用其經(jīng)濟基礎(chǔ)雄厚、服務(wù)經(jīng)驗豐富以及服務(wù)人員專業(yè)化程度高的優(yōu)勢,利用智能技術(shù)打通社區(qū)、家庭與機構(gòu)養(yǎng)老間的隔閡進而提供開放式陪護服務(wù)。智能機構(gòu)養(yǎng)老服務(wù)模式下侵害老人權(quán)利的責(zé)任承擔(dān)主體認(rèn)定路徑如下:第一步,與老人簽訂養(yǎng)老服務(wù)協(xié)議的養(yǎng)老機構(gòu)及其管理者,若存在違反安全管理保障義務(wù)、未按照協(xié)議提供法定或約定的服務(wù)、未盡合理注意義務(wù),以及養(yǎng)老機構(gòu)設(shè)施存在隱患導(dǎo)致老人權(quán)利受侵害的,其均需要對老人承擔(dān)侵權(quán)責(zé)任。第二步,養(yǎng)老機構(gòu)的工作人員職務(wù)侵權(quán)造成老人人身、財產(chǎn)和精神利益受損害的,工作人員存在主觀故意或者重大過失的也應(yīng)該承擔(dān)侵權(quán)責(zé)任;智能養(yǎng)老機器的研發(fā)人員、生產(chǎn)者與銷售者、第三人或其他民事主體,由于智能養(yǎng)老設(shè)施存在缺陷導(dǎo)致養(yǎng)老機構(gòu)在在提供服務(wù)活動過程中侵害老人權(quán)利的,其也需要承擔(dān)相應(yīng)的侵權(quán)責(zé)任。第三步,已經(jīng)明確的上述多方侵權(quán)主體,對受侵害老人共同承擔(dān)侵權(quán)損害賠償責(zé)任。

    3.智能醫(yī)養(yǎng)結(jié)合服務(wù)模式下侵權(quán)責(zé)任承擔(dān)主體的認(rèn)定

    現(xiàn)階段較為成熟的智能醫(yī)養(yǎng)結(jié)合服務(wù)多是由養(yǎng)老機構(gòu)與醫(yī)療機構(gòu)提供的,雙方之間通過醫(yī)療機構(gòu)設(shè)立養(yǎng)護病房、養(yǎng)老機構(gòu)內(nèi)設(shè)醫(yī)療服務(wù)中心、養(yǎng)老機構(gòu)與醫(yī)療機構(gòu)簽署合作協(xié)議等形式開展具體業(yè)務(wù)。在智能醫(yī)養(yǎng)結(jié)合服務(wù)過程中產(chǎn)生侵權(quán),可以分三個步驟認(rèn)定侵權(quán)責(zé)任承擔(dān)主體:第一步,確定提供具體服務(wù)的責(zé)任主體。醫(yī)療機構(gòu)、養(yǎng)老機構(gòu)往往依據(jù)自身的專業(yè)能力直接提供醫(yī)養(yǎng)結(jié)合服務(wù),特別是醫(yī)養(yǎng)結(jié)合服務(wù)過程中往往需要兩者協(xié)同合作,所以其本身是可以成為侵權(quán)責(zé)任主體的,此外醫(yī)養(yǎng)結(jié)合機構(gòu)工作人員也可能會成為責(zé)任主體。第二步,確定智能醫(yī)療設(shè)備相關(guān)責(zé)任主體。智能醫(yī)養(yǎng)結(jié)合服務(wù)的核心功能在于利用智能醫(yī)療設(shè)備為老人提供疾病治療、康復(fù)護理以及健康咨詢服務(wù),而智能醫(yī)療設(shè)備在這一過程中處于核心地位且也是風(fēng)險的最大來源,智能醫(yī)療設(shè)備的研發(fā)者、生產(chǎn)者、銷售者又是從源頭防范風(fēng)險的最有利控制者,(40)李潤生、史飚:《人工智能視野下醫(yī)療損害責(zé)任規(guī)則的適用和嬗變》,《深圳大學(xué)學(xué)報(人文社會科學(xué)版)》2019年第6期。所以這些主體也可能成為侵權(quán)責(zé)任承擔(dān)主體。第三步,醫(yī)療服務(wù)機構(gòu)、養(yǎng)老服務(wù)機構(gòu)和智能設(shè)備提供主體,需共同對受侵害的老人承擔(dān)損害賠償責(zé)任,這些主體可以按照實際情況相互分配責(zé)任比例且在內(nèi)部進行追償。

    (三)加強對老人新型權(quán)利的保護

    侵權(quán)責(zé)任立法保護的各項民事權(quán)益處于不斷擴充過程中,即不僅各種民事權(quán)利而且權(quán)利以外的其它利益也均在受保護之列。(41)葛云松:《〈侵權(quán)責(zé)任法〉保護的民事權(quán)益》,《中國法學(xué)》2010年第3期。

    1.加強智能養(yǎng)老服務(wù)過程中老人隱私和個人信息的保護

    首先,增強老人隱私保護素養(yǎng)的培育。家庭和社會應(yīng)該幫助老人積極接觸智能養(yǎng)老服務(wù)產(chǎn)品,在此過程中培育老人對個人隱私信息的保護意識,不隨意泄露給第三者且不點擊非法收集個人信息的網(wǎng)站與鏈接。其次,賦予老人數(shù)據(jù)被遺忘權(quán)。針對服務(wù)供應(yīng)商、養(yǎng)老機構(gòu)、醫(yī)療機構(gòu)等主體在智能養(yǎng)老服務(wù)過程中獲得的老人身體健康、消費偏好、活動軌跡等隱私信息,老人可以要求他們履行嚴(yán)格的保密義務(wù)以及在可能發(fā)生侵權(quán)行為時及時進行刪除,確保自身隱私數(shù)據(jù)安全且不被非法利用。最后,完善智能養(yǎng)老服務(wù)中的隱私保護機制。在智能養(yǎng)老服務(wù)設(shè)施中踐行事先積極預(yù)防的隱私設(shè)計理念(Privacy by Design),將隱私保護需求在設(shè)計階段就嵌入智能養(yǎng)老機器系統(tǒng)中,使其成為服務(wù)過程中各方遵循的規(guī)則。在智能養(yǎng)老設(shè)備中也應(yīng)該引入老人隱私保護增強技術(shù),利用匿名、加密、防火墻等技術(shù)手段加強對老人隱私安全的保護力度。(42)鄭志峰:《人工智能時代的隱私保護》,《法律科學(xué)(西北政法大學(xué)學(xué)報)》2019年第2期。

    2.賦予老人新型數(shù)據(jù)權(quán)利

    一方面,賦予老人免受智能算法自動決策的權(quán)利。智能養(yǎng)老機器受到算法研發(fā)者偏見、企業(yè)利益訴求、算法決策失誤等因素影響,可能會引發(fā)弱勢群體歧視、年齡歧視和消費歧視現(xiàn)象,(43)汪懷君、汝緒華:《人工智能算法歧視及其治理》,《科學(xué)技術(shù)哲學(xué)研究》2020年第2期。賦予老人免受算法自動決策的權(quán)利則可以確保老人自主決定是否接受以及通過何種形式接受智能養(yǎng)老服務(wù),這有利于擺脫傳統(tǒng)意義上將老人視為沒有相應(yīng)行動能力、只能被動接受服務(wù)且需要被監(jiān)控的弱勢群體,進而轉(zhuǎn)向以尊重老人自主選擇權(quán)、人格尊嚴(yán)權(quán)得到有效實現(xiàn)的智慧養(yǎng)老服務(wù)模式。另一方面,賦予老人智能算法決策解釋權(quán)。賦予老人合理的算法決策解釋權(quán),要求智能養(yǎng)老機器研發(fā)者和使用者對機器自主決策和預(yù)設(shè)程序之外的行為進行合理解釋,該種權(quán)利可以倒逼智能養(yǎng)老設(shè)施提供者積極引入算法影響評估、事先告知措施,積極主動將潛在的風(fēng)險進行有效規(guī)避,提升算法的透明度以及老人對人工智能養(yǎng)老設(shè)備的信任度,確保老人權(quán)利不因智能設(shè)備本身存在的不當(dāng)因素而受到侵害。

    (四)智能養(yǎng)老服務(wù)侵權(quán)歸責(zé)原則的確定

    在厘清智能機器法律客體地位以及侵權(quán)責(zé)任承擔(dān)主體基礎(chǔ)上,應(yīng)以醫(yī)療損害責(zé)任和產(chǎn)品責(zé)任作為智能養(yǎng)老服務(wù)領(lǐng)域侵權(quán)問題的歸責(zé)原則。

    1.產(chǎn)品責(zé)任的承擔(dān)

    考慮到制造主體全面掌握了關(guān)于智能養(yǎng)老機器的各項數(shù)據(jù)和技術(shù)細(xì)則,其在人工智能機器侵權(quán)事故原因的查明中處于優(yōu)勢地位,且制造主體對于事故預(yù)防、技術(shù)的控制與改進也占據(jù)絕對優(yōu)勢,所以應(yīng)該由智能養(yǎng)老機器的制造者承擔(dān)侵權(quán)事故主要責(zé)任,而銷售者、使用者在有過錯時才需承擔(dān)相應(yīng)的侵權(quán)責(zé)任。

    首先,確定智能養(yǎng)老機器制造主體的范圍??紤]到現(xiàn)階段人工智能養(yǎng)老服務(wù)仍處于初始發(fā)展階段,為加強對受侵害老人的保護力度宜適當(dāng)擴大制造主體的范圍,應(yīng)包括智能養(yǎng)老機器的設(shè)計者、生產(chǎn)者、進口商以及商標(biāo)許可人等。將進口商和商標(biāo)許可人納入產(chǎn)品責(zé)任承擔(dān)主體范疇,主要是考慮到現(xiàn)階段我國用于養(yǎng)老服務(wù)的智能養(yǎng)老機器存在相當(dāng)數(shù)量的進口或者商標(biāo)許可生產(chǎn)現(xiàn)象,若讓受到侵害的老人去追究海外生產(chǎn)者或者實際制造者的責(zé)任,無疑會增加受害老人搜集證據(jù)的困難以及加重受害者獲得救濟的難度。

    其次,明確智能養(yǎng)老機器產(chǎn)品缺陷的分類及其歸責(zé)原則。我國侵權(quán)立法中并未對產(chǎn)品缺陷進行細(xì)分,但是學(xué)界通說認(rèn)為可以將其分為制造、設(shè)計和警示缺陷。制造缺陷主要指智能養(yǎng)老機器的實際生產(chǎn)過程與預(yù)計的設(shè)計規(guī)格、設(shè)計意圖相偏離的物理狀況,通常按照客觀設(shè)計標(biāo)準(zhǔn)即可直接認(rèn)定,依據(jù)我國《民法典》第1202條之規(guī)定,智能養(yǎng)老機器由于制造缺陷導(dǎo)致侵權(quán)的應(yīng)適用無過錯責(zé)任歸責(zé)原則。設(shè)計缺陷和警示缺陷更多的表現(xiàn)為生產(chǎn)者的過失意識形態(tài),此類缺陷的認(rèn)定則需要按照當(dāng)時的技術(shù)水平條件,由生產(chǎn)者在設(shè)計過程中合理關(guān)注使用人員的安全。結(jié)合智能養(yǎng)老機器的發(fā)展前景,設(shè)計缺陷適用無過錯責(zé)任歸責(zé)原則更為合適,一方面,設(shè)計缺陷意味著整條智能養(yǎng)老機器生產(chǎn)線存在安全風(fēng)險,其導(dǎo)致的侵權(quán)損害后果往往更為嚴(yán)重,且這種設(shè)計決策階段的錯誤只能依靠專業(yè)機構(gòu)或?qū)I(yè)人員才能發(fā)現(xiàn),而適用無過錯責(zé)任原則可以減輕權(quán)利受到侵害老人的舉證責(zé)任;另一方面,對設(shè)計缺陷適用無過錯責(zé)任歸責(zé)原則,可以督促設(shè)計者履行更嚴(yán)格的注意義務(wù),以及在智能養(yǎng)老機器的研發(fā)領(lǐng)域更加審慎。而警示缺陷適用過錯責(zé)任較為合適,其主要針對的是智能養(yǎng)老機器的生產(chǎn)者是否及時、有效地向使用人發(fā)出了警示行為,是對生產(chǎn)者行為的評判而非針對產(chǎn)品本身,關(guān)注點在于生產(chǎn)者的警示內(nèi)容本身是否充分合理,所以采用過錯責(zé)任原則較為合適。(44)梁亞、王嶂、趙存耀:《論產(chǎn)品缺陷類型對產(chǎn)品責(zé)任歸責(zé)原則的影響——〈侵權(quán)責(zé)任法〉第41條生產(chǎn)者責(zé)任之解釋與批判》,《法律適用》2012年第1期。

    2.醫(yī)療損害責(zé)任的承擔(dān)

    首先,醫(yī)養(yǎng)結(jié)合機構(gòu)應(yīng)適用醫(yī)療損害責(zé)任。實務(wù)中智能醫(yī)養(yǎng)結(jié)合模式涉及醫(yī)療服務(wù)機構(gòu)、養(yǎng)老服務(wù)機構(gòu)兩類主體,但這兩類主體在現(xiàn)行法律中適用的侵權(quán)責(zé)任歸責(zé)原則并不相同。(45)我國《民法典》中對醫(yī)療機構(gòu)侵權(quán)做出了特別規(guī)定,形成了過錯責(zé)任和過錯推定責(zé)任相結(jié)合的責(zé)任承擔(dān)模式;而對于養(yǎng)老機構(gòu)則并未做出特別規(guī)定,需按照一般規(guī)定適用過錯責(zé)任來承擔(dān)侵權(quán)責(zé)任。結(jié)合智能醫(yī)養(yǎng)結(jié)合服務(wù)發(fā)展前景,由于智能機器用于醫(yī)養(yǎng)結(jié)合服務(wù)而引發(fā)的侵權(quán)行為宜按照醫(yī)療損害責(zé)任進行歸責(zé),原因在于:其一,醫(yī)養(yǎng)結(jié)合機構(gòu)提供的醫(yī)療與養(yǎng)老護理服務(wù)往往難以區(qū)分,統(tǒng)一按照醫(yī)療機構(gòu)的歸責(zé)原則利于受害人權(quán)利的保護;其二,對醫(yī)養(yǎng)結(jié)合機構(gòu)適用過錯責(zé)任和過錯推定責(zé)任相結(jié)合的醫(yī)療損害責(zé)任承擔(dān)模式,有利于促進醫(yī)養(yǎng)結(jié)合機構(gòu)履行更高水平的注意義務(wù),在使用智能機器提供服務(wù)的過程中更加謹(jǐn)慎。其三,我國現(xiàn)階段醫(yī)養(yǎng)結(jié)合機構(gòu)的服務(wù)質(zhì)量仍存在一些不足,適用醫(yī)療損害責(zé)任模式雖然會讓醫(yī)養(yǎng)結(jié)合機構(gòu)承擔(dān)較多舉證責(zé)任,但并不必然會阻礙醫(yī)養(yǎng)結(jié)合機構(gòu)使用新技術(shù)的動力,反而有利于倒逼醫(yī)養(yǎng)結(jié)合服務(wù)機構(gòu)規(guī)范自身內(nèi)部的醫(yī)療服務(wù)行為,以及積極落實《醫(yī)養(yǎng)結(jié)合機構(gòu)服務(wù)指南(試行)》等文件中的具體內(nèi)容。

    其次,組織過錯責(zé)任理論的適用。組織過錯責(zé)任理論認(rèn)為現(xiàn)代醫(yī)療體系不再是某個醫(yī)生單獨的診療行為,而是整個醫(yī)療系統(tǒng)的系統(tǒng)性、組織性活動,正確設(shè)計的系統(tǒng)能夠避免因個人過錯而引發(fā)的醫(yī)療過失。(46)滿洪杰:《論院外會診的醫(yī)療損害責(zé)任》,《法學(xué)論壇》2019年第3期。根據(jù)組織過錯責(zé)任理論,智能醫(yī)養(yǎng)結(jié)合服務(wù)過程中發(fā)生的侵權(quán)行為,可能是由于工作人員操作不當(dāng)、智能機器本身運行失誤、醫(yī)養(yǎng)結(jié)合服務(wù)機構(gòu)使用的智能機器本身不合格等多種原因造成的,此時受侵害的老人無需證明侵權(quán)行為是由醫(yī)養(yǎng)結(jié)合機構(gòu)工作人員存在過失、智能機器故障、機構(gòu)管理部門失職中的何種具體原因引起的,只需要證明自身所遭受的損害是由于醫(yī)養(yǎng)結(jié)合機構(gòu)提供的具體服務(wù)沒有達到客觀上應(yīng)該具有的診療水平即可,這有利于減輕受侵害老人的證明負(fù)擔(dān)。(47)這在我國的審判實踐中已經(jīng)得到了體現(xiàn),如有判決指出被告(醫(yī)養(yǎng)結(jié)合機構(gòu))沒及時告知原告確切病情所以存在護理服務(wù)瑕疵;原告受傷時被告(醫(yī)養(yǎng)結(jié)合機構(gòu))的護理人員未在事發(fā)現(xiàn)場、未提供專人護理,所以應(yīng)該承擔(dān)相應(yīng)的賠償責(zé)任。這個判決中既對醫(yī)養(yǎng)結(jié)合機構(gòu)服務(wù)過程中存在的重大過錯行為進行了評價,也對被告機構(gòu)的組織過錯進行了單獨評價,綜合多方因素之后判定醫(yī)養(yǎng)結(jié)合機構(gòu)承擔(dān)侵權(quán)責(zé)任。參見山東省青島市中級人民法院(2020)魯02民終5087號判決書。

    (五)智能養(yǎng)老服務(wù)侵權(quán)幾項特別應(yīng)對措施

    1.明確人工智能養(yǎng)老機器產(chǎn)品缺陷的認(rèn)定標(biāo)準(zhǔn)

    適用產(chǎn)品責(zé)任的前提是合理界定產(chǎn)品缺陷。智能養(yǎng)老機器具有的自主性、不可控制性和交互性特征使得其缺陷認(rèn)定更為復(fù)雜,而且普通養(yǎng)老產(chǎn)品的缺陷多體現(xiàn)為物理硬件層面,而智能養(yǎng)老產(chǎn)品多屬于軟件與硬件載體的結(jié)合或者純粹由軟件設(shè)施組成。我國目前已有《養(yǎng)老服務(wù)智能化系統(tǒng)技術(shù)標(biāo)準(zhǔn)(JGJ/T484—2019)》《基于人工智能語音交互的養(yǎng)老服務(wù)平臺要求》(T/CESA 1127—2020)等行業(yè)或團體標(biāo)準(zhǔn),但都缺乏對智能養(yǎng)老產(chǎn)品標(biāo)準(zhǔn)的直接界定且這些文件的法律效力也較低,所以我國亟須制定國家、行業(yè)層面統(tǒng)一的智能養(yǎng)老產(chǎn)品標(biāo)準(zhǔn)體系,以及建立人工智能養(yǎng)老服務(wù)產(chǎn)品缺陷的認(rèn)定辦法。

    2.人工智能養(yǎng)老機器制造者的責(zé)任限制

    讓制造者承擔(dān)智能機器不可預(yù)見的產(chǎn)品責(zé)任會打擊其研發(fā)和制造新產(chǎn)品的動力,以及引發(fā)破產(chǎn)或背負(fù)沉重經(jīng)濟負(fù)擔(dān)。所以有必要在制造者承擔(dān)嚴(yán)格產(chǎn)品責(zé)任的基礎(chǔ)上,采取責(zé)任限制措施來緩和其負(fù)擔(dān)。一是引入人工智能養(yǎng)老機器侵權(quán)免責(zé)事由??紤]到老人身體體質(zhì)相對較差且患有的慢性病一般難以及時查明,養(yǎng)服務(wù)領(lǐng)域的侵權(quán)有時并非屬于智能養(yǎng)老機器行為本身,此時賦予智能養(yǎng)老機器適當(dāng)?shù)拿庳?zé)事由尤為必要。二是設(shè)置損害賠償責(zé)任限額。智能科技的進步往往伴隨著極大的風(fēng)險,設(shè)置適當(dāng)?shù)膿p害賠償責(zé)任限額有利于生產(chǎn)者和受侵害老人間利益的平衡,可借鑒海商和航空立法中將責(zé)任人對各項損失的賠償總額限制在一定限額內(nèi)的做法,(48)如《1976年海事索賠責(zé)任限制公約》第六條一般限制條款中,將不超過500噸船舶的人身傷亡的索賠限制在330000計算單位以內(nèi);而1929年的《統(tǒng)一航空運輸某些規(guī)則的公約》中,將運載登記行李和載運貨物時承運人的責(zé)任限制在了每公斤250法郎(約合20美元)以內(nèi)。這有利于體現(xiàn)公平原則以及促進制造者積極投身智能養(yǎng)老產(chǎn)品研發(fā)活動。

    3.引入智能養(yǎng)老機器強制責(zé)任保險

    在將智能養(yǎng)老機器用于養(yǎng)老服務(wù)前,可責(zé)令智能養(yǎng)老產(chǎn)品的生產(chǎn)者或所有者購買強制責(zé)任保險,由保險公司適當(dāng)分擔(dān)部分產(chǎn)品責(zé)任風(fēng)險。這主要基于人工智能養(yǎng)老技術(shù)的風(fēng)險普遍較高,發(fā)生事故時往往會導(dǎo)致難以控制的損害結(jié)果,而單個生產(chǎn)者的經(jīng)濟實力又難以承擔(dān)嚴(yán)格產(chǎn)品責(zé)任帶來的巨額損害賠償,可能會導(dǎo)致無辜的受害人難以得到有效的賠償。而市場主導(dǎo)的強制責(zé)任保險機制,可以將民事責(zé)任風(fēng)險在社會中進行合理分散,從而在社會中建立一項有效分擔(dān)民事責(zé)任的補充性機制。

    六、結(jié)語

    人工智能養(yǎng)老服務(wù)包含著諸多具體類型,且每種服務(wù)類型中的侵權(quán)行為在侵權(quán)主體、責(zé)任承擔(dān)方式、歸責(zé)原則等方面均存在差異。而法律制度必須對現(xiàn)有社會問題做出回應(yīng),適當(dāng)對法律制度進行改造以實現(xiàn)對智能養(yǎng)老服務(wù)侵權(quán)行為的合理規(guī)制是不容回避的。現(xiàn)階段智能養(yǎng)老服務(wù)領(lǐng)域使用的智能設(shè)備仍處于人類控制之下的弱人工智能發(fā)展階段,現(xiàn)行侵權(quán)立法中的相關(guān)制度仍具有適用的可能。隨著智能養(yǎng)老科技的進步,未來強人工智能階段社會中極有可能出現(xiàn)人機共存的社會狀態(tài),通過服務(wù)資格準(zhǔn)入確保智能養(yǎng)老機器符合智能養(yǎng)老設(shè)備指標(biāo),且保證其提供的服務(wù)安全可靠,在立法上賦予其法律主體地位也是可行的,彼時的侵權(quán)法律制度可能需要繼續(xù)進行更深刻的變革。但以人為本以及保障老人權(quán)利實現(xiàn)的原則依然會處于核心地位,通過人工智能養(yǎng)老服務(wù)為老人謀求福祉也會是侵權(quán)法律制度的追求目標(biāo)。

    猜你喜歡
    醫(yī)養(yǎng)機器養(yǎng)老
    機器狗
    醫(yī)養(yǎng)當(dāng)興
    機器狗
    未來機器城
    電影(2018年8期)2018-09-21 08:00:06
    養(yǎng)生不是養(yǎng)老
    養(yǎng)老更無憂了
    民生周刊(2017年19期)2017-10-25 15:47:39
    以房養(yǎng)老為何會“水土不服”?
    華人時刊(2017年19期)2017-02-03 02:51:37
    醫(yī)養(yǎng)結(jié)合 我們這么做
    養(yǎng)老之要在于“安”
    大社會(2016年5期)2016-05-04 03:41:44
    醫(yī)養(yǎng)結(jié)合真的難操作?
    岛国毛片在线播放| 我的女老师完整版在线观看| 亚洲av二区三区四区| 亚洲第一电影网av| 亚洲久久久久久中文字幕| 亚洲丝袜综合中文字幕| 日本-黄色视频高清免费观看| 蜜臀久久99精品久久宅男| 久久久久久久久久黄片| 日韩强制内射视频| 精品久久国产蜜桃| 热99在线观看视频| 国产成人精品久久久久久| 亚洲成av人片在线播放无| 天堂av国产一区二区熟女人妻| 成人二区视频| 国产日本99.免费观看| 中文字幕制服av| 精品国内亚洲2022精品成人| 日韩,欧美,国产一区二区三区 | 国内精品宾馆在线| 色播亚洲综合网| 国产黄a三级三级三级人| 久久久久久久久久久免费av| 国产成人午夜福利电影在线观看| 亚洲国产精品成人久久小说 | 欧美日本视频| 久久精品91蜜桃| 一区福利在线观看| 插阴视频在线观看视频| 日韩视频在线欧美| 成人毛片60女人毛片免费| 亚洲av男天堂| 久久综合国产亚洲精品| 午夜福利在线观看吧| 九九热线精品视视频播放| 久久精品久久久久久噜噜老黄 | 久久精品国产鲁丝片午夜精品| 国产亚洲欧美98| 女人被狂操c到高潮| 久久精品国产鲁丝片午夜精品| 久久久久国产网址| 色噜噜av男人的天堂激情| 日本免费a在线| 亚洲国产精品成人久久小说 | 成年女人看的毛片在线观看| 国产午夜精品论理片| 直男gayav资源| 亚洲va在线va天堂va国产| 卡戴珊不雅视频在线播放| 青春草亚洲视频在线观看| 久久6这里有精品| 亚洲人与动物交配视频| 人妻系列 视频| 久久九九热精品免费| 综合色丁香网| 舔av片在线| 久久精品影院6| 国产精品日韩av在线免费观看| 国产真实伦视频高清在线观看| 91av网一区二区| 激情 狠狠 欧美| 国产片特级美女逼逼视频| 一卡2卡三卡四卡精品乱码亚洲| 人妻久久中文字幕网| 日韩 亚洲 欧美在线| 卡戴珊不雅视频在线播放| 婷婷色综合大香蕉| 少妇人妻一区二区三区视频| eeuss影院久久| 2021天堂中文幕一二区在线观| 一区二区三区高清视频在线| 色噜噜av男人的天堂激情| 欧美性猛交黑人性爽| 免费人成视频x8x8入口观看| 18禁裸乳无遮挡免费网站照片| 久久午夜亚洲精品久久| 我要搜黄色片| 亚洲欧洲日产国产| 亚洲av免费在线观看| 黄片wwwwww| 国产爱豆传媒在线观看| 国产精品一区二区性色av| 22中文网久久字幕| 日日啪夜夜撸| 精品一区二区免费观看| 精品欧美国产一区二区三| 国产又黄又爽又无遮挡在线| 全区人妻精品视频| 国产成年人精品一区二区| 欧美xxxx黑人xx丫x性爽| 最近2019中文字幕mv第一页| 免费看日本二区| 日本黄色片子视频| 国产淫片久久久久久久久| 高清毛片免费观看视频网站| 久久九九热精品免费| 夜夜夜夜夜久久久久| 欧美成人精品欧美一级黄| 欧美一级a爱片免费观看看| 亚洲人成网站在线播放欧美日韩| 亚洲欧洲日产国产| 老司机影院成人| 国产精品久久电影中文字幕| 久久99热6这里只有精品| 中国美女看黄片| 精品欧美国产一区二区三| 午夜老司机福利剧场| 97热精品久久久久久| 麻豆国产av国片精品| 欧美3d第一页| 在线国产一区二区在线| 美女大奶头视频| 亚洲av第一区精品v没综合| 最近的中文字幕免费完整| 特大巨黑吊av在线直播| 中出人妻视频一区二区| 日韩 亚洲 欧美在线| 亚洲最大成人手机在线| 午夜福利视频1000在线观看| 男人狂女人下面高潮的视频| 国产精品野战在线观看| 国产伦一二天堂av在线观看| 亚洲经典国产精华液单| 亚洲一区二区三区色噜噜| 亚洲国产精品sss在线观看| 麻豆国产97在线/欧美| 国产精品久久久久久av不卡| 日韩欧美精品免费久久| 天天躁日日操中文字幕| 69人妻影院| 久久午夜福利片| 1024手机看黄色片| 老司机福利观看| 亚洲欧美成人精品一区二区| 亚洲国产精品合色在线| 麻豆久久精品国产亚洲av| 国产三级中文精品| 自拍偷自拍亚洲精品老妇| 久久欧美精品欧美久久欧美| 国产不卡一卡二| 久久久精品94久久精品| 国产精品爽爽va在线观看网站| 久久6这里有精品| 美女高潮的动态| 亚洲av二区三区四区| 精品午夜福利在线看| 美女 人体艺术 gogo| 午夜免费男女啪啪视频观看| 男的添女的下面高潮视频| 菩萨蛮人人尽说江南好唐韦庄 | 韩国av在线不卡| 99久国产av精品国产电影| 国产亚洲av片在线观看秒播厂 | 日韩欧美精品v在线| 欧美在线一区亚洲| 男女那种视频在线观看| 亚洲欧美日韩无卡精品| 亚洲欧美清纯卡通| 欧美激情国产日韩精品一区| 亚洲精品日韩av片在线观看| 一级毛片电影观看 | 日韩av不卡免费在线播放| 精品人妻偷拍中文字幕| 你懂的网址亚洲精品在线观看 | 国内精品一区二区在线观看| 日本黄色视频三级网站网址| 五月玫瑰六月丁香| 老司机福利观看| 国产午夜精品一二区理论片| 国产精品久久久久久亚洲av鲁大| 2022亚洲国产成人精品| 国产在视频线在精品| 亚洲人成网站在线观看播放| 日本av手机在线免费观看| 综合色丁香网| 噜噜噜噜噜久久久久久91| 麻豆av噜噜一区二区三区| 国产精品1区2区在线观看.| 中文精品一卡2卡3卡4更新| 精品无人区乱码1区二区| 看免费成人av毛片| 国产精品一区二区三区四区久久| 校园春色视频在线观看| 亚洲精品亚洲一区二区| 免费观看的影片在线观看| 日韩在线高清观看一区二区三区| 国产成年人精品一区二区| 亚洲成a人片在线一区二区| 日本成人三级电影网站| 青青草视频在线视频观看| 国产乱人偷精品视频| 中文字幕av成人在线电影| 久久6这里有精品| 精品99又大又爽又粗少妇毛片| 人人妻人人澡人人爽人人夜夜 | 亚州av有码| 国产成人a∨麻豆精品| 国产精品麻豆人妻色哟哟久久 | 三级国产精品欧美在线观看| 一个人观看的视频www高清免费观看| 国产色爽女视频免费观看| 国产亚洲5aaaaa淫片| 欧美成人一区二区免费高清观看| 啦啦啦观看免费观看视频高清| 成人三级黄色视频| 久99久视频精品免费| 黄色一级大片看看| 久久久久久久午夜电影| 国产在视频线在精品| 蜜臀久久99精品久久宅男| 在线观看午夜福利视频| 看黄色毛片网站| 热99在线观看视频| 国产单亲对白刺激| 亚洲精品亚洲一区二区| 亚洲精品影视一区二区三区av| 成人欧美大片| 久久中文看片网| 久久精品国产亚洲网站| 国产免费一级a男人的天堂| 亚洲欧美日韩卡通动漫| 色5月婷婷丁香| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 亚洲经典国产精华液单| 一个人免费在线观看电影| 午夜精品一区二区三区免费看| av免费观看日本| 午夜福利视频1000在线观看| 精品国内亚洲2022精品成人| 亚洲无线观看免费| 高清午夜精品一区二区三区 | 毛片女人毛片| 国产亚洲av片在线观看秒播厂 | 51国产日韩欧美| 看免费成人av毛片| 亚洲内射少妇av| 九九爱精品视频在线观看| 国产乱人视频| 春色校园在线视频观看| 色综合色国产| 免费大片18禁| 亚洲在线观看片| 看非洲黑人一级黄片| 国产美女午夜福利| 亚洲一区二区三区色噜噜| 一区二区三区四区激情视频 | 亚洲av熟女| a级一级毛片免费在线观看| 亚洲欧美成人综合另类久久久 | 国产成人一区二区在线| 亚洲国产欧洲综合997久久,| av黄色大香蕉| avwww免费| 国产精品一二三区在线看| 午夜福利在线观看免费完整高清在 | 能在线免费看毛片的网站| 亚洲性久久影院| 少妇的逼好多水| 亚洲国产精品久久男人天堂| 91av网一区二区| 国产美女午夜福利| 国产熟女欧美一区二区| 久久午夜福利片| 熟妇人妻久久中文字幕3abv| 久久久精品欧美日韩精品| 精品久久久久久久久久免费视频| 亚洲av男天堂| 久久久久久久久久久丰满| 2021天堂中文幕一二区在线观| 久久久久网色| 寂寞人妻少妇视频99o| 国产成人a∨麻豆精品| 亚洲无线观看免费| 日韩欧美三级三区| 久久午夜亚洲精品久久| 久久人人爽人人片av| 99热精品在线国产| h日本视频在线播放| 免费观看a级毛片全部| 亚洲婷婷狠狠爱综合网| 亚洲无线观看免费| 激情 狠狠 欧美| 精品国内亚洲2022精品成人| 国产男人的电影天堂91| 国产又黄又爽又无遮挡在线| 亚洲综合色惰| 国产91av在线免费观看| 日本色播在线视频| 国产69精品久久久久777片| 悠悠久久av| 一级毛片我不卡| 久久鲁丝午夜福利片| 黄色视频,在线免费观看| 精品久久久噜噜| 99热网站在线观看| 久久精品国产亚洲av天美| 亚洲精品日韩在线中文字幕 | 波多野结衣巨乳人妻| 国产乱人视频| av在线天堂中文字幕| 久久草成人影院| 美女被艹到高潮喷水动态| 一级黄色大片毛片| eeuss影院久久| 乱系列少妇在线播放| 你懂的网址亚洲精品在线观看 | 蜜桃久久精品国产亚洲av| 亚洲乱码一区二区免费版| 国产精品久久久久久精品电影小说 | 欧美三级亚洲精品| 18禁在线无遮挡免费观看视频| 欧美日韩国产亚洲二区| 免费av毛片视频| 最近的中文字幕免费完整| 午夜免费男女啪啪视频观看| 日韩一本色道免费dvd| 亚洲av成人av| 国内精品宾馆在线| 麻豆成人av视频| 婷婷六月久久综合丁香| 亚洲七黄色美女视频| 少妇被粗大猛烈的视频| 变态另类丝袜制服| 能在线免费看毛片的网站| 国产色爽女视频免费观看| 免费观看在线日韩| 能在线免费看毛片的网站| 国产黄片美女视频| 美女内射精品一级片tv| 日韩欧美在线乱码| 自拍偷自拍亚洲精品老妇| 色综合色国产| 日本与韩国留学比较| 亚洲精品粉嫩美女一区| 精品欧美国产一区二区三| 丝袜喷水一区| 悠悠久久av| 狂野欧美激情性xxxx在线观看| 秋霞在线观看毛片| 精品国内亚洲2022精品成人| 两个人的视频大全免费| or卡值多少钱| 欧美日本视频| 免费观看人在逋| 中文资源天堂在线| 18禁在线播放成人免费| 免费av观看视频| 欧美一区二区国产精品久久精品| 午夜免费男女啪啪视频观看| 欧美性猛交╳xxx乱大交人| 天堂av国产一区二区熟女人妻| 又粗又硬又长又爽又黄的视频 | 我的老师免费观看完整版| 国产亚洲av嫩草精品影院| 亚洲中文字幕日韩| 好男人在线观看高清免费视频| 永久网站在线| 日本欧美国产在线视频| 成人毛片a级毛片在线播放| 精品欧美国产一区二区三| 亚洲欧美精品自产自拍| 国产精品一区www在线观看| 国产免费一级a男人的天堂| 1024手机看黄色片| 中文字幕av成人在线电影| 国产成人aa在线观看| 天天躁夜夜躁狠狠久久av| 日韩 亚洲 欧美在线| 人妻夜夜爽99麻豆av| 久久6这里有精品| 日韩大尺度精品在线看网址| 天天躁夜夜躁狠狠久久av| 亚洲精品国产成人久久av| 桃色一区二区三区在线观看| 亚洲人成网站在线播放欧美日韩| 插阴视频在线观看视频| 日本-黄色视频高清免费观看| 免费观看的影片在线观看| 亚洲第一区二区三区不卡| 亚洲va在线va天堂va国产| 看十八女毛片水多多多| 亚洲最大成人av| 美女高潮的动态| 免费无遮挡裸体视频| 99久久精品热视频| 能在线免费观看的黄片| 身体一侧抽搐| 亚洲人与动物交配视频| 欧美日本亚洲视频在线播放| 国产精品蜜桃在线观看 | 国产美女午夜福利| 亚洲乱码一区二区免费版| 干丝袜人妻中文字幕| 91aial.com中文字幕在线观看| 婷婷色av中文字幕| 热99在线观看视频| 国产色爽女视频免费观看| 亚洲熟妇中文字幕五十中出| 看黄色毛片网站| 最近视频中文字幕2019在线8| 97超碰精品成人国产| 一级毛片久久久久久久久女| 国产精品一区二区三区四区免费观看| 一边摸一边抽搐一进一小说| 免费观看在线日韩| 欧美xxxx性猛交bbbb| av在线观看视频网站免费| 婷婷色av中文字幕| 九九久久精品国产亚洲av麻豆| 亚洲图色成人| 久久久久久久久久黄片| 午夜视频国产福利| 校园人妻丝袜中文字幕| 国产白丝娇喘喷水9色精品| 国模一区二区三区四区视频| 亚洲第一区二区三区不卡| 亚洲欧美中文字幕日韩二区| 最好的美女福利视频网| 夜夜夜夜夜久久久久| 天天躁夜夜躁狠狠久久av| 亚洲高清免费不卡视频| 国产成人freesex在线| 最近视频中文字幕2019在线8| 国产在视频线在精品| 精品人妻偷拍中文字幕| 少妇猛男粗大的猛烈进出视频 | 18+在线观看网站| 精品国产三级普通话版| 久久久国产成人免费| 欧美日韩综合久久久久久| 久久九九热精品免费| 22中文网久久字幕| 久久精品国产99精品国产亚洲性色| 看非洲黑人一级黄片| 久久精品国产鲁丝片午夜精品| 99热只有精品国产| 中文字幕av在线有码专区| 成人漫画全彩无遮挡| 不卡视频在线观看欧美| 性色avwww在线观看| 成人毛片60女人毛片免费| 国产中年淑女户外野战色| 少妇人妻一区二区三区视频| 国产在视频线在精品| 长腿黑丝高跟| 91精品一卡2卡3卡4卡| 天美传媒精品一区二区| 波野结衣二区三区在线| 国产亚洲av嫩草精品影院| 大型黄色视频在线免费观看| 国产精品久久久久久久久免| 91麻豆精品激情在线观看国产| 99热精品在线国产| 午夜亚洲福利在线播放| 老熟妇乱子伦视频在线观看| 久久6这里有精品| 黄色配什么色好看| 国产精品久久久久久av不卡| av在线亚洲专区| 欧美性猛交╳xxx乱大交人| 啦啦啦观看免费观看视频高清| av国产免费在线观看| 日韩人妻高清精品专区| 亚洲精品国产av成人精品| 中出人妻视频一区二区| 天堂中文最新版在线下载 | 国产一区二区在线观看日韩| 精品无人区乱码1区二区| 可以在线观看的亚洲视频| 99久久九九国产精品国产免费| 欧美一区二区国产精品久久精品| 亚洲美女搞黄在线观看| 在线a可以看的网站| 久久欧美精品欧美久久欧美| 好男人视频免费观看在线| 久久鲁丝午夜福利片| 亚洲国产欧美人成| 国产一级毛片在线| av在线蜜桃| 最近中文字幕高清免费大全6| 国产成人a区在线观看| 搡女人真爽免费视频火全软件| 乱系列少妇在线播放| 在线天堂最新版资源| 天天躁日日操中文字幕| 内射极品少妇av片p| 国产一区二区亚洲精品在线观看| 国产 一区 欧美 日韩| avwww免费| 精品日产1卡2卡| 亚洲精品久久久久久婷婷小说 | eeuss影院久久| 国产日本99.免费观看| 亚洲欧美精品自产自拍| 成人特级av手机在线观看| 国产精品久久电影中文字幕| 色哟哟哟哟哟哟| 一夜夜www| 十八禁国产超污无遮挡网站| 不卡一级毛片| 在线观看美女被高潮喷水网站| 日本三级黄在线观看| 三级男女做爰猛烈吃奶摸视频| 美女国产视频在线观看| 日本一二三区视频观看| 亚洲精华国产精华液的使用体验 | 国产成人a∨麻豆精品| 青春草视频在线免费观看| 久久欧美精品欧美久久欧美| av在线天堂中文字幕| 国产亚洲欧美98| 亚洲性久久影院| 美女大奶头视频| 综合色丁香网| 国产精品永久免费网站| 22中文网久久字幕| 听说在线观看完整版免费高清| 国产亚洲欧美98| 亚洲av二区三区四区| 狂野欧美激情性xxxx在线观看| 少妇的逼水好多| 狂野欧美激情性xxxx在线观看| 少妇的逼水好多| 亚洲最大成人av| 国产亚洲精品av在线| 一级二级三级毛片免费看| 人人妻人人看人人澡| 国产精品免费一区二区三区在线| 蜜桃亚洲精品一区二区三区| 亚洲一区二区三区色噜噜| 青春草亚洲视频在线观看| 亚洲美女搞黄在线观看| 三级国产精品欧美在线观看| 免费观看人在逋| 99久久成人亚洲精品观看| 久久欧美精品欧美久久欧美| 性插视频无遮挡在线免费观看| 精品久久久久久久人妻蜜臀av| 变态另类丝袜制服| 亚洲欧美精品综合久久99| 日日啪夜夜撸| 热99re8久久精品国产| 久久久久久九九精品二区国产| 1024手机看黄色片| 国产熟女欧美一区二区| 国产黄片视频在线免费观看| 伦精品一区二区三区| 一区二区三区四区激情视频 | 乱人视频在线观看| 在线a可以看的网站| 麻豆乱淫一区二区| 我的女老师完整版在线观看| 国产成人一区二区在线| 午夜精品在线福利| 欧美日韩精品成人综合77777| 国产探花在线观看一区二区| 日日摸夜夜添夜夜爱| 国产精品综合久久久久久久免费| 精品久久久久久成人av| 一级毛片电影观看 | 成人毛片60女人毛片免费| 女的被弄到高潮叫床怎么办| 久久精品国产清高在天天线| 国产大屁股一区二区在线视频| 哪里可以看免费的av片| 午夜精品一区二区三区免费看| 久久久成人免费电影| 亚洲美女搞黄在线观看| 男女做爰动态图高潮gif福利片| 久久精品国产99精品国产亚洲性色| 麻豆久久精品国产亚洲av| 给我免费播放毛片高清在线观看| 国产精品一区二区三区四区免费观看| 丝袜美腿在线中文| 不卡视频在线观看欧美| 日本免费a在线| 国内精品一区二区在线观看| 69人妻影院| 亚洲av二区三区四区| 亚洲欧美清纯卡通| 亚洲国产精品sss在线观看| 国产探花在线观看一区二区| 夜夜爽天天搞| 亚洲精品自拍成人| 又爽又黄a免费视频| 我要搜黄色片| 日韩欧美 国产精品| 午夜激情欧美在线| 黄片无遮挡物在线观看| 亚洲美女搞黄在线观看| 日韩欧美一区二区三区在线观看| 国产精品伦人一区二区| 美女大奶头视频| 精品99又大又爽又粗少妇毛片| 18禁黄网站禁片免费观看直播| 91精品国产九色| 欧美bdsm另类| 亚洲图色成人| 爱豆传媒免费全集在线观看| av在线老鸭窝| 免费不卡的大黄色大毛片视频在线观看 | 日韩av不卡免费在线播放| 直男gayav资源| 国产精品精品国产色婷婷| 日本黄色视频三级网站网址| 特大巨黑吊av在线直播| 欧美性猛交黑人性爽| 欧美三级亚洲精品| 中文字幕免费在线视频6| 国产一区二区在线av高清观看| 色5月婷婷丁香| 精品久久久久久久末码| 边亲边吃奶的免费视频| 国产黄色视频一区二区在线观看 |