• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    論醫(yī)學(xué)人工智能的運(yùn)用、倫理風(fēng)險(xiǎn)與規(guī)制

    2022-07-14 06:49陶林
    關(guān)鍵詞:倫理醫(yī)學(xué)機(jī)器人

    ○ 陶林

    (南京醫(yī)科大學(xué) 馬克思主義學(xué)院,江蘇 南京 211166)

    人工智能(Artificial Intelligence 簡(jiǎn)稱(chēng)為AI)的使用,為人類(lèi)未來(lái)嶄新的生活方式打開(kāi)了一扇大門(mén)?!皺C(jī)器人給人類(lèi)帶來(lái)的影響將遠(yuǎn)遠(yuǎn)超過(guò)個(gè)人計(jì)算機(jī)和互聯(lián)網(wǎng)在過(guò)去幾十年間已經(jīng)對(duì)世界造成的改變?!盵1]目前國(guó)內(nèi)學(xué)界對(duì)于人工智能可能導(dǎo)致的各種社會(huì)風(fēng)險(xiǎn)進(jìn)行了相關(guān)研究[2],醫(yī)學(xué)人工智能的倫理風(fēng)險(xiǎn)及其規(guī)制也是當(dāng)前醫(yī)學(xué)倫理學(xué)的研究熱點(diǎn)之一[3]。2017年7月,國(guó)務(wù)院印發(fā)了《新一代人工智能發(fā)展規(guī)劃》,提出發(fā)展智能醫(yī)療,實(shí)現(xiàn)智能影像識(shí)別、病理分型和智能診斷多學(xué)科會(huì)診等。但人工智能的發(fā)展帶有不確定性和風(fēng)險(xiǎn)性,人工智能在醫(yī)學(xué)治療、診斷、預(yù)防等方面得到有效應(yīng)用的同時(shí)客觀上帶來(lái)了一些醫(yī)學(xué)倫理風(fēng)險(xiǎn)。醫(yī)學(xué)人工智能倫理風(fēng)險(xiǎn)的研究“無(wú)論怎么強(qiáng)調(diào)都不過(guò)分”[4],需高度重視人工智能對(duì)人類(lèi)社會(huì)帶來(lái)的重大變革,采取客觀謹(jǐn)慎的心態(tài)對(duì)待醫(yī)學(xué)人工智能可能帶來(lái)的醫(yī)學(xué)倫理風(fēng)險(xiǎn),并制定相應(yīng)對(duì)策有效規(guī)制。

    一、醫(yī)學(xué)人工智能應(yīng)用的現(xiàn)狀

    在醫(yī)學(xué)影像、診斷輔助[5]、健康管理、疾病預(yù)測(cè)等相關(guān)醫(yī)學(xué)領(lǐng)域,人工智能得到廣泛應(yīng)用,新興的醫(yī)學(xué)人工智能技術(shù)產(chǎn)品逐步從模擬性研究轉(zhuǎn)向?qū)嵺`性臨床應(yīng)用,“醫(yī)學(xué)人工智能正在醫(yī)學(xué)影像、醫(yī)學(xué)診斷、藥物研發(fā)、健康管理等領(lǐng)域掀起一場(chǎng)新的創(chuàng)新革命”[6]。從醫(yī)學(xué)領(lǐng)域分類(lèi)看,目前醫(yī)學(xué)人工智能運(yùn)用大致分為六大方面。

    (一)醫(yī)學(xué)人工智能的智能影像運(yùn)用

    2014 年,國(guó)際著名醫(yī)學(xué)影像公司英利蒂克(Enlitic)開(kāi)發(fā)出通過(guò)X光照片和CT掃描圖像識(shí)別惡性腫瘤的軟件,之后相關(guān)人工智能的醫(yī)療影像軟件得到開(kāi)發(fā)和運(yùn)用。目前,人工智能在醫(yī)學(xué)影像領(lǐng)域中應(yīng)用較廣且表現(xiàn)優(yōu)異的是腫瘤影像識(shí)別,“如一種基于乳腺X線(xiàn)鉬靶的AI早期乳腺癌自動(dòng)分類(lèi)技術(shù)區(qū)分腫瘤良性與惡性的準(zhǔn)確率高達(dá)95.83%”[7]。

    (二)醫(yī)學(xué)人工智能的輔助診斷

    人工智能可以輔助醫(yī)生進(jìn)行病情診斷,增加診斷結(jié)果的準(zhǔn)確性,可以超越以往專(zhuān)家或醫(yī)療設(shè)備單獨(dú)工作能夠達(dá)到的診斷水平[8]。武警黑龍江省總隊(duì)醫(yī)院對(duì)2018年7月—2019年6月門(mén)診智能導(dǎo)診機(jī)器人應(yīng)用效果進(jìn)行了評(píng)價(jià),發(fā)現(xiàn)智能導(dǎo)診幾乎減輕了分診護(hù)士50%以上的工作量,患者滿(mǎn)意度提高了14%[9]。又如,“以腦卒中為例,將放射科的腦卒中AI應(yīng)用和神經(jīng)內(nèi)科的臨床輔助決策系統(tǒng)融合到移動(dòng)卒中單元中,快速實(shí)現(xiàn)患者的診斷、病情評(píng)估和治療方案推薦,可以為急診醫(yī)生節(jié)省寶貴時(shí)間”[10]。再如,“從數(shù)據(jù)庫(kù)中搜集青光眼的癥狀圖像,將圖像進(jìn)行特征萃取并用于卷積類(lèi)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,其結(jié)果能達(dá)到100%的辨識(shí)準(zhǔn)確率”[11]。

    (三)醫(yī)學(xué)手術(shù)機(jī)器人的運(yùn)用

    醫(yī)學(xué)手術(shù)機(jī)器人已在神經(jīng)外科、腹外科、胸外科、骨科、血管外科等多領(lǐng)域得到廣泛運(yùn)用。1994年首臺(tái)商業(yè)外科手術(shù)機(jī)器人在美國(guó)出現(xiàn),1997年利用這臺(tái)機(jī)器人美國(guó)完成世界首例腹腔鏡下的膽囊切除手術(shù)。2013年上海交通大學(xué)成功研制出第一臺(tái)智能輪椅機(jī)器人。美國(guó)食品藥品監(jiān)督管理局(Food and Drug Administration)已經(jīng)批準(zhǔn)將達(dá)芬奇機(jī)器人手術(shù)系統(tǒng)用于成人和兒童的普通外科、胸外科、泌尿外科、婦產(chǎn)科、頭頸外科以及心臟手術(shù)。2016年首款真正意義上的智能組織自動(dòng)化機(jī)器人(Smart Tissue Autonomous Robort)在美國(guó)誕生[12],標(biāo)志著手術(shù)機(jī)器人正式進(jìn)入自主化階段。表1顯示了近年來(lái)醫(yī)療機(jī)器人的使用熱門(mén)主題。隨著5G技術(shù)的高速發(fā)展,遙控操作、遠(yuǎn)程手術(shù)操作成為可能。2020年,國(guó)際頂級(jí)學(xué)術(shù)期刊《Nature》將醫(yī)療機(jī)器人結(jié)構(gòu)的靈活性、人機(jī)交互技術(shù)的高效性以及遠(yuǎn)程操作技術(shù)列為未來(lái)產(chǎn)業(yè)發(fā)展重點(diǎn)[13]。

    表1 基于 LDA 算法識(shí)別的醫(yī)療機(jī)器人熱點(diǎn)主題[14]

    (四)醫(yī)學(xué)人工智能在健康管理和護(hù)理中的運(yùn)用

    人工智能在健康監(jiān)測(cè)、慢病管理、情緒調(diào)節(jié)、合理膳食指導(dǎo)方面具有一定的優(yōu)勢(shì)。包括:1. 降低疾病風(fēng)險(xiǎn)。人工智能技術(shù)可以利用互聯(lián)網(wǎng)與傳感器等獲取人類(lèi)的飲食、心理、身體健康等多方面的個(gè)體化信息,對(duì)人類(lèi)身體素質(zhì)進(jìn)行綜合評(píng)估,從而提供更科學(xué)的個(gè)性化健康管理方案。2. 高效輔助康復(fù)醫(yī)療。利用智能化穿戴設(shè)備或智能家居可以獲取患者各方面的生理參數(shù)等健康信息[15]。3. 輔助護(hù)理。在國(guó)外人工智能已普遍運(yùn)用于人們的日常生活護(hù)理中,“如日本研究機(jī)構(gòu)Riken開(kāi)發(fā)的機(jī)器人Robear,能將病人從床上抬起,幫助行動(dòng)不便的病人行走、站立等;應(yīng)用AI開(kāi)發(fā)的機(jī)器人能為老年人及癱瘓患者提供喂飯、日常照護(hù)等服務(wù)”[16]。

    (五)醫(yī)學(xué)人工智能運(yùn)用于智能藥物研發(fā)

    借助人工智能深度學(xué)習(xí)和大數(shù)據(jù)平臺(tái),在智能藥物研發(fā)中醫(yī)學(xué)人工智能具有一定的優(yōu)勢(shì)。在新藥研發(fā)、老藥新用、藥物篩選、藥物副作用動(dòng)態(tài)監(jiān)測(cè)等方面,醫(yī)學(xué)人工智能可對(duì)較有可能成為藥物的化合物進(jìn)行虛擬高通量篩選,預(yù)測(cè)化合物的活性。在臨床試驗(yàn)階段,醫(yī)學(xué)人工智能可對(duì)受試者進(jìn)行精準(zhǔn)挖掘,對(duì)疾病數(shù)據(jù)進(jìn)行深度研究。因此,人工智能運(yùn)用于藥物研發(fā)可以節(jié)約研發(fā)成本,如某公司基于人工智能系統(tǒng)能夠比傳統(tǒng)方法節(jié)省3/4時(shí)間和成本得到靶點(diǎn)藥物研發(fā)的新候選藥物[17]。

    (六)醫(yī)學(xué)人工智能在新冠肺炎疫情的診斷和可視化監(jiān)控中的運(yùn)用

    在國(guó)內(nèi)新冠肺炎疫情防控中,醫(yī)學(xué)人工智能得到了應(yīng)用和推廣,在有效精準(zhǔn)防控疫情方面作出了一定的貢獻(xiàn)。人工智能借助大數(shù)據(jù)技術(shù)可以通過(guò)影像識(shí)別、自動(dòng)體溫檢測(cè)和病毒溯源等輔助新冠肺炎診治以及疫情監(jiān)測(cè)預(yù)警。基于人工智能的疫情監(jiān)控云平臺(tái)監(jiān)測(cè)預(yù)警、疫情地圖、確診及密切接觸人員軌跡追蹤、人群流動(dòng)監(jiān)測(cè)等預(yù)警關(guān)鍵技術(shù),人工智能在減少人力成本、降低感染風(fēng)險(xiǎn)的同時(shí)可以顯著提升抗疫效率。但“因數(shù)據(jù)壁壘、數(shù)據(jù)標(biāo)準(zhǔn)和算法瓶頸等原因,其優(yōu)勢(shì)在抗擊疫情中沒(méi)有得到充分發(fā)揮”[18]。

    二、醫(yī)學(xué)人工智能倫理風(fēng)險(xiǎn)的困境

    (一)患者隱私權(quán)的保護(hù)缺失

    大數(shù)據(jù)和人工智能應(yīng)用于醫(yī)學(xué)治療,患者的相關(guān)信息資料會(huì)被保存在系統(tǒng)中,包括姓名、家庭住址、聯(lián)系方式、工資收入的銀行卡號(hào)、社??ㄌ?hào)、病史、用藥情況、付費(fèi)情況等等。這樣做一方面方便醫(yī)生了解患者相關(guān)信息以做出及時(shí)診斷,另一方面則存在患者信息泄露的風(fēng)險(xiǎn)。因?yàn)榛颊叩男畔⒈槐4嬖卺t(yī)院的系統(tǒng)中,但目前并沒(méi)有相關(guān)法律法規(guī)規(guī)定醫(yī)生和醫(yī)院必須對(duì)患者信息進(jìn)行保護(hù)。在我國(guó)現(xiàn)有法律法規(guī)中,還沒(méi)有專(zhuān)門(mén)的隱私權(quán)保護(hù)法,僅《中華人民共和國(guó)民法典》《中華人民共和國(guó)侵權(quán)責(zé)任法》《中華人民共和國(guó)執(zhí)業(yè)醫(yī)師法》《中華人民共和國(guó)護(hù)士管理辦法》等部分法律條文涉及隱私權(quán)保護(hù),且這些法律條文的規(guī)定也比較籠統(tǒng)。如果患者的信息被醫(yī)護(hù)員工或者商業(yè)公司用于商業(yè)用途,患者將遭受公民隱私權(quán)嚴(yán)重侵犯等不必要的風(fēng)險(xiǎn),如患者或因某一病史而受到就業(yè)歧視,或在購(gòu)買(mǎi)相關(guān)保險(xiǎn)產(chǎn)品時(shí)受到限制。

    (二)醫(yī)者主體的模糊和人工智能主體資格認(rèn)定的爭(zhēng)論

    在醫(yī)學(xué)人工智能得到逐步運(yùn)用的同時(shí),學(xué)術(shù)界和醫(yī)學(xué)界關(guān)于醫(yī)者主體的模糊和人工智能主體資格認(rèn)定的問(wèn)題產(chǎn)生了爭(zhēng)論,其中醫(yī)學(xué)人工智能未來(lái)能否取代醫(yī)生成為爭(zhēng)論的焦點(diǎn)之一。一些學(xué)者認(rèn)為雖然目前人工智能尚處于低級(jí)階段,但是人工智能具有深度學(xué)習(xí)和進(jìn)化的特征,因此從發(fā)展趨勢(shì)看,人工智能的主體資格認(rèn)定將在不久的將來(lái)成為法學(xué)的熱門(mén)話(huà)題。從世界范圍看,一些國(guó)家已經(jīng)立法,同意人工智能機(jī)器人具備公民資格。如2017年10月25日,機(jī)器人Sophia(索菲亞)在沙特阿拉伯獲得國(guó)籍,成為首位具有公民資格的機(jī)器人。從醫(yī)學(xué)臨床中遠(yuǎn)程醫(yī)療、機(jī)器篩查、手術(shù)機(jī)器人等的運(yùn)用可以看出,人工智能具備效率較高、不會(huì)疲勞等優(yōu)勢(shì)?!?018年在全球首場(chǎng)神經(jīng)影像人機(jī)競(jìng)賽中,由中國(guó)國(guó)家神經(jīng)疾病AI研究中心研制的醫(yī)學(xué)AI機(jī)器人,成功擊敗了由全球25名神經(jīng)系統(tǒng)疾病診斷專(zhuān)家組成的團(tuán)隊(duì)?!盵19]未來(lái)人工智能機(jī)器人能否取代醫(yī)生實(shí)際上涉及哲學(xué)的重要命題,即機(jī)器人未來(lái)是否會(huì)取代人類(lèi)。從馬克思主義的科技哲學(xué)思想看,人與機(jī)器的關(guān)系應(yīng)該是辯證統(tǒng)一的,機(jī)器的發(fā)明和使用是為人類(lèi)造福,機(jī)器是工具,人才是目的;從醫(yī)學(xué)技術(shù)自身看,治理診斷患者不僅需要專(zhuān)業(yè)的醫(yī)學(xué)知識(shí)積累,還需要長(zhǎng)期的臨床實(shí)踐,醫(yī)生和護(hù)士的醫(yī)療技術(shù)不僅僅是顯性知識(shí),還包括隱性知識(shí),醫(yī)學(xué)人工智能只能是醫(yī)生或者護(hù)士的助手。人工智能通過(guò)對(duì)大量數(shù)據(jù)的辨識(shí)和分析計(jì)算,能夠給醫(yī)生提供具有一定參考性的常規(guī)醫(yī)療方案,但是醫(yī)生對(duì)于患者的診斷和救治,不能完全依賴(lài)于技術(shù),因?yàn)樵趯?shí)際工作中,患者的病情錯(cuò)綜復(fù)雜,不同的病情,診斷的方法也不同,再精密的醫(yī)療技術(shù)數(shù)據(jù)分析也不能代替醫(yī)生的人腦,醫(yī)生需要根據(jù)具體病情做出綜合判斷。

    (三)算法歧視風(fēng)險(xiǎn)

    “算法是AI的核心”[20],若算法出現(xiàn)差錯(cuò),就會(huì)使得人工智能天生地對(duì)特定人群產(chǎn)生“算法歧視”。但“即便算法公開(kāi),也并不能解決算法歧視等問(wèn)題”[21]。也就是說(shuō),從目前人工智能發(fā)展程度看,算法自身存在的缺陷,可能導(dǎo)致侵犯患者病情知情權(quán)的問(wèn)題,同時(shí)“出現(xiàn)的算法安全和準(zhǔn)確性問(wèn)題可能損害患者的身體健康”[22]。尤其是當(dāng)“算法歧視”針對(duì)特定人群或者一些疾病患者時(shí),會(huì)造成影響社會(huì)公正的后果,從而產(chǎn)生特定醫(yī)患人群的標(biāo)簽化效應(yīng),進(jìn)而可能導(dǎo)致在社會(huì)就業(yè)和職業(yè)發(fā)展中“限制或排除他們的權(quán)利或機(jī)會(huì)”[23]。

    (四)醫(yī)學(xué)人工智能的技術(shù)依賴(lài)

    醫(yī)學(xué)人工智能在使用過(guò)程中,應(yīng)該只是一種輔助手段,但是在實(shí)踐運(yùn)用中易出現(xiàn)醫(yī)生對(duì)人工智能技術(shù)依賴(lài)的現(xiàn)象。多數(shù)臨床場(chǎng)景下,人工智能系統(tǒng)提供的結(jié)果僅作為參考信息?!熬S也納醫(yī)科大學(xué)皮膚科探究了醫(yī)師如何采納人工智能系統(tǒng)提供的診斷建議,得到如下結(jié)論:①經(jīng)驗(yàn)越少的醫(yī)師越容易相信人工智能診斷結(jié)果而非醫(yī)師的診斷(即使醫(yī)師的診斷是正確的);②專(zhuān)家在信心充分時(shí)不易根據(jù)人工智能結(jié)果改變自己的判斷;③不同經(jīng)驗(yàn)水平醫(yī)師在缺乏信心時(shí)均易接受人工智能的診斷建議;④若醫(yī)師過(guò)度依賴(lài)人工智能系統(tǒng)的診斷結(jié)果,可能導(dǎo)致隨著人工智能系統(tǒng)的誤診而改變自己正確判斷的結(jié)果?!盵24]

    (五)患者自主性的缺失

    醫(yī)學(xué)人工智能的使用,雖然帶來(lái)便捷診斷的益處,但是也可能造成患者自主性的缺失。第一,醫(yī)患關(guān)系在人工智能時(shí)代需要重新構(gòu)建。例如老人護(hù)理機(jī)器人的發(fā)展和使用可能會(huì)通過(guò)限制老人的活動(dòng)范圍和種類(lèi)而威脅和減少老人的積極自由。再例如,在傳統(tǒng)的醫(yī)患關(guān)系中,醫(yī)生重視和患者面對(duì)面的溝通,但是運(yùn)用人工智能之后,醫(yī)生要花費(fèi)更多的時(shí)間閱讀患者的電子病例,可能忽視甚至壓縮和患者的交流時(shí)間。借助于醫(yī)學(xué)人工智能,一些診斷可能被設(shè)計(jì)出來(lái),患者只需要按照程序就可以看病并做出診斷。從這種意義上看,患者的自主意識(shí)在缺失,患者可能缺少相應(yīng)的生命關(guān)懷和自我認(rèn)知。第二,患者知情同意權(quán)可能被侵害?!爸橥猓↖nformed Consent),是指患者在獲得醫(yī)師提供其醫(yī)療決定所必需的足夠信息的基礎(chǔ)上,做出醫(yī)療同意的過(guò)程?!盵25]借助于大數(shù)據(jù)和深度學(xué)習(xí),一些病癥可能會(huì)被醫(yī)學(xué)人工智能及時(shí)檢測(cè),醫(yī)生根據(jù)人工智能的檢測(cè)結(jié)果進(jìn)行診治,在這個(gè)過(guò)程中患者的知情同意權(quán)可能被忽視。應(yīng)將醫(yī)學(xué)人工智能的使用納入知情同意程序,在運(yùn)用人工智能,尤其是使用機(jī)器人診斷及手術(shù)時(shí),應(yīng)將相關(guān)情況和可能導(dǎo)致的風(fēng)險(xiǎn)及時(shí)告知患者及家屬。據(jù)調(diào)查,“國(guó)內(nèi)患者更能接受的醫(yī)療AI應(yīng)用場(chǎng)景是掛號(hào)、繳費(fèi)、查詢(xún)體檢報(bào)告等醫(yī)療后勤環(huán)節(jié),接受率達(dá)到84.53%,而對(duì)于醫(yī)生使用人工智能進(jìn)行診斷和治療,接受率則僅為3.59%;在診斷、治療環(huán)節(jié),醫(yī)療人工智能介入的程度越高,患者的接受度越低”[26]。

    (六)醫(yī)療責(zé)任認(rèn)定的難題

    在傳統(tǒng)的醫(yī)患關(guān)系中,患者具有知情權(quán),醫(yī)療事故認(rèn)定的對(duì)象主要是醫(yī)護(hù)員工,是人。隨著醫(yī)學(xué)人工智能的使用,患者可能在手術(shù)時(shí)面對(duì)的是人工智能醫(yī)生,這可能導(dǎo)致醫(yī)療事故責(zé)任認(rèn)定的困難。即一旦發(fā)生醫(yī)療事故,責(zé)任由誰(shuí)來(lái)承擔(dān)?是做手術(shù)的機(jī)器人,設(shè)計(jì)人工智能的研究人員,還是使用人工智能進(jìn)行輔助治療和診斷的相關(guān)醫(yī)護(hù)人員?究竟是完全責(zé)任,還是連帶責(zé)任?目前看,醫(yī)學(xué)人工智能運(yùn)用中的醫(yī)療責(zé)任方面的立法比較薄弱,責(zé)任界定模糊,爭(zhēng)論也比較多。在當(dāng)前的醫(yī)學(xué)人工智能運(yùn)用中,即使人工智能實(shí)施了手術(shù),手術(shù)的主體依舊為醫(yī)生,醫(yī)生仍處于主導(dǎo)地位。未來(lái)隨著人工智能技術(shù)的不斷發(fā)展,人工智能可能出現(xiàn)脫離設(shè)計(jì)主體設(shè)計(jì)目的的活動(dòng),那將會(huì)帶來(lái)更多的法律和倫理責(zé)任難題。

    通過(guò)以上分析可以看出,患者隱私權(quán)的保護(hù)缺失、醫(yī)者主體的模糊和人工智能主體資格認(rèn)定的爭(zhēng)論、算法歧視風(fēng)險(xiǎn)、技術(shù)依賴(lài)是醫(yī)學(xué)人工智能面臨的主要倫理風(fēng)險(xiǎn)。這些風(fēng)險(xiǎn)并非人工智能在醫(yī)學(xué)領(lǐng)域應(yīng)用中面臨的獨(dú)有問(wèn)題,而是其應(yīng)用于各個(gè)領(lǐng)域都面臨的普遍性問(wèn)題。具體到醫(yī)學(xué)領(lǐng)域,這些問(wèn)題究其本質(zhì)涉及的是醫(yī)患關(guān)系和醫(yī)療責(zé)任的認(rèn)定,屬于醫(yī)學(xué)倫理的經(jīng)典問(wèn)題,只是醫(yī)學(xué)人工智能的運(yùn)用,將這些問(wèn)題放大和凸顯。醫(yī)學(xué)人工智能倫理風(fēng)險(xiǎn)必須得到高度重視并加以有效規(guī)制。

    三、醫(yī)學(xué)人工智能倫理風(fēng)險(xiǎn)的規(guī)制

    基于協(xié)同治理的理論和分析框架,提出以下人工智能醫(yī)學(xué)倫理風(fēng)險(xiǎn)規(guī)制措施。

    (一)成立專(zhuān)門(mén)的倫理組織進(jìn)行相關(guān)倫理認(rèn)定

    目前,歐盟、德國(guó)、新加坡等相繼成立了人工智能倫理委員會(huì),對(duì)人工智能的倫理風(fēng)險(xiǎn)問(wèn)題進(jìn)行審查。“為了確保安全,設(shè)立委員會(huì)來(lái)審查資源和評(píng)估項(xiàng)目至關(guān)重要。”[27]可借鑒國(guó)外經(jīng)驗(yàn),建立全國(guó)和全省統(tǒng)一的倫理審查委員會(huì)。倫理審查委員會(huì)組成人員包含相關(guān)學(xué)科學(xué)者、政府部門(mén)官員、相關(guān)企業(yè)代表、相關(guān)社會(huì)組織成員。倫理審查委員會(huì)針對(duì)醫(yī)學(xué)人工智能涉及的各種風(fēng)險(xiǎn)難題,如決策算法、就業(yè)、隱私侵犯、責(zé)任認(rèn)定、創(chuàng)新原則等重大問(wèn)題進(jìn)行定期論證,通過(guò)加強(qiáng)相關(guān)社會(huì)組織、各類(lèi)學(xué)科專(zhuān)家學(xué)者的對(duì)話(huà)與協(xié)商尋找協(xié)同治理的最佳方案。

    (二)堅(jiān)持構(gòu)建人工智能醫(yī)學(xué)倫理的五大原則

    1942年阿西莫夫在科幻小說(shuō)《我,機(jī)器人》中提出著名的“機(jī)器人三法則”。2017年電氣電子工程師協(xié)會(huì)發(fā)布了《人工智能設(shè)計(jì)的倫理規(guī)則》(第2版),強(qiáng)調(diào)人權(quán)、福利、問(wèn)責(zé)、透明的原則。2019年北京智源人工智能研究院發(fā)布的《人工智能北京共識(shí)》,提出了隱私保密、安全、透明度、問(wèn)責(zé)制、公平性原則。借鑒以上學(xué)者和研究機(jī)構(gòu)頒布的原則,本文提出以下五項(xiàng)基本原則。

    一是倫理先于技術(shù)原則。人工智能的字面意義即人造的智能,其出發(fā)點(diǎn)是為人類(lèi)服務(wù),因此應(yīng)該堅(jiān)持倫理優(yōu)先的原則,人工智能不得損害人類(lèi)的安全和健康。以救治患者為例,醫(yī)療診斷應(yīng)該依據(jù)醫(yī)學(xué)人工智能系統(tǒng)給出的救治方案,還是以具有豐富臨床經(jīng)驗(yàn)的醫(yī)生建議為標(biāo)準(zhǔn)?對(duì)于這一問(wèn)題,應(yīng)堅(jiān)持倫理優(yōu)先技術(shù)的原則,重視醫(yī)生對(duì)于患者的人文關(guān)懷,擺脫其對(duì)于醫(yī)療技術(shù)的依賴(lài)。

    二是以人為本的原則,人優(yōu)于機(jī)器。雖然人工智能具有深度學(xué)習(xí)能力,但無(wú)論現(xiàn)在還是未來(lái),人工智能醫(yī)學(xué)應(yīng)用都應(yīng)堅(jiān)持以人為本的原則,人是目的,人工智能本質(zhì)上還是一種工具,使用工具的目的在于保障醫(yī)療事業(yè)的發(fā)展、患者的健康,幫助醫(yī)生更好地診斷和服務(wù)患者。人工智能不得侵犯公眾的合法權(quán)益,相關(guān)患者的隱私權(quán)應(yīng)該得到保護(hù),醫(yī)學(xué)人工智能應(yīng)該是安全的、可控的,偏離以人為本這一原則的任何醫(yī)學(xué)人工智能在沒(méi)有倫理審查之前都不得適用于臨床。

    三是公平性原則。公平性原則“包含程序向度與實(shí)質(zhì)向度”[28]?;颊邞?yīng)該擁有知情權(quán),且不應(yīng)被歧視,公平享受相關(guān)的醫(yī)療服務(wù)。因此在醫(yī)學(xué)人工智能使用中,需要擺脫資本的邏輯,不能讓患者承擔(dān)過(guò)度檢查的高昂診斷費(fèi)用。

    四是法治和德治的原則。一方面通過(guò)相關(guān)法律制度規(guī)范人工智能的使用,界定責(zé)任,保護(hù)患者隱私權(quán);另一方面則需要德治,培育和健全相關(guān)醫(yī)療人員的倫理修養(yǎng)和法律素養(yǎng),使其充分認(rèn)識(shí)醫(yī)學(xué)人工智能的各種風(fēng)險(xiǎn),自覺(jué)遵守醫(yī)療道德規(guī)范。

    五是漸進(jìn)審慎的原則。對(duì)于人工智能的技術(shù)風(fēng)險(xiǎn)應(yīng)該堅(jiān)持積極審慎的態(tài)度,不可盲目樂(lè)觀,認(rèn)為人工智能很快會(huì)取代人腦,也不要消極悲觀,認(rèn)為人工智能終將毀滅人類(lèi)。跟蹤人工智能技術(shù)的進(jìn)展,保持動(dòng)態(tài)的調(diào)整的原則,相關(guān)技術(shù)成熟之后要對(duì)其進(jìn)行風(fēng)險(xiǎn)倫理評(píng)估,然后才能逐步應(yīng)用于醫(yī)療實(shí)踐中。

    (三)健全相關(guān)的法律制度

    首先,通過(guò)立法保障患者的權(quán)益,對(duì)于侵犯患者隱私權(quán)責(zé)任的追究、醫(yī)患糾紛的處理做到有法可依,有法必依。醫(yī)用軟件包含個(gè)人醫(yī)療信息的搜集與儲(chǔ)存,管理不當(dāng)可能引發(fā)患者隱私權(quán)的泄密。2016年頒布的《中華人民共和國(guó)網(wǎng)絡(luò)安全法》雖然在個(gè)人信息保護(hù)方面提出了具體要求,但并未針對(duì)隱私權(quán)保護(hù)做出具體規(guī)定。《中華人民共和國(guó)侵權(quán)責(zé)任法》將隱私權(quán)的保護(hù)歸結(jié)為人格權(quán)的保護(hù)。目前隱私權(quán)保護(hù)的相關(guān)法律還不健全,迫切需要制定和頒布一部統(tǒng)一的隱私權(quán)保護(hù)法。隱私保護(hù)法需對(duì)隱私權(quán)的相關(guān)界限做出規(guī)定,政府部門(mén)和醫(yī)療機(jī)構(gòu)除了特殊需要,不得泄露患者的隱私?!敖㈦[私數(shù)據(jù)保護(hù)庫(kù),嚴(yán)格規(guī)范對(duì)隱私數(shù)據(jù)存取的行為,切實(shí)保護(hù)隱私安全?!盵29]在保護(hù)公眾的知情權(quán)的同時(shí)保障患者的隱私權(quán),堅(jiān)持公共數(shù)據(jù)的信息共享和嚴(yán)禁用于商業(yè)用途的統(tǒng)一;對(duì)數(shù)據(jù)儲(chǔ)存技術(shù)不佳及管理不當(dāng)、醫(yī)護(hù)從業(yè)人員泄密等相關(guān)情況進(jìn)行法律規(guī)制,嚴(yán)肅追究相關(guān)法律責(zé)任;對(duì)醫(yī)療事故的責(zé)任認(rèn)定進(jìn)行規(guī)定,包括人工智能設(shè)計(jì)者、生產(chǎn)者和使用者的責(zé)任歸屬問(wèn)題。

    其次,人工智能的法律人格問(wèn)題。人工智能是否具有法律人格的問(wèn)題,尚存在爭(zhēng)議。如果人工智能具備獨(dú)立人格,則其應(yīng)該獨(dú)立承擔(dān)相應(yīng)的道德和法律責(zé)任;如果人工智能不具備獨(dú)立人格,則相關(guān)道德和法律責(zé)任需要由研發(fā)者、運(yùn)營(yíng)者,或是使用者承擔(dān)。對(duì)此可以應(yīng)用現(xiàn)有法律中民法和刑法的相關(guān)條款進(jìn)行規(guī)制:“在現(xiàn)行法律制度下,人工智能作為權(quán)利客體并無(wú)異議,但不能被確定為權(quán)利主體,也不能賦予姓名權(quán)、肖像權(quán)等人格權(quán)?!盵30]人工智能發(fā)展到高級(jí)階段,當(dāng)人工智能可以進(jìn)化,具有超越甚至具有人的意識(shí)時(shí),可以考慮動(dòng)態(tài)地更新完善相關(guān)法律制度。

    再次,對(duì)醫(yī)學(xué)人工智能的發(fā)展全過(guò)程進(jìn)行法律監(jiān)管。在事前,堅(jiān)持預(yù)防的原則,明確相關(guān)的主體責(zé)任。在事中,實(shí)時(shí)監(jiān)測(cè)醫(yī)學(xué)人工智能各個(gè)系列產(chǎn)品,定期測(cè)評(píng)產(chǎn)品的安全性、風(fēng)險(xiǎn)性、危害性等。在事后,加強(qiáng)監(jiān)督,運(yùn)用相關(guān)的法律法規(guī)加強(qiáng)對(duì)于廠家、醫(yī)院、政府部門(mén)的監(jiān)督,明確其責(zé)任,加大技術(shù)濫用的處罰力度。針對(duì)醫(yī)療行業(yè)的特殊性,國(guó)家和相關(guān)機(jī)構(gòu)應(yīng)實(shí)行醫(yī)療機(jī)器人強(qiáng)制登記制度,以便溯源,從而實(shí)現(xiàn)追責(zé)和有效監(jiān)管。

    最后,頒布相關(guān)法律,通過(guò)透明性原則消除算法歧視問(wèn)題?!?017年,美國(guó)計(jì)算機(jī)學(xué)會(huì)公眾政策委員會(huì)公布了知情原則、質(zhì)詢(xún)和申訴原則、算法責(zé)任認(rèn)定原則、解釋原則、數(shù)據(jù)來(lái)源披露原則和可審計(jì)原則等六項(xiàng)原則。”[31]人工智能醫(yī)學(xué)算法屬于商業(yè)秘密的問(wèn)題,可以通過(guò)相關(guān)法律,強(qiáng)調(diào)由相關(guān)醫(yī)學(xué)人工智能研發(fā)系統(tǒng)自我規(guī)制。這種自我規(guī)制,“通過(guò)數(shù)據(jù)保護(hù)影響評(píng)估”和“經(jīng)由設(shè)計(jì)的數(shù)據(jù)保護(hù)”等方式來(lái)履行數(shù)據(jù)保護(hù)義務(wù)[32]。此外還需要通過(guò)相關(guān)法律規(guī)定研發(fā)公司的社會(huì)責(zé)任披露機(jī)制,包括定期向政府部門(mén)或者公眾公布相關(guān)的系統(tǒng)研發(fā)進(jìn)展情況、可能遇到的風(fēng)險(xiǎn)和風(fēng)險(xiǎn)應(yīng)對(duì)措施方案等。

    (四)培育醫(yī)護(hù)人員的醫(yī)學(xué)倫理道德

    “人是唯一的道德主體,只有具有理性思維和決策能力、能獨(dú)立承擔(dān)責(zé)任的理性主體才具有道德主體的地位。”[33]醫(yī)護(hù)人員是醫(yī)學(xué)人工智能的使用者,因此培育醫(yī)護(hù)人員的醫(yī)學(xué)倫理道德是有效規(guī)制醫(yī)學(xué)人工智能風(fēng)險(xiǎn)的重要渠道。具體做法包括:強(qiáng)化醫(yī)護(hù)人員的倫理責(zé)任意識(shí)和法律意識(shí),提高其科技素養(yǎng)和道德修養(yǎng),增強(qiáng)其保護(hù)患者隱私權(quán)的意識(shí);通過(guò)定期教育培訓(xùn)讓醫(yī)生了解人工智能的最新進(jìn)展,認(rèn)識(shí)到目前醫(yī)學(xué)人工智能僅僅是醫(yī)生的助手和參謀,不會(huì)完全取代醫(yī)生的職業(yè),在治療的過(guò)程中,醫(yī)生一方面可以合理借助人工智能機(jī)器人進(jìn)行治療,另一方面則可以利用節(jié)省出來(lái)的時(shí)間加強(qiáng)醫(yī)患溝通,緩解患者心理壓力;在醫(yī)藥類(lèi)大學(xué)設(shè)置人工智能課程,較早地培養(yǎng)醫(yī)學(xué)大學(xué)生尤其是臨床醫(yī)學(xué)等專(zhuān)業(yè)的醫(yī)學(xué)大學(xué)生的醫(yī)學(xué)倫理道德。

    (五)構(gòu)建人工智能的第三方風(fēng)險(xiǎn)評(píng)估機(jī)制

    建立第三方風(fēng)險(xiǎn)評(píng)估機(jī)制,即組建包括醫(yī)學(xué)專(zhuān)家、人工智能專(zhuān)家、哲學(xué)家、社會(huì)學(xué)家、倫理學(xué)家等的專(zhuān)家委員會(huì),由其對(duì)人工智能應(yīng)用中的各種風(fēng)險(xiǎn)進(jìn)行風(fēng)險(xiǎn)等級(jí)評(píng)估和綜合評(píng)估。具體包括:第一,借助大數(shù)據(jù)平臺(tái),對(duì)醫(yī)學(xué)人工智能以及相關(guān)案例和風(fēng)險(xiǎn)進(jìn)行綜合分析,實(shí)現(xiàn)風(fēng)險(xiǎn)評(píng)估機(jī)制的智能化。第二,構(gòu)建參與式風(fēng)險(xiǎn)評(píng)估模式,吸納各類(lèi)專(zhuān)家、公眾進(jìn)行風(fēng)險(xiǎn)評(píng)估,對(duì)醫(yī)學(xué)人工智能可能存在的技術(shù)風(fēng)險(xiǎn)、漏洞、責(zé)任追究進(jìn)行分析,定期向政府部門(mén)和生產(chǎn)廠家遞交報(bào)告。第三,加強(qiáng)信息共享和國(guó)際合作。人工智能醫(yī)學(xué)倫理風(fēng)險(xiǎn)屬于全球治理問(wèn)題,可以合理借鑒不同國(guó)家人工智能規(guī)則的相關(guān)制度、標(biāo)準(zhǔn)、法律,進(jìn)行綜合歸納和分析。有些信息可以實(shí)現(xiàn)共享,積極尋求醫(yī)學(xué)人工智能的全球治理合作。第四,建立系統(tǒng)的風(fēng)險(xiǎn)分析框架,包括醫(yī)學(xué)人工智能風(fēng)險(xiǎn)識(shí)別、評(píng)估、處理、監(jiān)控、反饋等機(jī)制。明確各責(zé)任主體的不同責(zé)任。通過(guò)定期評(píng)估,不斷強(qiáng)化醫(yī)學(xué)人工智能產(chǎn)品的風(fēng)險(xiǎn)等級(jí),為政府部門(mén)和相關(guān)企事業(yè)單位決策提供有效參考。第五,建立包括預(yù)警、信息搜集、預(yù)案措施、風(fēng)險(xiǎn)等級(jí)的機(jī)制,實(shí)現(xiàn)從單一的風(fēng)險(xiǎn)評(píng)估到風(fēng)險(xiǎn)評(píng)估、風(fēng)險(xiǎn)溝通和化解機(jī)制的多維構(gòu)建。

    四、結(jié)語(yǔ)

    現(xiàn)階段,醫(yī)學(xué)人工智能仍屬輔助性工具,主導(dǎo)權(quán)掌握在人類(lèi)醫(yī)生手中。醫(yī)學(xué)人工智能發(fā)展仍處于初級(jí)階段,除了技術(shù)成熟度有待提升,針對(duì)性的倫理規(guī)范和法律法規(guī)還有待健全。隨著人工智能的發(fā)展,醫(yī)學(xué)人工智能得到不斷升級(jí),其已經(jīng)推動(dòng)了數(shù)字化健康革命,未來(lái)在疾病初篩、輔助和提升人工診斷效率、醫(yī)學(xué)科研前沿探索、智慧醫(yī)院建設(shè)等方面,可以有更大的發(fā)展空間。據(jù)國(guó)際機(jī)器人聯(lián)盟統(tǒng)計(jì)數(shù)據(jù),預(yù)計(jì)到2025年,我國(guó)智能醫(yī)療機(jī)器人市場(chǎng)規(guī)模將突破百億元[34]。但是在以發(fā)展的眼光看待醫(yī)學(xué)人工智能技術(shù)的同時(shí),也要在發(fā)展中保持客觀謹(jǐn)慎的心態(tài),高度重視醫(yī)學(xué)人工智能可能導(dǎo)致的醫(yī)學(xué)倫理風(fēng)險(xiǎn),采取各種有效措施對(duì)醫(yī)學(xué)倫理風(fēng)險(xiǎn)進(jìn)行防范和規(guī)制,在實(shí)踐中豐富和拓展醫(yī)學(xué)人工智能的內(nèi)涵,有效協(xié)調(diào)人機(jī)的辯證關(guān)系,以保障人類(lèi)的福祉為最高目的,提升防控和規(guī)制醫(yī)學(xué)倫理風(fēng)險(xiǎn)的能力,推進(jìn)我國(guó)“人工智能+醫(yī)療”的發(fā)展,為健康中國(guó)貢獻(xiàn)力量。

    猜你喜歡
    倫理醫(yī)學(xué)機(jī)器人
    《心之死》的趣味與倫理焦慮
    本刊可直接使用的醫(yī)學(xué)縮略語(yǔ)(二)
    醫(yī)學(xué)的進(jìn)步
    預(yù)防新型冠狀病毒, 你必須知道的事
    護(hù)生眼中的倫理修養(yǎng)
    倫理批評(píng)與文學(xué)倫理學(xué)
    華語(yǔ)科幻電影中的“倫理性”想象
    機(jī)器人來(lái)幫你
    認(rèn)識(shí)機(jī)器人
    機(jī)器人來(lái)啦
    国产一区二区在线av高清观看| 午夜福利18| 少妇猛男粗大的猛烈进出视频 | 亚洲成人中文字幕在线播放| 三级男女做爰猛烈吃奶摸视频| 久久久久精品国产欧美久久久| 精品欧美国产一区二区三| 最新中文字幕久久久久| 中文字幕av在线有码专区| 内地一区二区视频在线| 亚洲高清免费不卡视频| 此物有八面人人有两片| 午夜日韩欧美国产| 最新在线观看一区二区三区| 99久久无色码亚洲精品果冻| 国产伦精品一区二区三区视频9| 尤物成人国产欧美一区二区三区| 国产精华一区二区三区| 超碰av人人做人人爽久久| 亚洲av免费在线观看| 婷婷精品国产亚洲av在线| 国产成人一区二区在线| 小蜜桃在线观看免费完整版高清| 欧美成人一区二区免费高清观看| 亚洲最大成人中文| 欧美另类亚洲清纯唯美| 精品人妻熟女av久视频| 激情 狠狠 欧美| 国产精品永久免费网站| 热99在线观看视频| 大型黄色视频在线免费观看| 亚洲国产高清在线一区二区三| 麻豆久久精品国产亚洲av| 国产精品一二三区在线看| 一本久久中文字幕| 欧美丝袜亚洲另类| 色视频www国产| 久久久久久久久久久丰满| 日韩欧美在线乱码| 你懂的网址亚洲精品在线观看 | 亚洲精品国产成人久久av| 在线观看66精品国产| 天堂影院成人在线观看| 尾随美女入室| 日韩成人伦理影院| 看十八女毛片水多多多| 亚洲成av人片在线播放无| 国产中年淑女户外野战色| 欧美zozozo另类| 欧美一区二区国产精品久久精品| 99久久精品一区二区三区| 午夜福利成人在线免费观看| 给我免费播放毛片高清在线观看| 国产亚洲精品久久久com| 偷拍熟女少妇极品色| 欧美日本亚洲视频在线播放| 亚洲成人精品中文字幕电影| 亚洲av.av天堂| 噜噜噜噜噜久久久久久91| 久久久久久久久久黄片| 亚洲av第一区精品v没综合| 久久久久国内视频| 中文字幕精品亚洲无线码一区| 精品99又大又爽又粗少妇毛片| 淫妇啪啪啪对白视频| 两性午夜刺激爽爽歪歪视频在线观看| 精品人妻偷拍中文字幕| 亚洲av免费在线观看| 日韩成人av中文字幕在线观看 | 蜜桃久久精品国产亚洲av| 久久精品国产鲁丝片午夜精品| 国产单亲对白刺激| 国产激情偷乱视频一区二区| 人人妻人人澡人人爽人人夜夜 | 成人美女网站在线观看视频| 成年版毛片免费区| 蜜臀久久99精品久久宅男| 免费av毛片视频| 十八禁网站免费在线| 国产精品女同一区二区软件| 别揉我奶头~嗯~啊~动态视频| 极品教师在线视频| 久久久欧美国产精品| 国内精品一区二区在线观看| 久久久午夜欧美精品| 菩萨蛮人人尽说江南好唐韦庄 | 激情 狠狠 欧美| 最后的刺客免费高清国语| 日本黄色片子视频| 日韩一区二区视频免费看| 成年版毛片免费区| 成年女人看的毛片在线观看| 在线观看免费视频日本深夜| 午夜福利18| 亚洲av成人av| 99在线人妻在线中文字幕| 亚洲精品久久国产高清桃花| 亚洲精品456在线播放app| 欧美日本视频| 欧美+亚洲+日韩+国产| 日韩欧美一区二区三区在线观看| 成人午夜高清在线视频| 美女高潮的动态| 搞女人的毛片| 欧美又色又爽又黄视频| 久久久午夜欧美精品| 日韩三级伦理在线观看| 国产成人影院久久av| 少妇熟女欧美另类| 大香蕉久久网| 午夜福利在线观看免费完整高清在 | 久久九九热精品免费| 成年免费大片在线观看| 免费观看精品视频网站| 国产极品精品免费视频能看的| 日韩av不卡免费在线播放| 免费av毛片视频| 日本爱情动作片www.在线观看 | 不卡视频在线观看欧美| 身体一侧抽搐| 亚洲一级一片aⅴ在线观看| 日本免费a在线| 国产精品美女特级片免费视频播放器| 男女那种视频在线观看| 三级男女做爰猛烈吃奶摸视频| 免费不卡的大黄色大毛片视频在线观看 | 亚洲aⅴ乱码一区二区在线播放| 高清毛片免费观看视频网站| 中文在线观看免费www的网站| 国产成人freesex在线 | 男人和女人高潮做爰伦理| 亚洲人与动物交配视频| 欧美最黄视频在线播放免费| 日本黄大片高清| 少妇丰满av| 中文字幕熟女人妻在线| 能在线免费观看的黄片| 丰满乱子伦码专区| 最近在线观看免费完整版| 欧美极品一区二区三区四区| 给我免费播放毛片高清在线观看| 欧美潮喷喷水| 在线观看av片永久免费下载| 亚洲av.av天堂| 免费人成视频x8x8入口观看| 简卡轻食公司| 最近最新中文字幕大全电影3| 三级国产精品欧美在线观看| 亚洲精品色激情综合| 日本爱情动作片www.在线观看 | 天堂av国产一区二区熟女人妻| 亚洲欧美日韩东京热| 老熟妇乱子伦视频在线观看| av天堂在线播放| 亚洲av免费在线观看| 欧美在线一区亚洲| 99久国产av精品| 国产在线男女| 午夜福利在线在线| 久久久精品欧美日韩精品| 99在线视频只有这里精品首页| 亚洲人成网站在线播| 国产精品不卡视频一区二区| 一进一出抽搐gif免费好疼| 欧美bdsm另类| 精品免费久久久久久久清纯| 啦啦啦啦在线视频资源| 亚洲图色成人| 天天一区二区日本电影三级| 国产精品无大码| 女生性感内裤真人,穿戴方法视频| 插阴视频在线观看视频| 天堂影院成人在线观看| 中文亚洲av片在线观看爽| av国产免费在线观看| 国产一区二区三区在线臀色熟女| 美女 人体艺术 gogo| 国产成人a区在线观看| 大香蕉久久网| 99热网站在线观看| 俺也久久电影网| 尤物成人国产欧美一区二区三区| av.在线天堂| 精品久久久久久久久亚洲| 九九热线精品视视频播放| 国内精品宾馆在线| 欧美一级a爱片免费观看看| 在线天堂最新版资源| 亚洲美女视频黄频| 国产成人a∨麻豆精品| 欧美成人免费av一区二区三区| 亚洲性久久影院| 国产精品1区2区在线观看.| 亚洲欧美日韩无卡精品| 国产黄色小视频在线观看| 国产大屁股一区二区在线视频| 亚洲专区国产一区二区| 国产高清激情床上av| 一区二区三区四区激情视频 | 成人无遮挡网站| 又爽又黄无遮挡网站| 老熟妇乱子伦视频在线观看| 亚洲自偷自拍三级| 国产精品嫩草影院av在线观看| 日韩欧美国产在线观看| 三级男女做爰猛烈吃奶摸视频| 国产精品av视频在线免费观看| 国产高清有码在线观看视频| 内地一区二区视频在线| 欧美激情久久久久久爽电影| 免费观看在线日韩| 精品免费久久久久久久清纯| 人妻久久中文字幕网| 亚洲欧美日韩东京热| 亚洲精品一区av在线观看| 久久精品综合一区二区三区| 亚洲成a人片在线一区二区| 久久久欧美国产精品| 蜜臀久久99精品久久宅男| 听说在线观看完整版免费高清| 在线免费观看不下载黄p国产| 天堂av国产一区二区熟女人妻| 日韩av不卡免费在线播放| 国产高清激情床上av| 51国产日韩欧美| 波多野结衣巨乳人妻| 大型黄色视频在线免费观看| 亚洲最大成人av| 乱系列少妇在线播放| 国产精品乱码一区二三区的特点| 在线观看一区二区三区| videossex国产| 直男gayav资源| 精品不卡国产一区二区三区| 欧美精品国产亚洲| 成人性生交大片免费视频hd| 白带黄色成豆腐渣| 一进一出好大好爽视频| 日韩亚洲欧美综合| 小蜜桃在线观看免费完整版高清| 无遮挡黄片免费观看| 国产黄色小视频在线观看| 91精品国产九色| 搡老熟女国产l中国老女人| 97碰自拍视频| 一夜夜www| 99热这里只有是精品在线观看| 搡老熟女国产l中国老女人| 欧美日本亚洲视频在线播放| 一区二区三区四区激情视频 | 18禁在线播放成人免费| 久久人人爽人人片av| 国产精品电影一区二区三区| 久久久久久九九精品二区国产| 哪里可以看免费的av片| 久久精品国产亚洲网站| 联通29元200g的流量卡| ponron亚洲| 色哟哟·www| 在线免费观看不下载黄p国产| 高清午夜精品一区二区三区 | 亚洲国产色片| 九九在线视频观看精品| 免费搜索国产男女视频| 特级一级黄色大片| 亚洲最大成人av| 天堂网av新在线| 在线观看一区二区三区| 欧美成人精品欧美一级黄| 国产三级中文精品| 俄罗斯特黄特色一大片| 中文字幕久久专区| 亚洲av.av天堂| 如何舔出高潮| 日本与韩国留学比较| 麻豆成人午夜福利视频| 寂寞人妻少妇视频99o| av视频在线观看入口| 亚洲精华国产精华液的使用体验 | 亚洲四区av| 久久久久精品国产欧美久久久| 国产亚洲精品久久久久久毛片| 美女黄网站色视频| 别揉我奶头~嗯~啊~动态视频| 国产综合懂色| 亚洲专区国产一区二区| 国产欧美日韩精品亚洲av| 亚洲精品国产av成人精品 | 18禁黄网站禁片免费观看直播| 综合色av麻豆| 亚洲久久久久久中文字幕| 亚洲精品一卡2卡三卡4卡5卡| 最好的美女福利视频网| 精品免费久久久久久久清纯| 久久人妻av系列| 在线观看66精品国产| 99在线人妻在线中文字幕| 久久人人爽人人片av| 欧美激情久久久久久爽电影| 哪里可以看免费的av片| 老司机午夜福利在线观看视频| 国产毛片a区久久久久| 国国产精品蜜臀av免费| 啦啦啦观看免费观看视频高清| 久久久久久久久大av| 免费观看的影片在线观看| av专区在线播放| 伦理电影大哥的女人| 丰满人妻一区二区三区视频av| 好男人在线观看高清免费视频| 蜜桃久久精品国产亚洲av| 成人特级黄色片久久久久久久| 国产精品三级大全| 国产69精品久久久久777片| 婷婷亚洲欧美| 国产精品免费一区二区三区在线| 99热全是精品| 久久精品国产亚洲av涩爱 | 色噜噜av男人的天堂激情| 亚洲av第一区精品v没综合| 精品99又大又爽又粗少妇毛片| 亚洲精华国产精华液的使用体验 | 久久久久久久亚洲中文字幕| 欧美绝顶高潮抽搐喷水| 日韩欧美一区二区三区在线观看| 午夜激情欧美在线| 人人妻人人澡人人爽人人夜夜 | 熟妇人妻久久中文字幕3abv| 神马国产精品三级电影在线观看| 女人十人毛片免费观看3o分钟| 欧美中文日本在线观看视频| 日本成人三级电影网站| 久久久久久久午夜电影| 校园春色视频在线观看| 国产高潮美女av| 国产精品精品国产色婷婷| 午夜福利在线观看吧| 精品久久久久久久久久免费视频| 日本五十路高清| 女生性感内裤真人,穿戴方法视频| 久久99热6这里只有精品| 免费无遮挡裸体视频| 国产国拍精品亚洲av在线观看| 一级av片app| 伦理电影大哥的女人| 国产精品人妻久久久影院| 国产真实乱freesex| 久久久久免费精品人妻一区二区| 一a级毛片在线观看| 日本欧美国产在线视频| 免费看光身美女| 国内揄拍国产精品人妻在线| 麻豆成人午夜福利视频| 大香蕉久久网| 国产私拍福利视频在线观看| 国产单亲对白刺激| 在线天堂最新版资源| 国产精品爽爽va在线观看网站| 亚洲国产精品久久男人天堂| 久久鲁丝午夜福利片| 色综合亚洲欧美另类图片| 老司机影院成人| 国产亚洲精品av在线| 国产男靠女视频免费网站| 99国产精品一区二区蜜桃av| 国产大屁股一区二区在线视频| 日韩一本色道免费dvd| 最近中文字幕高清免费大全6| 国产aⅴ精品一区二区三区波| 此物有八面人人有两片| 国产精华一区二区三区| 国产精品国产高清国产av| 天堂动漫精品| 国产精品伦人一区二区| 成年女人看的毛片在线观看| 午夜亚洲福利在线播放| 亚洲在线观看片| 成人三级黄色视频| 好男人在线观看高清免费视频| 搞女人的毛片| 欧美日韩在线观看h| 国模一区二区三区四区视频| 欧美国产日韩亚洲一区| 久久精品人妻少妇| 久久天躁狠狠躁夜夜2o2o| 国产在视频线在精品| 日韩一本色道免费dvd| 欧美激情在线99| 精品久久久噜噜| 欧美日韩一区二区视频在线观看视频在线 | 最新中文字幕久久久久| 熟女人妻精品中文字幕| 亚洲国产精品久久男人天堂| 神马国产精品三级电影在线观看| 久久午夜福利片| 亚洲av成人精品一区久久| 最好的美女福利视频网| 免费观看的影片在线观看| 国产成人freesex在线 | 99久国产av精品国产电影| 亚洲,欧美,日韩| 亚洲美女黄片视频| 亚洲国产精品成人久久小说 | 老司机影院成人| 久久久久国产网址| 国产黄a三级三级三级人| 国产v大片淫在线免费观看| 亚洲成人中文字幕在线播放| 别揉我奶头 嗯啊视频| 国产蜜桃级精品一区二区三区| 午夜日韩欧美国产| 国内少妇人妻偷人精品xxx网站| av专区在线播放| 少妇被粗大猛烈的视频| 美女高潮的动态| 天堂av国产一区二区熟女人妻| 黑人高潮一二区| 精品人妻一区二区三区麻豆 | 99久久中文字幕三级久久日本| 特大巨黑吊av在线直播| 男人舔女人下体高潮全视频| 精品人妻一区二区三区麻豆 | 干丝袜人妻中文字幕| 亚洲精品亚洲一区二区| 蜜桃亚洲精品一区二区三区| 亚洲美女视频黄频| 亚洲国产精品国产精品| 国产精品国产三级国产av玫瑰| 午夜精品一区二区三区免费看| 免费不卡的大黄色大毛片视频在线观看 | 最近中文字幕高清免费大全6| 亚洲国产日韩欧美精品在线观看| 搡老妇女老女人老熟妇| 日本熟妇午夜| 欧美成人a在线观看| 小说图片视频综合网站| 99久国产av精品国产电影| 国产精品一区二区性色av| 亚洲人与动物交配视频| 一级a爱片免费观看的视频| 精品日产1卡2卡| 亚洲欧美成人综合另类久久久 | 成年免费大片在线观看| 久久亚洲精品不卡| 午夜精品一区二区三区免费看| 国产精品三级大全| 国产免费男女视频| videossex国产| 国内精品美女久久久久久| av女优亚洲男人天堂| 久久热精品热| 最新在线观看一区二区三区| 久久精品久久久久久噜噜老黄 | 老司机福利观看| 热99在线观看视频| 天堂网av新在线| 国产精品日韩av在线免费观看| 国产精品不卡视频一区二区| 免费人成视频x8x8入口观看| 亚洲中文字幕日韩| 国产中年淑女户外野战色| 自拍偷自拍亚洲精品老妇| 成熟少妇高潮喷水视频| 亚州av有码| 亚洲人成网站在线观看播放| 天美传媒精品一区二区| 变态另类成人亚洲欧美熟女| 人妻少妇偷人精品九色| 国产午夜精品久久久久久一区二区三区 | 日本熟妇午夜| 久久久久九九精品影院| 日韩av不卡免费在线播放| 久久草成人影院| 婷婷六月久久综合丁香| 99精品在免费线老司机午夜| 男女之事视频高清在线观看| 女同久久另类99精品国产91| 人妻少妇偷人精品九色| av国产免费在线观看| 国产综合懂色| 91久久精品国产一区二区三区| 欧美高清成人免费视频www| 我的女老师完整版在线观看| 久久精品国产鲁丝片午夜精品| 国产高清视频在线观看网站| 欧美最黄视频在线播放免费| 久久人人爽人人爽人人片va| 午夜视频国产福利| 狠狠狠狠99中文字幕| 国产精品久久久久久久电影| 麻豆乱淫一区二区| 一级黄色大片毛片| 综合色丁香网| 国产av麻豆久久久久久久| 97超视频在线观看视频| 亚洲国产精品久久男人天堂| 国产av在哪里看| 欧美xxxx黑人xx丫x性爽| 国产精品一区二区免费欧美| av天堂在线播放| 精品欧美国产一区二区三| 又黄又爽又免费观看的视频| 久久精品综合一区二区三区| 日韩欧美国产在线观看| 国产男靠女视频免费网站| 给我免费播放毛片高清在线观看| 欧美人与善性xxx| 国产精品日韩av在线免费观看| 久久久久精品国产欧美久久久| 精华霜和精华液先用哪个| 久99久视频精品免费| 国产熟女欧美一区二区| 夜夜爽天天搞| 亚洲欧美日韩东京热| 乱人视频在线观看| 麻豆一二三区av精品| 亚洲自偷自拍三级| 成人美女网站在线观看视频| 欧美性感艳星| 精品不卡国产一区二区三区| 少妇熟女欧美另类| 草草在线视频免费看| 精品国内亚洲2022精品成人| 岛国在线免费视频观看| 不卡一级毛片| 一级av片app| 国产精品人妻久久久影院| 91在线观看av| 久久天躁狠狠躁夜夜2o2o| 亚洲成人久久性| 中出人妻视频一区二区| 天堂动漫精品| 免费看光身美女| 精品欧美国产一区二区三| 美女大奶头视频| 丝袜喷水一区| 校园人妻丝袜中文字幕| 亚洲第一区二区三区不卡| 免费看av在线观看网站| 久久中文看片网| 国产亚洲精品av在线| 精品久久久久久久末码| 嫩草影视91久久| 亚洲国产精品久久男人天堂| 亚洲精品国产成人久久av| 国产高清不卡午夜福利| 欧美色欧美亚洲另类二区| 菩萨蛮人人尽说江南好唐韦庄 | 波多野结衣高清作品| 国产精品亚洲美女久久久| 亚洲精品国产av成人精品 | 午夜福利成人在线免费观看| 有码 亚洲区| h日本视频在线播放| 最近2019中文字幕mv第一页| 亚洲精品一区av在线观看| 人妻少妇偷人精品九色| 22中文网久久字幕| 精品欧美国产一区二区三| 寂寞人妻少妇视频99o| 日本免费a在线| 在线播放无遮挡| 亚洲性夜色夜夜综合| 日本一本二区三区精品| 亚洲av免费在线观看| 成人综合一区亚洲| 精品一区二区免费观看| 久久99热6这里只有精品| 男女啪啪激烈高潮av片| 国产真实乱freesex| 麻豆久久精品国产亚洲av| 最近手机中文字幕大全| 高清午夜精品一区二区三区 | 免费观看人在逋| 国产成人freesex在线 | 亚洲av中文字字幕乱码综合| 欧美性猛交黑人性爽| 麻豆一二三区av精品| 舔av片在线| 国产成人一区二区在线| 欧美日韩乱码在线| 欧美激情久久久久久爽电影| 中国美女看黄片| 你懂的网址亚洲精品在线观看 | 十八禁网站免费在线| 免费看光身美女| 国产成人aa在线观看| 国产成人91sexporn| 欧美激情国产日韩精品一区| 国产片特级美女逼逼视频| 色噜噜av男人的天堂激情| 国产欧美日韩精品一区二区| 18禁在线无遮挡免费观看视频 | 国产av一区在线观看免费| 免费大片18禁| 我的老师免费观看完整版| 成年av动漫网址| 欧美性猛交╳xxx乱大交人| 日本黄大片高清| 精品99又大又爽又粗少妇毛片| 久久精品综合一区二区三区| 国产熟女欧美一区二区| 特大巨黑吊av在线直播| 九九热线精品视视频播放| 日本黄色视频三级网站网址| 欧美极品一区二区三区四区| 久久久久久国产a免费观看| 亚洲专区国产一区二区| 欧美色欧美亚洲另类二区| 亚洲国产欧洲综合997久久,| 伦理电影大哥的女人| 美女 人体艺术 gogo| 国产精品人妻久久久影院| 国语自产精品视频在线第100页| 97超级碰碰碰精品色视频在线观看|