• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    醫(yī)療領(lǐng)域人工智能應(yīng)用現(xiàn)狀、挑戰(zhàn)及如何影響患者對(duì)醫(yī)生信任的研究

    2024-04-02 05:29:16韓倩雯王有強(qiáng)
    衛(wèi)生軟科學(xué) 2024年2期
    關(guān)鍵詞:醫(yī)患信任領(lǐng)域

    韓倩雯,王有強(qiáng)

    (清華大學(xué)公共管理學(xué)院,北京 100084)

    “人工智能”在2017年全國(guó)兩會(huì)政府工作報(bào)告中出現(xiàn)后,在歷年的政府工作報(bào)告中被多次提及。黨的二十大報(bào)告提出,要構(gòu)建人工智能等新的增長(zhǎng)引擎;國(guó)家“十四五規(guī)劃”和“十四五生物經(jīng)濟(jì)發(fā)展規(guī)劃”涉及了數(shù)字化醫(yī)療中心建設(shè)、5G+醫(yī)療健康、人工智能醫(yī)療器械監(jiān)管等方面,積極推動(dòng)了人工智能影像、人工智能診療、手術(shù)機(jī)器人等一批醫(yī)療領(lǐng)域人工智能的研發(fā)和應(yīng)用。我國(guó)已在逐步建立醫(yī)療領(lǐng)域人工智能標(biāo)準(zhǔn)體系,對(duì)人工智能進(jìn)行明確地定義和說明[1]。在此背景下,醫(yī)療領(lǐng)域人工智能應(yīng)用場(chǎng)景正在我國(guó)逐步展開,如“小布AI醫(yī)生”將國(guó)家兒童醫(yī)學(xué)中心和復(fù)旦大學(xué)附屬兒科醫(yī)院積累的診斷經(jīng)驗(yàn)濃縮提煉,不斷學(xué)習(xí)以提高其在兒科門診輔助診斷的決策能力,給患兒及其家庭帶去更優(yōu)質(zhì)、可得、普惠的醫(yī)療服務(wù),彌補(bǔ)兒科醫(yī)生不足、醫(yī)療資源分布不均等問題。新冠疫情期間,短期內(nèi)患者數(shù)量激增,使得醫(yī)院管理和疾病管理的效率和安全受到考驗(yàn)[2]。實(shí)踐表明,人工智能切實(shí)輔助了疫情期間的疾病救治和醫(yī)院管理,如使用人臉識(shí)別技術(shù)和溫度傳感器技術(shù)進(jìn)行防控、使用機(jī)器人降低交叉感染、使用知識(shí)圖譜技術(shù)進(jìn)行藥物研發(fā)、通過遠(yuǎn)程門診等方式使患者的醫(yī)療需求得到更好滿足[2]。

    醫(yī)療領(lǐng)域人工智能在應(yīng)用發(fā)展和推廣中,能夠自主地從知識(shí)庫(kù)和經(jīng)驗(yàn)中學(xué)習(xí)以不斷提高其性能,實(shí)時(shí)適應(yīng)和優(yōu)化改善醫(yī)療服務(wù)[3]。然而,人工智能在給傳統(tǒng)醫(yī)療帶來益處的同時(shí),也為傳統(tǒng)醫(yī)患關(guān)系帶來一系列潛在的、尚未解決的挑戰(zhàn)性問題,包括安全性問題[4]、責(zé)任歸屬性問題[5]、透明性問題[6]、工作量問題[7,8]以及擬人性問題等[9]。我國(guó)的實(shí)踐表明,有限的醫(yī)生資源尚不能完全滿足所有患者問診的需求,尤其在應(yīng)急事件發(fā)生時(shí),為實(shí)現(xiàn)隨時(shí)、隨地、高效率和高質(zhì)量地診療患者的目標(biāo),一種可行的辦法就是采用人工智能在醫(yī)療服務(wù)中進(jìn)行輔助。人工智能有潛力解決因醫(yī)生資源不足或患者需求不被滿足而導(dǎo)致的醫(yī)患矛盾,改善醫(yī)患關(guān)系。但是,人工智能存在的局限性和風(fēng)險(xiǎn)若無法妥當(dāng)處理,會(huì)使患者對(duì)醫(yī)生更不信任,對(duì)醫(yī)患關(guān)系不利。隨著人工智能技術(shù)發(fā)展和監(jiān)管的不斷完善,醫(yī)療領(lǐng)域人工智能應(yīng)用對(duì)于改善醫(yī)生資源不足、患者需求未被滿足和醫(yī)患關(guān)系緊張等難點(diǎn)問題,在一定層面能更好地體現(xiàn)以人為本的醫(yī)療服務(wù)理念,提升醫(yī)療服務(wù)質(zhì)量,改善和促進(jìn)患者對(duì)醫(yī)生信任。傳統(tǒng)醫(yī)患關(guān)系是醫(yī)生和患者兩者之間關(guān)系,醫(yī)療領(lǐng)域人工智能應(yīng)用中,醫(yī)患關(guān)系是醫(yī)生、患者、人工智能三者之間關(guān)系。醫(yī)患關(guān)系直接影響醫(yī)療服務(wù)質(zhì)量,而患者對(duì)醫(yī)生信任是醫(yī)患關(guān)系中的核心。因此,系統(tǒng)深入研究醫(yī)療領(lǐng)域人工智能應(yīng)用如何影響患者對(duì)醫(yī)生的信任,對(duì)于醫(yī)療領(lǐng)域人工智能應(yīng)用的健康發(fā)展具有重要意義。

    本文基于對(duì)相關(guān)文獻(xiàn)的系統(tǒng)綜述和分析,梳理醫(yī)療領(lǐng)域人工智能應(yīng)用的研究現(xiàn)狀,分析醫(yī)療領(lǐng)域人工智能應(yīng)用對(duì)傳統(tǒng)醫(yī)患關(guān)系帶來的挑戰(zhàn)性問題,剖析醫(yī)療領(lǐng)域人工智能應(yīng)用影響患者對(duì)醫(yī)生信任的主要因素。針對(duì)醫(yī)患溝通、知識(shí)信息儲(chǔ)備和環(huán)境條件這3個(gè)因素,探究醫(yī)療領(lǐng)域人工智能應(yīng)用如何影響患者對(duì)醫(yī)生信任的機(jī)理,并據(jù)此探討醫(yī)療領(lǐng)域人工智能應(yīng)用中患者對(duì)醫(yī)生信任分析框架。從倫理、法律和監(jiān)管等方面,提出醫(yī)療領(lǐng)域人工智能應(yīng)用增強(qiáng)患者對(duì)醫(yī)生信任的措施建議。

    1 研究方法

    為深入研究醫(yī)療領(lǐng)域中人工智能應(yīng)用如何影響患者對(duì)醫(yī)生的信任問題,首先進(jìn)行了系統(tǒng)全面的文獻(xiàn)綜述分析,確定綜述問題、選擇關(guān)鍵詞和文獻(xiàn)數(shù)據(jù)庫(kù)和篩選文章,討論綜述結(jié)果[10]?;诮?年國(guó)內(nèi)外發(fā)表的相關(guān)文獻(xiàn)(來源于領(lǐng)域8個(gè)權(quán)威數(shù)據(jù)庫(kù))進(jìn)行篩選、綜述和分析,緊緊圍繞醫(yī)療領(lǐng)域人工智能的概念定義和應(yīng)用現(xiàn)狀、醫(yī)療領(lǐng)域人工智能在應(yīng)用中帶來的挑戰(zhàn)性問題、以及醫(yī)療領(lǐng)域人工智能應(yīng)用如何影響患者對(duì)醫(yī)生信任的主要影響因素進(jìn)行了綜述。選擇了適用于計(jì)算機(jī)科學(xué)和健康/醫(yī)療領(lǐng)域的權(quán)威文獻(xiàn)數(shù)據(jù)庫(kù),分別為ScienceDirect、SpringerLink、PubMed、ACM、Nature、萬方數(shù)據(jù)庫(kù)、中國(guó)知網(wǎng)和中國(guó)期刊網(wǎng)的相關(guān)文獻(xiàn)進(jìn)行檢索。檢索關(guān)鍵詞包括“醫(yī)療(Healthcare)”“健康(Health)”“人工智能(Artificial Intelligence)”“深度學(xué)習(xí)(Deep Learning)”和“機(jī)器學(xué)習(xí)(Machine Learning)”及其組合。對(duì)于有關(guān)人工智能應(yīng)用中患者對(duì)醫(yī)生信任的相關(guān)文獻(xiàn)檢索時(shí),在包含以上關(guān)鍵詞的同時(shí),加入“信任(Trust)”“患者信任(Patient Trust)”“患者對(duì)醫(yī)生信任(Patient-doctor Trust)”和“醫(yī)患關(guān)系(Patient-doctor Relationship)”,并充分參考了早期有關(guān)患者對(duì)醫(yī)生信任和醫(yī)患關(guān)系的代表性文獻(xiàn)。收集了302篇原始文章作為最初的文獻(xiàn)語(yǔ)料庫(kù),對(duì)這些原始文章進(jìn)行分析和篩選。篩選過程中,僅包含過去6年(2018年1月- 2023年9月)內(nèi)發(fā)表的期刊文章;僅包含關(guān)于人工智能在醫(yī)療領(lǐng)域應(yīng)用的相關(guān)發(fā)表;僅包含目前已有落地應(yīng)用的醫(yī)療領(lǐng)域人工智能研究,仍在研發(fā)中的醫(yī)療領(lǐng)域人工智能研究沒有被納入;合并來自多個(gè)數(shù)據(jù)庫(kù)的文章,清除重復(fù)內(nèi)容,最終確定其中的63篇文獻(xiàn)并據(jù)此開展本文研究。

    2 醫(yī)療領(lǐng)域人工智能應(yīng)用研究現(xiàn)狀

    人工智能是指計(jì)算機(jī)軟件模擬人類認(rèn)知過程的方式,被定義為機(jī)器的智能,而非人類或其他生物物種的智能[11]。人工智能系統(tǒng)具有預(yù)測(cè)問題或在問題出現(xiàn)時(shí)處理問題的潛力,能夠以智能的和自適應(yīng)的方式運(yùn)行[3]。實(shí)現(xiàn)人工智能的其中一種方式是機(jī)器學(xué)習(xí),指機(jī)器通過遵循算法或規(guī)則以模仿人類的認(rèn)知功能進(jìn)行學(xué)習(xí)和解決問題[12]。機(jī)器學(xué)習(xí)又可分為“監(jiān)督學(xué)習(xí)”“無監(jiān)督學(xué)習(xí)”和“強(qiáng)化學(xué)習(xí)”[12,13]。其中,監(jiān)督學(xué)習(xí)是指利用標(biāo)記數(shù)據(jù)或注釋的信息,根據(jù)輸入將其映射到輸出函數(shù)的過程,例如利用已知腫瘤的標(biāo)記X光圖像檢測(cè)新圖像中的腫瘤[12]。無監(jiān)督學(xué)習(xí)是指從未標(biāo)明或歸類標(biāo)簽的數(shù)據(jù)中提取信息和學(xué)習(xí),以識(shí)別數(shù)據(jù)中的共同特征,例如對(duì)有相似癥狀的患者進(jìn)行分類以確定共同病因[13]。強(qiáng)化學(xué)習(xí)是指通過試錯(cuò)和示范策略學(xué)習(xí),以獲得最大回報(bào)的結(jié)果[13]。深度學(xué)習(xí)是指使處理器接觸大量數(shù)據(jù)示例進(jìn)行學(xué)習(xí),推動(dòng)了圖像和語(yǔ)音識(shí)別領(lǐng)域的發(fā)展和進(jìn)步[3]。

    醫(yī)療領(lǐng)域人工智能應(yīng)用是指將包括機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等人工智能技術(shù)應(yīng)用于醫(yī)療領(lǐng)域,以提升醫(yī)療水平[14]。1970年,基于規(guī)則方法的決策支持系統(tǒng)被提出,用于協(xié)助醫(yī)生解釋心電圖、制定診斷決策以及選擇適當(dāng)治療方法[15]。當(dāng)時(shí),該系統(tǒng)需要人工編寫和更新,依賴于專家對(duì)醫(yī)療知識(shí)的輸入和決策規(guī)則的制定[15]。而目前,人工智能技術(shù)根據(jù)要解決的任務(wù)類型,從數(shù)據(jù)中識(shí)別和學(xué)習(xí)以進(jìn)行解釋和決策,有能力發(fā)現(xiàn)數(shù)據(jù)中先前未被識(shí)別出的規(guī)律和特征,過程不再需要人工為每項(xiàng)具體任務(wù)輸入決策規(guī)則[3, 16]。目前,醫(yī)療領(lǐng)域人工智能在疾病識(shí)別、疾病篩查、疾病分析、醫(yī)學(xué)影像、醫(yī)院管理和藥物開發(fā)等方面已有產(chǎn)品落地和應(yīng)用[14, 16,17]。文獻(xiàn)綜述和分析結(jié)果表明,研究者們常將人工智能的應(yīng)用分為診斷環(huán)節(jié)應(yīng)用、治療環(huán)節(jié)應(yīng)用和康復(fù)環(huán)節(jié)應(yīng)用。

    2.1 診斷環(huán)節(jié)(Diagnosis)

    診斷環(huán)節(jié)的目的是確定患者是否受到疾病的影響,確定患者的癥狀原因[18]。目前診斷環(huán)節(jié)的醫(yī)療領(lǐng)域人工智能已有以下應(yīng)用:①人工智能咨詢平臺(tái),進(jìn)行智能分診、智能導(dǎo)診和智能預(yù)問診,針對(duì)患者的主訴智能匹配醫(yī)生和科室,協(xié)助醫(yī)生收集患者的信息,有效緩解醫(yī)院排隊(duì)長(zhǎng)和等待時(shí)間長(zhǎng)的問題,為患者診斷提供線上新渠道[19]。②人工智能疾病檢測(cè),通過癥狀描述和病灶分析,檢測(cè)疾病特征和類型[20]。例如皮膚科或眼科,患者可以通過上傳圖片,人工智能輔助醫(yī)生識(shí)別和檢測(cè)疾病[21,22]。③人工智能醫(yī)學(xué)成像,通過人工智能輔助對(duì)部位進(jìn)行處理和分析,輔助醫(yī)生發(fā)現(xiàn)和分析損傷[23]。④提高診斷安全,人工智能有潛力輔助提高診斷的精度,協(xié)助醫(yī)生解答各種診斷中的問題[4]。⑤人工智能輔助醫(yī)生提供診斷服務(wù),人工智能可以從創(chuàng)建健康檢查檔案到處理患者記錄,協(xié)助醫(yī)生更有效地完成診斷流程中的工作任務(wù)[24]。通過將一些重復(fù)性的任務(wù)自動(dòng)化,醫(yī)生可以更多地發(fā)揮自身優(yōu)勢(shì),有更多時(shí)間與患者互動(dòng),有利于構(gòu)建和諧的醫(yī)患關(guān)系[5]。

    2.2 治療環(huán)節(jié)(Treatment/Therapy)

    治療環(huán)節(jié)的目的是采取有效的措施和方案,使患者身體恢復(fù)或部分恢復(fù)特定功能,并對(duì)患者的病情進(jìn)行管理和護(hù)理[25]。目前治療環(huán)節(jié)的醫(yī)療領(lǐng)域人工智能已有以下應(yīng)用:①在手術(shù)治療中,通過智能手術(shù)輔助機(jī)械手臂和手術(shù)機(jī)器人等,提高手術(shù)的精確度和準(zhǔn)確性,使遠(yuǎn)程手術(shù)成為可能,輔助提供更精確、安全、清潔的治療過程和環(huán)境[26,27]。②在放射治療中,可以利用人工智能輔助醫(yī)生勾畫靶區(qū)和危及器官的輪廓,節(jié)約時(shí)間,提高精度[28]。③在藥物治療中,人工智能輔助設(shè)計(jì)和開發(fā)新藥,精準(zhǔn)防治,推動(dòng)臨床試驗(yàn)設(shè)計(jì)和藥物生產(chǎn)流程優(yōu)化的同時(shí),為患者制定個(gè)性化的治療方案[29]。④治療過程中的物流和服務(wù)提供,例如基于算法為患者和醫(yī)生及時(shí)供應(yīng)藥品和治療設(shè)備,通過分析臨床數(shù)據(jù)和病例預(yù)測(cè)治療中可能出現(xiàn)的不安全情況,輔助進(jìn)行治療方案的制定[24]。

    2.3 康復(fù)環(huán)節(jié)(Tecovery)

    康復(fù)環(huán)節(jié)的目的是使患者在各方面恢復(fù)到患病前的程度或更高的程度[30]。目前康復(fù)環(huán)節(jié)的醫(yī)療領(lǐng)域人工智能已有以下應(yīng)用:①可穿戴監(jiān)測(cè)設(shè)備,通過從生活中獲取有關(guān)患者關(guān)注的健康信息,例如通過深度學(xué)習(xí)配合硬件設(shè)備檢測(cè)患者心房顫動(dòng),學(xué)習(xí)患者慣常心率,如果與預(yù)期值有顯著差異發(fā)出警報(bào),對(duì)患者康復(fù)中的體征監(jiān)測(cè)有重要意義[31]。②智能康復(fù)訓(xùn)練,例如康復(fù)機(jī)器人在運(yùn)動(dòng)治療過程中為患者的肢體提供物理支持和引導(dǎo)[32]。③智能診后隨訪,通過語(yǔ)音識(shí)別等技術(shù)定期了解患者的病情變化和康復(fù)情況,對(duì)患者進(jìn)行康復(fù)指導(dǎo)[24]。④虛擬康復(fù)助手,通過提供智能的個(gè)性化功能和心理康復(fù)計(jì)劃,輔助患者進(jìn)行管理[33]

    已有的研究表明,在診斷環(huán)節(jié)、治療環(huán)節(jié)和康復(fù)環(huán)節(jié)中,患者的特征(如疾病嚴(yán)重程度)、醫(yī)生的職責(zé)(如醫(yī)生角色)以及人工智能的應(yīng)用有所不同,因此,醫(yī)療領(lǐng)域人工智能應(yīng)用如何影響各個(gè)環(huán)節(jié)中患者對(duì)醫(yī)生信任的影響程度也不同。綜上,本文認(rèn)為,討論醫(yī)療領(lǐng)域人工智能分別在診斷環(huán)節(jié)、治療環(huán)節(jié)和康復(fù)環(huán)節(jié)的應(yīng)用,能夠更便于研究醫(yī)療領(lǐng)域人工智能應(yīng)用如何影響患者對(duì)醫(yī)生信任的問題。

    在診療過程中,人類醫(yī)生和人工智能各有獨(dú)特的優(yōu)勢(shì)和特點(diǎn),在提供醫(yī)療服務(wù)方面可以互補(bǔ)。美國(guó)醫(yī)學(xué)協(xié)會(huì)認(rèn)為人工智能在醫(yī)療領(lǐng)域的作用是增強(qiáng),而不是取代人類醫(yī)生的工作[34]。在這種關(guān)系下,患者對(duì)醫(yī)生信任仍是和諧醫(yī)患關(guān)系的核心,也是醫(yī)療領(lǐng)域成功實(shí)施醫(yī)療領(lǐng)域人工智能應(yīng)用的關(guān)鍵。因此,需首先對(duì)醫(yī)療領(lǐng)域人工智能應(yīng)用為傳統(tǒng)醫(yī)患關(guān)系帶來的一系列挑戰(zhàn)性問題進(jìn)行討論,進(jìn)而探討醫(yī)療領(lǐng)域人工智能應(yīng)用對(duì)于影響患者對(duì)醫(yī)生信任的主要影響因素,分析如何設(shè)計(jì)、實(shí)施和整合人工智能,以支持促進(jìn)醫(yī)療領(lǐng)域人工智能應(yīng)用中患者對(duì)醫(yī)生的信任。

    3 醫(yī)療領(lǐng)域人工智能應(yīng)用中的挑戰(zhàn)性問題

    隨著醫(yī)療領(lǐng)域人工智能應(yīng)用技術(shù)的不斷發(fā)展,其有潛力改善醫(yī)生和患者之間醫(yī)療服務(wù)提供的質(zhì)量。然而,醫(yī)療領(lǐng)域人工智能應(yīng)用所帶來的社會(huì)影響,也可能會(huì)為傳統(tǒng)的醫(yī)患關(guān)系帶來了一系列不確定性和挑戰(zhàn)性問題。

    3.1 知情問題和“黑箱”問題

    文獻(xiàn)指出,有必要研究在何種情況、是否以及多大程度保證人工智能在診斷、成像和手術(shù)等醫(yī)療領(lǐng)域應(yīng)用,患者和醫(yī)生對(duì)人工智能的知情同意原則[35]。有學(xué)者認(rèn)為,如果醫(yī)生不能合理地告知患者人工智能被使用的原因,就所使用人工智能的形式、數(shù)據(jù)以及可能存在的偏差等對(duì)患者介紹,則可能導(dǎo)致患者對(duì)醫(yī)生的不信任[36]?!昂谙洹币部赡苁贯t(yī)生難以完全理解和解釋其技術(shù)原理,那么醫(yī)生需要在多大程度上對(duì)患者披露他們無法完全理解人工智能的原理?同時(shí),例如人工智能支持的智能配餐、用藥提醒等應(yīng)用程序在嵌入患者生活帶來便利的同時(shí),也為患者帶來知情同意的問題[37]。與傳統(tǒng)的知情同意程序不同,人工智能平臺(tái)的用戶協(xié)議在沒有面對(duì)面對(duì)話情況下簽訂的條款,患者是否充分了解?負(fù)責(zé)任的用戶條款是什么樣的?當(dāng)面向患者的人工智能應(yīng)用將收集的患者信息反饋給醫(yī)生時(shí),醫(yī)生如何處理這些數(shù)據(jù)具有挑戰(zhàn)性,而患者對(duì)醫(yī)生的信任能夠緩解這種挑戰(zhàn)性。

    3.2 安全性問題

    人工智能在醫(yī)療領(lǐng)域應(yīng)用帶來的安全性問題是對(duì)醫(yī)患關(guān)系的挑戰(zhàn)性問題之一[38,39]。例如IBM Watson使用人工智能算法評(píng)估患者病歷信息,幫助醫(yī)生為患者探索和制定患者的詳細(xì)治療方案,卻被指出沒有使用真實(shí)的患者數(shù)據(jù),而只是用一些醫(yī)生設(shè)計(jì)的“合成病例”數(shù)據(jù)進(jìn)行訓(xùn)練,從而給出的治療建議“不安全、不正確”[40]。這個(gè)例子表明,訓(xùn)練人工智能的數(shù)據(jù)集的可靠性、有效性和透明度,是實(shí)現(xiàn)人工智能的潛力、保障患者安全的關(guān)鍵。訓(xùn)練數(shù)據(jù)集越安全、可靠、有效,算法越完善,人工智能的表現(xiàn)就越好,輸出結(jié)果越準(zhǔn)確[4];其次,為了保證患者的安全,以及對(duì)人工智能和醫(yī)生的信心,需確保訓(xùn)練數(shù)據(jù)集合適程度的透明度。而醫(yī)療領(lǐng)域人工智能應(yīng)用開發(fā)者也應(yīng)具有足夠的透明度,對(duì)所使用的數(shù)據(jù)種類和軟件的缺陷或偏差進(jìn)行披露[41]。訓(xùn)練數(shù)據(jù)的公開和透明度,有利于患者更好地理解醫(yī)生的意圖,對(duì)于患者建立對(duì)醫(yī)生的信任起到積極作用。

    3.3 偏見和公平性問題

    人工智能不僅有能力改善醫(yī)療服務(wù)提供的深度和廣度,使專業(yè)知識(shí)的分布更加廣泛,使醫(yī)療的提供更加普及[6]。然而,人工智能系統(tǒng)或人類訓(xùn)練的算法,其可信度、有效性和公平性取決于所訓(xùn)練的數(shù)據(jù),如果數(shù)據(jù)出現(xiàn)偏見,則可能導(dǎo)致不公平和不準(zhǔn)確[42]。因此,醫(yī)療領(lǐng)域人工智能應(yīng)用開發(fā)過程的每個(gè)階段應(yīng)盡量減少潛在偏見,避免造成在患者性別、年齡、地區(qū)等方面的不公平。訓(xùn)練數(shù)據(jù)集、開發(fā)人員和人工智能使用的環(huán)境等都可能導(dǎo)致人工智能結(jié)果的偏差[43]。例如在涉及基因型相關(guān)信息的醫(yī)療領(lǐng)域,有偏見的人工智能可能會(huì)導(dǎo)致對(duì)某一類人群的錯(cuò)誤診斷,使得這類患者群體的治療無效[44]。隨著數(shù)據(jù)可用性的提高,以及更好地從少數(shù)人群中收集數(shù)據(jù),明確算法對(duì)人群的適用性,可以使更多患者受益[45]。

    3.4 隱私性問題

    如果人工智能對(duì)個(gè)人隱私侵犯的問題不能得到有效解決,那么將其成功融入醫(yī)療領(lǐng)域和成功實(shí)施會(huì)帶來風(fēng)險(xiǎn),對(duì)患者對(duì)于醫(yī)生信任也不利[46]。除了收集數(shù)據(jù)的問題,保護(hù)患者的數(shù)據(jù)以避免醫(yī)患關(guān)系之外的用途也是文獻(xiàn)中所提到的挑戰(zhàn)性問題之一,這些不當(dāng)?shù)挠猛究赡軙?huì)對(duì)患者造成不利的影響[8]。患者的數(shù)據(jù)應(yīng)以多大程度與醫(yī)生共享,醫(yī)生以多大權(quán)限操作這些數(shù)據(jù)作,都會(huì)影響患者對(duì)醫(yī)生保護(hù)自己隱私的信心。另外,患者是否有權(quán)撤回自己已共享的數(shù)據(jù),不會(huì)對(duì)醫(yī)生的工作造成困擾,影響著醫(yī)生和患者之間的關(guān)系以及整體醫(yī)療的效率[8]。

    針對(duì)以上人工智能的社會(huì)影響和治理問題,國(guó)內(nèi)外已發(fā)布多項(xiàng)有關(guān)人工智能的倫理指南,呼吁開發(fā)和應(yīng)用使人類受益并不被傷害的人工智能。英國(guó)納菲爾德生命倫理委員會(huì)對(duì)醫(yī)療領(lǐng)域人工智能開發(fā)和應(yīng)用帶來的安全、算法、數(shù)據(jù)和公眾信任等問題進(jìn)行了倫理分析[47]。美國(guó)醫(yī)學(xué)會(huì)倡導(dǎo)對(duì)人工智能的臨床應(yīng)用進(jìn)行驗(yàn)證和評(píng)估,認(rèn)為需對(duì)人工智能系統(tǒng)潛在的風(fēng)險(xiǎn)和利益進(jìn)行評(píng)估[34]。針對(duì)人工智能及人工智能治理問題,“熟悉程度”和“治理手段”被認(rèn)為是治理的有效途徑,即熟悉并參與人工智能系統(tǒng),以及以適當(dāng)?shù)目刂剖侄蝸碇卫砣斯ぶ悄艿拈_發(fā)和部署,是促進(jìn)醫(yī)療領(lǐng)域成功實(shí)施人工智能的必要條件[48]。我國(guó)國(guó)家衛(wèi)健委發(fā)布了《關(guān)于加強(qiáng)全民健康信息標(biāo)準(zhǔn)化體系建設(shè)的意見》,指出要推動(dòng)我國(guó)人工智能在醫(yī)療應(yīng)用中的標(biāo)準(zhǔn)化建設(shè),為我國(guó)人工智能在醫(yī)療中的合理應(yīng)用提供了標(biāo)準(zhǔn)支持。

    為了在醫(yī)療領(lǐng)域更好地發(fā)揮人工智能的重要作用,有關(guān)醫(yī)療領(lǐng)域人工智能應(yīng)用可能產(chǎn)生的倫理、社會(huì)和監(jiān)管問題的相關(guān)系統(tǒng)的研究已經(jīng)開展。

    4 醫(yī)療領(lǐng)域人工智能應(yīng)用中患者對(duì)醫(yī)生信任的分析

    綜上所述,醫(yī)療領(lǐng)域人工智能應(yīng)用的技術(shù)發(fā)展、應(yīng)用場(chǎng)景及社會(huì)影響,均很大程度影響了傳統(tǒng)的醫(yī)患關(guān)系,且這種影響具有很大的復(fù)雜性?;颊邔?duì)醫(yī)生信任是醫(yī)患關(guān)系的核心,本節(jié)針對(duì)該問題,研究其主要影響因素,探討其分析框架。

    患者對(duì)醫(yī)生信任概念研究中有3個(gè)基本要素:信任者、被信任者、風(fēng)險(xiǎn)性[49]。就具體應(yīng)用到醫(yī)療領(lǐng)域的患者對(duì)醫(yī)生信任而言,醫(yī)生是被信任者,患者是信任者,診療存在風(fēng)險(xiǎn)性。目前,患者對(duì)醫(yī)生信任概念和定義仍具有內(nèi)涵差異性和形式多樣性。有研究認(rèn)為,患者對(duì)醫(yī)生信任是“患者在相對(duì)弱勢(shì)的情況下,相信醫(yī)生將以患者利益最大化的目標(biāo)來行動(dòng)”[50];也有研究認(rèn)為,是“患者對(duì)醫(yī)生未來的行動(dòng)所表現(xiàn)出的一系列信念或期望”[51]?;颊邔?duì)醫(yī)生信任的主要層面包括:人際層面,強(qiáng)調(diào)患者對(duì)醫(yī)生的信任受到患者與醫(yī)生個(gè)人之間反復(fù)互動(dòng)的影響[52];社會(huì)層面,強(qiáng)調(diào)患者對(duì)醫(yī)生的信任受到患者對(duì)醫(yī)療機(jī)構(gòu)及社會(huì)醫(yī)療體制信任的影響[53]。

    文獻(xiàn)中,無論如何定義患者對(duì)醫(yī)生信任概念,醫(yī)生的專業(yè)能力水平和職業(yè)道德素養(yǎng)、診療風(fēng)險(xiǎn)性程度以及患者對(duì)于醫(yī)療知識(shí)信息的了解狀況,都將影響患者對(duì)醫(yī)生信任。一般而言,當(dāng)患者有診療需求時(shí),患者提前對(duì)癥狀原因、醫(yī)生信息、醫(yī)療機(jī)構(gòu)信息等相關(guān)知識(shí)信息進(jìn)行了解;就診時(shí),患者和醫(yī)生溝通提出自己的疑問和需求。醫(yī)生了解患者的情況、偏好和擔(dān)憂等越是充分深入,醫(yī)生所具備的醫(yī)療知識(shí)背景越是專業(yè),患者越會(huì)感受到醫(yī)生的傾聽、理解、尊重、共情和支持;診療時(shí),患者對(duì)就診環(huán)境安全性和專業(yè)性的感知越好,就越有利于患者產(chǎn)生和增強(qiáng)對(duì)于醫(yī)生積極為其提供高質(zhì)量診療的心理預(yù)期,建立良好的患者對(duì)醫(yī)生信任。

    Asan[54]等探討了患者有診療需求時(shí)和診療中,醫(yī)生和患者的溝通是影響患者對(duì)醫(yī)生信任的重要因素之一。Conradsen[55]等認(rèn)為患者在診療前和診療中的醫(yī)療知識(shí)信息量,會(huì)影響患者對(duì)醫(yī)生信任;Schnoor[56]等發(fā)現(xiàn),醫(yī)生的專業(yè)知識(shí)信息水平和知識(shí)投入,也會(huì)影響患者對(duì)醫(yī)生信任。Greene[57]等發(fā)現(xiàn),在越安全和清潔的醫(yī)療環(huán)境中,患者對(duì)醫(yī)生越信任。綜上,本節(jié)將重點(diǎn)從醫(yī)患溝通、醫(yī)患知識(shí)信息儲(chǔ)備和醫(yī)患環(huán)境條件,探究醫(yī)療領(lǐng)域人工智能應(yīng)用對(duì)醫(yī)患信任的影響,醫(yī)療領(lǐng)域人工智能應(yīng)用中患者對(duì)醫(yī)生信任分析框架見圖1。

    4.1 醫(yī)患溝通

    醫(yī)療領(lǐng)域人工智能應(yīng)用對(duì)于醫(yī)患溝通的時(shí)長(zhǎng)、方式和內(nèi)容均會(huì)產(chǎn)生影響,從而影響患者對(duì)醫(yī)生信任[58-62]?;颊呔驮\時(shí),可以將自己的個(gè)人情況和問診記錄等信息通過人工智能發(fā)送給醫(yī)生,醫(yī)生則可以結(jié)合與患者面對(duì)面溝通所獲信息,為患者進(jìn)行更加準(zhǔn)確的診斷?;颊呔驮\后,醫(yī)生可以將專業(yè)知識(shí)、經(jīng)驗(yàn)和用藥醫(yī)囑等通過人工智能呈現(xiàn)給患者,使患者可以診前自查和診后查看醫(yī)囑等信息。就診中,患者與醫(yī)生溝通的時(shí)長(zhǎng)由等待時(shí)長(zhǎng)與實(shí)際溝通時(shí)長(zhǎng)構(gòu)成,這兩部分均會(huì)影響患者對(duì)醫(yī)生信任[58]。人工智能的應(yīng)用有潛力提高醫(yī)生的工作效率,在給定患者數(shù)量的情形下,減少患者等待時(shí)長(zhǎng)的同時(shí),使醫(yī)生有更多的時(shí)間與患者溝通交流,增加與患者相互了解的時(shí)長(zhǎng),使醫(yī)生與患者進(jìn)行更為充分的互動(dòng),更加深入細(xì)致地傾聽患者,促進(jìn)患者對(duì)醫(yī)生信任[59]。

    在合理的醫(yī)患溝通時(shí)長(zhǎng)的基礎(chǔ)上,醫(yī)患溝通的場(chǎng)景也影響患者對(duì)醫(yī)生信任。在沒有醫(yī)療領(lǐng)域人工智能應(yīng)用的情形下,患者基本依靠與醫(yī)生面對(duì)面地在醫(yī)院進(jìn)行溝通。這可能導(dǎo)致醫(yī)院中患者人數(shù)多、醫(yī)療資源緊張和醫(yī)療資源分配不均勻,不利于患者對(duì)醫(yī)生信任[59]。人工智能可以輔助醫(yī)生通過線上提供診療服務(wù),節(jié)省患者就醫(yī)時(shí)間,同時(shí)減少醫(yī)院空間資源壓力,使真正需到醫(yī)院診療的患者有更好的醫(yī)療體驗(yàn)?;颊咭部梢酝ㄟ^在線咨詢尋找符合需求的診療方案與合適的醫(yī)生。人工智能可以輔助醫(yī)生對(duì)患有慢性病的患者進(jìn)行隨訪和醫(yī)囑溝通,為患者提供心理上和病情上的支持。人工智能的應(yīng)用為醫(yī)患溝通提供了多樣實(shí)現(xiàn)方式,豐富了醫(yī)患溝通場(chǎng)景,更大程度地滿足患者的不同醫(yī)療需求,對(duì)醫(yī)患溝通產(chǎn)生有利影響[60]。

    醫(yī)患溝通中的溝通內(nèi)容,也影響患者對(duì)醫(yī)生信任[61]?;颊咴谠\療中往往對(duì)疾病的實(shí)際名稱、用藥的原理和下一步的預(yù)期并不十分清楚,醫(yī)生需要對(duì)患者解釋清楚相關(guān)內(nèi)容,讓患者充分參與的同時(shí),保證診療的專業(yè)性和有效性。同時(shí),診療內(nèi)容中的傾聽和共情,也影響患者對(duì)醫(yī)生信任[62]。醫(yī)生需在溝通內(nèi)容中表達(dá)認(rèn)真和積極的傾聽和共情。在醫(yī)療領(lǐng)域,人工智能應(yīng)用可以使醫(yī)生在診療前或診療中給患者提供更多的信息。當(dāng)患者不清楚人工智能是如何將不同患者的偏好(如關(guān)于治療目標(biāo)的偏好等)考慮在算法中時(shí),醫(yī)生在溝通中對(duì)人工智能應(yīng)用的結(jié)果和決策進(jìn)行解釋,在溝通內(nèi)容中保障患者的知情權(quán),從而促進(jìn)患者對(duì)醫(yī)生的信任。

    4.2 醫(yī)患知識(shí)信息儲(chǔ)備

    患者對(duì)醫(yī)生有專業(yè)醫(yī)療知識(shí)方面的需求,并希望從醫(yī)生處了解相關(guān)專業(yè)醫(yī)療知識(shí),而患者對(duì)醫(yī)生的專業(yè)知識(shí)和機(jī)構(gòu)的水平狀況難以完全掌握,醫(yī)生與患者在知識(shí)信息方面具有不對(duì)稱性[63-65]。沒有人工智能應(yīng)用時(shí),患者獲得專業(yè)醫(yī)療知識(shí)的渠道往往較單一,一般是聽取醫(yī)生的醫(yī)療建議;人工智能的應(yīng)用為患者了解專業(yè)醫(yī)療知識(shí)提供了新渠道。同時(shí),人工智能也可以更便捷地為醫(yī)生提供專業(yè)醫(yī)療知識(shí)。以人工智能醫(yī)療診斷先驅(qū)IBM Watson(沃森)為例,其旨在利用人工智能學(xué)習(xí)和提煉相關(guān)醫(yī)學(xué)研究,結(jié)合患者數(shù)據(jù)和專家經(jīng)驗(yàn),形成治療建議[40]。當(dāng)對(duì)其詢問某疾病的具體治療決策時(shí),沃森在知識(shí)庫(kù)中搜索出詳細(xì)信息,匹配出可行的治療決策,沃森平均需要40秒來采集分析數(shù)據(jù)和形成治療建議,而腫瘤學(xué)專家平均需要12分鐘來完成同樣的工作量[40]。對(duì)于就醫(yī)資源緊張或資源不發(fā)達(dá)地區(qū),人工智能有利于給當(dāng)?shù)鼗颊吒鄼C(jī)會(huì)接觸到更高質(zhì)量專業(yè)醫(yī)療知識(shí)。

    醫(yī)生給患者制定更準(zhǔn)確和人性化的醫(yī)療決策,需對(duì)患者個(gè)人情況和個(gè)人背景有較為充分的了解[64]。在醫(yī)療領(lǐng)域,沒有人工智能應(yīng)用時(shí),醫(yī)生僅能通過有限的互動(dòng)時(shí)間對(duì)患者信息進(jìn)行了解;有人工智能應(yīng)用時(shí),患者信息可以被儲(chǔ)存在人工智能技術(shù)支持的知識(shí)庫(kù)中,醫(yī)生通過人工智能查看和了解患者個(gè)人信息。當(dāng)患者認(rèn)為醫(yī)生對(duì)自己更加關(guān)心和了解時(shí),患者對(duì)醫(yī)生也會(huì)更信任[64]。同時(shí),患者就診醫(yī)療機(jī)構(gòu)和醫(yī)生直接影響患者的診療結(jié)果,患者關(guān)于就診醫(yī)療機(jī)構(gòu)和醫(yī)生的知識(shí)信息儲(chǔ)備直接影響患者對(duì)醫(yī)生信任[65]。人工智能的應(yīng)用使患者可以通過人工智能獲取所需相關(guān)醫(yī)療機(jī)構(gòu)和醫(yī)生的信息,選擇適合自己的機(jī)構(gòu)和專家進(jìn)行就診[19]。

    由此可見,醫(yī)療知識(shí)、患者信息和醫(yī)療信息均會(huì)影響患者對(duì)于醫(yī)生為其提供高質(zhì)量診療的心理預(yù)期。在醫(yī)療領(lǐng)域,沒有人工智能應(yīng)用時(shí),患者只有通過與醫(yī)生直接溝通,交流醫(yī)療知識(shí)和患者信息,但很難對(duì)醫(yī)療機(jī)構(gòu)和醫(yī)生有詳細(xì)的了解;有人工智能應(yīng)用時(shí),患者和醫(yī)生均可以通過人工智能這一渠道實(shí)現(xiàn)更充分的知識(shí)信息儲(chǔ)備,緩解醫(yī)生和患者之間的信息不對(duì)稱,促進(jìn)患者對(duì)醫(yī)生的信任。

    4.3 醫(yī)患所處環(huán)境條件

    醫(yī)生和患者所處環(huán)境的安全性、清潔性以及和諧性都會(huì)影響患者對(duì)醫(yī)生信任[57, 66,67]。在醫(yī)療領(lǐng)域,沒有人工智能應(yīng)用時(shí),患者和醫(yī)生的所處環(huán)境完全由醫(yī)院相關(guān)人員進(jìn)行管理;有人工智能應(yīng)用時(shí),通過預(yù)測(cè)和監(jiān)控醫(yī)院內(nèi)外的安全性問題,保障患者和醫(yī)生的人身安全,減少錯(cuò)診和漏診導(dǎo)致的診療安全性問題[8]。利用人工智能,有能力自動(dòng)檢測(cè)和標(biāo)記放射科醫(yī)生未報(bào)告的CT檢查結(jié)果,以提高患者安全[41]。數(shù)據(jù)驅(qū)動(dòng)的統(tǒng)計(jì)方法(如機(jī)器學(xué)習(xí))根據(jù)輸入的數(shù)據(jù)學(xué)習(xí)預(yù)測(cè)功能,如果這些方法不夠透明,會(huì)對(duì)醫(yī)生和患者安全以及患者對(duì)醫(yī)生信任產(chǎn)生影響[8]。

    同時(shí),有人工智能應(yīng)用,協(xié)助醫(yī)療人員進(jìn)行清潔、消殺、消毒等工作,隨時(shí)進(jìn)行必要的清掃和消毒,保障物流等過程的清潔性和精準(zhǔn)性,使患者的就診環(huán)境和醫(yī)生的工作環(huán)境更加專業(yè)衛(wèi)生[66]。協(xié)助醫(yī)療機(jī)構(gòu)提高工作效率,改善臨床和業(yè)務(wù)工作流程,協(xié)助醫(yī)生自動(dòng)生成、更新、分析患者報(bào)告,減少醫(yī)生工作量,緩解診療繁瑣的業(yè)務(wù)流程,緩解醫(yī)患緊張,促進(jìn)診療環(huán)境的和諧性[67],而在病房?jī)?nèi)通過人工智能,有潛力實(shí)現(xiàn)病區(qū)醫(yī)生、患者和醫(yī)護(hù)人員之間信息和數(shù)據(jù)更加順暢的傳遞,保證醫(yī)療服務(wù)和需求滿足的及時(shí)性和全面性,有利于促進(jìn)患者對(duì)醫(yī)生信任。

    5 結(jié)語(yǔ)

    本文基于系統(tǒng)的文獻(xiàn)綜述和分析研究,梳理了醫(yī)療領(lǐng)域人工智能應(yīng)用的概念和具體應(yīng)用現(xiàn)狀。從知情問題和“黑箱”問題、安全性問題、偏見和公平性問題以及隱私性問題的角度出發(fā),闡述了醫(yī)療領(lǐng)域人工智能應(yīng)用可能帶來的社會(huì)、倫理以及對(duì)于患者對(duì)醫(yī)生信任的影響。通過構(gòu)建醫(yī)療領(lǐng)域人工智能應(yīng)用患者對(duì)醫(yī)生信任分析框架,探討了醫(yī)療領(lǐng)域人工智能應(yīng)用如何影響患者對(duì)醫(yī)生的信任,分析了醫(yī)療領(lǐng)域人工智能應(yīng)用對(duì)醫(yī)患溝通、知識(shí)信息儲(chǔ)備和環(huán)境條件產(chǎn)生有利影響,從而有助于增強(qiáng)患者對(duì)醫(yī)生的信任。擴(kuò)展了已有在醫(yī)療領(lǐng)域人工智能的概念和應(yīng)用現(xiàn)狀的綜述成果,分析了人工智能應(yīng)用中影響患者對(duì)醫(yī)生信任的主要變量,可能有助于推進(jìn)科學(xué)的實(shí)證研究。

    隨著我國(guó)進(jìn)入新發(fā)展階段和健康中國(guó)戰(zhàn)略的深入實(shí)施,醫(yī)療領(lǐng)域人工智能應(yīng)用將緊扣以患者為中心,重構(gòu)醫(yī)療、健康、衛(wèi)生、防疫、護(hù)理等全價(jià)值鏈,以數(shù)據(jù)運(yùn)營(yíng)為抓手,推動(dòng)醫(yī)療行業(yè)的智慧化、數(shù)字化、便捷化轉(zhuǎn)型,切實(shí)保障醫(yī)療質(zhì)量安全,有效維護(hù)人民群眾健康權(quán)益。為使人工智能在醫(yī)療應(yīng)用中更好地促進(jìn)患者對(duì)醫(yī)生信任,結(jié)合本文所開展的研究工作,提出如下3個(gè)方面的初步建議:①堅(jiān)持“以人為本”和“智能向善”理念,充分體現(xiàn)人類健康倫理價(jià)值,結(jié)合醫(yī)療倫理領(lǐng)域的實(shí)踐,增進(jìn)醫(yī)生和患者對(duì)人工智能倫理問題的認(rèn)識(shí),引導(dǎo)醫(yī)生和患者自覺遵守人工智能倫理準(zhǔn)則與規(guī)范,保障患者知情權(quán)與有效參與。②建立完善相關(guān)法律法規(guī),明確醫(yī)療領(lǐng)域人工智能應(yīng)用過程各環(huán)節(jié)相關(guān)主體的職責(zé)和權(quán)力邊界,避免使用可能產(chǎn)生嚴(yán)重消極后果的不成熟技術(shù),保障醫(yī)療領(lǐng)域人工智能應(yīng)用安全可靠,提升醫(yī)療領(lǐng)域人工智能應(yīng)用的普惠性、公平性和非歧視性、透明性和可解釋性。③強(qiáng)化對(duì)醫(yī)療領(lǐng)域(如智能導(dǎo)診、輔助診斷、智能治療、醫(yī)學(xué)知識(shí)圖譜、醫(yī)學(xué)影像等)已使用的人工智能產(chǎn)品與服務(wù)的質(zhì)量監(jiān)測(cè)和使用評(píng)估,鼓勵(lì)醫(yī)生和患者積極參與對(duì)醫(yī)療領(lǐng)域人工智能應(yīng)用社會(huì)影響的討論和評(píng)估,輔助醫(yī)療機(jī)構(gòu)提高醫(yī)療領(lǐng)域人工智能應(yīng)用水平。

    在本研究的基礎(chǔ)上,可進(jìn)一步構(gòu)建醫(yī)療領(lǐng)域人工智能應(yīng)用中患者對(duì)醫(yī)生信任的理論分析模型,從醫(yī)患溝通、醫(yī)患知識(shí)信息儲(chǔ)備和醫(yī)患環(huán)境條件這3個(gè)主要影響因素,實(shí)證研究醫(yī)療領(lǐng)域人工智能應(yīng)用如何影響和多大程度影響患者對(duì)醫(yī)生的信任,更好地理解醫(yī)療領(lǐng)域人工智能應(yīng)用如何影響患者對(duì)醫(yī)生的信任,并據(jù)此提出相應(yīng)的對(duì)策建議。

    猜你喜歡
    醫(yī)患信任領(lǐng)域
    領(lǐng)域·對(duì)峙
    青年生活(2019年23期)2019-09-10 12:55:43
    表示信任
    嚶嚶嚶,人與人的信任在哪里……
    桃之夭夭B(2017年2期)2017-02-24 17:32:43
    從生到死有多遠(yuǎn)
    新常態(tài)下推動(dòng)多層次多領(lǐng)域依法治理初探
    信任
    一句“咱媽的病”讓醫(yī)患成為一家
    解開醫(yī)患千千結(jié)
    分級(jí)診療 醫(yī)患各自怎么看?
    醫(yī)患矛盾再會(huì)診
    国产精品欧美亚洲77777| 巨乳人妻的诱惑在线观看| 国产亚洲av片在线观看秒播厂| 亚洲伊人色综图| 99久久人妻综合| 香蕉精品网在线| 青春草国产在线视频| 欧美另类一区| 在线天堂最新版资源| 婷婷成人精品国产| 亚洲精品色激情综合| 亚洲av.av天堂| 国产有黄有色有爽视频| 欧美最新免费一区二区三区| 五月开心婷婷网| 人成视频在线观看免费观看| 母亲3免费完整高清在线观看 | 久久99精品国语久久久| 国产熟女欧美一区二区| 成人毛片60女人毛片免费| 中国美白少妇内射xxxbb| 涩涩av久久男人的天堂| 国产亚洲一区二区精品| 午夜91福利影院| 伦理电影免费视频| 十分钟在线观看高清视频www| www.色视频.com| 亚洲av福利一区| 少妇人妻 视频| 女人精品久久久久毛片| 一本—道久久a久久精品蜜桃钙片| 免费不卡的大黄色大毛片视频在线观看| 久久久久精品久久久久真实原创| 午夜福利在线观看免费完整高清在| 看十八女毛片水多多多| 久久久a久久爽久久v久久| 麻豆精品久久久久久蜜桃| 日本av手机在线免费观看| 一本—道久久a久久精品蜜桃钙片| 日本与韩国留学比较| 成人亚洲欧美一区二区av| 国产xxxxx性猛交| 欧美成人精品欧美一级黄| 成年人午夜在线观看视频| 亚洲欧美日韩卡通动漫| 大片电影免费在线观看免费| 午夜av观看不卡| 纵有疾风起免费观看全集完整版| 国产成人精品福利久久| 午夜免费男女啪啪视频观看| 国产高清三级在线| 成人二区视频| 人妻少妇偷人精品九色| 国产成人a∨麻豆精品| 男女国产视频网站| 青春草亚洲视频在线观看| av不卡在线播放| 免费看av在线观看网站| 国产av一区二区精品久久| 国产成人精品久久久久久| 午夜av观看不卡| 午夜av观看不卡| 熟女电影av网| 亚洲欧美精品自产自拍| 午夜福利网站1000一区二区三区| 精品国产一区二区三区久久久樱花| 99国产精品免费福利视频| 久久av网站| 人体艺术视频欧美日本| 香蕉丝袜av| 男女免费视频国产| 1024视频免费在线观看| 只有这里有精品99| 国产国语露脸激情在线看| 精品午夜福利在线看| 又粗又硬又长又爽又黄的视频| 美女主播在线视频| 国产成人免费观看mmmm| 久久久国产一区二区| 青春草亚洲视频在线观看| 黄色怎么调成土黄色| 啦啦啦中文免费视频观看日本| 亚洲一级一片aⅴ在线观看| 99热国产这里只有精品6| 国产成人精品无人区| 大话2 男鬼变身卡| 视频区图区小说| 一区二区av电影网| 免费久久久久久久精品成人欧美视频 | 日日啪夜夜爽| 亚洲性久久影院| 纵有疾风起免费观看全集完整版| 成人国产麻豆网| 人人妻人人澡人人看| 极品人妻少妇av视频| 亚洲综合色网址| 国产国拍精品亚洲av在线观看| 国产麻豆69| 观看av在线不卡| 中国三级夫妇交换| 男女边吃奶边做爰视频| 日韩免费高清中文字幕av| 国产成人aa在线观看| 亚洲美女搞黄在线观看| 亚洲在久久综合| 男女免费视频国产| 欧美日韩精品成人综合77777| 国产精品秋霞免费鲁丝片| 又粗又硬又长又爽又黄的视频| 黄色怎么调成土黄色| 久久久久人妻精品一区果冻| 国产国拍精品亚洲av在线观看| 午夜福利视频精品| a级毛色黄片| 老女人水多毛片| 久久鲁丝午夜福利片| 亚洲精品自拍成人| 精品久久久久久电影网| 免费播放大片免费观看视频在线观看| 1024视频免费在线观看| 男的添女的下面高潮视频| 国产免费一级a男人的天堂| 你懂的网址亚洲精品在线观看| 欧美最新免费一区二区三区| 90打野战视频偷拍视频| 亚洲中文av在线| 黄色配什么色好看| 久久鲁丝午夜福利片| 久久久久久久久久成人| 日韩在线高清观看一区二区三区| 免费看不卡的av| 少妇的逼水好多| 久久亚洲国产成人精品v| 久久精品国产亚洲av天美| 国产爽快片一区二区三区| 18禁动态无遮挡网站| 国产欧美日韩一区二区三区在线| 久久国产精品男人的天堂亚洲 | 亚洲精品视频女| 国产精品 国内视频| 国产一区二区激情短视频 | 观看美女的网站| 天堂8中文在线网| 青青草视频在线视频观看| 人人妻人人添人人爽欧美一区卜| 亚洲精品国产色婷婷电影| 久久97久久精品| 日本av手机在线免费观看| av不卡在线播放| 国产精品蜜桃在线观看| 成年动漫av网址| 欧美日韩一区二区视频在线观看视频在线| 成人毛片a级毛片在线播放| 欧美人与性动交α欧美精品济南到 | 久久精品夜色国产| 欧美日韩av久久| 曰老女人黄片| 亚洲人与动物交配视频| 亚洲五月色婷婷综合| 纯流量卡能插随身wifi吗| 国产亚洲精品第一综合不卡 | 只有这里有精品99| 日韩大片免费观看网站| 天美传媒精品一区二区| 午夜激情av网站| 国产精品麻豆人妻色哟哟久久| 亚洲成人av在线免费| 精品久久久久久电影网| 成人无遮挡网站| 国产深夜福利视频在线观看| 老司机影院毛片| 免费在线观看黄色视频的| 中文字幕av电影在线播放| 999精品在线视频| 在线精品无人区一区二区三| 国产极品天堂在线| 国产高清国产精品国产三级| 水蜜桃什么品种好| 午夜视频国产福利| 蜜桃在线观看..| 91aial.com中文字幕在线观看| 精品少妇久久久久久888优播| 国产精品蜜桃在线观看| 亚洲精品一二三| 天天躁夜夜躁狠狠久久av| 国产成人精品婷婷| 午夜福利影视在线免费观看| av黄色大香蕉| 看十八女毛片水多多多| 日韩中字成人| 精品少妇内射三级| 中文字幕亚洲精品专区| 亚洲精品美女久久av网站| 哪个播放器可以免费观看大片| 丰满乱子伦码专区| 丝袜脚勾引网站| 精品亚洲成a人片在线观看| 黄色配什么色好看| 菩萨蛮人人尽说江南好唐韦庄| 王馨瑶露胸无遮挡在线观看| 熟妇人妻不卡中文字幕| 久久久国产精品麻豆| 日本wwww免费看| 性色avwww在线观看| 免费少妇av软件| 欧美精品一区二区大全| 日本猛色少妇xxxxx猛交久久| 成年人午夜在线观看视频| 久久精品aⅴ一区二区三区四区 | 精品国产乱码久久久久久小说| 又黄又粗又硬又大视频| 黄色配什么色好看| 亚洲欧洲精品一区二区精品久久久 | 欧美日韩视频精品一区| 欧美日韩av久久| av有码第一页| 成人18禁高潮啪啪吃奶动态图| 韩国精品一区二区三区 | 女人被躁到高潮嗷嗷叫费观| 亚洲精品自拍成人| www日本在线高清视频| 99re6热这里在线精品视频| 成人国语在线视频| 在线亚洲精品国产二区图片欧美| 国产福利在线免费观看视频| 日日爽夜夜爽网站| 免费在线观看完整版高清| 亚洲一级一片aⅴ在线观看| 亚洲成人一二三区av| 日本黄大片高清| 久久97久久精品| 欧美97在线视频| 一区在线观看完整版| 在现免费观看毛片| 老司机影院毛片| av一本久久久久| 激情视频va一区二区三区| 国产在线视频一区二区| 国产极品粉嫩免费观看在线| 嫩草影院入口| 男人添女人高潮全过程视频| 午夜日本视频在线| 18禁在线无遮挡免费观看视频| 青春草视频在线免费观看| 男女啪啪激烈高潮av片| 2018国产大陆天天弄谢| 成年人午夜在线观看视频| 91精品三级在线观看| 少妇人妻 视频| 国产免费视频播放在线视频| 巨乳人妻的诱惑在线观看| 久久99精品国语久久久| 精品国产国语对白av| 少妇精品久久久久久久| 国产女主播在线喷水免费视频网站| 精品久久国产蜜桃| 亚洲国产成人一精品久久久| 国产熟女欧美一区二区| 多毛熟女@视频| 国产成人欧美| 成人亚洲精品一区在线观看| 在线观看三级黄色| 在线观看www视频免费| 99精国产麻豆久久婷婷| 一级毛片电影观看| 五月天丁香电影| 80岁老熟妇乱子伦牲交| 亚洲色图 男人天堂 中文字幕 | 久久精品夜色国产| 久久久久久久久久成人| 亚洲av男天堂| 国产黄色视频一区二区在线观看| 国产成人午夜福利电影在线观看| 免费观看a级毛片全部| 久久97久久精品| 中文字幕亚洲精品专区| 大话2 男鬼变身卡| www.色视频.com| 欧美精品亚洲一区二区| 亚洲精品一二三| 少妇被粗大猛烈的视频| av不卡在线播放| 18禁国产床啪视频网站| 日韩伦理黄色片| 国产精品久久久久久精品电影小说| 99re6热这里在线精品视频| 日本vs欧美在线观看视频| 性色av一级| 亚洲成人av在线免费| 国产视频首页在线观看| 黑人巨大精品欧美一区二区蜜桃 | 亚洲四区av| 亚洲欧美成人精品一区二区| 精品国产一区二区久久| 亚洲国产色片| 看免费成人av毛片| 免费不卡的大黄色大毛片视频在线观看| 熟女人妻精品中文字幕| 蜜桃在线观看..| 一级片免费观看大全| 免费av中文字幕在线| 妹子高潮喷水视频| h视频一区二区三区| 日韩人妻精品一区2区三区| 美女xxoo啪啪120秒动态图| 国产精品久久久久久久久免| 国产免费现黄频在线看| 精品久久蜜臀av无| 亚洲人与动物交配视频| 亚洲,欧美精品.| 国产极品粉嫩免费观看在线| 热99国产精品久久久久久7| 午夜视频国产福利| 亚洲色图 男人天堂 中文字幕 | 黄色 视频免费看| 女性生殖器流出的白浆| 少妇人妻久久综合中文| 精品卡一卡二卡四卡免费| 成人综合一区亚洲| 亚洲精品自拍成人| 午夜免费鲁丝| 涩涩av久久男人的天堂| 在线看a的网站| 久久久国产一区二区| 久久久精品区二区三区| 大陆偷拍与自拍| 高清av免费在线| 亚洲伊人色综图| 免费在线观看黄色视频的| 婷婷成人精品国产| 黄片无遮挡物在线观看| 在线观看www视频免费| 中文字幕另类日韩欧美亚洲嫩草| 久久影院123| 久久久久久人妻| 99视频精品全部免费 在线| 亚洲国产av影院在线观看| 午夜激情av网站| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 亚洲,欧美精品.| 在线观看三级黄色| 18禁动态无遮挡网站| 欧美精品人与动牲交sv欧美| 99九九在线精品视频| 午夜视频国产福利| 99热国产这里只有精品6| 成年人午夜在线观看视频| 欧美激情极品国产一区二区三区 | 麻豆乱淫一区二区| 一级毛片黄色毛片免费观看视频| 在线观看美女被高潮喷水网站| 免费人成在线观看视频色| 飞空精品影院首页| 伦理电影大哥的女人| 亚洲av福利一区| 成人二区视频| 日本黄大片高清| 18禁裸乳无遮挡动漫免费视频| 春色校园在线视频观看| 男女无遮挡免费网站观看| 夫妻性生交免费视频一级片| 中文精品一卡2卡3卡4更新| 人妻少妇偷人精品九色| 18+在线观看网站| 一区二区av电影网| 亚洲国产精品成人久久小说| 人妻 亚洲 视频| 免费在线观看黄色视频的| 五月天丁香电影| 亚洲国产日韩一区二区| 中国三级夫妇交换| 一级黄片播放器| 欧美最新免费一区二区三区| 在线观看国产h片| 久久久久久久大尺度免费视频| 国产免费一级a男人的天堂| 久久久久久久精品精品| 久久精品国产亚洲av天美| av.在线天堂| 亚洲欧洲精品一区二区精品久久久 | 熟妇人妻不卡中文字幕| 永久免费av网站大全| 在线观看美女被高潮喷水网站| 在线观看人妻少妇| 1024视频免费在线观看| 国产1区2区3区精品| 少妇精品久久久久久久| 中文字幕人妻熟女乱码| 在线 av 中文字幕| 波野结衣二区三区在线| 国产男人的电影天堂91| 高清毛片免费看| 超色免费av| 曰老女人黄片| 人体艺术视频欧美日本| 日本爱情动作片www.在线观看| 国产精品人妻久久久久久| 亚洲精品乱久久久久久| 成年av动漫网址| 久久99蜜桃精品久久| 国产精品熟女久久久久浪| 看十八女毛片水多多多| 美女xxoo啪啪120秒动态图| 国产免费又黄又爽又色| 久久这里只有精品19| 飞空精品影院首页| 1024视频免费在线观看| 国产在视频线精品| 欧美激情国产日韩精品一区| 男女边吃奶边做爰视频| videos熟女内射| 日本色播在线视频| 一级黄片播放器| 免费女性裸体啪啪无遮挡网站| 最近中文字幕高清免费大全6| 国产av一区二区精品久久| 日韩三级伦理在线观看| 精品99又大又爽又粗少妇毛片| 中文天堂在线官网| 热re99久久国产66热| kizo精华| 国产男女内射视频| 男女午夜视频在线观看 | 我要看黄色一级片免费的| 免费看光身美女| 国产精品三级大全| 丝瓜视频免费看黄片| 日韩av在线免费看完整版不卡| 好男人视频免费观看在线| 国产成人一区二区在线| 国产男人的电影天堂91| 亚洲精品一区蜜桃| 亚洲精品乱码久久久久久按摩| 国产av国产精品国产| 男女无遮挡免费网站观看| 91aial.com中文字幕在线观看| av电影中文网址| 国产精品国产av在线观看| 观看av在线不卡| 老司机影院成人| 十八禁网站网址无遮挡| 色吧在线观看| 三级国产精品片| 久久国产精品大桥未久av| 人人妻人人添人人爽欧美一区卜| 国产日韩欧美亚洲二区| 美女大奶头黄色视频| 99九九在线精品视频| 欧美激情极品国产一区二区三区 | 国产淫语在线视频| 婷婷色综合大香蕉| 少妇人妻精品综合一区二区| 黄色配什么色好看| 男女国产视频网站| 精品国产一区二区三区四区第35| 最新中文字幕久久久久| 999精品在线视频| 日韩人妻精品一区2区三区| 熟女人妻精品中文字幕| 纵有疾风起免费观看全集完整版| 高清欧美精品videossex| 欧美日韩综合久久久久久| 人人妻人人添人人爽欧美一区卜| 青春草视频在线免费观看| 成人国产麻豆网| 黄网站色视频无遮挡免费观看| 男女下面插进去视频免费观看 | 99国产综合亚洲精品| av国产精品久久久久影院| 在线亚洲精品国产二区图片欧美| 大片免费播放器 马上看| 中国美白少妇内射xxxbb| 成人漫画全彩无遮挡| 亚洲欧美成人精品一区二区| 成人影院久久| 赤兔流量卡办理| 国产男人的电影天堂91| 国产xxxxx性猛交| 国产精品免费大片| 欧美变态另类bdsm刘玥| 欧美精品国产亚洲| 国产淫语在线视频| 精品午夜福利在线看| 亚洲少妇的诱惑av| 亚洲国产av新网站| 天天躁夜夜躁狠狠躁躁| 国产精品一国产av| 另类精品久久| 中文欧美无线码| av不卡在线播放| 寂寞人妻少妇视频99o| 午夜91福利影院| 亚洲成人av在线免费| 成人无遮挡网站| 色94色欧美一区二区| 亚洲精品av麻豆狂野| 国产欧美亚洲国产| 啦啦啦视频在线资源免费观看| 99国产精品免费福利视频| 亚洲欧洲精品一区二区精品久久久 | 又黄又粗又硬又大视频| 欧美激情 高清一区二区三区| 日韩av免费高清视频| av在线老鸭窝| 亚洲av成人精品一二三区| 婷婷色av中文字幕| freevideosex欧美| 99热6这里只有精品| 母亲3免费完整高清在线观看 | 中文精品一卡2卡3卡4更新| 欧美97在线视频| 七月丁香在线播放| 国产日韩欧美亚洲二区| 十分钟在线观看高清视频www| 久久人人97超碰香蕉20202| 五月伊人婷婷丁香| 成人二区视频| 免费高清在线观看视频在线观看| 亚洲欧美中文字幕日韩二区| 香蕉丝袜av| 好男人视频免费观看在线| 岛国毛片在线播放| 久久久精品94久久精品| 亚洲欧美成人精品一区二区| av天堂久久9| 国产伦理片在线播放av一区| 国产精品欧美亚洲77777| 午夜免费观看性视频| 午夜激情久久久久久久| h视频一区二区三区| 免费不卡的大黄色大毛片视频在线观看| 午夜福利视频在线观看免费| 精品久久蜜臀av无| 日韩视频在线欧美| 国产精品欧美亚洲77777| 久久这里有精品视频免费| 欧美少妇被猛烈插入视频| 午夜福利乱码中文字幕| 大码成人一级视频| 午夜福利视频在线观看免费| 国产国拍精品亚洲av在线观看| 免费少妇av软件| 日韩av免费高清视频| 秋霞伦理黄片| √禁漫天堂资源中文www| 国产av一区二区精品久久| 久久人人爽av亚洲精品天堂| 久久久久久久久久成人| 亚洲精品久久午夜乱码| 少妇高潮的动态图| 精品国产国语对白av| 狠狠婷婷综合久久久久久88av| 99久国产av精品国产电影| 欧美精品人与动牲交sv欧美| 99热全是精品| 久久精品国产自在天天线| 免费黄频网站在线观看国产| 欧美精品国产亚洲| 少妇的逼水好多| 综合色丁香网| 精品酒店卫生间| 久久精品国产综合久久久 | 一级a做视频免费观看| 免费看不卡的av| 久久热在线av| 久久精品国产亚洲av涩爱| 美女内射精品一级片tv| 大话2 男鬼变身卡| 少妇人妻精品综合一区二区| 亚洲av中文av极速乱| 一级黄片播放器| 国产一区二区在线观看日韩| 一边摸一边做爽爽视频免费| 中文字幕人妻熟女乱码| 精品人妻一区二区三区麻豆| 一本色道久久久久久精品综合| 欧美亚洲日本最大视频资源| 免费人妻精品一区二区三区视频| 九色亚洲精品在线播放| 日韩人妻精品一区2区三区| 熟女人妻精品中文字幕| 香蕉丝袜av| 国产精品熟女久久久久浪| 成人毛片a级毛片在线播放| 水蜜桃什么品种好| 中文欧美无线码| 伊人久久国产一区二区| 又粗又硬又长又爽又黄的视频| 97超碰精品成人国产| 久久97久久精品| 全区人妻精品视频| 熟女人妻精品中文字幕| 一区二区三区精品91| 亚洲国产成人一精品久久久| 国产成人免费观看mmmm| 在线观看一区二区三区激情| 亚洲内射少妇av| 久久久久久久久久成人| 好男人视频免费观看在线| 母亲3免费完整高清在线观看 | 一二三四中文在线观看免费高清| 欧美日韩综合久久久久久| 热99国产精品久久久久久7| freevideosex欧美| 女人被躁到高潮嗷嗷叫费观| 桃花免费在线播放| 一区二区日韩欧美中文字幕 | 热re99久久精品国产66热6| 免费播放大片免费观看视频在线观看| 男女午夜视频在线观看 | 天天影视国产精品| 色哟哟·www| 午夜免费男女啪啪视频观看| 亚洲av电影在线观看一区二区三区| 欧美+日韩+精品|