• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能醫(yī)療監(jiān)管與治理創(chuàng)新:突破現行規(guī)范框架的思考

    2024-10-23 00:00:00陳炳澍王玥
    中國醫(yī)學倫理學 2024年9期

    〔摘要〕隨著以深度學習和生成式人工智能為代表的人工智能應用的爆發(fā)式增長,人工智能技術已經進入醫(yī)療健康各個領域,包括臨床診療、醫(yī)院管理、科學研究、教育培訓和健康管理等,為患者帶來高效優(yōu)質服務的同時,也涌現出一系列治理制度需要解決和探索的問題,尤其是在人工智能醫(yī)療產品監(jiān)管方面。目前,各國監(jiān)管機構大多以風險等級方式進行人工智能醫(yī)療產品監(jiān)管,基本將人工智能產品定位為“輔助”性質,即需要醫(yī)師簽字確認自動判讀結果并承擔法律責任。世界衛(wèi)生組織先后發(fā)布兩項人工智能指南,旨在對衛(wèi)生健康領域人工智能技術的開發(fā)、提供和部署提供指導框架,并在肺結核這類特殊疾病診斷上提出突破性“獨立使用”的建議,美國監(jiān)管機構也提出“軟件預認證”的突破性思路以縮短審批流程并創(chuàng)新監(jiān)管方式。嘗試從技術治理制度創(chuàng)新的角度出發(fā),借鑒國際相關經驗,結合中國技術發(fā)展與實踐情況,提出針對特定應用場景、風險程度較低人工智能產品逐步開放“獨立”應用,以及對于尚未納入監(jiān)管的風險較高人工智能醫(yī)療產品進行“機構預認證”的治理思路,為制度創(chuàng)新提供一些可操作的路徑。

    〔關鍵詞〕生成式人工智能;醫(yī)療器械;獨立軟件;計算機輔助檢測

    〔中圖分類號〕R-052 〔文獻標志碼〕A 〔文章編號〕1001-8565(2024)09-1030-07

    DOI: 10. 12026/j. issn. 1001-8565. 2024. 09. 03

    Innovation in artificial intelligence medical regulatory and governance: thoughts on breaking through the current normative framework

    CHEN Bingshu1, WANG Yue2

    (1. Neusoft Medical Systems Co., Ltd., Shenyang 110179, China;2. School of Law, Xi’an Jiaotong University, Xi’an 710049, China)

    Abstract: With the explosive growth of artificial intelligence( AI) applications represented by deep learning and artificial intelligence generated content (AIGC), AI technologies have deployed various fields of healthcare, including clinical diagnosis and treatment, hospital management, scientific research, education training, and health management. While bringing efficient and high-quality services to patients, it has also emerged a series of regulatory and governance issues that need to be resolved and explored, especially in the regulation of AI medical applications. Currently, regulatory agencies in various countries mostly regulate AI medical products based on risk levels, positioning AI products as“ aided” in nature, that is, physicians are required to sign to confirm the results of the automated interpretation and take legal responsibility. The World Health Organization has released two successive AI guidelines, aiming to provide a guiding framework for the development, provision, and deployment of AI technology in the field of health, and to propose breakthrough“independent use” recommendations for the diagnosis of special diseases such as tuberculosis. The United States regulators have also proposed a creative idea of “ software pre-certification” to shorten the approval process and innovate regulatory methods. Starting from the perspective of innovation in the technology governance systems, drawing on relevant international experiences, and combining them with China’s technological development and practice situation, this paper proposed a governance thinking of gradually opening up “independent” applications for AI products with specific application scenarios and lower risk levels,as well as conducting “institutional pre-certification” for high-risk AI medical products that have not yet included in regulation, so as to provide some operable paths for institutional innovation.

    Keywords: artificial intelligence generated content; medical device; independent software; computer-aided detection

    2017年7月,國務院印發(fā)《新一代人工智能發(fā)展規(guī)劃》,將人工智能發(fā)展上升到國家戰(zhàn)略層面,為智能醫(yī)療的發(fā)展指明了智慧醫(yī)院建設、手術機器人、智能診療、智能生理監(jiān)測、影像識別、新藥研發(fā)、醫(yī)藥監(jiān)管和流行病智能監(jiān)測與防控等方向[1]。同時“十四五”規(guī)劃將人工智能納入優(yōu)先發(fā)展領域,推動產業(yè)迎來新一輪發(fā)展。

    人工智能指模擬、延伸、擴展和表現出人類智能(如推理和學習)的能力,其依靠計算機視覺、自然語言處理、機器學習或深度學習等計算機人工智能技術實現[2]。當前醫(yī)學領域人工智能技術應用場景廣泛,涵蓋臨床診療、醫(yī)院管理、科學研究、教育培訓和健康管理等。各國監(jiān)管機構對人工智能醫(yī)療產品并沒有形成統(tǒng)一的定義,但是基本一致規(guī)定應用了各類人工智能算法的產品作為醫(yī)療器械進行管理(Software as a Medical Device, SaMD)[2-5]。

    1998年,美國食品藥品監(jiān)管局 (FDA)在《美國聯邦管理法規(guī)》第 21篇Code of Federal Regulations, article 21中首次提出計算機輔助檢測(computer assisted/aided detection,CAD)的概念 [2]。這也是全球法規(guī)體系中,首次將CAD軟件納入醫(yī)療器械管理的范疇。2019 年 2 月,FDA 發(fā)布了《人工智能醫(yī)療器械獨立軟件修正監(jiān)管框架(討論稿)》(Proposed Regulatory Framework for Modifications to Artificial Intelligence/ Machine Learning 〈AI/ML〉-Based Software as a Medical Device Discussion Paper)[4],再次確認將人工智能軟件作為醫(yī)療器械進行管理,在美國監(jiān)管機制下,CAD(計算機輔助檢測)和SaMD(獨立軟件,軟件即醫(yī)療器械)是比較常見的對于此類產品使用的名詞。

    目前中國監(jiān)管部門提出了人工智能醫(yī)療器械產品定義,“基于‘醫(yī)療器械數據’,采用人工智能技術實現其預期用途的醫(yī)療器械或使用深度學習技術進行輔助決策的軟件”[2,6-9]。然而,這一定義相對范圍較窄,大量人工智能產品暫未納入人工智能醫(yī)療器械范疇,因此也未對其進行系統(tǒng)審評監(jiān)管和規(guī)范臨床,包括基于其他醫(yī)療數據的智能醫(yī)學軟件(如智能處方審核軟件、智能導診分診機器人)、 基于大數據的輔助決策系統(tǒng)(Clinical Decision Support System,CDSS)、非醫(yī)療器械類的軟件、基于語義識別的電子病歷語音錄入系統(tǒng)、病情診治與監(jiān)測系統(tǒng)、數字遠程會診平臺以及醫(yī)療機構自行研發(fā)的人工智能算法等,這些醫(yī)學人工智能產品多數缺乏統(tǒng)一操作指南和規(guī)范,對醫(yī)療質量構成潛在風險[2]。

    1 基于風險分級的人工智能醫(yī)療器械監(jiān)管模式

    目前,世界各國的人工智能醫(yī)療器械監(jiān)管模式,基本都是以風險等級為核心的監(jiān)管模式,國際醫(yī)療器械監(jiān)管機構論壇(IMDRF)作為推廣相關標準的國際組織,也推廣根據軟件所申明的用途和所針對疾病的嚴重性對其進行風險分類并進行管理[4-6]。

    在中國,人工智能醫(yī)療器械作為醫(yī)療器械軟件的子集,同樣采用基于風險的全生命周期管理方法進行監(jiān)管[6]?;陲L險是指人工智能醫(yī)療器械的監(jiān)管要求取決于其風險水平,風險水平越高監(jiān)管要求越嚴,其風險水平采用軟件安全性級別進行表述,分為輕微、中等、嚴重三個級別,可結合人工智能醫(yī)療器械的預期用途、使用場景、核心功能進行綜合判定[6]。

    值得注意的是,美國和中國在進行人工智能醫(yī)用軟件審批時,都會在審批文件中有如下描述:“供經培訓合格的醫(yī)師使用,不能單獨用作臨床診療決策依據”。也就是說,所有人工智能產品都不能獨立使用,無論軟件性能表現如何,都需要經過培訓合格的醫(yī)師簽字確認才能作為診斷的有效文件,相關軟件定位在作為醫(yī)師的“輔助”作用上,所以因其診斷所產生的法律責任也由確認簽字的醫(yī)師來承擔。

    1. 1 美國人工智能醫(yī)療器械監(jiān)管模式

    美國人工智能醫(yī)療器械的審批,根據產品的功能與用途進行分類。依據1976 年美國在《醫(yī)療器械修正案》(Medical Device Amendments)[4]中提出關于對醫(yī)療器械上市前和上市后監(jiān)管的理念,建立了以產品風險為依據的醫(yī)療器械分類管理制度,將醫(yī)療器械按照風險程度分為Ⅰ—Ⅲ類。FDA對Ⅰ類低風險產品實行一般控制,除極少數產品外,大多數Ⅰ類產品僅需備案管理,而不需要進行上市前通告即510(k);Ⅱ類為中等風險產品,FDA對其實施特殊控制,需要進行510(k)審批,即將擬申報醫(yī)療器械與已上市的參照器械在功能、性能、技術等方面進行對比,通過實質等同證明申報器械的安全性和有效性,從而獲準上市;Ⅲ類是高風險醫(yī)療器械,FDA則要求更為嚴格的上市前審批(premar‐ket approval application, PMA),目前美國上市的人工智能醫(yī)療器械多數屬于Ⅱ類中等風險醫(yī)療器械[4]。

    FDA將數字醫(yī)療器械軟件主要分為四類,即醫(yī)療器械獨立軟件、移動醫(yī)療應用程序、臨床決策支持軟件和醫(yī)療器械數據系統(tǒng)。前三種軟件涉及疾病檢測、監(jiān)測、診斷、治療等功能,是目前運用人工智能技術的主要軟件類型[4]。而最后一類軟件功能以醫(yī)療數據的儲存、傳輸和管理為主,通常作為低風險軟件管理,不作為人工智能軟件監(jiān)管的重點。

    2022年,FDA公布了基于人工智能/機器學習的醫(yī)療器械清單,已有500多個基于人工智能技術的產品在美國獲批上市,其中包括近100個CAD(醫(yī)學影像輔助決策軟件)[3],絕大部分都是Ⅱ類。FDA按照預期用途進一步將CAD(醫(yī)學影像輔助決策產品)分為輔助檢測(CADe)、輔助分診(CADt)、輔助診斷(CADx)、輔助檢測/診斷(CADe/x)等。CADt產品的預期用途通常是對患者就診順序進行優(yōu)先級排序,沒有診療直接相關的信息輸出,故其臨床應用風險在CAD里相對較低。CADe類產品會影響專業(yè)醫(yī)療人士的臨床決策,其臨床應用風險相對較高。CADx產品能夠提供最終的診斷結果供專業(yè)醫(yī)療人士參考,對臨床決策的影響最大,臨床應用風險在CAD的幾類輔助決策產品中最高[3]。

    因此,從審批實踐上來看,風險是美國人工智能醫(yī)療器械分類的最重要參考因素,目前獲批的CAD產品大多為II類,且進一步按照風險等級分為分診、檢測、診斷等。同時CAD(醫(yī)學影像輔助決策產品)還是將軟件定位在輔助功能上,都需要經過培訓合格的醫(yī)師簽字方能生效。

    1. 2 中國人工智能醫(yī)療器械監(jiān)管模式

    2017年,中國國家藥品監(jiān)督管理局成立人工智能工作組,相關工作主要包括人工智能醫(yī)療器械測評數據庫建立、算法評估、數據安全等,并重視產學研醫(yī)檢相結合和跨學科合作[5]。2019年7月,多部門發(fā)起的人工智能醫(yī)療器械創(chuàng)新合作平臺成立,以促進人工智能醫(yī)療器械監(jiān)管研究;在全球率先發(fā)布《深度學習輔助決策醫(yī)療器械軟件審評要點》,明確人工智能醫(yī)療器械的關注重點在深度學習類的輔助決策醫(yī)療器械軟件。2022年3月,國家藥監(jiān)局發(fā)布《人工智能醫(yī)療器械注冊審查指導原則》,指出深度學習是當前人工智能醫(yī)療器械的主流被監(jiān)管的算法[9]。2020年以來,中國大力推進人工智能醫(yī)療器械監(jiān)管研究,積極參與國際醫(yī)療器械監(jiān)管機構論壇人工智能醫(yī)療器械工作組、國際電信聯盟/世界衛(wèi)生組織醫(yī)學人工智能焦點組(ITU/WHO Focus Group on Artificial Intelligence for Health)等國際監(jiān)管協(xié)調工作;先后制定和發(fā)布多項相關指導原則、審評要點和行業(yè)標準,標志著中國人工智能醫(yī)療器械監(jiān)管研究已取得階段性成果[6-9]。

    中國對人工智能醫(yī)療器械管理較為嚴格,從算法種類、預期用途(是否為輔助決策)和數據來源(來自醫(yī)療器械)進行界定,并嚴格按照風險等級管理。根據2017年發(fā)布的新版醫(yī)療器械目錄以及人工智能醫(yī)用軟件產品分類界定指導原則[8],人工智能醫(yī)用軟件是指基于醫(yī)療器械數據、采用人工智能技術實現其醫(yī)療用途的獨立軟件,分為治療計劃軟件、影像處理軟件、數據處理軟件、決策支持軟件、體外診斷軟件和其他軟件[7]。對于算法在醫(yī)療應用中成熟度低(指未上市或安全有效性尚未得到充分證實)的人工智能醫(yī)用軟件,若用于輔助決策,如提供病灶特征識別、病變性質判定、用藥指導、治療計劃制定等臨床診療建議,按照第三類醫(yī)療器械管理;若用于非輔助決策,如進行數據處理和測量等提供臨床參考信息,按照第二類醫(yī)療器械管理[8]?;谏鲜鼋缍ㄒ?guī)則,人工智能醫(yī)用軟件的數據來源為醫(yī)療器械數據,風險高的按照三類管理,風險低的按照二類管理[8]。由于醫(yī)學知識的真?zhèn)蝺?yōu)劣評判不屬于醫(yī)療器械監(jiān)管范圍,故基于知識管理的醫(yī)學人工智能軟件不是人工智能獨立軟件,其代表產品是采用自然語言處理(NLP)技術對電子病歷的文本信息進行處理分析,生成知識圖譜或量表并以此為基礎向用戶提供醫(yī)療決策建議[6]。根據中國藥監(jiān)機構目前的分類界定原則,臨床輔助決策系統(tǒng)(CDSS)以及生成式人工智能應用,都不屬于人工智能醫(yī)療器械監(jiān)管范疇。

    根據國家藥監(jiān)局數據庫數據,自2019年1月1日到2024年6月30日的5年間(三類醫(yī)療器械證有效期內),藥監(jiān)局共批準183款三類醫(yī)療器械軟件上市,其中明確有深度學習算法的軟件有77款,創(chuàng)新通道有19款產品,主要包括糖尿病視網膜病變眼底圖像、肺結節(jié)CT、 FFR-CT、骨折和顱內腫瘤磁共振成像等醫(yī)學影像輔助診斷場景。采用深度學習技術的醫(yī)療器械是當前人工智能醫(yī)療器械監(jiān)管的重點產品類別[6]。從使用場景上,呈現出以分診、檢測和評估的分類作為審批的方向,在已經獲批的種類內,以分診為審批類別的,包括肺炎CT影像輔助分診與評估軟件、顱內出血CT影像輔助分診軟件、胸部骨折CT圖像輔助分診軟件、顱內動脈瘤CT血管造影圖像輔助分診軟件、肝臟局灶性病變MR圖像輔助分診軟件。

    在有關亞分類上,中美兩國的審批規(guī)則逐漸趨同,中國基本上分為檢測、診斷和分診三類,這個跟美國FDA的CADe、CADx和CADt比較類似,也能體現出來在基于風險的分類上更細致地分類,兩個監(jiān)管機構在CADe(檢測)、CADx(診斷)上的審評要求都更高。

    1. 3 人工智能醫(yī)療監(jiān)管和治理面臨的挑戰(zhàn)

    1. 3. 1 人工智能的技術特性對治理和監(jiān)管體系提出更高要求

    以獨立軟件為代表的人工智能醫(yī)療器械在使用過程中會根據真實世界數據和反饋不斷自我學習與進化,對人工智能醫(yī)用軟件的初始評估結論的一致性可能存在一些監(jiān)管瑕疵,也就是說無法完全對軟件進行動態(tài)監(jiān)管,沒有識別到監(jiān)管漏洞,但是存在一些可能的風險。算法在一定程度上存在可解釋性較差的現象。相比于傳統(tǒng)醫(yī)療器械,單一部門的資源及技術能力不足以對其產業(yè)形成及時有效的監(jiān)管和治理,隨著人工智能大模型和生成式人工智能技術在各領域的迅速傳播,如何在醫(yī)學人工智能領域平衡好人機合作的風險與收益,放大效率提升、能力延伸的益處,規(guī)避信息混雜、數字鴻溝帶來的弊端,將成為各部門在聯合監(jiān)管及治理過程中持續(xù)面對的問題[10]。

    1. 3. 2 基于不同場景的價值和技術評估體系共識尚缺乏

    人工智能對傳統(tǒng)醫(yī)療衛(wèi)生診治模式和思維形成沖擊挑戰(zhàn),醫(yī)療衛(wèi)生監(jiān)管未能及時形成人工智能臨床應用場景和功能的統(tǒng)一認知,造成技術治理理念滯后于新技術發(fā)展,未來將繼續(xù)對人工智能臨床應用場景進行深入定義和分析,形成既能體現技術本身分類特點,又能反映臨床診治規(guī)律的人工智能醫(yī)療技術分類標準,為科學治理政策制定奠定理論基礎[11]。目前的監(jiān)管是根據風險等級進行,但是在同一等級中,不同的軟件應用場景可分為分診、評估、檢測等,存在一些場景差異,同時人工智能作為特殊軟件,在三甲醫(yī)院以及基層醫(yī)療機構的使用場景也會完全產生不同效果并面臨不同風險,甚至在診斷評估不同種類疾病,例如傳染病和慢性病,所產生的價值也會有差異。另外,有關應用場景的劃分,還可能影響產品質量評價結果,例如有些人工智能醫(yī)療器械預期在基層醫(yī)療機構使用,由于基層醫(yī)療機構不具備醫(yī)療器械臨床試驗機構的備案條件,故這些產品難以在真實臨床場景下開展臨床試驗進行算法確認,就會影響產品質量評價結果[10-11]。因此包括政府在內的政策監(jiān)管方、醫(yī)療決策者、醫(yī)院管理者和服務提供者需要價值和技術的評估工具,識別高價值創(chuàng)新產品,推動其在適宜臨床場景下合理應用,實現預期臨床價值。

    1. 3. 3 現行法規(guī)治理框架和實踐有待突破

    人工智能的應用在疾病漏診、誤診等醫(yī)療事故中增添了機器系統(tǒng)這一角色使得責任的判定更加復雜,目前現行法律法規(guī)還不足以解決醫(yī)療人工智能帶來的各種問題,針對人工智能軟件和手術機器人等人工智能技術在醫(yī)療活動中造成的醫(yī)療事故責任判定需要盡快建立適應人工智能應用現狀的相關規(guī)范、標準與法律法規(guī),并隨著人工智能的發(fā)展不斷完善,明確各方責任[12]。在目前法律法規(guī)體系中,盡管有部分臨床證據已經表明某些人工智能醫(yī)用軟件已有比較好的臨床表現,但仍需要符合條件的醫(yī)師確認相關結果。

    2 國際醫(yī)學人工智能監(jiān)管新動向及其借鑒

    全球圍繞醫(yī)學人工智能的治理展開了廣泛討論,世界衛(wèi)生組織(WHO)也提出了針對開發(fā)、提供和部署環(huán)節(jié)的人工智能倫理治理框架,希望將這些原則作為各國政府、技術開發(fā)者、企業(yè)、民間社會和政府間組織采用以符合倫理要求的方式適當使用人工智能技術的基礎。世界衛(wèi)生組織也在COVID-19以及肺結核等特殊疾病防治過程中,建議在特殊場景下人工智能可以發(fā)揮更大作用甚至獨立使用。另外,美國FDA也在進行相關軟件預認證的試點工作,這也是將監(jiān)管從產品審評轉向機構管理的一種方式[4]。

    2. 1 基于設計開發(fā)、提供和部署的價值鏈管理思路

    世界衛(wèi)生組織分別于2021年6月和2024年1月發(fā)布《醫(yī)療衛(wèi)生中人工智能的倫理治理》指南和《衛(wèi)生領域人工智能的倫理與治理:多模態(tài)大模型指南》,提出了六項原則,分別是:保護自主權,促進人類福祉、人類安全和公共利益,確保透明性、“可解釋性”和可理解性,促進責任和問責制,確保包容性和公平性,促進具有響應性和可持續(xù)性的人工智能發(fā)展[13-14]。在多模態(tài)大模型指南中,提出“各國政府應該沿著LMM(大型多模態(tài)模型)和應用程序的設計開發(fā)、提供和部署的價值鏈確立責任,以確保損害受害者能夠要求賠償”,這個提法不僅區(qū)分了LMM相關的上下游的關系,確定了三種形態(tài),同時也提出價值鏈的方式確定責任,為生成式人工智能的責任確立提供了一種全新視角。

    針對開發(fā)者,該指南建議可以對程序員進行倫理認證或者培訓,促進他們符合醫(yī)療行業(yè)要求,開發(fā)者通過“事前剖析”和“紅隊”減少相應的風險。針對提供者和部署者,該指南建議政府應該頒布法律和政策,在人工智能的整個生命周期內對LMM和應用程序進行影響評估,應涉及倫理、人權、安全和數據保護,相關評估應該由獨立第三方進行。

    2. 2 軟件研發(fā)機構預認證模式

    美國FDA于2017年啟動了軟件預認證試點項目,提出將嘗試建立基于制造商質量與組織卓越文化(culture of quality and organizational excellence,CQOE)的審批模式,作為完全基于產品的傳統(tǒng)審批模式的選擇性補充。2017年FDA已從100家制造商中選出9家參與首期項目,其中包括蘋果、羅氏、Fitbit、強生等,并著手進行更多制造商的評選,經認可的制造商也將被分為兩級,具有卓越文化且軟件監(jiān)管經驗較多的制造商被評為二級,其低風險和中等風險產品不再需進行FDA上市審批[4,6]。

    在世界衛(wèi)生組織人工智能指南里也提出:政府監(jiān)管機構應激勵開發(fā)者在產品設計和開發(fā)過程中識別、檢測和解決相關的安全和人權問題,并應納入相關預認證計劃[13-14]。

    機構預認證可能會成為新技術監(jiān)管的一種創(chuàng)新制度設計,即從產品認證走向機構預認證。

    2. 3 醫(yī)用人工智能軟件的獨立使用

    2021年3月,世界衛(wèi)生組織更新了《結核病綜合指南,模塊2:結核病的系統(tǒng)篩查》,其進行的17項更新中包括了CAD軟件可獨立使用的重要更新。在指南推薦需進行篩查的15歲及以上人群中,計算機輔助診斷軟件(CAD)可替代人類閱片師(human reader)對胸部X光片進行解讀,以實現該人群的結核病篩查和分診的任務[15]。

    該更新也是首次在世界衛(wèi)生組織的疾病防治指南中推薦CAD可以獨立使用,無需經過人類醫(yī)師簽字確認,但是指南嚴格界定了應用場景,即在篩查和分診場景下,軟件可以獨立使用。該條款目前還是“有條件推薦”的更新,需要更多證據。指南專家組也認為,與人工閱片相比,CAD軟件的結論可以被視為準確的[15]。

    世界衛(wèi)生組織此更新為人工智能醫(yī)療產品的使用提供了新思路,即在低風險、特定場景下,可以逐步獨立使用人工智能產品。

    3 醫(yī)療人工智能監(jiān)管與治理制度創(chuàng)新和突破

    人工智能發(fā)展過程中難免沖擊現有法律規(guī)范、社會秩序、倫理道德,但人工智能技術在醫(yī)療領域應用具有十分美好的前景和巨大的需求,因此,應當在保障安全底線的前提下,采取風險分級、審慎包容的監(jiān)管策略,避免過度限制技術發(fā)展,實現規(guī)范約束與創(chuàng)新發(fā)展平衡。世界衛(wèi)生組織及相關國家監(jiān)管機構開展了一些有益的探索,基于已經獲取的經驗,結合中國醫(yī)療監(jiān)管的現有架構及機制,本文針對人工智能監(jiān)管和治理提出以下建議:

    3. 1 建立全鏈條創(chuàng)新激勵型監(jiān)管體制

    為了保障人工智能的安全創(chuàng)新,須全生命周期的動態(tài)和創(chuàng)新的監(jiān)管體系,一方面,需要建立敏捷的系統(tǒng)協(xié)調法規(guī)監(jiān)管部門、臨床管理部門和醫(yī)保物價部門的協(xié)同,使新技術的商業(yè)閉環(huán)能盡快實現;另一方面,還要推進產業(yè)技術部門和行業(yè)監(jiān)管部門協(xié)同,使新技術能迅速產品化,加速上市前審批和加強上市后監(jiān)管,促進新技術的安全使用和升級迭代。

    3. 1. 1 建立敏捷的全鏈條創(chuàng)新監(jiān)管體系

    在三醫(yī)聯動(醫(yī)藥、醫(yī)療和醫(yī)保)的基礎上,推動人工智能醫(yī)療器械的全鏈條監(jiān)管模式,將藥監(jiān)、衛(wèi)健、醫(yī)保、科技、工信、發(fā)改等相關行業(yè)監(jiān)管和科技產業(yè)創(chuàng)新部門納入機制,可考慮由工信作為牽頭部門推動相關產品的研發(fā)、產品化、注冊、上市、醫(yī)保等快速實現,以重大專項、首臺套目錄、政府集團采購、創(chuàng)新支付專項基金等工具為抓手,推動醫(yī)療人工智能產品的應用,形成激勵產業(yè)發(fā)展商業(yè)閉環(huán),從而塑造更好的創(chuàng)新環(huán)境。

    3. 1. 2 建立政府支持的公共服務平臺

    建議借鑒世界衛(wèi)生組織提出的獨立第三方審計和評估機制,搭建醫(yī)學人工智能應用評估平臺,基于研發(fā)、使用、監(jiān)管等各利益相關方的實際需求,形成規(guī)范、透明的信息共享及交換平臺。平臺還可執(zhí)行相關價值評估、產品測評、紅隊對抗、檢測、價值對齊規(guī)范制定等相關職能,對不同風險產品實施分類管理,確保低風險產品的標準統(tǒng)一,以及高風險產品檢測手段的實施。

    3. 2 深化“人工智能開發(fā)、提供和部署價值鏈”的法律責任確定

    法律關系確認、責任歸屬判定和商業(yè)化閉環(huán)形成,一直是人工智能在醫(yī)學領域應用需要解決的難題。根據世界衛(wèi)生組織所提倡“價值鏈”的方法論,建議國家科技倫理委員會下設醫(yī)學人工智能倫理法律政策顧問與咨詢機構,由醫(yī)學專家、倫理專家、法律專家、技術專家共同組成,按照設計開發(fā)、提供和部署的價值鏈評估的原則,深入研究人工智能的責任歸屬等復雜問題,充分挖掘現有法律制度資源,厘清法律關系和責任歸屬,給出醫(yī)療人工智能產品的中國法律關系和責任設計框架。

    3. 3 推動監(jiān)管模式分層級的突破和創(chuàng)新

    隨著人工智能技術進步,采用自動技術的人工智能應用會越來越多,需要逐步考慮突破現行法律倫理框架進行進一步探索,以制定與技術進步相適應的法律和治理體系,可以考慮借鑒自動駕駛領域的分級監(jiān)管,以推動治理框架能夠適配新的技術。

    3. 3. 1 風險較低的人工智能產品可逐步推進獨立使用

    針對特定應用場景、風險程度較低和技術成熟度較高的產品,可嘗試進行“獨立使用”的管理模式,即不再進行醫(yī)師簽字確認,例如前文提到的肺結核CAD產品,以及國內藥監(jiān)局審批的相關的分診產品(如骨折、腦出血、肺炎等)。因為風險等級較低,可根據“獨立性能評估”和“臨床試驗”的有效結果,相關醫(yī)療責任由相關注冊證持有企業(yè)/機構承擔。

    3. 3. 2 風險程度較高的輔助檢測類產品

    風險程度較高的輔助檢測類產品可依然采用目前監(jiān)管策略,即將輔助檢測類產品按照三類管理,需要進行較嚴格的臨床試驗驗證,證明產品的安全性和有效性,且高于現行技術,并繼續(xù)要求由醫(yī)生簽字確定責任,以及實行上市后全流程監(jiān)管。3. 3. 3 CDSS和GPT等風險較高且還未納入監(jiān)管的產品推動“機構監(jiān)管”模式

    對于NLP類的輔助決策系統(tǒng)和生成式人工智能產品,目前并不符合納入人工智能醫(yī)療器械管理的范疇,在監(jiān)管上存在風險和漏洞,目前業(yè)界也沒有達成一致如何進行監(jiān)管。建議針對風險程度較高和不確定產品推動機構監(jiān)管模式,開展軟件機構預認證模式的試點,由第三方機構進行相關倫理、安全、人員等方面的認證,通過對機構的認證,減少相關風險,同時可促進加快相關產品研發(fā)和使用。

    4 結語

    人工智能激烈國際競爭的背后,一方面比拼的是技術本身,另一方面,還包含了政策立法環(huán)境為技術發(fā)展提供土壤的優(yōu)渥程度的較量。中國可大膽進行醫(yī)療領域人工智能治理模式的創(chuàng)新,如果創(chuàng)新和實施得當,中國實現引導醫(yī)療領域人工智能高質量創(chuàng)新發(fā)展和高水平安全的良性互動,還可望形成國際示范效應,為國際人工智能治理提供“中國經驗”,作出“中國貢獻”。

    〔參考文獻〕

    [1]國務院關于印發(fā)新一代人工智能發(fā)展規(guī)劃的通知[EB/OL].(2017-07-20)[2024-03-05].https://www.gov.cn/zhengce/content/2017-07/20/content_5211996. html, State Council: Notice on AI Development Plan.

    [2]邱英鵬,吳迪,肖月,等. 我國人工智能醫(yī)療技術定義和分類思考 [J]. 醫(yī)學信息學雜志, 2023,44 (10): 11-15. QIU Y P, WU D, XIAO Y ,et al. Consideration on the definition and classification of artificial intelli‐gence medical technology in China[J]. Journal of Medical Intelligence, 2023,44(10):11-15.

    [3]盛恒松,郭佳瑩,王澤華. AI醫(yī)學影像輔助決策軟件FDA臨床要求淺析[J].中國數字醫(yī)學,2023, 18 (5): 8-12. SHENG S H, GUO J Y,WANG Z H, et al. Analysis of FDA’s clinical requirements for AI medical image-assisted decision-making software[J]. China Digital Medicine, 2023, 18(5): 8-12.

    [4]嚴舒,徐東紫,歐陽昭連.美國人工智能醫(yī)療器械監(jiān)管與應用分析[J].中國醫(yī)療設備, 2021,36 (2): 117-122. YAN S, XU D Z, OUYANG Z L. Analysis on the regulation and application of United States ar‐tificial intelligence medical device[J]. China Medical Devices, 2021, 36 (2): 117-122.

    [5]肖非易,李雪,李睿,等. 醫(yī)療人工智能技術評估與監(jiān)管的國際經驗及啟示[J].中國衛(wèi)生質量管理, 2023, 30 (7): 58-62. XIAO F Y, LI X,LI R, et al. International experience and implications of medical artificial intelligence technology evaluation and regulation[J]. Chinese Health Quality Management,2023, 30(7): 58-62.

    [6]彭亮,孫磊. 人工智能醫(yī)療器械監(jiān)管研究進展[J].中國食品藥品監(jiān)管, 2022 (2): 30-35. PENG L, SUN L.Progress in regulatory research of artificial intelligence medical devices[J]. China Food Drug Administration,2022 (2): 30-35.

    [7]食品藥品監(jiān)管總局.總局關于發(fā)布醫(yī)療器械分類目錄的公告(2017年第104號)[EB/OL] .(2017-09-04)[2024-03-05]. https://www.nmpa.gov.cn/ xxgk/ggtg/ylqxggtg/ylqxqtggtg/20170904150301406. html.

    [8]國家藥監(jiān)局關于發(fā)布人工智能醫(yī)用軟件產品分類界定指導原則的通告(2021年第47號) [EB/ OL] .(2021-07-08)[2024-03-05]. https://www. nmpa. gov. cn/ylqx/ylqxggtg/20210708111147171. html.

    [9]國家藥監(jiān)局器審中心.關于發(fā)布人工智能醫(yī)療器械注冊審查指導原則的通告(2022年第8號)[EB/ OL] .(2022-03-09)[2024-03-05]. https://www. cmde.org.cn/flfg/zdyz/fbg/fbgyy/20220309090800158. html.

    [10]游茂,任平,田雪晴,等. 我國醫(yī)學人工智能發(fā)展監(jiān)管現狀及政策建議[J].醫(yī)學信息學雜志,2023, 44 (10): 1-10. YOU M, REN P,TIAN X Q, et al, Regulatory status and policy recommendations for the develop‐ment of medical artificial intelligence in China[J]. Journal of Medical Intelligence,2023, 44 (10):1-10.

    [11]劉克軍,肖月,邱英鵬,等. 我國人工智能醫(yī)療技術臨床應用評估指南研究與應用[J].醫(yī)學信息學雜志, 2023, 44 (10): 16-21. LIU K J, XIAO Y, QIU Y P,et al, Study and application of the clinical application evaluation guideline for artificial intelligence medical technol‐ogy in China[J].Journal of Medical Intelligence,2023, 44 (10): 16-21.

    [12]王笛,趙靖,金明超,等. 人工智能在醫(yī)療領域的應用與思考[J].中國醫(yī)院管理, 2021, 41 (6):71-74. WANG D, ZHAO J, JIN M C,et al. Application and thinking of medical artificial intelligence[J].Chi‐nese Hospital Management,2021, 41 (6): 71-74.

    [13]王玥,宋雅鑫,王藝霏,等.衛(wèi)生領域人工智能的倫理與治理:多模態(tài)大模型指南 [J/OL].《中國醫(yī)學倫理學》:1-58[2024-03-14].http://kns.cnki.net/ kcms/detail/61.1203.R.20240304.1833.002.html.

    [14]WHO. Ethics and governance of artificial intelli‐gence for health: WHO guidance[EB/OL]. [2024-03-14].https://www.who.int/publications/i/item/ 9789240029200.

    [15]WHO. World Health Organization consolidated guidelines on tuberculosis: module 2: screening:systematic screening for tuberculosis disease[EB/ OL].[2024-03-05]. https://www.who.int/pub‐lications/i/item/9789240022676.

    午夜免费观看网址| 欧美日韩精品网址| 国产亚洲精品av在线| 日韩国内少妇激情av| 国产精品99久久99久久久不卡| 国产亚洲精品久久久久久毛片| 老汉色∧v一级毛片| 男女午夜视频在线观看| av欧美777| 黄片小视频在线播放| 久久久久久国产a免费观看| 一夜夜www| 美女cb高潮喷水在线观看 | 精品99又大又爽又粗少妇毛片 | 国产精品影院久久| 国产真人三级小视频在线观看| 色综合站精品国产| 老司机午夜十八禁免费视频| 黑人操中国人逼视频| 大型黄色视频在线免费观看| 欧美日韩中文字幕国产精品一区二区三区| 亚洲成人久久爱视频| 精品国产乱子伦一区二区三区| 黑人巨大精品欧美一区二区mp4| 搡老岳熟女国产| 欧美日韩中文字幕国产精品一区二区三区| aaaaa片日本免费| 精品久久久久久久人妻蜜臀av| 国产一区二区三区视频了| 香蕉av资源在线| 欧美黑人巨大hd| 欧美日韩亚洲国产一区二区在线观看| 一级黄色大片毛片| 日本 av在线| 欧美成人性av电影在线观看| 老司机福利观看| 免费在线观看视频国产中文字幕亚洲| 啦啦啦免费观看视频1| 少妇裸体淫交视频免费看高清| 久99久视频精品免费| 怎么达到女性高潮| 999精品在线视频| 99精品欧美一区二区三区四区| 这个男人来自地球电影免费观看| www.熟女人妻精品国产| av天堂中文字幕网| 国产高清视频在线观看网站| 1024手机看黄色片| 一级毛片女人18水好多| 伊人久久大香线蕉亚洲五| 国产欧美日韩精品亚洲av| 一本一本综合久久| 少妇的逼水好多| 男人舔女人的私密视频| 国产精品爽爽va在线观看网站| 18禁黄网站禁片午夜丰满| 看片在线看免费视频| 大型黄色视频在线免费观看| 国产伦人伦偷精品视频| 亚洲av电影不卡..在线观看| 日本成人三级电影网站| 欧美黑人欧美精品刺激| 18禁黄网站禁片午夜丰满| 精品久久久久久久人妻蜜臀av| 好男人电影高清在线观看| 久久香蕉国产精品| 两人在一起打扑克的视频| 国产精品野战在线观看| 亚洲真实伦在线观看| 色综合站精品国产| 成人av在线播放网站| 怎么达到女性高潮| 午夜福利高清视频| 日本免费a在线| 国产麻豆成人av免费视频| 国产伦精品一区二区三区四那| 1000部很黄的大片| 国产精品自产拍在线观看55亚洲| 日本撒尿小便嘘嘘汇集6| 亚洲国产日韩欧美精品在线观看 | 亚洲狠狠婷婷综合久久图片| 老司机福利观看| 亚洲色图av天堂| 日韩欧美一区二区三区在线观看| 国产淫片久久久久久久久 | 国产欧美日韩一区二区精品| 高清在线国产一区| 手机成人av网站| 国内精品美女久久久久久| 91av网一区二区| 国产精品一及| 69av精品久久久久久| 国产真实乱freesex| x7x7x7水蜜桃| 亚洲男人的天堂狠狠| 午夜日韩欧美国产| 日韩中文字幕欧美一区二区| 精品久久久久久,| 97超视频在线观看视频| а√天堂www在线а√下载| 精品一区二区三区视频在线 | 国产精品永久免费网站| 欧美日本视频| 亚洲 欧美 日韩 在线 免费| 国产野战对白在线观看| 日本精品一区二区三区蜜桃| 51午夜福利影视在线观看| 久9热在线精品视频| 在线免费观看不下载黄p国产 | 精品福利观看| 欧美又色又爽又黄视频| 波多野结衣高清作品| 这个男人来自地球电影免费观看| 久久久久性生活片| 亚洲av成人精品一区久久| 99精品在免费线老司机午夜| 香蕉久久夜色| 黄色 视频免费看| 欧美在线黄色| 日韩欧美一区二区三区在线观看| 久久中文字幕一级| tocl精华| 成人亚洲精品av一区二区| 可以在线观看毛片的网站| 成年版毛片免费区| 国产男靠女视频免费网站| 久久久久久久久久黄片| 俄罗斯特黄特色一大片| 国产欧美日韩一区二区精品| 国产久久久一区二区三区| 亚洲无线观看免费| 老熟妇仑乱视频hdxx| 久久婷婷人人爽人人干人人爱| 亚洲av电影在线进入| 欧美成狂野欧美在线观看| 亚洲国产精品久久男人天堂| 亚洲专区字幕在线| 国产乱人视频| 观看美女的网站| 欧美日韩亚洲国产一区二区在线观看| 日本黄大片高清| 视频区欧美日本亚洲| 又爽又黄无遮挡网站| 黄色日韩在线| or卡值多少钱| 高清在线国产一区| 亚洲 国产 在线| 日本免费a在线| 99久久成人亚洲精品观看| 身体一侧抽搐| 99国产精品一区二区蜜桃av| 一级毛片精品| 亚洲片人在线观看| 麻豆成人午夜福利视频| 成年版毛片免费区| 视频区欧美日本亚洲| 亚洲欧美精品综合久久99| 欧美日韩综合久久久久久 | 亚洲国产精品久久男人天堂| 男人舔奶头视频| 两个人视频免费观看高清| 国产 一区 欧美 日韩| 一进一出抽搐gif免费好疼| 免费大片18禁| 亚洲av成人精品一区久久| 久久欧美精品欧美久久欧美| 成人无遮挡网站| 日日摸夜夜添夜夜添小说| 精品久久久久久,| 又大又爽又粗| 国产精品99久久久久久久久| 日韩欧美一区二区三区在线观看| 国内精品久久久久久久电影| 婷婷精品国产亚洲av| 亚洲av成人av| 成年女人毛片免费观看观看9| 一个人看的www免费观看视频| 一二三四社区在线视频社区8| 免费在线观看亚洲国产| 亚洲成人免费电影在线观看| 亚洲性夜色夜夜综合| 精品久久久久久成人av| 日韩精品青青久久久久久| 亚洲欧美日韩卡通动漫| 国产成人av激情在线播放| 日本与韩国留学比较| 欧美成人一区二区免费高清观看 | 最近最新中文字幕大全免费视频| 欧美最黄视频在线播放免费| 久久婷婷人人爽人人干人人爱| 操出白浆在线播放| 国产视频一区二区在线看| 久久香蕉国产精品| 国产aⅴ精品一区二区三区波| 嫩草影视91久久| 国产精品 国内视频| 成人欧美大片| 一进一出好大好爽视频| 少妇的丰满在线观看| 欧美三级亚洲精品| 免费搜索国产男女视频| 国产亚洲精品一区二区www| 国产精品久久久久久精品电影| 久久天躁狠狠躁夜夜2o2o| 国产久久久一区二区三区| 99国产精品一区二区三区| 日韩成人在线观看一区二区三区| 18禁美女被吸乳视频| 国内精品久久久久久久电影| 99久久精品一区二区三区| 亚洲精品一卡2卡三卡4卡5卡| 日韩 欧美 亚洲 中文字幕| 男女之事视频高清在线观看| 精品一区二区三区四区五区乱码| 国产激情欧美一区二区| 色哟哟哟哟哟哟| 精品久久久久久,| 99在线人妻在线中文字幕| 精品欧美国产一区二区三| 一级毛片女人18水好多| 三级国产精品欧美在线观看 | 两个人看的免费小视频| 国产精品久久久久久久电影 | 国产午夜精品久久久久久| 精品一区二区三区视频在线 | 99国产精品99久久久久| 一区二区三区高清视频在线| 国产黄色小视频在线观看| 91老司机精品| 少妇丰满av| bbb黄色大片| 欧美激情久久久久久爽电影| 亚洲,欧美精品.| 又爽又黄无遮挡网站| 亚洲一区二区三区色噜噜| 狠狠狠狠99中文字幕| 美女被艹到高潮喷水动态| 午夜免费成人在线视频| 天天添夜夜摸| 免费人成视频x8x8入口观看| 成熟少妇高潮喷水视频| 亚洲专区字幕在线| 亚洲国产精品sss在线观看| 狠狠狠狠99中文字幕| 欧美极品一区二区三区四区| 婷婷亚洲欧美| 一a级毛片在线观看| 男人的好看免费观看在线视频| 怎么达到女性高潮| www.自偷自拍.com| 舔av片在线| 很黄的视频免费| 欧美高清成人免费视频www| 日韩人妻高清精品专区| 亚洲av美国av| 麻豆成人午夜福利视频| 波多野结衣巨乳人妻| 日韩欧美国产一区二区入口| 黄色视频,在线免费观看| 成熟少妇高潮喷水视频| 婷婷精品国产亚洲av在线| 男插女下体视频免费在线播放| 久久精品亚洲精品国产色婷小说| 日韩三级视频一区二区三区| 久久人妻av系列| 国产不卡一卡二| aaaaa片日本免费| 亚洲熟女毛片儿| or卡值多少钱| 免费看日本二区| 欧美激情在线99| av女优亚洲男人天堂 | 亚洲精品一区av在线观看| 99国产综合亚洲精品| 日韩高清综合在线| 淫妇啪啪啪对白视频| 国产亚洲av高清不卡| 天堂√8在线中文| av视频在线观看入口| 可以在线观看毛片的网站| 精品久久久久久,| 亚洲av熟女| 美女 人体艺术 gogo| 不卡av一区二区三区| 国内揄拍国产精品人妻在线| 夜夜爽天天搞| 性欧美人与动物交配| 亚洲性夜色夜夜综合| e午夜精品久久久久久久| 国产亚洲精品av在线| 国产精品久久久av美女十八| a在线观看视频网站| 一级作爱视频免费观看| 中国美女看黄片| 伦理电影免费视频| 午夜福利在线观看免费完整高清在 | 亚洲黑人精品在线| 老司机午夜福利在线观看视频| 国产精品乱码一区二三区的特点| 香蕉av资源在线| 别揉我奶头~嗯~啊~动态视频| 天堂av国产一区二区熟女人妻| 亚洲精品一区av在线观看| 国产伦人伦偷精品视频| 精品久久久久久久久久久久久| 三级国产精品欧美在线观看 | 一区二区三区国产精品乱码| 亚洲精品一区av在线观看| 岛国在线免费视频观看| 日本三级黄在线观看| 999久久久精品免费观看国产| 午夜福利免费观看在线| 中出人妻视频一区二区| 黑人巨大精品欧美一区二区mp4| 亚洲熟妇中文字幕五十中出| 99热6这里只有精品| 两性午夜刺激爽爽歪歪视频在线观看| 国产一区在线观看成人免费| 国产伦人伦偷精品视频| 国产日本99.免费观看| 国产又黄又爽又无遮挡在线| 在线观看美女被高潮喷水网站 | 中文字幕av在线有码专区| 国产99白浆流出| 久久香蕉国产精品| 两人在一起打扑克的视频| www日本在线高清视频| 色综合亚洲欧美另类图片| 啪啪无遮挡十八禁网站| 国产成人av激情在线播放| 欧美又色又爽又黄视频| 18禁美女被吸乳视频| 国产av麻豆久久久久久久| avwww免费| 99在线视频只有这里精品首页| 精品日产1卡2卡| 变态另类成人亚洲欧美熟女| 岛国视频午夜一区免费看| bbb黄色大片| 婷婷亚洲欧美| 老汉色av国产亚洲站长工具| bbb黄色大片| 狂野欧美白嫩少妇大欣赏| 少妇的逼水好多| 中文字幕人成人乱码亚洲影| 一本久久中文字幕| 中文资源天堂在线| 亚洲美女视频黄频| 青草久久国产| 久久久久免费精品人妻一区二区| 日本 av在线| 别揉我奶头~嗯~啊~动态视频| 不卡av一区二区三区| 五月玫瑰六月丁香| 国产亚洲欧美98| 日日摸夜夜添夜夜添小说| 国产精品香港三级国产av潘金莲| 好男人在线观看高清免费视频| 国产午夜精品论理片| 美女黄网站色视频| 欧美色欧美亚洲另类二区| 欧美激情久久久久久爽电影| 琪琪午夜伦伦电影理论片6080| 老司机午夜福利在线观看视频| 精品国产超薄肉色丝袜足j| 偷拍熟女少妇极品色| 熟女少妇亚洲综合色aaa.| 国产高潮美女av| 成人午夜高清在线视频| 中文字幕久久专区| 一级a爱片免费观看的视频| 久久久色成人| 国内精品一区二区在线观看| 亚洲国产欧美人成| 最新在线观看一区二区三区| 一区二区三区高清视频在线| 啪啪无遮挡十八禁网站| 亚洲 欧美一区二区三区| 日本 av在线| 女人被狂操c到高潮| 99久久无色码亚洲精品果冻| 狂野欧美激情性xxxx| 国产精品久久久久久久电影 | 国产高清激情床上av| 午夜精品久久久久久毛片777| 激情在线观看视频在线高清| 一个人免费在线观看的高清视频| av黄色大香蕉| 午夜福利18| 久久九九热精品免费| 手机成人av网站| 偷拍熟女少妇极品色| 国产精品一区二区免费欧美| 欧美av亚洲av综合av国产av| 久久九九热精品免费| 亚洲国产精品合色在线| 淫秽高清视频在线观看| 欧美中文综合在线视频| 12—13女人毛片做爰片一| 免费搜索国产男女视频| 窝窝影院91人妻| 草草在线视频免费看| 成人av在线播放网站| 黄色成人免费大全| 极品教师在线免费播放| 免费观看精品视频网站| 男女下面进入的视频免费午夜| 在线免费观看不下载黄p国产 | avwww免费| e午夜精品久久久久久久| 亚洲精品在线美女| 国产高清有码在线观看视频| 欧美绝顶高潮抽搐喷水| 国产精品 国内视频| 亚洲人成网站在线播放欧美日韩| 国产淫片久久久久久久久 | 亚洲国产日韩欧美精品在线观看 | 欧美成人免费av一区二区三区| 国内揄拍国产精品人妻在线| 九色国产91popny在线| 99热只有精品国产| 中文字幕av在线有码专区| 叶爱在线成人免费视频播放| 婷婷亚洲欧美| 亚洲五月婷婷丁香| 欧美一区二区精品小视频在线| 国内精品久久久久久久电影| 中文字幕人成人乱码亚洲影| 最新美女视频免费是黄的| 免费高清视频大片| 久久精品国产综合久久久| 搡老妇女老女人老熟妇| 国产精品1区2区在线观看.| 在线观看午夜福利视频| 人妻夜夜爽99麻豆av| av女优亚洲男人天堂 | 午夜精品在线福利| 三级男女做爰猛烈吃奶摸视频| 99国产综合亚洲精品| 国内精品久久久久精免费| 国产主播在线观看一区二区| 免费在线观看亚洲国产| 麻豆久久精品国产亚洲av| 免费搜索国产男女视频| 一本综合久久免费| 亚洲av成人av| 日韩欧美国产在线观看| 在线视频色国产色| 非洲黑人性xxxx精品又粗又长| 亚洲 欧美 日韩 在线 免费| 日韩av在线大香蕉| 好看av亚洲va欧美ⅴa在| 麻豆国产97在线/欧美| 国内久久婷婷六月综合欲色啪| 久久久国产欧美日韩av| 一级作爱视频免费观看| 久久精品91蜜桃| 国产精品久久久久久人妻精品电影| 亚洲av成人精品一区久久| 午夜福利欧美成人| 国产在线精品亚洲第一网站| 一个人免费在线观看的高清视频| 婷婷亚洲欧美| 99在线视频只有这里精品首页| 日本五十路高清| 一卡2卡三卡四卡精品乱码亚洲| 亚洲激情在线av| 99久久精品一区二区三区| 亚洲av电影在线进入| 人人妻人人看人人澡| 成年女人永久免费观看视频| 亚洲在线观看片| 美女黄网站色视频| 九色国产91popny在线| 午夜免费观看网址| 成人亚洲精品av一区二区| 人人妻人人澡欧美一区二区| 久久久国产成人免费| 欧美日韩综合久久久久久 | 国产伦人伦偷精品视频| 9191精品国产免费久久| 欧美性猛交黑人性爽| 国产伦精品一区二区三区四那| 亚洲精品美女久久av网站| 亚洲在线自拍视频| 日本 av在线| 国产精品亚洲av一区麻豆| 亚洲真实伦在线观看| 熟女人妻精品中文字幕| 18禁观看日本| 国产97色在线日韩免费| 91麻豆精品激情在线观看国产| 夜夜躁狠狠躁天天躁| 久久中文字幕人妻熟女| 女同久久另类99精品国产91| 又黄又粗又硬又大视频| 色精品久久人妻99蜜桃| 久久精品人妻少妇| 蜜桃久久精品国产亚洲av| 亚洲精品美女久久久久99蜜臀| 中文字幕高清在线视频| 欧美黑人巨大hd| 久久久久久人人人人人| 午夜福利成人在线免费观看| 深夜精品福利| 国产午夜精品论理片| 这个男人来自地球电影免费观看| 欧美又色又爽又黄视频| 黄色丝袜av网址大全| 欧美日韩中文字幕国产精品一区二区三区| 少妇的逼水好多| 99国产综合亚洲精品| 亚洲va日本ⅴa欧美va伊人久久| 精品一区二区三区视频在线观看免费| 欧美黑人欧美精品刺激| 91老司机精品| 国产91精品成人一区二区三区| 国产又黄又爽又无遮挡在线| 国产主播在线观看一区二区| svipshipincom国产片| 日本免费一区二区三区高清不卡| 午夜精品久久久久久毛片777| 欧美又色又爽又黄视频| 亚洲一区高清亚洲精品| 久久这里只有精品中国| www.熟女人妻精品国产| 欧美黑人欧美精品刺激| 国产伦精品一区二区三区四那| 美女高潮喷水抽搐中文字幕| 精品一区二区三区av网在线观看| 国产精品av视频在线免费观看| 久久久久国产一级毛片高清牌| 日本与韩国留学比较| 欧美色欧美亚洲另类二区| 99国产极品粉嫩在线观看| 老司机午夜十八禁免费视频| 亚洲精品在线观看二区| 99热6这里只有精品| 波多野结衣高清无吗| aaaaa片日本免费| 国产三级在线视频| 色视频www国产| 亚洲国产精品999在线| 国内久久婷婷六月综合欲色啪| 岛国视频午夜一区免费看| 国产在线精品亚洲第一网站| 国产午夜精品久久久久久| 国产亚洲精品av在线| 99国产精品一区二区蜜桃av| 亚洲av五月六月丁香网| 国产精华一区二区三区| 老熟妇仑乱视频hdxx| 欧美3d第一页| 一a级毛片在线观看| 久久人妻av系列| 九色成人免费人妻av| 9191精品国产免费久久| 亚洲精品中文字幕一二三四区| 激情在线观看视频在线高清| 青草久久国产| 婷婷精品国产亚洲av在线| 日本黄色片子视频| 一a级毛片在线观看| 久久人妻av系列| 亚洲av成人av| 中文资源天堂在线| 午夜福利在线观看吧| 18禁观看日本| 国产97色在线日韩免费| 国产高清激情床上av| 国产精品电影一区二区三区| 欧美性猛交╳xxx乱大交人| 日本熟妇午夜| 中国美女看黄片| 熟女电影av网| 18禁黄网站禁片午夜丰满| 精品久久久久久,| 美女扒开内裤让男人捅视频| 丰满人妻一区二区三区视频av | 一本一本综合久久| 久久人人精品亚洲av| 国产成人av教育| 在线视频色国产色| 国产aⅴ精品一区二区三区波| 免费高清视频大片| 小蜜桃在线观看免费完整版高清| av视频在线观看入口| 国产午夜福利久久久久久| 久99久视频精品免费| 巨乳人妻的诱惑在线观看| www.熟女人妻精品国产| 深夜精品福利| 中文字幕高清在线视频| 亚洲七黄色美女视频| 国产亚洲精品久久久久久毛片| 99在线视频只有这里精品首页| 欧美日本亚洲视频在线播放| 午夜福利成人在线免费观看| 天堂动漫精品| 在线国产一区二区在线| 免费人成视频x8x8入口观看| 成人av一区二区三区在线看| 女人被狂操c到高潮| 婷婷六月久久综合丁香| 精品久久久久久久久久免费视频| 国产亚洲欧美在线一区二区| 无限看片的www在线观看| 欧美zozozo另类| 我的老师免费观看完整版| 性欧美人与动物交配| 国产欧美日韩一区二区三| 淫妇啪啪啪对白视频| 亚洲九九香蕉| 久久国产精品影院| 无人区码免费观看不卡|