• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    中醫(yī)藥臨床研究類科技成果評價指標(biāo)體系研究

    2024-06-17 01:00:35賴鴻皓郭繼華尤良震王伽伯劉存志劉玥劉寶利孫鑫李慧楊忠奇季光趙林華趙暉商洪才曾芳魏戌張霄瀟葛龍
    中國全科醫(yī)學(xué) 2024年27期
    關(guān)鍵詞:評價指標(biāo)科技成果中醫(yī)藥

    賴鴻皓 郭繼華 尤良震 王伽伯 劉存志 劉玥 劉寶利 孫鑫 李慧 楊忠奇 季光 趙林華 趙暉 商洪才 曾芳 魏戌 張霄瀟 葛龍

    【摘要】 背景 開展好中醫(yī)藥科技成果評價工作對推動中醫(yī)藥創(chuàng)新發(fā)展意義重大。既往的中醫(yī)藥科技成果評價常套用籠統(tǒng)的評價方法,造成指標(biāo)不適用、維度單一等問題,不利于科學(xué)、全面地反映成果的多元價值。因此,新時期中醫(yī)藥科技成果評價亟需建立分類、多維度的評價指標(biāo)體系。目的 遵循我國新時期科技評價要求,針對中醫(yī)藥臨床研究類科技成果,建立體現(xiàn)中醫(yī)藥規(guī)律、突出中醫(yī)藥優(yōu)勢的科學(xué)、分類、可靠、全面的評價指標(biāo)體系。方法 本研究開始于2022年11月,完成于2023年5月。基于對相關(guān)文獻(xiàn)資料的梳理分析,結(jié)合專題小組討論,初步形成指標(biāo)框架;通過兩輪德爾菲專家咨詢,確定評價指標(biāo)和評價要點;采用層次分析法,計算指標(biāo)權(quán)重。結(jié)果 最終確定的中醫(yī)藥臨床研究類科技成果評價指標(biāo)體系包含門檻指標(biāo)10條,一級指標(biāo)4條,二級指標(biāo)17條,評價要點17條。經(jīng)檢驗,兩輪德爾菲法實施中專家積極系數(shù)均為100%,權(quán)威系數(shù)分別為0.94和0.93,各級指標(biāo)Kendall's W一致性檢驗雙側(cè)檢驗顯著性P值均<0.05,表明專家積極程度、權(quán)威程度高,專家意見一致性強,咨詢結(jié)果可靠。結(jié)論 本研究圍繞中醫(yī)藥臨床研究類科技成果評價,構(gòu)建了一套科學(xué)、合理、可靠、易操作的指標(biāo)體系。指標(biāo)涵蓋范圍廣,權(quán)重區(qū)分度高,具有一定中醫(yī)特色,有利于在全面考慮成果多元價值的同時凸顯核心優(yōu)勢。同時,配套建設(shè)的評價要點一定程度上增強了指標(biāo)體系的可操作性,可能為相關(guān)評價活動提供潛在參考。

    【關(guān)鍵詞】 中醫(yī)藥標(biāo)準(zhǔn)化;中醫(yī)藥;評價指標(biāo);科技成果;分類評價

    【中圖分類號】 R 2-65 【文獻(xiàn)標(biāo)識碼】 A DOI:10.12114/j.issn.1007-9572.2023.0487

    Research on Evaluation Index System of Scientific and Technological Achievements in Traditional Chinese Medicine Clinical Research

    LAI Honghao1,2,GUO Jihua3*,YOU Liangzhen4,WANG Jiabo5,LIU Cunzhi6,LIU Yue7,LIU Baoli8,SUN Xin9,LI Hui10,11,

    YANG Zhongqi12,JI Guang13,ZHAO Linhua14,ZHAO Hui15,SHANG Hongcai4,ZENG Fang16,WEI Xu17,ZHANG Xiaoxiao3,GE Long1,2,18*

    1.Evidence-based Social Science Research Center,School of Public Health,Lanzhou University,Lanzhou 730000,China

    2.Health Management and Development Research Center,School of Public Health,Lanzhou University,Lanzhou 730000,China

    3.China Association of Chinese Medicine,Beijing 100029,China

    4.Key Laboratory of Chinese Internal Medicine of Ministry of Education,Beijing Dongzhimen Hospital,Beijing University of Chinese Medicine,Beijing 100700,China

    5.School of Traditional Chinese Medicine,Capital Medical University,Beijing 100069,China

    6.School of Acupuncture,Moxibustion & Tuina,Beijing University of Chinese Medicine,Beijing 100029,China

    7.Cardiovascular Disease Centre,Xiyuan Hospital of China Academy of Chinese Medicine Sciences,Beijing 100091,China

    8.Department of Research,Beijing Hospital of Traditional Chinese Medicine,Capital Medical University,Beijing 100010,China

    9.Chinese Evidence-based Medicine Center,West China Hospital,Sichuan University,Chengdu 610041,China

    10.Institute of Chinese Materia Medica China Academy of Chinese Medical Sciences,Beijing 100700,China

    11.Institute of Traditional Chinese Medicine Health Industry,China Academy of Chinese Medical Sciences,Nanchang 330029,China

    12.Department of Cardiology,the First Affiliated Hospital of Guangzhou University of Chinese Medicine,Guangzhou 510405,China

    13.Institute of Digestive Diseases,Shanghai University of Traditional Chinese Medicine,Shanghai 200032,China

    14.Department of Endocrinology,Guang'anmen Hospital of China Academy of Chinese Medical Sciences,Beijing 100053,China

    15.China Center for Evidence-based Traditional Chinese Medicine,China Academy of Chinese Medical Sciences,Beijing 100700,China

    16.Acupuncture & Brain Research Center,Chengdu University of Traditional Chinese Medicine,Chengdu 610000,China

    17.Academic Development Office,Wangjing Hospital of China Academy of Chinese Medicine Sciences,Beijing 100102,China

    18.Key Laboratory of Evidence-based Medicine and Knowledge Translation of Gansu Province,Lanzhou 730000,China

    *Corresponding authors:GUO Jihua,Assistant research fellow;E-mail:cacmfzyj@163.com

    GE Long,Professor;E-mail:gelong2009@163.com

    【Abstract】 Background The effective evaluation of scientific and technological achievements in traditional Chinese medicine(TCM) is of great significance in promoting the innovative development of TCM. Previous evaluations of scientific and technological achievements in TCM often used a generalized evaluation method,leading to problems such as inappropriate indicators and limited dimensions,which is not conducive to reflecting the multiple values of achievements in a scientific and comprehensive way. Consequently,there is an urgent need to establish categorized and multi-dimensional evaluation index system for the evaluation of scientific and technological achievements in TCM in the new period. Objective To establish a scientific,categorized,reliable and comprehensive evaluation index system that reflects the principles of TCM and highlights its unique advantages aiming at the scientific and technological achievements in TCM,in accordance with the contemporary requirements for scientific and technological evaluation in China. Methods This study began in November 2022 and was completed in May 2023. A preliminary index framework was developed through literature review and focus group discussions. Delphi expert consultation was then conducted over two rounds to determine the evaluation indexes and points. The hierarchical analysis method was used to calculate the weight of each index. Results The final evaluation index system of scientific and technological achievements in TCM clinical research comprised 10 threshold indicators,4 primary indicators,17 secondary indicators,and 17 evaluation points. After testing,the positive coefficient of experts in both rounds of Delphi method implementation was 100%,the authority coefficient was 0.94 and 0.93,respectively. The Kendall's W consistency test for each level of indicators yielded two-tailed significance(P<0.05),indicated high levels of expert positivity and authority,strong consistency of expert opinion,and reliable consulting results. Conclusion This study constructs a scientific,reasonable,reliable and easy-to-operate evaluation index system for scientific and technological achievements in TCM clinical research. The indexes cover a wide range with highly differentiated weights and TCM characteristics,which is conducive to highlighting the core strengths while comprehensively considering the multiple value of the results. Additionally,the associated evaluation points,enhancing the operationalization of the index system,may potentially serve as a valuable reference for related evaluation activities.

    【Key words】 Zhong yi yao biao zhun hua;Traditional Chinese medicine;Evaluation indexes;Scientific and technological achievements;Categorical evaluation

    中醫(yī)藥作為我國特有的衛(wèi)生資源,其發(fā)展已上升至國家戰(zhàn)略高度。大力發(fā)展中醫(yī)藥科學(xué)技術(shù)研究,搶占科研高地,推動傳統(tǒng)醫(yī)學(xué)與現(xiàn)代科技緊密結(jié)合,是實現(xiàn)中醫(yī)藥振興發(fā)展的有力支撐和務(wù)實舉措[1]。

    為保障和促進(jìn)中醫(yī)藥科技事業(yè)持續(xù)、健康發(fā)展,近年來,《中醫(yī)藥發(fā)展戰(zhàn)略規(guī)劃綱要(2016—2030年)》[2]、《中華人民共和國中醫(yī)藥法》[3]、《關(guān)于完善科技成果評價機制的指導(dǎo)意見》[4]等一系列政策法規(guī)和指導(dǎo)文件明確提出要加快構(gòu)建和完善新時期中醫(yī)藥科技成果評價機制,建立符合中醫(yī)學(xué)科特點的分類、多元評價指標(biāo)體系,破解評價體系不適用、評價維度單一等問題,提高評價標(biāo)準(zhǔn)化和規(guī)范化水平,為中醫(yī)藥科技事業(yè)發(fā)展樹立正確導(dǎo)向。

    目前,我國中醫(yī)藥科技成果評價尚缺乏分類、適用、成熟的評價指標(biāo)體系,套用籠統(tǒng)的科技成果評價方法無法充分體現(xiàn)中醫(yī)藥的特色和優(yōu)勢[5];中醫(yī)藥科技研究類型繁雜,統(tǒng)一的評價體系難以指導(dǎo)不同類型科技成果的評價實踐[6]。此外,評價維度較為局限,仍存在“唯論文、唯職稱、唯學(xué)歷、唯獎項”的“四唯”問題[7],評價指標(biāo)無法全面反映成果綜合價值[8]。新時期中醫(yī)藥科技成果評價的導(dǎo)向既要與中醫(yī)學(xué)科特色優(yōu)勢相適應(yīng),也要能夠全面反映科技成果的科學(xué)、技術(shù)、經(jīng)濟、社會、文化綜合價值,成為調(diào)動科技人員研究積極性,引導(dǎo)中醫(yī)藥科技創(chuàng)新發(fā)展的關(guān)鍵抓手[9]。因此,本研究基于分類評價需求,選取評價需求最為迫切的中醫(yī)藥臨床研究類科技成果為突破口,采用系統(tǒng)方法建立符合中醫(yī)藥特點、科學(xué)合理、綜合全面的中醫(yī)藥臨床研究類科技成果評價指標(biāo)體系,以期為相關(guān)評價實踐提供參考。

    1 資料與方法

    本研究開始于2022年11月,完成于2023年5月。

    1.1 組建研究小組

    為確保研究質(zhì)量,組建了結(jié)構(gòu)完整、職責(zé)明確的研究小組。(1)指導(dǎo)委員會:由1名衛(wèi)生管理專家、1名科研管理專家組成,負(fù)責(zé)統(tǒng)籌指導(dǎo)工作開展;(2)秘書組:由2名具有衛(wèi)生管理、科研管理研究背景的人員組成,負(fù)責(zé)協(xié)調(diào)組織具體工作,主持線下和線上的會議、咨詢活動,記錄和管理會議內(nèi)容和參與人員,評估咨詢結(jié)果和計算權(quán)重指標(biāo),撰寫相關(guān)報告;(3)文獻(xiàn)研究組:由2名具有循證醫(yī)學(xué)、衛(wèi)生管理研究背景的人員組成,負(fù)責(zé)梳理和分析相關(guān)文獻(xiàn)資料,形成備選指標(biāo)池;(4)專題小組:由2名衛(wèi)生管理專家、2名科研管理專家和1名臨床研究專家組成,負(fù)責(zé)根據(jù)既定專題展開研討,并遴選評價指標(biāo)和設(shè)置評價要點;(5)共識專家組:由13名具有臨床醫(yī)學(xué)、管理學(xué)、中醫(yī)學(xué)、循證醫(yī)學(xué)、公共衛(wèi)生等專業(yè)研究背景的研究人員和臨床專家組成,負(fù)責(zé)審閱評價指標(biāo)體系,提出修改意見,以及為各評價指標(biāo)相對重要性進(jìn)行打分。

    1.2 文獻(xiàn)分析法

    在檢索閱讀相關(guān)政策法規(guī)、指導(dǎo)文件、期刊、報告、書籍的基礎(chǔ)上,分析科技成果評價指標(biāo)體系研究現(xiàn)狀,整理關(guān)于中醫(yī)藥科技成果評價的建議意見,明確指標(biāo)體系構(gòu)建原則和要點。通過系統(tǒng)回顧我國醫(yī)學(xué)領(lǐng)域科技成果評價指標(biāo)體系,收集、梳理和提煉評價指標(biāo),形成備選指標(biāo)池。

    1.3 專題小組討論

    專題小組討論又稱焦點小組訪談,是通過組織同類人員組成小組,針對特定研究議題展開提問、交流和討論,從而綜合觀點,得出深入結(jié)論的一種定性研究方法[10-11]。本研究邀請長期從事科研管理、衛(wèi)生管理、臨床研究等工作的多領(lǐng)域、多學(xué)科專家,基于文獻(xiàn)分析結(jié)果開展專題討論,明確科技評價工作原則和要求,探討中醫(yī)藥臨床研究類科技成果評價要點、重點和難點,針對目前評價實踐中的具體問題提出應(yīng)對策略,并進(jìn)一步遴選評價指標(biāo)和設(shè)置評價要點,初步形成評價指標(biāo)體系。

    1.4 德爾菲法

    德爾菲法是一種依托匿名函詢開展的專家咨詢方法,可通過重復(fù)調(diào)查獲取群體意見和達(dá)成共識[12]。本研究根據(jù)初步搭建的評價指標(biāo)體系制作專家函詢表,并采用李克特(Likert)5級評分法設(shè)置指標(biāo)重要性評分:9分為很重要,7分為重要,5分為一般,3分為不重要,1分為很不重要。邀請經(jīng)驗豐富的科研管理、衛(wèi)生管理、臨床研究、中醫(yī)、中西醫(yī)結(jié)合等領(lǐng)域?qū)<易鳛楹儗ο蟆T诖_認(rèn)專家不存在利益沖突后,本研究使用匿名函詢表收集專家對指標(biāo)和標(biāo)準(zhǔn)的刪減、增加和修改意見,對各評價指標(biāo)的重要性評分,以及對指標(biāo)體系的總體意見。

    1.5 統(tǒng)計學(xué)分析

    在收到專家反饋后,本研究從以下方面分析本輪德爾菲專家咨詢的結(jié)果。

    (1)專家積極程度。通過計算專家積極系數(shù),即回收到的有效問卷數(shù)與發(fā)放問卷數(shù)的比值,反映專家參與本課題的積極程度[13]。

    (2)專家權(quán)威程度。使用判斷依據(jù)系數(shù)(Ca)和熟悉程度系數(shù)(Cs)的算術(shù)平均數(shù),即專家權(quán)威系數(shù)(Cr)反映專家權(quán)威程度。其中,通過為專家在作答時采用的判斷依據(jù)以及該依據(jù)產(chǎn)生的影響賦值可計算Ca,包括實踐經(jīng)驗(0.5、0.4、0.3)、理論分析(0.3、0.2、0.1)、同行了解(0.1、0.1、0.1)、直觀感覺(0.1、0.1、0.1)4個方面和大、中、小3種影響程度;通過專家關(guān)于熟悉程度的自我評價,包括不熟悉(0.2)、不太熟悉(0.4)、一般熟悉(0.6)、熟悉(0.8)、很熟悉(1)5個層次,計算Cs。Cr越大表明專家意見權(quán)威程度越高,當(dāng)Cr≥0.7時,可認(rèn)為本輪專家意見具有較高權(quán)威性[14]。

    (3)意見集中程度。通過計算專家對各評價指標(biāo)的重要性評分算術(shù)平均數(shù)反映專家意見的集中程度[14]。

    (4)意見協(xié)調(diào)程度。通過計算變異系數(shù)(CV)反映意見分歧程度,Kendall's W系數(shù)反映意見協(xié)調(diào)程度。CV越小,Kendall's W越大,表示專家對指標(biāo)內(nèi)容的意見分歧越小,協(xié)調(diào)程度越好[15]。

    采用Microsoft Excel 2019和IBM SPSS Statistics 26進(jìn)行統(tǒng)計分析,以P<0.05為差異有統(tǒng)計學(xué)意義。

    1.6 指標(biāo)篩選和體系完善

    評價指標(biāo)篩選、修改標(biāo)準(zhǔn)如下:納入重要性評分均數(shù)>4.5且CV <0.5的指標(biāo),刪除不滿足以上任一條件的指標(biāo);對于超過30%的專家提出修改意見的指標(biāo),則在根據(jù)專家意見修改完善后,將該指標(biāo)納入下一輪函詢問卷里;對于有專家提出刪除意見的指標(biāo),則在下一輪函詢問卷中征詢所有專家的意見[16]。評價指標(biāo)W具有統(tǒng)計學(xué)意義(P<0.05),且CV<0.5可認(rèn)為專家就問卷指標(biāo)重要性達(dá)成一致;超過75%的專家同意評價指標(biāo)和標(biāo)準(zhǔn)可認(rèn)為專家就評價指標(biāo)體系達(dá)成共識[17]。

    1.7 層次分析法(AHP)

    AHP是一種復(fù)雜決策方法,在對決策問題進(jìn)行深入分析的基礎(chǔ)上,通過將問題分解為多個層次和因素,構(gòu)建結(jié)構(gòu)模型,利用定量信息和數(shù)學(xué)方法實現(xiàn)對層次和因素的重要性排序[18]。AHP在多個領(lǐng)域被廣泛用于計算指標(biāo)權(quán)重,具體步驟包括構(gòu)建層次結(jié)構(gòu),根據(jù)專家評分結(jié)果構(gòu)建兩兩比較的判斷矩陣,計算指標(biāo)權(quán)重,以及進(jìn)行一致性檢驗。通過計算一致性指標(biāo)(CI)和平均隨機一致性指數(shù)(RI)的比值,可獲得一致性比例(CR)。其中,CI=(λmax-n)/(n-1),λmax表示最大特征值,n為矩陣階數(shù)。CR<0.1表示判斷矩陣的一致性在可接受范圍內(nèi)[19]。

    2 結(jié)果

    2.1 評價指標(biāo)體系初步形成

    文獻(xiàn)研究組對相關(guān)文獻(xiàn)資料展開梳理和分析,明確了我國新時期科技評價要求、當(dāng)前科技評價存在的問題及評價指標(biāo)體系的構(gòu)建原則等,整理、提煉指標(biāo)要素,形成備選評價指標(biāo)池。邀請2名科研管理專家、2名衛(wèi)生管理專家、1名臨床研究專家先后進(jìn)行3次專題小組討論,篩選評價指標(biāo),初步形成評價指標(biāo)體系,包含門檻指標(biāo)10條、一級指標(biāo)4條、二級指標(biāo)17條、評價要點17項。由秘書組依據(jù)該結(jié)果制作德爾菲專家函詢表。

    2.2 德爾菲專家咨詢結(jié)果

    2.2.1 專家積極程度:兩輪德爾菲咨詢分別向13名專家發(fā)出函詢表,均在規(guī)定作答時間內(nèi)全部收回,專家積極系數(shù)為100%。

    2.2.2 專家基本情況:受邀參與德爾菲專家咨詢的專家共13名,包括男性10名(77%)、女性3名(23%)分別來自北京、上海、廣州、成都的高校和醫(yī)院。專家平均年齡(45.6±5.6)歲,其中<41歲2名(15%),41~50歲7名(54%),51~60歲4名(31%)。專家團隊資歷豐富,9名(69%)為博士研究生學(xué)歷,其余4名(31%)為碩士研究生學(xué)歷;6名(46%)為教授,6名(46%)為研究員,1名(8%)為主任醫(yī)師。13名專家的平均工作時間為21.1年,最長工作時間為30年。參與專家的專業(yè)領(lǐng)域(可多選)涉及臨床醫(yī)學(xué)(8名,62%)、管理學(xué)(5名,38%)、中醫(yī)學(xué)(6名,46%)、循證醫(yī)學(xué)(3名,23%)和公共衛(wèi)生(1名,8%);研究領(lǐng)域(可多選)集中于臨床醫(yī)學(xué)(9名,69%)、科研管理(5名,38%)、基礎(chǔ)醫(yī)學(xué)(3名,23%)、循證醫(yī)學(xué)(3名,23%)和醫(yī)院管理(2名,15%)。

    2.2.3 專家權(quán)威程度:根據(jù)專家對判斷依據(jù)和熟悉程度的自我評價,計算第一輪德爾菲咨詢專家群體Cr為0.94,第二輪為0.93,均>0.7,表明專家權(quán)威性較強[20]。

    2.2.4 意見集中程度:第1輪咨詢中各評價指標(biāo)的重要性評分平均數(shù)如下:臨床價值維度一級指標(biāo)為9.00分,二級指標(biāo)為7.62~8.54分;學(xué)術(shù)影響維度一級指標(biāo)為7.31分,二級指標(biāo)為6.08~7.62分;成果水平維度一級指標(biāo)為7.77分,二級指標(biāo)為5.62~8.69分;成果效益維度一級指標(biāo)為7.62分,二級指標(biāo)為5.31~7.31分。第二輪咨詢中,成果水平維度一級指標(biāo)為7.46分,二級指標(biāo)為5.62~8.69分;成果效益維度一級指標(biāo)為7.62分,二級指標(biāo)為6.23~7.77分。

    2.2.5 意見協(xié)調(diào)程度:第一輪咨詢中,一級指標(biāo)CV為0.00~0.37,臨床價值維度下二級指標(biāo)CV為0.10~0.22,學(xué)術(shù)影響維度下二級指標(biāo)CV為0.19~0.31,成果水平維度下二級指標(biāo)CV為0.08~0.37,成果效益維度下二級指標(biāo)CV為0.20~0.33,總體指標(biāo)、一級指標(biāo)和二級指標(biāo)的Kendall's W系數(shù)分別為0.40、0.37、0.41,χ2檢驗結(jié)果顯示雙側(cè)檢驗顯著性P值均<0.05;第二輪咨詢中,成果成果效益維度下二級指標(biāo)CV為0.19~0.28,其余指標(biāo)CV范圍與第一輪結(jié)果無異,總體指標(biāo)、一級指標(biāo)和二級指標(biāo)的Kendall's W系數(shù)分別為0.34、0.36、0.34,χ2檢驗結(jié)果顯示雙側(cè)檢驗顯著性P值均<0.05。上述結(jié)果表明專家意見協(xié)調(diào)程度較好[20],重要性評分在總體指標(biāo)、一級指標(biāo)和二級指標(biāo)上均趨于一致。

    2.3 指標(biāo)體系修改與完善

    在第一輪咨詢中,所有指標(biāo)滿足重要性評分均數(shù)>4.5且CV<0.5。6名(46%)專家建議刪除成果水平維度下的復(fù)雜與難易程度指標(biāo),原因是復(fù)雜與難易程度與成果水平并不存在直接關(guān)聯(lián),相反,應(yīng)支持研究者使用簡單、高效的方法取得同樣的成果,設(shè)置該指標(biāo)容易產(chǎn)生錯誤導(dǎo)向;7名(54%)專家建議在成果效益維度下增加經(jīng)濟效益指標(biāo),原因是經(jīng)濟效益是衡量科技成果綜合價值的必要考慮之一;9名(69%)專家共對評價要點提出了15項完善表述的建議。秘書組在匯總專家意見后,對評價指標(biāo)體系進(jìn)行了修改完善,并形成德爾菲函詢表開展第二輪專家咨詢。在第二輪咨詢中,所有指標(biāo)滿足重要性評分均數(shù)>4.5且CV<0.5,評價指標(biāo)和評價要點的同意率均高于75%,可認(rèn)為專家就評價指標(biāo)體系達(dá)成共識。

    2.4 指標(biāo)體系確定與權(quán)重計算

    2.4.1 評價指標(biāo):經(jīng)過兩輪德爾菲專家咨詢,最終確定中醫(yī)藥臨床研究類科技成果評價指標(biāo)體系,包含門檻指標(biāo)10條及評價指標(biāo)中一級指標(biāo)4條、二級指標(biāo)17條。

    2.4.2 指標(biāo)權(quán)重:根據(jù)專家對評價指標(biāo)的相對重要性評分構(gòu)建判斷矩陣,計算特征向量得到指標(biāo)權(quán)重。一致性檢驗結(jié)果顯示,一級指標(biāo)和二級指標(biāo)Cr均<0.1,表明矩陣一致性在可接受范圍內(nèi)[19]。中醫(yī)藥臨床研究類科技成果門檻指標(biāo)見表1,各評價指標(biāo)對應(yīng)權(quán)重見表2。

    2.4.2 評價要點 在根據(jù)專家意見修改完善后,為各個二級評價指標(biāo)設(shè)置評價要點,從而為具體評價活動提供參考,詳細(xì)信息見表3。

    3 討論

    3.1 構(gòu)建方法的科學(xué)性

    目前,指標(biāo)體系的構(gòu)建尚無統(tǒng)一、標(biāo)準(zhǔn)的方法和流程。本研究對既往文獻(xiàn)資料進(jìn)行了全面、系統(tǒng)的回顧,總結(jié)歸納了醫(yī)學(xué)領(lǐng)域科技成果評價指標(biāo)常用的構(gòu)建方法,確定了包括文獻(xiàn)研究、專題小組討論、德爾菲專家咨詢、層次分析法等在內(nèi)的主要研究方法。通過回顧既往針對指標(biāo)體系構(gòu)建的建議和思考,本研究針對構(gòu)建過程中潛在的局限和不足進(jìn)行了優(yōu)化,例如采用正式流程進(jìn)行專家咨詢、確保參與討論和共識的專家數(shù)量充足、具有代表性和權(quán)威性、學(xué)科領(lǐng)域覆蓋全面等[21]。本研究由指導(dǎo)委員會全程指導(dǎo)和監(jiān)管,專家咨詢的過程和結(jié)果均由秘書組詳細(xì)記錄,嚴(yán)格把控研究質(zhì)量,確保了研究結(jié)果合理性和準(zhǔn)確性。

    3.2 評價指標(biāo)的可靠性

    本研究通過系統(tǒng)性的文獻(xiàn)回顧形成備選指標(biāo)池,充分參考借鑒了既往研究成果;結(jié)合專題小組討論初步篩選指標(biāo),廣泛汲取了相關(guān)領(lǐng)域?qū)<业膶氋F經(jīng)驗和意見,為形成可靠的評價指標(biāo)奠定堅實基礎(chǔ)[22]。而后,研究遵循正式流程開展德爾菲專家咨詢以確定評價指標(biāo)。專家人數(shù)充足、代表性強、積極程度高、權(quán)威程度高,一定程度上反映了咨詢結(jié)果較為可靠;專家意見協(xié)調(diào)程度強,反映專家價值判斷一致,結(jié)果可信度高。研究使用層次分析法計算指標(biāo)權(quán)重,一致性檢驗結(jié)果良好,表示專家評分邏輯一致性強,反映賦權(quán)結(jié)果相對準(zhǔn)確。

    3.3 評價體系的易操作性

    最終確定的評價指標(biāo)體系包含評價指標(biāo)、指標(biāo)權(quán)重和評價要點。評價指標(biāo)簡明,條目數(shù)量和各條目字?jǐn)?shù)控制在合理范圍內(nèi),有利于優(yōu)化實際操作、提高評價效率;評價指標(biāo)權(quán)重清晰明確,有利于直觀理解指標(biāo)重要性和匯總評價結(jié)果;各指標(biāo)配有評價要點以供參考,有利于增強評價者對評價指標(biāo)的理解,一定程度上能夠避免評價過程主觀隨意[23]。

    3.4 評價體系的導(dǎo)向性

    本研究基于分類、全面評價的思路圍繞中醫(yī)藥臨床研究類科技成果開展,針對新時期科技評價要求確定評價導(dǎo)向,針對重要評價需求構(gòu)建專門評價體系。評價指標(biāo)維度全面,支持綜合評價科技成果的科學(xué)、技術(shù)、經(jīng)濟、社會、文化價值,重點突出科技成果對臨床重大需求和醫(yī)療衛(wèi)生實踐的貢獻(xiàn)和價值,重視評估科技成果向?qū)嵺`轉(zhuǎn)化的潛力[24],同時充分考慮中醫(yī)藥特色,并激勵研究者不斷優(yōu)化研究方法,精進(jìn)研究水平,促進(jìn)中醫(yī)藥科學(xué)技術(shù)創(chuàng)新發(fā)展。

    3.5 注意事項

    在該評價指標(biāo)體系的實際應(yīng)用中,應(yīng)注意以下方面:(1)該評價指標(biāo)體系基于分類評價的原則設(shè)計,評價對象為符合評價主體相關(guān)要求、取得評價資格的中醫(yī)藥臨床研究類科技成果,評價目的是衡量目標(biāo)科技成果的綜合價值,應(yīng)與具體中醫(yī)藥干預(yù)措施的價值評估等用途區(qū)別開。(2)該評價指標(biāo)體系基于定量思路構(gòu)建,目的是提供能夠反映中醫(yī)藥臨床研究類科技成果綜合價值的量化結(jié)果,以期滿足評價主體的定量評價需求??紤]到中醫(yī)藥的特殊性和復(fù)雜性,當(dāng)前評價指標(biāo)體系仍可能不夠全面,對具體科技成果綜合價值的挖掘能力仍可能不夠突出,評價主體可根據(jù)實際情況考慮額外添加定性評價模塊,從而確保評價結(jié)果合理、可靠。(3)雖然該評價指標(biāo)體系圍繞科技成果“五元價值”的綜合評價建設(shè),但其中部分評價指標(biāo)和評價要點仍較為籠統(tǒng),科技成果的經(jīng)濟、社會、文化價值缺乏明確、合理、成熟的評估方法和標(biāo)準(zhǔn),評價結(jié)果受到評價者價值觀的影響程度較大。評價主體可針對具體評價需求,通過定性案例研究、組織專家討論和共識等方式,綜合衡量科技成果多元價值。此外,網(wǎng)絡(luò)計量學(xué)、替代計量學(xué)的發(fā)展為科學(xué)、合理地捕捉、測量社會影響力提供了潛在方法[25],但其應(yīng)用仍存在挑戰(zhàn)。

    3.6 小結(jié)與展望

    本研究采用成熟方法和正式流程,圍繞中醫(yī)藥臨床研究類科技成果開展評價指標(biāo)體系構(gòu)建,為相關(guān)評價活動提供了參考。未來研究應(yīng)堅持分類、全面的評價原則,為不同領(lǐng)域、不同學(xué)科、不同科技活動構(gòu)建專門的科技成果評價體系,發(fā)揮好科技評價的“指揮棒”作用,調(diào)動科技人員積極性,促進(jìn)研究資源合理分配,引導(dǎo)科技事業(yè)健康、持續(xù)發(fā)展。

    作者貢獻(xiàn):賴鴻皓、郭繼華負(fù)責(zé)研究過程的實施,例如進(jìn)行文獻(xiàn)資料的回顧、調(diào)查對象的選取、會議提綱和問卷的設(shè)計、反饋信息的收集和整理等;賴鴻皓負(fù)責(zé)數(shù)據(jù)收集、采集、清洗和統(tǒng)計學(xué)分析、繪制圖表等;賴鴻皓,郭繼華負(fù)責(zé)論文起草;尤良震、王伽伯、劉存志、劉玥、劉寶利、孫鑫、李慧、楊忠奇、季光、趙林華、趙暉、商洪才、曾芳、魏戌負(fù)責(zé)參與專題小組討論和專家共識,對指標(biāo)體系的構(gòu)建與完善提出修改意見;張霄瀟、葛龍?zhí)岢鲅芯克悸?,設(shè)計研究方案;賴鴻皓、葛龍負(fù)責(zé)最終版本修訂,對論文負(fù)責(zé)。

    本文無利益沖突。

    賴鴻皓:https://orcid.org/0000-0001-7913-6207

    葛龍:https://orcid.org/0000-0002-3555-1107

    郭繼華:https://orcid.org/0009-0000-3155-598X

    參考文獻(xiàn)

    國務(wù)院辦公廳. 國務(wù)院辦公廳關(guān)于印發(fā)中醫(yī)藥振興發(fā)展重大工程實施方案的通知[J]. 中華人民共和國國務(wù)院公報,2023(8):24-35.

    國務(wù)院. 國務(wù)院關(guān)于印發(fā)中醫(yī)藥發(fā)展戰(zhàn)略規(guī)劃綱要(2016—2030年)的通知[J]. 中華人民共和國國務(wù)院公報,2016(8):21-29.

    中華人民共和國中醫(yī)藥法[N]. 人民日報,2017-05-04(16).

    國務(wù)院辦公廳. 國務(wù)院辦公廳關(guān)于完善科技成果評價機制的指導(dǎo)意見[J]. 中華人民共和國國務(wù)院公報,2021(23):22-25.

    中國中醫(yī)科學(xué)院中醫(yī)基礎(chǔ)理論研究所. 符合中醫(yī)藥特點的科技評價體系建設(shè)研究報告[J]. 世界科學(xué)技術(shù)-中醫(yī)藥現(xiàn)代化,2018,20(7):1039-1042.

    洪駿,程海波. 構(gòu)建中醫(yī)藥學(xué)科評價指標(biāo)體系[J]. 中華中醫(yī)藥雜志,2019,34(4):1621-1623.

    江麗杰,佟旭,吳朦,等. 中醫(yī)藥科技評價體系探析[J]. 世界科學(xué)技術(shù)-中醫(yī)藥現(xiàn)代化,2018,20(3):328-334. DOI:10.11842/wst.2018.03.002.

    申丹,劉強,徐春波,等. 中醫(yī)藥科技成果評價工作構(gòu)想及建議[J]. 世界科學(xué)技術(shù)-中醫(yī)藥現(xiàn)代化,2018,20(3):341-348. DOI:10.11842/wst.2018.03.004.

    劉強,申丹,徐春波,等. 中醫(yī)藥第三方科技評價的實踐和思考[J]. 世界科學(xué)技術(shù)-中醫(yī)藥現(xiàn)代化,2018,20(3):323-327. DOI:10.11842/wst.2018.03.001.

    沈士立,張鑫巖,李一萱,等. 臨床住培基地(綜合醫(yī)院)全科醫(yī)學(xué)科的定位與評價指標(biāo)研究:基于專題小組討論的 歸納性分析[J]. 中國全科醫(yī)學(xué),2020,23(13):1627-1631,1639. DOI:10.12114/j.issn.1007-9572.2020.00.157.

    Thijs Reyniers,Dirk Houttekier,H. Roeline Pasman,等. 家庭醫(yī)生對防止和指導(dǎo)臨終入院角色的認(rèn)知:專題小組訪談研究[J]. 中國全科醫(yī)學(xué),2014,17(34):4033-4035. DOI:10.3969/j.issn.1007-9572.2014.34.002.

    J?NGER S,PAYNE S A,BRINE J,et al. Guidance on Conducting and REporting DElphi Studies (CREDES) in palliative care:recommendations based on a methodological systematic review[J]. Palliat Med,2017,31(8):684-706. DOI:10.1177/0269216317690685.

    DE KLEIJN R J C M F,SCHROPP L,VAN HATTUM E S,et al. Post-thrombotic syndrome after upper extremity deep vein thrombosis:an international Delphi consensus study[J]. J Thromb Haemost,2022,20(8):1880-1886. DOI:10.1111/jth.15767.

    於海燕,沈康,何松,等. 運用德爾菲法和層次分析法確定臨床學(xué)科帶頭人評價體系的指標(biāo)權(quán)重[J]. 中國醫(yī)院,2017,21(12):33-36.

    齊慶,于靜,高明利. 基于德爾菲法的《產(chǎn)后痹中醫(yī)臨床診療指南》問卷調(diào)查與結(jié)果分析[J]. 世界中西醫(yī)結(jié)合雜志,2018,13(10):1352-1356. DOI:10.13935/j.cnki.sjzx.181006.

    王玲,尹鈺佳,王蓉希,等. 基于德爾菲法和層次分析法的醫(yī)學(xué)高層次人才評價體系實證研究[J]. 現(xiàn)代醫(yī)院,2021,21(1):64-67. DOI:10.3969/j.issn.1671-332X.2021.01.019.

    王佳佳,謝洋,李建生. 基于德爾菲法的慢性阻塞性肺疾病患者報告結(jié)局量表的修訂[J]. 中國老年學(xué)雜志,2021,41(20):4397-4400.

    董君. 層次分析法權(quán)重計算方法分析及其應(yīng)用研究[J]. 科技資訊,2015,13(29):218,220. DOI:10.16661/j.cnki.1672-3791.2015.29.218.

    趙雨薇,郭蕾,張俊龍,等. 應(yīng)用德爾菲法構(gòu)建中醫(yī)適宜技術(shù)評估指標(biāo)模型[J]. 中華中醫(yī)藥雜志,2016,31(6):2257-2259.

    趙雨薇,閆川慧,張俊龍,等. 應(yīng)用層次分析法和百分權(quán)重法確定中醫(yī)適宜技術(shù)評估指標(biāo)體系權(quán)重[J]. 中華中醫(yī)藥雜志,2017,32(7):3054-3056.

    李振吉,徐春波,劉建平,等. 建立第三方中醫(yī)藥科技成果評價體系的構(gòu)想[J]. 世界中醫(yī)藥,2014,9(6):726-730. DOI:10.3969/j.issn.1673-7202.2014.06.011.

    沈士立,張鑫巖,李一萱,等. 臨床住培基地(綜合醫(yī)院)全科醫(yī)學(xué)科的定位與評價指標(biāo)研究:基于專題小組討論的 歸納性分析[J]. 中國全科醫(yī)學(xué),2020,23(13):1627-1631,1639. DOI:10.12114/j.issn.1007-9572.2020.00.157.

    沈娟,郭欣,關(guān)健. 新時期醫(yī)學(xué)領(lǐng)域科技評價影響因素及評價體系構(gòu)建原則和建議[J]. 科技管理研究,2022,42(22):71-76. DOI:10.3969/j.issn.1000-7695.2022.22.010.

    王宇,張建,陳家應(yīng),等. 醫(yī)學(xué)科技成果轉(zhuǎn)化的動力與阻力——基于文獻(xiàn)計量法與實踐的分析[J]. 中國高校科技,2020(12):90-92. DOI:10.16209/j.cnki.cust.2020.12.020.

    宋麗萍,王建芳,付婕,等. Altmetrics對研究的社會影響力評價效果研究[J]. 信息資源管理學(xué)報,2022,12(5):123-129. DOI:10.13365/j.jirm.2022.05.123.

    (本文編輯:趙躍翠)

    *通信作者:郭繼華,助理研究員;E-mail:cacmfzyj@163.com

    葛龍,教授;E-mail:gelong2009@163.com

    除前三位作者和通信作者外,其他作者均為共識專家,排名不分先后,按姓氏筆畫為序

    基金項目:中華中醫(yī)藥學(xué)會求實項目(2022-QSDXWT-05);中國科協(xié)科學(xué)技術(shù)創(chuàng)新部科技評估評價專項

    引用本文:賴鴻皓,郭繼華,尤良震,等. 中醫(yī)藥臨床研究類科技成果評價指標(biāo)體系研究[J]. 中國全科醫(yī)學(xué),2024,27(27):3403-3410. DOI:10.12114/j.issn.1007-9572.2023.0487.[www.chinagp.net]

    LAI H H,GUO J H,YOU L Z,et al. Research on evaluation index system of scientific and technological achievements in traditional Chinese medicine clinical research[J]. Chinese General Practice,2024,27(27):3403-3410.

    ? Editorial Office of Chinese General Practice. This is an open access article under the CC BY-NC-ND 4.0 license.

    猜你喜歡
    評價指標(biāo)科技成果中醫(yī)藥
    中醫(yī)藥在惡性腫瘤防治中的應(yīng)用
    中醫(yī)藥在治療惡性腫瘤骨轉(zhuǎn)移中的應(yīng)用
    打通科技成果轉(zhuǎn)化“最后一公里”
    商周刊(2019年1期)2019-01-31 02:36:24
    從《中醫(yī)藥法》看直銷
    第三方物流企業(yè)績效評價研究綜述
    商(2016年33期)2016-11-24 23:50:25
    基于UML的高校思想政治教育工作評價系統(tǒng)的分析與研究
    公共文化服務(wù)體系評價指標(biāo)的國際經(jīng)驗與啟示
    中國市場(2016年38期)2016-11-15 00:01:08
    中醫(yī)藥立法:不是“管”而是“促”
    資源型企業(yè)財務(wù)競爭力評價研究
    中國市場(2016年33期)2016-10-18 13:33:29
    科技成果
    航天器工程(2014年6期)2014-03-11 16:36:16
    国产精品熟女久久久久浪| 毛片女人毛片| 2021少妇久久久久久久久久久| 精品少妇久久久久久888优播| 最新中文字幕久久久久| 亚洲精品乱码久久久v下载方式| 狂野欧美激情性xxxx在线观看| 日本免费在线观看一区| 老女人水多毛片| 一级毛片电影观看| 欧美一区二区亚洲| 婷婷色麻豆天堂久久| 免费不卡的大黄色大毛片视频在线观看| 少妇猛男粗大的猛烈进出视频| 在线 av 中文字幕| 日本欧美国产在线视频| 中国国产av一级| 日本-黄色视频高清免费观看| 日韩电影二区| 直男gayav资源| 中文字幕制服av| 老女人水多毛片| 国产伦精品一区二区三区四那| 国产欧美日韩一区二区三区在线 | 国产成人a区在线观看| 国模一区二区三区四区视频| 蜜臀久久99精品久久宅男| 久久婷婷青草| 人妻系列 视频| 欧美性感艳星| 精品人妻熟女av久视频| 国产淫语在线视频| .国产精品久久| 中文天堂在线官网| 国产av精品麻豆| 97精品久久久久久久久久精品| 777米奇影视久久| 国产真实伦视频高清在线观看| 国产精品一区二区在线观看99| 中文字幕人妻熟人妻熟丝袜美| 国产探花极品一区二区| 日产精品乱码卡一卡2卡三| freevideosex欧美| 纵有疾风起免费观看全集完整版| 欧美日本视频| 国产v大片淫在线免费观看| 综合色丁香网| 久久久久久伊人网av| 日本av免费视频播放| av又黄又爽大尺度在线免费看| 亚洲欧美成人综合另类久久久| 纵有疾风起免费观看全集完整版| 亚洲成色77777| .国产精品久久| 国产精品偷伦视频观看了| 一本—道久久a久久精品蜜桃钙片| 久久久久视频综合| 亚洲精品乱码久久久久久按摩| 日韩,欧美,国产一区二区三区| 精品一区二区三卡| 久久 成人 亚洲| 久久ye,这里只有精品| 国产亚洲午夜精品一区二区久久| 亚洲av电影在线观看一区二区三区| 成人18禁高潮啪啪吃奶动态图 | 久久av网站| 男人和女人高潮做爰伦理| 亚洲精品日本国产第一区| 天堂8中文在线网| 日本wwww免费看| 亚洲一级一片aⅴ在线观看| 久久女婷五月综合色啪小说| 午夜免费男女啪啪视频观看| 亚洲无线观看免费| 精品亚洲成a人片在线观看 | 纵有疾风起免费观看全集完整版| 久久这里有精品视频免费| 欧美丝袜亚洲另类| 99热国产这里只有精品6| 亚洲成色77777| 大陆偷拍与自拍| 永久免费av网站大全| 久久久亚洲精品成人影院| 成人毛片60女人毛片免费| 少妇的逼水好多| 91精品国产国语对白视频| 99久久中文字幕三级久久日本| 99热国产这里只有精品6| 一级片'在线观看视频| 毛片一级片免费看久久久久| av不卡在线播放| 日本黄色片子视频| 欧美丝袜亚洲另类| 高清不卡的av网站| 夫妻午夜视频| 久久精品国产自在天天线| 午夜日本视频在线| 久久久久久久精品精品| 三级国产精品片| 国产精品国产三级国产专区5o| 免费黄频网站在线观看国产| 麻豆精品久久久久久蜜桃| 在现免费观看毛片| 国产在视频线精品| 少妇被粗大猛烈的视频| 日产精品乱码卡一卡2卡三| 国产精品爽爽va在线观看网站| 丰满少妇做爰视频| 下体分泌物呈黄色| 纯流量卡能插随身wifi吗| 国产成人免费无遮挡视频| 一本色道久久久久久精品综合| 国产成人精品婷婷| 亚洲精品日韩av片在线观看| 成人国产麻豆网| 国产精品秋霞免费鲁丝片| 婷婷色综合大香蕉| 亚洲av免费高清在线观看| 久久久精品免费免费高清| 亚洲真实伦在线观看| 中国国产av一级| 嘟嘟电影网在线观看| 人妻 亚洲 视频| 在线播放无遮挡| 一级毛片aaaaaa免费看小| 国产精品嫩草影院av在线观看| 一二三四中文在线观看免费高清| 夫妻午夜视频| 搡老乐熟女国产| 蜜桃亚洲精品一区二区三区| 国产av码专区亚洲av| 久久国产乱子免费精品| 亚洲综合色惰| 草草在线视频免费看| 国产精品偷伦视频观看了| 午夜日本视频在线| 你懂的网址亚洲精品在线观看| 亚洲成人av在线免费| 亚洲av成人精品一二三区| 日本欧美国产在线视频| 特大巨黑吊av在线直播| 一个人免费看片子| 特大巨黑吊av在线直播| 极品教师在线视频| 99久久人妻综合| 国产 一区 欧美 日韩| 啦啦啦啦在线视频资源| 18禁动态无遮挡网站| 欧美极品一区二区三区四区| 国产精品人妻久久久影院| 久久久国产一区二区| 伦理电影免费视频| 一级毛片我不卡| 午夜精品国产一区二区电影| 永久网站在线| 久久久久人妻精品一区果冻| 亚洲av不卡在线观看| 国产精品不卡视频一区二区| 精品国产一区二区三区久久久樱花 | 色哟哟·www| 婷婷色综合大香蕉| 美女主播在线视频| 大码成人一级视频| 国产视频内射| 精品视频人人做人人爽| 国产一区二区三区综合在线观看 | 精品久久久精品久久久| 深爱激情五月婷婷| 欧美成人一区二区免费高清观看| 人妻 亚洲 视频| 3wmmmm亚洲av在线观看| 久久精品夜色国产| 国产精品不卡视频一区二区| 一级毛片黄色毛片免费观看视频| 看十八女毛片水多多多| 丝袜喷水一区| 国产精品麻豆人妻色哟哟久久| 久久久精品免费免费高清| 大又大粗又爽又黄少妇毛片口| 亚洲精华国产精华液的使用体验| 国产成人freesex在线| 熟妇人妻不卡中文字幕| 精品人妻一区二区三区麻豆| av在线app专区| 在线观看免费视频网站a站| 狂野欧美白嫩少妇大欣赏| 美女国产视频在线观看| 午夜免费鲁丝| 精品亚洲成国产av| 熟女电影av网| 国产精品福利在线免费观看| av免费观看日本| 国产女主播在线喷水免费视频网站| 国产欧美亚洲国产| 亚洲av欧美aⅴ国产| 伊人久久精品亚洲午夜| 午夜日本视频在线| 黄色一级大片看看| 国产av一区二区精品久久 | 欧美激情极品国产一区二区三区 | 99久久人妻综合| 五月开心婷婷网| av免费在线看不卡| 中文字幕精品免费在线观看视频 | 亚洲av.av天堂| 日韩伦理黄色片| 日本wwww免费看| 成人特级av手机在线观看| 美女内射精品一级片tv| 婷婷色av中文字幕| 久久国产精品男人的天堂亚洲 | 久久久久性生活片| 国产69精品久久久久777片| 欧美丝袜亚洲另类| 国产深夜福利视频在线观看| 赤兔流量卡办理| 久久久久久久久久成人| 亚洲成色77777| 在线观看免费日韩欧美大片 | 美女视频免费永久观看网站| 国产精品一二三区在线看| 一级爰片在线观看| 精品熟女少妇av免费看| 精品国产三级普通话版| 免费观看性生交大片5| 国产精品熟女久久久久浪| 午夜老司机福利剧场| 麻豆成人午夜福利视频| 国产人妻一区二区三区在| 毛片女人毛片| 直男gayav资源| 国产在线视频一区二区| 看非洲黑人一级黄片| 国产黄片视频在线免费观看| 人妻系列 视频| 欧美高清性xxxxhd video| 国产成人a∨麻豆精品| 观看av在线不卡| 日韩av免费高清视频| 婷婷色综合大香蕉| 国产精品国产三级专区第一集| 99久久中文字幕三级久久日本| 一级毛片久久久久久久久女| 欧美xxxx性猛交bbbb| 亚洲国产精品国产精品| 日本欧美视频一区| 成人午夜精彩视频在线观看| 99久久精品一区二区三区| 国产男女超爽视频在线观看| 国产一区二区在线观看日韩| 七月丁香在线播放| 精品少妇久久久久久888优播| 丰满少妇做爰视频| 欧美成人精品欧美一级黄| 高清毛片免费看| 日本欧美视频一区| 看免费成人av毛片| 成人亚洲欧美一区二区av| 免费观看在线日韩| 九九久久精品国产亚洲av麻豆| 自拍偷自拍亚洲精品老妇| 欧美日韩在线观看h| 精品一区在线观看国产| 最近中文字幕高清免费大全6| 人妻夜夜爽99麻豆av| 在线天堂最新版资源| 国产午夜精品久久久久久一区二区三区| 久久99热这里只频精品6学生| 精品人妻一区二区三区麻豆| 成年美女黄网站色视频大全免费 | 久久国产精品男人的天堂亚洲 | 亚洲天堂av无毛| 日韩强制内射视频| 在现免费观看毛片| 成年免费大片在线观看| 日韩国内少妇激情av| av国产免费在线观看| 女人十人毛片免费观看3o分钟| 成人漫画全彩无遮挡| 97精品久久久久久久久久精品| 丝袜喷水一区| 久久精品熟女亚洲av麻豆精品| 九九爱精品视频在线观看| 国产日韩欧美在线精品| 亚洲最大成人中文| 国内少妇人妻偷人精品xxx网站| 一级a做视频免费观看| 韩国av在线不卡| 国产精品人妻久久久久久| 人体艺术视频欧美日本| 人妻夜夜爽99麻豆av| 久久99精品国语久久久| 国产伦精品一区二区三区视频9| 观看美女的网站| 亚洲欧美日韩另类电影网站 | av线在线观看网站| 国产精品麻豆人妻色哟哟久久| 人人妻人人看人人澡| 在线播放无遮挡| 天天躁夜夜躁狠狠久久av| 美女主播在线视频| av免费在线看不卡| 美女xxoo啪啪120秒动态图| 高清欧美精品videossex| 国产日韩欧美在线精品| .国产精品久久| 精品一区二区免费观看| 天美传媒精品一区二区| 一本一本综合久久| videos熟女内射| 一个人看的www免费观看视频| 久久久午夜欧美精品| 亚洲精品国产成人久久av| 国产在线免费精品| 日韩av在线免费看完整版不卡| 99热网站在线观看| 亚洲精品久久午夜乱码| 久久久久久久久久久丰满| 国产av一区二区精品久久 | 我的老师免费观看完整版| 亚洲欧洲国产日韩| 国产成人a∨麻豆精品| 日韩电影二区| 国产黄频视频在线观看| 美女xxoo啪啪120秒动态图| 久久午夜福利片| 亚洲精品国产av蜜桃| 午夜免费男女啪啪视频观看| .国产精品久久| 久久久成人免费电影| 国产综合精华液| 国产69精品久久久久777片| 亚洲国产日韩一区二区| 亚洲精品自拍成人| 亚洲自偷自拍三级| 精品久久久精品久久久| 高清毛片免费看| 日本免费在线观看一区| 少妇人妻一区二区三区视频| 黑人高潮一二区| 国产男人的电影天堂91| 久久6这里有精品| 老熟女久久久| 亚洲国产高清在线一区二区三| 视频区图区小说| 国产精品女同一区二区软件| 黄色怎么调成土黄色| 日韩一区二区三区影片| 亚洲丝袜综合中文字幕| 欧美亚洲 丝袜 人妻 在线| 亚洲伊人久久精品综合| 美女福利国产在线 | 伊人久久国产一区二区| 九草在线视频观看| 国产一区二区三区综合在线观看 | 在线观看国产h片| 人妻系列 视频| 伊人久久精品亚洲午夜| 亚洲av.av天堂| 国产精品一区www在线观看| 精品久久久噜噜| 午夜日本视频在线| 亚洲真实伦在线观看| 男的添女的下面高潮视频| 国产国拍精品亚洲av在线观看| 国产美女午夜福利| 久久国产精品大桥未久av | 成人毛片a级毛片在线播放| 日韩大片免费观看网站| 亚洲av免费高清在线观看| 日日啪夜夜爽| 美女中出高潮动态图| 三级国产精品欧美在线观看| 日日撸夜夜添| 最近手机中文字幕大全| 久久国产精品大桥未久av | 久久人人爽av亚洲精品天堂 | 欧美三级亚洲精品| 国产成人91sexporn| 91久久精品国产一区二区成人| 国产中年淑女户外野战色| 亚洲久久久国产精品| 深夜a级毛片| 国产高清有码在线观看视频| 美女视频免费永久观看网站| 亚洲国产精品国产精品| 国产毛片在线视频| 亚洲av欧美aⅴ国产| 中文欧美无线码| 久久影院123| 人妻系列 视频| 直男gayav资源| 一个人看视频在线观看www免费| 日韩av不卡免费在线播放| 美女cb高潮喷水在线观看| 色网站视频免费| 最近中文字幕高清免费大全6| 国产色婷婷99| 亚洲欧美精品专区久久| 久久综合国产亚洲精品| 久久99热这里只频精品6学生| 女的被弄到高潮叫床怎么办| 不卡视频在线观看欧美| 国产 一区精品| 日日摸夜夜添夜夜爱| 蜜桃久久精品国产亚洲av| 观看av在线不卡| 内地一区二区视频在线| 爱豆传媒免费全集在线观看| 日韩欧美一区视频在线观看 | 自拍欧美九色日韩亚洲蝌蚪91 | 国产成人a∨麻豆精品| 亚洲国产精品国产精品| 久久国产精品大桥未久av | 亚洲欧美精品专区久久| 超碰av人人做人人爽久久| 韩国av在线不卡| 国产精品福利在线免费观看| 国内精品宾馆在线| .国产精品久久| 色视频在线一区二区三区| 熟妇人妻不卡中文字幕| 夜夜看夜夜爽夜夜摸| 自拍欧美九色日韩亚洲蝌蚪91 | 一区二区三区四区激情视频| 中文字幕免费在线视频6| 国产精品一区二区性色av| 国产精品精品国产色婷婷| 联通29元200g的流量卡| 26uuu在线亚洲综合色| 好男人视频免费观看在线| 在线观看免费视频网站a站| 我的女老师完整版在线观看| 性色av一级| 91午夜精品亚洲一区二区三区| 亚洲高清免费不卡视频| 少妇精品久久久久久久| 日韩一本色道免费dvd| av国产久精品久网站免费入址| 日日摸夜夜添夜夜添av毛片| 国产真实伦视频高清在线观看| 美女cb高潮喷水在线观看| 久久久久久久久久久免费av| 久久影院123| 观看免费一级毛片| 日韩一本色道免费dvd| 丰满迷人的少妇在线观看| 久久精品国产亚洲网站| 国产伦在线观看视频一区| 少妇被粗大猛烈的视频| 最近手机中文字幕大全| 三级经典国产精品| 大片电影免费在线观看免费| 国产欧美日韩一区二区三区在线 | 日日啪夜夜爽| av播播在线观看一区| 视频区图区小说| 成人18禁高潮啪啪吃奶动态图 | 亚洲成人av在线免费| 国产亚洲午夜精品一区二区久久| 亚洲精品乱码久久久v下载方式| 国产精品成人在线| 国产91av在线免费观看| 我的女老师完整版在线观看| 蜜桃久久精品国产亚洲av| 亚洲熟女精品中文字幕| 一级黄片播放器| 纵有疾风起免费观看全集完整版| 一二三四中文在线观看免费高清| 最近最新中文字幕大全电影3| 精品少妇黑人巨大在线播放| 欧美国产精品一级二级三级 | 精品亚洲成a人片在线观看 | 久久久久性生活片| 人妻夜夜爽99麻豆av| 欧美日韩视频高清一区二区三区二| 精品久久久噜噜| 少妇被粗大猛烈的视频| 美女视频免费永久观看网站| 精品国产一区二区三区久久久樱花 | 伦理电影免费视频| 久久国产精品男人的天堂亚洲 | 国产亚洲91精品色在线| 成人二区视频| 22中文网久久字幕| 一本久久精品| 久久女婷五月综合色啪小说| 最近中文字幕高清免费大全6| 日韩成人伦理影院| 97超视频在线观看视频| 女的被弄到高潮叫床怎么办| 两个人的视频大全免费| 国产精品久久久久久av不卡| 欧美日本视频| 国产男女内射视频| 国产日韩欧美亚洲二区| 黄片无遮挡物在线观看| 久久精品夜色国产| 高清午夜精品一区二区三区| av国产久精品久网站免费入址| 成人亚洲精品一区在线观看 | 国产美女午夜福利| 国产伦理片在线播放av一区| 精品久久国产蜜桃| 亚洲av成人精品一区久久| 久久99热这里只有精品18| 久久久久久久大尺度免费视频| 国产精品成人在线| 最近的中文字幕免费完整| 91久久精品电影网| 国产精品99久久99久久久不卡 | 人体艺术视频欧美日本| 卡戴珊不雅视频在线播放| 免费看不卡的av| 国产男人的电影天堂91| 丝袜喷水一区| 免费播放大片免费观看视频在线观看| 欧美丝袜亚洲另类| 91aial.com中文字幕在线观看| 国产精品一区www在线观看| 三级国产精品欧美在线观看| 亚洲四区av| 黄色日韩在线| 日本爱情动作片www.在线观看| 大又大粗又爽又黄少妇毛片口| 又大又黄又爽视频免费| 超碰av人人做人人爽久久| 欧美极品一区二区三区四区| 看非洲黑人一级黄片| 色视频www国产| 男女边摸边吃奶| 成人无遮挡网站| 国产欧美日韩精品一区二区| 伦理电影免费视频| 80岁老熟妇乱子伦牲交| 免费不卡的大黄色大毛片视频在线观看| 中文字幕亚洲精品专区| 在线观看免费日韩欧美大片 | 日韩人妻高清精品专区| 亚洲四区av| 午夜福利网站1000一区二区三区| 乱系列少妇在线播放| 亚洲精品亚洲一区二区| 人妻系列 视频| 国产亚洲5aaaaa淫片| 亚洲人与动物交配视频| 国内少妇人妻偷人精品xxx网站| 国产精品99久久99久久久不卡 | 日韩中文字幕视频在线看片 | 22中文网久久字幕| 熟女人妻精品中文字幕| 欧美xxⅹ黑人| 亚洲精品日本国产第一区| 亚洲av欧美aⅴ国产| 在线免费观看不下载黄p国产| 亚洲精品乱码久久久久久按摩| 99热全是精品| 天天躁夜夜躁狠狠久久av| av卡一久久| 黑丝袜美女国产一区| 久久久国产一区二区| 18+在线观看网站| 久久久久视频综合| 国产免费又黄又爽又色| 亚洲自偷自拍三级| 国产成人精品一,二区| 又大又黄又爽视频免费| 国产一级毛片在线| 欧美亚洲 丝袜 人妻 在线| 国产黄色视频一区二区在线观看| av网站免费在线观看视频| 亚洲精品日本国产第一区| 成人毛片60女人毛片免费| 久久久久性生活片| 日韩中字成人| 精品人妻一区二区三区麻豆| 久久久久视频综合| 九草在线视频观看| 亚洲欧美日韩另类电影网站 | 综合色丁香网| 三级经典国产精品| 能在线免费看毛片的网站| 高清视频免费观看一区二区| 丰满人妻一区二区三区视频av| 又爽又黄a免费视频| 蜜臀久久99精品久久宅男| 有码 亚洲区| 欧美老熟妇乱子伦牲交| 日韩成人av中文字幕在线观看| www.av在线官网国产| 亚洲国产最新在线播放| 高清午夜精品一区二区三区| 亚洲国产色片| 国产欧美亚洲国产| 国内精品宾馆在线| 在线观看免费日韩欧美大片 | av一本久久久久| 国产成人freesex在线| 少妇猛男粗大的猛烈进出视频| av福利片在线观看| 国产精品嫩草影院av在线观看| 成人毛片60女人毛片免费| 亚洲欧美中文字幕日韩二区| 大香蕉久久网| 精品久久久久久久末码| 你懂的网址亚洲精品在线观看| 日韩亚洲欧美综合| 日日啪夜夜撸| 三级国产精品片| 91aial.com中文字幕在线观看| 亚洲av福利一区| 亚洲人成网站在线观看播放| 舔av片在线| 黄色日韩在线| 精品一区二区三区视频在线|