• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    煙草企業(yè)科技評(píng)價(jià)問(wèn)題與改革思路探索

    2024-07-22 00:00:00梅運(yùn)鵬陳超譚嘉琦劉芳周新唐永紅李程程
    安徽農(nóng)業(yè)科學(xué) 2024年13期

    摘要 科技評(píng)價(jià)是煙草企業(yè)科研管理的核心環(huán)節(jié),科技評(píng)價(jià)方法是實(shí)現(xiàn)科技評(píng)價(jià)改革目標(biāo)的關(guān)鍵。通過(guò)對(duì)煙草企業(yè)科技評(píng)價(jià)存在的科技評(píng)價(jià)導(dǎo)向作用發(fā)揮不夠充分、科技成果評(píng)價(jià)體系有待完善、科技評(píng)價(jià)方法整合不到位等問(wèn)題進(jìn)行剖析,提出以科學(xué)計(jì)量學(xué)為核心,以客觀、公正的評(píng)價(jià)過(guò)程為保障,探索多維度的科技評(píng)價(jià)模式、構(gòu)建科技分類評(píng)價(jià)體系、采用科學(xué)計(jì)量學(xué)與同行評(píng)議相結(jié)合的科技評(píng)價(jià)方法等改革思路及應(yīng)用,以期推動(dòng)科研質(zhì)量的提升,為煙草企業(yè)科技評(píng)價(jià)以及人才隊(duì)伍建設(shè)提供科學(xué)的決策支持。

    關(guān)鍵詞 煙草企業(yè);科技評(píng)價(jià);科學(xué)計(jì)量學(xué);評(píng)價(jià)方法

    中圖分類號(hào) S-9;F222.1 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 0517-6611(2024)13-0215-04

    doi:10.3969/j.issn.0517-6611.2024.13.050

    開(kāi)放科學(xué)(資源服務(wù))標(biāo)識(shí)碼(OSID):

    Exploration of Scientific and Technological Evaluation Problems and Reform Ideas in the Tobacco Enterprises

    MEI Yun-peng,CHEN Chao,TAN Jia-qi et al

    (Shaanxi Provincial Company of CNTC,Xi’an,Shaanxi 710061)

    Abstract Scientific and technological evaluation is the core link of scientific research management in the tobacco industry,and the method of scientific and technological evaluation is the key to realize the goal of scientific and technological evaluation reform.Through some problems in the science and technology evaluation at present have been analyzed,which are insufficient role of science and technology evaluation guidance,the need to improve evaluation system for scientific and technological achievements,and inadequate integration of scientific and technological evaluation methods in the tobacco industry.Reform ideas and applications of scientific and technological evaluation have been proposed,which anhm8aEvPKf0n3fdNO4J4N3tpD7HcZr9H1o+QKINK5+A=re taking scientometrics as the core with an objective and impartial evaluation process as the guarantee,exploring a multi-dimensional model of scientific and technological evaluation,constructing a scientific and technological categorization evaluation system,and adopting a scientific and technological evaluation method that combines scientometrics with peer reviews,in order to promote the quality of scientific research and provide scientific decision-making support for the scientific and technological evaluation of the tobacco industry as well as the construction of the talent team.

    Key words Tobacco enterprises;Scientific and technical evaluation;Scientometrics;Evaluation methods

    基金項(xiàng)目 中國(guó)煙草總公司陜西省公司科研項(xiàng)目(KJ-2022-12)。

    作者簡(jiǎn)介 梅運(yùn)鵬(1970—),男,浙江杭州人,經(jīng)濟(jì)師,從事科技管理研究。*通信作者,從事科技管理研究。

    收稿日期 2023-11-13;修回日期 2023-12-15

    科研管理是煙草行業(yè)科技管理的重點(diǎn)工作之一,也是推動(dòng)行業(yè)科技創(chuàng)新、促進(jìn)科技成果向新質(zhì)生產(chǎn)力轉(zhuǎn)化、推進(jìn)管理創(chuàng)新、文化創(chuàng)新、體制機(jī)制創(chuàng)新的重要保障??萍荚u(píng)價(jià)作為科研管理的核心內(nèi)容,不僅關(guān)系到科技成果水平、科技進(jìn)步貢獻(xiàn)率,也關(guān)系到科研資源有效分配、人才成長(zhǎng)及科技工作者個(gè)人學(xué)術(shù)成果的認(rèn)同。近年來(lái),科技評(píng)價(jià)的研究主要關(guān)注以下3個(gè)方面:一是關(guān)于科技評(píng)價(jià)導(dǎo)向。汪志波等[1]通過(guò)分析煙草科技重大專項(xiàng)的特點(diǎn),建立了基于“目標(biāo)-結(jié)果-效果”導(dǎo)向的績(jī)效表達(dá)邏輯模型;王宗軍等[2]提出建立以質(zhì)量和貢獻(xiàn)為導(dǎo)向的科研項(xiàng)目績(jī)效評(píng)價(jià)機(jī)制。二是關(guān)于科技分類評(píng)價(jià)。例如,張富利等[3]指出基礎(chǔ)研究、應(yīng)用研究、軟科學(xué)研究等不同類別的科技成果需要不同的科技評(píng)價(jià)方法,可以采用同行評(píng)議、市場(chǎng)評(píng)價(jià)和社會(huì)評(píng)價(jià)等;不同類別研究的學(xué)科特征不同,評(píng)價(jià)指標(biāo)設(shè)置也相應(yīng)存在不同側(cè)重點(diǎn)。三是關(guān)于結(jié)合科學(xué)計(jì)量學(xué)的科技評(píng)價(jià)方法。姜春林等[4]認(rèn)為將科學(xué)計(jì)量評(píng)價(jià)方法和基于同行評(píng)議的代表作制度相結(jié)合,建立科學(xué)、合理的學(xué)術(shù)評(píng)價(jià)制度。張積玉[5]提出建立綜合化評(píng)價(jià)制度,倡導(dǎo)以量化為基礎(chǔ)并以代表作為主,從而體現(xiàn)學(xué)術(shù)評(píng)價(jià)科學(xué)合理、公平公正以及可操作性強(qiáng)。董麗華[6]運(yùn)用科學(xué)計(jì)量學(xué)方法,對(duì)中美兩國(guó)科技實(shí)力等評(píng)價(jià)指標(biāo)數(shù)據(jù)進(jìn)行比較,分析中美兩國(guó)的科技發(fā)展?fàn)顩r。俞立平等[7]指出應(yīng)重視文獻(xiàn)計(jì)量學(xué)與科學(xué)計(jì)量學(xué),在科技評(píng)價(jià)中不僅僅關(guān)注論文數(shù)量和影響因子,還應(yīng)采用特征因子、z指數(shù)、h指數(shù)家族等計(jì)量指標(biāo),使科技評(píng)價(jià)質(zhì)量提高。基于此,以中共中央辦公廳和國(guó)務(wù)院辦公廳印發(fā)的《關(guān)于深化項(xiàng)目評(píng)審、人才評(píng)價(jià)、機(jī)構(gòu)評(píng)估改革的意見(jiàn)》、國(guó)務(wù)院辦公廳《關(guān)于完善科技成果評(píng)價(jià)機(jī)制的指導(dǎo)意見(jiàn)》、科技部印發(fā)《關(guān)于破除科技評(píng)價(jià)中“唯論文”不良導(dǎo)向的若干措施(試行)》的通知、科技部等八部門印發(fā)的《關(guān)于開(kāi)展科技人才評(píng)價(jià)改革試點(diǎn)的工作方案》、中共中央辦公廳和國(guó)務(wù)院辦公廳印發(fā)的《關(guān)于進(jìn)一步加強(qiáng)青年科技人才培養(yǎng)和使用的若干措施》、國(guó)家市場(chǎng)監(jiān)督管理總局和國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)發(fā)布的系列科學(xué)技術(shù)研究項(xiàng)目評(píng)價(jià)實(shí)施指南等作為科技評(píng)價(jià)依據(jù),在全面分析科技評(píng)價(jià)存在問(wèn)題的基礎(chǔ)上,提出煙草企業(yè)科技評(píng)價(jià)改革思路。

    1 煙草企業(yè)科技評(píng)價(jià)存在的問(wèn)題

    對(duì)標(biāo)國(guó)家科技評(píng)價(jià)相關(guān)政策與文件等,從企業(yè)現(xiàn)有科技成果評(píng)價(jià)機(jī)制來(lái)看,主要存在以下問(wèn)題。

    1.1 科技評(píng)價(jià)導(dǎo)向作用發(fā)揮不夠充分 科技評(píng)價(jià)導(dǎo)向是完善科技評(píng)價(jià)機(jī)制的前提,應(yīng)當(dāng)精準(zhǔn)明確,并能反映當(dāng)前煙草行業(yè)的需求??萍汲晒u(píng)價(jià)對(duì)科技創(chuàng)新、科技成果轉(zhuǎn)化等具有導(dǎo)向作用。目前,煙草企業(yè)科技成果評(píng)價(jià)的導(dǎo)向不夠突出,價(jià)值發(fā)現(xiàn)作用發(fā)揮不夠充分。在科技計(jì)劃項(xiàng)目、科技獎(jiǎng)勵(lì)和創(chuàng)新人才等科技評(píng)價(jià)中,過(guò)度看重論文、專利、著作、技術(shù)標(biāo)準(zhǔn)等成果數(shù)量,對(duì)標(biāo)志性成果的質(zhì)量、績(jī)效和貢獻(xiàn)不夠重視,促進(jìn)高質(zhì)量成果的產(chǎn)出和激勵(lì)創(chuàng)新主體積極性的效果仍不明顯。煙草企業(yè)的技術(shù)開(kāi)發(fā)類科技項(xiàng)目,當(dāng)前重在技術(shù)開(kāi)發(fā)產(chǎn)出成果的應(yīng)用上,但多數(shù)成果中高價(jià)值專利不多。行業(yè)部分科技項(xiàng)目科技成果在推動(dòng)企業(yè)科技進(jìn)步中發(fā)揮了積極作用,但推廣面較窄。

    1.2 多維度、分類的科技成果評(píng)價(jià)體系有待完善 科技評(píng)價(jià)的基本前提是科技評(píng)價(jià)方法要與煙草行業(yè)科技項(xiàng)目類別特征、科技人才類別特征相適應(yīng)。煙草企業(yè)科技項(xiàng)目、科技人才的類別特征主要體現(xiàn)在研究方法、手段、對(duì)象、過(guò)程與成果及其表現(xiàn)形式的特有屬性、定位等方面??萍柬?xiàng)目和科技人才的類型不同,導(dǎo)致在科技評(píng)價(jià)中存在質(zhì)的差別[8]。采用與類別特征相適應(yīng)的評(píng)價(jià)方法,能夠反映類別差異,保證科技評(píng)價(jià)公平、公正。

    第一,目前科技分類評(píng)價(jià)并未得到明確體現(xiàn),分類評(píng)價(jià)機(jī)制仍不健全。煙草企業(yè)的科技項(xiàng)目在立項(xiàng)、成果鑒定中未進(jìn)行詳細(xì)分類,評(píng)獎(jiǎng)中分為應(yīng)用基礎(chǔ)研究類、應(yīng)用技術(shù)開(kāi)發(fā)類、科學(xué)技術(shù)推廣類、公益類等,不同類別的科技項(xiàng)目在專業(yè)領(lǐng)域、研究?jī)?nèi)容、專業(yè)特征、科研性質(zhì)、產(chǎn)出成果及形式等方面具有明顯的差異,但目前在煙草企業(yè)科技評(píng)價(jià)機(jī)制中未能體現(xiàn)。

    第二,科技評(píng)價(jià)多維度、分類的評(píng)價(jià)指標(biāo)體系不完善??萍荚u(píng)價(jià)指標(biāo)是科研管理決策的直接依據(jù),科技項(xiàng)目的立項(xiàng)、過(guò)程管理、驗(yàn)收、鑒定、后評(píng)價(jià)、評(píng)獎(jiǎng)等一系列過(guò)程都具有特殊性,科技評(píng)價(jià)目的不同,評(píng)價(jià)標(biāo)準(zhǔn)也應(yīng)該有區(qū)分。但目前煙草企業(yè)科技評(píng)價(jià)缺乏體現(xiàn)不同領(lǐng)域和類別的科技項(xiàng)目的差別化指標(biāo),導(dǎo)致在不同程度上存在指標(biāo)單一化、標(biāo)準(zhǔn)定量化等問(wèn)題。

    1.3 科研評(píng)價(jià)方法整合不到位 科研評(píng)價(jià)方法一般可以劃分為定量、定性以及綜合評(píng)價(jià),主要涉及文獻(xiàn)計(jì)量法、同行評(píng)議法、層次分析法、TOPSIS法、因子分析法、網(wǎng)絡(luò)計(jì)量法、模糊特爾斐法和DEMATEL法等。目前,煙草企業(yè)主要采取同行評(píng)議法,形式為專家評(píng)審會(huì),科研評(píng)價(jià)方法缺乏有效整合,定量評(píng)價(jià)方法融合不夠,科學(xué)計(jì)量指標(biāo)運(yùn)用不足。如,在成果鑒定中未結(jié)合量化指標(biāo),鑒定水平結(jié)果的描述多表現(xiàn)為國(guó)際和國(guó)內(nèi)領(lǐng)先或先進(jìn),鑒定后項(xiàng)目組難以針對(duì)性進(jìn)行總結(jié);在科技立項(xiàng)評(píng)價(jià)中定性風(fēng)險(xiǎn)評(píng)價(jià)方法,使用數(shù)字范圍順序量表,[0,1]代表“低”,[9,10]代表“高”等,但只能劃分風(fēng)險(xiǎn)高低水平,無(wú)法完成定性風(fēng)險(xiǎn)的量化計(jì)算;在評(píng)獎(jiǎng)中通常設(shè)置10個(gè)指標(biāo),各指標(biāo)分值區(qū)間較大,對(duì)于同一水平的項(xiàng)目無(wú)法進(jìn)行質(zhì)量、績(jī)效和貢獻(xiàn)3個(gè)方面比較。同時(shí),單一的專家評(píng)議制度,易在評(píng)價(jià)活動(dòng)中出現(xiàn)本位主義和人情關(guān)系等現(xiàn)象[9-10],使煙草行業(yè)科技評(píng)價(jià)的客觀性、科學(xué)性和公正性受到影響。

    2 煙草企業(yè)科技評(píng)價(jià)改革思路

    完善科技評(píng)價(jià)機(jī)制是當(dāng)前煙草企業(yè)科技體制改革的重要任務(wù)之一。針對(duì)科技評(píng)價(jià)過(guò)程中存在的主要問(wèn)題,遵循質(zhì)量、績(jī)效和貢獻(xiàn)的科技評(píng)價(jià)導(dǎo)向,需要采取切實(shí)可行、可操作性強(qiáng)的具體措施。

    2.1 探索多維度的科技評(píng)價(jià)模式 國(guó)務(wù)院辦公廳印發(fā)《關(guān)于完善科技成果評(píng)價(jià)機(jī)制的指導(dǎo)意見(jiàn)》,圍繞“評(píng)什么”“誰(shuí)來(lái)評(píng)”“怎么評(píng)”“怎么用”對(duì)科技成果評(píng)價(jià)機(jī)制進(jìn)行完善。其中,科技成果評(píng)價(jià)的首要問(wèn)題是“評(píng)什么”,應(yīng)當(dāng)對(duì)科技成果的科學(xué)價(jià)值、經(jīng)濟(jì)價(jià)值、技術(shù)價(jià)值和社會(huì)價(jià)值等進(jìn)行全面、準(zhǔn)確的評(píng)價(jià),進(jìn)一步完善科技成果分類評(píng)價(jià)體系。煙草行業(yè)應(yīng)積極探索多維度的科技評(píng)價(jià)導(dǎo)向,即圍繞質(zhì)量、績(jī)效和貢獻(xiàn),將定性評(píng)價(jià)、定量評(píng)價(jià)相結(jié)合,從多維度對(duì)行業(yè)科技成果的科學(xué)價(jià)值、技術(shù)價(jià)值、經(jīng)濟(jì)價(jià)值、社會(huì)價(jià)值、文化價(jià)值等方面進(jìn)行評(píng)價(jià)。以綠色低碳技術(shù)應(yīng)用為例,科學(xué)層面應(yīng)重點(diǎn)對(duì)新能源、新材料、新技術(shù)等要素進(jìn)行評(píng)價(jià);技術(shù)層面應(yīng)關(guān)注與行業(yè)的工業(yè)、農(nóng)業(yè)以及商業(yè)環(huán)節(jié)的實(shí)際需求相結(jié)合,特別是破解煙草行業(yè)的共性技術(shù)瓶頸;經(jīng)濟(jì)層面應(yīng)重點(diǎn)關(guān)注工業(yè)生產(chǎn)、煙葉生產(chǎn)、物流配送、企業(yè)管理等場(chǎng)景的應(yīng)用、推廣前景;社會(huì)層面應(yīng)重點(diǎn)關(guān)注促進(jìn)煙草行業(yè)綠色發(fā)展對(duì)社會(huì)發(fā)展的作用與影響;文化層面應(yīng)重點(diǎn)關(guān)注企業(yè)形象、科技知識(shí)普及、人才培養(yǎng)等軟實(shí)力的促進(jìn)作用。

    2.2 構(gòu)建科技分類評(píng)價(jià)體系 煙草企業(yè)科技分類評(píng)價(jià)體系的構(gòu)建,可考慮強(qiáng)化分類評(píng)價(jià)導(dǎo)向、健全煙草行業(yè)科技分類評(píng)價(jià)標(biāo)準(zhǔn)、采用科學(xué)計(jì)量學(xué)與同行評(píng)議相結(jié)合的科技評(píng)價(jià)方法等方面。

    2.2.1 強(qiáng)化分類評(píng)價(jià)導(dǎo)向??萍柬?xiàng)目管理的評(píng)價(jià)導(dǎo)向應(yīng)以質(zhì)量、績(jī)效和貢獻(xiàn)為主[11],科技人才評(píng)價(jià)應(yīng)以創(chuàng)新價(jià)值、能力、貢獻(xiàn)為評(píng)價(jià)導(dǎo)向[12]。一是對(duì)立項(xiàng)評(píng)審,應(yīng)審核與科技項(xiàng)目績(jī)效目標(biāo)、結(jié)果指標(biāo)、指南要求等的相符性、創(chuàng)新性、可行性、可考核性以及實(shí)現(xiàn)科技項(xiàng)目績(jī)效目標(biāo)的能力、條件等。二是對(duì)項(xiàng)目實(shí)施過(guò)程評(píng)價(jià),應(yīng)加強(qiáng)項(xiàng)目關(guān)鍵環(huán)節(jié)考核,項(xiàng)目難以達(dá)到預(yù)期績(jī)效目標(biāo)的,應(yīng)當(dāng)及時(shí)予以調(diào)整或取消后續(xù)支持。三是對(duì)成果評(píng)價(jià),應(yīng)更注重標(biāo)志性成果的質(zhì)量、貢獻(xiàn)和績(jī)效。四是對(duì)科技獎(jiǎng)勵(lì)評(píng)價(jià),突出成果的質(zhì)量和貢獻(xiàn),重點(diǎn)評(píng)價(jià)科技成果的先進(jìn)水平、創(chuàng)新程度、經(jīng)濟(jì)效益、社會(huì)與生態(tài)效益、推廣與應(yīng)用價(jià)值等,不能僅僅將發(fā)表論文作為主要評(píng)價(jià)依據(jù)。五是對(duì)科技人才評(píng)價(jià),不應(yīng)將科技成果數(shù)量作為主要評(píng)價(jià)依據(jù)和考核指標(biāo),應(yīng)適當(dāng)提升高質(zhì)量成果的考核評(píng)價(jià)指標(biāo)權(quán)重;同時(shí)推行代表作考核制度,設(shè)定代表作數(shù)量上限,引導(dǎo)科技人才更加關(guān)注科技成果質(zhì)量。

    2.2.2 健全煙草企業(yè)科技分類評(píng)價(jià)標(biāo)準(zhǔn)。煙草企業(yè)科技評(píng)價(jià)主體可根據(jù)評(píng)價(jià)對(duì)象不同,采取同行評(píng)議、社會(huì)評(píng)價(jià)、用戶(服務(wù)對(duì)象)評(píng)價(jià)和第三方評(píng)價(jià)等方式開(kāi)展;建立分類評(píng)價(jià)指標(biāo)體系,采用適合的評(píng)價(jià)方法、評(píng)價(jià)流程等,對(duì)技術(shù)開(kāi)發(fā)類、軟科學(xué)類、公益類、基礎(chǔ)研究類等不同類別的科技項(xiàng)目及科技人才進(jìn)行評(píng)價(jià)。設(shè)計(jì)評(píng)價(jià)指標(biāo)時(shí),可以參考被評(píng)價(jià)對(duì)象的發(fā)展目標(biāo)。

    (1)在煙草企業(yè)科技項(xiàng)目評(píng)價(jià)過(guò)程中,不同類型的科技項(xiàng)目評(píng)價(jià)重點(diǎn)具有一定差異性[13]。一是技術(shù)和產(chǎn)品開(kāi)發(fā)類研究科技項(xiàng)目應(yīng)注重評(píng)價(jià)新技術(shù)、新方法、新產(chǎn)品、關(guān)鍵部件等的創(chuàng)新性、成熟度、穩(wěn)定性、可靠性等,以及應(yīng)用解決方案、科學(xué)數(shù)據(jù)、科技報(bào)告、軟件等標(biāo)志性成果的質(zhì)量、貢獻(xiàn)和影響,突出成果轉(zhuǎn)化應(yīng)用情況及其在解決高質(zhì)量發(fā)展關(guān)鍵問(wèn)題、支撐引領(lǐng)煙草產(chǎn)業(yè)發(fā)展中發(fā)揮的作用。二是應(yīng)用類科技項(xiàng)目評(píng)價(jià)應(yīng)重點(diǎn)評(píng)價(jià)集成性、先進(jìn)性、經(jīng)濟(jì)適用性、輻射帶動(dòng)作用及產(chǎn)生的經(jīng)濟(jì)效益。三是基礎(chǔ)研究類科技項(xiàng)目評(píng)價(jià)應(yīng)重點(diǎn)評(píng)價(jià)科技成果的新理論、新方法、新發(fā)現(xiàn)、新觀點(diǎn)等,體現(xiàn)出科技成果的科學(xué)價(jià)值、學(xué)術(shù)水平、影響力等。

    (2)對(duì)煙草企業(yè)科技創(chuàng)新人才評(píng)價(jià)突出科學(xué)精神、能力和業(yè)績(jī)[12]?;A(chǔ)研究類科技人才應(yīng)重點(diǎn)評(píng)價(jià)重大原創(chuàng)性貢獻(xiàn)、學(xué)術(shù)影響力、科學(xué)價(jià)值、研究能力等要素;技術(shù)開(kāi)發(fā)類、應(yīng)用研究類科技人才應(yīng)重點(diǎn)評(píng)價(jià)技術(shù)解決方案、高質(zhì)量專利、技術(shù)標(biāo)準(zhǔn)、成果轉(zhuǎn)化產(chǎn)業(yè)化、產(chǎn)學(xué)研深度融合成效等代表性成果;公益研究類科技人才重點(diǎn)評(píng)價(jià)服務(wù)公共管理的能力與效果。

    2.2.3 采用科學(xué)計(jì)量學(xué)與同行評(píng)議相結(jié)合的科技評(píng)價(jià)方法??茖W(xué)計(jì)量學(xué)是一門對(duì)科學(xué)本身進(jìn)行定量研究的學(xué)科。Nalimov和Mulchenko于1969年提出科學(xué)計(jì)量學(xué)(scientometrics)的概念,指出該門新興學(xué)科是采用定量方法尋找科學(xué)活動(dòng)的內(nèi)在規(guī)律和特征,從而對(duì)科學(xué)的信息交流過(guò)程和特征進(jìn)行分析。

    在科技評(píng)價(jià)中,應(yīng)用科學(xué)計(jì)量學(xué)應(yīng)加強(qiáng)定量方法與質(zhì)量、績(jī)效、貢獻(xiàn)導(dǎo)向的兼容性,發(fā)揮同行評(píng)議與科學(xué)計(jì)量學(xué)方法在不同類型評(píng)價(jià)中協(xié)同作用[14]。煙草行業(yè)科技評(píng)價(jià)管理部門應(yīng)清晰地認(rèn)識(shí)到不同評(píng)價(jià)方法在科技評(píng)價(jià)中的作用、長(zhǎng)處、局限性有明顯差異。長(zhǎng)期以來(lái),采用同行評(píng)議是科技評(píng)價(jià)的重要方法之一,但同行評(píng)議具有明顯的局限性,集中表現(xiàn)在其客觀性難以完全保證??茖W(xué)計(jì)量學(xué)方法雖在同行評(píng)議之外提供了客觀評(píng)價(jià)標(biāo)準(zhǔn),但可能存在數(shù)據(jù)來(lái)源、數(shù)據(jù)準(zhǔn)確性、科學(xué)引文索引論文的覆蓋范圍以及評(píng)價(jià)指標(biāo)代表性等方面的不足。

    科技評(píng)價(jià)方法整合應(yīng)注重?zé)煵萜髽I(yè)科技評(píng)價(jià)方法的適切性與評(píng)價(jià)質(zhì)量的正相關(guān)性,明確定性、定量評(píng)價(jià)方法的適應(yīng)域,關(guān)注二者之間的相互支撐、補(bǔ)充,確保行業(yè)科技評(píng)價(jià)效果。煙草企業(yè)立項(xiàng)、過(guò)程管理、驗(yàn)收、鑒定、成果獎(jiǎng)勵(lì)等評(píng)價(jià)對(duì)象都可以使用同行評(píng)議方法,科技評(píng)價(jià)管理部門需要對(duì)同行評(píng)議方法、科學(xué)計(jì)量學(xué)方法等在科技評(píng)價(jià)中的作用定位進(jìn)行準(zhǔn)確判斷,采取多維度、能夠發(fā)揮各自優(yōu)勢(shì)的評(píng)價(jià)方案,以提高科技評(píng)價(jià)質(zhì)量。以立項(xiàng)評(píng)審為例,其評(píng)價(jià)目標(biāo)主要是科技項(xiàng)目技術(shù)路線的先進(jìn)性、合理性和可行性等,僅僅使用同行評(píng)議方法存在缺少客觀數(shù)據(jù)支撐的弊端。2023年陜西省煙草公司在科技項(xiàng)目立項(xiàng)評(píng)審中的實(shí)踐表明,將同行評(píng)議與科學(xué)計(jì)量學(xué)方法相結(jié)合,補(bǔ)充現(xiàn)有研究的科技項(xiàng)目評(píng)價(jià)指標(biāo),形成整合性的評(píng)價(jià)意見(jiàn),對(duì)改善評(píng)價(jià)質(zhì)量有著明顯的幫助。

    3 科學(xué)計(jì)量學(xué)在煙草企業(yè)科技評(píng)價(jià)中的應(yīng)用

    科學(xué)計(jì)量學(xué)需要運(yùn)用定量分析方法,以科研活動(dòng)數(shù)據(jù)為分析基礎(chǔ),旨在揭示科學(xué)活動(dòng)規(guī)律,為科技評(píng)價(jià)提供科學(xué)依據(jù)。煙草企業(yè)應(yīng)用科學(xué)計(jì)量學(xué),依據(jù)定量指標(biāo)、分析方法等,采集科學(xué)計(jì)量數(shù)據(jù),根據(jù)評(píng)價(jià)原則、評(píng)價(jià)對(duì)象和評(píng)價(jià)目標(biāo)等建立科技評(píng)價(jià)指標(biāo)體系;采用適當(dāng)?shù)姆椒ㄓ?jì)算出各級(jí)指標(biāo)的得分,并進(jìn)行排序,為煙草企業(yè)科技管理制度制定提供參考。然而,科學(xué)計(jì)量數(shù)據(jù)僅作為科技評(píng)價(jià)的數(shù)據(jù)支撐,并非直接為煙草行業(yè)提供科技評(píng)價(jià)結(jié)果?!度R頓宣言》指出定量評(píng)價(jià)應(yīng)支持而非取代專家的定性評(píng)價(jià),唯論文、SCI期刊、影響因子等評(píng)價(jià)導(dǎo)向使科學(xué)計(jì)量學(xué)在科技評(píng)價(jià)應(yīng)用中引發(fā)爭(zhēng)議。

    近年來(lái),科學(xué)計(jì)量學(xué)在世界各國(guó)的科技評(píng)價(jià)中被廣泛應(yīng)用[15-16],主要體現(xiàn)在3個(gè)方面:一是構(gòu)建基于文獻(xiàn)計(jì)量的科技成果評(píng)價(jià)體系,主要采用統(tǒng)計(jì)分析、共現(xiàn)分析、共詞分析、專利論文引用分析、學(xué)科交叉度量等方法,得到的科學(xué)計(jì)量評(píng)價(jià)結(jié)果為同行評(píng)議專家提供重要信息參考;二是學(xué)科前沿、學(xué)科交叉、主題識(shí)別與知識(shí)發(fā)現(xiàn),采用的方法有Louvain算法、技術(shù)主題識(shí)別方法、交叉學(xué)科的測(cè)度方法等;三是量化分析。利用定量分析工具進(jìn)行量化,如采用圖表比較分析科技實(shí)力、創(chuàng)新能力等;采用TOPSIS法、模糊綜合評(píng)價(jià)法、熵值法、層次分析法、因子分析法、優(yōu)序圖法等進(jìn)行綜合評(píng)價(jià)等。其中,TOPSIS法能精確地反映各評(píng)價(jià)對(duì)象之間的差距,在煙草行業(yè)科技評(píng)價(jià)中可以采用該方法計(jì)算得分及排名。該研究以陜西省公司2023年度所有軟科學(xué)類科技項(xiàng)目的報(bào)獎(jiǎng)評(píng)價(jià)為例,運(yùn)用TOPSIS法進(jìn)行科技評(píng)價(jià)的具體步驟如下[17]:

    第一步,確定煙草企業(yè)科技項(xiàng)目報(bào)獎(jiǎng)評(píng)價(jià)原始數(shù)據(jù)矩陣。設(shè)有n個(gè)煙草企業(yè)科技項(xiàng)目,m個(gè)評(píng)價(jià)指標(biāo),其中X=(Xij)nm,i =(1,2,…,n),j =(1,2,…,m),Xij表示對(duì)第i個(gè)項(xiàng)目第j項(xiàng)指標(biāo)的數(shù)值。Xij可以由專家個(gè)人評(píng)價(jià)和團(tuán)隊(duì)評(píng)價(jià)綜合得出評(píng)價(jià)結(jié)果。

    Xij=x11…x1m

    xn1…xnm(1)

    為了保護(hù)科技項(xiàng)目的信息,隱去各科技項(xiàng)目的具體名稱。其中,煙草商業(yè)企業(yè)軟科學(xué)類科技項(xiàng)目報(bào)獎(jiǎng)評(píng)價(jià)的3個(gè)一級(jí)指標(biāo)分值見(jiàn)表1。

    第二步,構(gòu)建標(biāo)準(zhǔn)化矩陣。為消除指標(biāo)間量綱的影響,用向量的方式標(biāo)準(zhǔn)化,并對(duì)評(píng)價(jià)指標(biāo)進(jìn)行無(wú)量綱化處理。

    vij=xijni=1x2ij(2)

    第三步,得到標(biāo)準(zhǔn)化矩陣如下:

    vij=v11…v1m

    vn1…vnm(3)

    第四步,構(gòu)造加權(quán)規(guī)范矩陣。

    zij=vij×wj(4)

    其中,wj為第j項(xiàng)指標(biāo)的權(quán)重。得到加權(quán)規(guī)范矩陣如下:

    Zij=z11…z1m

    zn1…znm(5)

    第五步,確定正負(fù)理想解。由煙草企業(yè)科技項(xiàng)目報(bào)獎(jiǎng)評(píng)價(jià)各指標(biāo)的最優(yōu)值和最劣值分別構(gòu)成正、負(fù)理想解Z+j、Z-j。

    Z+j=(z+1,z+2,…,z+m)(6)

    Z-j=(z-1,z-2,…,z-m)(7)

    其中,z+j=max(z1j,z2j,…,znj),z-j=min(z1j,z2j,…,znj),j=1,2,…,m。

    第六步,計(jì)算煙草商業(yè)企業(yè)科技項(xiàng)目報(bào)獎(jiǎng)評(píng)價(jià)結(jié)果與正負(fù)理想解的距離。

    D+i=mj=1(zij-z+j)2(8)

    D-i=mj=1(zij-z-j)2(9)

    第七步,計(jì)算各評(píng)價(jià)單元與理想解的相對(duì)貼近度Ci,計(jì)算公式如下:

    Ci=D-iD+i+D-i(10)

    第八步,綜合排序。綜合測(cè)度陜西省煙草商業(yè)企業(yè)2023年所有軟科學(xué)類科技項(xiàng)目的相對(duì)貼近度,得到11個(gè)軟科學(xué)類科技項(xiàng)目報(bào)獎(jiǎng)評(píng)價(jià)的綜合排序情況,具體結(jié)果見(jiàn)表2。相對(duì)貼近度C越大,科技項(xiàng)目的綜合排名越靠前,反之則越靠后。該方法同樣適用于煙草商業(yè)企業(yè)科技項(xiàng)目立項(xiàng)評(píng)價(jià)、鑒定評(píng)價(jià)等。

    第九步,結(jié)果分析。由表2可知,總排名第一的是“項(xiàng)目9”,其相對(duì)貼近度最高為0.783。主要原因在于質(zhì)量指標(biāo)和貢獻(xiàn)指標(biāo)得分在軟科學(xué)類科技項(xiàng)目中排名第一,但績(jī)效指標(biāo)得分排名第二。排名最后的是“項(xiàng)目6”,相對(duì)貼近度為0,其質(zhì)量、績(jī)效和貢獻(xiàn)得分在軟科學(xué)類科技項(xiàng)目中均排名為倒數(shù)第一?!绊?xiàng)目7”的績(jī)效指標(biāo)得分在軟科學(xué)類科技項(xiàng)目中排名第一,但質(zhì)量指標(biāo)和貢獻(xiàn)指標(biāo)得分排名相對(duì)靠后,其相對(duì)貼近度為0.616,總排名第3。

    4 結(jié)語(yǔ)

    科技評(píng)價(jià)改革是科技管理改革的著力點(diǎn),對(duì)煙草行業(yè)科技發(fā)展方向、科技人才成長(zhǎng)、科技成果質(zhì)量等產(chǎn)生顯著影響。通過(guò)構(gòu)建多維度分類科技評(píng)價(jià)體系,應(yīng)用科學(xué)計(jì)量學(xué)與同行評(píng)議相結(jié)合的科技評(píng)價(jià)方法,實(shí)施不同層面的科技評(píng)價(jià),有助于推動(dòng)煙草企業(yè)科技評(píng)價(jià)改革,切實(shí)提升科研水平和人才培養(yǎng)質(zhì)量。

    參考文獻(xiàn)

    [1]

    汪志波,鄭新章,邱紀(jì)青,等.煙草行業(yè)科技重大專項(xiàng)項(xiàng)目績(jī)效跟蹤評(píng)價(jià)指標(biāo)體系研究[J].中國(guó)煙草學(xué)報(bào),2016,22(2):138-145.

    [2] 王宗軍,張馬萍,陶立祥,等.基于層次分析-熵權(quán)法的湖北省煙草商業(yè)系統(tǒng)科研項(xiàng)目績(jī)效評(píng)價(jià)體系研究[J].科技和產(chǎn)業(yè),2022,22(6):163-169.

    [3] 張富利,蔡躍龍.科研分類管理評(píng)價(jià)問(wèn)題研究[J].知識(shí)經(jīng)濟(jì),2019(12):88-89.

    [4] 姜春林,張立偉,張春博.科學(xué)計(jì)量方法輔助代表作評(píng)價(jià)的探討[J].情報(bào)資料工作,2014(3):31-36.

    [5] 張積玉.以量化為基礎(chǔ)以代表作為主的綜合化學(xué)術(shù)評(píng)價(jià)制度構(gòu)建:基于S大學(xué)的經(jīng)驗(yàn)[J].重慶大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版),2019,25(6):84-96.

    [6] 董麗華.基于科學(xué)計(jì)量學(xué)的中美科技實(shí)力評(píng)價(jià)指標(biāo)分析[J].甘肅科技縱橫,2019,48(1):72-75.

    [7] 俞立平,張礦偉,蔣長(zhǎng)兵.推進(jìn)代表作評(píng)價(jià)存在的問(wèn)題與對(duì)策研究[J].情報(bào)學(xué)報(bào),2021,40(4):345-353.

    [8] 劉夢(mèng)星,張紅霞.高??蒲性u(píng)價(jià)的問(wèn)題、走向與改革策略[J].高校教育管理,2021,15(1):117-124.

    [9] 周玉容,沈紅.大學(xué)教學(xué)同行評(píng)價(jià):優(yōu)勢(shì)、困境與出路[J].復(fù)旦教育論壇,2015,13(3):47-52.

    [10] 袁永和.高校教師科研評(píng)價(jià)中的問(wèn)題與對(duì)策[J].廣東技術(shù)師范學(xué)院學(xué)報(bào),2011,32(11):110-113.

    [11] 新華社.中共中央辦公廳 國(guó)務(wù)院辦公廳印發(fā)《關(guān)于深化項(xiàng)目評(píng)審、人才評(píng)價(jià)、機(jī)構(gòu)評(píng)估改革的意見(jiàn)》[EB/OL].(2018-07-03)[2023-04-25].http://www.gov.cn/zhengce/2018-07/03/content_5303251.htm.

    [12] 科技部,教育部,工業(yè)和信息化部,等.關(guān)于開(kāi)展科技人才評(píng)價(jià)改革試點(diǎn)的工作方案[EB/OL].(2022-11-09)[2023-04-25].https://www.most.gov.cn/xxgk/xinxifenlei/fdzdgknr/qtwj/qtwj2022/202211/t202211 09_183356.html.

    [13] 國(guó)務(wù)院.國(guó)務(wù)院關(guān)于優(yōu)化科研管理提升科研績(jī)效若干措施的通知:國(guó)發(fā)〔2018〕25號(hào)[EB/OL].(2018-07-24)[2023-04-25].https://www.gov.cn/zhengce/content/2018-07/24/content_5308787.htm.

    [14] 朱軍文,劉念才.高??蒲性u(píng)價(jià)定量方法與質(zhì)量導(dǎo)向的偏離及治理[J].教育研究,2014,35(8):52-59.

    [15] 陳云偉,張志強(qiáng).科學(xué)計(jì)量學(xué)迎接新挑戰(zhàn)與新機(jī)遇:2018科學(xué)計(jì)量與科技評(píng)價(jià)天府論壇綜述[J].圖書(shū)與情報(bào),2018(5):134-140.

    [16] 趙紅州,蔣國(guó)華.科學(xué)計(jì)量學(xué)的歷史和現(xiàn)狀[J].科學(xué)學(xué)研究,1984,2(4):24-35.

    [17] 嚴(yán)夢(mèng)帆,龍吉生.基于德?tīng)柗品ê蚑OPSIS法的垃圾焚燒發(fā)電廠綜合評(píng)價(jià)方法[J].環(huán)境工程,2023,41(7):229-234.

    赤兔流量卡办理| 国产黄色小视频在线观看| 久久久久久久久中文| avwww免费| 欧美一区二区国产精品久久精品| 99国产精品一区二区三区| 免费看光身美女| 毛片一级片免费看久久久久 | 亚洲欧美日韩无卡精品| 免费黄网站久久成人精品 | 久久久久性生活片| 国产精品爽爽va在线观看网站| 亚洲中文字幕一区二区三区有码在线看| 观看免费一级毛片| 99热6这里只有精品| 久久久国产成人免费| 3wmmmm亚洲av在线观看| 国产探花极品一区二区| 麻豆av噜噜一区二区三区| 日本免费a在线| 一级a爱片免费观看的视频| 中文字幕人妻熟人妻熟丝袜美| 久久午夜福利片| 国内揄拍国产精品人妻在线| 淫妇啪啪啪对白视频| 日本 欧美在线| 在线免费观看的www视频| 网址你懂的国产日韩在线| 蜜桃久久精品国产亚洲av| 性色av乱码一区二区三区2| 人人妻人人澡欧美一区二区| 国产探花在线观看一区二区| 麻豆成人午夜福利视频| АⅤ资源中文在线天堂| 精品人妻视频免费看| 欧美日韩瑟瑟在线播放| 精品久久久久久久久久免费视频| 日韩有码中文字幕| 舔av片在线| 免费av毛片视频| 在线观看免费视频日本深夜| 亚洲av中文字字幕乱码综合| av女优亚洲男人天堂| 一区二区三区四区激情视频 | 老熟妇仑乱视频hdxx| 午夜日韩欧美国产| 国产中年淑女户外野战色| 69av精品久久久久久| 国产av不卡久久| 日韩欧美国产一区二区入口| 九色国产91popny在线| 精品欧美国产一区二区三| 亚洲av一区综合| 免费电影在线观看免费观看| 国内少妇人妻偷人精品xxx网站| 日日摸夜夜添夜夜添av毛片 | 高清毛片免费观看视频网站| 日韩中字成人| 免费无遮挡裸体视频| 国产成人a区在线观看| 久久久国产成人免费| 制服丝袜大香蕉在线| 精品国产三级普通话版| 成人高潮视频无遮挡免费网站| 中文字幕免费在线视频6| 欧美成人性av电影在线观看| 热99在线观看视频| 国产老妇女一区| 免费人成在线观看视频色| 别揉我奶头~嗯~啊~动态视频| 国产黄色小视频在线观看| 色吧在线观看| 成人国产一区最新在线观看| 国产精品电影一区二区三区| 夜夜夜夜夜久久久久| 99riav亚洲国产免费| 少妇的逼好多水| 草草在线视频免费看| 日本五十路高清| 亚洲中文字幕日韩| 亚洲va日本ⅴa欧美va伊人久久| 亚洲avbb在线观看| 成人一区二区视频在线观看| 日韩欧美精品免费久久 | 夜夜夜夜夜久久久久| 偷拍熟女少妇极品色| 国产精品免费一区二区三区在线| 精品久久久久久,| 三级男女做爰猛烈吃奶摸视频| 国产成人欧美在线观看| 超碰av人人做人人爽久久| а√天堂www在线а√下载| 欧美日韩中文字幕国产精品一区二区三区| 精品福利观看| 韩国av一区二区三区四区| 亚洲不卡免费看| 男插女下体视频免费在线播放| 国产黄色小视频在线观看| 国产黄a三级三级三级人| 久久欧美精品欧美久久欧美| 亚洲人成网站在线播放欧美日韩| 中文字幕高清在线视频| 国产久久久一区二区三区| 国产精品亚洲av一区麻豆| 亚洲欧美清纯卡通| 日日干狠狠操夜夜爽| 国产国拍精品亚洲av在线观看| 少妇被粗大猛烈的视频| 精品一区二区三区人妻视频| 色播亚洲综合网| 香蕉av资源在线| 99精品在免费线老司机午夜| 桃色一区二区三区在线观看| 午夜a级毛片| 最好的美女福利视频网| 波野结衣二区三区在线| 午夜久久久久精精品| 最近在线观看免费完整版| 嫩草影院新地址| 精品久久国产蜜桃| 亚洲国产精品999在线| 亚洲av二区三区四区| 欧美高清成人免费视频www| 久久伊人香网站| 日韩有码中文字幕| 精品久久久久久久末码| 国产欧美日韩精品亚洲av| 亚洲成人精品中文字幕电影| 欧美日本视频| 精品日产1卡2卡| 久99久视频精品免费| 欧美性猛交╳xxx乱大交人| 婷婷色综合大香蕉| 亚洲 欧美 日韩 在线 免费| 久久精品国产亚洲av涩爱 | 波多野结衣高清作品| www日本黄色视频网| 成年女人看的毛片在线观看| 人妻制服诱惑在线中文字幕| av专区在线播放| 午夜久久久久精精品| 色av中文字幕| 亚洲精品456在线播放app | 最近最新免费中文字幕在线| 91久久精品国产一区二区成人| 欧美成人性av电影在线观看| 午夜亚洲福利在线播放| 免费在线观看影片大全网站| 久久久久免费精品人妻一区二区| 99精品在免费线老司机午夜| 啦啦啦韩国在线观看视频| 久久精品国产亚洲av天美| 麻豆av噜噜一区二区三区| 色视频www国产| 一本久久中文字幕| 狠狠狠狠99中文字幕| 天堂√8在线中文| 大型黄色视频在线免费观看| 亚洲中文日韩欧美视频| av女优亚洲男人天堂| 老鸭窝网址在线观看| 色av中文字幕| 国产亚洲欧美在线一区二区| 波野结衣二区三区在线| 国产日本99.免费观看| 久久久久久久久久黄片| 欧美+亚洲+日韩+国产| 国产亚洲精品综合一区在线观看| 免费在线观看亚洲国产| 国产日本99.免费观看| 精品久久久久久久久久久久久| 亚洲av免费在线观看| 亚洲国产日韩欧美精品在线观看| 99在线视频只有这里精品首页| 国产私拍福利视频在线观看| 国产白丝娇喘喷水9色精品| 精品午夜福利视频在线观看一区| 男人和女人高潮做爰伦理| 草草在线视频免费看| 亚洲精品一卡2卡三卡4卡5卡| 国内精品久久久久精免费| 日韩欧美精品免费久久 | 亚洲欧美激情综合另类| 欧美日韩福利视频一区二区| 真人一进一出gif抽搐免费| 免费大片18禁| 床上黄色一级片| 91麻豆精品激情在线观看国产| 亚洲,欧美精品.| 男女做爰动态图高潮gif福利片| 欧美+亚洲+日韩+国产| 身体一侧抽搐| 日韩精品中文字幕看吧| 天天一区二区日本电影三级| 韩国av一区二区三区四区| 亚洲av中文字字幕乱码综合| 久久久久久久久中文| 在线观看av片永久免费下载| 身体一侧抽搐| 人妻夜夜爽99麻豆av| 三级国产精品欧美在线观看| 成人毛片a级毛片在线播放| 成人特级黄色片久久久久久久| 黄色配什么色好看| 婷婷亚洲欧美| 亚洲精品一卡2卡三卡4卡5卡| 身体一侧抽搐| 99国产极品粉嫩在线观看| 1000部很黄的大片| 成人特级黄色片久久久久久久| 91狼人影院| 91九色精品人成在线观看| 一夜夜www| 国内揄拍国产精品人妻在线| 人妻夜夜爽99麻豆av| 在线观看66精品国产| 99热精品在线国产| 中文在线观看免费www的网站| 亚洲成av人片免费观看| 国产高清有码在线观看视频| 国产亚洲欧美在线一区二区| 亚洲精品日韩av片在线观看| 美女免费视频网站| 色在线成人网| 此物有八面人人有两片| 日本成人三级电影网站| 日韩欧美在线乱码| 国产精品一区二区免费欧美| 特大巨黑吊av在线直播| 午夜老司机福利剧场| 精品免费久久久久久久清纯| 欧美zozozo另类| 夜夜爽天天搞| 欧美黑人巨大hd| 久久亚洲真实| 亚洲av电影在线进入| 亚洲av电影在线进入| a级毛片a级免费在线| 亚洲av成人av| 一a级毛片在线观看| 国产午夜精品久久久久久一区二区三区 | 欧美xxxx黑人xx丫x性爽| 国产乱人伦免费视频| 91在线观看av| 国产精品乱码一区二三区的特点| 精品国产亚洲在线| 精品人妻视频免费看| 国产一区二区在线观看日韩| 精品午夜福利在线看| 天堂√8在线中文| a级毛片免费高清观看在线播放| 女人十人毛片免费观看3o分钟| 日韩高清综合在线| 能在线免费观看的黄片| 又爽又黄无遮挡网站| 蜜桃亚洲精品一区二区三区| 日本在线视频免费播放| 欧美潮喷喷水| 欧美最新免费一区二区三区 | 日韩欧美国产一区二区入口| av中文乱码字幕在线| 精品国产三级普通话版| 国产精品日韩av在线免费观看| 国产精品久久视频播放| 欧美色欧美亚洲另类二区| 校园春色视频在线观看| 成人欧美大片| 国产乱人伦免费视频| av天堂中文字幕网| 久久精品人妻少妇| 一a级毛片在线观看| 露出奶头的视频| 在线观看午夜福利视频| 老司机午夜十八禁免费视频| 在线播放国产精品三级| 小蜜桃在线观看免费完整版高清| 国产白丝娇喘喷水9色精品| 嫩草影视91久久| 精华霜和精华液先用哪个| 精品午夜福利在线看| 女人十人毛片免费观看3o分钟| 热99re8久久精品国产| 一本精品99久久精品77| 国产精品99久久久久久久久| 99国产极品粉嫩在线观看| 小说图片视频综合网站| 91字幕亚洲| 国产伦精品一区二区三区视频9| 国产亚洲欧美在线一区二区| 成人无遮挡网站| 国产日本99.免费观看| 乱码一卡2卡4卡精品| 好看av亚洲va欧美ⅴa在| 全区人妻精品视频| 精品人妻视频免费看| 丰满乱子伦码专区| 在线观看午夜福利视频| 蜜桃亚洲精品一区二区三区| 脱女人内裤的视频| 久久久久国产精品人妻aⅴ院| av在线蜜桃| 99在线人妻在线中文字幕| 亚洲精品粉嫩美女一区| 久久6这里有精品| 午夜激情福利司机影院| 级片在线观看| 国产探花极品一区二区| 日本免费一区二区三区高清不卡| 黄色女人牲交| 免费看美女性在线毛片视频| 毛片女人毛片| 国产v大片淫在线免费观看| 久久人妻av系列| 少妇高潮的动态图| 免费看a级黄色片| 一二三四社区在线视频社区8| av视频在线观看入口| 三级毛片av免费| 别揉我奶头 嗯啊视频| 特级一级黄色大片| 亚洲专区国产一区二区| 国内少妇人妻偷人精品xxx网站| 91九色精品人成在线观看| 国产精品日韩av在线免费观看| 国产视频内射| 两性午夜刺激爽爽歪歪视频在线观看| 在线a可以看的网站| 国产探花极品一区二区| 久久久久久九九精品二区国产| 亚洲真实伦在线观看| 国产av不卡久久| 18美女黄网站色大片免费观看| 夜夜夜夜夜久久久久| 久久久国产成人精品二区| 久久人妻av系列| 亚洲一区二区三区不卡视频| 亚洲电影在线观看av| 一进一出抽搐gif免费好疼| av欧美777| 色哟哟·www| 18禁裸乳无遮挡免费网站照片| 在线看三级毛片| 又爽又黄a免费视频| 欧美精品啪啪一区二区三区| 亚洲第一区二区三区不卡| 男女做爰动态图高潮gif福利片| 搡老妇女老女人老熟妇| 亚洲人与动物交配视频| 十八禁国产超污无遮挡网站| 蜜桃久久精品国产亚洲av| 中文字幕人妻熟人妻熟丝袜美| 少妇熟女aⅴ在线视频| 此物有八面人人有两片| 波多野结衣高清作品| 18美女黄网站色大片免费观看| 免费黄网站久久成人精品 | 亚洲av.av天堂| 51午夜福利影视在线观看| x7x7x7水蜜桃| 国产欧美日韩精品一区二区| 精品一区二区三区视频在线观看免费| 国产精品av视频在线免费观看| 欧美日韩乱码在线| 首页视频小说图片口味搜索| 麻豆一二三区av精品| 成人av一区二区三区在线看| www.999成人在线观看| 99riav亚洲国产免费| 日日夜夜操网爽| 2021天堂中文幕一二区在线观| 免费大片18禁| 久久久色成人| 国产在视频线在精品| 麻豆成人av在线观看| 欧美bdsm另类| 美女xxoo啪啪120秒动态图 | 成年版毛片免费区| 久久国产乱子伦精品免费另类| 久久久久久国产a免费观看| 精品一区二区三区视频在线| 亚洲在线自拍视频| 免费av不卡在线播放| 热99在线观看视频| 亚洲aⅴ乱码一区二区在线播放| 99热6这里只有精品| 淫妇啪啪啪对白视频| 亚洲国产高清在线一区二区三| 宅男免费午夜| 国模一区二区三区四区视频| 欧美高清性xxxxhd video| 国产精品98久久久久久宅男小说| 婷婷六月久久综合丁香| 一个人免费在线观看电影| 成年免费大片在线观看| 成人高潮视频无遮挡免费网站| www日本黄色视频网| а√天堂www在线а√下载| 老司机福利观看| 少妇熟女aⅴ在线视频| 人人妻人人澡欧美一区二区| 亚洲性夜色夜夜综合| xxxwww97欧美| 天堂av国产一区二区熟女人妻| 99久久久亚洲精品蜜臀av| 色哟哟·www| 免费在线观看亚洲国产| 久久久久久久久久成人| 深夜a级毛片| 久久久久久国产a免费观看| 午夜精品在线福利| 午夜精品一区二区三区免费看| 国产亚洲精品久久久久久毛片| 国产精品av视频在线免费观看| 午夜福利在线观看吧| 真实男女啪啪啪动态图| av在线蜜桃| 麻豆国产97在线/欧美| x7x7x7水蜜桃| 色5月婷婷丁香| 久久精品国产自在天天线| 欧美成人a在线观看| 国产aⅴ精品一区二区三区波| 在线观看免费视频日本深夜| 亚洲激情在线av| 亚洲欧美清纯卡通| 免费在线观看日本一区| 12—13女人毛片做爰片一| 国产私拍福利视频在线观看| 久久九九热精品免费| 麻豆一二三区av精品| 色噜噜av男人的天堂激情| 十八禁人妻一区二区| 亚洲欧美日韩高清在线视频| av中文乱码字幕在线| 嫩草影院入口| 中文在线观看免费www的网站| 两个人的视频大全免费| 最近视频中文字幕2019在线8| 99久久精品国产亚洲精品| 国产免费男女视频| 色噜噜av男人的天堂激情| 毛片女人毛片| 搡老熟女国产l中国老女人| 99久久精品热视频| 一级作爱视频免费观看| 国产免费男女视频| 草草在线视频免费看| 国产亚洲精品久久久com| 欧美日本视频| 中文字幕人成人乱码亚洲影| a在线观看视频网站| 国产在视频线在精品| 亚洲精品亚洲一区二区| 在线播放国产精品三级| 一个人看的www免费观看视频| 免费高清视频大片| 国产欧美日韩一区二区精品| 好看av亚洲va欧美ⅴa在| 男女做爰动态图高潮gif福利片| 日韩有码中文字幕| 人人妻人人看人人澡| 日韩中字成人| 国产精品嫩草影院av在线观看 | 俺也久久电影网| 午夜免费男女啪啪视频观看 | 欧美三级亚洲精品| av在线天堂中文字幕| 亚洲不卡免费看| 国内精品美女久久久久久| 制服丝袜大香蕉在线| 国产色爽女视频免费观看| 亚洲专区中文字幕在线| 五月玫瑰六月丁香| 18禁黄网站禁片午夜丰满| 日韩国内少妇激情av| 日韩欧美三级三区| 国产淫片久久久久久久久 | 中文字幕av在线有码专区| 一区二区三区激情视频| 色哟哟·www| 亚洲不卡免费看| av天堂在线播放| 欧美xxxx黑人xx丫x性爽| 赤兔流量卡办理| 变态另类丝袜制服| 成人亚洲精品av一区二区| 亚洲 国产 在线| 免费人成视频x8x8入口观看| 成人一区二区视频在线观看| 午夜福利欧美成人| 欧美日韩福利视频一区二区| 看十八女毛片水多多多| 久久精品综合一区二区三区| 亚洲人成网站在线播| 男人舔奶头视频| 在线观看午夜福利视频| 9191精品国产免费久久| 丰满人妻一区二区三区视频av| 麻豆av噜噜一区二区三区| 亚洲国产高清在线一区二区三| 制服丝袜大香蕉在线| 天堂网av新在线| 一区福利在线观看| 午夜激情福利司机影院| 亚洲中文字幕日韩| 欧美日韩乱码在线| 国产伦精品一区二区三区四那| 成人三级黄色视频| 亚洲人成电影免费在线| 一级黄色大片毛片| 国产精品爽爽va在线观看网站| 日韩欧美国产在线观看| 久久国产乱子伦精品免费另类| 国产淫片久久久久久久久 | 日本免费一区二区三区高清不卡| 亚洲国产精品成人综合色| 赤兔流量卡办理| 美女高潮喷水抽搐中文字幕| 色av中文字幕| 国产av在哪里看| 久久久国产成人免费| 在线观看66精品国产| 偷拍熟女少妇极品色| 成人一区二区视频在线观看| 亚洲综合色惰| 免费看日本二区| 91午夜精品亚洲一区二区三区 | 岛国在线免费视频观看| av专区在线播放| 九九久久精品国产亚洲av麻豆| 别揉我奶头~嗯~啊~动态视频| 欧美区成人在线视频| 69人妻影院| netflix在线观看网站| 久久精品影院6| 蜜桃久久精品国产亚洲av| 午夜福利在线在线| 精品一区二区三区视频在线| 免费av不卡在线播放| 一个人免费在线观看电影| 十八禁国产超污无遮挡网站| 黄色女人牲交| 中出人妻视频一区二区| 亚洲专区中文字幕在线| 亚洲五月婷婷丁香| 激情在线观看视频在线高清| 噜噜噜噜噜久久久久久91| 最近最新中文字幕大全电影3| 欧美bdsm另类| 美女高潮的动态| ponron亚洲| 十八禁人妻一区二区| 757午夜福利合集在线观看| 嫩草影院精品99| 窝窝影院91人妻| 亚洲精品色激情综合| 精品人妻一区二区三区麻豆 | 热99在线观看视频| 性欧美人与动物交配| 免费在线观看影片大全网站| 俺也久久电影网| 伦理电影大哥的女人| 国产伦人伦偷精品视频| 久久久久免费精品人妻一区二区| 久久精品影院6| 国产色婷婷99| 亚洲av免费在线观看| 亚洲第一电影网av| 亚洲欧美日韩无卡精品| 51国产日韩欧美| 精品人妻偷拍中文字幕| 亚洲欧美日韩高清专用| 亚洲精品在线美女| 禁无遮挡网站| 夜夜看夜夜爽夜夜摸| 99riav亚洲国产免费| 亚洲精品一卡2卡三卡4卡5卡| 欧美成人性av电影在线观看| 国产成+人综合+亚洲专区| 我要看日韩黄色一级片| 国产精品人妻久久久久久| 少妇的逼好多水| 人妻丰满熟妇av一区二区三区| 日韩欧美三级三区| 国产 一区 欧美 日韩| 亚洲,欧美精品.| 国产综合懂色| 丰满人妻一区二区三区视频av| 丰满人妻熟妇乱又伦精品不卡| 一区福利在线观看| 国产av一区在线观看免费| 丰满的人妻完整版| 国产aⅴ精品一区二区三区波| 97超视频在线观看视频| 九色国产91popny在线| 五月玫瑰六月丁香| 啦啦啦韩国在线观看视频| 国产一区二区激情短视频| 午夜免费男女啪啪视频观看 | 中文字幕高清在线视频| 中文字幕熟女人妻在线| 熟妇人妻久久中文字幕3abv| 成人午夜高清在线视频| 国产精品1区2区在线观看.| 午夜老司机福利剧场| 成年女人看的毛片在线观看| av女优亚洲男人天堂| 亚洲 国产 在线| 成年免费大片在线观看| 五月伊人婷婷丁香| 亚洲美女搞黄在线观看 | 一本精品99久久精品77| 五月玫瑰六月丁香| 国产在线男女| 国产伦人伦偷精品视频|