• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    改進的DEA在研發(fā)項目績效評價中的應用
    ——以山東省自然科學基金為例

    2018-05-25 01:57:17王紀順
    山東財政學院學報 2018年3期
    關鍵詞:基金項目績效評價山東省

    張 新,王紀順,張 戈,2

    (1.山東財經大學管理科學與工程學院,山東 濟南 250014;2.首都經濟貿易大學 信息學院,北京 100700)

    一、引 言

    研發(fā)項目績效的評價對資源分配與優(yōu)化、決策的制定等至關重要。由于不同項目的影響因素、復雜程度不同,導致評價項目績效的方法也不同。較常用的方法為數據包絡分析法(Data Envelopment Analysis,簡稱DEA),其中的CCR模型是由Charnes等[1]于1978年提出。該方法是一種非參數績效評價方法,能夠有效的評價有多輸入多輸出特點的決策單元,并且應用領域廣,受到很多學者的青睞。

    國內外學者對DEA方法及應用的研究大多采用傳統(tǒng)的投入和產出框架,較少考慮權重或僅采用自動權重,忽略服務狀態(tài)對最終績效的影響。對于某些評價對象,其評價過程并非都是投入——產出兩個階段,某些變量會擔任投入和產出兩種角色,此時決策單元存在中間結構。若不考慮中間結構的狀態(tài)會對績效評價具有較大影響[2]。以山東省研發(fā)項目績效為例,其中間的服務狀態(tài)既是投入階段的產出又是產出階段的投入,考慮服務狀態(tài)能夠深層次地挖掘評價對象中存在的問題,也使得最終系統(tǒng)的績效評價更為合理。隨著山東省政府對基礎研究的投入不斷增加,自然科學基金對人才培養(yǎng)、科技創(chuàng)新和社會發(fā)展的影響作用究竟有多大,如何合理安排資源的投入才能使自然科學基金項目發(fā)揮最大的作用,服務過程對最終的產出有多大影響,指標權重對DEA模型的結果是否有影響以及有多大影響,目前學術界仍缺乏相關研究。

    二、文獻綜述

    研究者在應用DEA模型解決實際問題的過程中從不同的視角提出了不同的DEA模型,如:Banker等[3]提出的BCC模型、Andersen等[4]提出的超效率DEA模型等。國外學者運用DEA模型開展研究較早,如:Abbott等[5]為分析澳大利亞大學的規(guī)模效率和技術效率,運用DEA模型展開研究,結果顯示澳大利亞大學整體效率較高。Sharma等[6]利用DEA方法對22個發(fā)達和發(fā)展中國家的R&D過程的相對效率進行了檢驗。結果表明在規(guī)模報酬不變的情況下,日本、韓國和中國是有效的;在規(guī)模報酬可變的情況下,日本、韓國、中國、印度、匈牙利等是有效的。José等[7]提出一種評價信息不對稱對組織效率影響的DEA分析模型,該模型不僅適用于分析盈利性還適用于非營利性組織,通過比較委托人的目標和代理人的目標來估計道德風險的程度。

    梳理文獻發(fā)現國內學者對DEA方法應用的研究主要集中在以下兩類:

    (1)傳統(tǒng)的DEA方法及應用的研究。學者通常采用模型較為成熟,應用范圍較為廣泛的傳統(tǒng)DEA方法進行效率評價研究。陳文俊等[8]以湖南省R&D投入產出活動為研究對象,采用DEA的BBC模型,對2013年湖南省R&D投入產出效率進行比較分析,并根據實證結果提出了對策及建議。趙樹寬等[9]通過構建高技術企業(yè)創(chuàng)新效率評價指標體系與模型,運用DEA方法從效率、有效性、規(guī)模收益及投影分析四個方面對吉林省151家高技術企業(yè)創(chuàng)新活動進行了評價與分析。王小寧等[10]以教育部直屬的55所高校作為研究對象,采用傳統(tǒng)的DEA方法對固定資產管理績效評價進行實證研究。李祺等[11]使用非參數估計的DEA方法對京津冀地區(qū)2003—2012年城市五大基礎設施投資效率進行分析,同時對DEA結果進行投影分析,找出影響區(qū)域整體發(fā)展的影響因素。此外,有學者將傳統(tǒng)DEA方法與其他方法相結合進行相關研究。張友棠等[12]基于“產出/投入”的績效評價二維結構模型,運用傳統(tǒng)DEA方法提出了一種新的大學預算績效撥款模式。鄧洪波和陸林[13]以2005年和2010年安徽省17個城市旅游資源為評價對象,采用傳統(tǒng)DEA方法測算其綜合效率、技術效率和規(guī)模效率,同時采用Malmquist生產率指數模型計算各城市的旅游效率變動情況。

    (2)改進的DEA方法及應用的研究。在傳統(tǒng)DEA方法的基礎上,有學者考慮待評價對象的中間結構采用兩階段甚至三階段DEA方法,宇文晶等[2]通過采用兩階段串連DEA模型,在規(guī)模報酬不變(CRS)和可變(VRS)情況下分別測度東、中、西部各省區(qū)高技術企業(yè)效率值,并構建Tobit回歸模型對影響各階段效率的外部環(huán)境因素進行實證研究。董艷梅等[14]構建兩階段動態(tài)網絡DEA模型,知識創(chuàng)新階段采用投入導向BCC模型,科技成果商業(yè)化階段采用產出導向BCC模型,對中國高技術產業(yè)創(chuàng)新效率進行了評價。黃德春等[15]根據2009年中國29個省市的能源效率運用三階段DEA模型得出了東部地區(qū)的能源效率最高,西部地區(qū)最低的結論。劉偉[16]以中國高新技術產業(yè)的行業(yè)面板數據,基于三階段DEA模型,在控制環(huán)境因素的基礎上測算了我國高新技術產業(yè)的研發(fā)創(chuàng)新效率。部分學者利用改進后的雙前沿面、可變權重、優(yōu)先級權重的DEA模型研究問題,代明等[17]利用雙前沿面DEA方法,將評價單元分別同“最優(yōu)”和“最差”的決策單元相比,對中國高技術產業(yè)的樂觀效率和悲觀效率進行測算。楊峰等[18]引入可變權重DEA模型,將要素權重用分段線性函數表示,揭示要素折扣是企業(yè)生產規(guī)模效率的一種原因,并測量了要素折扣對于規(guī)模效率的貢獻。宛劍業(yè)等[19]提出應用含有優(yōu)先級權重的DEA模型,通過實例分析,應用層次分析法將決策者需要考慮的綜合因素加入到供應商選擇的定量計算中,驗證了該方法在解決生產企業(yè)供應商選擇問題中的適用性和有效性。也有學者引入滯后期改進DEA模型,如范德成等[20]為評價我國的產業(yè)結構演化效率,構建了我國產業(yè)結構演化評價指標體系,引入復相關系數為基準的滯后期,建立了更加有效的DEA改進模型。

    先前學者的研究成果給本文諸多啟示和借鑒,但對比先前學者運用的傳統(tǒng)DEA方法和改進的DEA方法發(fā)現,鮮有學者同時考慮評價對象的指標權重和中間狀態(tài),而通過基于指標權重和考慮狀態(tài)的DEA評價模型可以解決傳統(tǒng)DEA方法所存在的不足。所以,本文擬以山東省自然科學基金項目為研究對象,基于投入—狀態(tài)—產出視角,建立績效評價概念模型,并以此為基礎建立指標體系,運用考慮指標權重和狀態(tài)的DEA模型進行實證研究與分析。

    三、績效評價指標體系構建

    (一)概念模型構建

    山東省自然科學基金項目的績效評價是一個動態(tài)的系統(tǒng)。借鑒先前學者所使用的指標以及山東省自然科學基金項目的特點,最終確定投入系統(tǒng)包括人力投入、經費投入、物力投入等;產出系統(tǒng)包括科研成果、人才培養(yǎng)、爭取高級項目等;實施過程系統(tǒng)包括人員活動情況、經費使用、計劃執(zhí)行和實施形式等。大多學者認為投入系統(tǒng)對產出水平和最終績效有直接的影響,但根據系統(tǒng)動力學理論,投入系統(tǒng)是通過影響實施過程間接影響產出水平的。投入系統(tǒng)通過人員、資金和設備等的投入對實施過程中的人員活動、經費使用、設備利用等各項指標產生直接作用,實施過程的優(yōu)劣直接影響最終的產出績效。同時,產出系統(tǒng)對實施過程和投入系統(tǒng)均存在著反饋作用。因此,本文認為科技研發(fā)項目是一個具有投入—過程—產出特征的動態(tài)系統(tǒng)。基于以上分析,給出山東省自然科學基金績效評價概念模型,如圖1所示。

    圖1 山東省自然科學基金項目績效評價概念模型

    (二)績效評價指標體系構建

    績效評價指標體系的構建原則有多種,本研究基于以上績效評價指標體系的構建原則,建立投入—過程—產出視角下的多層次績效評價指標體系,如表1所示,指標體系共包括3個一級指標和10個二級指標。

    山東省自然科學基金作為省級科技計劃項目的重要組成部分,致力于推動原始性創(chuàng)新,主要是以資助的方式管理其支持的基礎研究和應用基礎研究,發(fā)現、培養(yǎng)和引進高層次創(chuàng)新人才,培育自主知識產權,增加科技與人才儲備,為增強科技持續(xù)創(chuàng)新發(fā)揮積極作用?;诖?,在構建績效評價指標體系時要充分考慮山東省自然科學基金項目的發(fā)展宗旨和發(fā)展意義。因此在投入指標方面,選取具有代表性的研究人員投入、研究經費投入和儀器設備投入作為自然科學基金項目績效評價的投入指標。而自然科學基金項目在發(fā)展過程中受到人員活動情況、經費使用情況、合作方式等多方面的影響,故在過程指標方面采用人員活動情況(參與課題研究的時間、精力等)、經費使用情況(是否存在違規(guī)使用)、產學研聯合項目、按時結題情況(是否有延期項目)等四個方面的指標。而在產出方面則充分考慮自然科學基金項目的發(fā)展目標,即采用人才數、論文數、科學研究等指標來衡量。

    表1 山東省自然科學基金項目績效評價指標體系

    (三)績效評價指標權重方法選擇

    在綜合評價系統(tǒng)中,由于各評價對象之間的差別主要是由于相對變化量較大的指標引起的,所以相對變化量較大的指標對應的權重也應該較大。因此,合理確定指標權重對整個評價過程起著至關重要的作用[21]??冃гu價權重的確定方法通常采用客觀賦權法,該方法包括熵權法、標準離差法、差異系數法等。其中的差異系數法不僅可以綜合考慮各指標之間的相互聯系,而且不受平均數不同的影響[22]。本研究采用差異系數法確定最終權重。

    四、績效評價方法

    (一)無量綱化處理

    在多層次績效評價指標體系下,原始數據量綱不同,并且在構成相似性變量時,其所占的優(yōu)勢差距比較大[23],故本研究對原始數據進行標準化處理,使原始數據轉化為無量綱的數值,消除了不同指標之間的差異,解決指標之間由于量綱不同而無法進行比較、匯總的問題。標準化處理的步驟如下:

    (1)當指標值為正向指標時,采用的單指標評價公式為:

    (2)當指標值為負向指標時,采用的單指標評價公式為:

    其中,xij為第i個評價對象的第j項指標值,xmaxj和xminj為第j項指標值中的最大值和最小值。根據以往的經驗以及各專家的意見,本文取c=1。

    (二)模型選擇與優(yōu)化

    DEA方法早已被廣泛應用于多投入多產出的績效評價中,并且它能夠簡化運算、減少誤差,具有很強的客觀性,根據假設不同,DEA模型分為CCR和BCC等多種模型,但是傳統(tǒng)的DEA方法只未考慮不同指標之間的重要程度。因此,本研究擬對傳統(tǒng)的DEA模型進行優(yōu)化,優(yōu)化后的模型如下:

    根據上述的優(yōu)化模型,將實施過程作為一個獨立的系統(tǒng),運用MaxDEA 6.5軟件,通過BCC模型將綜合效率分解為純技術效率和規(guī)模效率,判斷評價對象是處于規(guī)模報酬不變、遞增還是遞減階段,通過CCR模型判定決策單元是否同時達到效率有效性和技術有效性。其動態(tài)研究模型如圖2所示:

    圖2 自然科學基金項目績效評價動態(tài)研究模型

    考慮過程的自然科學基金項目績效評價兩階段動態(tài)DEA模型的兩個階段分別為科技服務階段和知識轉化階段。第一階段以服務水平和服務質量為主,使用項目的人、財、物作為DEA模型的投入量,以按時結題和產學研聯合兩個指標作為服務過程的產出指標。在第二階段以第一階段的產出為投入量,以培養(yǎng)人才數,發(fā)表論文數以及項目成果的獲獎數量作為產出量進行績效的評價。

    五、山東省自然科學基金績效評價定量分析

    為更好的評價山東省自然科學基金項目,提高基金項目的管理和服務水平,本研究根據評價對象的不同,主要進行兩個方面的績效評價:一是按項目類別不同,分為青年基金、面上項目、杰青基金和博士基金;二是按學科不同,分為數理、化學、生命科學、地球科學、工程與材料、信息、管理、醫(yī)學等8個學科。

    (一)數據的采集和處理

    本文選取山東省自然科學基金項目作為評價對象,過程指標數據主要來源于山東省科學技術廳提供的《山東省自然科學基金資助項目結題工作匯報》和對各高等院校、各科研機構所做的問卷調查數據,對所得數據進行整理分析,投入和產出指標數據主要來源于山東省科技廳的省基金項目信息管理系統(tǒng)。

    (二)指標權重的分析

    按照項目類別和學科類別的不同,根據差異系數法確定山東省自然科學基金項目績效評價指標的權重值,如表2所示。

    表2 山東省自然科學基金項目績效評價指標的權重值

    由表2的投入指標權重可以發(fā)現,無論是按學科類別劃分還是按項目類別劃分碩士研究人員的權重都較大,這是因為碩士研究人員群體的規(guī)模較博士研究人員大,其數據的相對變化量也較大,權重較大符合實際。國家政府部門要求高校加大產學研聯合的政策使得高校注重產學研合項目的研究,自然科學基金項目評價中的狀態(tài)指標產學研聯合項目數的權重均較大也反映了這一實際。在產出指標中,按學科類別劃分的類型中三大檢索收錄期刊論文數的權重較大,而按項目類別劃分類型中中文核心期刊論文數的權重較大。

    (三)改進的DEA模型結果分析

    運用MaxDEA 6.5評價各項目類別、各學科類別的規(guī)模有效性、技術有效性和綜合有效性,基于投入—產出DEA分析和考慮服務狀態(tài)DEA分析,結果如表3所示。

    表4 不同類別、學科之間DEA分析結果

    由表3可知,在投入—產出視角下,按學科類別劃分八個學科的綜合效率的平均得分為0.812,純技術效率的平均得分為0.929,規(guī)模效率的平均得分為0.881,表明山東省自然科學基金項目的綜合水平較高,但尚存在不合理之處,并且不同學科之間的差距較大,還需進一步提高。其中,工程與材料和信息科學兩個學科的綜合效率值為1,表明了這兩個決策單元的投入和產出是有效的,即同時達到了技術有效和規(guī)模有效,規(guī)模報酬保持穩(wěn)定,這也說明兩個決策單元的產出水平較理想。數理、生物和地球科學的規(guī)模效率分別為0.836、0.68和0.846,純技術效率為1。因此,綜合效率小于1是由規(guī)模效率較低引起的,表明在目前的技術水平下,數理、生物和地球科學的投入資源是有效的,尚未達到綜合有效的根本原因是規(guī)模無效。數理和生物科學的邊際產出小于邊際投入,故兩者的規(guī)模效益處于遞減狀態(tài)。而地球科學處于規(guī)模報酬遞增狀態(tài),說明產出的增加比例大于各種生產要素增加的比例?;瘜W、管理和醫(yī)學科學的純技術效率、規(guī)模效率均小于1,故導致其綜合效率小于1,且三者均處于規(guī)模效益遞增狀態(tài),表明三者在投入要素的生產效率、資源的合理配置、資源使用效率等方面都存在著不足,尚需要進一步改進。按項目類別劃分,四類項目的綜合效率的平均得分為0.997,表明各類項目的整體水平較好。青年基金、重點項目和面上項目的綜合效率為1,表明三者的資源配置能力、資源使用等比較合理。博士基金的綜合效率值為0.986,純技術效率為1,規(guī)模效益處于遞增狀態(tài),表明博士基金資源配置能力是有效的,但由于發(fā)展規(guī)模不當導致了綜合效率小于1,因此在日后的發(fā)展中,應擴大規(guī)模,發(fā)揮規(guī)模經濟和區(qū)域經濟,提升博士基金的總體效率。

    在考慮服務過程的DEA方法分析中,兩種類別中的綜合效率平均值均高于投入—產出視角下的平均值,處于較高的水平。按學科類別劃分時,數理、生物、工程與材料、信息科學四個學科的綜合效率均為1,表明了在目前的科技條件和資源投入情況下,服務過程中參與評價的各項指標已達到最優(yōu)的狀態(tài)。化學、地球和管理科學這三個學科的純技術效率為1,但規(guī)模效率均小于1,故導致綜合效率小于1,表明了服務過程中存在著資源浪費、配置不合理等問題,改進服務過程存在的問題會使得最終績效更好。醫(yī)學的綜合效率為0.576,且技術效率和規(guī)模效率均小于1,表明了在服務過程中,存在著經費使用不合理、人員管理不善等問題,故需要加強對經費、人員等的管理,同時還需要合理配置資源,優(yōu)化資源的結構。

    六、結論與對策建議

    (一)結論

    本文根據國內外相關研究,建立適合山東省特殊情況的自然科學基金項目概念模型,并據此建立績效評價指標體系,考慮指標權重對績效的影響,基于投入—過程—產出視角和考慮服務狀態(tài)指標的DEA方法進行分析,按照學科、項目類別不同,對山東省自然科學基金項目進行了實證研究。通過研究得出以下結論:

    (1)從學科類別劃分的層面來看,八類項目中信息科學和工程與材料科學綜合效率最高,資源配置和資源使用效率合理;信息科學和工程與材料科學綜合效率值為1,表明在目前的科技水平下,資源的配置和資源的使用效率是合理的。結合服務過程指標數據,上述兩個學科按時結題率較高,獨立完成項目能力較強。生物和數理學科的綜合效率值小于1,但純技術效率為1,服務狀態(tài)指標達到較優(yōu)的狀態(tài),邊際產出小于邊際投入,故規(guī)模收益為遞減。醫(yī)學科學在資源投入與配置方面存在不足。

    (2)從項目類別劃分的層面來看,面上項目、青年基金和重點項目DEA分析的綜合效率均為1,結合三種類型的服務過程指標數據可知,三者的項目結題率分別為63.7%、73.4%、81.3%,項目的結題率較高,服務狀態(tài)較好,三者的綜合水平相對較高。四類項目中的博士基金DEA分析綜合效率得分為0.986,純技術效率為1,屬于DEA無效,但服務狀態(tài)的綜合得分為1,說明博士基金的資源配置能力是有效的,但存在著不合理的發(fā)展規(guī)模。博士基金項目之所以綜合效率得分較低,一個重要的原因在于博士基金項目是山東省近幾年剛剛設立的,故在人力、財力、物力等資源投入數量、質量和結構方面尚存在一定的不足,在后期應該給于博士基金項目更多的關注。

    (二)對策建議

    根據上述結論,為提高山東省研發(fā)項目的績效,建議從以下幾個方面進行:

    (1)持續(xù)穩(wěn)定地增加政府財政科技投入,提高資助強度。科技投入的力度直接制約著科技發(fā)展戰(zhàn)略的執(zhí)行。在現階段,應遵循基礎研究持續(xù)投入以及人才階段性成長的客觀規(guī)律,在競爭擇優(yōu)的基礎上,對基礎研究和應用基礎研究項目進行持續(xù)支持,推動學科均衡、交叉和融合,為產業(yè)轉型升級提供科技支撐和保障,形成持續(xù)支持態(tài)勢。同時應有區(qū)別的針對不同項目采取不同的支持力度。

    (2)加大產學研合作力度,積極推動基礎研究成果的市場轉化。政府亦應采取適當的財政引導、金融支持和產權激勵等優(yōu)惠政策,完善面向自主創(chuàng)新企業(yè)的基礎研究投入結構和投入機制,引導企業(yè)參加產學研聯盟,優(yōu)化資源配置。切實把加大基礎研究的投入、引導企業(yè)積極參與基礎研究、利用好部屬院校和科研單位的輻射帶動效應這三方面的工作落到實處,通過產學研用合作機制,加強基礎研究成果的市場轉化。

    (3)引入績效評價機制,提高政府資金使用效率。財政科技投入績效評價是優(yōu)化科技資源配置、提高科技投入管理水平和決策水平的重要手段。采用定性和定量的評價方法,將事前、事中、事后進行定性的績效評價作為決策依據;同時利用定量的績效評價分析財政科技投入的使用效率,提高科技撥款使用效率,合理匹配資金,引入后補助、獎勵等方式,提升研究成果的質量,提高基金使用效能。

    參考文獻:

    [1]CHARNES A,COOPER W W,RHODES E.Measuring the Efficiency of Decision Making Units[J].European Journal of Operational Research,1978,2(6):429-444.

    [2]宇文晶,馬麗華,李海霞.基于兩階段串連DEA的區(qū)域高技術產業(yè)創(chuàng)新效率及影響因素研究[J].研究與發(fā)展管理,2015(3):137-146.

    [3]BANKER R D,CHARNES A,COOPER W W.Some Models for Estimating Technical and Scale in Efficiencies in Data Envelopment Analysis[J].Management Science,1984,30(9):1078-1092.

    [4]ANDERSEN P,PETERSEN N C.A Procedure for Ranking Efficient Units in DEA[J].Management Science,1993,39(10):1261-1264.

    [5]ABBOTT M,DOUCOULIAGOS C.The Efficiency of Australian Universities:A Data Envelopment Analysis[J].Economics of Education Review,2003,22(1):89-97.

    [6]SHARMA S,THOMAS V.Inter-country R&D Efficiency Analysis:An Application of Data Envelopment Analysis[J].Scientometrics,2008,76(3):483-501.

    [7]JOSé M F D F,JO?O N D F,JAIR D S L.A DEA Methodology to Evaluate the Impact of Information Asymmetry on the Efficiency of Not-for-profit Organizations With An Application to Higher Education in Brazil[J].Annals of Operations Research,2010,173(1):39-56.

    [8]陳文俊,李涵,劉執(zhí)圭,等.湖南省R&D投入產出效率研究[J].經濟數學,2015(4):47-53.

    [9]趙樹寬,余海晴,鞏順龍.基于DEA方法的吉林省高技術企業(yè)創(chuàng)新效率研究[J].科研管理,2013(2):36-43.

    [10]王小寧,王起彤,都靈.基于DEA技術的高校固定資產管理績效評價——以教育部直屬高校為例[J].會計之友,2015(24):79-83.

    [11]李祺,孫鈺,崔寅.基于DEA方法的京津冀城市基礎設施投資效率評價[J].干旱區(qū)資源與環(huán)境,2016(2):26-30.

    [12]張友棠,李思呈,曾芝紅.基于DEA的大學預算績效撥款模式創(chuàng)新設計[J].會計研究,2014(1):64-70.

    [13]鄧洪波,陸林.基于DEA模型的安徽省城市旅游效率研究[J].自然資源學報,2014(2):313-323.

    [14]董艷梅,朱英明.中國高技術產業(yè)創(chuàng)新效率評價—基于兩階段動態(tài)網絡DEA模型[J].科技進步與對策,2015(24):106-113.

    [15]黃德春,董宇怡,劉炳勝.基于三階段DEA模型中國區(qū)域能源效率分析[J].資源科學,2012(4):688-695.

    [16]劉偉.中國高新技術產業(yè)研發(fā)創(chuàng)新效率測算—基于三階段DEA模型[J].數理統(tǒng)計與管理,2015(1):17-28.

    [17]代明,劉可新,陳俊.中國高技術產業(yè)研發(fā)創(chuàng)新效率研究[J].中國科技論壇,2016(1):5-10.

    [18]楊峰,夏瓊,梁樑,等.測量要素折扣對企業(yè)規(guī)模效率的貢獻:基于DEA的研究[J].中國管理科學,2010(4):140-144.

    [19]宛劍業(yè),高麗媛,趙靜.基于WPDEA方法的供應商選擇[J].遼寧工業(yè)大學學報(自然科學版),2012(2):105-108.

    [20]范德成,李昊,劉赟.基于改進DEA-以復相關系數為基準的滯后期的我國產業(yè)結構演化效率評價[J].運籌與管理,2016(3):195-203.

    [21]龐彥軍,劉開第,張博文.綜合評價系統(tǒng)客觀性指標權重的確定方法[J].系統(tǒng)工程理論與實踐,2001(8):37-42.

    [22]喻登科.基于分支定界組合權的綜合評價方法[J].數學的實踐與認識,2012(22):64-70.

    [23]程立諾,于學強,王寶剛.小城鎮(zhèn)人居環(huán)境質量評價方法研究[J].山東科技大學學報,2008(4):104-108.

    猜你喜歡
    基金項目績效評價山東省
    山東省交通運輸研究會正式成立
    RCEP對山東省高質量對外開放的影響
    眷 戀
    ——山東省濟寧市老年大學之歌
    常見基金項目的英文名稱(二)
    常見基金項目的英文名稱(一)
    山東省即墨市
    基于BSC的KPI績效評價體系探析
    中國商論(2016年33期)2016-03-01 01:59:53
    非營利組織績效評價體系的構建
    氣象部門財政支出績效評價初探
    基金項目
    丰满人妻一区二区三区视频av| 天天躁夜夜躁狠狠久久av| 国产人妻一区二区三区在| 国产欧美另类精品又又久久亚洲欧美| 精品国内亚洲2022精品成人| 国产av国产精品国产| 热99在线观看视频| 久久久久国产网址| 日本三级黄在线观看| 一级片'在线观看视频| 国产av码专区亚洲av| 久久久久性生活片| 国产一区二区亚洲精品在线观看| 一个人看视频在线观看www免费| 深夜a级毛片| 免费看美女性在线毛片视频| 精品国内亚洲2022精品成人| 深爱激情五月婷婷| 精品久久久久久久人妻蜜臀av| 嫩草影院入口| 日本wwww免费看| 日韩国内少妇激情av| 男人爽女人下面视频在线观看| 26uuu在线亚洲综合色| 成人美女网站在线观看视频| 国产成人福利小说| av在线蜜桃| 国产亚洲精品av在线| kizo精华| 白带黄色成豆腐渣| 亚洲精品自拍成人| 国产一区亚洲一区在线观看| 日韩成人av中文字幕在线观看| 色播亚洲综合网| 国内精品宾馆在线| 精品久久久久久成人av| 联通29元200g的流量卡| 免费看不卡的av| 国产黄片美女视频| av播播在线观看一区| 亚洲国产av新网站| 国产精品三级大全| 国产免费视频播放在线视频 | 在线免费十八禁| 国产中年淑女户外野战色| 超碰97精品在线观看| 狠狠精品人妻久久久久久综合| 内地一区二区视频在线| 天堂网av新在线| 日韩成人伦理影院| 免费观看av网站的网址| 少妇被粗大猛烈的视频| 日本wwww免费看| 黄片wwwwww| 人妻制服诱惑在线中文字幕| 中文在线观看免费www的网站| 男女那种视频在线观看| 久久久久国产网址| 国产精品一区二区性色av| 国产精品99久久久久久久久| 国内精品美女久久久久久| 亚洲精品日韩av片在线观看| 男女国产视频网站| 性色avwww在线观看| 国产精品美女特级片免费视频播放器| 中文字幕亚洲精品专区| 精品久久久噜噜| 欧美变态另类bdsm刘玥| 日韩在线高清观看一区二区三区| 插逼视频在线观看| 精华霜和精华液先用哪个| 久久99热这里只有精品18| 麻豆国产97在线/欧美| 久久人人爽人人爽人人片va| 欧美激情在线99| 日本一二三区视频观看| 国产精品一二三区在线看| 国产91av在线免费观看| kizo精华| 亚洲电影在线观看av| 亚洲国产精品sss在线观看| 国产 亚洲一区二区三区 | 国产永久视频网站| 色吧在线观看| 深爱激情五月婷婷| 久久久久网色| 中文字幕亚洲精品专区| 久久精品国产亚洲av涩爱| 午夜福利在线观看免费完整高清在| 黄色一级大片看看| 日韩人妻高清精品专区| 国产精品一区二区三区四区久久| 亚洲欧美日韩卡通动漫| 三级毛片av免费| 免费观看性生交大片5| 午夜精品在线福利| 欧美成人精品欧美一级黄| 国产成人a区在线观看| 国产成人一区二区在线| 国产乱人视频| 色吧在线观看| 少妇猛男粗大的猛烈进出视频 | 在线观看免费高清a一片| 久99久视频精品免费| 欧美日韩亚洲高清精品| 91狼人影院| 麻豆久久精品国产亚洲av| 国产精品无大码| 777米奇影视久久| 两个人视频免费观看高清| 免费黄色在线免费观看| 亚洲在线观看片| 看免费成人av毛片| 亚洲精品久久久久久婷婷小说| 亚洲欧美成人综合另类久久久| 一级二级三级毛片免费看| 国内精品宾馆在线| 日本与韩国留学比较| 久久久久久国产a免费观看| 在线观看免费高清a一片| 麻豆精品久久久久久蜜桃| 国产色爽女视频免费观看| www.av在线官网国产| 神马国产精品三级电影在线观看| 成人特级av手机在线观看| 午夜免费激情av| 久久草成人影院| 97超碰精品成人国产| 亚洲电影在线观看av| 在线观看一区二区三区| 97在线视频观看| 高清欧美精品videossex| 99久国产av精品| 欧美变态另类bdsm刘玥| 久久久久久九九精品二区国产| av免费观看日本| 国产极品天堂在线| 日韩亚洲欧美综合| 毛片一级片免费看久久久久| 国产高清有码在线观看视频| 毛片女人毛片| 亚洲成人久久爱视频| 禁无遮挡网站| 大香蕉97超碰在线| 麻豆国产97在线/欧美| 2018国产大陆天天弄谢| 爱豆传媒免费全集在线观看| 亚洲av成人av| 久久久久久久久久黄片| 爱豆传媒免费全集在线观看| av免费在线看不卡| 我的女老师完整版在线观看| 国产成人精品婷婷| 性插视频无遮挡在线免费观看| 少妇人妻精品综合一区二区| 国产综合懂色| 免费av不卡在线播放| 白带黄色成豆腐渣| 美女大奶头视频| 国产成人福利小说| 一本一本综合久久| 丝袜喷水一区| 久久久久久久久久久免费av| 寂寞人妻少妇视频99o| 最近中文字幕2019免费版| 国内揄拍国产精品人妻在线| 高清日韩中文字幕在线| 免费观看无遮挡的男女| 国产视频内射| 日韩电影二区| 一级毛片黄色毛片免费观看视频| 丰满人妻一区二区三区视频av| 亚洲欧美清纯卡通| 又黄又爽又刺激的免费视频.| 国产精品1区2区在线观看.| 成人高潮视频无遮挡免费网站| 又大又黄又爽视频免费| 亚洲精品久久午夜乱码| 久久99热6这里只有精品| 一个人看视频在线观看www免费| 国产精品综合久久久久久久免费| 日产精品乱码卡一卡2卡三| 七月丁香在线播放| 国产黄a三级三级三级人| av线在线观看网站| 午夜老司机福利剧场| 午夜老司机福利剧场| 国产亚洲精品久久久com| 国产成人aa在线观看| 国产淫片久久久久久久久| 中文乱码字字幕精品一区二区三区 | 亚洲欧美日韩无卡精品| 九色成人免费人妻av| 日本av手机在线免费观看| 天天躁日日操中文字幕| 在线免费十八禁| 直男gayav资源| 成人一区二区视频在线观看| 草草在线视频免费看| 最近中文字幕2019免费版| 亚洲怡红院男人天堂| 精品久久久久久电影网| 18禁裸乳无遮挡免费网站照片| 亚洲图色成人| 欧美最新免费一区二区三区| 99久久精品热视频| 国产亚洲av嫩草精品影院| 国产亚洲av片在线观看秒播厂 | 久久99精品国语久久久| 中国国产av一级| 在线免费观看不下载黄p国产| 免费看不卡的av| 国产精品国产三级专区第一集| 男女国产视频网站| 欧美 日韩 精品 国产| 亚洲精品一二三| kizo精华| 波野结衣二区三区在线| 亚洲美女视频黄频| 啦啦啦中文免费视频观看日本| 亚洲成人久久爱视频| 看黄色毛片网站| 亚洲精品日韩在线中文字幕| 一级毛片久久久久久久久女| 蜜桃久久精品国产亚洲av| 日韩一本色道免费dvd| 久久久久久伊人网av| 禁无遮挡网站| 精品国内亚洲2022精品成人| 免费看a级黄色片| 嫩草影院精品99| 国语对白做爰xxxⅹ性视频网站| 中文字幕人妻熟人妻熟丝袜美| 人体艺术视频欧美日本| 国产精品av视频在线免费观看| 一二三四中文在线观看免费高清| 中文字幕免费在线视频6| 波多野结衣巨乳人妻| 1000部很黄的大片| 精品久久久久久久久av| 97精品久久久久久久久久精品| 国产亚洲av片在线观看秒播厂 | 亚洲精品日韩在线中文字幕| 床上黄色一级片| 一级黄片播放器| 免费看不卡的av| 汤姆久久久久久久影院中文字幕 | 午夜福利成人在线免费观看| 男人舔奶头视频| 亚洲国产最新在线播放| 国产毛片a区久久久久| 少妇的逼好多水| 亚洲精品一区蜜桃| 日本与韩国留学比较| 男人爽女人下面视频在线观看| 亚洲经典国产精华液单| 嫩草影院新地址| 夜夜爽夜夜爽视频| 99久久精品热视频| 欧美极品一区二区三区四区| 亚洲乱码一区二区免费版| 成年人午夜在线观看视频 | 一级毛片久久久久久久久女| 联通29元200g的流量卡| 亚洲精品乱久久久久久| 精品久久久久久久久久久久久| 2021天堂中文幕一二区在线观| 国产亚洲av嫩草精品影院| 国产精品一区二区三区四区免费观看| 欧美性感艳星| 啦啦啦韩国在线观看视频| 又大又黄又爽视频免费| 一级黄片播放器| 国产精品一区二区三区四区免费观看| 色吧在线观看| 午夜爱爱视频在线播放| 九草在线视频观看| 国产欧美另类精品又又久久亚洲欧美| 三级毛片av免费| 大香蕉久久网| 久久久久久久久大av| 婷婷色综合www| 80岁老熟妇乱子伦牲交| 日本色播在线视频| 精品久久久久久久末码| 国产69精品久久久久777片| 亚洲精品中文字幕在线视频 | 国产在线男女| 久久久久久久久久成人| 国产精品一区二区性色av| eeuss影院久久| 国产成人福利小说| 最后的刺客免费高清国语| 久久精品国产亚洲网站| 久久久a久久爽久久v久久| 成人美女网站在线观看视频| 亚洲色图av天堂| av.在线天堂| 日韩av在线免费看完整版不卡| 色综合亚洲欧美另类图片| 国产黄片视频在线免费观看| 亚洲成人一二三区av| 国产黄片美女视频| av又黄又爽大尺度在线免费看| 亚洲精品第二区| 免费看光身美女| 丰满人妻一区二区三区视频av| 三级毛片av免费| 色5月婷婷丁香| av网站免费在线观看视频 | 亚洲av福利一区| 中文乱码字字幕精品一区二区三区 | 免费在线观看成人毛片| 九九爱精品视频在线观看| 免费看光身美女| 插逼视频在线观看| 成人毛片60女人毛片免费| 国产真实伦视频高清在线观看| 婷婷六月久久综合丁香| 色综合站精品国产| 亚洲精品日本国产第一区| 观看免费一级毛片| 欧美人与善性xxx| 日韩精品青青久久久久久| 亚州av有码| 亚洲高清免费不卡视频| 亚洲国产精品成人久久小说| 欧美极品一区二区三区四区| av在线亚洲专区| 国产成人一区二区在线| ponron亚洲| 国产黄a三级三级三级人| 久久久色成人| 老师上课跳d突然被开到最大视频| 日韩人妻高清精品专区| 一个人观看的视频www高清免费观看| 日韩视频在线欧美| 久久精品夜夜夜夜夜久久蜜豆| 精品一区在线观看国产| 春色校园在线视频观看| 国产成人freesex在线| av免费在线看不卡| 欧美丝袜亚洲另类| 免费无遮挡裸体视频| 97超视频在线观看视频| 超碰97精品在线观看| 欧美三级亚洲精品| 亚洲av一区综合| 中文字幕人妻熟人妻熟丝袜美| 中文字幕av成人在线电影| 日本av手机在线免费观看| 免费黄频网站在线观看国产| 亚洲av福利一区| 最后的刺客免费高清国语| 免费少妇av软件| 日韩中字成人| 亚洲av免费高清在线观看| 久久这里有精品视频免费| 亚洲精品久久久久久婷婷小说| 午夜福利在线观看吧| 免费看不卡的av| 亚洲综合色惰| 啦啦啦啦在线视频资源| 精品熟女少妇av免费看| 搡老妇女老女人老熟妇| 成人亚洲精品av一区二区| 天天一区二区日本电影三级| 国产黄a三级三级三级人| 简卡轻食公司| 国产男女超爽视频在线观看| 青春草亚洲视频在线观看| av黄色大香蕉| 日韩人妻高清精品专区| 国语对白做爰xxxⅹ性视频网站| 中国美白少妇内射xxxbb| 久久精品久久久久久噜噜老黄| 能在线免费观看的黄片| h日本视频在线播放| 亚洲精品乱久久久久久| 久热久热在线精品观看| 22中文网久久字幕| 国产精品久久视频播放| 精品少妇黑人巨大在线播放| 丰满乱子伦码专区| 国产中年淑女户外野战色| 黄色日韩在线| 91久久精品国产一区二区三区| 直男gayav资源| 久久久久久九九精品二区国产| 日本爱情动作片www.在线观看| 直男gayav资源| 菩萨蛮人人尽说江南好唐韦庄| av线在线观看网站| 午夜激情欧美在线| 国产白丝娇喘喷水9色精品| 69人妻影院| 国产成人freesex在线| 亚洲欧美日韩卡通动漫| 国产精品1区2区在线观看.| videossex国产| 在线天堂最新版资源| 亚洲精品国产av成人精品| 亚洲经典国产精华液单| 一个人免费在线观看电影| 午夜精品一区二区三区免费看| 亚洲精品视频女| 久久韩国三级中文字幕| 18+在线观看网站| 在线免费观看的www视频| 禁无遮挡网站| 赤兔流量卡办理| 色吧在线观看| 日韩欧美国产在线观看| 国产精品av视频在线免费观看| 欧美高清性xxxxhd video| 91午夜精品亚洲一区二区三区| 校园人妻丝袜中文字幕| 成人一区二区视频在线观看| 97超视频在线观看视频| 午夜福利成人在线免费观看| av免费观看日本| 免费在线观看成人毛片| 国内少妇人妻偷人精品xxx网站| 国语对白做爰xxxⅹ性视频网站| 成人高潮视频无遮挡免费网站| 青青草视频在线视频观看| 亚洲在线观看片| 又大又黄又爽视频免费| 男插女下体视频免费在线播放| 赤兔流量卡办理| 亚州av有码| 国产欧美日韩精品一区二区| 18禁在线播放成人免费| 网址你懂的国产日韩在线| 午夜免费激情av| 亚洲精品aⅴ在线观看| 亚洲人与动物交配视频| 亚洲成人中文字幕在线播放| 中文字幕人妻熟人妻熟丝袜美| 欧美精品国产亚洲| 久久久久免费精品人妻一区二区| 成人午夜高清在线视频| 国产老妇女一区| 成年人午夜在线观看视频 | 视频中文字幕在线观看| 免费av不卡在线播放| 午夜精品在线福利| 亚洲精品视频女| 免费看日本二区| 日韩精品有码人妻一区| 丝袜喷水一区| 日韩强制内射视频| 国产成人精品福利久久| 亚洲av免费高清在线观看| 亚洲精品亚洲一区二区| 午夜福利成人在线免费观看| 亚洲自偷自拍三级| 国产午夜精品一二区理论片| 一夜夜www| 色网站视频免费| 国产精品久久久久久精品电影小说 | 国产一区有黄有色的免费视频 | 亚洲在线观看片| 91久久精品国产一区二区三区| 天天一区二区日本电影三级| 日本一二三区视频观看| 2022亚洲国产成人精品| 高清毛片免费看| 国产亚洲91精品色在线| 久久亚洲国产成人精品v| 色播亚洲综合网| 免费观看的影片在线观看| 成人欧美大片| 午夜亚洲福利在线播放| 欧美区成人在线视频| 精品一区二区三区视频在线| 日韩欧美精品v在线| 尤物成人国产欧美一区二区三区| 日韩av免费高清视频| 国产伦在线观看视频一区| 亚洲国产精品成人综合色| 永久网站在线| 韩国av在线不卡| 日韩不卡一区二区三区视频在线| 成人美女网站在线观看视频| 激情 狠狠 欧美| av在线亚洲专区| 国产免费视频播放在线视频 | 非洲黑人性xxxx精品又粗又长| 精品人妻偷拍中文字幕| 狂野欧美白嫩少妇大欣赏| 91aial.com中文字幕在线观看| 色尼玛亚洲综合影院| 亚洲精品日韩在线中文字幕| 国产精品国产三级国产专区5o| 午夜福利高清视频| 极品教师在线视频| 亚洲熟妇中文字幕五十中出| 内射极品少妇av片p| av国产久精品久网站免费入址| 国内少妇人妻偷人精品xxx网站| 99久国产av精品| 国产一区亚洲一区在线观看| kizo精华| 一级毛片我不卡| 国产乱人视频| 高清毛片免费看| 麻豆国产97在线/欧美| 成人高潮视频无遮挡免费网站| 99久国产av精品国产电影| 国产三级在线视频| 国产 一区 欧美 日韩| a级毛片免费高清观看在线播放| 99久久九九国产精品国产免费| 精品一区二区三区视频在线| 3wmmmm亚洲av在线观看| 精品国内亚洲2022精品成人| 久久97久久精品| 精品久久久精品久久久| 亚洲精品亚洲一区二区| 亚洲av在线观看美女高潮| 少妇的逼好多水| 日韩,欧美,国产一区二区三区| 午夜精品在线福利| 国产极品天堂在线| videos熟女内射| xxx大片免费视频| 一个人看视频在线观看www免费| 高清欧美精品videossex| 日本与韩国留学比较| 最近最新中文字幕大全电影3| 淫秽高清视频在线观看| 国产老妇女一区| 国产乱来视频区| 亚洲怡红院男人天堂| 午夜免费男女啪啪视频观看| av国产久精品久网站免费入址| 婷婷色麻豆天堂久久| 亚洲不卡免费看| 一级a做视频免费观看| 白带黄色成豆腐渣| 久久精品夜色国产| 免费播放大片免费观看视频在线观看| 国产淫语在线视频| 两个人视频免费观看高清| 两个人的视频大全免费| 极品教师在线视频| 一级a做视频免费观看| 网址你懂的国产日韩在线| 最近的中文字幕免费完整| 成人国产麻豆网| 可以在线观看毛片的网站| 免费观看无遮挡的男女| 男女啪啪激烈高潮av片| 日本三级黄在线观看| 日韩强制内射视频| 国产精品久久久久久久电影| 男人狂女人下面高潮的视频| 一级片'在线观看视频| 色综合色国产| 亚洲精品成人av观看孕妇| av免费在线看不卡| 久久精品国产亚洲av涩爱| 精品一区二区三区视频在线| 成人国产麻豆网| 免费av观看视频| 婷婷色综合www| 免费观看a级毛片全部| 亚洲丝袜综合中文字幕| 六月丁香七月| 2022亚洲国产成人精品| 国产一区有黄有色的免费视频 | 午夜视频国产福利| 日韩欧美精品免费久久| 亚洲欧美日韩无卡精品| 欧美潮喷喷水| 毛片一级片免费看久久久久| 日产精品乱码卡一卡2卡三| 久久久久久久亚洲中文字幕| 天美传媒精品一区二区| 久久久久久九九精品二区国产| 亚洲精品一区蜜桃| 综合色丁香网| 午夜福利高清视频| 日韩欧美国产在线观看| 一夜夜www| 三级国产精品欧美在线观看| 欧美极品一区二区三区四区| 国产精品爽爽va在线观看网站| 大陆偷拍与自拍| 久久草成人影院| 国产精品日韩av在线免费观看| 国产精品一区二区在线观看99 | .国产精品久久| 免费在线观看成人毛片| 最近最新中文字幕免费大全7| 亚洲最大成人中文| 人妻少妇偷人精品九色| 亚洲av.av天堂| 亚洲最大成人中文| 国产成人aa在线观看| 最近最新中文字幕免费大全7| 99re6热这里在线精品视频| 国产片特级美女逼逼视频| 日韩制服骚丝袜av| 免费av观看视频| 婷婷色综合www| 久久99蜜桃精品久久| 中文字幕人妻熟人妻熟丝袜美| 最近中文字幕高清免费大全6| 成人毛片a级毛片在线播放| 别揉我奶头 嗯啊视频| 视频中文字幕在线观看| 日韩一本色道免费dvd| 国产高清三级在线|