• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    學(xué)術(shù)會議質(zhì)量評價方法文獻綜述與研究展望

    2022-05-05 00:02:44耿祎楠吳杰郭詩園李彤
    學(xué)會 2022年4期
    關(guān)鍵詞:學(xué)術(shù)會議會議論文

    耿祎楠 吳杰 郭詩園 李彤

    [摘要]學(xué)術(shù)會議是學(xué)術(shù)交流的重要方式,具有推動學(xué)科發(fā)展、促進知識共享和轉(zhuǎn)化等功能。對學(xué)術(shù)會議質(zhì)量進行評價能夠歸納高質(zhì)量會議的特征和經(jīng)驗,為科技工作者提供必要的參會指引。該文系統(tǒng)梳理了學(xué)術(shù)會議質(zhì)量評價方法相關(guān)研究文獻,將學(xué)術(shù)會議質(zhì)量評價方法分為基于文獻計量學(xué)指標(biāo)、基于多指標(biāo)綜合性的評價方法和基于組織管理學(xué)理論模型的評價三類,分析了各類評價方法的特征,并提出了研究展望:一是在相同學(xué)科條件下形成統(tǒng)一的學(xué)術(shù)會議質(zhì)量評價體系;二是將科技成果轉(zhuǎn)化作為重要維度納入學(xué)術(shù)會議質(zhì)量評價體系;三是積極開展學(xué)術(shù)會議質(zhì)量評價的實證研究;四是采用定性與定量相結(jié)合的方式對學(xué)術(shù)會議質(zhì)量進行評價。

    [關(guān)鍵詞]學(xué)術(shù)會議會議質(zhì)量評價文獻計量學(xué)

    [中圖分類號]N94516[文獻標(biāo)識碼]A[文章編號]10019596(2022)040026-05

    一、引言

    當(dāng)前,對于學(xué)術(shù)會議質(zhì)量的評價引起了社會各界的廣泛關(guān)注。對于參會者來說,在一個高質(zhì)量的會議上發(fā)表論文可以作為論文質(zhì)量和潛在影響的標(biāo)志。隨著科技發(fā)展和社會進步,我國各領(lǐng)域的學(xué)術(shù)會議數(shù)量逐漸增多。《中國科協(xié)全國學(xué)會發(fā)展報告(2020)》顯示,2019年全國學(xué)會組織的國內(nèi)學(xué)術(shù)會議4362場,參會人數(shù)達到170萬人次。為了給廣大師生和科技工作者提供參會指引,不少大學(xué)和社會組織都推出了針對學(xué)科領(lǐng)域的學(xué)術(shù)會議推薦目錄。學(xué)術(shù)界對學(xué)術(shù)會議質(zhì)量評價方法的探索和實踐研究也越來越多。

    目前學(xué)界對于學(xué)術(shù)會議質(zhì)量評價方法的研究主要分為計算機科學(xué)領(lǐng)域?qū)W術(shù)會議評價和基于多學(xué)科的綜合性學(xué)術(shù)會議的評價這兩種思路。計算機學(xué)科領(lǐng)域的學(xué)術(shù)會議質(zhì)量評價以文獻計量學(xué)指標(biāo)為主,以論文的質(zhì)量反映會議總體的質(zhì)量?;诙鄬W(xué)科的綜合性學(xué)術(shù)會議質(zhì)量評價研究從不同的維度和視角出發(fā),構(gòu)建了各類評價指標(biāo)框架和體系,但都尚未形成統(tǒng)一的學(xué)術(shù)會議質(zhì)量評價體系。

    本文通過對近年來國內(nèi)外學(xué)者對學(xué)術(shù)會議質(zhì)量評價方法相關(guān)文獻進行梳理,將學(xué)術(shù)會議質(zhì)量評價方法分為基于文獻計量學(xué)指標(biāo)的評價、基于多指標(biāo)綜合性學(xué)術(shù)會議指標(biāo)評價和基于組織管理學(xué)理論模型的方法等三種類型,詳細(xì)剖析了每一類學(xué)術(shù)會議質(zhì)量評價方法的特征,識別了研究中存在的優(yōu)勢和不足,最后對學(xué)術(shù)會議質(zhì)量評價方法研究提出了意見和建議。

    二、基于文獻計量學(xué)指標(biāo)的學(xué)術(shù)會議質(zhì)量評價方法

    此類評價方法多集中于計算機科學(xué)和人工智能相關(guān)領(lǐng)域。由于該領(lǐng)域發(fā)展迅速,為了更短的傳播周期,該領(lǐng)域很多成果都是通過會議論文的形式發(fā)表,會議論文與期刊論文的比例為249篇[1]。因此該領(lǐng)域中會議論文的文獻計量指標(biāo)可有效反映會議的質(zhì)量、聲譽和影響力水平。此類方法中主要應(yīng)用的文獻計量學(xué)指標(biāo)有論文接受率(Paper Acceptance Ratio,AR)、論文引用率(Citations Frequencies,CF)、論文影響力(PImpact)、同儕聲望(Peer Reputation,PR)、H指數(shù)(H|index)和G指數(shù)等。XUEHUI學(xué)會2022年第4期2022年第4期學(xué)術(shù)會議質(zhì)量評價方法文獻綜述與研究展望XUEHUI

    論文接受率(AR)指的是收錄論文的數(shù)量與論文投稿總量之比,AR值越低,說明學(xué)術(shù)會議的質(zhì)量越高,該指標(biāo)已成為衡量學(xué)術(shù)會議質(zhì)量的普遍性指標(biāo)。但有研究發(fā)現(xiàn),由于作者自過濾或缺乏嚴(yán)格的審稿過程等原因,經(jīng)常存在AR值低的學(xué)術(shù)會議比AR值高的被引次數(shù)少的情況[2]。論文引用率(CF)是指科學(xué)論文對文獻的引用次數(shù),會議論文引用率是衡量一個會議影響力的重要依據(jù)。Martins等基于會議論文的引用率提出了會議影響因子(CIF)、會議引文影響(CCI)等作為文獻計量指標(biāo)來評價學(xué)術(shù)會議的質(zhì)量[3]。但也有研究表明,許多引用至少要追溯到5年前[4]。由于會議規(guī)模不同,不同會議的被引量或相同會議不同年份的被引量不能直接比較,在進行會議評價時經(jīng)常將引文數(shù)量進行歸一化處理產(chǎn)生的論文影響力[5](PImpact)來進行評價。由于AR值的缺陷和論文引用率對于時間的要求,Nelakuditi等提出了利用論文第一作者的機構(gòu)在各類大學(xué)/機構(gòu)排行榜中的位置的同儕聲望值(PR)來評價學(xué)術(shù)會議的質(zhì)量的方法[6]。具體來說,PR<1/3,20>則表示會議中1/3的論文來自于排名前20%的大學(xué)。PR對AR作出了改進,但也存在僅針對美國大學(xué)排名進行研究和僅考慮第一作者所在機構(gòu)等問題。此外,也有學(xué)者探索了利用H指數(shù)[7]、G指數(shù)[8]評估學(xué)術(shù)會議的質(zhì)量并進行了實踐驗證。這些指標(biāo)的提出豐富了以文獻計量學(xué)為基礎(chǔ)的學(xué)術(shù)會議質(zhì)量評價的指標(biāo)與方法,但也存在僅利用一類指標(biāo)進行質(zhì)量評價結(jié)果過于單一和因會議樣本量少而存在偶然性的問題。因此不少學(xué)者提出綜合利用各類文獻計量學(xué)指標(biāo)構(gòu)建評價體系,對學(xué)術(shù)會議進行分檔評級或排序。

    Küngas等提出了一種會議論文的踴躍程度與過往會議論文引用量相結(jié)合的計算機學(xué)科學(xué)術(shù)會議質(zhì)量評價方法[9]。Loizides等基于12個計算機科學(xué)領(lǐng)域3000篇論文數(shù)據(jù),提出了一種綜合考慮PR值、論文影響力和作者H指數(shù)的學(xué)術(shù)會議分類方法(CCA)[10]。張洋等通過PR值、H-index、Plmpact、零被引率等四類7個指標(biāo)的綜合,應(yīng)用TOPSIS模型建立了學(xué)術(shù)會議質(zhì)量動態(tài)評價方法[11]。此外,不少機構(gòu)也嘗試構(gòu)建基于文獻計量指標(biāo)的學(xué)術(shù)會議評價指標(biāo)體系,并對學(xué)術(shù)會議進行分檔評級或排序。解決了單一指標(biāo)對于會議評價的客觀影響問題,更全面真實地反映了學(xué)術(shù)會議的質(zhì)量。

    文獻計量學(xué)指標(biāo)評價方法可以客觀、定量地衡量學(xué)術(shù)會議的質(zhì)量。其局限在于僅用反映論文水平的文獻計量學(xué)指標(biāo)來評估會議的質(zhì)量。但學(xué)術(shù)會議質(zhì)量的評價并非文獻計量的產(chǎn)出、交流過程以及會務(wù)組織情況等個別、零散方面可完整表征。對于學(xué)術(shù)會議質(zhì)量的評價應(yīng)更加全面和綜合。

    三、基于多指標(biāo)的綜合性評價方法

    這一類評價方法試圖通過歸納、分析學(xué)術(shù)會議的核心環(huán)節(jié)和關(guān)鍵要素,進而構(gòu)建復(fù)雜、完整的適用于多學(xué)科的綜合性學(xué)術(shù)會議質(zhì)量評價體系,主要分為以下三類。

    (一)基于會議全流程的多指標(biāo)綜合評價方法

    此類方法認(rèn)為,對于學(xué)術(shù)會議的評價應(yīng)貫穿于會議提出、準(zhǔn)備、進行和結(jié)束的全過程,體現(xiàn)在會前、會中、會后等各個方面。一些學(xué)者通過學(xué)術(shù)會議的特征分析以及不同階段的要點,構(gòu)建了與學(xué)術(shù)會議完整過程相適應(yīng)的多指標(biāo)綜合性學(xué)術(shù)會議質(zhì)量評價體系,認(rèn)為學(xué)術(shù)會議發(fā)生階段反映了會議主題設(shè)置的水平,準(zhǔn)備階段反映了論文總體水平,進行階段反映了會議交流研討水平和會務(wù)水平,會后反映了綜合效益和與會者反響[12-14]。此類方法多是依靠辦會經(jīng)驗和對會議發(fā)生過程中的各類影響要素進行歸納總結(jié),構(gòu)建初步的學(xué)術(shù)會議質(zhì)量評價體系框架,存在評價結(jié)果受評價者主觀意愿影響大、指標(biāo)的合理性和內(nèi)在邏輯性需要進一步驗證、缺少實證研究等問題。

    (二)基于學(xué)術(shù)影響力的多指標(biāo)綜合評價方法

    此類方法關(guān)注學(xué)術(shù)會議的學(xué)術(shù)性內(nèi)涵,根據(jù)學(xué)術(shù)影響力的生成階段、擴散階段和傳播階段來構(gòu)建多指標(biāo)評價體系。唐家蕙等基于學(xué)術(shù)性影響力生成的過程性測度、結(jié)果性測度和影響性測度等構(gòu)建了學(xué)術(shù)會議質(zhì)量綜合評價基本框架[15]。也有學(xué)者提出了學(xué)術(shù)會議質(zhì)量評價要兼顧遠期效益影響,關(guān)注參會者會后是否會將在會議上學(xué)到的新知識應(yīng)用到實際中去[16]。2017年,中國科協(xié)立足學(xué)術(shù)會議“學(xué)術(shù)性”本質(zhì)特征,構(gòu)建了以學(xué)術(shù)吸引力、交流互動力和成果傳播力為一級測度的學(xué)術(shù)會議質(zhì)量評估指標(biāo)體系,并設(shè)立了特邀報告人學(xué)術(shù)水平、會議論文/摘要的接受率、學(xué)術(shù)成果的表現(xiàn)形式等10個二級指標(biāo)[17]。此類方法把握了學(xué)術(shù)會議的本質(zhì)特征,但未考慮到會議組織流程等方面的評價。

    (三)基于全維度的多指標(biāo)綜合評價方法

    此類方法致力于對會議形成綜合評價,全面、系統(tǒng)地反映學(xué)術(shù)會議的質(zhì)量。孫澤厚等由表及里、由淺入深地分析了影響學(xué)術(shù)會議質(zhì)量的要素指標(biāo)。將學(xué)術(shù)會議質(zhì)量評價為學(xué)術(shù)、交流、會議三個構(gòu)面,形成包括辦會動機、會議主題、會議論文、會議人員、會議氛圍、會議組織形式及流程、參會成本、會議組織等8個維度的學(xué)術(shù)會議質(zhì)量評價體系[18]。游媛通過對以往學(xué)術(shù)會議質(zhì)量評價指標(biāo)的總結(jié)歸納,設(shè)計了包括組織、交流、學(xué)術(shù)、成果、影響五個層面的學(xué)術(shù)會議質(zhì)量交流評價指標(biāo)體系[19]。此類評價體系較為全面地反映了學(xué)術(shù)會議質(zhì)量的各個方面,但評價結(jié)果過于依賴參會者主觀認(rèn)識。

    此類評價方法形成了關(guān)于學(xué)術(shù)會議學(xué)術(shù)影響、研討交流和會議組織等基本評價指標(biāo)的共識,對于評價指標(biāo)體系的實操驗證和實踐應(yīng)用則需要進一步探討。

    四、基于組織管理學(xué)理論模型的評價方法

    在此類方法中,學(xué)者從不同視角如參會代表滿意度、會議利益相關(guān)者目標(biāo)以及新組織結(jié)構(gòu)等出發(fā),對學(xué)術(shù)會議的內(nèi)涵做出了新的解讀,并通過借鑒組織管理學(xué)中顧客滿意度指數(shù)模式、平衡計分卡、差距分析等模型,結(jié)合學(xué)術(shù)會議本身特點的基礎(chǔ),對模型作出改進,形成了學(xué)術(shù)會議質(zhì)量評價框架和方法。

    例如,李新杰等將學(xué)術(shù)會議看作為參會者提供服務(wù)的過程,基于與會代表滿意度對學(xué)術(shù)會議質(zhì)量進行評價,借鑒顧客滿意度指數(shù)(ACSI)模型構(gòu)建與會代表滿意度模型,將參會者對整體會議質(zhì)量、會議主題、學(xué)術(shù)論文遴選和會議組織過程等的感知作為與會代表滿意度評價指標(biāo),探索了與會代表滿意度與感知期望、感知質(zhì)量、感知價值變量之間的關(guān)系[20]。中國科協(xié)課題組從服務(wù)質(zhì)量管理的角度出發(fā),將學(xué)術(shù)會議質(zhì)量感知分為總體感知、主要維度感知和亞維度感知三個層次,并借鑒“差距分析理論”構(gòu)建了學(xué)術(shù)會議質(zhì)量評價“差距分析”模型[21]。肖建華從目標(biāo)管理的角度出發(fā),借鑒平衡計分卡模型,通過總結(jié)梳理學(xué)術(shù)會議不同利益相關(guān)者的目標(biāo),形成了包含學(xué)術(shù)會議目標(biāo)層、用戶層、流程層三個維度共40項指標(biāo)的學(xué)術(shù)會議評價指標(biāo)框架,為統(tǒng)一各類學(xué)術(shù)會議效果評價標(biāo)準(zhǔn)提供了一個新思路[22]。鄭毅將學(xué)術(shù)會議看作一類組織,從新組織結(jié)構(gòu)學(xué)派視角出發(fā),明確了學(xué)術(shù)會議的組織結(jié)構(gòu)模塊及分工特征,厘清了學(xué)術(shù)會議組織的績效內(nèi)涵及組織績效的生成步驟,形成了學(xué)術(shù)會議績效評價管理框架,為會議要素在交互過程中有效支撐學(xué)術(shù)會議目標(biāo)的達成提供了指導(dǎo)[23]。

    將組織管理學(xué)的理論方法模型引入學(xué)術(shù)會議評價管理研究中,豐富了學(xué)術(shù)會議質(zhì)量評價體系和方法,為解決學(xué)術(shù)會議質(zhì)量評價研究提供了新思路和方法。但也存在相互獨立,不能形成統(tǒng)一的學(xué)術(shù)會議質(zhì)量評價體系的問題。此外,此類方法僅提出了學(xué)術(shù)會議質(zhì)量評價的框架,對評價框架的實證和實踐應(yīng)用還需要進一步探討。五、研究展望

    整體來看,目前關(guān)于學(xué)術(shù)會議質(zhì)量評價方法的研究還存在以下問題:一是尚未形成統(tǒng)一的學(xué)術(shù)會議質(zhì)量評價體系。學(xué)界對學(xué)術(shù)會議評價的內(nèi)涵、過程、特征等并未形成一致的認(rèn)知,在特定學(xué)科領(lǐng)域沒有形成統(tǒng)一的、被廣泛認(rèn)可的評價方法體系。二是并未將科技成果轉(zhuǎn)化作為一項重點指標(biāo)納入學(xué)術(shù)會議質(zhì)量評價體系。三是對學(xué)術(shù)會議評價方法體系的實證研究較少。大多數(shù)研究致力于學(xué)術(shù)會議質(zhì)量評價方法體系的構(gòu)建,僅有少數(shù)學(xué)者利用層次分析法、模糊集合理論等對評價指標(biāo)體系進行驗證和權(quán)重賦值[19,24]。四是定性與定量相互分離。計算機科學(xué)領(lǐng)域的學(xué)術(shù)會議質(zhì)量評價以定量為主,其他學(xué)科領(lǐng)域以定性為主。

    基于本文分析,提出以下研究展望。

    一是在不同的學(xué)科領(lǐng)域內(nèi)形成相應(yīng)的學(xué)術(shù)會議質(zhì)量評價體系。學(xué)術(shù)會議質(zhì)量的評估評價只有在相同學(xué)科條件下進行才有意義[25]。目前,學(xué)界對學(xué)術(shù)會議質(zhì)量評價維度的劃分和指標(biāo)選取建立了基本共識,但在相同的學(xué)科領(lǐng)域內(nèi),學(xué)術(shù)會議質(zhì)量評價框架體系的構(gòu)建和測量方法并不統(tǒng)一。這也導(dǎo)致通過不同的方法對學(xué)術(shù)會議進行評價結(jié)果不一致的問題,容易對參會者形成困擾。在相同學(xué)科條件下形成統(tǒng)一的學(xué)術(shù)會議質(zhì)量評價體系有利于對學(xué)術(shù)會議質(zhì)量形成統(tǒng)一評估,為廣大科技工作者提供指引。

    二是將科技成果轉(zhuǎn)化作為重要的學(xué)術(shù)會議質(zhì)量評價維度??萍汲晒D(zhuǎn)化對于創(chuàng)新驅(qū)動發(fā)展具有重要作用。學(xué)術(shù)會議作為展示學(xué)術(shù)科研成果的重要平臺,為學(xué)術(shù)界和產(chǎn)業(yè)界搭建了科技成果轉(zhuǎn)化的橋梁。雖已有研究提出成果轉(zhuǎn)化率作為學(xué)術(shù)會議影響力的指標(biāo)[19],但僅作為影響力維度之一,其重要性并未充分體現(xiàn)。此外,對于這一指標(biāo)的內(nèi)涵的論證以及具體測量還需進一步探討。

    三是積極探索學(xué)術(shù)會議質(zhì)量評價的實證研究。加強對學(xué)術(shù)會議質(zhì)量評價框架的實證檢驗,對學(xué)術(shù)會議質(zhì)量評估結(jié)果與權(quán)威排行的重合率以及是否符合科技工作者預(yù)期進行驗證;探索學(xué)術(shù)會議質(zhì)量評價方法實踐研究,分析我國學(xué)術(shù)會議存在的問題,助力學(xué)術(shù)會議質(zhì)量提升。

    四是采用定性與定量相結(jié)合的方式開展學(xué)術(shù)會議質(zhì)量評價。計算機科學(xué)領(lǐng)域的學(xué)術(shù)會議質(zhì)量評價方法以文獻計量指標(biāo)為基礎(chǔ),以定量為主。其他學(xué)科領(lǐng)域?qū)W術(shù)會議質(zhì)量評價多以問卷調(diào)查形式開展,以定性為主。兩類方式應(yīng)相互借鑒,尤其是基于多指標(biāo)綜合性評價和借鑒組織管理學(xué)模型所構(gòu)建的評價框架體系中,針對會議論文質(zhì)量的評價多引入文獻計量學(xué)指標(biāo),形成定量和定性評價相結(jié)合的評價方式,從而更加客觀地評價學(xué)術(shù)會議整體質(zhì)量。

    參考文獻

    [1]LAENDER A H F,LUCENA C J P D,MALDONADO J C,et al.Assessing the research and education quality of the top Brazilian Computer Science graduate programs[J].Acm Sigcse Bulletin,2008,40(2):135-145.

    [2]CHEN J,KONSTAN J A.Conference paper selectivity and impact[J].Communications of the Acm,2015,53(6):79-83.

    [3]MARTINS W S,MARCOS ANDR GONALVES,LAENDER A H F,et al.Assessing the quality of scientific conferences based on bibliographic citations[J].Scientometrics,2010, 83(1):133-155.

    [4]RAHM E,THOR A.Citation analysis of database publications[J].Acm Sigmod Record, 2005,34(4):48-53.

    [5]張洋,葉月.基于多指標(biāo)的學(xué)術(shù)會議動態(tài)評價研究[J].數(shù)字圖書館論壇,2018(7):37-44.

    [6]NELAKUDITI S,GRAY C,CHOUDHURY R R.Snap judgement of publication quality:how to convince a dean that you are a good researcher[J].Acm Sigmobile Mobile Computing & Communications Review,2011,15(2):20-23.

    [7]王倩.h指數(shù)及其衍生指數(shù)在評價學(xué)術(shù)會議中的應(yīng)用研究[J].科技情報開發(fā)與經(jīng)濟, 2015(15):135-139.

    [8]EGGHE L.Theory and practice of the g-index[J].Scientometrics, 2006, 69(1).131-152

    [9]PEEP KNGAS,KARUS S,VAKULENKO S,et al.Reverse-engineering conference rankings: what does it take to make a reputable conference?[J].Scientometrics, 2013, 96(2).651-665.

    [10]LOIZIDES O S,KOUTSAKIS P.On evaluating the quality of a computer science/computer engineering conference[J].Journal of Informetrics, 2017, 11(2):541-552.

    [11]張洋,葉月.基于多指標(biāo)的學(xué)術(shù)會議動態(tài)評價研究[J].數(shù)字圖書館論壇,2018(7):37-44.

    [12]劉國衛(wèi).學(xué)術(shù)會議質(zhì)量評價探討[J].科學(xué)學(xué)與科學(xué)技術(shù)管理,1991(4):23-25.

    [13]楊文志.論多學(xué)科綜合性學(xué)術(shù)會議的質(zhì)量評價[J].學(xué)會,1992(Z1):79-82.

    [14]楊民,畢小敬.學(xué)術(shù)會議質(zhì)量評估方法的可行性[J].中國現(xiàn)代醫(yī)學(xué)雜志,1994(4):74-75.

    [15]唐家蕙,李曉軒,鄭毅,等.學(xué)術(shù)會議質(zhì)量綜合評價研究及實踐[J].科技導(dǎo)報,2021,39(17):106-114.

    [16]馬敬安.探索和建立學(xué)術(shù)會議的質(zhì)量評估體系[J].學(xué)會,1996(9):13.

    [17]學(xué)術(shù)會議質(zhì)量評估報告(2017)[M].北京:中國科協(xié),2018.

    [18]《學(xué)術(shù)會議質(zhì)量國內(nèi)外比較研究》課題組.學(xué)術(shù)會議質(zhì)量國內(nèi)外比較研究[C]//學(xué)術(shù)交流質(zhì)量與科技研發(fā)創(chuàng)新研究,2009:10,12-105.

    [19]游媛.學(xué)術(shù)交流質(zhì)量評價指標(biāo)體系的構(gòu)建研究[D].重慶:重慶大學(xué),2012.

    [20]李新杰.基于改進的ACSI模型的學(xué)術(shù)會議質(zhì)量評價實證研究[J].中原工學(xué)院學(xué)報,2017,28(2):66-72.

    [21]中國科學(xué)技術(shù)協(xié)會學(xué)會學(xué)術(shù)部.學(xué)術(shù)會議過程與使用語言研究[M].中國科學(xué)技術(shù)出版社,2008.

    [22]肖建華,霍國慶,董帥,等.基于平衡計分卡的學(xué)術(shù)會議效果評價指標(biāo)體系研究[J].科學(xué)學(xué)與科學(xué)技術(shù)管理,2009,30(12):48-54.

    [23]鄭毅,劉文斌,宋澤寧.組織結(jié)構(gòu)視角下我國學(xué)術(shù)會議績效評價管理研究[J].科研管理,2020,41(3):194-204.

    [24]向河,沈賀.基于層次分析法的學(xué)術(shù)交流質(zhì)量評估與機制創(chuàng)新研究[C]//中國科協(xié)學(xué)術(shù)交流理論研討會,2008:181-192.

    [25]孫樂民,謝永強,施燕斌.用ISTP統(tǒng)計評估國際學(xué)術(shù)會議的等級[J].高校圖書館工作,2008(5):44-45.

    猜你喜歡
    學(xué)術(shù)會議會議論文
    《八七會議》
    黨員文摘(2022年15期)2022-08-04 09:15:52
    會議通知
    會議通知
    關(guān)于召開第18屆24省(市、自治區(qū))4市鑄造學(xué)術(shù)會議的(第一輪)通知
    ISO/TC8/SC8 期間會議在滬召開
    學(xué)術(shù)會議通訊
    廣州文博(2016年0期)2016-02-27 12:49:26
    下期論文摘要預(yù)登
    下期論文摘要預(yù)登
    下期論文摘要預(yù)登
    2013年5—12月最佳論文
    新聞前哨(2014年1期)2014-03-12 22:10:06
    久久婷婷成人综合色麻豆| 草草在线视频免费看| 国产在线观看jvid| 日韩 欧美 亚洲 中文字幕| 免费电影在线观看免费观看| 宅男免费午夜| 我要搜黄色片| 一边摸一边抽搐一进一小说| 精品欧美国产一区二区三| 毛片女人毛片| 中出人妻视频一区二区| 最近最新中文字幕大全电影3| 午夜精品一区二区三区免费看| 男男h啪啪无遮挡| 人妻丰满熟妇av一区二区三区| 岛国在线免费视频观看| 亚洲av成人av| 国产精品自产拍在线观看55亚洲| 久久精品综合一区二区三区| 色哟哟哟哟哟哟| 成人高潮视频无遮挡免费网站| 在线观看免费视频日本深夜| 9191精品国产免费久久| xxx96com| 久久精品91无色码中文字幕| 欧美绝顶高潮抽搐喷水| 又黄又爽又免费观看的视频| www.自偷自拍.com| 欧美日本亚洲视频在线播放| 国产精品香港三级国产av潘金莲| 欧美性猛交╳xxx乱大交人| 久久精品成人免费网站| 制服诱惑二区| 男插女下体视频免费在线播放| 免费观看人在逋| 麻豆国产97在线/欧美 | 久久亚洲真实| 大型av网站在线播放| 国产精品久久视频播放| 久久久久国内视频| 久久久久国内视频| 国产成人一区二区三区免费视频网站| 操出白浆在线播放| 亚洲欧美日韩高清专用| 国产日本99.免费观看| 丰满人妻熟妇乱又伦精品不卡| 国产成人精品久久二区二区免费| 亚洲专区字幕在线| 国产三级中文精品| 亚洲人成77777在线视频| 日本一区二区免费在线视频| 黄色a级毛片大全视频| 丁香六月欧美| 波多野结衣高清无吗| 在线视频色国产色| 国内毛片毛片毛片毛片毛片| 亚洲av电影不卡..在线观看| 亚洲精品一卡2卡三卡4卡5卡| 日韩 欧美 亚洲 中文字幕| 亚洲一码二码三码区别大吗| 黄色丝袜av网址大全| 黄色成人免费大全| 波多野结衣高清作品| 午夜福利视频1000在线观看| 国产精品电影一区二区三区| 国产高清视频在线播放一区| 听说在线观看完整版免费高清| 制服诱惑二区| 制服诱惑二区| 99re在线观看精品视频| 精华霜和精华液先用哪个| 国产欧美日韩一区二区三| 丰满人妻一区二区三区视频av | 人人妻人人澡欧美一区二区| 嫩草影视91久久| 日韩欧美精品v在线| 一区福利在线观看| 亚洲激情在线av| 老汉色av国产亚洲站长工具| 变态另类丝袜制服| 欧美日韩亚洲综合一区二区三区_| 1024视频免费在线观看| av福利片在线| 国产激情偷乱视频一区二区| 国产野战对白在线观看| 精品国产乱码久久久久久男人| 首页视频小说图片口味搜索| 欧美乱色亚洲激情| 天天躁狠狠躁夜夜躁狠狠躁| 18禁裸乳无遮挡免费网站照片| 天堂影院成人在线观看| 日韩欧美 国产精品| 麻豆国产97在线/欧美 | 国产精品综合久久久久久久免费| 叶爱在线成人免费视频播放| 老司机福利观看| 国产精品98久久久久久宅男小说| 十八禁网站免费在线| 亚洲欧美日韩高清专用| 欧美乱色亚洲激情| 午夜福利欧美成人| 日韩高清综合在线| 国产精品野战在线观看| 国产精品久久久av美女十八| www.www免费av| 欧洲精品卡2卡3卡4卡5卡区| 国产精品电影一区二区三区| 亚洲精品一卡2卡三卡4卡5卡| 欧美av亚洲av综合av国产av| 99在线人妻在线中文字幕| 99国产精品一区二区蜜桃av| 国产aⅴ精品一区二区三区波| 精品国产超薄肉色丝袜足j| 天堂动漫精品| 国产区一区二久久| av福利片在线观看| 国产一区二区激情短视频| 热99re8久久精品国产| 亚洲成av人片在线播放无| 少妇人妻一区二区三区视频| 十八禁人妻一区二区| 99热这里只有是精品50| 男女午夜视频在线观看| 亚洲精华国产精华精| 亚洲天堂国产精品一区在线| 精品一区二区三区视频在线观看免费| 国产精品自产拍在线观看55亚洲| 精品久久久久久久久久久久久| 亚洲 欧美 日韩 在线 免费| 天天添夜夜摸| 成年女人毛片免费观看观看9| 亚洲午夜精品一区,二区,三区| 少妇人妻一区二区三区视频| 日韩三级视频一区二区三区| 69av精品久久久久久| 欧美成狂野欧美在线观看| 一进一出抽搐动态| 一卡2卡三卡四卡精品乱码亚洲| 好看av亚洲va欧美ⅴa在| 国产精品综合久久久久久久免费| 日韩av在线大香蕉| 国内精品久久久久精免费| 亚洲专区中文字幕在线| a级毛片在线看网站| 九色国产91popny在线| 18禁观看日本| 亚洲国产精品成人综合色| 正在播放国产对白刺激| 久久欧美精品欧美久久欧美| 一夜夜www| svipshipincom国产片| 亚洲中文字幕日韩| or卡值多少钱| 观看免费一级毛片| 国产野战对白在线观看| 精品久久久久久久末码| 亚洲欧美日韩高清在线视频| 丁香欧美五月| 1024视频免费在线观看| 日日摸夜夜添夜夜添小说| 最好的美女福利视频网| 给我免费播放毛片高清在线观看| 亚洲自偷自拍图片 自拍| 两个人免费观看高清视频| 国产精华一区二区三区| 亚洲专区字幕在线| 久久天堂一区二区三区四区| 免费在线观看黄色视频的| 国产伦一二天堂av在线观看| 午夜a级毛片| 真人一进一出gif抽搐免费| 日韩欧美在线乱码| 国产私拍福利视频在线观看| www国产在线视频色| 国产精品亚洲一级av第二区| 黄色视频,在线免费观看| 欧美国产日韩亚洲一区| 久久人人精品亚洲av| 一级片免费观看大全| 成人18禁高潮啪啪吃奶动态图| 久久久久久九九精品二区国产 | 在线十欧美十亚洲十日本专区| 黄色女人牲交| 嫁个100分男人电影在线观看| 国产v大片淫在线免费观看| 国产精品1区2区在线观看.| 日韩欧美精品v在线| 一个人免费在线观看电影 | 婷婷精品国产亚洲av| 岛国视频午夜一区免费看| 热99re8久久精品国产| 老熟妇乱子伦视频在线观看| videosex国产| 高清在线国产一区| 午夜福利18| 1024视频免费在线观看| 免费在线观看视频国产中文字幕亚洲| 一二三四社区在线视频社区8| 国产69精品久久久久777片 | 一二三四社区在线视频社区8| 亚洲欧美激情综合另类| 亚洲电影在线观看av| 天天添夜夜摸| 国产精品一区二区免费欧美| 一区福利在线观看| 在线观看免费午夜福利视频| 三级男女做爰猛烈吃奶摸视频| 午夜福利免费观看在线| 美女扒开内裤让男人捅视频| 午夜福利高清视频| 亚洲精品久久国产高清桃花| 亚洲自偷自拍图片 自拍| 99精品欧美一区二区三区四区| 97超级碰碰碰精品色视频在线观看| 变态另类成人亚洲欧美熟女| 免费观看人在逋| 精品一区二区三区av网在线观看| 少妇人妻一区二区三区视频| 国产成人av教育| 亚洲一区中文字幕在线| 一个人免费在线观看的高清视频| 欧美久久黑人一区二区| 亚洲美女视频黄频| 99热6这里只有精品| 777久久人妻少妇嫩草av网站| 久久精品综合一区二区三区| 精品一区二区三区av网在线观看| 久久精品国产亚洲av香蕉五月| 一进一出抽搐动态| 久久国产精品影院| 成人午夜高清在线视频| 女人爽到高潮嗷嗷叫在线视频| 亚洲激情在线av| 亚洲成a人片在线一区二区| 亚洲成人免费电影在线观看| 成人午夜高清在线视频| 国产亚洲精品一区二区www| 宅男免费午夜| 国产精品久久电影中文字幕| 2021天堂中文幕一二区在线观| 99riav亚洲国产免费| 久久精品亚洲精品国产色婷小说| 五月伊人婷婷丁香| 国产精品九九99| avwww免费| 狠狠狠狠99中文字幕| 亚洲男人的天堂狠狠| 一区二区三区激情视频| 变态另类丝袜制服| 在线观看日韩欧美| 久久久久免费精品人妻一区二区| 亚洲美女视频黄频| 午夜老司机福利片| 精品高清国产在线一区| www日本黄色视频网| 99riav亚洲国产免费| 国产激情偷乱视频一区二区| 午夜福利在线在线| 啪啪无遮挡十八禁网站| 99热这里只有是精品50| 嫩草影视91久久| 90打野战视频偷拍视频| 国产人伦9x9x在线观看| 亚洲自拍偷在线| 99精品久久久久人妻精品| 久久精品国产综合久久久| 丰满人妻一区二区三区视频av | 色在线成人网| 欧美人与性动交α欧美精品济南到| 国产精品1区2区在线观看.| 丝袜美腿诱惑在线| 麻豆一二三区av精品| 国产精品久久久久久精品电影| av片东京热男人的天堂| 精品电影一区二区在线| 别揉我奶头~嗯~啊~动态视频| 欧美日韩精品网址| 日本a在线网址| 成人欧美大片| 99精品欧美一区二区三区四区| 欧美中文综合在线视频| 天天躁夜夜躁狠狠躁躁| 国产精品爽爽va在线观看网站| 在线看三级毛片| x7x7x7水蜜桃| 欧美黑人巨大hd| 日日干狠狠操夜夜爽| 日本在线视频免费播放| 99国产精品一区二区三区| 午夜a级毛片| 国产亚洲av嫩草精品影院| 精品第一国产精品| 国产精品亚洲一级av第二区| 亚洲av美国av| 又大又爽又粗| 中文在线观看免费www的网站 | 黄色视频不卡| 在线观看日韩欧美| netflix在线观看网站| 最好的美女福利视频网| 亚洲av日韩精品久久久久久密| 亚洲免费av在线视频| 亚洲va日本ⅴa欧美va伊人久久| 色噜噜av男人的天堂激情| 欧美zozozo另类| 精品一区二区三区av网在线观看| 此物有八面人人有两片| 一级作爱视频免费观看| 国产视频一区二区在线看| 日日干狠狠操夜夜爽| 亚洲国产日韩欧美精品在线观看 | 亚洲欧美一区二区三区黑人| 亚洲精华国产精华精| 黑人欧美特级aaaaaa片| www.自偷自拍.com| 午夜激情av网站| 天堂√8在线中文| 中出人妻视频一区二区| 不卡一级毛片| 18禁美女被吸乳视频| 日本一本二区三区精品| 国产真人三级小视频在线观看| 午夜福利视频1000在线观看| 一本大道久久a久久精品| 欧美黑人欧美精品刺激| aaaaa片日本免费| 激情在线观看视频在线高清| 亚洲中文av在线| 好男人在线观看高清免费视频| 亚洲人成网站高清观看| 精品国产亚洲在线| 一进一出好大好爽视频| 69av精品久久久久久| 亚洲人成网站高清观看| 丁香欧美五月| 国产真实乱freesex| 欧美日韩瑟瑟在线播放| 变态另类丝袜制服| 蜜桃久久精品国产亚洲av| 国产一区二区三区视频了| 亚洲欧美一区二区三区黑人| 脱女人内裤的视频| 国产精品香港三级国产av潘金莲| 狂野欧美白嫩少妇大欣赏| 白带黄色成豆腐渣| 亚洲av电影在线进入| www.熟女人妻精品国产| 亚洲真实伦在线观看| 久久午夜亚洲精品久久| 亚洲国产精品合色在线| 久久久久久久午夜电影| 91大片在线观看| 搡老岳熟女国产| 成人手机av| 日本熟妇午夜| 国产高清激情床上av| 日本一二三区视频观看| 中文字幕高清在线视频| 两个人免费观看高清视频| 成年人黄色毛片网站| 欧美乱码精品一区二区三区| 午夜福利高清视频| 国产高清有码在线观看视频 | 日韩大码丰满熟妇| 丁香六月欧美| 97人妻精品一区二区三区麻豆| 青草久久国产| 黑人操中国人逼视频| 99精品欧美一区二区三区四区| 午夜激情福利司机影院| 亚洲国产精品合色在线| 日韩欧美一区二区三区在线观看| 69av精品久久久久久| 亚洲在线自拍视频| 久久国产乱子伦精品免费另类| 国产精品 国内视频| 日本一本二区三区精品| 亚洲成人国产一区在线观看| 欧美久久黑人一区二区| 免费高清视频大片| 一级毛片精品| 国产精品精品国产色婷婷| 女人爽到高潮嗷嗷叫在线视频| 叶爱在线成人免费视频播放| 国内精品一区二区在线观看| 亚洲国产精品成人综合色| 欧美日韩精品网址| 午夜免费激情av| 久久香蕉精品热| 禁无遮挡网站| 每晚都被弄得嗷嗷叫到高潮| x7x7x7水蜜桃| 国产在线观看jvid| 人妻久久中文字幕网| avwww免费| 国产精品永久免费网站| 国产私拍福利视频在线观看| 怎么达到女性高潮| 国产精品九九99| 亚洲中文日韩欧美视频| 我要搜黄色片| 欧美日韩精品网址| 国产亚洲av嫩草精品影院| 久久婷婷成人综合色麻豆| 亚洲一卡2卡3卡4卡5卡精品中文| 神马国产精品三级电影在线观看 | www.自偷自拍.com| e午夜精品久久久久久久| 最好的美女福利视频网| 欧美另类亚洲清纯唯美| 美女黄网站色视频| 看免费av毛片| 舔av片在线| 好看av亚洲va欧美ⅴa在| 男女之事视频高清在线观看| 亚洲精品一卡2卡三卡4卡5卡| a在线观看视频网站| 日本黄大片高清| 久久久国产成人免费| 欧美+亚洲+日韩+国产| 国产区一区二久久| 日本 av在线| 制服人妻中文乱码| 亚洲国产欧美人成| 欧美绝顶高潮抽搐喷水| 1024视频免费在线观看| 每晚都被弄得嗷嗷叫到高潮| av片东京热男人的天堂| 国产精品香港三级国产av潘金莲| 国产高清videossex| 亚洲成人国产一区在线观看| 日韩大尺度精品在线看网址| 听说在线观看完整版免费高清| 欧美绝顶高潮抽搐喷水| 国模一区二区三区四区视频 | 1024香蕉在线观看| 99精品在免费线老司机午夜| 天天添夜夜摸| 白带黄色成豆腐渣| 久久午夜亚洲精品久久| 99国产极品粉嫩在线观看| 可以免费在线观看a视频的电影网站| 午夜福利18| 亚洲精品av麻豆狂野| svipshipincom国产片| 国产精品久久久人人做人人爽| 精品久久久久久久久久免费视频| 国产精品九九99| 国产熟女xx| 日本a在线网址| 在线观看66精品国产| 国产成人影院久久av| 不卡一级毛片| 成年免费大片在线观看| 久久99热这里只有精品18| 亚洲欧洲精品一区二区精品久久久| 久久久久久久久久黄片| 99国产精品99久久久久| 一个人免费在线观看电影 | 国产精品久久久久久久电影 | 69av精品久久久久久| 久久国产精品影院| 日韩有码中文字幕| 五月伊人婷婷丁香| 亚洲人成网站高清观看| 听说在线观看完整版免费高清| 99国产精品一区二区三区| 欧美成人一区二区免费高清观看 | 在线免费观看的www视频| 可以在线观看毛片的网站| 国内毛片毛片毛片毛片毛片| 777久久人妻少妇嫩草av网站| 成年人黄色毛片网站| 午夜福利在线在线| 亚洲国产中文字幕在线视频| 男女床上黄色一级片免费看| 久久久久免费精品人妻一区二区| 国产精品久久视频播放| 久久婷婷成人综合色麻豆| e午夜精品久久久久久久| 国产主播在线观看一区二区| 99精品在免费线老司机午夜| 叶爱在线成人免费视频播放| 国产伦一二天堂av在线观看| 日韩欧美免费精品| 国产黄片美女视频| 亚洲人成电影免费在线| 91字幕亚洲| 亚洲成人久久爱视频| 精品人妻1区二区| 亚洲av电影不卡..在线观看| 亚洲男人天堂网一区| 波多野结衣巨乳人妻| 亚洲一码二码三码区别大吗| 在线观看www视频免费| aaaaa片日本免费| 国产精品av视频在线免费观看| 国产99久久九九免费精品| 国产精品av久久久久免费| 免费无遮挡裸体视频| 香蕉国产在线看| 亚洲美女黄片视频| 最近最新中文字幕大全电影3| 国产一区二区激情短视频| 亚洲最大成人中文| 真人一进一出gif抽搐免费| 久久国产乱子伦精品免费另类| 亚洲欧洲精品一区二区精品久久久| 国产精品日韩av在线免费观看| 亚洲一区二区三区不卡视频| 男人的好看免费观看在线视频 | 法律面前人人平等表现在哪些方面| 亚洲,欧美精品.| 91九色精品人成在线观看| 男女视频在线观看网站免费 | 成人国语在线视频| 亚洲成人国产一区在线观看| 韩国av一区二区三区四区| 久久亚洲真实| 欧美一区二区精品小视频在线| 国产精品亚洲av一区麻豆| 国产精品久久久久久精品电影| 中文字幕高清在线视频| 久久天躁狠狠躁夜夜2o2o| 亚洲人成网站在线播放欧美日韩| 1024视频免费在线观看| 欧美日本视频| 两个人的视频大全免费| 亚洲人成电影免费在线| 午夜福利在线在线| x7x7x7水蜜桃| 国产三级中文精品| 精品一区二区三区四区五区乱码| av中文乱码字幕在线| 亚洲第一欧美日韩一区二区三区| avwww免费| 高清在线国产一区| 99热只有精品国产| 看片在线看免费视频| a级毛片a级免费在线| 超碰成人久久| 日韩av在线大香蕉| 动漫黄色视频在线观看| 一级作爱视频免费观看| 午夜免费成人在线视频| 99久久综合精品五月天人人| 国产主播在线观看一区二区| 欧美另类亚洲清纯唯美| 黄片小视频在线播放| 波多野结衣巨乳人妻| 国产精品av久久久久免费| 欧美激情久久久久久爽电影| 中国美女看黄片| 国产精品综合久久久久久久免费| 国内精品久久久久久久电影| 一a级毛片在线观看| 国产片内射在线| 国产欧美日韩精品亚洲av| 日韩欧美在线乱码| 99国产综合亚洲精品| 日韩国内少妇激情av| 欧美成人一区二区免费高清观看 | 一级毛片女人18水好多| 黄色女人牲交| 精品久久久久久久久久久久久| 18禁国产床啪视频网站| 国产免费男女视频| 香蕉国产在线看| 午夜福利欧美成人| 一级毛片高清免费大全| 久久天躁狠狠躁夜夜2o2o| 免费看a级黄色片| 亚洲av成人精品一区久久| 一个人免费在线观看电影 | 国产精品一区二区三区四区久久| 国产精品亚洲美女久久久| 亚洲色图 男人天堂 中文字幕| 精品久久久久久,| 脱女人内裤的视频| 亚洲精华国产精华精| 最好的美女福利视频网| 亚洲欧美日韩高清在线视频| 啪啪无遮挡十八禁网站| 女人高潮潮喷娇喘18禁视频| 黄色a级毛片大全视频| 亚洲欧美一区二区三区黑人| 999久久久国产精品视频| √禁漫天堂资源中文www| 听说在线观看完整版免费高清| 精品一区二区三区视频在线观看免费| 狂野欧美激情性xxxx| 免费高清视频大片| 国产精品99久久99久久久不卡| av片东京热男人的天堂| www.999成人在线观看| 欧美乱码精品一区二区三区| 亚洲一码二码三码区别大吗| 一进一出抽搐动态| 久久婷婷成人综合色麻豆| 三级毛片av免费| 国产真人三级小视频在线观看| 国产aⅴ精品一区二区三区波| 黄色视频不卡| 欧美 亚洲 国产 日韩一| 啪啪无遮挡十八禁网站| 欧美三级亚洲精品| 国产成人一区二区三区免费视频网站| 在线视频色国产色| 久久久精品国产亚洲av高清涩受| 日韩欧美国产在线观看| 亚洲18禁久久av| 国产精品亚洲美女久久久| 中国美女看黄片| 国产三级中文精品| 美女扒开内裤让男人捅视频|