• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    融合引文與Altmetrics的報紙論文影響力綜合評價方法研究*

    2019-01-18 01:45:44彭秋茹閻素蘭黃水清
    圖書與情報 2018年5期
    關(guān)鍵詞:影響力報紙理想

    彭秋茹 閻素蘭 楊 波 黃水清

    (1.南京農(nóng)業(yè)大學信息科學技術(shù)學院 江蘇南京 210095)

    (2.南京農(nóng)業(yè)大學領(lǐng)域知識關(guān)聯(lián)研究中心 江蘇南京 210095)

    報紙論文,即發(fā)表在報紙上的學術(shù)性論文,不包括新聞稿件等,最典型的是各大報刊理論版所刊載的論文。受報紙發(fā)行方式與閱讀對象制約,報紙論文的研究領(lǐng)域基本是局限于人文社科領(lǐng)域,且篇幅較短,研究對象多為學界或經(jīng)濟社會關(guān)注的具有普遍性或重大影響的問題。報紙論文同時具有學術(shù)價值和新聞傳播的特性,其影響力不僅表現(xiàn)在學術(shù)參考和引用方面,還表現(xiàn)在新聞媒體和社交媒體等網(wǎng)絡平臺的傳播和分享方面。前者可以看作是報紙論文的學術(shù)影響力,后者則是報紙論文社會影響力的體現(xiàn)。相較于期刊論文,報紙論文不但會對學術(shù)研究有貢獻即產(chǎn)生學術(shù)影響,而且更易產(chǎn)生社會影響。學界對期刊論文、圖書的評價研究較多,較少關(guān)注報紙論文的影響力評價??梢哉f,報紙論文是評價領(lǐng)域相對被忽視的評價對象。報紙論文與期刊論文同為科研論文,研究報紙論文影響力的評價,有利于評價新方法的探討,有利于完善各種類型的科研成果影響力評價體系。對報紙論文影響力進行有效評價,有利于明確報紙論文在人才、項目等評審中的價值,為主管部門提供決策依據(jù)。

    報紙評價或報紙影響力評價,是與報紙論文影響力評價相關(guān)、但內(nèi)涵并不相同的概念。報紙評價研究多以報紙的整體影響力為對象,采用定性和定量兩類方法探討報紙在新聞傳播學領(lǐng)域的影響力問題:(1)定性研究方面。主要是利用傳播學原理從報紙影響力分析、報紙 影響力組成因素、提高報紙影響力方法等方面來探討報紙影響力;(2)定量研究方面。主要是利用調(diào)查數(shù)據(jù)獲取報紙論文的影響力現(xiàn)狀,又分為報紙利用新媒體的影響力研究和報紙對受眾的影響力研究兩個方面。

    科研成果的影響力評價,是研究各類科研產(chǎn)出對科學技術(shù)本身及經(jīng)濟社會的作用或貢獻程度。自加菲爾德在1955年提出用影響因子評價期刊的學術(shù)影響力以來,六十多年間,盡管科學技術(shù)發(fā)生了翻天覆地的變化,引文計量一直都是影響力評價的主導方法。然而,引文計量的局限性也受到越來越多的詬病。對引文計量本身的改進及對引文計量的補充或替代方法,日漸被關(guān)注。隨著社交媒體在科學研究、傳播、交流中的普及應用,一種基于社會傳媒平臺和工具的影響力評價方法——Altmetrics應運而生并引起廣泛關(guān)注。Altmetrics的缺點是指標數(shù)據(jù)較難獲取、評價指標尚無統(tǒng)一規(guī)范,目前尚未能廣泛應用于評價實踐。

    報紙論文作為科研產(chǎn)出成果的一種,既具有學術(shù)研究價值,又依托報紙這個大眾媒體得到更廣泛地傳播與討論,但在信息計量學領(lǐng)域里,僅有少數(shù)學者在研究多種科研成果類型時提到報紙論文的影響力問題,如康穎卿統(tǒng)計了報紙整體在不同年份和不同學科的被引頻次來初步探討了報紙的學術(shù)影響力;蘇金燕對我國人文社會科學領(lǐng)域參考文獻類型的研究表明,報紙論文在政治學、馬克思主義、新聞學與傳播學等學科的學術(shù)影響力與其它學科相比較大。專門針對報紙論文這一科研成果的影響力評價問題進行的全面研究,目前還比較缺乏。

    本文意圖融合引文計量和Altmetrics兩種評價方法,根據(jù)報紙論文的屬性分別從引文指標和Altmetrics指標中篩選出報紙論文學術(shù)影響力和社會影響力的評價指標,以層次分析法、變異系數(shù)、逼近理想點、灰色關(guān)聯(lián)分析法等模型與方法為理論基礎(chǔ),構(gòu)建適用于報紙論文影響力的評價指標體系及綜合評價方法,并以2014年《光明日報》理論版刊登的全部1363篇報紙論文為評價對象,完成從指標數(shù)據(jù)采集到最終結(jié)果計算的完整評價過程。通過對評價結(jié)果的比較和分析,探討和驗證評價方法的可行性、適用性。

    1 報紙論文影響力綜合評價的決策模型選擇

    報紙論文的影響力評價,僅憑報紙論文在學術(shù)數(shù)據(jù)庫里的被引頻次顯然是不夠的。報紙論文的影響力可以體現(xiàn)為學術(shù)影響力和社會影響力兩個方面,其中報紙論文的學術(shù)影響力可以通過學術(shù)期刊對報紙論文的引用來測量,而報紙論文的社會影響力可以通過報紙論文在網(wǎng)絡媒體平臺中的傳播數(shù)量來進行測量。因此,從報紙論文的學術(shù)影響力和社會影響力兩方面入手,設計包含多項引文指標和Altmetrics指標的綜合評價方法,是報紙論文影響力評價的可行思路。即,從決策模型的角度看,報紙論文影響力評價是典型的多指標(或多屬性)綜合評價問題。多指標綜合評價的理論和方法在經(jīng)濟、管理和工業(yè)工程等專業(yè)研究和規(guī)劃、評價等決策實踐中占有重要地位,具有重大的實用價值和廣泛的應用前景。

    目前常見的多指標綜合評價決策模型主要有層次分析法、模糊綜合評價法、數(shù)據(jù)包絡分析法、人工神經(jīng)網(wǎng)絡評價法、灰色關(guān)聯(lián)分析法等。若評價指標具有多層結(jié)構(gòu),且具備同行專家資源可以主觀確定評價指標權(quán)重,則適合采用層次分析法進行綜合評價。若對評價對象的評定是以類似“好”“一般”“不好”等具有模糊性的等級為標準,則適合采用模糊綜合評價法進行綜合評價。若評價指標中同時包含多個輸入指標和多個輸出指標,則適合采用數(shù)據(jù)包絡分析法進行綜合評價。若評價對象樣本較小、指標數(shù)據(jù)分布不確定,則適合采用灰色關(guān)聯(lián)分析法來進行綜合評價。評價者可以根據(jù)具體的評價需求和評價數(shù)據(jù)情況來決定采用何種綜合評價方法更合適。一般來說,多指標綜合評價由5個步驟組成:明確評價對象;建立評價指標體系(包括構(gòu)造評價指標層次、確定評價指標及數(shù)據(jù)采集方式、評價指標數(shù)據(jù)標準化等);確定指標權(quán)重;合成評價指標值獲得綜合評價結(jié)果;綜合評價結(jié)果比較和分析。

    以上多指標綜合評價決策模型中,層次分析法適用于評價指標為定性或定性定量相結(jié)合的多層次評價實踐活動,與報紙論文影響力評價非常契合。層次分析法的基本思想是將評價問題的有關(guān)評價指標分解為目標、準則、方案等層次,用一定標度對人的主觀判斷進行量化,在此基礎(chǔ)上進行定性分析和定量分析。

    本文將選擇層次分析法作為報紙論文影響力評價的決策模型,依照層次分析法的要求,首先確定報紙論文影響力綜合評價的指標層次,構(gòu)建評價指標體系。隨后,在接下來的各評價環(huán)節(jié)中根據(jù)需要分別選擇合適的模型依次完成確定評價指標權(quán)重、合成評價指標值、獲得綜合評價結(jié)果等步驟,并解決各步驟實施過程中涉及的相關(guān)技術(shù)問題,達到對報紙論文影響力實施綜合評價的目的,形成完整的可操作的評價方法。

    2 報紙論文影響力綜合評價指標體系的構(gòu)建

    層次分析法把評價問題當作一個整體系統(tǒng),在深入分析問題的基礎(chǔ)上,將與整體相關(guān)的各個要素按照不同屬性自上而下地分解為若干層次,每個層次的各要素從屬于上層或?qū)ι蠈右赜杏绊?,同時又支配下層要素或受到下層要素的作用。最上層為目標層,通常只有一個要素。最下層為方案層,對應于報紙論文影響力評價來說即為評價的全部指標。中間可以有一個或幾個層次,稱為準則層,當準則過多時(如多于9個)應進一步分解出子準則層。

    2.1 評價指標層次的構(gòu)造

    當一篇報紙論文被刊載后,一方面學者可能會閱讀與參考,最終體現(xiàn)在學術(shù)文獻的引用中,另一方面也會受到網(wǎng)絡上不同平臺的即時傳播,如被其他新聞媒體轉(zhuǎn)載或提及、文檔分享平臺保存、社交媒體討論等。前者即報紙論文的學術(shù)影響力,后者即報紙論文的社會影響力。遵循層次分析法“目標層-準則層-方案層”的層次結(jié)構(gòu)思想,可以得到報紙論文影響力評價指標體系的層次結(jié)構(gòu)(見圖1)。

    2.2 評價指標的確定及評價數(shù)據(jù)的采集與計算

    圖1 報紙論文影響力評價指標體系層次結(jié)構(gòu)圖

    報紙論文影響力評價指標體系中的指標層,包含了報紙論文影響力評價兩項評價準則的全部12項指標,構(gòu)成了報紙論文影響力評價的指標體系(見圖1)。其中,論文被引次數(shù)、他引次數(shù)、論文h指數(shù),是單篇論文引文評價中常用的3種評價指標,報紙論文的學術(shù)影響力評價指標體系中,首先可以納入這3項指標。

    由于被引次數(shù)只單純統(tǒng)計被引文獻篇數(shù),忽略了引證文獻可能在文章不同的位置多次引用某篇報紙論文的情況,無法區(qū)分同一篇引證文獻對不同的被引文獻在引用程度上的差異,因此,單純使用被引次數(shù)對學術(shù)論文進行評價存在一定的局限性。為此,可引入引用強度指標用于報紙論文學術(shù)影響力評價。報紙論文的引用強度定義為報紙論文在同一篇引證文獻中被提及或引用的實際次數(shù)。將報紙論文在所有引證文獻中的引用強度相加,即可獲得該報紙論文的總引用強度。相較于被引次數(shù),引用強度能更好地反映報紙論文實際被引用的情況及報紙論文的學術(shù)影響力。

    最終,報紙論文學術(shù)影響力準則共設定4項評價指標,分別是論文被引次數(shù)、他引次數(shù)、引用強度、論文h指數(shù),全部是基于引文計量的評價指標。這4項評價指標的觀測數(shù)據(jù),都可以根據(jù)引文數(shù)據(jù)庫(如中國期刊網(wǎng))的引文數(shù)據(jù)為基礎(chǔ)進行統(tǒng)計和計算。

    報紙論文社會影響力準則層的評價指標依據(jù)Altmetrics評價指標設計。Altmetrics評價指標建立在社交媒體或?qū)W術(shù)交互工具等數(shù)據(jù)源基礎(chǔ)上,現(xiàn)有的針對英文文獻的Altmetrcis評價共有兩種類型:僅采用博客、CiteULike、Mendeley等指標中某項單一指標;匯聚多項 Altmetrics指標, 如 Altmetric.com、ImpactStory、PlumX、PLOS ALMs等。

    分析Altmetric.com等四大平臺所匯聚的各項Altmetrics評價指標,并結(jié)合報紙論文的特點,兼顧數(shù)據(jù)來源和報紙論文被利用程度兩個方面,最終為報紙論文社會影響力準則選定8項評價指標,分別是在各個網(wǎng)站中論文的國家新聞媒體提及量、地方新聞媒體提及量、社會新聞媒體提及量、理論宣傳媒體提及量、政府機構(gòu)網(wǎng)站提及量、教育機構(gòu)網(wǎng)站提及量、文檔分享平臺保存量、社交媒體討論量。這8項評價指標的觀測數(shù)據(jù),可以通過百度搜索引擎搜索全部互聯(lián)網(wǎng),查詢得到報紙論文在社交媒體和學術(shù)交互工具中的基礎(chǔ)數(shù)據(jù),再進行分類篩選,獲得各項對應的評價指標數(shù)據(jù)。

    以m代表報紙論文影響力綜合評價全部評價指標的數(shù)量(在本文中,m=12),假設需要對n篇報紙論文進行影響力綜合評價,則所有評價指標的數(shù)據(jù)值可以表示為 x(i=1,2,……,n;j=1,2,……,m)。 采集各項評價指標的觀測數(shù)據(jù),再經(jīng)過計算可以得到各項評價指標的數(shù)據(jù)值,最終形成報紙論文影響力評價指標矩陣:

    2.3 評價指標數(shù)據(jù)的標準化

    具體評價實踐中,根據(jù)評價指標體系采集得到的觀測數(shù)據(jù)可能會出現(xiàn)指標類型不一致、數(shù)量級不同等問題,從而影響綜合得分的計算,導致無法通過一個綜合評價值來比較評價對象的優(yōu)劣。如在對某同類型產(chǎn)品的經(jīng)濟效益進行比較時,評價指標構(gòu)建時可能會收集產(chǎn)品的成本和利潤等指標觀測數(shù)據(jù),其中對于成本這類“極小型”指標,決策者希望越小越好,而利潤這類“極大型”指標,決策者則希望越大越好。另一方面,如果該類型產(chǎn)品的成本指標觀測數(shù)據(jù)范圍為(0,10],而利潤指標觀測數(shù)據(jù)范圍在[100,1000],那么在對評價指標進行線性相加時,這兩項不同數(shù)量級的評價指標對綜合評價得分的影響程度就會有所不同。在綜合評價產(chǎn)品的經(jīng)濟效益時,決策者一般希望同時考慮兩種類型的評價指標,最后獲得一個越大越好的綜合評價值來對該類產(chǎn)品進行比較和排序。這時就不能單純地用評價指標的原始觀測數(shù)據(jù)值進行計算,而是要通過標準化處理從而保證評價指標類型和數(shù)量級的一致性。在構(gòu)建評價指標時,針對不同類型和不同數(shù)量級的評價指標數(shù)據(jù),可以選擇不同的標準化方法進行預處理。

    常見的評價指標值標準化方法有Z-score法、極值法、線性比例法3種,具體評價實踐中可以通過評價指標觀測數(shù)據(jù)的實際情況來選擇其中一種進行評價指標預處理。其中,線性比例法采用將指標觀測數(shù)據(jù)與特殊值相除獲得標準化評價指標值,計算公式如下:

    除了根據(jù)評價指標的類型和觀測數(shù)據(jù)的分布情況來確定預處理方法外,還要根據(jù)綜合評價模型的需求考慮標準化過程是否會影響評價指標數(shù)據(jù)的穩(wěn)定性。標準化過程的敏感性指的是規(guī)范化結(jié)果對于個別 (或若干)指標觀測數(shù)據(jù)增減的敏感性 (魯棒性),敏感性越低,說明標準化過程的穩(wěn)定性越好,反之越差。標準化方法對評價指標數(shù)據(jù)的敏感性的影響主要體現(xiàn)在對每項評價指標觀測數(shù)據(jù)進行標準化處理時所運用信息量的程度上。

    Z-score法、極值法、線性比例法3種評價指標數(shù)據(jù)標準化方法中,Z-score法和線性比例法 (特殊值取均值、總和、平方和時)的計算公式中包含評價指標的所有樣本信息的統(tǒng)計量(如平均值、總和以及平方和等),穩(wěn)定性較好,極值法和線性比例法(特殊值取最大值或最小值時)容易受到個別極端數(shù)據(jù)(如最大值或最小值)的影響,穩(wěn)定性較差。因此,在選擇評價指標數(shù)據(jù)標準化方法時,要根據(jù)評價指標的數(shù)據(jù)分布情況進行判斷。如果數(shù)據(jù)分布比較平穩(wěn),也即評價指標觀測數(shù)據(jù)中的極端值產(chǎn)生的影響不明顯,評價指標數(shù)據(jù)標準化結(jié)果的穩(wěn)定性就不會受到標準化方法太大的制約。如果評價指標觀測數(shù)據(jù)中的極端值對整個評價指標數(shù)據(jù)分布產(chǎn)生很大影響,數(shù)據(jù)分布波動很大,這種情況下就應當選擇標準化過程穩(wěn)定性較好的Z-score法和線性比例法(特殊值取均值、總和、平方和)。

    最后得到的報紙論文影響力綜合評價標準化評價指標矩陣為:

    3 報紙論文影響力綜合評價指標權(quán)重的確定

    在對評價對象進行綜合評價時,評價指標之間往往會出現(xiàn)不可公度的現(xiàn)象,不同的評價指標對綜合評價目標所起的作用程度上并不相同。在報紙論文影響力評價中,數(shù)據(jù)分布起伏較大、差異性較大的評價指標,對于待評價的報紙論文來說具有更好的區(qū)分能力,在評價過程中更應當受到重視。評價指標除了區(qū)分能力不同外,還會因為評價者或決策者的評價意圖或偏好不同而對綜合評價目標產(chǎn)生不同程度的重要性。如在教師人才評價實踐中,決策者往往更看重教師的學術(shù)成果、學術(shù)影響力等產(chǎn)出型指標,而教師的工齡等評價指標則被看作是輔助指標。相對于產(chǎn)出型評價指標,輔助評價指標對于評價教師的綜合實力來說重要性就要弱得多。

    對于區(qū)分能力大小不同、重要性不同的評價指標,可賦予不同的權(quán)重系數(shù),再進行綜合評價。權(quán)重是為了解決評價指標之間的不可公度問題引入的,它的作用是協(xié)調(diào)、平衡評價指標之間的區(qū)別。評價指標權(quán)重系數(shù)的大小反映了在綜合評價時對評價指標重視的程度,越重要的評價指標,其權(quán)重系數(shù)取值越大,反之則越小。

    3.1 確定指標權(quán)重系數(shù)的方法

    構(gòu)建評價指標體系后,根據(jù)確定權(quán)重確定各評價指標的權(quán)重的方法主要有兩類:一是主觀賦權(quán)法,該方法的優(yōu)點是通過專家根據(jù)經(jīng)驗判斷得到,簡單易行,且反映了決策者進行綜合評價的真實意圖,缺點是主觀隨意性較大;二是客觀賦權(quán)法,該方法以數(shù)學原理為基礎(chǔ),由評價指標的觀測數(shù)據(jù)的統(tǒng)計性質(zhì)得到,優(yōu)點是客觀性強,有效地避免了人為干擾,使得綜合評價結(jié)果真實反映了評價指標觀測數(shù)據(jù)的情況,缺點是有些時候該方法得到的權(quán)重系數(shù)與決策者的評價意圖相悖。

    客觀賦權(quán)法可以從突出評價對象整體差異和突出評價指標內(nèi)部差異兩個角度來確定評價指標的權(quán)重。突出評價指標內(nèi)部差異的客觀賦權(quán)法的主要思路是根據(jù)某項評價指標的觀測數(shù)據(jù)之間的差異程度來反映該評價指標的重要程度,如果這項評價指標的觀測數(shù)據(jù)之間差異不大,代表該評價指標對綜合評價結(jié)果所起的作用較小,使用突出評價指標內(nèi)部差異的客觀賦權(quán)法得到的評價指標權(quán)重系數(shù)值也會較小,其中的變異系數(shù)法屬于典型的突出評價指標內(nèi)部差異的客觀賦權(quán)方法。

    所謂變異系數(shù),是指評價對象觀測數(shù)據(jù)的標準差除以平均值的絕對值,也即對于評價指標x而言,該評價指標的變異系數(shù)為:

    基于變異系數(shù)的客觀賦權(quán)法計算簡單,且能很好地體現(xiàn)出評價指標區(qū)分評價對象的能力,所以該方法在具體的綜合評價實踐中得到廣泛使用。

    3.2 報紙論文影響力評價指標權(quán)重的確定方法

    為了避免人為主觀因素的干擾,選擇客觀賦權(quán)法來確定評價指標的權(quán)重系數(shù)。學術(shù)影響力的4項指標分別側(cè)重于報紙論文學術(shù)影響力的某一方面,重要程度相若,評價指標的權(quán)重只需要體現(xiàn)評價指標對評價對象的區(qū)分能力差異性即可。社會影響力的8項評價指標情況類似。此外,報紙論文學術(shù)影響力評價指標和社會影響力評價指標的觀測數(shù)據(jù)分布差異性較大,因此,適合選擇客觀賦權(quán)法中突出評價指標內(nèi)部差異的方法作為報紙論文影響力評價的指標權(quán)重的確定方法。突出評價指標內(nèi)部差異的客觀賦權(quán)法中變異系數(shù)法和熵權(quán)法較為常用,其中熵權(quán)法要求數(shù)據(jù)為大于等于0,報紙論文影響力評價指標的觀測數(shù)據(jù)常有取0值的,無法滿足要求,因此熵值法不適合于報紙論文影響力評價指標權(quán)重確定。

    綜上所述,選擇變異系數(shù)法確定報紙論文影響力評價指標體系各項指標的權(quán)重系數(shù)較為適合(具體計算方法見公式5和公式6)。

    本文構(gòu)建的報紙論文影響力評價體系的指標層中共有12項評價指標,則第j項評價指標相應的權(quán)重系數(shù)為:

    由此得到報紙論文影響力評價指標的權(quán)重列向量:

    將報紙論文影響力標準化后的評價指標矩陣與相應的評價指標權(quán)重向量相乘,便得到報紙論文影響力加權(quán)后的評價指標值矩陣:

    4 報紙論文影響力綜合評價結(jié)果的合成

    報紙論文影響力綜合評價的目的是根據(jù)影響力的不同對報紙論文進行比較和排序,從而選擇出影響力較大的優(yōu)秀的報紙論文。按照前述方法已經(jīng)構(gòu)建出報紙論文影響力評價指標體系,并對評價指標權(quán)重進行計算賦值,接下來應該將不同的評價指標值按照一定的數(shù)學方法進行合成,計算出一個綜合評價值,使得報紙論文之間具有直觀的可比性。

    4.1 綜合評價結(jié)果合成的逼近理想點

    多指標綜合評價最終目的是通過一定的數(shù)學函數(shù)將多個評價指標值“合成”為一個整體性的綜合評價值。如何將評價指標“合成”將影響著最終綜合評價值的合理性和科學性。其中,逼近理想點法區(qū)分不同評價對象的能力較強,得到的綜合評價排序結(jié)果更為客觀。

    逼近理想點(The Technique for Order Preference by Similarity to Ideal Solution,TOPSIS)的基本原理是設立一個理想的系統(tǒng)或樣本 x=(x,x, …,x),通過計算評價對象 x=(x,x,…,x)與理想樣本 x之間的距離,評價對象x與理想樣本x越接近,那么該評價對象的綜合評價表現(xiàn)越接近理想樣本。評價對象x與理想樣本x之間的距離通常使用歐式距離進行計算:

    利用評價對象與理想樣本之間的距離,可以按照距離的大小對各個評價對象進行排序。當評價對象x與理想樣本x之間的距離d為0時,該評價對象x達到理想狀態(tài)。TOPSIS方法基于評價對象原始觀測數(shù)據(jù)本身,選擇理想樣本標桿,通過評價對象向量與理想樣本向量之間的距離來對評價對象進行排序。

    TOPSIS方法相對于其它評價結(jié)果合成方法(加權(quán)算術(shù)平均法、加權(quán)幾何平均法等),更著重于評價指標數(shù)據(jù)呈現(xiàn)的信息,區(qū)分不同水平的報紙論文的能力更強,從而有利于對報紙論文影響力的優(yōu)劣進行排序和分析,適合用于報紙論文影響力評價。

    4.2 報紙論文影響力綜合評價結(jié)果的合成

    選擇TOPSIS方法用于為報紙論文影響力綜合評價結(jié)果的合成,存在一個缺陷,即TOPSIS能夠通過函數(shù)曲線的方式來反映評價對象與理想樣本之間的整體相似程度,但不能很好地反映評價對象之間各項評價指標數(shù)據(jù)分布趨勢與理想樣本之間的區(qū)別。

    灰色關(guān)聯(lián)分析法的操作思路與TOPSIS方法有類似的地方,同樣是選擇一個理想樣本,計算評價對象與理想樣本之間的相似程度,用于評價對象的排序。區(qū)別在于,灰色關(guān)聯(lián)分析法著重于評價對象的各項評價指標值變化趨勢與理想樣本之間的關(guān)聯(lián)程度,而TOPSIS方法則著重于評價對象的各項評價指標數(shù)值與理想樣本之間的相似程度。因此,可結(jié)合TOPSIS方法和灰色關(guān)聯(lián)分析法對報紙論文影響力綜合評價結(jié)果進行合成,同時從各項評價指標的數(shù)值(位置)和各項評價指標的數(shù)值分布情況(形狀)兩個方面考察報紙論文與理想樣本的相似程度,進而更確切地展現(xiàn)報紙論文和理想樣本之間的貼合程度。根據(jù)貼合程度的大小,即可對報紙論文依據(jù)影響力進行排序和擇優(yōu)。

    TOPSIS方法與灰色關(guān)聯(lián)分析法相結(jié)合的報紙論文影響力綜合評價結(jié)果合成具體做法如下:

    第i篇報紙論文與正理想樣本X關(guān)于第j項評價指標值之間的差值為:

    (4)計算報紙論文與理想樣本之間的灰色關(guān)聯(lián)度。第i篇報紙論文與正理想樣本關(guān)于第j項評價指標的灰色關(guān)聯(lián)系數(shù)為:

    第i篇報紙論文與負理想樣本關(guān)于第j項評價指標的灰色關(guān)聯(lián)系數(shù)為:

    則第i篇報紙論文與正理想樣本的灰色關(guān)聯(lián)度為:

    第i篇報紙論文與負理想樣本的灰色關(guān)聯(lián)度為:

    (5)結(jié)合TOPSIS方法與灰色關(guān)聯(lián)分析法計算報紙論文與理想樣本之間的相對貼近度。①分別對歐式距離和灰色關(guān)聯(lián)度進行標準化處理。要想使TOPSIS方法計算得到的歐式距離與灰色關(guān)聯(lián)分析法計算得到的灰色關(guān)聯(lián)度具有可比性,先要對其進行標準化(無量綱化)處理。歐式距離和灰色關(guān)聯(lián)度數(shù)據(jù)可以通過線性比例法(比例系數(shù)取最大值)來進行標準化處理。

    以第i篇報紙論文為例,該報紙論文與正理想樣本和負理想樣本的標準化歐式距離分別為:

    該報紙論文與正理想樣本和負理想樣本的標準化灰色關(guān)聯(lián)度分別為:

    根據(jù)經(jīng)過標準化處理后的歐式距離和灰色關(guān)聯(lián)度,可以得到第i篇報紙論文與正理想樣本的貼近程度為:

    第i篇報紙論文與負理想樣本的貼近程度為:

    其中,e和e反映了在對報紙論文影響力進行綜合評價時對與正理想樣本的相對位置和相對形狀的偏好程度,且e+e=1。若認為報紙論文與正理想樣本的相對位置和相對形狀對報紙論文影響力綜合評價目標來說同等重要,則可選e=e=0.5。

    ③計算報紙論文相對貼近度。根據(jù)報紙論文與正理想樣本和負理想樣本的貼近程度可知,第i篇報紙論文與理想樣本之間的相對貼近度為:

    當?shù)趇篇報紙論文相對貼近度T越大,表示該報紙論文越貼近正理想樣本,該報紙論文在所有待評價報紙論文中影響力表現(xiàn)越優(yōu)。反之,相對貼近度T越小,表示該報紙論文越貼近負理想樣本,也就越偏離正理想樣本,該報紙論文在所有待評價論文中影響力表現(xiàn)越劣。也就是說,根據(jù)報紙論文相對貼近度T的大小,可以對報紙論文影響力進行排序和評價。

    5 報紙論文影響力綜合評價的實證研究

    本文選擇《光明日報》發(fā)表的理論版論文進行實證研究,以驗證報紙論文影響力綜合評價方法的可行性。

    5.1 實證評價對象的選擇

    《光明日報》是由中宣部代管的中央機關(guān)兩大黨報之一,其讀者對象主要面向知識界?!豆饷魅請蟆吩O有理論子版面(包括理論政治、理論經(jīng)濟等)、“理論周刊”及“國家社科基金”等版面,用于發(fā)表學術(shù)論文。由于《光明日報》的學術(shù)地位,這些版面上發(fā)表的論文(以下簡稱“理論版論文”)在學界一般比其它報紙上發(fā)表的學術(shù)論文影響力更強。本文選擇《光明日報》2014年全年發(fā)表的所有理論版論文作為報紙論文影響力綜合評價的實證研究對象。檢索 《光明日報》官網(wǎng)數(shù)據(jù)庫,發(fā)現(xiàn)2014年的理論版論文共有1391篇,其中有25篇報紙論文存在同名現(xiàn)象,有3篇報紙論文題名過于簡潔。剔除這28篇論文后,余下的1363篇報紙論文將作為本次報紙論文影響力綜合評價的實證研究對象。

    5.2 評價指標數(shù)據(jù)的獲取與標準化的處理

    實證研究的評價指標數(shù)據(jù)將分別從報紙論文學術(shù)影響力和社會影響力兩個方面來搜集。其中,學術(shù)影響力數(shù)據(jù)來源于中國知網(wǎng)(CNKI),社會影響力數(shù)據(jù)通過百度搜索得到。

    首先,CNKI以 “篇名”“文獻來源”“發(fā)表時間”“參考文獻”等字段進行檢索,得到實證對象的引文數(shù)據(jù),再通過人工識別的方法進一步清洗數(shù)據(jù),按照報紙論文學術(shù)影響力評價指標的統(tǒng)計方法計算得到每篇實證報紙論文的學術(shù)影響力評價指標數(shù)據(jù),獲得實證對象的學術(shù)影響力評價指標觀測數(shù)據(jù)。

    然后,利用百度搜索引擎對實證對象的題名進行檢索,再通過人工判別的方法對搜索結(jié)果進行篩選和清洗,按照報紙論文社會影響力評價指標的分類對采集結(jié)果進行數(shù)據(jù)統(tǒng)計,獲得實證對象的社會影響力評價指標觀測數(shù)據(jù)。

    最后,將實證對象的學術(shù)影響力和社會影響力評價指標觀測數(shù)據(jù)進行匯總,獲得實證對象的原始評價指標矩陣。

    從原始評價指標矩陣,可統(tǒng)計獲得1363篇報紙論文各項評價指標的極值及均值(具體數(shù)據(jù)見表1)。

    5.3 評價指標權(quán)重的計算

    以1363個實證對象的標準化評價指標矩陣為基礎(chǔ),可先根據(jù)公式5求出12項評價指標的變異系數(shù),然后根據(jù)公式7計算12項評價指標的權(quán)重系數(shù)(保留小數(shù)點后四位的計算結(jié)果及各項統(tǒng)計信息見表 2)。

    由表2可知,地方新聞媒體提及量評價指標差異性突出,區(qū)分不同影響力的實證對象的能力最大,社會新聞媒體提及量評價指標差異性最小,區(qū)分不同影響力的實證對象的能力最小。

    根據(jù)計算結(jié)果,得到報紙論文影響力綜合評價的12項評價指標的權(quán)重向量(此處保留小數(shù)點后四位):

    則可以根據(jù)標準化評價指標值與對應評價指標相乘獲得1363個實證對象的加權(quán)標準化影響力評價指標數(shù)據(jù)。

    表1 報紙論文影響力評價指標統(tǒng)計信息

    表2 報紙論文影響力評價指標權(quán)重計算數(shù)據(jù)

    5.4 綜合評價結(jié)果的計算與分析

    選擇全部1363篇論文中每項評價指標加權(quán)標準化數(shù)據(jù)中的最大值 (此處保留小數(shù)點后兩位),構(gòu)造得到正理想樣本:

    選擇1363篇論文中每項評價指標標準化數(shù)據(jù)的最小值,構(gòu)造得到負理想樣本:

    首先基于TOPSIS方法分別計算1363篇論文與正理想樣本和負理想樣本的歐式距離,再基于灰色關(guān)聯(lián)分析法(公式15、公式16)分別計算1363篇論文與正理想樣本和負理想樣本之間的灰色關(guān)聯(lián)度。然后,依次利用公式17、公式18、公式19、公式20對每篇論文與正理想樣本、負理想樣本的歐式距離和灰色關(guān)聯(lián)度進行標準化處理,得到每篇論文的標準化歐式距離和灰色關(guān)聯(lián)度數(shù)據(jù),再依據(jù)公式21、公式22、公式23計算每篇論文與理想樣本的相對貼近度。

    如此,便得到全部1363篇報紙論文的相對貼近度,并且可以根據(jù)相對貼近度的大小對1363個實證對象進行降序排序(排名前10的論文的各項數(shù)據(jù)見表 3)。

    排名前10的論文中,既有學術(shù)影響力表現(xiàn)突出的報紙論文,也有社會影響力表現(xiàn)突出的報紙論文。這是因為相對貼近度是衡量報紙論文與理想樣本之間的相似程度,也就是說,綜合評價結(jié)果更看重的是報紙論文各項評價指標與最優(yōu)秀的理想樣本的相似程度的大小,報紙論文越接近理想樣本,其影響力在所有待評價報紙論文中的表現(xiàn)就越優(yōu)秀。另一方面,基于TOPSIS方法和灰色關(guān)聯(lián)分析法的綜合評價值是經(jīng)過評價指標數(shù)值加權(quán)標準化且以與理想樣本的差值為評價依據(jù)的,報紙論文部分評價指標原始數(shù)值的太大或太小未必對最終綜合評價結(jié)果有決定性的影響。

    表3 相對貼近度排名前10的報紙論文及指標值

    以排名前10名的論文中綜合評價排名第2的論文為例,雖然該論文在12項評價指標中有6項評價指標值為0,且評價指標原始數(shù)值比后續(xù)排名報紙論文看起來要小,但因其余6項評價指標在加權(quán)標準化后較其他報紙論文與正理想樣本更為接近,特別是在正負理想樣本指標數(shù)值相差最大的“政府機構(gòu)網(wǎng)站提及量”評價指標中,該報紙論文評價值為所有論文的最大值,該報紙論文的影響力表現(xiàn)最接近正理想樣本,因此該論文成為綜合評價結(jié)果排序的第2名。由此可知,利用相對貼近度對報紙論文進行綜合評價排序,既不容易受到指標數(shù)值大小的影響,又能減少報紙論文影響力弱項的影響,突顯了報紙論文影響力的優(yōu)勢。

    5.5 綜合評價方法效果分析

    實證研究結(jié)果表明,本文提出的融合引文計量與Altmetrics的報紙論文影響力綜合評價方法不但具有可行性,而且對存在“偏科”現(xiàn)象或評價指標數(shù)據(jù)缺失的情況十分有效。在實際評價中,因為不同的評價指標的獲取難度和周期不一樣,往往會出現(xiàn)部分評價對象的部分評價指標數(shù)據(jù)缺失的情況。如果使用常規(guī)的線性加權(quán)法,評價指標數(shù)據(jù)缺失會拉低綜合評價結(jié)果,難以反映評價對象的真實水平。而本文提出的與理想樣本的相對貼近度綜合評價方法能有效地突顯報紙論文在每項評價指標的表現(xiàn),即使報紙論文在部分評價指標中數(shù)據(jù)缺失或表現(xiàn)不佳,也能通過其他評價指標的優(yōu)秀表現(xiàn)來體現(xiàn)報紙論文的綜合影響力。

    此外,在使用報紙論文影響力評價指標對報紙論文評價時,不同評價指標的數(shù)值表示的內(nèi)涵往往不相同。如報紙論文在引用數(shù)據(jù)庫增加被引用1次和該報紙論文的h指數(shù)增加1所代表的含義是不一樣的,兩者的重要性也不一樣,一般來說h指數(shù)增加1的難度要比被引次數(shù)增加1更大,那么在綜合計算時如果將這兩項評價指標增加的1單純地相加處理,綜合評價結(jié)果就會失真。所以,在使用多指標進行綜合評價時,要重視評價指標數(shù)值之間內(nèi)涵的差異性,以防評價結(jié)果失真。本文提出的相對貼近度綜合評價方法沒有對不同的評價指標值進行相加等線性處理,而是以每項評價指標內(nèi)部與理想樣本的差異來進行比對,得到與理想樣本的相對貼近度來對報紙論文進行排序,有效地避免了不同評價指標之間數(shù)據(jù)內(nèi)涵差異問題。

    綜上,融合引文計量與Altmetrics的報紙論文影響力綜合評價方法可行、有效,基于TOPSIS方法和灰色關(guān)聯(lián)分析法相結(jié)合的綜合評價結(jié)果合成方法不僅能綜合評價報紙論文在學術(shù)影響力和社會影響力的不同方面的表現(xiàn),還能在指標數(shù)據(jù)缺失或出現(xiàn)“偏科”現(xiàn)象的時候有效地評價報紙論文的影響力,也能避免不同評價指標數(shù)據(jù)不具可比性的問題。

    6 結(jié)語

    本文提出了融合引文計量和Altmetrics兩方面屬性的完整的報紙論文影響力綜合評價方法,選擇了包括4項引文指標、8項Altmetrics指標共同構(gòu)成報紙論文的學術(shù)影響力評價指標體系,設計了觀測數(shù)據(jù)采集和指標數(shù)據(jù)計算及標準化的方法,討論了評價指標權(quán)重的確定方法,并選用變異系數(shù)的客觀賦權(quán)法來確定報紙論文影響力評價指標的權(quán)重系數(shù)。最后,選用TOPSIS作為報紙論文影響力綜合評價結(jié)果合成的基本方法,并針對TOPSIS方法缺陷,將TOPSIS方法與灰色關(guān)聯(lián)分析方法相結(jié)合,設計了計算報紙論文與理想樣本相對貼近度的流程與算法,從而可以根據(jù)相對貼近度的大小來評價報紙論文影響力。

    以2014年《光明日報》理論版的報紙論文為對象的實證研究表明,融合引文計量與Altmetrics的報紙論文影響力綜合評價方法既能考慮反映了報紙論文學術(shù)影響力,也反映了報紙論文的社會影響力,評價結(jié)果較為合理。結(jié)合TOPSIS方法與灰色關(guān)聯(lián)分析方法的報紙論文影響力綜合評價結(jié)果合成,有效地避免了不同評價指標之間的數(shù)據(jù)差異性問題,并能在某些評價指標表現(xiàn)不佳或數(shù)據(jù)缺失時突出報紙論文在其他方面的優(yōu)勢。

    猜你喜歡
    影響力報紙理想
    理想之光,照亮前行之路
    金橋(2022年7期)2022-07-22 08:32:10
    2021款理想ONE
    汽車觀察(2021年11期)2021-04-24 20:47:38
    理想
    你是我的理想型
    花火彩版A(2021年11期)2021-02-08 12:42:52
    報紙
    賣報紙
    可以吃的報紙
    天才影響力
    NBA特刊(2018年14期)2018-08-13 08:51:40
    賣報紙
    黃艷:最深遠的影響力
    人大建設(2017年11期)2017-04-20 08:22:49
    精品国产国语对白av| 中文字幕精品免费在线观看视频| 两个人看的免费小视频| 日韩免费高清中文字幕av| 老司机在亚洲福利影院| 丰满饥渴人妻一区二区三| 日韩制服丝袜自拍偷拍| 亚洲第一青青草原| 肉色欧美久久久久久久蜜桃| 国产极品粉嫩免费观看在线| 丰满乱子伦码专区| 男男h啪啪无遮挡| 9热在线视频观看99| 亚洲精品中文字幕在线视频| 免费少妇av软件| 91精品三级在线观看| 中文字幕人妻丝袜制服| 成人手机av| 精品一区二区免费观看| 精品少妇久久久久久888优播| 亚洲国产最新在线播放| 婷婷成人精品国产| 一个人免费看片子| 男女床上黄色一级片免费看| 在线观看免费高清a一片| 日韩中文字幕欧美一区二区 | 妹子高潮喷水视频| 考比视频在线观看| 精品福利永久在线观看| 中文精品一卡2卡3卡4更新| 精品一区在线观看国产| 欧美日韩亚洲国产一区二区在线观看 | 一级毛片黄色毛片免费观看视频| 欧美日本中文国产一区发布| 国产熟女欧美一区二区| 国产精品一国产av| √禁漫天堂资源中文www| 99久久99久久久精品蜜桃| 一级a爱视频在线免费观看| 成年av动漫网址| 日韩精品免费视频一区二区三区| 亚洲精品美女久久av网站| 中文天堂在线官网| e午夜精品久久久久久久| 亚洲精品国产色婷婷电影| 王馨瑶露胸无遮挡在线观看| 亚洲三区欧美一区| 亚洲成人免费av在线播放| 久久av网站| 人体艺术视频欧美日本| 精品国产一区二区久久| 免费av中文字幕在线| 91精品国产国语对白视频| 老司机影院成人| 如何舔出高潮| 欧美老熟妇乱子伦牲交| 伊人亚洲综合成人网| 久久久久精品久久久久真实原创| 国产日韩一区二区三区精品不卡| 亚洲欧美中文字幕日韩二区| 免费黄频网站在线观看国产| 伦理电影大哥的女人| 日韩av不卡免费在线播放| 桃花免费在线播放| 午夜日韩欧美国产| 亚洲国产成人一精品久久久| 高清视频免费观看一区二区| 婷婷色麻豆天堂久久| 色吧在线观看| 91精品伊人久久大香线蕉| 精品少妇内射三级| 又黄又粗又硬又大视频| 一级a爱视频在线免费观看| 涩涩av久久男人的天堂| 午夜福利,免费看| 看十八女毛片水多多多| 国产精品国产三级专区第一集| 一区在线观看完整版| 啦啦啦在线观看免费高清www| 国产成人av激情在线播放| 伦理电影免费视频| 亚洲婷婷狠狠爱综合网| 99久久综合免费| 99久久99久久久精品蜜桃| 亚洲国产精品成人久久小说| 婷婷成人精品国产| 欧美精品高潮呻吟av久久| 中文字幕人妻丝袜一区二区 | 国产精品久久久久久久久免| 久久久欧美国产精品| 电影成人av| 久久ye,这里只有精品| 美女国产高潮福利片在线看| 最近2019中文字幕mv第一页| 黑人巨大精品欧美一区二区蜜桃| 大话2 男鬼变身卡| 免费人妻精品一区二区三区视频| 丁香六月欧美| 女人被躁到高潮嗷嗷叫费观| 日本欧美视频一区| 中文字幕人妻丝袜制服| 国产成人免费观看mmmm| 搡老乐熟女国产| 欧美人与性动交α欧美软件| 精品卡一卡二卡四卡免费| 国产免费视频播放在线视频| 一边摸一边抽搐一进一出视频| 免费黄色在线免费观看| 欧美97在线视频| 国产高清不卡午夜福利| 亚洲精品国产区一区二| av卡一久久| 2021少妇久久久久久久久久久| 国产一级毛片在线| 午夜免费男女啪啪视频观看| 禁无遮挡网站| www.精华液| 成人欧美大片| 97碰自拍视频| 免费高清视频大片| 日本一区二区免费在线视频| 成人18禁高潮啪啪吃奶动态图| 女性被躁到高潮视频| 一区二区三区高清视频在线| 99国产精品免费福利视频| 一边摸一边抽搐一进一小说| 99精品久久久久人妻精品| 级片在线观看| 久久青草综合色| 桃色一区二区三区在线观看| 久久久精品国产亚洲av高清涩受| 丝袜人妻中文字幕| 黄片大片在线免费观看| 国产aⅴ精品一区二区三区波| 亚洲va日本ⅴa欧美va伊人久久| 好男人电影高清在线观看| 在线观看免费视频网站a站| 香蕉丝袜av| 可以在线观看的亚洲视频| 黄片播放在线免费| 亚洲国产精品合色在线| 在线观看免费视频网站a站| 在线免费观看的www视频| 国产成人精品无人区| 老司机午夜十八禁免费视频| 看黄色毛片网站| 日本免费一区二区三区高清不卡 | 女警被强在线播放| 中文字幕久久专区| 精品一区二区三区视频在线观看免费| 欧美午夜高清在线| 色精品久久人妻99蜜桃| 91老司机精品| 麻豆久久精品国产亚洲av| 国产精品免费一区二区三区在线| 亚洲av熟女| 亚洲avbb在线观看| 亚洲va日本ⅴa欧美va伊人久久| 亚洲欧美激情在线| 国产蜜桃级精品一区二区三区| 免费高清在线观看日韩| 国产成人欧美在线观看| 精品国产国语对白av| 人人妻,人人澡人人爽秒播| 亚洲精品美女久久av网站| 好男人在线观看高清免费视频 | 久久精品成人免费网站| 法律面前人人平等表现在哪些方面| 天堂√8在线中文| 18美女黄网站色大片免费观看| 两个人看的免费小视频| 搡老岳熟女国产| 色精品久久人妻99蜜桃| 午夜日韩欧美国产| 在线免费观看的www视频| 国产麻豆69| 国产精品国产高清国产av| 日韩欧美三级三区| 中出人妻视频一区二区| 老司机靠b影院| 国产伦人伦偷精品视频| 日日夜夜操网爽| 男女午夜视频在线观看| 又大又爽又粗| 91九色精品人成在线观看| 欧美在线黄色| 日本一区二区免费在线视频| 亚洲五月色婷婷综合| 国产三级黄色录像| 伦理电影免费视频| 波多野结衣av一区二区av| 视频在线观看一区二区三区| 一本大道久久a久久精品| 国产精品久久久久久精品电影 | 最新在线观看一区二区三区| 亚洲熟女毛片儿| 亚洲无线在线观看| 制服人妻中文乱码| 人人妻人人澡欧美一区二区 | 免费在线观看影片大全网站| 性色av乱码一区二区三区2| av天堂久久9| 成人国产一区最新在线观看| 亚洲五月天丁香| 国产在线精品亚洲第一网站| 亚洲美女黄片视频| 69精品国产乱码久久久| 亚洲一区中文字幕在线| 欧美日韩中文字幕国产精品一区二区三区 | 日韩有码中文字幕| 老司机深夜福利视频在线观看| 国产免费av片在线观看野外av| 精品欧美国产一区二区三| 欧美绝顶高潮抽搐喷水| 国产精品香港三级国产av潘金莲| 免费在线观看完整版高清| 99国产精品一区二区三区| 自线自在国产av| 久久久精品欧美日韩精品| 午夜免费激情av| 成人三级做爰电影| 国产亚洲精品av在线| 亚洲伊人色综图| 最近最新中文字幕大全免费视频| 中文字幕最新亚洲高清| 亚洲国产毛片av蜜桃av| 国产av又大| 9191精品国产免费久久| 国产精品一区二区三区四区久久 | 在线观看日韩欧美| 中文亚洲av片在线观看爽| 日本 av在线| 国产欧美日韩综合在线一区二区| 亚洲av五月六月丁香网| 久久中文字幕人妻熟女| 9色porny在线观看| 黄色女人牲交| 精品久久蜜臀av无| 韩国精品一区二区三区| 国产精华一区二区三区| 国产精品免费视频内射| 亚洲一码二码三码区别大吗| 国产伦一二天堂av在线观看| 亚洲精品粉嫩美女一区| 91大片在线观看| 国产av在哪里看| a在线观看视频网站| 亚洲国产日韩欧美精品在线观看 | 国产成人影院久久av| 久久久久久久久中文| 久久精品国产清高在天天线| 老司机福利观看| 欧美+亚洲+日韩+国产| 桃红色精品国产亚洲av| 久久精品aⅴ一区二区三区四区| www.www免费av| 欧美日本视频| 啦啦啦 在线观看视频| 免费久久久久久久精品成人欧美视频| 日本免费一区二区三区高清不卡 | 国产欧美日韩一区二区三区在线| av网站免费在线观看视频| 精品第一国产精品| 欧美一区二区精品小视频在线| 免费高清在线观看日韩| 青草久久国产| 免费在线观看完整版高清| 啪啪无遮挡十八禁网站| 色av中文字幕| 欧美性长视频在线观看| 亚洲少妇的诱惑av| or卡值多少钱| 校园春色视频在线观看| 免费无遮挡裸体视频| 国产免费av片在线观看野外av| 午夜福利在线观看吧| 亚洲天堂国产精品一区在线| 老汉色∧v一级毛片| 国产精品九九99| 亚洲一区高清亚洲精品| 少妇熟女aⅴ在线视频| av欧美777| 国产成人影院久久av| 夜夜躁狠狠躁天天躁| 伊人久久大香线蕉亚洲五| 免费看美女性在线毛片视频| 国产激情欧美一区二区| 人人妻人人爽人人添夜夜欢视频| 黄色丝袜av网址大全| 女人高潮潮喷娇喘18禁视频| 国产欧美日韩综合在线一区二区| 亚洲精品中文字幕在线视频| 青草久久国产| 精品不卡国产一区二区三区| 久久久久久久久久久久大奶| 国产精品乱码一区二三区的特点 | 淫妇啪啪啪对白视频| 在线观看免费视频网站a站| 很黄的视频免费| 亚洲 欧美 日韩 在线 免费| 一级片免费观看大全| 国产伦一二天堂av在线观看| 免费高清在线观看日韩| 丁香六月欧美| 欧美日本中文国产一区发布| 国产日韩一区二区三区精品不卡| 纯流量卡能插随身wifi吗| 少妇被粗大的猛进出69影院| 美女免费视频网站| 丰满的人妻完整版| 99riav亚洲国产免费| 国产aⅴ精品一区二区三区波| 香蕉久久夜色| 无遮挡黄片免费观看| 免费看十八禁软件| 国产片内射在线| 日韩精品中文字幕看吧| 久久久国产欧美日韩av| 少妇被粗大的猛进出69影院| 精品熟女少妇八av免费久了| 可以在线观看毛片的网站| 91字幕亚洲| 露出奶头的视频| 成年人黄色毛片网站| 99国产精品一区二区三区| 亚洲成人国产一区在线观看| 欧美日韩福利视频一区二区| 我的亚洲天堂| 男人舔女人的私密视频| 国产精品精品国产色婷婷| 高清在线国产一区| 精品一区二区三区视频在线观看免费| 亚洲精品美女久久久久99蜜臀| 性少妇av在线| 窝窝影院91人妻| 免费av毛片视频| 久久性视频一级片| 一级毛片精品| 人人妻人人澡欧美一区二区 | 麻豆一二三区av精品| 日韩成人在线观看一区二区三区| 色精品久久人妻99蜜桃| 国内精品久久久久精免费| 国产不卡一卡二| 老鸭窝网址在线观看| 一级毛片女人18水好多| 国产xxxxx性猛交| 欧美成人一区二区免费高清观看 | 1024香蕉在线观看| 色av中文字幕| 久久人人精品亚洲av| 女警被强在线播放| 亚洲熟女毛片儿| 高清黄色对白视频在线免费看| 在线国产一区二区在线| 88av欧美| 日韩欧美在线二视频| 村上凉子中文字幕在线| 99香蕉大伊视频| 久久国产精品影院| 亚洲欧美一区二区三区黑人| 波多野结衣巨乳人妻| 欧美午夜高清在线| 99香蕉大伊视频| 亚洲国产精品合色在线| 亚洲成av片中文字幕在线观看| 国产国语露脸激情在线看| 波多野结衣巨乳人妻| 欧美日本亚洲视频在线播放| 免费看十八禁软件| 国产精品免费一区二区三区在线| 亚洲熟妇中文字幕五十中出| 精品欧美一区二区三区在线| 欧美亚洲日本最大视频资源| 精品人妻在线不人妻| 一级片免费观看大全| 国产日韩一区二区三区精品不卡| or卡值多少钱| 日韩欧美在线二视频| 午夜福利高清视频| 99国产综合亚洲精品| 法律面前人人平等表现在哪些方面| 久久精品影院6| 免费不卡黄色视频| 久久精品国产综合久久久| 一进一出好大好爽视频| 国产亚洲欧美98| 精品国产亚洲在线| 国产亚洲精品久久久久5区| 啦啦啦观看免费观看视频高清 | 亚洲一码二码三码区别大吗| 国产乱人伦免费视频| 久久精品91无色码中文字幕| 久久久久久免费高清国产稀缺| 黄片大片在线免费观看| 老熟妇仑乱视频hdxx| 国产国语露脸激情在线看| 波多野结衣高清无吗| e午夜精品久久久久久久| 久久久久亚洲av毛片大全| 精品一区二区三区四区五区乱码| 无遮挡黄片免费观看| 首页视频小说图片口味搜索| 欧美在线黄色| 日韩欧美国产在线观看| 男女床上黄色一级片免费看| 一级毛片高清免费大全| 国产伦人伦偷精品视频| 亚洲欧美精品综合一区二区三区| 禁无遮挡网站| 12—13女人毛片做爰片一| 99精品久久久久人妻精品| 伊人久久大香线蕉亚洲五| 欧美色欧美亚洲另类二区 | 亚洲精品国产色婷婷电影| 欧美老熟妇乱子伦牲交| 丁香六月欧美| 少妇裸体淫交视频免费看高清 | 成熟少妇高潮喷水视频| 1024香蕉在线观看| 国产激情欧美一区二区| 免费看美女性在线毛片视频| 精品福利观看| 国产av又大| 91字幕亚洲| 桃色一区二区三区在线观看| av在线播放免费不卡| 午夜久久久在线观看| 国产欧美日韩一区二区三| 国产aⅴ精品一区二区三区波| 91成人精品电影| 99久久国产精品久久久| 亚洲中文字幕日韩| 国内毛片毛片毛片毛片毛片| 在线国产一区二区在线| 日本精品一区二区三区蜜桃| 精品熟女少妇八av免费久了| 亚洲成人免费电影在线观看| 亚洲国产精品成人综合色| 咕卡用的链子| 久久久水蜜桃国产精品网| 久久久久精品国产欧美久久久| 在线视频色国产色| 国产国语露脸激情在线看| 久久精品91蜜桃| 搡老妇女老女人老熟妇| 91在线观看av| 欧美日韩中文字幕国产精品一区二区三区 | 狠狠狠狠99中文字幕| 丁香六月欧美| av有码第一页| 亚洲国产欧美网| 免费观看人在逋| 777久久人妻少妇嫩草av网站| 久久久久久久精品吃奶| 亚洲成人免费电影在线观看| 午夜两性在线视频| 一边摸一边抽搐一进一小说| 日本免费一区二区三区高清不卡 | 国产高清激情床上av| 9色porny在线观看| 亚洲狠狠婷婷综合久久图片| 757午夜福利合集在线观看| 又大又爽又粗| 大型黄色视频在线免费观看| 色综合欧美亚洲国产小说| 精品国产美女av久久久久小说| 高潮久久久久久久久久久不卡| 亚洲中文av在线| 亚洲一区二区三区不卡视频| 国产精品 国内视频| 999精品在线视频| 操美女的视频在线观看| 亚洲精品久久成人aⅴ小说| 最近最新中文字幕大全电影3 | 欧美激情高清一区二区三区| 亚洲专区国产一区二区| 久久久国产成人免费| 亚洲美女黄片视频| 日韩欧美国产在线观看| 久久久久久大精品| 精品福利观看| 久99久视频精品免费| 国产在线观看jvid| 人人澡人人妻人| 91成年电影在线观看| 亚洲午夜精品一区,二区,三区| 国产亚洲av嫩草精品影院| 婷婷精品国产亚洲av在线| 国产精品久久电影中文字幕| 啦啦啦 在线观看视频| 熟妇人妻久久中文字幕3abv| 在线观看免费日韩欧美大片| 人人妻人人澡欧美一区二区 | 国产午夜精品久久久久久| 午夜福利影视在线免费观看| 亚洲人成电影观看| 12—13女人毛片做爰片一| 国产成人欧美在线观看| 亚洲av美国av| 国产成+人综合+亚洲专区| 最近最新免费中文字幕在线| 色哟哟哟哟哟哟| 首页视频小说图片口味搜索| 欧美黄色片欧美黄色片| 久久婷婷成人综合色麻豆| 女警被强在线播放| 一区福利在线观看| 久久 成人 亚洲| 亚洲欧美一区二区三区黑人| 亚洲精品国产区一区二| 国产成人一区二区三区免费视频网站| 欧美av亚洲av综合av国产av| 亚洲在线自拍视频| 叶爱在线成人免费视频播放| 亚洲人成网站在线播放欧美日韩| 极品人妻少妇av视频| 欧美黑人精品巨大| 成人欧美大片| 国产亚洲精品久久久久5区| 在线观看66精品国产| 亚洲人成电影免费在线| avwww免费| 亚洲精品av麻豆狂野| 搡老妇女老女人老熟妇| 亚洲精品中文字幕在线视频| 大码成人一级视频| 国产精品二区激情视频| 欧美乱色亚洲激情| 制服诱惑二区| 一级a爱片免费观看的视频| 50天的宝宝边吃奶边哭怎么回事| 午夜亚洲福利在线播放| 亚洲精品国产区一区二| 自拍欧美九色日韩亚洲蝌蚪91| 男女床上黄色一级片免费看| 不卡av一区二区三区| 国产精华一区二区三区| 亚洲国产毛片av蜜桃av| 怎么达到女性高潮| 中文字幕另类日韩欧美亚洲嫩草| 久久精品亚洲熟妇少妇任你| 一级作爱视频免费观看| 久久亚洲精品不卡| 看片在线看免费视频| 亚洲精华国产精华精| 乱人伦中国视频| 国内久久婷婷六月综合欲色啪| 午夜福利免费观看在线| 久热爱精品视频在线9| 三级毛片av免费| 丰满的人妻完整版| 女人爽到高潮嗷嗷叫在线视频| 高清毛片免费观看视频网站| 免费看a级黄色片| 中文字幕最新亚洲高清| 91av网站免费观看| 麻豆久久精品国产亚洲av| 亚洲av电影不卡..在线观看| 色综合站精品国产| 一级a爱视频在线免费观看| 性少妇av在线| 88av欧美| 色老头精品视频在线观看| 在线观看日韩欧美| 黄色女人牲交| 午夜福利影视在线免费观看| 精品欧美国产一区二区三| 日韩 欧美 亚洲 中文字幕| 久久 成人 亚洲| 免费看十八禁软件| 无遮挡黄片免费观看| 日韩大尺度精品在线看网址 | 色哟哟哟哟哟哟| 欧美另类亚洲清纯唯美| 亚洲av日韩精品久久久久久密| 在线观看66精品国产| 国产97色在线日韩免费| 免费高清视频大片| 欧美精品亚洲一区二区| 两人在一起打扑克的视频| 亚洲久久久国产精品| 欧美国产精品va在线观看不卡| 99精品久久久久人妻精品| 国产蜜桃级精品一区二区三区| 91九色精品人成在线观看| 亚洲色图 男人天堂 中文字幕| 一a级毛片在线观看| 麻豆一二三区av精品| a在线观看视频网站| 国产精品久久久av美女十八| 欧美最黄视频在线播放免费| 1024视频免费在线观看| 亚洲欧美日韩无卡精品| 日日爽夜夜爽网站| 日韩大码丰满熟妇| 国产又爽黄色视频| 热re99久久国产66热| 18禁裸乳无遮挡免费网站照片 | 国产91精品成人一区二区三区| 搡老熟女国产l中国老女人| 欧美色视频一区免费| 国产免费av片在线观看野外av| av电影中文网址| 真人一进一出gif抽搐免费| 日韩欧美一区视频在线观看| 黑人操中国人逼视频| 91国产中文字幕| 日本 av在线| 亚洲一区二区三区不卡视频| av福利片在线| 欧美老熟妇乱子伦牲交| 美女国产高潮福利片在线看| 亚洲成a人片在线一区二区| 99国产精品免费福利视频|