• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    學術評價中個體權重、整體權重與偽權重問題研究*
    ——以線性評價及JCR 經濟學期刊評價為例

    2022-10-19 12:48:28俞立平潘偉波
    情報雜志 2022年10期
    關鍵詞:均值權重標準化

    俞立平 潘偉波

    (1.浙江工商大學 統(tǒng)計與數學學院 杭州 310018;2.浙江工商大學 統(tǒng)計數據工程技術與應用協(xié)同創(chuàng)新中心 杭州 310018)

    0 引 言

    在學術評價中,采用指標體系多屬性評價已經成為重要的研究方法。目前的一些主流評價,如泰晤士報世界大學排名、軟科世界大學學術排名、北京大學核心期刊評價、南京大學CSSCI期刊評價、教育部學科排名等等,均廣泛采用指標體系評價方法。采用指標體系評價,具有評價內容全面、信息量大、更加貼近管理需要的優(yōu)點,即使在破“五唯”背景下,采用指標體系進行多屬性評價仍然是非常重要的研究方法。

    指標體系多屬性評價方法包括線性評價方法與非線性評價方法。所謂線性評價方法,就是評價得分與評價指標是嚴格的線性相等關系。計算時首先采用某種方法確定評價指標權重,然后將評價指標進行標準化,最后再進行加權匯總得到評價結果。所謂非線性評價方法,就是指評價得分與評價指標之間是非線性關系。評價方法包括主成分分析、因子分析、灰色關聯(lián)分析、DEA數據包絡分析、TOPSIS、VIKOR、康拓對角線等等。在實際應用的學術評價體系中,大部分采用的是線性評價方法。

    權重問題是學術評價中非常重要的基礎問題。在線性評價中,所有的評價方法均離不開權重,在非線性評價中,許多評價方法也用到權重。由于實際的學術評價應用以線性評價方法為主,這樣權重問題就變成一個非常突出的問題。

    分析整體權重與個體權重是個全新的視角。所謂整體權重,就是作為評價對象總體而言,其指標總體的相對重要性問題,這也是傳統(tǒng)研究中較多得到關注的。個體權重是個新的概念,所謂個體權重,就是指在線性評價中,針對某個具體的評價對象,其評價指標在評價得分中的相對重要性。對于個體權重,學術界較少關注。相關問題包括,整體權重與個體權重的計算方法?它們與設計權重即專家權重的關系?實際權重與設計權重一致嗎?如果不一致,其產生的原因是什么?設計權重與實際權重不一致的偽權重問題能否消除以及如何消除?偽權重對整體權重與個體權重的影響如何?整體權重、個體權重中的偽權重問題對學術評價具有什么影響?

    整體權重、個體權重的計算及與設計權重的關系研究是學術評價的基礎問題,對于推進科技評價理論與多屬性評價方法具有重要意義。鑒于研究的基礎性,以JCR經濟學期刊為例,針對線性評價方法開展相關研究,但是其涉及的個體權重與整體權重問題其實廣泛存在于大學評價、學術期刊評價、學科評價、團隊評價等應用中。研究主要創(chuàng)新體現(xiàn)在,首次提出個體權重問題,并與整體權重放在一個框架下開展研究,分析整體權重、個體權重對設計權重與實際權重的影響,從而豐富了科技評價權重理論。

    1 文獻綜述

    權重問題是學術評價的基礎問題,廣泛應用在評價指標設計、專家權重分配、指標體系評價方法、指標體系權重應用、科技評價指標關系的分析中。

    在學術評價指標設計的相關權重研究中,Hagen[1]認為在進行學者影響力學術跡評估時,采用合作者等權重會造成平均或夸大影響力偏差。Abbas[2]指出對于合作論文,第一作者權重應大于第二作者,第二作者權重應大于第三作者,總權重為1。唐璞妮等[3]為平衡論文合著者的貢獻,在學術跡的基礎上引入作者貢獻率,以更準確地評價不同學者學術影響力及其貢獻。鄭美鶯等[4]提出基于期刊質量權重的影響因子計算方法,采用期刊影響因子占所有期刊影響因子的比重作為該刊質量的權重。許海云等[6]對計算影響因子時期刊文獻類型等同進行改進,結合專家建議和序關系轉換權重原理,得到基于期刊文獻類型的序關系轉換權重的影響因子。

    在同行評議不同專家的權重賦值研究中,Ganesh[6]在假設專家之間相互熟悉的前提下,通過專家之間的互評來確定專家權重。張立軍等[7]在學術評價中運用信度系數建立專家權重,在模糊綜合評價模型的專家評分環(huán)節(jié)考慮評審專家的水平差異。林強[8]按知識結構、課題熟悉度、社會知名度、學術地位建立專家綜合水平模型,以確定專家權重。

    在指標體系評價方法的權重研究中,Hagerty等[9]區(qū)分評價主體存在與否,證明算術平均賦權是能夠減少分歧的最佳賦權方法。Edwards等[10]指出序和法對重要屬性權重賦值偏低,提出秩重心權重法,通過序數的倒數計算權重。張愛琴等[11]在學術期刊評價研究中,發(fā)現(xiàn)加權TOPSIS法不具有權重單調性,提出了分子加權TOPSIS方法,解決了權重單調性問題。熊國經等[12]以圖情類期刊為例,構建PLS路徑模型得到各指標外部權重,然后采用熵權法的差異系數對外部權重進行修正,得到各指標的權重,最后用加權TOPSIS法進行評價。王瑛等[13]采用CRITIC法和理想解法構建了基于復合權重科技成果立體綜合評價模型。此外還有大量的研究集中在權重賦值方法與權重優(yōu)化的研究中。

    在指標體系評價的權重應用研究中,俞立平[15]將權重分為設計權重、自然權重、實際權重,從理論上分析了三者之間的關系,并提出了動態(tài)最大均值逼近標準化方法,徹底消除了自然權重問題。郭曉晶等[15]采用專家層次分析法、對比排序法、直接評分法作為主觀賦權法代表,采用CRITIC、熵權法、標準離差法作為客觀賦權法代表,綜合確定科技評價指標體系權重。杜向民等[16]在同行評議評價中,提出學術規(guī)范、科學性、研究價值、創(chuàng)新度、難易度的指標體系,并采用AHP方法確定指標權重。該領域的權重研究成果眾多,絕大多數指標體系評價均涉及到權重相關問題研究。

    在評價指標關系的相關權重研究中,李亮等[17]以《情報學報》為例,基于社會網絡分析法,對國內情報學領域的合著網絡進行系統(tǒng)分析,得到核心作者網絡。孫桂娟等[18]采用DANP方法分析高校智庫國際影響力、決策影響力、網絡影響力、學術影響力之間的網絡關系和權重。劉洋等[19]引入論文權重因子表示論文質量,提出一種帶權重的社會網絡模型來表示合著網絡。需要特別說明的是,評價指標的篩選是整個評價的基礎[20]。

    從現(xiàn)有的研究看,權重已經進入學術評價的方方面面,在評價指標角度,包括不同作者權重、不同單位權重、不同引用關系權重、不同文獻類型權重等等;在不同專家權重的研究中,涉及根據不同專家的學術水平與影響力來設置不同的權重進行評價;在多屬性評價方法中,權重與評價方法密切相關;在多屬性評價方法的應用中,涉及采用不同的權重賦值方法;在指標體系涉及的變量關系研究中,基于社會網絡分析、回歸分析的許多研究也離不開權重。總體上,在以下方面有待進一步深入:

    第一,在學術評價中,整體權重涉及的自然權重、設計權重、實際權重問題已經得到討論,至于其解決方法,有待進一步拓展。

    第二,關于個體權重的研究尚處于探索之中,現(xiàn)有的研究中,有一些研究談及權重對評價個體的影響,但個體權重的計算方法、包括對其進行的全面系統(tǒng)分析缺乏,有待進一步深入。

    第三,關于個體權重的影響因素,該領域相關研究缺乏,需要進行全面的分析。

    第四,關于個體權重與整體權重的關系,以及在整體權重視角下如何看待個體權重,包括評價對象個體如何應對評價的權重導向,這方面也需要進一步研究。

    2 整體權重與個體權重的理論分析

    在傳統(tǒng)的學術評價中,權重相關問題一般都是缺省指向整體權重的,因此首先對整體權重進行分析,然后再分析個體權重的相關問題。

    2.1 整體權重的相關問題分析

    a.線性評價中整體權重的計算及與實際權重的關系。通常情況下,線性學術評價的計算公式如下:

    Cij=ω1Xi1+ω2Xi2+…+ωnXin

    (1)

    式(1)中,ωj表示權重,Xij表示標準化后的評價指標值,n為評價指標數量,此外設定評價對象即總體數量為m。ωj的確定方式可以是主觀賦權,也可以是客觀賦權,或者主客觀結合賦權,不過在主流的學術評價應用中,ωj的確定方式一般采用專家賦權。俞立平[14]將ωj稱為設計權重,即在學術評價時根據評價目的確定的權重。

    在線性評價中,其實還有另外一個概念即實際權重,傅榮[21]稱其為結果權重,用該指標的加權匯總值占評價得分的匯總值表示:

    式(2)中Wj表示實際權重,很明顯,通常情況下設計權重與實際權重并不相等,除非標準化后各學術評價指標的均值相等。俞立平將指標標準化后由于均值不等產生的權重稱為自然權重。

    b.整體權重的偽權重問題及其修正。從以上分析可以看出,設計權重普遍存在與實際權重不相等現(xiàn)象,將其稱為偽權重問題,因此必須找到一種標準化處理方法,使得各指標標準化后均值相等。為此俞立平提出動態(tài)最大均值逼近標準化方法,其基本原理如圖1所示。

    圖1 標準化過程

    標準化步驟如下:

    第一,首先按照極大值法標準化,找到所有指標標準化后的最大均值K,假設該指標為X’。

    第二,除了指標X’以外,對于其他指標Xj,加上K與Xj均值的差,此時極大值為大于1。

    第三,對Xj采用極大值法進行二次標準化,以解決極大值大于1問題,由于均值又縮小,所以繼續(xù)回到第二步。如此反復循環(huán),直到第二步極大值可接受,比如極大值小于1.01,即在1%的誤差范圍內。注意這種標準化方法可以無限逼近最大均值,但總會存在一定的誤差。

    需要說明的是,鑒于動態(tài)最大均值逼近標準化方法中,最大均值的指標對評價會產生較大影響,因此對于一些數據分布異常的指標,應考慮采用其他非線性標準化方法進行標準化。

    除了以上提到的方法外,基于sigmoid函數進行標準化也具有一定的縮小指標標準化值均值差異的效果。俞立平等[22]在分析多屬性評價值評價功能的影響機制的基礎上,提出基于Sigmoid函數進行無量綱處理,可以在一定程度上減少自然權重帶來的影響。

    Sigmoid函數圖像如圖2所示。它具有成長曲線的特征,有明顯的拐點,并且標準化值相對百分制評價具有直接優(yōu)劣判斷功能,不過其是一種非線性評價方法。

    圖2 sigmoid函數

    采用sigmoid函數對評價指標標準化處理,第一步是計算指標z值,即:

    (3)

    式(3)中,zij值為z值,Xij為學術評價指標原始指標,μj為該指標均值,σj為該指標的標準差。

    將zij代入sigmoid函數,就得到標準化后的學術評價指標Y,即:

    (4)

    c.兩種偽權重修正方法的比較。動態(tài)最大均值逼近標準化方法與sigmoid函數標準化比較如表1所示。動態(tài)最大均值逼近標準化方法的場景模擬沒有任何限制,適用范圍較廣,它是一種線性變換,計算過程由于要進行循環(huán),所以略顯繁瑣,對整體評價的偽權重問題消除效果較好,應用范圍適用于一切多屬性評價。而sigmoid函數標準的場景模擬最好是成長曲線,即處于成長的評價對象,它是一種非線性變換,頗具特色,標準化方法簡捷,對偽權重的消除效果較好,一般應用在時間序列數據的學術評價中,當然也可以兼顧截面數據評價。

    表1 偽權重修正方法比較

    2.2 個體權重的相關問題分析

    a.個體權重的計算及其與實際權重的關系。 對于評價個體Ci而言,其評價得分為:

    Ci=ω1Xi1+ω2Xi2+...+ωnXin

    (5)

    對于指標Xij,其實際權重為:

    (6)

    從式(6)可以看出,個體權重對于個體的每個評價指標而言均不一樣,這是其和整體權重的最大區(qū)別。

    對于單個指標而言,要使得設計權重ωj與實際權重Wj相等,即:

    (7)

    也就是說,除非該指標標準化得分恰好等于評價值,設計權重和實際權重才會相等,這是小概率偶然事件,沒有意義。當然,有一種極端情況個體評價時設計權重與實際權重相等,那就是等權重評價。

    公式(6)還可以進一步改成如下形式:

    (8)

    即實際權重與設計權重之比等于該指標標準化值與評價值之比,也就是說,在個體評價中,標準化指標值越接近評價值,其實際權重與設計權重越接近。

    對于任何一個個體評價,可以分別計算其權重偏離系數,即實際權重與設計權重的偏離程度。個體所有權重的偏離程度通過每個指標權重偏離程度的加權匯總值表示。

    b.個體實際權重的影響因素。從以上分析可以看出,個體實際權重的大小取決于設計權重、評價指標值、標準化方法、評價值等因素。設計權重體現(xiàn)了管理者的意圖與指標的重要性,這是無法修改的;個體各指標的發(fā)展特征不同,個體評價值受個體各評價指標的發(fā)展水平、權重、標準化方法的影響;指標標準化方法會影響個體評價指標值,因而對個體實際權重也會產生影響。

    鑒于討論個體權重的前提是整體的設計權重與實際權重必須相等,因此后續(xù)會在實證研究中比較最大均值逼近標準化方法與sigmoid函數標準化方法對個體權重及其偏離程度的影響。

    c.個體權重的進一步討論。第一,對于個體評價而言,設計權重難以等于實際權重,偽權重問題非常普遍,但這是正?,F(xiàn)象,其產生的根本原因是個體發(fā)展中的不均衡性。關于不均衡性也要辯證看待,有些不均衡性可能是負面的,要加以修正,而有些不均衡性恰恰是個體發(fā)展的優(yōu)勢和特色。比如對于學者而言,有的學者更加側重基礎研究,有的學者更加側重應用研究,而有的學者更加側重社會服務,這樣就導致大多數學者是不均衡發(fā)展的,這其實是值得肯定的。

    第二,設計權重在個體評價時只能得到部分反映。在個體評價中,設計權重與實際權重永遠存在偏差,這種偏差是無法消除的。所以個體評價得分會部分反映管理者的意圖,即部分實際權重,但永遠無法反映全部實際權重,這在理論上是不可行的。

    第三,評價導向會影響個體發(fā)展態(tài)勢。評價導向主要包括兩個方面,一是評價指標導向,即可能增加或刪除部分指標,二是各評價指標的權重(即設計權重)。如果評價與資源分配掛鉤,通常情況下這會影響個體的發(fā)展,即評價個體會不得不重視關鍵指標。這有利有弊,優(yōu)點是可以促進關鍵總體指標增長,缺點是犧牲了個體的發(fā)展個性。

    第四,分類評價的本質就是減小個體評價的權重偏倚。個體評價的設計權重與實際權重是無法完全一致的,但如果分類評價,就會有效提高個體評價的設計權重與實際權重的一致程度。比如科技人才如果統(tǒng)一評價,那么從事基礎研究、應用研究、社會服務的科技人員個體實際權重與設計權重必然相差較大,而單獨評價基礎研究、單獨評價應用研究、單獨評價社會服務的科技人員,細分后的評價對象會擁有更多共性特征,從而使得設計權重與科技人員的發(fā)展個性擁有更好的一致性。

    第五,個體權重屬于管理問題,而整體權重屬于技術問題。而對于整體而言,可以通過優(yōu)化標準化方法來解決設計權重與實際權重不一致問題,因此,這是個技術問題。當然,必須首先解決整體權重問題再來討論個體權重問題,否則沒有意義。對于個體而言,雖然設計權重與實際權重難以一致,但可以從管理角度適當加以優(yōu)化,比如分類評價。

    2.3 實證研究設計

    以JCR經濟學期刊為例,采用專家會議法確定各指標權重。然后先進行整體權重研究,首先采用傳統(tǒng)的極大值標準化方法進行評價,再分別采用最大均值逼近標準化方法、sigmoid函數標準化方法進行標準化,并分別計算不同標準化方法的實際權重以及設計權重與實際權重的偏離度,以比較整體評價中實際權重修正效果。

    在以上討論基礎上,選擇不同標準化方法,再計算個體實際權重,以及個體設計權重與實際權重的偏離度,分析相關問題對個體評價的影響。

    3 研究數據與實證結果

    3.1 研究數據

    以JCR2019經濟學期刊為例進行相關研究,選取的評價指標以及專家確定的初始權重如表2所示。

    表2 評價指標及權重

    一級指標包括3個,分別是知識信息量、影響力、時效性。第一,知識信息量指標主要是載文量,一般而言,載文量越大,期刊的知識信息量越大,期刊知識信息量也是后續(xù)影響力和時效性的基礎。第二,期刊影響力,包括總被引頻次、影響因子、他引影響因子、5年影響因子、即年指標、特征因子、論文影響分值7個指標,總被引頻次是期刊創(chuàng)刊以來的所有論文在統(tǒng)計當年的被引次數,時效性略差一些,另外對辦刊時間較短的期刊不利,因此權重略低。即年指標由于尚未到達被引峰值,因此權重也略低一些,特征因子是根據期刊被引網絡以及被引期刊水平綜合計算,因此權重略高,其他評價指標的權重大致相當。第三,期刊時效性,包括被引半衰期和引用半衰期兩個指標,權重相等。

    需要說明的是,為了提高指標分類的穩(wěn)健性,還采用聚類分析輔助分類,結果如圖3所示。聚類分析將評價指標分為兩類,一類是被引半衰期和引用半衰期,另一類是其他所有指標。一般認為,引用半衰期短的,說明論文寫作時參考最新論文較多,這樣論文的新穎性和時效性也得到一定的保障,而被引半衰期較短本來就說明論文的時效性較好。還有一個指標是即年指標,該指標同時兼具影響力和時效性的特點,聚類分析將其分在影響力大類下,說明其更側重影響力。其實載文量大本身也能夠帶來更大的影響力,將載文量作為期刊信息量的指標單獨列出,主要原因是這是唯一的一個期刊來源指標,載文量信息也比較重要。

    圖3 指標聚類分析結果

    JCR2019經濟學期刊共有373種,由于部分期刊存在數據缺失,主要是期刊辦刊年限較短引起的,經過清洗后還有期刊337種。

    3.2 整體權重的計算

    分別采用極大值標準化、sigmoid函數標準化和動態(tài)最大均值逼近標準化方法進行標準化,然后基于專家給出的設計權重進行線性加權匯總,并分別計算不同標準化方法各指標的整體權重,結果如表3所示。

    表3 不同標準化方法及整體權重的計算結果

    采用極大值標準化,各指標的實際權重與設計權重相差較大,平均偏離度高達94.41%,也就是說,在學術評價中常用的極大值標準化方法會嚴重扭曲設計權重,使得實際權重產生較大的偏差,難以發(fā)揮權重的導向和評價功能。

    采用sigmoid函數標準化,實際權重與設計權重偏離程度總體較低,除了被引半衰期和引用半衰期偏離度分別為6.20%、6.60%外,其他指標的偏離度均較低,平均偏離度為1.61%,這說明采用sigmoid函數標準化,能充分尊重設計權重。

    采用動態(tài)最大均值逼近標準化方法,實際權重與設計權重偏離度最低,除了特征因子的偏離度為6.15%以外,其他指標的偏離度幾乎為0,平均偏離度僅為0.62%。

    綜上可以看出,無論采用sigmoid函數標準化,還是采用動態(tài)最大均值逼近標準化方法,均能大幅降低設計權重與實際權重的不一致程度,有效解決偽權重問題。

    3.3 個體權重的計算

    由于個體權重是每個期刊的實際權重,受設計權重、評價指標值、標準化方法的綜合影響,從而導致每個期刊、每個指標的實際權重均存在較大差異,因此以《經濟展望雜志》(JournalofEconomicPerspectives)為例,同樣分別采用極大值標準化、sigmoid函數標準化、動態(tài)最大均值逼近標準化三種方法進行標準化,并分別計算該期刊各指標的實際權重,以供進一步分析。選取該期刊為例的另外一個原因是,該期刊每個指標均不是極大值,這樣在計算實際權重的時候更具有區(qū)分度。

    采用極大值標準化方法,《經濟展望雜志》的實際權重及其偏離度如表4所示。實際權重與設計權重排序幾乎沒有任何關系,實際權重與設計權重的平均偏離度為62.42%,處于較高水平。

    表4 《經濟展望雜志》極大值標準化個體權重

    采用sigmoid函數標準化方法,《經濟展望雜志》的實際權重及其偏離度如表5所示。實際權重與設計權重排序同樣沒有太大關系,實際權重與設計權重的平均偏離度為28.13%,低于極大值標準化,主要原因這是一種非線性標準化方法,降低了不同期刊評價指標之間的差距。

    采用最大均值逼近標準化方法,《經濟展望雜志》的實際權重及其偏離度如表6所示。實際權重與設計權重排序同樣相差較大,實際權重與設計權重的平均偏離度為41.39%,處于中等水平。其內在原因是采用最大均值作為參照標準標準化,同樣會適當縮小期刊評價指標之間的差距。

    表5 《經濟展望雜志》sigmoid函數標準化個體權重

    表6 《經濟展望雜志》最大均值逼近標準化個體權重

    4 結論與討論

    a.對于整體線性評價而言存在設計權重與實際權重不相等問題。在學術評價中,由于標準化后指標的均值不相等會產生實際權重與設計權重(專家權重)的偏離,也稱為偽權重問題,從而導致專家權重失效,這是線性評價的基礎問題,其嚴重性并沒有得到有效的重視,如果不加以解決,會產生較大的系統(tǒng)誤差。研究數據表明,實際權重對設計權重的偏離度達到94.41%,這會嚴重影響評價結果。

    b.sigmoid函數標準化與動態(tài)最大均值逼近標準化方法均可以有效解決偽權重問題。研究比較了sigmoid標準化方法與動態(tài)最大均值逼近標準化方法對偽權重的影響,研究發(fā)現(xiàn),這兩種方法均可以有效克服偽權重問題,使得實際權重與設計權重接近。實證研究結果表明,其有效率高達98%以上,這為消除線性學術評價中的偽權重問題開辟了新的道路。

    研究發(fā)現(xiàn),應根據不同情況選擇不同的標準化方法以克服偽權重問題。對于時間序列數據評價,以及評價指標數據分布異常情況下,宜采用sigmoid函數標準化,對于截面數據評價以及評價指標數據接近正態(tài)分布的情況,宜采用動態(tài)最大均值逼近標準化方法。另外評價指標發(fā)展規(guī)律接近成長曲線的評價也首選采用sigmoid函數進行標準化。

    c.個體評價中廣泛存在偽權重問題并且理論上不可能消除。個體評價的影響因素比較復雜,受設計權重、指標標準化方法、評價值等因素的綜合影響。對于個體而言,實際權重與設計權重之比等于標準化指標值與評價得分之比。在個體評價中,設計權重與實際權重基本不可能相等,并且從技術上無法消除,實證研究結果也驗證了這種情況。在這種情況下,設計權重的評價導向會適當影響到個體的發(fā)展,分類評價一定程度上可以減小個體評價的偽權重問題。

    d.解決整體評價的偽權重問題是討論個體評價權重問題的基礎。整體評價的權重是討論個體評價權重的基礎,只有首先解決好整體評價的權重問題,才能使個體評價中的設計權重與實際權重問題討論有意義,并且使得個體評價的實際權重計算正確,如果整體權重問題不解決,計算的個體實際權重也是錯誤的。

    e.要辯證看待評價的權重導向作用。對于個體而言,權重的導向作用固然會產生影響,尤其是涉及到資源分配的評價,會使個體更加關注權重較大指標的發(fā)展。但本質上,個體的實際權重與導向權重往往相差較大,因此即使從提高評價得分角度,個體也沒必要太關注評價的權重導向,做好特色指標,形成競爭優(yōu)勢,才是個體發(fā)展真正應該關注的方向。

    猜你喜歡
    均值權重標準化
    標準化簡述
    權重常思“浮名輕”
    當代陜西(2020年17期)2020-10-28 08:18:18
    為黨督政勤履職 代民行權重擔當
    人大建設(2018年5期)2018-08-16 07:09:00
    標準化是綜合交通運輸的保障——解讀《交通運輸標準化體系》
    中國公路(2017年9期)2017-07-25 13:26:38
    基于公約式權重的截短線性分組碼盲識別方法
    電信科學(2017年6期)2017-07-01 15:44:57
    均值不等式失效時的解決方法
    均值與方差在生活中的應用
    論汽車維修診斷標準化(上)
    關于均值有界變差函數的重要不等式
    對偶均值積分的Marcus-Lopes不等式
    成年人午夜在线观看视频 | 亚洲最大成人中文| 精品不卡国产一区二区三区| 日韩中字成人| 18禁在线播放成人免费| 久久国内精品自在自线图片| 丝瓜视频免费看黄片| 成人综合一区亚洲| 九九在线视频观看精品| 久久这里只有精品中国| 搡老妇女老女人老熟妇| 男女视频在线观看网站免费| 欧美成人a在线观看| 丝袜美腿在线中文| 激情五月婷婷亚洲| 色吧在线观看| 一级毛片我不卡| 晚上一个人看的免费电影| 美女被艹到高潮喷水动态| 国产精品一区二区三区四区免费观看| 深夜a级毛片| 激情五月婷婷亚洲| 97精品久久久久久久久久精品| 亚洲在线观看片| 国产男女超爽视频在线观看| 在线免费观看的www视频| 好男人视频免费观看在线| 嘟嘟电影网在线观看| 91精品一卡2卡3卡4卡| 日韩一本色道免费dvd| 日韩大片免费观看网站| 亚洲欧美清纯卡通| 午夜精品一区二区三区免费看| 国产精品1区2区在线观看.| 91av网一区二区| 中国国产av一级| 国产美女午夜福利| 亚洲人成网站高清观看| 免费观看在线日韩| 又粗又硬又长又爽又黄的视频| 婷婷色综合www| 亚洲国产精品国产精品| 一级毛片黄色毛片免费观看视频| 中文精品一卡2卡3卡4更新| 能在线免费看毛片的网站| 国产久久久一区二区三区| 国内精品一区二区在线观看| 日韩不卡一区二区三区视频在线| 一级毛片我不卡| 熟女人妻精品中文字幕| 国产在视频线精品| 一级片'在线观看视频| 成人国产麻豆网| 我的女老师完整版在线观看| 免费播放大片免费观看视频在线观看| 边亲边吃奶的免费视频| 午夜福利高清视频| 黄色配什么色好看| av专区在线播放| 国产伦理片在线播放av一区| 亚洲性久久影院| 亚洲在久久综合| 99re6热这里在线精品视频| 国产午夜精品论理片| 嫩草影院精品99| 嫩草影院精品99| 超碰av人人做人人爽久久| 嫩草影院精品99| 18禁在线播放成人免费| 久久久精品欧美日韩精品| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 午夜爱爱视频在线播放| 亚洲欧美一区二区三区国产| 成人鲁丝片一二三区免费| 免费看日本二区| 欧美高清性xxxxhd video| 国产亚洲一区二区精品| 干丝袜人妻中文字幕| 亚洲精品一区蜜桃| 可以在线观看毛片的网站| 国产午夜精品论理片| 日韩欧美一区视频在线观看 | 国产女主播在线喷水免费视频网站 | 日韩电影二区| 久久精品国产亚洲av涩爱| 美女脱内裤让男人舔精品视频| 久久久午夜欧美精品| 国产精品av视频在线免费观看| av又黄又爽大尺度在线免费看| 国产精品精品国产色婷婷| 综合色丁香网| 亚洲国产精品成人综合色| 久久久久精品性色| 极品教师在线视频| 99久久人妻综合| 国产在线男女| 国产精品1区2区在线观看.| 男人舔奶头视频| 色吧在线观看| 免费大片18禁| 毛片女人毛片| av网站免费在线观看视频 | 久久精品综合一区二区三区| 国产高清国产精品国产三级 | 国产成人精品久久久久久| 国产黄色免费在线视频| 五月伊人婷婷丁香| 一级毛片电影观看| 久久韩国三级中文字幕| 成人性生交大片免费视频hd| 欧美 日韩 精品 国产| 99久久人妻综合| 99re6热这里在线精品视频| 在线天堂最新版资源| 国产真实伦视频高清在线观看| 久久久久久久久久黄片| 我要看日韩黄色一级片| 2021少妇久久久久久久久久久| 成人二区视频| 老师上课跳d突然被开到最大视频| av在线亚洲专区| 国产精品一区二区在线观看99 | 男女国产视频网站| 69av精品久久久久久| 51国产日韩欧美| 日韩欧美国产在线观看| 搞女人的毛片| 高清午夜精品一区二区三区| 免费高清在线观看视频在线观看| 99久久中文字幕三级久久日本| 免费看美女性在线毛片视频| 高清欧美精品videossex| 少妇人妻精品综合一区二区| 午夜福利成人在线免费观看| 99久久精品一区二区三区| 成年版毛片免费区| 久久久亚洲精品成人影院| 日韩精品有码人妻一区| 亚州av有码| 成人午夜高清在线视频| 久99久视频精品免费| 免费黄网站久久成人精品| 波多野结衣巨乳人妻| 白带黄色成豆腐渣| 日韩av不卡免费在线播放| 久久这里只有精品中国| 日本猛色少妇xxxxx猛交久久| 18禁在线播放成人免费| 性色avwww在线观看| 久久久久性生活片| 欧美97在线视频| 看十八女毛片水多多多| 日日啪夜夜撸| 热99在线观看视频| 麻豆国产97在线/欧美| 午夜亚洲福利在线播放| 国产男人的电影天堂91| 91久久精品国产一区二区三区| 精品人妻视频免费看| 国产精品av视频在线免费观看| 色综合站精品国产| 欧美成人a在线观看| 三级毛片av免费| 99热这里只有精品一区| 国产亚洲av片在线观看秒播厂 | 日韩精品青青久久久久久| 七月丁香在线播放| 日韩强制内射视频| 国语对白做爰xxxⅹ性视频网站| 麻豆乱淫一区二区| 尤物成人国产欧美一区二区三区| 国产伦精品一区二区三区四那| 精品国产一区二区三区久久久樱花 | 亚洲av国产av综合av卡| 日韩av不卡免费在线播放| 久久热精品热| 亚洲无线观看免费| 人人妻人人澡人人爽人人夜夜 | 亚洲内射少妇av| 嫩草影院入口| 久久人人爽人人片av| 亚洲天堂国产精品一区在线| 免费看光身美女| 午夜福利在线在线| 国产精品一区二区三区四区久久| 色播亚洲综合网| 精品欧美国产一区二区三| 欧美3d第一页| 大又大粗又爽又黄少妇毛片口| av福利片在线观看| 少妇被粗大猛烈的视频| 男女国产视频网站| 2021少妇久久久久久久久久久| 别揉我奶头 嗯啊视频| 97超碰精品成人国产| 国产毛片a区久久久久| 国产永久视频网站| 国产精品国产三级国产av玫瑰| 日日干狠狠操夜夜爽| 水蜜桃什么品种好| 99久国产av精品| 亚洲欧美成人精品一区二区| 日本免费在线观看一区| 亚洲精品视频女| www.色视频.com| 国产高清有码在线观看视频| 日韩av不卡免费在线播放| av在线观看视频网站免费| 免费av毛片视频| 少妇裸体淫交视频免费看高清| 欧美zozozo另类| 又爽又黄无遮挡网站| 免费人成在线观看视频色| 成年女人看的毛片在线观看| 日本wwww免费看| or卡值多少钱| 久久国内精品自在自线图片| 成人二区视频| 日日摸夜夜添夜夜添av毛片| av网站免费在线观看视频 | 97在线视频观看| 国产在视频线精品| 中文字幕制服av| 97超碰精品成人国产| 亚洲欧美一区二区三区黑人 | 91狼人影院| 男人舔奶头视频| 国国产精品蜜臀av免费| 人妻少妇偷人精品九色| 国产探花在线观看一区二区| 夜夜看夜夜爽夜夜摸| 国产精品av视频在线免费观看| 免费观看性生交大片5| 日本黄色片子视频| 亚洲在久久综合| 自拍偷自拍亚洲精品老妇| av在线天堂中文字幕| 久久久色成人| 亚洲人成网站高清观看| 老司机影院毛片| 久久精品国产自在天天线| 嫩草影院新地址| 欧美丝袜亚洲另类| 国产在视频线在精品| 亚洲欧美日韩东京热| 精品人妻偷拍中文字幕| 亚洲av成人av| 大片免费播放器 马上看| 99热这里只有精品一区| 网址你懂的国产日韩在线| 美女大奶头视频| 舔av片在线| 亚洲精品中文字幕在线视频 | 日韩av不卡免费在线播放| 高清av免费在线| 亚洲欧美一区二区三区国产| 亚洲av中文字字幕乱码综合| 美女脱内裤让男人舔精品视频| 亚洲国产精品专区欧美| 亚洲欧美日韩卡通动漫| 日本黄色片子视频| 久久久久免费精品人妻一区二区| 国产午夜精品论理片| 日韩av在线免费看完整版不卡| 亚洲精品,欧美精品| 国产欧美另类精品又又久久亚洲欧美| 18禁在线无遮挡免费观看视频| 国产91av在线免费观看| 国内精品一区二区在线观看| 亚洲av成人精品一二三区| 女人十人毛片免费观看3o分钟| 99久国产av精品| 日韩欧美一区视频在线观看 | 男女边摸边吃奶| 国产亚洲午夜精品一区二区久久 | 好男人在线观看高清免费视频| 又爽又黄a免费视频| 大香蕉久久网| 美女主播在线视频| 国产高清有码在线观看视频| 99热这里只有精品一区| 黄色日韩在线| 精品久久久久久电影网| 欧美成人一区二区免费高清观看| 亚洲美女搞黄在线观看| 亚洲人成网站在线观看播放| 午夜福利网站1000一区二区三区| 菩萨蛮人人尽说江南好唐韦庄| 大片免费播放器 马上看| 18禁动态无遮挡网站| 一个人看视频在线观看www免费| 欧美bdsm另类| 久久韩国三级中文字幕| 尤物成人国产欧美一区二区三区| 夫妻性生交免费视频一级片| 日韩不卡一区二区三区视频在线| 国模一区二区三区四区视频| 国产色爽女视频免费观看| 纵有疾风起免费观看全集完整版 | 午夜视频国产福利| 欧美不卡视频在线免费观看| 国产午夜精品久久久久久一区二区三区| 免费播放大片免费观看视频在线观看| 国产成人a∨麻豆精品| 老女人水多毛片| 欧美xxⅹ黑人| 国产亚洲91精品色在线| 亚洲欧美一区二区三区国产| 久久亚洲国产成人精品v| 哪个播放器可以免费观看大片| 69人妻影院| 中文字幕人妻熟人妻熟丝袜美| 欧美xxⅹ黑人| av又黄又爽大尺度在线免费看| 日韩亚洲欧美综合| 精品久久久噜噜| 午夜福利网站1000一区二区三区| 免费不卡的大黄色大毛片视频在线观看 | 国精品久久久久久国模美| 亚洲精品一区蜜桃| 午夜福利在线观看免费完整高清在| 国产成人福利小说| 美女高潮的动态| 久久久久国产网址| 国内揄拍国产精品人妻在线| 国产在视频线精品| 午夜免费观看性视频| 亚洲av国产av综合av卡| 嫩草影院新地址| 国产91av在线免费观看| 大陆偷拍与自拍| 亚洲国产欧美在线一区| 51国产日韩欧美| 一个人看视频在线观看www免费| 精品一区二区免费观看| 国产在视频线精品| 久久精品熟女亚洲av麻豆精品 | 男女国产视频网站| 麻豆av噜噜一区二区三区| 免费大片黄手机在线观看| 高清日韩中文字幕在线| 国产黄色视频一区二区在线观看| 免费看光身美女| 亚州av有码| 啦啦啦啦在线视频资源| 成人亚洲欧美一区二区av| 国产亚洲91精品色在线| 韩国高清视频一区二区三区| 三级经典国产精品| 国产国拍精品亚洲av在线观看| 国产亚洲一区二区精品| 精品不卡国产一区二区三区| 国产成人精品婷婷| 午夜激情欧美在线| 久久久久久久久久久免费av| 欧美精品国产亚洲| 超碰97精品在线观看| 在线a可以看的网站| 精品一区在线观看国产| 国产v大片淫在线免费观看| 熟女电影av网| 国产精品爽爽va在线观看网站| 欧美3d第一页| 熟女电影av网| 男女国产视频网站| 女的被弄到高潮叫床怎么办| 日本免费在线观看一区| 国产高清国产精品国产三级 | 日韩不卡一区二区三区视频在线| 性色avwww在线观看| 天堂av国产一区二区熟女人妻| 久久久久精品久久久久真实原创| 精品久久久久久久末码| 国产淫语在线视频| 中文欧美无线码| 2021少妇久久久久久久久久久| 日日摸夜夜添夜夜添av毛片| 国产精品久久久久久精品电影| 精品一区二区三区视频在线| 精品少妇黑人巨大在线播放| 国产 亚洲一区二区三区 | 成年人午夜在线观看视频 | 两个人的视频大全免费| 视频中文字幕在线观看| 极品少妇高潮喷水抽搐| 2022亚洲国产成人精品| 亚洲精品影视一区二区三区av| 精品国内亚洲2022精品成人| 亚洲乱码一区二区免费版| 免费观看无遮挡的男女| 国产色婷婷99| 日本午夜av视频| 成人av在线播放网站| 亚洲在久久综合| 爱豆传媒免费全集在线观看| 久久精品久久久久久久性| 免费观看av网站的网址| 亚洲自偷自拍三级| 干丝袜人妻中文字幕| 九九在线视频观看精品| 一级毛片电影观看| 青春草国产在线视频| 国产白丝娇喘喷水9色精品| 中文精品一卡2卡3卡4更新| 亚洲精品中文字幕在线视频 | 男女那种视频在线观看| 免费高清在线观看视频在线观看| 亚洲精品影视一区二区三区av| av专区在线播放| 3wmmmm亚洲av在线观看| 久久久久网色| 久久鲁丝午夜福利片| 日本猛色少妇xxxxx猛交久久| 亚洲国产成人一精品久久久| 免费观看av网站的网址| 精品久久久久久久久av| 成年av动漫网址| ponron亚洲| 卡戴珊不雅视频在线播放| 小蜜桃在线观看免费完整版高清| 日韩精品有码人妻一区| 熟女人妻精品中文字幕| 九草在线视频观看| 精品久久久久久久久av| 欧美高清性xxxxhd video| 日韩av在线免费看完整版不卡| 性插视频无遮挡在线免费观看| 一级毛片aaaaaa免费看小| 精品久久久久久久久亚洲| 亚洲欧美中文字幕日韩二区| 国内精品一区二区在线观看| 日韩av免费高清视频| 极品教师在线视频| 男的添女的下面高潮视频| 嫩草影院入口| 亚洲无线观看免费| eeuss影院久久| 欧美xxxx性猛交bbbb| 国产熟女欧美一区二区| 国产综合精华液| 夜夜爽夜夜爽视频| 免费播放大片免费观看视频在线观看| 简卡轻食公司| 一个人看的www免费观看视频| 激情五月婷婷亚洲| 免费黄频网站在线观看国产| 国产 一区精品| 在线免费十八禁| 国产男女超爽视频在线观看| 舔av片在线| 夜夜爽夜夜爽视频| 久久久成人免费电影| 97精品久久久久久久久久精品| 精品国产露脸久久av麻豆 | 婷婷色av中文字幕| 久久人人爽人人片av| 一级爰片在线观看| 日韩精品有码人妻一区| 日韩一区二区三区影片| 国产免费一级a男人的天堂| 一区二区三区免费毛片| 日韩欧美一区视频在线观看 | 我要看日韩黄色一级片| 国产日韩欧美在线精品| 国产精品久久久久久精品电影| 91精品国产九色| 日韩av不卡免费在线播放| 国产亚洲av嫩草精品影院| 99久久九九国产精品国产免费| 2018国产大陆天天弄谢| av线在线观看网站| 国产午夜精品久久久久久一区二区三区| 亚洲最大成人手机在线| 免费av不卡在线播放| 听说在线观看完整版免费高清| 亚洲在线自拍视频| 成人国产麻豆网| 建设人人有责人人尽责人人享有的 | 国产av在哪里看| av女优亚洲男人天堂| 国产男女超爽视频在线观看| 国产黄片视频在线免费观看| 亚洲人成网站在线观看播放| 亚洲熟妇中文字幕五十中出| 欧美成人午夜免费资源| 国产亚洲5aaaaa淫片| 好男人在线观看高清免费视频| 看十八女毛片水多多多| 超碰av人人做人人爽久久| a级一级毛片免费在线观看| 免费不卡的大黄色大毛片视频在线观看 | 欧美97在线视频| 亚洲综合色惰| 99热这里只有精品一区| 黄片无遮挡物在线观看| 国产精品美女特级片免费视频播放器| 成人亚洲欧美一区二区av| 成人午夜高清在线视频| 国产伦理片在线播放av一区| 色综合站精品国产| 免费少妇av软件| 日日撸夜夜添| 亚洲国产精品国产精品| 久久精品国产自在天天线| 久久精品久久久久久久性| 91久久精品电影网| 男人爽女人下面视频在线观看| 欧美日韩一区二区视频在线观看视频在线 | 色5月婷婷丁香| 亚洲内射少妇av| 成人美女网站在线观看视频| 亚洲av.av天堂| 亚洲精品乱码久久久v下载方式| 哪个播放器可以免费观看大片| 三级毛片av免费| 国产高潮美女av| 中文乱码字字幕精品一区二区三区 | 久久精品国产自在天天线| 干丝袜人妻中文字幕| 亚洲真实伦在线观看| 99热全是精品| 中文字幕av成人在线电影| 一本久久精品| 国产成人freesex在线| 亚洲国产欧美在线一区| 国产在线一区二区三区精| 99久久精品热视频| 女的被弄到高潮叫床怎么办| 永久免费av网站大全| 在线观看美女被高潮喷水网站| 亚洲国产精品国产精品| 免费少妇av软件| 国内精品美女久久久久久| 3wmmmm亚洲av在线观看| 日本av手机在线免费观看| 能在线免费观看的黄片| 国产精品一区二区在线观看99 | 亚洲精品国产av蜜桃| 精品人妻视频免费看| 欧美xxxx性猛交bbbb| 边亲边吃奶的免费视频| 禁无遮挡网站| 免费无遮挡裸体视频| 国产高清有码在线观看视频| 免费大片黄手机在线观看| 免费看美女性在线毛片视频| 少妇的逼水好多| 国产高清国产精品国产三级 | av一本久久久久| 精品久久久久久久人妻蜜臀av| 综合色av麻豆| 乱码一卡2卡4卡精品| 免费av毛片视频| 精品久久久久久久久久久久久| 草草在线视频免费看| 成年av动漫网址| 久久99热这里只有精品18| 直男gayav资源| 美女黄网站色视频| 国产精品麻豆人妻色哟哟久久 | 国产成人a区在线观看| 又粗又硬又长又爽又黄的视频| 日韩电影二区| 国产成人精品婷婷| 黄色欧美视频在线观看| 亚洲国产欧美在线一区| 国产日韩欧美在线精品| 777米奇影视久久| 免费黄频网站在线观看国产| 日本熟妇午夜| 69av精品久久久久久| 亚洲色图av天堂| 能在线免费看毛片的网站| 亚洲,欧美,日韩| 嫩草影院新地址| 一个人看的www免费观看视频| 大片免费播放器 马上看| 免费av不卡在线播放| 能在线免费看毛片的网站| 国产av码专区亚洲av| 国内精品宾馆在线| 大香蕉久久网| 22中文网久久字幕| 午夜激情福利司机影院| 三级国产精品欧美在线观看| 2021少妇久久久久久久久久久| 我的老师免费观看完整版| 午夜福利视频1000在线观看| 天天一区二区日本电影三级| av一本久久久久| 国产精品99久久久久久久久| 欧美精品国产亚洲| 色尼玛亚洲综合影院| 日韩精品有码人妻一区| 99热这里只有精品一区| 亚洲av男天堂| 国产色婷婷99| 狂野欧美激情性xxxx在线观看| av在线亚洲专区| 亚洲欧美日韩卡通动漫| 色网站视频免费| 2021少妇久久久久久久久久久| 国产永久视频网站| 国产精品一二三区在线看| 精华霜和精华液先用哪个| 亚洲av电影不卡..在线观看| 亚洲国产精品专区欧美| 免费少妇av软件| 久久久精品欧美日韩精品| 欧美激情国产日韩精品一区| 一夜夜www| 亚洲经典国产精华液单| 亚洲综合精品二区| 日韩欧美 国产精品| 韩国高清视频一区二区三区|