• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    多要素評價中指標權重的確定方法評述

    2018-03-21 10:09:30劉秋艷吳新年
    知識管理論壇 2017年6期

    劉秋艷 吳新年

    摘要:[目的/意義]對目前常見的多要素評價中指標權重的確定方法進行系統(tǒng)梳理,為相關研究人員在進行具體問題評價時的指標權重確定方法的合理選擇提供參考。[方法/過程]通過對幾種常見的主觀賦權法、客觀賦權法以及主客觀綜合集成賦權法中具體確定指標權重方法的基本原理與思想、具體應用案例進行深入調(diào)研,分析總結(jié)其優(yōu)缺點以及適用范圍。[結(jié)果/結(jié)論]迄今還沒有一種完全通用和普適的指標權重確定方法,不同指標權重確定方法的原理與指導思想不同,因而其適用范圍也有所差異,在進行實際問題評價時,要依據(jù)評估對象的特點合理選擇賦權方法,以提高綜合評價的準確性和有效性。

    關鍵詞:多要素評價 指標權重 賦權方法

    分類號:F224 G304

    1 引言

    指標權重的確定是多要素綜合評價中的關鍵環(huán)節(jié),權重確定的是否合理將直接影響評價結(jié)果的可靠性和有效性。迄今為止,國內(nèi)外學者圍繞多要素評價中指標權重的確定方法開展了大量研究,并取得了豐碩的研究成果。

    綜觀國內(nèi)外的研究可以發(fā)現(xiàn),指標權重確定的方法多種多樣,但歸納起來大致可分為三大類,分別是主觀賦權法、客觀賦權法以及主客觀綜合集成賦權法。其中,主觀賦權法多是依賴于專家的知識經(jīng)驗進行主觀判斷來確定指標權重,客觀賦權法主要是依靠樣本數(shù)據(jù)分析計算出權重,而主客觀綜合集成賦權法是基于主、客觀賦權法各自的不足和優(yōu)勢,將兩者所得的權重綜合集成。不同賦權方法的原理思想不同,導致所依賴的理論模型、原始數(shù)據(jù)、對數(shù)據(jù)的處理方式等都會存在差異,從而使最終的權重分配也產(chǎn)生很大的差異。因此,不同的指標體系要根據(jù)自身特點選擇其所適合的權重確定方法,這樣才能使其指標的權重分配比較合理。

    2 常見的主觀賦權法

    一般地,主觀賦權法在確定權重時主要依據(jù)決策者和專家的知識經(jīng)驗或偏好,將各指標按重要程度進行比較、分配權值或計算得出其權重,其認為權重的實質(zhì)是評價指標對于評價目標相對重要程度的量化體現(xiàn)。此類方法的主觀隨意性比較強,但指標權重大小的排序基本與評價對象的實際情況相符合。目前比較常用的主觀賦權方法可歸為4類:專家估測法、層次分析法、二項系數(shù)法、環(huán)比評分法。

    2.1 專家估測法

    專家估測法是由相關領域?qū)<乙罁?jù)自身的經(jīng)驗知識,主觀判斷各指標的重要性,指標最終的權重分配值可直接由K個專家獨立給出的權重值的平均得出[1],或者利用頻數(shù)統(tǒng)計法來確定權重,即對于每個指標,將其K個權重分配值按照一定的組距進行分組,計算每組內(nèi)權重的頻數(shù),頻數(shù)最大的分組的組中值就是相應指標的最終權重值[2]。

    早在1986年F. Shands等[3]就將專家估測法用于教師績效評價體系的指標權重確定,通過問卷的形式將評判指標提交給數(shù)位領域?qū)<疫M行兩輪打分來分配權重,最終得到的績效評價模型在學校的實際應用中取得了較好的效果。近兩年我國學者劉璐等[4]在供熱系統(tǒng)節(jié)能評價的指標權重確定中也使用了該方法,通過多位領域?qū)<医o出的權重系數(shù)的平均值確定出各指標權重,并分別與層次分析法和變異系數(shù)法的綜合評價結(jié)果進行對比,結(jié)果顯示專家估測法與實際系統(tǒng)運行情況最相符,這主要是由于熱源系統(tǒng)在運行中存在很多現(xiàn)實影響因素,而專家們會相對周全考慮這些因素從而更合理地分配權重。

    專家估測法的優(yōu)點主要體現(xiàn)在3個方面:一是充分利用專家的經(jīng)驗知識,能根據(jù)專家經(jīng)驗綜合全面考慮各種外界影響因素,方法的可靠性較高;二是指標權重的計算以傳統(tǒng)的描述性統(tǒng)計為主,如求解均值和統(tǒng)計頻數(shù),簡單直接;三是不受是否有樣本數(shù)據(jù)的限制,能對大量非技術性無法定量分析的指標做出概率性估計。該方法也存在一定的缺陷:一是權重的分配完全受專家經(jīng)驗知識的影響,不同的專家組成可能就會產(chǎn)生不同的評價結(jié)果,存在很大程度的主觀隨意性;二是當指標較多時,不易保證判斷思維過程的一致性,較難做到一定會客觀合理。

    從總體上來說,該方法的適用范圍很廣,適用于指標數(shù)量適中的各種評價體系,特別是對于那些沒有樣本數(shù)據(jù)、難以建立數(shù)學模型的實際問題,比較行之有效。

    2.2 層次分析法

    層次分析法的基本思想是把復雜問題的各指標按相互間的從屬關系分解為若干個有序的遞階層次結(jié)構,每層內(nèi)部指標請領域?qū)<腋鶕?jù)一定的比值標度進行兩兩比較,將主觀判斷量化形成判斷矩陣,再利用數(shù)學方法計算每層判斷矩陣中各指標相對于上一層的權重值,最后進行層次總排序,計算出全部指標相對于總目標的權重系數(shù)[5]。目前關于判斷矩陣中指標權重系數(shù)的計算方法有20多種,包括特征向量法、最小二乘法、方根法、線性規(guī)劃法等,不同方法所確定的指標權重排序存在一定差異。

    層次分析法被廣泛應用于各評價體系的指標權重確定中。例如,早在上世紀R. Shen等[6]就利用該方法對產(chǎn)業(yè)中勞動力強度進行評價,通過將數(shù)十位領域?qū)<覍χ笜讼鄬χ匾缘牧炕u判進行綜合得到判斷矩陣,再利用特征向量法計算出指標權重,并通過了一致性檢驗,所構建的評價模型在實際應用中取得了較好的效果。我國學者楚存坤等[7]將其運用于定性指標為主的高校圖書館學科服務模式的三級評價指標體系中,也取得了較好的評價效果。

    層次分析法的優(yōu)點主要體現(xiàn)在3個方面:一是把決策者依據(jù)主觀經(jīng)驗知識的定性判斷定量化,將定性分析與定量分析有機結(jié)合起來,充分發(fā)揮了兩者的優(yōu)勢,一方面蘊含著決策者的邏輯判斷和理論分析,另一方面又通過客觀的推演與精確計算,使決策過程具有很強的科學性,從而使得決策結(jié)果具有較高的可信度;二是將復雜評價問題進行層次化分解,形成遞階的層次結(jié)構,使復雜問題的評價更清晰、明確、有層次;三是不受是否有樣本數(shù)據(jù)的限制,能解決傳統(tǒng)最優(yōu)化技術無法處理的實際問題。但是該方法也具有一定的局限性,一是指標權重的確定主要依賴于專家經(jīng)驗知識,專家選擇的不同很可能會導致權重分配結(jié)果的差異,具有主觀隨意性和不確定性;二是層次分析法的判斷矩陣很容易出現(xiàn)嚴重不一致的情況,當同一層的指標很多,并且由于九級比值標度法很難準確掌握,決策者很容易做出矛盾且混亂的相對重要性判斷。針對這一問題,馬農(nóng)樂等[8]提出利用三級標度法來替代九級標度法構建判斷矩陣,更容易衡量指標間的重要程度,且無需一致性檢驗;但是這樣做的結(jié)果使得各指標的權重分布較集中,很容易出現(xiàn)多個指標權重難以區(qū)分的情況。

    總的來說,層次分析法的適用范圍很廣,特別適用于缺乏樣本數(shù)據(jù)且評價目標結(jié)構復雜,以及領域?qū)<覍χ笜讼鄬χ匾源笮〕潭扔休^為清晰認識的指標數(shù)量適中的評價體系。

    2.3 二項系數(shù)法

    二項系數(shù)法[9]的基本思想是先由K個專家獨立對n個指標的重要性進行兩兩比較,經(jīng)過復式循環(huán)比以及統(tǒng)計處理得到代表優(yōu)先次序的各指標的指標值,再根據(jù)指標值的大小將指標按照從中間向兩邊的順序依次排開,形成指標優(yōu)先級序列,對序列中的指標重新按從左到右的順序進行編號得到指標序列,從而根據(jù)二項系數(shù)的原理,第i個指標的權重分配值為。

    二項系數(shù)法用于指標權重的確定最初是由中國學者程明熙[9]于1983年提出的,后續(xù)主要在國內(nèi)得到了較廣泛的應用,如早期趙書立[10]將該方法用于實驗室設備投資的多指標評價中,先通過數(shù)位專家對各指標打分的平均情況確定指標優(yōu)先級,再根據(jù)二項展開式系數(shù)求出各指標的權重,最終得到的最優(yōu)評價結(jié)果為高校決策者在設備投資方面提供了可靠的依據(jù)。近幾年,劉富強等[11]將其用于抽蓄工程開挖工期影響因素的指標權重確定上,由于抽蓄工程影響因素眾多,難以主觀具體量化因素間的相對權重值,因此依靠領域?qū)<抑苯釉u判指標優(yōu)先級,再利用二項系數(shù)計算出權重,最終的影響因素評價結(jié)果與利用熵權法的評價結(jié)果一致。

    二項系數(shù)法的優(yōu)點主要有4方面:一是將定性分析與定量計算有機結(jié)合,將主觀經(jīng)驗知識定量化,增加了評價過程的科學性和條理性;二是不需要對指標的重要性大小進行具體量化,只需要判斷指標間的相對大小情況,專家判斷相對容易,不會產(chǎn)生矛盾且混亂的判斷;三是采用二項展開式進行權重計算,方法簡單易操作;四是不受是否有樣本數(shù)據(jù)的限制,能解決傳統(tǒng)最優(yōu)化技術無法處理的實際問題。但該方法也存在一定的缺陷:一是權重的確定主要依賴于專家經(jīng)驗知識的主觀判斷,存在隨機性和不確定性;二是在利用二項系數(shù)公式計算不同優(yōu)先級的指標權重時會出現(xiàn)權重相同的情況,在指標優(yōu)先級序列中左右對稱的兩指標計算出的權重值會相同,與實際情況會產(chǎn)生一定的偏差;三是該方法只注重指標重要性的級別次序,而不關注指標間相對重要性的差異程度,權重分配會存在偏差。

    總的來說,該方法對是否有樣本數(shù)據(jù)沒有限制,適用范圍較廣,尤其適用于那些缺乏先例,缺乏定量賦權經(jīng)驗的指標數(shù)量適中的多因素評價問題。

    2.4 環(huán)比評分法

    環(huán)比評分法[12]的基本思想是依據(jù)專家經(jīng)驗知識,將指標依次與相鄰下一個指標進行重要性比較,綜合多個專家的判斷確定相鄰指標間的重要性比值,再以最后一項指標為基準,逆向計算出各指標的對比權,并進一步做歸一化處理得到各指標權重。

    環(huán)比評分法最早是由中國學者陸明生[12]于1986年提出的,并在國內(nèi)外得到了較廣泛的應用。例如陳志剛等[13]將該方法用于上海市創(chuàng)新型城市階段的評價中,依靠專家確定出評價指標間的環(huán)比值,再進行修正歸一化處理得到指標權重,最終的評價結(jié)果與上海市當時的實際發(fā)展相符。J. Xie等[14]在評價公路應急預案時也采用了該方法,先由專家自上而下對指標兩兩比較確定其重要度,再進行基準化和歸一化處理得到權重,評價結(jié)果與現(xiàn)實選擇相符,體現(xiàn)了方法的有效性。

    環(huán)比評分法的優(yōu)點主要體現(xiàn)在4方面:一是將定性判斷與定量計算有機結(jié)合,使評價過程更具條理性和科學性;二是專家所需確定的指標重要性評價值數(shù)量較少,賦值過程相對簡單;三是單向依次確定指標相對重要度,不容易產(chǎn)生判斷上的矛盾,也不需要進行層次分析法中的一致性檢驗,能有效解決復雜決策問題;四是不受是否有樣本數(shù)據(jù)的限制,能解決傳統(tǒng)最優(yōu)化技術無法處理的實際問題。但該方法也存在一定的缺陷:一是對專家知識的要求較高,需要專家對評判指標的重要性有很清晰的認識并能對每對相鄰指標進行精準的量化比較,否則很容易使整個指標體系的權重分配產(chǎn)生較大偏差;二是權重的確定主要依賴于主觀經(jīng)驗知識,具有較大的不確定性和主觀隨意性。

    總的來說,該方法對是否有樣本數(shù)據(jù)無限制,適用范圍較廣,特別適用于能夠?qū)ο噜徳u價指標的相對重要性做出較為準確的定量判斷的各種評價問題中。

    3 常見的客觀賦權法

    客觀賦權法是依賴一定的數(shù)學理論,完全基于對指標實際數(shù)據(jù)的定量分析而確定指標權重的方法,保證了權重的絕對客觀性,對樣本數(shù)據(jù)有較高的要求。但客觀賦權法忽略了人的經(jīng)驗等主觀信息,有可能會出現(xiàn)權重分配結(jié)果與實際情況相悖的現(xiàn)象,且依賴于實際業(yè)務領域,缺乏通用性。目前主要的客觀賦權法有:變異系數(shù)法、基于主成分分析與因子分析的多元統(tǒng)計法、向量相似度法、灰色關聯(lián)度法、熵值法、粗糙集法以及神經(jīng)網(wǎng)絡法。

    3.1 變異系數(shù)法

    變異系數(shù)法的思想原理是通過計算各指標實測數(shù)據(jù)的差異程度來確定指標權重的大小,指標內(nèi)部數(shù)據(jù)差異性較大,則該指標對評價對象的區(qū)分作用越大,其權重分配值也就越大[15]。變異系數(shù)法確定權重所依據(jù)的數(shù)學理論主要包括標準差和離差最大化兩種,即通過各指標內(nèi)部數(shù)據(jù)的標準差(最大離差)的計算與歸一化處理,得到各指標權重分配。

    變異系數(shù)法被廣泛應用于指標體系的賦權中,例如早期時光新等[16]將該方法用于小流域治理效益的評價中,通過指標樣本數(shù)據(jù)的無量綱化處理以及數(shù)據(jù)標準差的計算,歸一化處理得到指標權重,依賴此評價模型所得到的評價結(jié)果能客觀反映實際情況。近幾年H. Zheng等[17]將其用于風電場經(jīng)濟運行評價指標的權重確定中,先對近十幾年風電場實際運行和監(jiān)測情況大量樣本數(shù)據(jù)的一致性、無量綱化處理,再通過計算各指標數(shù)據(jù)的標準差確定出權重,并根據(jù)對三種風電場的評價比較,驗證了評價體系的有效性。

    變異系數(shù)法的優(yōu)點體現(xiàn)在3方面:一是指標權重的計算方式比較簡單,方便實用;二是充分利用樣本數(shù)據(jù),客觀體現(xiàn)了各指標分辨能力的大小,保證了指標權重的絕對客觀性;三是該方法對評價指標的數(shù)量沒有限制,適用范圍較廣。但是,該方法也存在一定的缺陷:一是評價結(jié)果與數(shù)據(jù)樣本的選擇有很大相關性,不同的數(shù)據(jù)樣本可能會產(chǎn)生不同的權重分配結(jié)果,當樣本容量很小且不具有普遍性時,方法的精度會很低;二是對于樣本數(shù)據(jù)中的異常值沒有解決能力,如果有異常值出現(xiàn),該方法在權重的確定上就會存在很大誤差;三是它不能反映指標內(nèi)在的聯(lián)系,只是對每個指標單獨進行分析判斷;四是純粹進行客觀計算,不能體現(xiàn)決策者對指標重要性的理解。

    因此,該方法適用于評價指標間的獨立性較強,指標的樣本數(shù)據(jù)具有普遍性、相對完整且樣本量較大,樣本數(shù)據(jù)中沒有異常值的綜合評價。

    3.2 多元統(tǒng)計法

    多元統(tǒng)計法是指利用多元統(tǒng)計分析來對樣本數(shù)據(jù)進行計算從而確定指標權重的方法,包括主成分分析法和因子分析法兩種。

    3.2.1 主成分分析法

    主成分分析法[18]的基本原理是利用降維的思想,依據(jù)指標的方差貢獻率將一組具有一定相關性的指標轉(zhuǎn)化為另一組不相關的少數(shù)幾個綜合性指標,即主成分,并進一步歸一化處理得到各指標的權重。

    主成分分析法自出現(xiàn)以來得到了廣泛應用,例如早期我國學者金星日等[19]將該方法用于工業(yè)企業(yè)經(jīng)濟效益綜合評價中,通過對延邊通用廠1990-1995年的主要經(jīng)濟效益指標的樣本數(shù)據(jù)的標準化處理以及主成分分析,得到4個主成分以及各指標權重以確定評價模型,最終的評價結(jié)果與用理想解法評價一致。近兩年,B. Prado等[20]在評定德國明納斯城市的氣候變量情況時使用了該方法,通過對2008-2012年相關樣本數(shù)據(jù)的主成分分析,得到以一個主成分來解釋總體變量的評價模型,評價結(jié)果與實際情況相符。

    主成分分析法的優(yōu)點主要體現(xiàn)在3方面:一是其用較少的獨立性指標來替代較多的相關性指標,解決了指標間信息重疊的問題,簡化了指標結(jié)構;二是指標權重是依賴客觀數(shù)據(jù),由各主成分的方差貢獻率計算確定的,避免了主觀因素影響,較為客觀合理;三是對指標數(shù)量和樣本數(shù)量沒有具體限制,適用范圍廣泛。但該方法也存在四點缺陷:一是指標權重的計算過程較為復雜,權重確定的結(jié)果與樣本的選擇有很大相關性;二是損失了一定的樣本數(shù)據(jù)信息,有些具有現(xiàn)實意義的指標在該方法中可能會被剔除,與實際情況產(chǎn)生偏差;三是其假定指標間都是線性關系,實際問題中很多非線性關系的指標體系使用該方法時會產(chǎn)生偏差;四是純粹依賴客觀數(shù)據(jù)確定權重,忽略了主觀經(jīng)驗知識,評價結(jié)果可能產(chǎn)生與實際情況相悖的現(xiàn)象。

    總的來說,主成分分析法適用于樣本數(shù)據(jù)相對完整并具有代表性,指標間存在一定相關關系且指標間基本為線性關系的復雜評價體系中的指標權重確定。

    3.2.2 因子分析法

    因子分析法[21]的基本思想與主成分分析法類似,也是將具有相關性的指標轉(zhuǎn)化為少數(shù)幾個不相關的指標,再根據(jù)各因子的方差貢獻率確定指標權重。所不同的是,主成分分析法是將原始指標進行線性組合,而因子分析法將原始指標拆分成共同具有的公共因子以及每個指標所特有的特殊因子來線性表示,因子表示具有更明確的實際意義。

    因子分析法被廣泛應用于各類綜合評價問題中,尤其是對社會經(jīng)濟領域相關問題的評價分析。如早期我國學者萬建強等[22]將該方法用于上市公司經(jīng)營業(yè)績評價中,通過對建材行業(yè)有代表性的13家上市公司的1999年年報數(shù)據(jù)進行標準化處理以及因子分析,取前4個具有解釋意義的相互獨立的綜合因子代替原來的11個指標進行綜合評價,評價結(jié)果與各企業(yè)的實際經(jīng)濟排名一致。近兩年,A. Bai等[23]將其用于國家經(jīng)濟排名評估中,使用貨幣基金組織數(shù)據(jù)集對20個國家的15個經(jīng)濟指標進行因子分析,用3個綜合因子來解釋和代表所有指標并進行綜合評價,最終計算出的排名與世界排名所提供的幾乎一致,證實了該方法的可行性。

    因子分析法在指標權重確定上的優(yōu)缺點與主成分分析法類似,但因子的個數(shù)小于原指標個數(shù),而主成分的個數(shù)可與原指標數(shù)相等,因而因子分析法的缺失信息一般比主成分分析法要多,其精確度一般比不上主成分分析法,計算過程也更為復雜,且因子分析法嚴格要求評價體系的指標間要存在相關關系。不過,因子分析法能很明確地解釋原指標的具體內(nèi)容,能解釋指標間相關的原因,能對指標內(nèi)容有更深層次的認識。

    總的來說,因子分析法比較適用于需要對社會經(jīng)濟現(xiàn)象等相關評價對象進行較為深層次分析,且指標間存在很大關聯(lián)性、有大量具有代表性的完整數(shù)據(jù)樣本的復雜評價問題。

    3.3 向量相似度法

    向量相似度法[24]的基本原理是利用每個指標的樣本數(shù)據(jù)組成的特征向量與所有指標的理想值組成的參考向量求解相似度,由向量相似度大小來反映各指標對系統(tǒng)發(fā)揮最佳效能的貢獻度,并將其歸一化處理得到各指標權重。

    向量相似度法用于指標權重的確定最初是由我國學者焦利明等[24]提出的,后續(xù)在國內(nèi)被很多學者應用于綜合評價中。例如,焦利明等[25]利用該方法對防空旅團系統(tǒng)效能進行評估,抽取了6組具有代表性的樣本數(shù)據(jù),對數(shù)據(jù)進行無量綱化處理,并計算出各指標數(shù)據(jù)向量與標準化后的理想?yún)⒖枷蛄康南嗨贫?,進一步歸一化處理得到各指標權重,對系統(tǒng)效能進行了有效的評估。謝平等[26]利用其對湖泊富營養(yǎng)化進行評價,以全國30個湖泊的實測水質(zhì)資料為數(shù)據(jù)樣本,將各評價指標的樣本數(shù)據(jù)組成的向量與各級指標的理想?yún)⒖枷蛄窟M行無量綱化處理,并計算向量相似度,歸一化處理得到指標權重,評價結(jié)果與之前利用模糊方法、隨機方法等的評價結(jié)果高度一致。

    向量相似度法的優(yōu)點主要體現(xiàn)在3方面:一是計算簡單易操作,將指標數(shù)據(jù)向量與所有指標的理想值組成的向量進行相似度計算,巧妙利用了所有指標組成的理想?yún)⒖枷蛄拷?jīng)過無量綱化后變?yōu)槿吭刂禐?的單位向量,就與同一指標的理想值與該指標的數(shù)據(jù)求解相似度是一樣的,減少了計算次數(shù);二是結(jié)果易理解,方法考慮到與最優(yōu)方案間的關系,實用性強;三是充分利用樣本數(shù)據(jù),沒有人為因素的干擾,客觀性強;四是對指標數(shù)量和樣本量沒有具體限制,適用范圍較廣。但同時該方法也存在一定的缺陷:一是方法的精度會受數(shù)據(jù)樣本的影響,樣本容量很小且不具有代表性時,該方法評價結(jié)果的精度就很低;二是方法不能解決指標間的相關性所造成的信息重復問題,容易造成部分相關指標的權重因重復計算而變大的現(xiàn)象;三是純粹利用客觀數(shù)據(jù)進行權重計算,忽略了主觀經(jīng)驗知識,可能會產(chǎn)生與實際相悖的情況。

    總的來說,該方法比較適用于有適量的、較為完整的樣本數(shù)據(jù),且樣本數(shù)據(jù)具有典型性和代表性,評價指標間較為獨立的綜合評價體系。

    3.4 灰色關聯(lián)度法

    灰色關聯(lián)度法[27]的基本思想是將數(shù)據(jù)對比與幾何曲線變化趨勢相結(jié)合來計算權重,即利用各方案與最優(yōu)方案間的關聯(lián)度大小來確定指標權重。該方法具體通過各方案與理想方案的灰色關聯(lián)判斷矩陣及關聯(lián)系數(shù),計算出各指標對整個系統(tǒng)發(fā)揮最優(yōu)效能的貢獻度,并進一步歸一化處理得到指標權重。

    灰色關聯(lián)度分析法被廣泛應用于很多學科領域的實際決策問題中。早在20世紀80年代我國學者馬峙英等[28]就將該方法用于棉花品種的評價中,以1986年黃河流域棉花抗病區(qū)的7個棉花品種的性狀數(shù)據(jù)為樣本,對數(shù)據(jù)進行無量綱化處理,再計算出各品種與理想品種間的灰色關聯(lián)系數(shù),歸一化處理得各指標權重,最終得到的評價結(jié)果與模糊綜合評判的結(jié)果一致。后來,C.Ho[29]把其用于銀行經(jīng)營績效的評價中,數(shù)據(jù)樣本為三家臺灣銀行的財務文件,采用與馬峙英等[28]求解的類似步驟計算出指標權重,并據(jù)此建立評價模型對三家銀行進行評價,評價結(jié)果與財務報表的分析結(jié)果一致,說明了方法的有效性。

    灰色關聯(lián)度分析法的優(yōu)點主要體現(xiàn)在4個方面:一是方法的計算過程相對簡便,考慮到與理想決策方案之間的關系,結(jié)果直觀易理解;二是無需大量樣本,只需少量具有代表性的數(shù)據(jù)樣本即可,且對指標數(shù)量無限制;三是方法具有一定的容錯能力,因為關聯(lián)度計算時用到的是兩極最大差與最小差,使某些由于數(shù)據(jù)部分缺失或人為誤差所導致的數(shù)據(jù)不準確問題得以弱化,使分析結(jié)果相對合理;四是依靠樣本數(shù)據(jù)進行權重計算,避免了人為因素的干擾,客觀性強。該方法也存在一定的缺陷:一是在計算灰色關聯(lián)系數(shù)時的分辨系數(shù)值是人為主觀決定的,不存在固定標準,取值的不同會影響最終的權重分配,使可信度降低;二是方法的準確性會受樣本的影響,樣本選擇的不同可能會導致最終評判結(jié)果的差異;三是方法不能解決指標間相關所造成的信息重疊問題;四是沒有考慮主觀經(jīng)驗知識,評價結(jié)果可能會與實際情況相悖。

    總的來說,該方法適用范圍較廣,對指標數(shù)量和樣本數(shù)量無限制,比較適用于樣本數(shù)據(jù)較為完備、樣本具有代表性和典型性且指標間相對獨立的綜合評價體系。

    3.5 熵值法

    熵值法[30]的基本思想是從指標的無序程度,即指標熵的角度來反映指標對評價對象的區(qū)分程度,某指標的熵值越小,該指標的樣本數(shù)據(jù)就越有序,樣本數(shù)據(jù)間的差異就越大,對評價對象的區(qū)分能力也越大,相應的權重也就越大。該方法首先根據(jù)熵值函數(shù)求出每個指標的熵值,再將熵值歸一化轉(zhuǎn)化為指標權重。

    熵值法自提出以來,被廣泛應用于很多領域問題的評價中。例如,早期朱順泉等[31]將該方法用于對上市公司財務狀況的評價,以2000年的《中國證券報》中20家公司的15個評價指標數(shù)據(jù)為樣本,先對數(shù)據(jù)進行無量綱化處理,再計算各指標的熵值并進一步歸一化處理得指標權重,經(jīng)過簡單加權得各公司的綜合評價值,評價結(jié)果合理。后來,A.Gorgij等[32]在對地下水質(zhì)的評估中也使用了該方法,在2016年對伊朗阿扎沙赫平原的21個地下水樣品進行了水質(zhì)抽樣評價,通過類似的熵值法計算步驟,計算出各指標權重,并進一步利用綜合評價模型評定各樣本的水質(zhì)等級,評價結(jié)果與空間自相關系數(shù)的評價一致。

    熵值法在確定指標權重時存在3方面的優(yōu)點:一是方法的計算過程相對簡單,從指標對評價對象的區(qū)分程度角度來確定指標權重,結(jié)果直觀易理解,方法實用性強;二是完全依賴樣本數(shù)據(jù)進行權重計算,避免了主觀因素的干擾,客觀性強;三是方法對指標數(shù)量沒有限制,適用范圍較廣。但該方法也存在三點不足:一是方法的精度會受數(shù)據(jù)樣本的影響,不同的樣本選擇可能會產(chǎn)生不同的權重分配結(jié)果,且對樣本數(shù)據(jù)的完備性以及樣本量有較高要求;二是不能反映指標間的相關關系,不能解決信息重疊問題;三是不能體現(xiàn)決策者對各指標重要性的理解,在一定程度上可能會產(chǎn)生與事實相悖的情況。

    因此,該方法比較適用于樣本量較大、樣本數(shù)據(jù)信息完備且具有普遍性的指標間相對獨立的綜合評價體系。

    3.6 粗糙集法

    粗糙集法[33]用于指標權重確定的基本思想是先按體系內(nèi)所有指標對評價對象進行原始分類,每次約簡一個指標,考慮約簡后的對象分類與原始分類相比的變化程度,指標重要性與變化程度成正比。粗糙集中屬性(指標)重要度的概念可歸結(jié)為代數(shù)表示的定義與信息表示的定義兩種,進一步按指標的等價關系、優(yōu)勢關系和容差關系的思想衍生出多種細分賦權方法。從指標等價關系、優(yōu)勢關系、容差關系角度出發(fā)的粗糙集賦權法的區(qū)別主要在于對象分類所依據(jù)的標準不同,等價關系是將所有評價對象按等價思想進行劃分,而優(yōu)勢關系是將評價對象按在條件屬性集上的優(yōu)勢程度進行劃分,容差關系則是根據(jù)對象間的差異度進行劃分。等價關系要求待處理的數(shù)據(jù)為離散型,優(yōu)勢關系中的數(shù)據(jù)則可以是連續(xù)型,而容差關系主要用于處理樣本數(shù)據(jù)有缺失的情況。

    粗糙集法被廣泛應用于各類評價問題的指標權重確定中,例如,W. C. Ip等[34]將該方法用于水質(zhì)量的評價中,以漢江流域1992-1997年4、5月的水質(zhì)實測數(shù)據(jù)為條件屬性集的樣本,以各時間段各指標數(shù)值的等權加總平均數(shù)為決策屬性,先將樣本數(shù)據(jù)離散化處理,再基于等價關系的代數(shù)粗糙集方法對各指標重要度進行計算,并歸一化處理得指標權重,最終計算出的各時間段水質(zhì)綜合評價等級與實際情況相符。鄒斌等[35]利用其對華東地區(qū)能源消費進行評價,以2011年中國能源統(tǒng)計年鑒中華東8?。ㄊ校└髂茉聪M數(shù)據(jù)為樣本,進行屬性集上的優(yōu)勢類劃分(無需對樣本數(shù)據(jù)離散化處理),并根據(jù)代數(shù)屬性重要性定義求出各指標權重,評價結(jié)果與灰色關聯(lián)度賦權法的結(jié)果較為一致,合理可靠。

    粗糙集法在指標賦權上的優(yōu)勢主要體現(xiàn)在5個方面:一是能處理的數(shù)據(jù)類型廣泛,包括離散型數(shù)據(jù)和連續(xù)型數(shù)據(jù),對連續(xù)型數(shù)據(jù)的有效處理減少了因數(shù)據(jù)離散化所造成的信息損失問題;二是具有較強的容錯能力,能處理缺失型樣本數(shù)據(jù),有效解決了數(shù)據(jù)缺失下的賦權問題;三是信息表示的重要度能彌補代數(shù)表示的重要度中指標權重值可能為0的缺陷,提高了方法的精度;四是方法對指標數(shù)量沒有限制,適用范圍廣;五是完全依賴客觀數(shù)據(jù)進行權重計算,避免了主觀因素的干擾。但該方法也存在一定的缺陷:一是方法的精度會受數(shù)據(jù)樣本的影響,不同的樣本選擇可能會產(chǎn)生不同的決策結(jié)果;二是不能解決指標間相關所造成的信息重疊問題;三是不需要先驗信息的客觀賦權,計算結(jié)果可能會與決策者的理解相悖。

    總的來說,粗糙集法在客觀賦權方法里是應用范圍最廣的,適用于數(shù)據(jù)樣本具有一定普遍性,且樣本量較大的指標間相對獨立的多屬性決策問題。

    3.7 神經(jīng)網(wǎng)絡法

    神經(jīng)網(wǎng)絡法中最常用的是BP神經(jīng)網(wǎng)絡算法,賦權的基本思想[36]是根據(jù)一定的學習機制,對大量數(shù)據(jù)樣本進行非線性的并行學習訓練,具體是根據(jù)誤差的精度要求對輸出數(shù)據(jù)與已知樣本輸出數(shù)據(jù)差值的不斷迭代調(diào)整,得到符合要求的輸入層到隱含層間的連接權矩陣,將每個輸入層節(jié)點到所有隱含層節(jié)點連接權的絕對值求和并歸一化處理得到指標權重。

    神經(jīng)網(wǎng)絡法目前被越來越多地用于指標權重的確定中,例如,早期J. Ch等[37]將該方法用于電子政務網(wǎng)站的評價中,以寧波市20個電子政務網(wǎng)站的相關數(shù)據(jù)作為訓練樣本(以11個評價指標和專家的評價結(jié)果為具體樣本數(shù)據(jù)),訓練計算得各指標權重,并將評估模型用于另外10個電子政務網(wǎng)站的評價中,評價結(jié)果與專家評估較為一致。后來,S. Silva等[38]將該方法用于特級初榨橄欖油穩(wěn)定性的評估中,訓練樣本由黑暗和光明條件存儲下的18種特級初榨橄欖油組成(包括11個評判指標和實驗數(shù)據(jù)所得的評價結(jié)果),訓練計算得各指標權重,將評估模型用于訓練樣本之外的10組橄欖油穩(wěn)定性評估中,評估結(jié)果與實驗顯示的測試分類的一致性大于90%,表明該方法有較高的準確性。

    神經(jīng)網(wǎng)絡法的優(yōu)點主要體現(xiàn)在3個方面:一是其能處理非線性的復雜系統(tǒng)評價問題,并且能進行動態(tài)評估,對體系分析處理的功能強大;二是通過對樣本的學習訓練,能夠獲得經(jīng)實際檢驗是合理、科學且符合實際的指標相對重要性信息,保證了指標權重的客觀性和實用性;三是對評價指標的數(shù)量沒有限制,應用范圍很廣。但該方法也存在一定的缺陷:一是其完全建立在訓練樣本基礎上,就對樣本的要求很高,訓練樣本要具有正確性且面廣量大(主要強調(diào)樣本的覆蓋類型廣,量并非越大越好),才能保證結(jié)果的可靠;一定程度上忽略了主觀經(jīng)驗知識,評估結(jié)果可能會與決策者的主觀偏好相悖。

    總之,神經(jīng)網(wǎng)絡法對于復雜系統(tǒng)的評價問題具有很強的處理能力,比較適用于樣本數(shù)據(jù)量較多且涵蓋面較廣,指標間相對獨立的各類復雜體系的指標權重確定問題中。

    4 常見的綜合集成賦權法

    綜合集成賦權法是依據(jù)不同的偏好系數(shù)將主觀賦權法和客觀賦權法相結(jié)合來確定指標權重的綜合方法。基于主觀賦權法中對專家經(jīng)驗知識與決策者主觀意向的信息體現(xiàn),以及基于客觀賦權法中對指標與評價對象間內(nèi)在聯(lián)系的信息表現(xiàn),綜合集成賦權法通過一定的數(shù)學運算將兩者有效結(jié)合起來,達到了優(yōu)勢互補的效果。目前依據(jù)不同原理的綜合集成賦權方法有多種形式,但大致可將其歸為4類,分別是基于加法或乘法合成歸一化的綜合集成賦權法、基于離差平方和的綜合集成賦權法、基于博弈論的綜合集成賦權法、基于目標最優(yōu)化的綜合集成賦權方法。

    基于加法或乘法合成歸一化的綜合集成賦權方法是直接將主、客觀賦權法所得的指標權重以同等偏好的形式直接相加或相乘,并進行歸一化處理得到各指標的綜合權重。例如,L. Yang等 [39]在供應鏈風險評估中,利用該方法對層次分析法確定的主觀權重與變異系數(shù)法確定的客觀權重等權相乘,再歸一化處理得各指標綜合權重,評估結(jié)果具有較高的精度。

    基于離差平方和的綜合集成賦權法是從決策方案的區(qū)分有利性角度,來求解能使決策方案的綜合評價值盡可能分散,即各方案綜合評價值間的總離差平方和最大的主客觀權重分配系數(shù)。例如,B. Meng等 [40]將該方法用于銀行信用風險評估中,根據(jù)主客觀賦權法對不同對象評價值的整體離差平方和最大化原則,計算出主客觀權重的最優(yōu)調(diào)整系數(shù),歸一化得各指標綜合權重,評價結(jié)果相比主、客觀單一賦權法具有較高的準確性。

    基于博弈論的綜合集成賦權法是在主客觀的不同權重之間尋求妥協(xié)或一致,盡可能保持主客觀權重的原始信息,求解與主客觀權重離差極小化的權重分配系數(shù)。例如,C. Lu等 [41]在教育信息化發(fā)展水平的評估中,利用該方法的思想將層次分析法確定的指標主觀權重與變異系數(shù)法確定的客觀權重進行計算分配權重系數(shù),并歸一化處理得到各指標的綜合集成權重,該模型在對蘇州11個地區(qū)學校的教育信息化發(fā)展水平的評價中取得了較好的效果。

    基于目標最優(yōu)化的綜合集成賦權法是基于綜合決策結(jié)果最優(yōu)的原則來求解主客觀權重系數(shù)分配,包括綜合目標值最大、與負理想解的偏離程度最大兩種具體求解方法。例如,J. Yan等 [42]在學習型城市的評估中,將專家估測法得到的指標主觀權重與熵值法得到的客觀權重根據(jù)總體綜合評價值的最大化原則,計算分配出主、客觀權重系數(shù),并依據(jù)此模型對四個學習型城市進行了較準確的評價。

    總之,各種綜合賦權法都有一定的理論依據(jù),并通過線性方程組、矩陣運算等數(shù)學思想來進行具體求解,有些方法集成計算簡單,而有些則給評估過程帶來了較大的計算量,但各方法間沒有絕對的好壞程度之分,并且目前實際應用中對于何種評估問題選擇何種綜合賦權方法還沒有一致性結(jié)論。另外,綜合賦權法與主、客觀賦權法相比,得到的評價結(jié)果相對更加科學、合理,但也可能存在較大的隨機性偏差,導致結(jié)果與實際情況不符,其不能完全取代單一賦權法,在實際問題研究中選擇賦權方法時要有一個理性的認識。

    5 結(jié)論

    本文重點分析了常見的主觀賦權法、客觀賦權法以及主客觀綜合賦權法中具體權重計算方法的基本思想和原理,對各種方法的優(yōu)缺點進行了比較分析,并分別理出了各方法的適用范圍。研究發(fā)現(xiàn)每種賦權方法考慮問題的側(cè)重點都有所不同,在權重計算上都具有一定的優(yōu)勢與缺陷,相應的適用范圍也存在較大的差異。因此,在進行多要素評價指標賦權方法的選擇時,要理性認識和把握各方法的優(yōu)缺點,并且要具體問題具體分析,根據(jù)評價對象和問題的實際特點,如是否具有數(shù)據(jù)樣本、樣本是否具有代表性、指標間是否存在相關關系等選擇合適的賦權方法,這樣才能保證評價結(jié)果的相對科學和合理性。

    參考文獻:

    [1] 謝季堅, 劉承平. 模糊數(shù)學方法及其應用[M]. 武漢: 華中科技大學出版社, 2006:149-179.

    [2] 鎮(zhèn)常青. 多目標決策中國權重調(diào)查確定方法[J]. 系統(tǒng)工程理論與實踐, 1987, 7(2): 16-24.

    [3] SHANDS F, LEVARY R R. Weighting the importance of various teacher behaviors by use of the delphi method[J]. Education, 1986, 106(3): 306-320.

    [4] 劉璐, 戴昕. 供熱系統(tǒng)節(jié)能評價指標權重確定方法的研究[J]. 建筑節(jié)能, 2015, 43(7): 112-115.

    [5] 石振武, 趙敏. 運用層次分析法確定指標的權值[J]. 科技和產(chǎn)業(yè), 2008, 8(2): 23-25.

    [6] SHEN R, MENG X, YU Y. Analytic hierarchy process applied to synthetically evaluate the labour intensity of jobs[J]. Ergonmics, 1990, 33(7): 867-874.

    [7] 楚存坤, 孫思琴, 韓豐談. 基于層次分析法的高校圖書館學科服務評價模式[J]. 大學圖書館學報, 2014(6): 86-90.

    [8] 馬農(nóng)樂, 趙中極. 基于層次分析法及其改進對確定權重系數(shù)的分析[J]. 水利科技與經(jīng)濟, 2006, 12(11): 732-733, 736.

    [9] 程明熙.處理多目標決策問題的二項系數(shù)加權和法[J]. 系統(tǒng)工程理論與實踐, 1983(4): 23-26.

    [10] 趙書立.實驗室設備投資評價中權數(shù)的計算方法[J]. 石油教育, 1994, 33(S1): 8-12.

    [11] 劉富強, 魯志航, 呂呈新, 等. 基于組合賦權法的抽蓄工程開挖工期影響因素分析[J]. 水電與新能源, 2017(6): 40-43, 72.

    [12] 陸明生.多目標決策中的權系數(shù)[J]. 系統(tǒng)工程理論與實踐, 1986(4): 77-78.

    [13] 陳志剛, 周丹. 基于環(huán)比倍乘評分法的上海市創(chuàng)新型城市階段評價[J]. 消費導刊, 2008(16): 175.

    [14] XIE J, QIN Y, M X, et al. The fuzzy comprehensive evaluation of the highway emergency plan based on G1 method[C]//3rd IEEE international conference on computer science and information technology (ICCSIT).Chengdu: IEEE, 2010: 313-316.

    [15] 薛會琴. 多屬性決策中指標權重確定方法的研究[D]. 蘭州:西北師范大學, 2008: 10-43.

    [16] 時光新, 王其昌, 劉建強. 變異系數(shù)法在小流域治理效益評價中的應用[J]. 水土保持通報, 2000, 20(6): 47.

    [17] ZHENG H P, XUE M, HAN Y, et al. Application of the variation coefficient method to comprehensive evaluation of wind farms[J/OL]. Applied mechanics & materials, 2014[2017-06-25]. https://www.scientific.net/AMM.488-489.1447.

    [18] 蘇為華.多指標綜合評價理論與方法問題研究[D]. 廈門: 廈門大學, 2000:12-38.

    [19] 金星日, 尹錫杰, 許虎男.主成分分析法在工業(yè)企業(yè)經(jīng)濟效益綜合評價中的應用[J]. 數(shù)理統(tǒng)計與管理, 1997, 16(6): 15-18.

    [20] PRADO B Q D, FERNANDES H R, ARAUJO T G, et al. Evaluation of climatological variables in Uberlandia (MG) by principal component analysis[J]. Engenharia sanitaria e ambiental, 1990, 21(2): 407-413.

    [21] HARTE J M, KOELE P, ENGELENBURG G V. Estimation of attribute weights in a multi-attribute choice situation[J]. Acta psychological, 1996, 93(1/3): 37-55.

    [22] 萬建強, 文洲. 因子分析在上市公司經(jīng)營業(yè)績評價中的運用[J]. 預測, 2001, 20(5): 39-42.

    [23] BAI A, HIRA S, DESHPANDE P S. An application of factor analysis in the evaluation of country economic rank[C]//11th international conference on data mining and warehousing(ICDMW). Bangalore: Elsevier, 2015: 311-317.

    [24] 焦利明, 楊建立. 一種確定指標權重的新方法[J]. 指揮控制與仿真, 2006, 28(1): 94-97, 101.

    [25] 焦利明, 馮世立, 鄧長江. 基于向量相似度賦權法的C~3I系統(tǒng)效能評估[J]. 火力與指揮控制, 2005, 30(S1): 204-206.

    [26] 謝平, 肖嬋, 雷紅富, 等. 基于向量相似度原理的湖泊富營養(yǎng)化評價方法及其驗證[J]. 安全與環(huán)境學報, 2008, 8(4): 93-96.

    [27] 周斌. 由灰色關聯(lián)度確定權重的客觀多目標決策法[J]. 昆明理工大學學報(理工版), 2003, 28(5): 159-161.

    [28] 馬峙英, 石書琰. 灰色關聯(lián)度分析在評價棉花品種中的應用初探[J]. 河北農(nóng)業(yè)大學學報, 1987(4): 121-128.

    [29] HO C T. Measuring bank operations performance: an approach based on grey relation analysis[J]. Journal of the Operational Research Society, 2006, 57(4): 337-349.

    [30] 張文泉, 張世英, 江立勤. 基于熵的決策評價模型及應用[J]. 系統(tǒng)工程學報, 1995, 10(3): 69-74.

    [31] 朱順泉, 張堯庭. 上市公司財務狀況的熵值模糊綜合評價模型[J]. 山西財經(jīng)大學學報, 2002(5): 101-103.

    [32] GORGIJ A D, KISI O, MOGHADDAM A A, et al. Groundwater quality ranking for drinking purposes, using the entropy method and the spatial autocorrelation index[J]. Environmental earth sciences, 2017, 76(7): 261-269.

    [33] 鐘嘉鳴, 李訂芳. 基于粗糙集理論的屬性權重確定最優(yōu)化方法研究[J]. 計算機工程與應用, 2008, 44(20): 51-53.

    [34] IP W C, HU B Q, WONG H, et al. Applications of rough set theory to river environment quality evaluation in China[J]. Water resourcess, 2007, 34(4): 459-470.

    [35] 鄒斌, 李俠, 溫家武. 基于優(yōu)勢關系灰色粗糙集的能源消費評價分析[J]. 哈爾濱師范大學自然科學學報, 2013, 29(1): 23-26.

    [36] 孫會君, 王新華. 應用人工神經(jīng)網(wǎng)絡確定評價指標的權重[J]. 山東科技大學學報(自然科學版), 2001, 20(3): 84-86.

    [37] JU C H, LIANG Y, LIU D S. A kind of E-government website evaluation method based on neural network[C]//IEEE international conference on e-business engineering. Shanghai: IEEE, 2006:407-413.

    [38] SILVA S F, ANJOS C A, CAVALCANTI R N, et al. Evaluation of extra virgin olive oil stability by artificial neural network[J]. Food chemistry , 2015, 179(7): 35-43.

    [39] YANG L Q, LIANG X D, DENG FM, et al. Risk assessment of supply chain based on combination weighting method and grey theory[C]//IEEE international conference on industrial engineering and engineering management(IEEM). Singapore: IEEE, 2015: 895-899.

    [40] LU C, LI L, WU D. Application of combination weighting method to weight calculation in performance evaluation of ICT[C]//15th IEEE international conference on advanced learning Technologies(ICALT). Hualien: IEEE, 2015:258-259.

    [41] MENG B, CHI G T. New combined weighting model based on maximizing the difference in evaluation results and its application[J]. Mathematical problems in engineering, 2015(8): 1-9.

    [42] JIANYUAN Y, HAILING G, LEI Z. Research of the evaluation index system of learning city–based on the data of Chinas four municipalities[C]//Workshop on electrical engineering and automation. Beijing: Springer, 2011: 491-497.

    午夜福利视频1000在线观看 | 久久久久久亚洲精品国产蜜桃av| 老鸭窝网址在线观看| 午夜亚洲福利在线播放| 日本免费a在线| 露出奶头的视频| 长腿黑丝高跟| 精品国产一区二区三区四区第35| 免费在线观看日本一区| 免费人成视频x8x8入口观看| 午夜福利欧美成人| 此物有八面人人有两片| 婷婷精品国产亚洲av在线| 国产精品久久久久久亚洲av鲁大| 黑人巨大精品欧美一区二区蜜桃| 老汉色∧v一级毛片| 欧美精品亚洲一区二区| 又黄又爽又免费观看的视频| www日本在线高清视频| 看黄色毛片网站| 一级毛片高清免费大全| 国产精品久久电影中文字幕| 欧美成人免费av一区二区三区| 日韩高清综合在线| www.www免费av| 午夜福利在线观看吧| 亚洲aⅴ乱码一区二区在线播放 | 热re99久久国产66热| 久久 成人 亚洲| 91大片在线观看| 多毛熟女@视频| 欧美日韩亚洲国产一区二区在线观看| 婷婷丁香在线五月| 操出白浆在线播放| 亚洲成av人片免费观看| 99riav亚洲国产免费| a在线观看视频网站| 午夜精品久久久久久毛片777| tocl精华| 久久午夜亚洲精品久久| 久9热在线精品视频| 99精品久久久久人妻精品| 国产精品美女特级片免费视频播放器 | 老熟妇仑乱视频hdxx| 免费在线观看影片大全网站| 亚洲欧美激情在线| 老汉色∧v一级毛片| 999久久久国产精品视频| 天天躁狠狠躁夜夜躁狠狠躁| 天天躁狠狠躁夜夜躁狠狠躁| 中文字幕人成人乱码亚洲影| 亚洲第一av免费看| 国产又爽黄色视频| av视频免费观看在线观看| 搡老岳熟女国产| 久热这里只有精品99| 亚洲片人在线观看| 日韩精品免费视频一区二区三区| 精品国产一区二区三区四区第35| 国产精品久久久人人做人人爽| 国产不卡一卡二| 欧美在线黄色| 日本 av在线| 欧美午夜高清在线| 亚洲第一青青草原| 长腿黑丝高跟| 国产黄a三级三级三级人| 国产精品二区激情视频| 亚洲精品粉嫩美女一区| 长腿黑丝高跟| 久久精品人人爽人人爽视色| 视频区欧美日本亚洲| 国产一区二区三区在线臀色熟女| 国产精品九九99| 嫩草影院精品99| 99riav亚洲国产免费| 制服诱惑二区| 好男人在线观看高清免费视频 | 国产精品久久久久久人妻精品电影| 中文字幕另类日韩欧美亚洲嫩草| 制服丝袜大香蕉在线| 久久久久久久精品吃奶| 老鸭窝网址在线观看| 久99久视频精品免费| 精品熟女少妇八av免费久了| 97超级碰碰碰精品色视频在线观看| 最近最新中文字幕大全电影3 | 国产精华一区二区三区| 免费在线观看黄色视频的| 久99久视频精品免费| 精品欧美一区二区三区在线| 欧美国产日韩亚洲一区| 午夜久久久久精精品| 亚洲 欧美一区二区三区| 久久精品亚洲精品国产色婷小说| 欧美乱色亚洲激情| 超碰成人久久| 欧美激情久久久久久爽电影 | 老鸭窝网址在线观看| 久久久国产成人免费| 性欧美人与动物交配| 国产精品永久免费网站| 亚洲狠狠婷婷综合久久图片| 88av欧美| 高清黄色对白视频在线免费看| 欧美成人一区二区免费高清观看 | 嫩草影院精品99| 少妇熟女aⅴ在线视频| 身体一侧抽搐| 久久久国产欧美日韩av| 亚洲片人在线观看| 国产精品98久久久久久宅男小说| 日本黄色视频三级网站网址| 亚洲精品一区av在线观看| 国产又色又爽无遮挡免费看| 欧美老熟妇乱子伦牲交| 久久久久久国产a免费观看| tocl精华| 91老司机精品| 真人做人爱边吃奶动态| 岛国在线观看网站| 国产一区二区三区视频了| 神马国产精品三级电影在线观看 | 美女 人体艺术 gogo| 免费久久久久久久精品成人欧美视频| 咕卡用的链子| 精品国产亚洲在线| 中文字幕人成人乱码亚洲影| 亚洲av成人av| 18美女黄网站色大片免费观看| 日韩有码中文字幕| 国内久久婷婷六月综合欲色啪| 亚洲专区字幕在线| 久久久久久免费高清国产稀缺| 久久久久亚洲av毛片大全| 午夜免费观看网址| 国产精品精品国产色婷婷| 亚洲人成电影观看| 精品久久久久久成人av| 丁香六月欧美| 又黄又爽又免费观看的视频| 欧美一区二区精品小视频在线| 日韩免费av在线播放| xxx96com| 极品人妻少妇av视频| 一个人观看的视频www高清免费观看 | 满18在线观看网站| 极品教师在线免费播放| 国产亚洲欧美在线一区二区| 少妇被粗大的猛进出69影院| 亚洲中文字幕一区二区三区有码在线看 | 嫁个100分男人电影在线观看| 制服人妻中文乱码| 亚洲专区中文字幕在线| 国产高清有码在线观看视频 | 夜夜爽天天搞| 久久青草综合色| 黑人巨大精品欧美一区二区蜜桃| 免费搜索国产男女视频| 免费在线观看日本一区| 亚洲国产精品sss在线观看| 日日干狠狠操夜夜爽| 久久久久国产一级毛片高清牌| 老熟妇乱子伦视频在线观看| 久热这里只有精品99| 男女床上黄色一级片免费看| e午夜精品久久久久久久| 成人永久免费在线观看视频| 久久天堂一区二区三区四区| 非洲黑人性xxxx精品又粗又长| 好看av亚洲va欧美ⅴa在| 国产不卡一卡二| 十八禁人妻一区二区| 免费观看精品视频网站| 欧美av亚洲av综合av国产av| 国产色视频综合| 在线播放国产精品三级| 欧美一区二区精品小视频在线| 亚洲无线在线观看| www.熟女人妻精品国产| www.自偷自拍.com| 日本 欧美在线| 精品久久久久久久久久免费视频| 国产亚洲精品第一综合不卡| 桃红色精品国产亚洲av| 国产精品亚洲美女久久久| 亚洲片人在线观看| 国产精品秋霞免费鲁丝片| 无限看片的www在线观看| 男女做爰动态图高潮gif福利片 | 亚洲欧美精品综合一区二区三区| 欧美老熟妇乱子伦牲交| 女警被强在线播放| 日韩有码中文字幕| 最近最新免费中文字幕在线| 免费av毛片视频| 欧美成狂野欧美在线观看| 午夜精品在线福利| 一区二区三区精品91| av在线天堂中文字幕| 亚洲精品国产精品久久久不卡| 精品久久久久久久毛片微露脸| 久久人人97超碰香蕉20202| 国产亚洲精品第一综合不卡| 国产三级在线视频| 一区二区日韩欧美中文字幕| 国产精品免费一区二区三区在线| 免费av毛片视频| 久久婷婷人人爽人人干人人爱 | 人人妻人人爽人人添夜夜欢视频| 最好的美女福利视频网| 激情视频va一区二区三区| 美国免费a级毛片| 精品一区二区三区av网在线观看| 老司机福利观看| 一级作爱视频免费观看| 中国美女看黄片| 久久性视频一级片| 国产麻豆69| 大香蕉久久成人网| 久久精品国产亚洲av高清一级| 国产精品一区二区三区四区久久 | 欧美中文日本在线观看视频| 欧美日韩中文字幕国产精品一区二区三区 | 在线av久久热| 欧美久久黑人一区二区| 99在线人妻在线中文字幕| 亚洲五月天丁香| 亚洲成a人片在线一区二区| 丰满人妻熟妇乱又伦精品不卡| 亚洲在线自拍视频| 国产aⅴ精品一区二区三区波| 久久久久久久久中文| 九色亚洲精品在线播放| 亚洲伊人色综图| 99热只有精品国产| 国产成人精品无人区| 操出白浆在线播放| 国产av一区在线观看免费| 欧美乱码精品一区二区三区| 亚洲国产高清在线一区二区三 | 精品福利观看| 日韩国内少妇激情av| 国产av在哪里看| 天天添夜夜摸| 麻豆国产av国片精品| 久久人人爽av亚洲精品天堂| 亚洲人成网站在线播放欧美日韩| 久久精品国产亚洲av香蕉五月| 欧美成人一区二区免费高清观看 | 日日摸夜夜添夜夜添小说| 97人妻天天添夜夜摸| 亚洲 欧美 日韩 在线 免费| 国产精品久久久久久亚洲av鲁大| 88av欧美| 中国美女看黄片| 欧洲精品卡2卡3卡4卡5卡区| 色老头精品视频在线观看| 巨乳人妻的诱惑在线观看| 欧美日韩乱码在线| 亚洲欧美激情综合另类| 精品卡一卡二卡四卡免费| 女人被躁到高潮嗷嗷叫费观| 久久婷婷人人爽人人干人人爱 | 欧美不卡视频在线免费观看 | 精品卡一卡二卡四卡免费| 亚洲av成人不卡在线观看播放网| 露出奶头的视频| x7x7x7水蜜桃| 免费一级毛片在线播放高清视频 | 欧美成狂野欧美在线观看| 在线十欧美十亚洲十日本专区| 岛国视频午夜一区免费看| 两性夫妻黄色片| 国产伦一二天堂av在线观看| 19禁男女啪啪无遮挡网站| 高清在线国产一区| 国产xxxxx性猛交| 亚洲精品中文字幕一二三四区| 级片在线观看| 日本欧美视频一区| 久久精品成人免费网站| 精品卡一卡二卡四卡免费| 国产精品二区激情视频| 国产aⅴ精品一区二区三区波| 丁香欧美五月| e午夜精品久久久久久久| 变态另类成人亚洲欧美熟女 | 成年版毛片免费区| 视频区欧美日本亚洲| 国产日韩一区二区三区精品不卡| 午夜a级毛片| 国产国语露脸激情在线看| 久热爱精品视频在线9| 精品免费久久久久久久清纯| 搞女人的毛片| 日本免费a在线| 黄色毛片三级朝国网站| 亚洲精品粉嫩美女一区| 看免费av毛片| 免费高清视频大片| 黄色a级毛片大全视频| 色综合亚洲欧美另类图片| 色综合欧美亚洲国产小说| 每晚都被弄得嗷嗷叫到高潮| 真人一进一出gif抽搐免费| 欧美激情极品国产一区二区三区| 亚洲成a人片在线一区二区| 亚洲av片天天在线观看| 18禁观看日本| 好男人电影高清在线观看| www.999成人在线观看| 精品日产1卡2卡| 精品一区二区三区视频在线观看免费| 手机成人av网站| 在线天堂中文资源库| 亚洲avbb在线观看| 久久久久久人人人人人| 国产成人精品在线电影| 国产精品久久电影中文字幕| 午夜免费成人在线视频| 久久久精品欧美日韩精品| 日本三级黄在线观看| 久久人人精品亚洲av| 人成视频在线观看免费观看| 亚洲欧美精品综合久久99| 看免费av毛片| 在线观看66精品国产| 亚洲无线在线观看| 中出人妻视频一区二区| 黄网站色视频无遮挡免费观看| videosex国产| 人妻久久中文字幕网| 中文亚洲av片在线观看爽| 黄色视频不卡| 一卡2卡三卡四卡精品乱码亚洲| 亚洲全国av大片| 日韩av在线大香蕉| 欧美一级a爱片免费观看看 | 狂野欧美激情性xxxx| 午夜两性在线视频| 成人免费观看视频高清| 欧美黄色淫秽网站| 免费在线观看视频国产中文字幕亚洲| 他把我摸到了高潮在线观看| 久久这里只有精品19| 老熟妇乱子伦视频在线观看| 波多野结衣巨乳人妻| 黑人巨大精品欧美一区二区蜜桃| 十八禁网站免费在线| aaaaa片日本免费| 国产精品免费视频内射| 亚洲av日韩精品久久久久久密| 欧美日韩亚洲国产一区二区在线观看| 国产一区二区三区视频了| 亚洲av第一区精品v没综合| 我的亚洲天堂| 亚洲国产精品sss在线观看| 香蕉国产在线看| 无限看片的www在线观看| 日韩欧美三级三区| aaaaa片日本免费| 日韩中文字幕欧美一区二区| 99国产综合亚洲精品| 两个人看的免费小视频| 村上凉子中文字幕在线| 给我免费播放毛片高清在线观看| 在线国产一区二区在线| 一进一出好大好爽视频| 欧美中文日本在线观看视频| 国产一级毛片七仙女欲春2 | 亚洲狠狠婷婷综合久久图片| √禁漫天堂资源中文www| 亚洲av成人不卡在线观看播放网| 久久九九热精品免费| 动漫黄色视频在线观看| 后天国语完整版免费观看| 麻豆久久精品国产亚洲av| 国产精品一区二区精品视频观看| 高清黄色对白视频在线免费看| 国产成+人综合+亚洲专区| 少妇裸体淫交视频免费看高清 | 老司机福利观看| 国产不卡一卡二| 亚洲男人的天堂狠狠| avwww免费| 亚洲男人的天堂狠狠| 欧美黑人精品巨大| 国产aⅴ精品一区二区三区波| 黄片小视频在线播放| 黄片播放在线免费| 国产精品九九99| 丁香六月欧美| 丝袜美腿诱惑在线| 一边摸一边抽搐一进一出视频| 一个人观看的视频www高清免费观看 | 一区二区日韩欧美中文字幕| 国产aⅴ精品一区二区三区波| 99热只有精品国产| 国产精品野战在线观看| 日韩视频一区二区在线观看| 日韩国内少妇激情av| 国产成人精品久久二区二区91| www日本在线高清视频| 啪啪无遮挡十八禁网站| 黄网站色视频无遮挡免费观看| 午夜精品在线福利| 欧美+亚洲+日韩+国产| 久久久精品国产亚洲av高清涩受| 欧美+亚洲+日韩+国产| av片东京热男人的天堂| 国产不卡一卡二| 成人18禁在线播放| 欧美黄色片欧美黄色片| 国产99久久九九免费精品| 久久精品人人爽人人爽视色| 亚洲自偷自拍图片 自拍| 国产成人精品久久二区二区91| 午夜激情av网站| a在线观看视频网站| 久久婷婷成人综合色麻豆| 操出白浆在线播放| 无遮挡黄片免费观看| 色综合欧美亚洲国产小说| 男女做爰动态图高潮gif福利片 | 两个人免费观看高清视频| 国产aⅴ精品一区二区三区波| 亚洲成av片中文字幕在线观看| 国产激情欧美一区二区| 免费看美女性在线毛片视频| 国语自产精品视频在线第100页| 在线观看午夜福利视频| 老汉色∧v一级毛片| 国产成人一区二区三区免费视频网站| 丁香欧美五月| 制服人妻中文乱码| 久久久久久久午夜电影| 国产精品乱码一区二三区的特点 | 亚洲熟女毛片儿| 中亚洲国语对白在线视频| 亚洲国产日韩欧美精品在线观看 | 国产熟女午夜一区二区三区| 国产亚洲精品久久久久久毛片| 变态另类丝袜制服| 两人在一起打扑克的视频| 丝袜在线中文字幕| 久久精品91无色码中文字幕| 亚洲最大成人中文| 日韩视频一区二区在线观看| 中文字幕久久专区| 99精品欧美一区二区三区四区| 伦理电影免费视频| 久久亚洲精品不卡| 人人澡人人妻人| 亚洲中文av在线| 咕卡用的链子| 久久精品91无色码中文字幕| 一进一出抽搐gif免费好疼| 亚洲成a人片在线一区二区| 一a级毛片在线观看| 最近最新中文字幕大全电影3 | 亚洲av第一区精品v没综合| 黄色成人免费大全| 亚洲一卡2卡3卡4卡5卡精品中文| 亚洲精品一区av在线观看| 亚洲精品国产一区二区精华液| 亚洲第一青青草原| 国产亚洲精品综合一区在线观看 | 99精品欧美一区二区三区四区| 日韩欧美国产在线观看| 亚洲精品在线观看二区| 久久狼人影院| 国产亚洲欧美98| 国产高清视频在线播放一区| 亚洲精品久久国产高清桃花| 手机成人av网站| 叶爱在线成人免费视频播放| 色综合婷婷激情| 国产精品九九99| 亚洲 欧美一区二区三区| 中文字幕人妻丝袜一区二区| 国产日韩一区二区三区精品不卡| 国产精品久久久人人做人人爽| 欧美另类亚洲清纯唯美| 色在线成人网| 女人精品久久久久毛片| 成人国产一区最新在线观看| 一区二区三区精品91| 一本综合久久免费| 免费高清在线观看日韩| 我的亚洲天堂| 国产午夜精品久久久久久| 一区二区三区国产精品乱码| 女生性感内裤真人,穿戴方法视频| 国产99久久九九免费精品| 91精品三级在线观看| 50天的宝宝边吃奶边哭怎么回事| 欧美黄色片欧美黄色片| 精品一区二区三区av网在线观看| АⅤ资源中文在线天堂| 国产成人免费无遮挡视频| 视频区欧美日本亚洲| 亚洲国产日韩欧美精品在线观看 | 人人妻人人澡人人看| 美女午夜性视频免费| 久久国产精品人妻蜜桃| 欧美日韩亚洲综合一区二区三区_| 亚洲五月色婷婷综合| 国产成人一区二区三区免费视频网站| 国产高清激情床上av| 日日夜夜操网爽| 狠狠狠狠99中文字幕| 久久久久久免费高清国产稀缺| 女人精品久久久久毛片| 精品乱码久久久久久99久播| 一本综合久久免费| 青草久久国产| 丁香欧美五月| 国产99久久九九免费精品| 久久精品国产亚洲av高清一级| 亚洲中文字幕一区二区三区有码在线看 | 国产午夜福利久久久久久| 国产97色在线日韩免费| 岛国视频午夜一区免费看| 一本综合久久免费| 亚洲成av人片免费观看| 97人妻精品一区二区三区麻豆 | 一本大道久久a久久精品| 桃红色精品国产亚洲av| 无遮挡黄片免费观看| 9色porny在线观看| 精品国产乱码久久久久久男人| 亚洲熟女毛片儿| 国产97色在线日韩免费| 99精品欧美一区二区三区四区| 老司机深夜福利视频在线观看| 成年人黄色毛片网站| 国产在线观看jvid| 欧美最黄视频在线播放免费| 国产精品久久久久久人妻精品电影| 欧美一区二区精品小视频在线| 午夜老司机福利片| 天天躁狠狠躁夜夜躁狠狠躁| 法律面前人人平等表现在哪些方面| 亚洲中文日韩欧美视频| 999精品在线视频| 国产区一区二久久| 丁香欧美五月| 美女扒开内裤让男人捅视频| 99re在线观看精品视频| av天堂久久9| 亚洲精品美女久久av网站| 99国产精品99久久久久| 91成年电影在线观看| 91在线观看av| 精品免费久久久久久久清纯| 777久久人妻少妇嫩草av网站| 最近最新免费中文字幕在线| 国产精品99久久99久久久不卡| 久久精品91无色码中文字幕| 久久精品91蜜桃| 欧美日韩一级在线毛片| 亚洲精品在线观看二区| 精品午夜福利视频在线观看一区| 国产av一区二区精品久久| 国产日韩一区二区三区精品不卡| 老汉色av国产亚洲站长工具| 热re99久久国产66热| 免费女性裸体啪啪无遮挡网站| 亚洲va日本ⅴa欧美va伊人久久| 高清黄色对白视频在线免费看| 九色亚洲精品在线播放| 亚洲五月婷婷丁香| 久久久久亚洲av毛片大全| 精品午夜福利视频在线观看一区| 国产欧美日韩综合在线一区二区| 亚洲欧美激情在线| 99香蕉大伊视频| 免费看a级黄色片| 国产激情久久老熟女| 黄片小视频在线播放| 男男h啪啪无遮挡| 搡老妇女老女人老熟妇| 九色亚洲精品在线播放| 午夜精品久久久久久毛片777| 亚洲国产精品sss在线观看| 十分钟在线观看高清视频www| 亚洲在线自拍视频| 此物有八面人人有两片| 国产97色在线日韩免费| 悠悠久久av| 欧美人与性动交α欧美精品济南到| 在线观看66精品国产| 国产精品久久视频播放| 悠悠久久av| 99精品久久久久人妻精品| 久久精品91蜜桃| www.www免费av| 午夜视频精品福利| 久久久久久亚洲精品国产蜜桃av| 亚洲国产看品久久| 久久热在线av| 男人舔女人的私密视频| 亚洲av电影在线进入| 亚洲专区字幕在线| 日韩av在线大香蕉| 国产99白浆流出| 国产亚洲欧美98| 婷婷六月久久综合丁香| 欧美大码av| 久久久国产精品麻豆| 亚洲国产精品合色在线| 给我免费播放毛片高清在线观看| 人人妻,人人澡人人爽秒播| 亚洲精品国产一区二区精华液|