• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    多源評(píng)價(jià)的特點(diǎn)與內(nèi)在機(jī)制

    2018-06-04 02:40:33翁清雄
    心理科學(xué)進(jìn)展 2018年6期
    關(guān)鍵詞:評(píng)價(jià)者偏誤績(jī)效評(píng)價(jià)

    張 赟 翁清雄

    (1西南財(cái)經(jīng)大學(xué)工商管理學(xué)院, 成都 611130)(2中國(guó)科學(xué)技術(shù)大學(xué)管理學(xué)院, 合肥 230026)

    1 引言

    在工業(yè)經(jīng)濟(jì)時(shí)期, 在大規(guī)模的重復(fù)生產(chǎn)方式條件下, 對(duì)員工的績(jī)效評(píng)價(jià)主要為上級(jí)評(píng)價(jià)模式(top-down appraisal)。但隨著經(jīng)濟(jì)的發(fā)展, 定制生產(chǎn)方式的出現(xiàn), 上級(jí)無法擁有員工的完整信息,不能對(duì)員工作出客觀公正的評(píng)價(jià)(許慶瑞, 王勇,陳勁, 2002), 因此擁有多個(gè)評(píng)價(jià)源的評(píng)價(jià)模式應(yīng)運(yùn)而生。多源評(píng)價(jià)/反饋(multisource feedback), 包括360度、270度或180度評(píng)價(jià)(Markham, Smith,Markham, & Braekkan, 2014), 指被評(píng)價(jià)者受到來自上級(jí)、同事、自我、下級(jí)及顧客的多角度評(píng)價(jià)(London & Smither, 1995)。據(jù)統(tǒng)計(jì), 全球500強(qiáng)企業(yè)中, 有 90%的企業(yè)都在使用多源評(píng)價(jià)(Maylett,2009)。相對(duì)于傳統(tǒng)的上級(jí)評(píng)價(jià)來說, 多源評(píng)價(jià)是多個(gè)評(píng)價(jià)主體同時(shí)對(duì)被評(píng)價(jià)者的績(jī)效進(jìn)行評(píng)估,因此能夠提供更準(zhǔn)確、多角度的描述(Hoffman,Lance, Bynum, & Gentry, 2010)。

    目前, 我國(guó)對(duì)多源評(píng)價(jià)的研究還較少, 且大多屬于定性研究。如劉鳳瑜(2000)對(duì)360度反饋的基本原理與過程進(jìn)行了闡述; 陸昌勤、方俐洛和凌文輇(2001)探討了 360度反饋在人力資源管理中的效用, 以及在中國(guó)文化背景下的實(shí)施策略;許慶瑞等(2002)對(duì)多源評(píng)價(jià)中不同的評(píng)價(jià)源特征及缺點(diǎn)進(jìn)行了分析, 并針對(duì)不同的組織環(huán)境對(duì)多源評(píng)價(jià)方式進(jìn)行了匹配。然而, 目前國(guó)內(nèi)關(guān)于多源評(píng)價(jià)的定量研究, 卻幾乎沒有; 這與國(guó)外的研究文獻(xiàn)產(chǎn)生了很大的反差。本文基于國(guó)外關(guān)于多源評(píng)價(jià)的實(shí)證研究, 從評(píng)價(jià)過程、評(píng)價(jià)源1本文中的評(píng)價(jià)源指代同一類別評(píng)價(jià)者的集合, 而評(píng)價(jià)者則指代單個(gè)的評(píng)價(jià)人。及被評(píng)價(jià)者三方面, 對(duì)國(guó)外多源評(píng)價(jià)的特點(diǎn)及內(nèi)在機(jī)制進(jìn)行探討, 旨在總結(jié)現(xiàn)有研究的不足, 并提出未來的研究方向。針對(duì)內(nèi)在機(jī)制, 本文主要圍繞評(píng)價(jià)結(jié)果, 分析評(píng)價(jià)過程、評(píng)價(jià)源對(duì)于評(píng)價(jià)結(jié)果的影響, 評(píng)價(jià)者對(duì)評(píng)價(jià)結(jié)果反應(yīng)的影響因素, 以及各因素間的相互作用, 如圖1所示。

    2 多源評(píng)價(jià)過程

    2.1 評(píng)價(jià)目的

    多源評(píng)價(jià)最初主要以幫助員工自身發(fā)展為目的(London & Smither, 1995), 通過識(shí)別員工的優(yōu)缺點(diǎn), 制定相應(yīng)的績(jī)效改進(jìn)計(jì)劃, 以促進(jìn)員工發(fā)展。如 Wong和 Kwong (2007)提出, 多源評(píng)價(jià)應(yīng)以追求和諧、追求公平、識(shí)別員工優(yōu)缺點(diǎn)及激勵(lì)員工為目的。隨著多源評(píng)價(jià)在實(shí)際運(yùn)用中的不斷發(fā)展, 其評(píng)價(jià)目的也變得更為豐富。比如, 不少企業(yè)開始將多源評(píng)價(jià)運(yùn)用于管理目的。London (2001)認(rèn)為多源評(píng)價(jià)既適用于發(fā)展目的, 也可用于管理目的, 但若運(yùn)用到管理活動(dòng)中則需花費(fèi)更多時(shí)間。當(dāng)多源評(píng)價(jià)以員工個(gè)人發(fā)展為目的時(shí), 會(huì)減少評(píng)價(jià)者和被評(píng)價(jià)者的顧慮, 評(píng)價(jià)者會(huì)作出更誠(chéng)實(shí)的評(píng)價(jià), 評(píng)價(jià)結(jié)果也更容易被接受(Rogers, Rogers,& Metlay, 2002)。而當(dāng)多源評(píng)價(jià)運(yùn)用于管理目的時(shí),由于評(píng)價(jià)結(jié)果與員工的獎(jiǎng)金、晉升等相關(guān), 為了追求和諧的組織氛圍, 評(píng)價(jià)者往往會(huì)提高對(duì)員工的評(píng)價(jià), 從而更易導(dǎo)致寬大效應(yīng)的出現(xiàn)(Chappelow,2004)。有趣的是, 最近研究發(fā)現(xiàn)當(dāng)多源評(píng)價(jià)同時(shí)用于管理與發(fā)展目的時(shí), 被評(píng)價(jià)者由于受到兩大目的的同時(shí)激勵(lì), 相對(duì)于單一評(píng)價(jià)目的來說, 評(píng)價(jià)結(jié)果對(duì)員工知識(shí)共享能力的影響將增強(qiáng)(Kim,Atwater, Patel, & Smither, 2016)??梢? 多源評(píng)價(jià)的評(píng)價(jià)目的由單一性向多重性發(fā)展, 企業(yè)在運(yùn)用多源評(píng)價(jià)時(shí), 應(yīng)根據(jù)自身特點(diǎn)及發(fā)展需求, 設(shè)立多重而清晰的多源評(píng)價(jià)目的。

    圖1 多源評(píng)價(jià)的結(jié)構(gòu)圖

    2.2 評(píng)價(jià)形式

    在多源評(píng)價(jià)過程中一般采用匿名的形式進(jìn)行評(píng)價(jià), 因?yàn)楫?dāng)評(píng)價(jià)者得知個(gè)人信息不會(huì)被泄露時(shí),他們會(huì)作出更真實(shí)而準(zhǔn)確的評(píng)價(jià)(Brutus & Derayeh,2002)。特別是下級(jí)評(píng)價(jià)中, 當(dāng)下級(jí)員工給與管理者較低評(píng)分時(shí), 常擔(dān)心上級(jí)領(lǐng)導(dǎo)的報(bào)復(fù)行為, 從而導(dǎo)致他們提高對(duì)管理者的評(píng)分(Atwater, Brett,& Charles, 2007)。因此, 多源評(píng)價(jià)過程應(yīng)堅(jiān)持匿名性原則, 以保證評(píng)價(jià)結(jié)果的準(zhǔn)確性。同時(shí), 評(píng)價(jià)量表的制定也對(duì)評(píng)價(jià)結(jié)果有一定的影響。多源評(píng)價(jià)過程中, 一般以李克特量表的形式, 讓評(píng)價(jià)者進(jìn)行打分。但Brown, Inceoglu和Lin (2017)提出, 李克特量表會(huì)帶來較強(qiáng)的反應(yīng)偏差(response biases),而采用強(qiáng)迫排序(forced-choice ranking)來替代李克特量表, 能降低評(píng)價(jià)誤差, 從而提高評(píng)價(jià)者間的一致性。可見, 從改進(jìn)評(píng)價(jià)量表形式的角度入手, 來提高評(píng)價(jià)者間的一致性, 是未來研究值得探討的問題。另外, 在反饋結(jié)果的呈現(xiàn)上, Atwater等(2007)的研究結(jié)果顯示, 相對(duì)于文字型的反饋結(jié)果來說, 被評(píng)價(jià)者更喜歡數(shù)字型的反饋, 因?yàn)槲淖中偷姆答伋1磉_(dá)得含糊不清, 而數(shù)字型的反饋則更為具體而易懂。

    2.3 評(píng)價(jià)后的引導(dǎo)機(jī)制

    有研究發(fā)現(xiàn), 在多源評(píng)價(jià)結(jié)束幾個(gè)月之后,大多員工將記不起績(jī)效評(píng)價(jià)的結(jié)果, 特別是關(guān)于其弱點(diǎn)方面的內(nèi)容(Smither, Brett, & Atwater,2008)。而此時(shí)若配一名優(yōu)秀的引導(dǎo)者(如有經(jīng)驗(yàn)的老員工), 將會(huì)提高員工對(duì)反饋結(jié)果的感知有用性及自我意識(shí), 降低其對(duì)負(fù)面反饋的消極情緒, 增加其改進(jìn)動(dòng)力, 從而最終獲得績(jī)效提升(Luthans& Peterson, 2003)。另外, 相關(guān)學(xué)者還發(fā)現(xiàn)上級(jí)的領(lǐng)導(dǎo)風(fēng)格或行為, 會(huì)影響員工的后續(xù)績(jī)效改進(jìn)行為。如教練式領(lǐng)導(dǎo)風(fēng)格能負(fù)向顯著地影響, 員工對(duì)績(jī)效評(píng)價(jià)中組織政治(organizational politcis)的感知, 即績(jī)效評(píng)價(jià)過程是否公正嚴(yán)明或受到其他政治因素的影響(Russo, Miraglia, & Borgogni,2017); 而領(lǐng)導(dǎo)的自主支持行為, 會(huì)促進(jìn)員工的反饋尋求行為, 讓員工更主動(dòng)積極的, 根據(jù)反饋結(jié)果來提高個(gè)人績(jī)效(Beenen, Pichler, & Levy, 2017)。因而, 在員工收到多源評(píng)價(jià)結(jié)果后, 應(yīng)盡量為其分配一名優(yōu)秀的引導(dǎo)者, 幫助其更好地利用評(píng)價(jià)結(jié)果, 來獲得自身能力的提高。同時(shí), 領(lǐng)導(dǎo)者也應(yīng)以身作則, 通過樹立良好的領(lǐng)導(dǎo)風(fēng)格與行為, 潛移默化地影響員工的后續(xù)績(jī)效改進(jìn)活動(dòng)。

    3 多源評(píng)價(jià)中的評(píng)價(jià)源

    相對(duì)于傳統(tǒng)的績(jī)效評(píng)價(jià), 多源評(píng)價(jià)的最大特點(diǎn)就是擁有不同的評(píng)價(jià)源, 關(guān)于顧客這一評(píng)價(jià)源的研究較少, 因此本文涉及的評(píng)價(jià)源主要包括上級(jí)、同級(jí)、下級(jí)及被評(píng)價(jià)者本身。

    3.1 評(píng)價(jià)源間的評(píng)價(jià)一致性

    雖然已有研究證明了, 多源評(píng)價(jià)中自我評(píng)價(jià)、同級(jí)評(píng)價(jià)、上級(jí)評(píng)價(jià)及下級(jí)評(píng)價(jià)間的測(cè)量等價(jià)性, 即表明不同評(píng)價(jià)源間的評(píng)價(jià)結(jié)果, 可直接進(jìn)行比較(Facteau & Craig, 2001; Woehr, Sheehan,& Bennett, 2005)。然而, 由于員工在各類評(píng)價(jià)源面前, 所表現(xiàn)的行為不同(Braddy, Gooty, Fleenor,& Yammarino, 2014), 各類評(píng)價(jià)源所關(guān)注的重點(diǎn)也有差異(Semeijn, Van Der Heijden, & Van Der Lee, 2014), 因而帶來了不同評(píng)價(jià)源間一致性的問題。以往研究證實(shí)了, 多源評(píng)價(jià)中不同評(píng)價(jià)源間的評(píng)價(jià)一致性較低(Hassan & Rohrbaugh, 2009;Beus, Jarrett, Bergman, & Payne, 2012; Braddy et al., 2014)。如Semeijn等(2014)認(rèn)為, 同級(jí)評(píng)價(jià)與下級(jí)評(píng)價(jià)間的分歧最大, 且同類評(píng)價(jià)源的內(nèi)部一致性, 要高于評(píng)價(jià)源間的一致性。同時(shí), 相關(guān)學(xué)者還從各個(gè)方面探討了其原因, 包括評(píng)價(jià)者個(gè)性特征(Randall & Sharples, 2012), 工作環(huán)境氛圍(Rosen, Kacmar, Harris, Gavin, & Hochwarter,2017), 及文化特征(Atwater, Wang, Smither, & Fleenor,2009; Eckert, Ekelund, Gentry, & Dawson, 2010)等。其中, 文化的影響作用具體表現(xiàn)為, Atwater等(2009)探討了國(guó)家文化對(duì)于自我?他人評(píng)價(jià)間一致性的調(diào)節(jié)作用, 并得出在高獨(dú)斷性(assertiveness)及高權(quán)力距離(power distance)的文化背景下, 管理者的自我評(píng)價(jià)與同級(jí)評(píng)價(jià)、下級(jí)評(píng)價(jià)間的一致性相對(duì)更高。另外, 評(píng)價(jià)源間的不一致問題, 會(huì)同時(shí)影響評(píng)價(jià)者與被評(píng)價(jià)者的行為。Amundsen和Martinsen (2014)的研究證明, 在對(duì)中層管理者進(jìn)行授權(quán)領(lǐng)導(dǎo)行為評(píng)價(jià)時(shí), 自我評(píng)價(jià)低于上級(jí)評(píng)價(jià)時(shí), 該管理者的領(lǐng)導(dǎo)效能更高; 當(dāng)自我評(píng)價(jià)高于下級(jí)評(píng)價(jià)時(shí), 下級(jí)的工作滿意度則更低, 離職傾向相對(duì)更高。Kopperud, Martinsen和Humborstad(2014)證明了, 中層管理者的自我評(píng)價(jià)低于下級(jí)評(píng)價(jià)時(shí), 組織的服務(wù)氛圍(service climate)會(huì)更高。

    在多源評(píng)價(jià)一致性問題研究中, 自我評(píng)價(jià)與他人評(píng)價(jià)間的一致性(self-others rating agreement)問題受到的關(guān)注最多(Amundsen & Martinsen,2014; Kopperud et al., 2014; Markham, Markham,& Smith, 2015)。自我?他人評(píng)價(jià)一致性, 通常受到性別、年齡及種族等人口統(tǒng)計(jì)特征, 個(gè)性品質(zhì)及相關(guān)外在環(huán)境的影響(Fleenor, Smither, Atwater,Braddy, & Sturm, 2010)。如男性和年老的員工容易高估自己的績(jī)效(Vecchio & Anderson, 2009), 黑人相對(duì)于白人來說常為高估者(Bernardin, Konopaske,& Hagan, 2012)。另外, 由于不同評(píng)價(jià)源間的一致性較低, 以往對(duì)評(píng)價(jià)結(jié)果直接平均的做法, 會(huì)造成部分重要信息的丟失(Markham et al., 2014)。因此, Markham等學(xué)者基于組內(nèi)和組間分析(within and between analysis), 利用相關(guān)指標(biāo), 探討了多源評(píng)價(jià)中同一評(píng)價(jià)源組內(nèi)平均(Markham et al., 2014)以及不同評(píng)價(jià)源組間平均, 包括自我?下級(jí)評(píng)價(jià)間(Markham et al., 2015)和自我?同級(jí)評(píng)價(jià)間(Markham, Markham, & Smith, 2017)的平均問題,并得出不是任何時(shí)候都能對(duì)多源評(píng)價(jià)結(jié)果, 采用直接平均的方式, 需滿足一定的標(biāo)準(zhǔn)條件??梢?如何提高多源評(píng)價(jià)中不同評(píng)價(jià)源間的一致性問題,是今后多源評(píng)價(jià)研究的重要方向。

    3.2 評(píng)價(jià)源與評(píng)價(jià)偏誤

    暈輪效應(yīng)(halo effect)和寬大效應(yīng)(leniency effect), 是多源評(píng)價(jià)過程中常見的兩大評(píng)價(jià)偏誤(rating biases) (Pulakos & O’Leary, 2011), 影響著績(jī)效評(píng)價(jià)的有效性(Hoffman et al., 2010; Ng, Koh,Ang, Kennedy, & Chan, 2011; O’Neill, Goffin, &Gellatly, 2012) 。其中, 暈輪效應(yīng)指在被評(píng)價(jià)者某種特征的影響下, 形成固有的印象, 從而產(chǎn)生以偏概全的認(rèn)知偏誤; 而寬大效應(yīng)則指評(píng)價(jià)者在對(duì)他人的評(píng)價(jià)的過程中, 相對(duì)于負(fù)面評(píng)價(jià), 更傾向于正面的肯定與夸贊。

    基于對(duì)相關(guān)文獻(xiàn)(Antonioni & Park, 2001; Ng et al., 2011等)的總結(jié)分析, 不同評(píng)價(jià)源產(chǎn)生評(píng)價(jià)偏誤的概率存在差異。其中, 自我評(píng)價(jià)過程中出現(xiàn)寬大效應(yīng)的概率相對(duì)最大, 卻較少出現(xiàn)暈輪效應(yīng)?;跉w因理論和自我提升理論, 這可能是因?yàn)閭€(gè)體為了維持較好的自我感覺, 會(huì)扭曲部分信息, 把成功的原因歸于自己, 而將失敗歸結(jié)于環(huán)境或他人的問題。在下級(jí)評(píng)價(jià)中, 兩類評(píng)價(jià)偏誤出現(xiàn)的概率都很大, 且會(huì)隨著對(duì)被評(píng)價(jià)者觀察時(shí)間的增加而增強(qiáng)(Antonioni & Park, 2001)。這與下級(jí)對(duì)上級(jí)評(píng)價(jià)時(shí), 擔(dān)心其會(huì)受到報(bào)復(fù)行為的心理有關(guān)。同級(jí)評(píng)價(jià)出現(xiàn)兩類評(píng)價(jià)偏誤的可能性差不多, 常處于選擇正面評(píng)價(jià)或負(fù)面評(píng)價(jià)之間徘徊。因而, 相對(duì)于其他評(píng)價(jià)源來說, 上級(jí)評(píng)價(jià)的結(jié)果相對(duì)更準(zhǔn)確。

    另外, 評(píng)價(jià)偏誤受評(píng)價(jià)者與被評(píng)價(jià)者間的工作關(guān)聯(lián)性影響。如Spence和Keeping (2010)提出,評(píng)價(jià)者的動(dòng)機(jī)會(huì)影響其對(duì)被評(píng)價(jià)者的評(píng)分, 如上級(jí)為了培養(yǎng)下屬忠誠(chéng)度, 會(huì)夸大其業(yè)績(jī); 下級(jí)為了避免上級(jí)的報(bào)復(fù), 會(huì)故意抬高對(duì)其評(píng)分; 而同級(jí)之間, 由于存在競(jìng)爭(zhēng)關(guān)系, 可能會(huì)故意壓低評(píng)分。評(píng)價(jià)者的自身特點(diǎn), 也會(huì)影響評(píng)價(jià)偏誤及評(píng)價(jià)準(zhǔn)確性。如評(píng)價(jià)者的自我建構(gòu)(self-construal)(Mishra & Roch, 2013), 人格特征如責(zé)任感(Mero,Guidice, & Brownlee, 2007; Bernardin, Tyler, &Villanova, 2009) 及隨和性(Wood, Harms, &Vazire, 2010; Bono, Hooper, & Yoon, 2012)等因素。Bernardin, Thomason, Buckley和Kane (2016)的最新研究發(fā)現(xiàn), 隨和性較高, 自信心較低及績(jī)效管理能力較差的評(píng)價(jià)者, 更易帶來評(píng)價(jià)偏誤,降低評(píng)價(jià)的準(zhǔn)確性。同時(shí), 文化也會(huì)對(duì)不同評(píng)價(jià)源的評(píng)價(jià)造成影響。比如, 個(gè)人主義傾向高的管理者, 會(huì)更容易提高對(duì)自我的評(píng)價(jià)(Xie, Chen, &Roy, 2006); 若組織文化宣揚(yáng) “合作”而不是“競(jìng)爭(zhēng)”, 則同級(jí)評(píng)價(jià)中故意壓低評(píng)分的現(xiàn)象將減少(Conway, Lombardo, & Sanders, 2001)。Kossek,Huang, Piszczek, Fleenor和 Ruderman (2017)證明,評(píng)價(jià)者與被評(píng)價(jià)者間的文化距離(culture distance),即兩者的文化差異程度, 也會(huì)影響評(píng)價(jià)結(jié)果, 并受到文化特征的調(diào)節(jié)作用, 具體表現(xiàn)為, 在低權(quán)力距離和高人性取向的環(huán)境下, 文化距離對(duì)同級(jí)評(píng)價(jià)的負(fù)面影響作用, 會(huì)相對(duì)減弱。

    4 多源評(píng)價(jià)中的被評(píng)價(jià)者

    4.1 對(duì)評(píng)價(jià)過程的接受性

    個(gè)體對(duì)多源評(píng)價(jià)過程的接受意愿, 受到自身個(gè)性特征的影響。如具有開放精神的員工, 會(huì)更愿意接受多源評(píng)價(jià), 并認(rèn)為其是有價(jià)值的(Smither,London, & Reilly, 2005); 自我效能感(self-efficacy)較高的個(gè)體, 對(duì)多源評(píng)價(jià)持有更積極的態(tài)度, 并在績(jī)效評(píng)價(jià)之后獲得更多的提升(Heslin &Latham, 2004)。因?yàn)? 自我效能感較高的個(gè)體, 會(huì)關(guān)注如何分析和解決問題, 而不是一味地?fù)?dān)心失敗。Atwater等(2007)的研究也發(fā)現(xiàn), 具有較高自我效能感的個(gè)體, 在績(jī)效評(píng)價(jià)之后更愿意與評(píng)價(jià)者見面, 與上級(jí)領(lǐng)導(dǎo)討論, 并制定相關(guān)的改進(jìn)目標(biāo), 同時(shí)也會(huì)更有動(dòng)力使用績(jī)效評(píng)價(jià)結(jié)果。而具有犬儒思想的個(gè)體, 對(duì)組織持嘲諷態(tài)度時(shí), 即不相信組織中存在積極的改變, 或認(rèn)為個(gè)人努力在組織中無意義, 會(huì)更容易拒絕多源評(píng)價(jià)(McCarthy& Garavan, 2007)。另外, 組織文化也會(huì)影響個(gè)體對(duì)多源評(píng)價(jià)的接受度。London和 Smither (2002)提出, 如果組織內(nèi)建立了“反饋文化(feedback culture)”, 即個(gè)體經(jīng)常接受或請(qǐng)求, 獲得正式或非正式的反饋來提高自己的工作績(jī)效, 個(gè)體會(huì)更愿意接受多源評(píng)價(jià)。

    4.2 對(duì)評(píng)價(jià)結(jié)果的反應(yīng)

    當(dāng)個(gè)體收到多源評(píng)價(jià)結(jié)果后, 受各種因素的影響, 會(huì)表現(xiàn)出不同的反應(yīng)(reaction), 但學(xué)者們對(duì)“反應(yīng)”的相關(guān)概念并沒有統(tǒng)一的標(biāo)準(zhǔn)(Pichler,2012; Brown & Benson, 2003)?;趯?duì)現(xiàn)有研究的總結(jié)分析, 本文將個(gè)體對(duì)評(píng)價(jià)結(jié)果的反應(yīng)分為三類:感知反應(yīng), 包括準(zhǔn)確性、公平性及有用性; 情感反應(yīng), 包括滿意度, 積極情緒與消極情緒; 行為反應(yīng), 包括績(jī)效改進(jìn)動(dòng)力, 設(shè)立更具體的目標(biāo),與他人分享評(píng)價(jià)結(jié)果, 向上級(jí)領(lǐng)導(dǎo)求助等。同時(shí),還分析了三大個(gè)體反應(yīng)間的相互關(guān)系, 如圖 2所示。當(dāng)被評(píng)價(jià)者感知評(píng)價(jià)結(jié)果是準(zhǔn)確、公平且有效的, 會(huì)提高其對(duì)評(píng)價(jià)結(jié)果的情感反應(yīng), 表現(xiàn)出較高的滿意度及積極的情緒, 從而增強(qiáng)其行為反應(yīng), 具體表現(xiàn)為充滿改進(jìn)動(dòng)力, 設(shè)置具體的目標(biāo)計(jì)劃, 向他人分享結(jié)果, 并尋求幫助等。

    圖2 個(gè)體對(duì)多源評(píng)價(jià)評(píng)價(jià)結(jié)果的反應(yīng)

    員工對(duì)多源評(píng)價(jià)結(jié)果的反應(yīng), 受到很多因素的影響, 包括評(píng)分值(高或低)、個(gè)性特征、反饋信號(hào)(正面或負(fù)面)、自我評(píng)價(jià)與他人評(píng)價(jià)間的差距等,并受到個(gè)體目標(biāo)定向、個(gè)性特征等的調(diào)節(jié)作用。其中, 績(jī)效評(píng)價(jià)結(jié)果的分值越高, 往往被評(píng)價(jià)者的滿意度也越高(Judge & Bono, 2001; Kampk?tter,2017)。然而, Luffarelli, Goncalves和Stamatogiannakis(2016)的研究表明, 該結(jié)果僅針對(duì)被評(píng)價(jià)者的社會(huì)比較傾向(social comparison orientation)較低時(shí)而成立。被評(píng)價(jià)者的個(gè)性特征的影響作用可表現(xiàn)為, 經(jīng)驗(yàn)開放性較高的員工, 對(duì)評(píng)價(jià)結(jié)果更易產(chǎn)生較高的滿意度(Krasman, 2010); 當(dāng)評(píng)價(jià)結(jié)果不與獎(jiǎng)金相關(guān)時(shí), 評(píng)價(jià)結(jié)果對(duì)員工工作滿意度的影響, 受到控制點(diǎn)(locus of control)及經(jīng)驗(yàn)開放性的負(fù)向調(diào)節(jié)作用(Kampk?tter, 2017)。

    反饋信號(hào)(feedback sign)是指根據(jù)反饋內(nèi)容的特點(diǎn), 將反饋分為正面反饋和負(fù)面反饋兩類。被評(píng)價(jià)者常認(rèn)為正面反饋比負(fù)面反饋, 更加正確和有用(Brett & Atwater, 2001), 從而更樂意接受反饋結(jié)果(McCarthy & Garavan, 2007), 表現(xiàn)出較高的滿意度及積極的行為反應(yīng)(Culbertson, Henning,& Payne, 2013), 績(jī)效也更易獲得提高(Smither &Walker, 2004)。而負(fù)面反饋常被員工認(rèn)為是不公平, 不準(zhǔn)確, 缺乏有用性的(Brett & Atwater,2001), 他們會(huì)選擇忽視或者不接受反饋結(jié)果, 表現(xiàn)出較低的滿意度及消極的情感反應(yīng)(Culbertson et al., 2013)。但 Brett和 Atwater (2001)認(rèn)為, 這只是短暫的情緒反應(yīng), 當(dāng)幾周過后, 反饋信號(hào)與感知反應(yīng)間并不存在相關(guān)性。同時(shí), Smither等(2005)發(fā)現(xiàn)當(dāng)被評(píng)價(jià)者收到差評(píng)時(shí), 剛開始會(huì)出現(xiàn)消極的反應(yīng), 但當(dāng) 6個(gè)月之后, 他們會(huì)設(shè)定更多改進(jìn)目標(biāo)。另外, 被評(píng)價(jià)者對(duì)正面或負(fù)面反饋結(jié)果的反應(yīng), 還受到個(gè)體目標(biāo)定向的調(diào)節(jié)作用(Heslin &Latham, 2004; Culbertson et al., 2013)。

    自我?他人評(píng)價(jià)間的差異, 也影響著被評(píng)價(jià)者對(duì)評(píng)價(jià)結(jié)果的反應(yīng)。當(dāng)自我評(píng)價(jià)高于他人評(píng)價(jià)時(shí), 被評(píng)價(jià)者常會(huì)對(duì)反饋結(jié)果產(chǎn)生消極的情感反應(yīng), 而不同的評(píng)價(jià)源下的情況不同。當(dāng)被評(píng)價(jià)者高估自己時(shí), 會(huì)表現(xiàn)出生氣、抱怨等負(fù)面情緒, 特別是收到較低的同級(jí)與上級(jí)評(píng)價(jià)時(shí); 而對(duì)下級(jí)的負(fù)面評(píng)價(jià)則不易出現(xiàn)消極情緒(Brett & Atwater,2001), 反而會(huì)負(fù)向影響下級(jí)的行為, 如增加下級(jí)的離職傾向(Amundsen & Martinsen, 2014)。當(dāng)自我評(píng)價(jià)低于他人評(píng)價(jià)時(shí), 雖然不一定會(huì)帶來積極的行為反應(yīng)(Brett & Atwater, 2001), 但被評(píng)價(jià)者的滿意度會(huì)變得更高(Bono & Colbert, 2005), 且受到相關(guān)調(diào)節(jié)變量如員工的核心自我評(píng)價(jià)(Bono& Colbert, 2005), 評(píng)價(jià)分值高低(Atwater & Brett,2005)等的影響。另外, 組織環(huán)境也會(huì)影響員工對(duì)評(píng)價(jià)結(jié)果的反應(yīng)。如Miller, Verbos, & Goswami(2014)證明了工作的環(huán)境與相關(guān)資源、公司溝通交流的開放程度、與同事間的關(guān)系及為準(zhǔn)備績(jī)效評(píng)價(jià)所投入的時(shí)間, 都會(huì)正向影響員工對(duì)績(jī)效評(píng)價(jià)結(jié)果的反應(yīng)。

    5 多源評(píng)價(jià)結(jié)果

    多源評(píng)價(jià)的核心目的是通過對(duì)員工多方面的評(píng)價(jià), 最終提升其績(jī)效。以往研究證明了多源評(píng)價(jià)后, 員工行為發(fā)生了改變, 績(jī)效獲得了提升(London & Smither, 1995), 且工作滿意度也被提高, 離職率降低, 工作投入感更強(qiáng)(Atwater &Brett, 2006)。Shipper, Hoffman 和 Rotondo (2007)證實(shí)了360度反饋能夠帶來認(rèn)知、情感、行為及產(chǎn)出成果的提升, 但受到國(guó)家文化的影響作用,具體表現(xiàn)為, 在低權(quán)力距離及高個(gè)人主義的文化背景下, 360度反饋會(huì)相對(duì)更有效。然而, 也有學(xué)者得出的評(píng)價(jià)結(jié)果不確定(Carson, 2006)。Kim等(2016)認(rèn)為, 多源評(píng)價(jià)對(duì)于組織績(jī)效的影響是間接的, 主要通過提高員工的能力與知識(shí)共享技能,從而提高財(cái)務(wù)業(yè)績(jī)。

    綜上所述, 雖然多源評(píng)價(jià)在國(guó)外企業(yè)中的發(fā)展已較為成熟, 但其所帶來的最終績(jī)效改進(jìn)效果卻并不穩(wěn)定?;趯?duì)現(xiàn)有文獻(xiàn)的梳理與總結(jié), 本文以被評(píng)價(jià)者的“感知反應(yīng)?情感反應(yīng)?行為反應(yīng)?績(jī)效改進(jìn)結(jié)果”為主線, 將多源評(píng)價(jià)中所涉及的主要因素間的相互關(guān)系, 作出了如下圖 3所示的結(jié)構(gòu)圖。從圖 3中可看出, 影響員工最終績(jī)效是否能夠提升的因素很多, 包括直接效應(yīng)與間接效應(yīng), 如員工對(duì)反饋結(jié)果的感知反應(yīng)、情感反應(yīng)及行為反應(yīng)的不同, 都會(huì)導(dǎo)致不同的績(jī)效改進(jìn)結(jié)果。因此, 績(jī)效改進(jìn)結(jié)果的研究結(jié)論出現(xiàn)差異, 也是符合情理的。

    6 結(jié)論與研究展望

    6.1 結(jié)論

    多源評(píng)價(jià)已成功的在許多企業(yè)中運(yùn)行, 不僅帶來了個(gè)人績(jī)效提升, 還能推動(dòng)組織的進(jìn)一步發(fā)展(Karkoulian, Assaker, & Hallak, 2016)。本文從多源評(píng)價(jià)過程、評(píng)價(jià)源及被評(píng)價(jià)者三個(gè)方面, 對(duì)國(guó)外多源評(píng)價(jià)的特點(diǎn)及內(nèi)在機(jī)制進(jìn)行了總結(jié)與分析。發(fā)現(xiàn)多源評(píng)價(jià)所帶來的績(jī)效改進(jìn)結(jié)果并不穩(wěn)定, 并受到各種影響因素的直接或間接的影響。從上圖 3中可得, 各變量間的關(guān)系錯(cuò)綜復(fù)雜, 其中個(gè)體對(duì)反饋結(jié)果的情感反應(yīng)及行為反應(yīng), 受到的影響因素最多。而文化特征、個(gè)人性格特點(diǎn)及個(gè)體目標(biāo)定向, 是多源評(píng)價(jià)研究中常用的調(diào)節(jié)變量。因此, 企業(yè)若是在運(yùn)用多源評(píng)價(jià)之前, 能搞清楚評(píng)價(jià)前后所涉變量間的相關(guān)關(guān)系, 對(duì)有效地運(yùn)用多源評(píng)價(jià)將大有裨益。

    另外, 多源績(jī)效評(píng)價(jià)不能直接引用, 需根據(jù)本國(guó)的文化特點(diǎn)等, 進(jìn)行相應(yīng)的改進(jìn)與完善(Harbi, Thursfield, & Bright, 2017)。因而, 多源評(píng)價(jià)在我國(guó)企業(yè)中運(yùn)用時(shí), 應(yīng)注意與我國(guó)文化特點(diǎn)相結(jié)合。具體來說, 我國(guó)的文化特征主要表現(xiàn)為,高權(quán)力距離、集體主義、不確定性規(guī)避程度較高,以及注重人際關(guān)系, 即所謂的“關(guān)系文化”。在該文化背景下, 較容易出現(xiàn)下級(jí)夸大對(duì)上級(jí)的績(jī)效評(píng)價(jià), 同部門員工間相互評(píng)價(jià)被抬高, 而壓低對(duì)其他部門員工的評(píng)價(jià)等偏誤。同時(shí), 較高的不確定性規(guī)避文化背景, 也難以適應(yīng)多源評(píng)價(jià)所需的高度開放性和互動(dòng)性。為了避免上述評(píng)價(jià)偏誤的發(fā)生, 我國(guó)企業(yè)在運(yùn)用多源評(píng)價(jià)時(shí), 應(yīng)該制定嚴(yán)格且透明的績(jī)效考核體系, 避免“形式化”, 如讓員工明確考核目的及重要性, 制定合理的考核指標(biāo),建立起組織的“反饋文化”, 真正遵循公開、公正及公平原則。

    圖3 多源評(píng)價(jià)中所涉及的主要因素

    6.2 未來研究展望

    通過上述分析, 發(fā)現(xiàn)多源評(píng)價(jià)所帶來的績(jī)效改進(jìn)結(jié)果并不穩(wěn)定。因而, 未來的研究應(yīng)從如何改進(jìn)多源評(píng)價(jià), 以獲得穩(wěn)定的績(jī)效改進(jìn)結(jié)果方面,進(jìn)一步開展相關(guān)的研究。

    第一, 關(guān)于如何提高評(píng)價(jià)多源評(píng)價(jià)過程的有效性與準(zhǔn)確性問題, 目前的研究還很少???jī)效評(píng)價(jià)系統(tǒng)本身特點(diǎn)、員工個(gè)人特征及其與評(píng)價(jià)者間的關(guān)系, 都影響著員工看待績(jī)效評(píng)價(jià)的可視性、有效性及公平性(Sumelius, Bj?rkman, Ehrnrooth,M?kel?, & Smale, 2014)。當(dāng)員工認(rèn)為績(jī)效評(píng)價(jià)過程不公平時(shí), 會(huì)表現(xiàn)出負(fù)面態(tài)度, 如降低組織認(rèn)同感(Farndale & Kelliher, 2013), 并影響其工作滿意度(Yamazaki & Yoon, 2016)。因而, 對(duì)多源評(píng)價(jià)過程的有效性進(jìn)行評(píng)估與衡量, 對(duì)于整個(gè)績(jī)效評(píng)價(jià)的完善與改進(jìn)有著重要影響??蓞⒖紝?duì)傳統(tǒng)績(jī)效評(píng)價(jià)有效性, 所提出的相關(guān)標(biāo)準(zhǔn)及評(píng)價(jià)結(jié)構(gòu),如結(jié)合評(píng)價(jià)的目的性、公平性、準(zhǔn)確性, 以及該三大標(biāo)準(zhǔn)與被評(píng)價(jià)者反應(yīng)間的關(guān)系, 提出評(píng)估績(jī)效評(píng)價(jià)效果的相關(guān)指標(biāo)與方法(Iqbal, Akbar, &Budhwar, 2015; Ikramullah, van Prooijen, Lqbal, &Ul-Hassan, 2016) 。

    第二, 被評(píng)價(jià)者對(duì)評(píng)價(jià)結(jié)果的反應(yīng), 對(duì)其后續(xù)的績(jī)效改進(jìn)行為影響較大。然而, 關(guān)于個(gè)體對(duì)評(píng)價(jià)結(jié)果反應(yīng)的研究中, 學(xué)者們對(duì)被評(píng)價(jià)者的“反應(yīng)”界定不清晰?;诖? 本文將個(gè)體反應(yīng)分為三類, 并提出了“感知反應(yīng)?情感反應(yīng)?行為反應(yīng)”的基本路徑, 但該分類及三者之間的關(guān)系是否準(zhǔn)確, 還需要未來作進(jìn)一步驗(yàn)證與探討。今后的研究可在本文的基礎(chǔ)上, 針對(duì)細(xì)分的“反應(yīng)”類型,對(duì)被評(píng)價(jià)者對(duì)多源評(píng)價(jià)結(jié)果的反應(yīng)進(jìn)行更深入的探討, 通過改善被評(píng)價(jià)者對(duì)評(píng)價(jià)結(jié)果的反應(yīng)情況,從而促進(jìn)其績(jī)效改進(jìn)行為。

    最后, 如何對(duì)多源評(píng)價(jià)結(jié)果進(jìn)行匯總, 也是重要的研究問題。多源評(píng)價(jià)過程中, 對(duì)不同的評(píng)價(jià)主體的評(píng)分, 大多都是以總平均的方式匯總,或保持每類評(píng)價(jià)源的獨(dú)立評(píng)分。然而, 不同的評(píng)價(jià)源的觀察角度有差異, 應(yīng)根據(jù)不同的評(píng)價(jià)指標(biāo),予以不同的評(píng)價(jià)權(quán)重。比如, 在團(tuán)隊(duì)合作能力考核指標(biāo)中, 同一團(tuán)隊(duì)的同級(jí)評(píng)價(jià)者與被評(píng)價(jià)者接觸時(shí)間更多, 對(duì)被評(píng)價(jià)者在團(tuán)隊(duì)合作方面的能力相對(duì)更了解, 因而同級(jí)評(píng)價(jià)所占權(quán)重應(yīng)最大。關(guān)于多源評(píng)價(jià)中不同評(píng)價(jià)源評(píng)分的賦權(quán)問題, 目前還少有文獻(xiàn)討論過。雖然Markham等(2014, 2015,2017)提出不能對(duì)多源評(píng)價(jià)結(jié)果直接平均, 但其并沒有對(duì)各評(píng)價(jià)源間如何賦權(quán)進(jìn)行研究。對(duì)每類評(píng)價(jià)源給與科學(xué)合理的權(quán)重, 能給員工提供更準(zhǔn)確的反饋結(jié)果, 從而促進(jìn)其后續(xù)績(jī)效改進(jìn)行為。因而, 未來的研究應(yīng)注重如何對(duì)評(píng)價(jià)結(jié)果進(jìn)行科學(xué)有效的匯總, 以減少不同評(píng)價(jià)源帶來的偏誤。

    劉鳳瑜. (2000). 一種有效的效績(jī)?cè)u(píng)價(jià)模式: 360度反饋的基本原理與過程.南開管理評(píng)論,(1), 71–74.

    陸昌勤, 方俐洛, 凌文輇. (2001). 360度反饋及其在人力資源管理中的效用.中國(guó)管理科學(xué), 9(3),74–80.

    許慶瑞, 王勇, 陳勁. (2002). 績(jī)效評(píng)價(jià)源與多源評(píng)價(jià).科研管理, 23(3),84–89.

    Amundsen, S., & Martinsen, ?. L. (2014). Self–other agreement in empowering leadership: Relationships with leader effectiveness and subordinates' job satisfaction and turnover intention.The Leadership Quarterly, 25(4),784–800.

    Antonioni, D., & Park, H. (2001). The relationship between rater affect and three sources of 360-degree feedback ratings.Journal of Management, 27(4),479–495.

    Atwater, L. E., & Brett, J. F. (2005). Antecedents and consequences of reactions to developmental 360° feedback.Journal of Vocational Behavior, 66(3),532–548.

    Atwater, L. E., & Brett, J. F. (2006). 360-degree feedback to leaders: Does it relate to changes in employee attitudes?Group & Organization Management, 31(5),578–600.

    Atwater, L. E, Brett, J. F., & Charles, A. C. (2007).Multisource feedback: Lessons learned and implications for practice.Human Resource Management, 46(2),285–307.

    Atwater, L. E., Wang, M., Smither, J. W., & Fleenor, J. W.(2009). Are cultural characteristics associated with the relationship between self and others’ ratings of leadership?Journal of Applied Psychology, 94(4),876–886.

    Beenen, G., Pichler, S., & Levy, P. E. (2017). Self-determined feedback seeking: The role of perceived supervisor autonomy support.Human Resource Management,56(4),555?569.

    Bernardin, H. J., Tyler, C. L., & Villanova, P. (2009). Rating level and accuracy as a function of rater personality.International Journal of Selection & Assessment, 17(3),300–310.

    Bernardin, H. J., Konopaske, R., & Hagan, C. M. (2012). A comparison of adverse impact levels based on top-down,multisource, and assessment center data: Promoting diversity and reducing legal challenges.Human Resource Management, 51(3), 313–341.

    Bernardin, H. J., Thomason, S., Buckley, M. R., & Kane, J. S.(2016). Rater rating-level bias and accuracy in performance appraisals: The impact of rater personality, performance management competence, and rater accountability.Human Resource Management, 55(2), 321–340.

    Beus, J. M., Jarrett, S. M., Bergman, M. E., & Payne, S. C.(2012). Perceptual equivalence of psychological climates within groups: When agreement indices do not agree.Journal of Occupational and Organizational Psychology,85(3),454–471.

    Bono, J. E, & Colbert, A. E. (2005). Understanding responses to multi-source feedback: The role of core self-evaluations.Personnel Psychology, 58(1),171–203.

    Bono, J. E., Hooper, A. C., & Yoon, D. J. (2012). Impact of rater personality on transformational and transactional leadership ratings.The Leadership Quarterly, 23(1),132–145.

    Braddy, P. W., Gooty, J., Fleenor, J. W., & Yammarino, F. J.(2014). Leader behaviors and career derailment potential: A multi-analytic method examination of rating source and self-other agreement.The Leadership Quarterly, 25(2),373–390.

    Brett, J. F., & Atwater, L. E. (2001). 360° feedback: Accuracy,reactions, and perceptions of usefulness.Journal of Applied Psychology, 86(5),930–942.

    Brown, M., & Benson, J. (2003). Rated to exhaustion?Reactions to performance appraisal processes.Industrial Relations Journal, 34(1),67–81.

    Brown, A., Inceoglu, I., & Lin, Y. (2017). Preventing rater biases in 360-degree feedback by forcing choice.Organizational Research Methods, 20(1),121–148.

    Brutus, S., & Derayeh, M. (2002). Multisource assessment programs in organizations: An insider's perspective.Human Resource Development Quarterly, 13(2),187–202.

    Carson, M. (2006). Saying it like it isn't: The pros and cons of 360-degree feedback.Business Horizons, 49(5),395–402.

    Chappelow, C. T. (2004). 360-degree feedback. In C. D.McCauley & E. van Velsor (Eds.),The center for creative leadership handbook of leadership development(pp. 58?84).San Francisco: Jossey-Bass.

    Conway, J. M., Lombardo, K., & Sanders, K. C. (2001). A meta-analysis of incremental validity and nomological networks for subordinate and peer rating.Human Performance,14(4), 267–303.

    Culbertson, S. S., Henning, J. B., & Payne, S. C. (2013).Performance appraisal satisfaction.Journal of Personnel Psychology, 12(4), 189–195.

    Eckert, R., Ekelund, B. Z., Gentry, W. A., & Dawson, J. F.(2010). I don't see me like you see me, but is that a problem?Cultural influences on rating discrepancy in 360-degree feedback instruments.European Journal of Work and Organizational Psychology, 19(3),259–278.

    Facteau, J. D., & Craig, S. B. (2001). Are performance appraisal ratings from different rating sources comparable?Journal of Applied Psychology, 86(2), 215–227.

    Farndale, E., & Kelliher, C. (2013). Implementing performance appraisal: Exploring the employee experience.Human Resource Management,52(6), 879–897.

    Fleenor, J. W., Smither, J. W., Atwater, L. E., Braddy, P. W.,& Sturm, R. E. (2010). Self–other rating agreement in leadership: A review.The Leadership Quarterly, 21(6),1005–1034.

    Harbi, S. A., Thursfield, D., & Bright, D. (2017). Culture,Wastaand perceptions of performance appraisal in Saudi Arabia.The International Journal of Human Resource Management,28(19), 2792–2810.

    Hassan, S., & Rohrbaugh, J. (2009). Incongruity in 360-degree feedback ratings and competing managerial values: Evidence from a public agency setting.International Public Management Journal, 12(4), 421–449.

    Heslin, P. A., & Latham, G. P. (2004). The effect of upward feedback on managerial behavior.Applied Psychology,53(1),23–37.

    Hoffman, B., Lance, C. E., Bynum, B., & Gentry, W. A.(2010). Rater source effects are alive and well after all.Personnel Psychology, 63(1),119–151.

    Ikramullah, M., Van Prooijen, J. W., Lqbal, M. Z., &Ul-Hassan, F. S. (2016). Effectiveness of performance appraisal: Developing a conceptual framework using competing values approach.Personnel Review, 45(2),334–352.

    Iqbal, M. Z., Akbar, S., & Budhwar, P. (2015). Effectiveness of performance appraisal: An integrated framework.International Journal of Management Reviews, 17(4),510–533.

    Judge, T. A., & Bono, J. E. (2001). Relationship of core self-evaluations traits—self-esteem, generalized self-efficacy,locus of control, and emotional stability—with job satisfaction and job performance: A meta-analysis.Journal of Applied Psychology, 86(1), 80–92.

    Kampk?tter, P. (2017). Performance appraisals and job satisfaction.The International Journal of Human Resource Management, 28(5),750–774.

    Karkoulian, S., Assaker, G., & Hallak, R. (2016). An empirical study of 360-degree feedback, organizational justice, and firm sustainability. Journal of Business Research, 69(5),1862–1867.

    Kim, K. Y., Atwater, L., Patel, P. C., & Smither, J. W. (2016).Multisource feedback, human capital, and the financial performance of organizations.Journal of Applied Psychology,101(11), 1569–1584.

    Kopperud, K. H., Martinsen, ?., & Humborstad, S. I. W.(2014). Engaging leaders in the eyes of the beholder: On the relationship between transformational leadership, work engagement, service climate, and self-other agreement.Journal of Leadership & Organizational Studies, 21(1),29–42.

    Kossek, E. E., Huang, J. L., Piszczek, M. M., Fleenor, J. W.,& Ruderman, M. (2017). Rating expatriate leader effectiveness in multisource feedback systems: Cultural distance and hierarchical effects.Human Resource Management, 56(1),151–172.

    Krasman, J. (2010). The feedback-seeking personality: Big five and feedback-seeking behavior.Journal of Leadership& Organizational Studies, 17(1), 18–32.

    London, M., & Smither, J. W. (1995). Can multi-source feedback change perceptions of goal accomplishment,self-evaluations, and performance-related outcomes?Theory-based applications and directions for research.Personnel Psychology,48(4), 803–839.

    London, M. (2001). The great debate: Should multisource feedback be used for administration or development only?In D. W. Bracken, C. W. Timmreck, & A. H. Church (Eds.),The handbook of multisource feedback: The comprehensive resource for designing and implementing MSF processes(pp. 368–385). San Francisco: Jossey-Bass.

    London, M., & Smither, J. W. (2002). Feedback orientation,feedback culture, and the longitudinal performance management process.Human Resource Management Review,12(1),81–100.

    Luffarelli, J., Gon?alves, D., & Stamatogiannakis, A. (2016).When feedback interventions backfire: Why higher performance feedback may result in lower self-perceived competence and satisfaction with performance.Human Resource Management, 55(4), 591–614.

    Luthans, F., & Peterson, S. J. (2003). 360-degree feedback with systematic coaching: Empirical analysis suggests a winning combination.Human Resource Management,42(3), 243–256.

    Markham, S. E., Smith, J. W., Markham, I. S., & Braekkan,K. F. (2014). A new approach to analyzing the Achilles'heel of multisource feedback programs: Can we really trust ratings of leaders at the group level of analysis?The Leadership Quarterly, 25(6),1120–1142.

    Markham, S. E., Markham, I. S., & Smith, J. W. (2015). At the crux of dyadic leadership: Self-other agreement of leaders and direct reports—Analyzing 360-degree feedback.The Leadership Quarterly, 26(6), 958–977.

    Markham, S. E., Markham, I. S., & Smith, J. W. (2017). A review, analysis, and extension of peer-leader feedback agreement: Contrasting group aggregate agreement vs.self-other agreement using entity analytics and visualization.The Leadership Quarterly, 28(1),153–177.

    Maylett, T. (2009). 360-degree feedback revisited: The transition from development to appraisal.Compensation &Benefits Review, 41(5),52–59.

    McCarthy, A. M., & Garavan, T. N. (2007). Understanding acceptance of multisource feedback for management development.Personnel Review, 36(6), 903–917.

    Mero, N. P., Guidice, R. M., & Brownlee, A. L. (2007).Accountability in a performance appraisal context: The effect of audience and form of accounting on rater response and behavior.Journal of Management, 33(2), 223–252.

    Mishra, V., & Roch, S. G. (2013). Cultural values and performance appraisal: Assessing the effects of rater selfconstrual on performance ratings.The Journal of Psychology,147(4), 325–344.

    Ng, K. Y., Koh, C., Ang, S., Kennedy, J. C., & Chan, K.-Y.(2011). Rating leniency and halo in multisource feedback ratings: Testing cultural assumptions of power distance and individualism-collectivism.Journal of Applied Psychology,96(5),1033–1044.

    O’Neill, T. A., Goffin, R. D., & Gellatly, I. R. (2012). The use of random coefficient modeling for understanding and predicting job performance ratings: An application with field data.Organizational Research Methods, 15(3),436–462.

    Pichler, S. (2012). The social context of performance appraisal and appraisal reactions: A meta-analysis.Human Resource Management, 51(5),709–732.

    Pulakos, E. D., & O’Leary, R. S. (2011). Why is performance management broken?Industrial and Organizational Psychology,4(2), 146–164.

    Randall, R., & Sharples, D. (2012). The impact of rater agreeableness and rating context on the evaluation of poor performance.Journal of Occupational and Organizational Psychology, 85(1), 42–59.

    Rogers, E., Rogers, C. W., & Metlay, W. (2002). Improving the payoff from 360-degree feedback.Human Resource Planning, 25(3),44–54.

    Rosen, C. C., Kacmar, K. M., Harris, K. J., Gavin, M. B., &Hochwarter, W. A. (2017). Workplace politics and performance appraisal: A two-study, multilevel field investigation.Journal of Leadership & Organizational Studies, 24(1),20–38.

    Russo, S. D., Miraglia, M., & Borgogni, L. (2017). Reducing organizational politics in performance appraisal: The role of coaching leaders for age-diverse employees.Human Resource Management,56(5), 769?783.

    Semeijn, J. H., Van Der Heijden, B. I. J. M., & Van Der Lee,A. (2014). Multisource ratings of managerial competencies and their predictive value for managerial and organizational effectiveness.Human Resource Management, 53(5), 773–794.

    Shipper, F., Hoffman, R. C., & Rotondo, D. M. (2007). Does the 360 feedback process create actionable knowledge equally across cultures?Academy of Management Learning &Education, 6(1),33–50.

    Smither, J. W., & Walker, A. G. (2004). Are the characteristics of narrative comments related to improvement in multirater feedback ratings over time?Journal of Applied Psychology,89(3),575–581.

    Smither, J. W, London, M., & Reilly, R. R. (2005). Does performance improve following multisource feedback? A theoretical model, meta-analysis, and review of empirical findings.Personnel Psychology, 58(1),33–66.

    Smither, J. W., Brett, J. F., & Atwater, L. E. (2008). What do leaders recall about their multisource feedback?Journal of Leadership & Organizational Studies, 14(3), 202–218.

    Spence, J. R., & Keeping, L. M. (2010). The impact of non-performance information on ratings of job performance:A policy-capturing approach.Journal of Organizational Behavior,31(4), 587–608.

    Sumelius, J., Bj?rkman, I., Ehrnrooth, M., M?kel?, K., &Smale, A. (2014). What determines employee perceptions of HRM process features? The case of performance appraisal in MNC subsidiaries.Human Resource Management,53(4), 569–592.

    Vecchio, P. R., & Anderson, R. J. (2009). Agreement in self-other ratings of leader effectiveness: The role of demographics and personality.International Journal of Selection and Assessment, 17(2), 165–179.

    Verbos, A. K., Miller, J. S, & Goswami, A. (2014). Employee social cognition and performance evaluation process reactions.Personnel Review, 43(4),515–535.

    Woehr, D. J., Sheehan, M. K., & Bennett, J. W. (2005).Assessing measurement equivalence across rating sources:A Multitrait-Multirater approach.Journal of Applied Psychology, 90(3),592–600.

    Wong, K. F. E., & Kwong, J. Y. Y. (2007). Effects of rater goals on rating patterns: Evidence from an experimental field study.Journal of Applied Psychology,92(2), 577–585.

    Wood, D., Harms, P., & Vazire, S. (2010). Perceiver effects as projective tests: What your perceptions of others say about you.Journal of Personality and Social Psychology, 99(1),174–190.

    Xie, J. L., Chen, Z. G., & Roy, J. P. (2006). Cultural and personality determinants of leniency in self-rating among Chinese people.Management & Organization Review, 2(2),181–207.

    Yamazaki, Y., & Yoon, J. (2016). A cross-national study of fairness in Asia: How perceptions of a lack-of-group bias and transparency in the performance evaluation system relate to job satisfaction.Human Resource Management,55(6), 1059–1077.

    猜你喜歡
    評(píng)價(jià)者偏誤績(jī)效評(píng)價(jià)
    考慮評(píng)價(jià)信息滿意度的群體信息集結(jié)方法研究
    基于評(píng)價(jià)信息滿意度的群體信息集結(jié)方法
    “一……就……”句式偏誤研究
    新HSK六級(jí)縮寫常見偏誤及對(duì)策
    學(xué)習(xí)者為評(píng)價(jià)者的國(guó)際漢語教材評(píng)價(jià)標(biāo)準(zhǔn)預(yù)試研究
    基于BSC的KPI績(jī)效評(píng)價(jià)體系探析
    非營(yíng)利組織績(jī)效評(píng)價(jià)體系的構(gòu)建
    氣象部門財(cái)政支出績(jī)效評(píng)價(jià)初探
    介詞框架“對(duì)……來說”的偏誤分析
    績(jī)效評(píng)價(jià)及其政策選擇
    亚洲国产高清在线一区二区三| 国产一区二区三区在线臀色熟女| 色哟哟哟哟哟哟| 国产欧美日韩精品一区二区| 国产91av在线免费观看| 成人无遮挡网站| 亚洲熟妇熟女久久| 成人三级黄色视频| 在线天堂最新版资源| 精品少妇黑人巨大在线播放 | 黄色欧美视频在线观看| 午夜精品国产一区二区电影 | 日韩欧美国产在线观看| 国产中年淑女户外野战色| av在线播放精品| 日日摸夜夜添夜夜爱| 波多野结衣高清无吗| 国产伦在线观看视频一区| 中文字幕人妻熟人妻熟丝袜美| 欧美色欧美亚洲另类二区| 久久久色成人| 岛国在线免费视频观看| 日韩三级伦理在线观看| 日韩av不卡免费在线播放| 一个人看视频在线观看www免费| 久久久久精品国产欧美久久久| 美女 人体艺术 gogo| 少妇猛男粗大的猛烈进出视频 | 日本黄色片子视频| 日日摸夜夜添夜夜爱| 亚洲av美国av| 午夜a级毛片| 最好的美女福利视频网| 不卡一级毛片| 国产伦在线观看视频一区| 最近最新中文字幕大全电影3| 日本黄色片子视频| 麻豆成人午夜福利视频| 最后的刺客免费高清国语| 嫩草影院新地址| 亚洲av一区综合| or卡值多少钱| 精品一区二区免费观看| 波多野结衣高清无吗| 亚洲成人久久性| 人妻制服诱惑在线中文字幕| 国产精品永久免费网站| 又爽又黄无遮挡网站| 97超级碰碰碰精品色视频在线观看| 一本一本综合久久| 日本一二三区视频观看| videossex国产| 女人十人毛片免费观看3o分钟| 免费搜索国产男女视频| 国产精品女同一区二区软件| 国产精品人妻久久久影院| 国产高清激情床上av| 色在线成人网| 一级黄色大片毛片| 国产av麻豆久久久久久久| 国产精品永久免费网站| 精品久久久久久成人av| 亚洲美女搞黄在线观看 | 欧美日韩综合久久久久久| 午夜日韩欧美国产| 欧洲精品卡2卡3卡4卡5卡区| 国产精品久久电影中文字幕| 欧美成人精品欧美一级黄| 极品教师在线视频| 亚洲人与动物交配视频| 男插女下体视频免费在线播放| 日韩三级伦理在线观看| 日韩精品青青久久久久久| 成人亚洲欧美一区二区av| 精品熟女少妇av免费看| 国产乱人视频| 国产极品精品免费视频能看的| 看免费成人av毛片| 国产精品不卡视频一区二区| 在线播放国产精品三级| 国产中年淑女户外野战色| 麻豆成人午夜福利视频| 国产中年淑女户外野战色| 乱系列少妇在线播放| 成人性生交大片免费视频hd| 午夜精品在线福利| 男人的好看免费观看在线视频| 亚洲国产精品成人综合色| 岛国在线免费视频观看| av视频在线观看入口| av视频在线观看入口| 国产精品三级大全| 国产av不卡久久| 国产精品一及| 99热只有精品国产| 国产精品人妻久久久影院| 美女黄网站色视频| 国产三级中文精品| 精品一区二区三区人妻视频| 熟女电影av网| 亚洲欧美精品自产自拍| 国产老妇女一区| 婷婷精品国产亚洲av| 网址你懂的国产日韩在线| 国语自产精品视频在线第100页| 免费av不卡在线播放| 22中文网久久字幕| 天天一区二区日本电影三级| 小说图片视频综合网站| 国产高清视频在线播放一区| 国产午夜精品久久久久久一区二区三区 | 精品人妻熟女av久视频| 国产淫片久久久久久久久| 国产黄色视频一区二区在线观看 | 国产高潮美女av| 99久久久亚洲精品蜜臀av| 久久热精品热| 欧美日韩在线观看h| 五月玫瑰六月丁香| 久久久精品94久久精品| 久久6这里有精品| 久久九九热精品免费| 女人被狂操c到高潮| 成人欧美大片| 国产午夜福利久久久久久| 成人av一区二区三区在线看| 日韩国内少妇激情av| 国产熟女欧美一区二区| www.色视频.com| 午夜亚洲福利在线播放| 99久久精品国产国产毛片| 级片在线观看| 在线天堂最新版资源| 天堂动漫精品| 亚洲欧美日韩高清专用| 欧美成人免费av一区二区三区| 亚洲四区av| 一a级毛片在线观看| 99久久精品热视频| 国产亚洲91精品色在线| 校园人妻丝袜中文字幕| 99riav亚洲国产免费| 久久九九热精品免费| 亚洲人与动物交配视频| 内地一区二区视频在线| 中文字幕久久专区| 亚洲欧美成人精品一区二区| 看十八女毛片水多多多| 久久久久久九九精品二区国产| 日韩av不卡免费在线播放| 午夜影院日韩av| 国产伦精品一区二区三区视频9| 99在线人妻在线中文字幕| 久久久久久大精品| 日日摸夜夜添夜夜爱| 18禁裸乳无遮挡免费网站照片| 一进一出抽搐动态| 国产精品伦人一区二区| 亚洲国产精品久久男人天堂| 国产久久久一区二区三区| 一级毛片aaaaaa免费看小| 一个人看视频在线观看www免费| 成人特级黄色片久久久久久久| 婷婷精品国产亚洲av在线| 免费av毛片视频| 99九九线精品视频在线观看视频| 午夜福利视频1000在线观看| 国产日本99.免费观看| 亚洲精品456在线播放app| 精品久久久久久久久久久久久| 99热精品在线国产| 国产成人一区二区在线| 国产精品福利在线免费观看| 在线天堂最新版资源| 人人妻,人人澡人人爽秒播| 亚洲综合色惰| 嫩草影院精品99| 毛片女人毛片| 蜜桃亚洲精品一区二区三区| 黄色欧美视频在线观看| 久久久久国产网址| ponron亚洲| 日本色播在线视频| 五月玫瑰六月丁香| 俄罗斯特黄特色一大片| 久久久色成人| 一级av片app| 亚洲人成网站高清观看| 中国美白少妇内射xxxbb| 日本熟妇午夜| 高清午夜精品一区二区三区 | 丝袜喷水一区| 搡老熟女国产l中国老女人| 人人妻人人澡人人爽人人夜夜 | 真人做人爱边吃奶动态| 欧美日本视频| 三级经典国产精品| 亚洲国产精品sss在线观看| 日韩欧美一区二区三区在线观看| 亚洲内射少妇av| 国产成人a∨麻豆精品| a级毛色黄片| 国产大屁股一区二区在线视频| 日韩欧美在线乱码| 波野结衣二区三区在线| 欧美+亚洲+日韩+国产| 男女做爰动态图高潮gif福利片| 亚洲内射少妇av| 午夜精品在线福利| 丝袜喷水一区| 又黄又爽又免费观看的视频| 熟女电影av网| 亚洲精品成人久久久久久| 国产av不卡久久| 99国产精品一区二区蜜桃av| 久久99热6这里只有精品| 99久久成人亚洲精品观看| 看片在线看免费视频| 国产视频一区二区在线看| 亚洲自拍偷在线| АⅤ资源中文在线天堂| 欧美在线一区亚洲| aaaaa片日本免费| 最近最新中文字幕大全电影3| 国产伦在线观看视频一区| 成人毛片a级毛片在线播放| 久久精品夜夜夜夜夜久久蜜豆| 18禁在线播放成人免费| 好男人在线观看高清免费视频| 中文字幕人妻熟人妻熟丝袜美| 日本熟妇午夜| 人人妻人人澡欧美一区二区| 国产亚洲91精品色在线| videossex国产| 女的被弄到高潮叫床怎么办| 欧美激情国产日韩精品一区| 国产三级中文精品| 女生性感内裤真人,穿戴方法视频| 免费人成视频x8x8入口观看| 免费在线观看成人毛片| 亚洲欧美日韩高清在线视频| 一个人看的www免费观看视频| 日日啪夜夜撸| a级毛片免费高清观看在线播放| 99久久精品国产国产毛片| 亚洲国产精品国产精品| 免费看光身美女| 97碰自拍视频| 变态另类丝袜制服| 99久久精品国产国产毛片| 精品人妻一区二区三区麻豆 | 午夜福利在线观看免费完整高清在 | 老女人水多毛片| 欧美激情久久久久久爽电影| 久久人人精品亚洲av| 亚洲无线在线观看| 少妇人妻精品综合一区二区 | 1024手机看黄色片| 尤物成人国产欧美一区二区三区| 大香蕉久久网| 国产精品av视频在线免费观看| 女人十人毛片免费观看3o分钟| 欧美中文日本在线观看视频| 亚洲欧美成人精品一区二区| 久久欧美精品欧美久久欧美| 亚洲美女视频黄频| 搡老岳熟女国产| 成人美女网站在线观看视频| 日韩精品有码人妻一区| 女人十人毛片免费观看3o分钟| 真实男女啪啪啪动态图| 99久久成人亚洲精品观看| 国产精品乱码一区二三区的特点| av天堂在线播放| 深爱激情五月婷婷| 在线免费观看不下载黄p国产| 久久久欧美国产精品| 成人毛片a级毛片在线播放| 哪里可以看免费的av片| 一个人看的www免费观看视频| 久久久久久九九精品二区国产| 亚洲熟妇中文字幕五十中出| 在线观看午夜福利视频| 成年av动漫网址| 看十八女毛片水多多多| 国内揄拍国产精品人妻在线| 午夜亚洲福利在线播放| 老司机福利观看| 成年版毛片免费区| 日韩精品有码人妻一区| 久久久久国内视频| 精品久久久噜噜| 两个人的视频大全免费| 深夜精品福利| 一区二区三区免费毛片| 国产精品永久免费网站| .国产精品久久| 日韩制服骚丝袜av| 欧美zozozo另类| 校园春色视频在线观看| 国语自产精品视频在线第100页| 国内揄拍国产精品人妻在线| av卡一久久| 欧美成人免费av一区二区三区| 精品少妇黑人巨大在线播放 | 18禁裸乳无遮挡免费网站照片| 久久精品国产亚洲av天美| 精品福利观看| 日日撸夜夜添| 性色avwww在线观看| 久久精品国产鲁丝片午夜精品| 欧美区成人在线视频| 五月玫瑰六月丁香| 1024手机看黄色片| 亚洲av成人精品一区久久| 国产精品综合久久久久久久免费| 成人特级av手机在线观看| 在线免费观看不下载黄p国产| 91狼人影院| 色在线成人网| 国产高清有码在线观看视频| 国产久久久一区二区三区| 麻豆久久精品国产亚洲av| 亚洲精品国产成人久久av| 国产精品一二三区在线看| 老熟妇乱子伦视频在线观看| 亚洲精品日韩av片在线观看| 中国国产av一级| 精品午夜福利视频在线观看一区| 国产精品国产高清国产av| 亚洲欧美成人综合另类久久久 | 伦精品一区二区三区| 无遮挡黄片免费观看| 亚洲aⅴ乱码一区二区在线播放| 亚洲在线观看片| 日韩一本色道免费dvd| 偷拍熟女少妇极品色| 特大巨黑吊av在线直播| 欧美不卡视频在线免费观看| 波多野结衣高清作品| 亚洲欧美精品综合久久99| 黄色一级大片看看| 日韩制服骚丝袜av| 99在线视频只有这里精品首页| 久久久精品大字幕| 亚洲人成网站在线播放欧美日韩| 波多野结衣高清作品| 免费看av在线观看网站| 亚洲精品456在线播放app| 老女人水多毛片| 欧美+日韩+精品| 国产高清激情床上av| 九色成人免费人妻av| 国产精品一二三区在线看| 老熟妇乱子伦视频在线观看| 18禁黄网站禁片免费观看直播| 99久久无色码亚洲精品果冻| 成年av动漫网址| 精品熟女少妇av免费看| 国产av不卡久久| 中出人妻视频一区二区| 国产探花极品一区二区| 99久久精品热视频| 亚洲国产精品成人久久小说 | 国产在视频线在精品| 亚洲精品日韩在线中文字幕 | 精品久久国产蜜桃| 美女高潮的动态| 国产精品99久久久久久久久| 久久久久久伊人网av| 熟女人妻精品中文字幕| 日本熟妇午夜| 亚洲自偷自拍三级| 在现免费观看毛片| 国产综合懂色| 老熟妇仑乱视频hdxx| 俄罗斯特黄特色一大片| 校园春色视频在线观看| 永久网站在线| 淫秽高清视频在线观看| 非洲黑人性xxxx精品又粗又长| 欧美+日韩+精品| 国产精品福利在线免费观看| 18禁在线无遮挡免费观看视频 | 国产精品一及| 狂野欧美白嫩少妇大欣赏| 国产精品乱码一区二三区的特点| 美女黄网站色视频| 国产视频内射| 小说图片视频综合网站| 精品久久久久久久久av| 欧美中文日本在线观看视频| 精品不卡国产一区二区三区| 欧美精品国产亚洲| 国产亚洲欧美98| 网址你懂的国产日韩在线| 97在线视频观看| 欧美极品一区二区三区四区| 亚洲中文字幕一区二区三区有码在线看| 偷拍熟女少妇极品色| 国产 一区 欧美 日韩| 91午夜精品亚洲一区二区三区| 亚洲婷婷狠狠爱综合网| 日日摸夜夜添夜夜添小说| 久久精品人妻少妇| 成人午夜高清在线视频| 国产精品一区二区免费欧美| 中文字幕av成人在线电影| 老熟妇仑乱视频hdxx| 国产精品一区二区三区四区久久| 又爽又黄无遮挡网站| 国产亚洲精品久久久久久毛片| 变态另类丝袜制服| 国产精品久久电影中文字幕| 免费在线观看影片大全网站| 观看美女的网站| 国产精品一区二区免费欧美| 色在线成人网| 毛片女人毛片| 亚洲性久久影院| 精品乱码久久久久久99久播| 简卡轻食公司| 国产黄片美女视频| 久久精品综合一区二区三区| 免费黄网站久久成人精品| 日本免费一区二区三区高清不卡| 99国产精品一区二区蜜桃av| 国产伦精品一区二区三区四那| 黄片wwwwww| 1024手机看黄色片| h日本视频在线播放| 亚洲精品国产成人久久av| 乱码一卡2卡4卡精品| 国产一区二区三区av在线 | 97热精品久久久久久| 特级一级黄色大片| 哪里可以看免费的av片| 一卡2卡三卡四卡精品乱码亚洲| 国产精品综合久久久久久久免费| 欧美在线一区亚洲| 中文字幕人妻熟人妻熟丝袜美| 午夜影院日韩av| 国产亚洲精品久久久com| 亚洲av中文字字幕乱码综合| 日韩欧美一区二区三区在线观看| 国产视频内射| 国产精品一区二区性色av| 午夜福利在线观看吧| 少妇的逼水好多| 亚洲av美国av| 成年女人毛片免费观看观看9| 22中文网久久字幕| 国产精品久久视频播放| 特级一级黄色大片| 免费高清视频大片| 成年av动漫网址| 日韩欧美 国产精品| 午夜老司机福利剧场| 亚洲最大成人中文| a级毛片a级免费在线| 中文字幕免费在线视频6| 亚洲成人久久性| 午夜老司机福利剧场| 国产成人freesex在线 | 一卡2卡三卡四卡精品乱码亚洲| 1000部很黄的大片| 丝袜美腿在线中文| 欧美日本视频| 色哟哟·www| 亚洲天堂国产精品一区在线| 2021天堂中文幕一二区在线观| 午夜精品在线福利| 老熟妇乱子伦视频在线观看| 校园人妻丝袜中文字幕| 国产色爽女视频免费观看| 国产不卡一卡二| 51国产日韩欧美| 永久网站在线| 一边摸一边抽搐一进一小说| 一级毛片久久久久久久久女| 亚洲一区二区三区色噜噜| 天堂√8在线中文| 亚洲不卡免费看| 色哟哟哟哟哟哟| 毛片一级片免费看久久久久| 精品少妇黑人巨大在线播放 | 联通29元200g的流量卡| 久久这里只有精品中国| 桃色一区二区三区在线观看| 你懂的网址亚洲精品在线观看 | 亚洲无线观看免费| 国产黄a三级三级三级人| 观看免费一级毛片| 国产一区二区在线观看日韩| 欧美色欧美亚洲另类二区| 国产免费一级a男人的天堂| 成人无遮挡网站| 日韩精品中文字幕看吧| 黄色视频,在线免费观看| 欧美一级a爱片免费观看看| 亚洲综合色惰| 色av中文字幕| 日本与韩国留学比较| 国产真实乱freesex| 成人亚洲欧美一区二区av| 日日摸夜夜添夜夜爱| 欧美日韩国产亚洲二区| 变态另类丝袜制服| 国产aⅴ精品一区二区三区波| 精品久久久久久久久亚洲| 最新在线观看一区二区三区| 又粗又爽又猛毛片免费看| 别揉我奶头~嗯~啊~动态视频| 日本成人三级电影网站| 一区二区三区四区激情视频 | 亚洲av中文字字幕乱码综合| 哪里可以看免费的av片| 99热这里只有是精品50| 亚洲熟妇中文字幕五十中出| 中文字幕人妻熟人妻熟丝袜美| 少妇丰满av| 欧美丝袜亚洲另类| 免费无遮挡裸体视频| 在线观看美女被高潮喷水网站| 亚洲人成网站在线观看播放| 久久久精品94久久精品| 国产探花在线观看一区二区| 亚洲自偷自拍三级| 老师上课跳d突然被开到最大视频| 婷婷六月久久综合丁香| 成熟少妇高潮喷水视频| 色在线成人网| 国产精品伦人一区二区| 神马国产精品三级电影在线观看| 久久久国产成人免费| 麻豆久久精品国产亚洲av| 男插女下体视频免费在线播放| 我要看日韩黄色一级片| 麻豆一二三区av精品| 欧美性猛交黑人性爽| 免费人成在线观看视频色| 亚洲av成人av| 国内精品久久久久精免费| 国产私拍福利视频在线观看| 九九爱精品视频在线观看| av国产免费在线观看| 亚洲精品456在线播放app| 亚洲真实伦在线观看| 麻豆乱淫一区二区| 91午夜精品亚洲一区二区三区| 一本久久中文字幕| 欧美最新免费一区二区三区| 狠狠狠狠99中文字幕| 国产精品亚洲美女久久久| 俄罗斯特黄特色一大片| a级一级毛片免费在线观看| 国产男人的电影天堂91| 淫妇啪啪啪对白视频| 亚洲一级一片aⅴ在线观看| 内地一区二区视频在线| 丰满的人妻完整版| 国产精品久久电影中文字幕| 黄片wwwwww| 高清毛片免费看| 婷婷六月久久综合丁香| 一卡2卡三卡四卡精品乱码亚洲| 日本色播在线视频| 欧美成人免费av一区二区三区| 少妇人妻一区二区三区视频| 国产黄色视频一区二区在线观看 | 女人十人毛片免费观看3o分钟| 久久久久国产网址| 狠狠狠狠99中文字幕| 色综合色国产| 日韩av在线大香蕉| 在线观看66精品国产| 精品久久久久久久末码| 亚洲色图av天堂| 成人无遮挡网站| 插逼视频在线观看| 午夜免费激情av| 色哟哟哟哟哟哟| 国产淫片久久久久久久久| 欧美一区二区精品小视频在线| 熟女人妻精品中文字幕| 日产精品乱码卡一卡2卡三| 亚洲成a人片在线一区二区| av在线观看视频网站免费| 最新在线观看一区二区三区| 亚洲真实伦在线观看| 精品无人区乱码1区二区| 91av网一区二区| 国产精品久久久久久久久免| 少妇人妻一区二区三区视频| 特大巨黑吊av在线直播| 搡女人真爽免费视频火全软件 | 伊人久久精品亚洲午夜| 我要看日韩黄色一级片| 欧美+日韩+精品| 欧美激情在线99| 99久久九九国产精品国产免费| 国产成人影院久久av| 两个人的视频大全免费| 国产麻豆成人av免费视频| 久久热精品热| 精品无人区乱码1区二区| 欧美又色又爽又黄视频| 干丝袜人妻中文字幕| 深夜a级毛片| 欧美极品一区二区三区四区| 国产伦精品一区二区三区视频9| 国产色爽女视频免费观看| 国产精品三级大全| 中文资源天堂在线| 欧美激情在线99|