• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    評估公眾參與公共決策:理論困境與破解路徑*

    2016-10-13 06:26:02張曉杰婁成武耿國階
    關(guān)鍵詞:參與者指標(biāo)體系工具

    張曉杰 婁成武 耿國階

    (東北大學(xué),沈陽 110169)

    評估公眾參與公共決策:理論困境與破解路徑*

    張曉杰婁成武耿國階

    (東北大學(xué),沈陽 110169)

    評估公眾參與公共決策面臨一系列的理論困境,包括缺乏明確統(tǒng)一的公眾參與概念和類型劃分、缺乏普遍認(rèn)可的評估指標(biāo)體系、缺乏公認(rèn)可靠的評估工具?;趨⑴c類型界定——評估指標(biāo)設(shè)立——評估工具選擇的TCT評估框架能夠有效破解評估的理論困境。TCT評估框架包括三個(gè)基本要素:首先依據(jù)公眾與決策者的互動程度界定公眾參與的基本類型,其次在公眾參與類型劃分的基礎(chǔ)上,從參與過程和參與結(jié)果兩個(gè)維度構(gòu)建公眾參與公共決策的評估指標(biāo)體系,最后基于評估對象并遵循可用性、信度和效度標(biāo)準(zhǔn)選擇合適的評估工具。

    公眾參與;TCT評估框架;評估指標(biāo);評估工具

    公眾參與,作為一種吸納各種利益與價(jià)值訴求的政策工具,在各國政策決策實(shí)踐中得以普遍應(yīng)用。然而,迄今為止,人們對公眾參與公共決策的價(jià)值與意義仍存在爭議。一方面,倡導(dǎo)者認(rèn)為公眾參與能夠使決策更好地反映公眾偏好,增強(qiáng)決策者與公眾之間的理解與信任,提高公眾的決策相關(guān)知識水平和參與能力等①;另一方面,批判者與反對者認(rèn)為廣泛的公眾直接參與并非是必要的,甚至可能適得其反②,引發(fā)公眾對政府的敵對態(tài)度,他們還質(zhì)疑公眾參與是否能產(chǎn)生實(shí)際效益③④。那么,公眾參與公共決策的實(shí)際價(jià)值、意義與效果究竟如何?它是否能增強(qiáng)決策的民主性和合法性?是否能實(shí)現(xiàn)利益相關(guān)者的預(yù)期目標(biāo)?是否能增強(qiáng)公眾對決策者的信任?……這一系列問題的答案有賴于對公眾參與進(jìn)行科學(xué)評估。

    目前,國內(nèi)理論界尚未興起對公眾參與公共決策的評估研究。西方學(xué)者雖然對此進(jìn)行了一定探索,但在很大程度上呈現(xiàn)學(xué)科分割和理論工具碎片化的特點(diǎn),對公眾參與公共決策的評估研究面臨的理論困境與挑戰(zhàn)缺乏深入的探討,也沒有形成公眾參與評估研究的系統(tǒng)理論框架。那么,評估公眾參與公共決策存在哪些理論困境?如何破解這些困境從而實(shí)現(xiàn)對公眾參與的有效評估?本文嘗試回答這兩個(gè)問題。

    一、評估公眾參與公共決策的理論困境

    美國學(xué)者Rosener⑤最早提出了評估公眾參與所面臨的挑戰(zhàn):第一,公眾參與這一概念具有復(fù)雜性和價(jià)值負(fù)荷性;第二,沒有普遍認(rèn)定的標(biāo)準(zhǔn)以判斷公眾參與的成?。坏谌?,缺乏公認(rèn)的評估方法;第四,缺乏可靠的測量工具。然而,Rosener并沒有系統(tǒng)闡述其觀點(diǎn)??傮w來說,評估公眾參與公共決策主要面臨以下理論困境:

    1.缺乏明確統(tǒng)一的公眾參與概念和類型劃分

    公眾參與是一個(gè)復(fù)雜的概念,其內(nèi)涵與外延具有一定的爭議,因此理論界至今沒有形成一個(gè)規(guī)范統(tǒng)一的公眾參與概念。學(xué)者們通常是基于不同的學(xué)科視角和研究目的來界定公眾參與的內(nèi)涵。部分學(xué)者也嘗試以某個(gè)標(biāo)準(zhǔn)來對公眾參與進(jìn)行系統(tǒng)分類,以期統(tǒng)一學(xué)界對公眾參與的理解,例如,美國規(guī)劃師Arnstein早在1969年就提出了公眾參與的階梯理論⑥,依據(jù)公眾對決策的影響程度,她將公眾參與劃分為三大類別:無參與、形式主義和公民權(quán)力。其中,形式主義的參與包括安撫、咨詢和告知,而公民權(quán)力包括公民管理、授予權(quán)力和合作。Arnstein認(rèn)為,空洞的、形式化的公眾參與和掌握影響決策過程與結(jié)果的公眾參與權(quán)力,兩者是截然不同的。Rowe和Frewer⑦依據(jù)公眾參與發(fā)起人和參與者之間的信息流向,將公眾參與(public engagement)分為三種類型:大眾傳播(public communication)、公眾咨詢(public consultation)和公眾參與(public participation),其中,只有后者實(shí)現(xiàn)了決策者與公眾參與者之間的雙向信息流動。Beierle則分別從意見對立雙方的互動程度和信息流向、公眾在決策中扮演的角色和公眾代表類型四個(gè)維度對公眾參與機(jī)制進(jìn)行了細(xì)致劃分⑧。雖然學(xué)者們付諸了較多努力,但仍沒有形成一個(gè)清晰明確的公眾參與概念和統(tǒng)一的類型劃分。這在一定程度上制約了評估公眾參與的研究進(jìn)展,因?yàn)椴煌母拍顑?nèi)涵界定和類型分類將導(dǎo)致不同的評估指標(biāo)選擇以致不同的評估結(jié)果。

    2.缺乏普遍認(rèn)可的評估指標(biāo)體系

    Blahna和Yonts-Shepard較早地建立了公眾參與的評估指標(biāo)體系,他們提出了五個(gè)評估指標(biāo),包括參與者是否具有代表性,參與者構(gòu)成是否平衡,參與是否發(fā)生在決策過程早期,公眾與機(jī)構(gòu)代表是否有面對面討論,公共機(jī)構(gòu)是否致力于參與過程并有效回應(yīng)公眾意見⑨。第一個(gè)著名的公眾參與評估指標(biāo)體系源自于Webler的“公平與能力”框架⑩,其中,公平標(biāo)準(zhǔn)用于評價(jià)公眾參與過程中的機(jī)會是否均等,能力標(biāo)準(zhǔn)用于評價(jià)參與過程是否實(shí)現(xiàn)了知識增長和決策質(zhì)量提高等目標(biāo)。另一個(gè)運(yùn)用較多的評估指標(biāo)框架是由Beierle等學(xué)者提出的用以評估科技政策和環(huán)境政策領(lǐng)域中的公眾參與。Beierle建立了六個(gè)評估指標(biāo)來評價(jià)公眾參與機(jī)制的成敗,包括教育公眾、將公眾價(jià)值取向和偏好納入決策、提高決策質(zhì)量、培育信任、減少沖突、經(jīng)濟(jì)有效的決策?。但在后來與Cayford的合作研究中,Beierle取消了“經(jīng)濟(jì)有效的決策”這一評估指標(biāo)?。Martineau-Delisle和Nadeau將公眾參與的效果評估指標(biāo)劃分為結(jié)果性效果、程序性效果和反射性效果?。Halvorsen則運(yùn)用舒適度、方便性、滿意度和協(xié)商度等指標(biāo),從參與者視角評估公眾參與機(jī)制?。由此可見,西方學(xué)術(shù)界業(yè)已形成了數(shù)量可觀的公眾參與公共決策的評估指標(biāo)框架,但絕大多數(shù)評估指標(biāo)設(shè)置是針對具體的公眾參與案例,尚未形成一般性的、普遍認(rèn)可的評估指標(biāo)體系;而且,既有評估指標(biāo)有的側(cè)重于公眾參與過程,有的側(cè)重于參與結(jié)果,有的雖然過程與結(jié)果指標(biāo)兼具,但都未對過程和結(jié)果指標(biāo)作進(jìn)一步的細(xì)致劃分,如參與過程可以劃分為多個(gè)階段,參與結(jié)果的影響也是多方面的。由此,籠統(tǒng)的評估指標(biāo)設(shè)置致使評估結(jié)果不具有可比較性。

    3.缺乏公認(rèn)可靠的評估工具

    由于參與者意見調(diào)查是一個(gè)相對容易實(shí)施的評估工具,大多數(shù)公眾參與的評估人員通過對參與者的調(diào)查,如發(fā)放調(diào)查問卷和訪談,詢問他們對參與過程和參與結(jié)果的態(tài)度與看法,從而獲知公眾參與的實(shí)際效果?。然而,參與者調(diào)查是評估私人沖突與爭議解決方法的有效工具,但因其存在理論和方法論上的局限性,未能成為評估公眾參與效果的可靠方法,如表1 所示。因此,雖然參與者意見調(diào)查對改進(jìn)和促進(jìn)公眾參與機(jī)制的運(yùn)行具有一定的積極意義,但對了解公眾參與的結(jié)果卻具有很大的片面性和誤導(dǎo)性。公眾滿意度高的參與機(jī)制并不必然是成功的機(jī)制,也并不必然輸出高質(zhì)量的公共政策。例如,20世紀(jì)90年代,美國聯(lián)邦環(huán)保署為減輕城市霧霾,召集了一次公眾參與的協(xié)商會議,為新配方的混合汽油制定標(biāo)準(zhǔn),此次會議參與者包括汽車和石油工業(yè)的代表以及環(huán)保主義者,會議取得了圓滿成功,所有參與者都對討論結(jié)果表示高度滿意,并最終簽署了共識協(xié)議。但是,隨著標(biāo)準(zhǔn)的實(shí)施,該新配方汽油中的主要化學(xué)添加劑引起了重大的飲用水污染。這一會議所達(dá)成的共識決策成為美國聯(lián)邦環(huán)保署史上最成問題的決策之一,也被《探索》雜志列為美國20年來在科學(xué)上所犯的20個(gè)最大錯(cuò)誤之一。正如Innes所說,如果公眾參與過程產(chǎn)生的最終決策損害了社會公共利益,即便參與者滿意,公眾參與也是失敗的?。由此可見,運(yùn)用廣泛的、相對成熟的參與者意見調(diào)查并非是評估公眾參與的可靠工具。

    表1 參與者意見調(diào)查的理論與方法論局限性

    二、破解路徑——公眾參與公共決策的TCT評估框架構(gòu)建

    評估公眾參與公共決策面臨一系列的理論困境與挑戰(zhàn),如何破解與應(yīng)對這些困境與挑戰(zhàn)成為亟待解決的學(xué)術(shù)問題。本文嘗試從公眾參與類型界定(Typology)、基于公眾參與類型的評估指標(biāo)體系設(shè)立(Criteria)和評估工具有效選擇(Tool)三個(gè)方面構(gòu)建公眾參與的Typology-Criteria-Tool評估框架,簡稱TCT評估框架,從而對評估公眾參與公共決策的理論困境進(jìn)行系統(tǒng)回應(yīng)。

    1.公眾參與的基本類型劃分

    雖然公眾參與這一概念具有復(fù)雜性,然而,我們可以通過明確公眾參與的基本類型,從而為確定公眾參與的評估指標(biāo)奠定基礎(chǔ)。綜觀公眾參與的研究文獻(xiàn),學(xué)者們基本上依據(jù)公眾與決策者的互動程度,從三個(gè)層次對公眾參與進(jìn)行研究,如表2 所示。在公眾告知中,公眾與決策者之間不存在互動;在公眾意見調(diào)查中,雙方具有一定的淺層次互動;在公眾協(xié)商中,雙方則進(jìn)行了較深層次的交流互動。這一類型劃分基本上涵蓋了公眾參與的各種機(jī)制。由該類型劃分反觀學(xué)界對公眾參與的各種內(nèi)涵界定,可以發(fā)現(xiàn)學(xué)者們爭論的焦點(diǎn)在于公眾告知和公眾意見調(diào)查是否公眾參與。Arnstein認(rèn)為這兩者都不是真正的公眾參與,而Rowe和Frewer則主張公眾告知和公眾意見調(diào)查都是公眾參與的重要機(jī)制。中國大多數(shù)學(xué)者,如俞可平?、王錫鋅?、賈西津?等,則認(rèn)為公眾參與包括公眾意見調(diào)查和公眾協(xié)商等公眾試圖影響公共政策和公共生活的一切活動,并未將公眾告知納入公眾參與的范疇。無論如何,只要針對以上不同層次類型的公眾參與設(shè)計(jì)不同的評估指標(biāo),則公眾參與統(tǒng)一概念的缺乏并不能阻礙對公眾參與公共決策的評估研究。

    表2 公眾參與的基本類型劃分

    2.基于公眾參與類型的評估指標(biāo)體系構(gòu)建

    公眾參與的評估指標(biāo)設(shè)置有三種方法:第一,基于理論進(jìn)行設(shè)置。研究者可根據(jù)已發(fā)展成熟的理論進(jìn)行評估指標(biāo)的設(shè)置,如Webler的“公平與能力”評估框架就是在哈貝馬斯(Habermas)的交往行為理論的基礎(chǔ)上構(gòu)建的。第二,基于參與者調(diào)查進(jìn)行設(shè)置,即通過調(diào)查公眾參與實(shí)踐的參與者(包括決策者、組織者和社會公眾)對有效公眾參與的觀點(diǎn),從而形成最終的評估指標(biāo)體系,如Shindler 和Neburka?。第三,通過總結(jié)提煉其他學(xué)者構(gòu)建的評估指標(biāo)從而形成一個(gè)綜合的指標(biāo)體系,如Rowe 和Frewer?。這三種方法各有優(yōu)勢,第一種方法具有深厚的理論基礎(chǔ),第二種方法具有扎實(shí)的實(shí)踐基礎(chǔ),而第三種方法適合于構(gòu)建一個(gè)綜合的普遍適用的框架。鑒于研究目的,本文運(yùn)用第三種指標(biāo)設(shè)置方法,通過有機(jī)綜合Godschalk和Stiftel?,Crosby等?,Houghton?,Petts?,Beierle?,Beierle和Konisky?,Bickerstaff和Walker?,Halvorsen?,Carr和Halvorsen?,Irvin和Stansbury?,Rowe等?,Speller和Ravenscroft?,Dietz和Stern?等學(xué)者有關(guān)公眾參與評估研究的重要成果,并在公眾參與基本類型劃分的基礎(chǔ)上,構(gòu)建了如表3 所示的評估指標(biāo)體系。其中,公眾告知因其缺乏公眾與決策者之間的互動,因而設(shè)立了獨(dú)立的評估指標(biāo),而公眾意見調(diào)查和公眾協(xié)商只存在公眾與決策者互動程度的差異,因而共享一套評估指標(biāo)。

    表3 公眾參與的評估指標(biāo)體系

    公眾協(xié)商 公眾參與結(jié)果公共政策 決策效率;政策科學(xué)化與民主化;政策有效性;政策可執(zhí)行性;政策執(zhí)行結(jié)果。參與者與社會公眾決策問題的相關(guān)知識增長;參與意識;參與能力;思維方式;未來參與意愿;價(jià)值觀念;政府信任度。決策者  考慮和吸納公眾意見的程度;決策問題的相關(guān)知識增長;對公眾參與的態(tài)度;未來發(fā)起公眾參與的意愿;未來吸納公眾參與的方式。

    與已有研究相比,該評估指標(biāo)體系具有以下三個(gè)特點(diǎn):

    (1)基于公眾參與的類型而設(shè)置,尤其將公眾告知進(jìn)行單獨(dú)的評估指標(biāo)設(shè)計(jì)。公眾參與的類型不同,其評估指標(biāo)也應(yīng)當(dāng)不同。因公眾告知過程缺乏公眾意見的表達(dá),故公眾意見調(diào)查和公眾協(xié)商的過程與結(jié)果評估指標(biāo)便不適宜于評估公眾告知。

    (2)涵蓋公眾參與的所有評估對象。公眾參與的基本評估對象包括參與過程和參與結(jié)果,既有文獻(xiàn)也主要圍繞這兩個(gè)評估對象而進(jìn)行評估指標(biāo)的設(shè)計(jì)。然而,公眾參與過程可進(jìn)一步劃分為三個(gè)階段:準(zhǔn)備階段、進(jìn)行階段和結(jié)束階段。公眾參與的結(jié)果也包括產(chǎn)出與影響兩個(gè)方面。其中,產(chǎn)出是指公眾參與最終形成的公共政策,而影響是指公眾參與對參與者、公共決策者和社會公眾所形成的各種社會影響,包括知識增長、能力提高等。如果不加區(qū)分地對參與過程和參與結(jié)果進(jìn)行籠統(tǒng)的指標(biāo)設(shè)計(jì),則基于這些指標(biāo)的評估結(jié)果有效性會大大降低,且難以進(jìn)行評估結(jié)果之間的比較。因此,有必要對評估指標(biāo)進(jìn)行精細(xì)化設(shè)置,將參與過程從參與前、參與中和參與后三個(gè)階段進(jìn)行評估指標(biāo)設(shè)計(jì),將參與結(jié)果評估指標(biāo)也具體從公共政策、決策者、參與者和社會公眾三個(gè)方面進(jìn)行設(shè)置。需要指出的是,西方學(xué)者對公眾參與的結(jié)果評估指標(biāo)設(shè)計(jì)中缺少對決策者的影響這一環(huán)節(jié),而公眾參與過程與產(chǎn)出對決策者是否考慮和吸納公眾意見、是否告知公眾決策結(jié)果、是否在未來發(fā)起公眾參與以及如何組織參與過程等,都具有十分重要的影響,因此應(yīng)將其作為重要的評估對象并單獨(dú)設(shè)立評估指標(biāo)。因公眾告知缺乏公眾介入過程,因此其過程評估指標(biāo)不作具體階段劃分。

    (3)可廣泛適用于公眾參與的評估研究?;诠妳⑴c類型的評估指標(biāo)體系集成了學(xué)界公眾參與評估研究的相關(guān)成果,并針對公眾參與的不同類型和具體評估對象進(jìn)行了分類設(shè)置,因而該指標(biāo)體系較容易獲得學(xué)界同仁的認(rèn)可,可運(yùn)用于公共決策中不同類型公眾參與機(jī)制的評價(jià)研究,并能夠克服理論界缺乏明確公眾參與概念所帶來的評估困擾。

    3.基于評估對象的評估工具選擇

    公眾參與公共決策的評估指標(biāo)體系需要通過評估工具予以操作化。公眾參與的評估工具一般包括參與者調(diào)查、評估者觀察、文獻(xiàn)研究和準(zhǔn)實(shí)驗(yàn)研究。參與者調(diào)查是通過對公眾參與的相關(guān)決策者、組織者或參與公眾的實(shí)際調(diào)查以獲取相關(guān)研究資料;評估者觀察是指評估者置身于公眾參與的實(shí)際情景,對參與行為的發(fā)生和發(fā)展過程、相關(guān)主體的表情和言行舉止等進(jìn)行客觀、全面、系統(tǒng)的觀察和記錄,然后對所做記錄進(jìn)行分析;文獻(xiàn)研究是指搜集和分析公眾參與實(shí)踐所形成的各種文字、圖像與視聽資料,或者公眾參與行為所發(fā)生的經(jīng)濟(jì)社會背景資料等;準(zhǔn)實(shí)驗(yàn)研究指的是一種經(jīng)過精心設(shè)計(jì),并在高度控制的條件下,研究者通過操縱某些因素,來研究變量之間因果關(guān)系的方法。由于難以尋求同質(zhì)的控制對照組,公眾參與的評估者未能將實(shí)驗(yàn)研究列入評估工具箱?,并轉(zhuǎn)而運(yùn)用準(zhǔn)實(shí)驗(yàn)研究方法來比較不同公眾參與機(jī)制對同一類型決策問題的不同作用效果,或比較同一公眾參與機(jī)制在不同參與環(huán)境中的不同效果。

    公眾參與的評估工具存在各自的優(yōu)勢與不足。如前所述,參與者意見調(diào)查因其容易實(shí)施而得到普遍應(yīng)用,但該工具存在理論和方法論上的局限性,常常使評估結(jié)果令人質(zhì)疑;評估者觀察雖然能夠克服參與者偏見,但卻可能形成評估者偏見,由于受研究視角和既有知識體系等限制,評估者可能對觀察對象進(jìn)行選擇性觀察與記錄;文獻(xiàn)研究和準(zhǔn)實(shí)驗(yàn)研究具有較強(qiáng)的客觀性,能夠克服參與者偏見和評估者偏見,但相關(guān)文獻(xiàn)資料的缺失會對文獻(xiàn)研究形成障礙,而準(zhǔn)實(shí)驗(yàn)研究方法的實(shí)施難度相對較大。因此,在公眾參與評估研究中應(yīng)當(dāng)采取以一種評估工具為主、其它工具為輔的策略,以克服單一工具的局限性。

    主體評估工具的選擇要基于公眾參與的評估對象——參與過程和參與結(jié)果。因參與過程評估重在考察公眾參與的公開性、公平性、民主性、便捷性、包容性和回應(yīng)性等,由此參與者意見調(diào)查和評估者觀察更適合應(yīng)用于公眾參與的過程評估;而公眾參與的結(jié)果評估重在考察公眾參與對公共政策、決策者、公眾參與者和社會公眾所形成的各種影響,因此文獻(xiàn)法、參與者意見調(diào)查和準(zhǔn)實(shí)驗(yàn)研究方法都具有一定的適用性。

    具體確定公眾參與的評估工具還需要遵循三個(gè)標(biāo)準(zhǔn):信度(reliability)、效度(validity)和可用性(usability)?。評估工具的信度是指運(yùn)用同樣的評估工具對同一對象重復(fù)測量時(shí)所得結(jié)果的一致性程度。評估工具的效度是指該工具能夠準(zhǔn)確測出所需測量的事物的程度,測量結(jié)果與要考察的內(nèi)容越吻合,則效度越高,反之則效度越低??捎眯允侵冈u估工具的可行性,由于時(shí)間、精力、研究經(jīng)費(fèi)等客觀條件限制,評估者常常需要選擇當(dāng)下可行的評估工具??捎眯詷?biāo)準(zhǔn)常常與信度和效度標(biāo)準(zhǔn)相悖,即評估工具的可用性增強(qiáng),其信度和效度往往隨之降低。如何平衡這三個(gè)標(biāo)準(zhǔn)并非易事。Rowe 和Frewer?建議,公眾參與的評估者在選擇評估工具時(shí),首先要滿足可用性標(biāo)準(zhǔn),其次考慮信度和效度標(biāo)準(zhǔn)。

    三、TCT評估框架的應(yīng)用與展望

    本文提出了公眾參與公共決策的TCT評估框架:首先,依據(jù)公眾與決策者的互動程度界定了公眾參與的基本類型;其次,基于該類型劃分,通過總結(jié)提煉其他學(xué)者有關(guān)公眾參與評估研究的重要成果,構(gòu)建了公眾參與公共決策的評估指標(biāo)體系;最后,提出基于評估對象并遵循可用性、信度和效度標(biāo)準(zhǔn)選擇合適的評估工具。TCT評估框架對評估公眾參與公共決策的理論困境進(jìn)行了逐一回應(yīng),并對學(xué)界有關(guān)公眾參與評估的研究具有一定的理論指導(dǎo)意義和方法論啟示。

    TCT評估框架在實(shí)際應(yīng)用中需要注意以下三個(gè)問題:第一,在明確公眾參與基本類型的基礎(chǔ)上,要根據(jù)研究目的確定評估對象,并根據(jù)評估對象選擇相應(yīng)的評估指標(biāo)以及評估工具。如果研究目的是評價(jià)公眾參與的效果,則評估對象是公眾參與的結(jié)果;如果研究目的是提高公眾參與的成效,則評估對象是公眾參與的過程。第二,確定公眾參與的終點(diǎn)。公眾參與的終點(diǎn)可以是參與行為結(jié)束時(shí),或是公眾參與發(fā)起人收到公眾意見與建議時(shí),亦或是公共決策者匯總與討論參與者意見與建議時(shí),還可以是公眾參與實(shí)踐形成決策影響或社會影響時(shí)。如果參與終點(diǎn)確定不同,即使運(yùn)用相同的評估指標(biāo),也可能得出不同甚至是相反的評估結(jié)論。因此,評估人員在實(shí)施評估時(shí)必須首先明確其評估的時(shí)點(diǎn)選擇。第三,運(yùn)用結(jié)構(gòu)化、系統(tǒng)化的方法對評估指標(biāo)賦予權(quán)重。由于對同一評估對象的不同評估指標(biāo)進(jìn)行優(yōu)先排序比較困難,由此導(dǎo)致評估者在公眾參與的代表性、公平性、經(jīng)濟(jì)效益性和有效性等不同評估指標(biāo)的權(quán)重賦予上顯得比較武斷和隨意。為增強(qiáng)指標(biāo)權(quán)重賦予的信度與效度,評估者應(yīng)運(yùn)用諸如德爾菲法等結(jié)構(gòu)化研究方法對評估指標(biāo)進(jìn)行科學(xué)賦重。

    構(gòu)建TCT評估框架只是評估公眾參與公共決策的第一步,若要知曉公眾參與的實(shí)際價(jià)值、意義與效果,并為公眾參與的價(jià)值論爭提供實(shí)證論據(jù),需要運(yùn)用本文提出的TCT評估框架對公眾參與進(jìn)行實(shí)證評估。評估公眾參與公共決策的未來研究路線如下:其一,對公眾參與過程和參與結(jié)果之間的關(guān)系進(jìn)行研究。良好的參與過程是否必然產(chǎn)生良好的參與結(jié)果?良好的參與結(jié)果是否意味著良好的參與過程?這應(yīng)是未來公眾參與的評估研究重點(diǎn)。其二,具體比較不同公眾參與機(jī)制的優(yōu)缺點(diǎn)及其生長環(huán)境以尋求因地制宜的最佳公眾參與機(jī)制。運(yùn)用本文提出的系統(tǒng)評估框架,對現(xiàn)實(shí)公共決策中的公眾參與機(jī)制進(jìn)行科學(xué)評估、比較和鑒別,并系統(tǒng)分析其產(chǎn)生的背景和影響因素,從而為有效移植其他國家或地區(qū)成功的公眾參與機(jī)制,或者自主開發(fā)與改良本地公眾參與實(shí)踐提供實(shí)證依據(jù),這也是評估公眾參與的最終現(xiàn)實(shí)歸宿。

    注釋:

    ①Irvin,R.A.and Stansbury,J.Citizen Participation in Decision Making:Is It Worth the Effort?[J].Public Administration Review,2004,64(1):55-65.

    ②Mueller,J.Democracy and Ralph's Pretty Good Grocery:Elections,Equality,and the Minimal Human Being[J].American Journal of Political Science,1992,36(4):983-1003.

    ③Irvin,R.A.and Stansbury,J.Citizen Participation in Decision Making:Is It Worth the Effort?[J].Public Administration Review,2004,64(1):55-65.

    ④King,C.S.,F(xiàn)eltey,K.M.and Susel,B.O'Neill.The Question of Participation:Toward Authentic Public Participation in Public Administration[J].Public Administration Review,1998,58(4):317-326.

    ⑤ Rosener,J.User-oriented Evaluation:A New Way to View Citizen Participation[J].Journal of Applied Behavioural Science,1981,17(4):583-596.

    ⑥Arnstein,S.R.A Ladder of Citizen Participation[J].American Institute of Planners Journal,1969,35(4):216-224.

    ⑦Rowe,G.and Frewer,L.J.A Typology of Public Engagement Mechanisms[J].Science Technology&Human Values,2005,30 (2):251-290.

    ⑧Beierle,T.C.Using Social Goals to Evaluate Public Participation in Environmental Decisions[J].Policy Studies Review,1999,16(3/4):75-103.

    ⑨Blahna,D.and Yonts-Shepard,S.Public Involvement in Resource Planning:Toward Bridging the Gap Between Policy and Implementation[J].Society and Natural Resources,1989,2(3):209-227.

    ⑩Webler,T."Right"Discourse in Citizen Participation:an Evaluative Yardstick[M].In:O.Renn,T.Webler&P.Wiedeman(Eds)Fairness and Competence in Citizen Participation:Evaluating Models for Environmental Discourse.Dordrecht:Kluwer Academic Publishers,1995.

    ?Beierle,T.C.Using Social Goals to Evaluate Public Participation in Environmental Decisions[J].Policy Studies Review,1999,16(3/4):75-103.

    ?Beierle T.C.and Cayford,J.Democracy in Practice:Public Participation in Environmental Decisions[M].Washington,D.C:Resources for the Future,2002.

    ?Martineau-Delisle,C.and Nadeau,S.Assessing the Effects of Public Participation Processes from the Point of View of Participants:Significance,Achievements,and Challenges.The Forestry Chronicle,2010,86(6):753-765.

    ?Halvorsen,K.E.Assessing Public Participation Techniques for Comfort,Convenience,Satisfaction,and Deliberation[J].Environmental Management,2001,28(2):179-186.

    ?McKinney,M.and Harmon,W.Public Participation in Environmental Decision Making:Is It Working?National Civic Review,2002,91(2):149-170.

    ?Innes,J.E.Evaluating Consensus Building.in The Consensus Building Handbook,ed.Lawrence Susskind et al.,Thousand Oaks,CA:Sage Publications,1999:653.

    ?俞可平.公民參與的幾個(gè)理論問題[EB/OL].人民網(wǎng),2006-12-20,http://theory.people.com.cn/GB/49150/49152/5192300.html.

    ?王錫鋅.行政過程中公眾參與的制度實(shí)踐[M].北京:中國法制出版社,2008:2.

    ?賈西津.中國公民參與——案例與模式[M].北京:社會科學(xué)文獻(xiàn)出版社,2008:1.

    ?Shindler,B.,and Neburka,J.Public Participation in Forest Planning:8 Attributes of Success[J].Journal of Forestry,1997,95:17-19.

    ?Rowe,G.,and Frewer,L.J.Public Participation Methods:A Framework for Evaluation[J].Science,Technology,&Human Values,2000,25(1):3-29.

    ?Godschalk,D.R.,and Stiftel,B.Making Waves:Public Participation in State Water Planning[J].Journal of Applied Behavioral Science,1981,17(4):597-614.

    ?Crosby,N.,Kelly,J.M.and Schaefer,P.Citizen Panels:A New Approach to Citizen Participation[J].Public Administration Review,1986,46(2):170-178.

    ?Houghton,D.G.Citizen Advisory Boards:Autonomy and Effectiveness[J].American Review of Public Administration,1988,18 (3):283-296.

    ?Petts,J.Waste Management Strategy Development:A Case Study of Community Involvement and Consensus-building in Hampshire[J].Journal of Environmental Planning and Management,1995,38(4):519-536.

    ?Beierle,T.C.Using Social Goals to Evaluate Public Participation in Environmental Decisions[J].Policy Studies Review,1999,16(3/4):75-103.

    ? Beierle,T.C.,and Konisky,D.M.Values,Conflict,and Trust in Participatory Environmental Planning[J].Journal of Policy Analysis and Management,2000,19(4):587-602.

    ?Bickerstaff,K.,and Walker,G.Participatory Local Governance and Transport Planning[J].Environment and Planning A,2001,33(3):431-451.

    ?Halvorsen,K.E.Assessing Public Participation Techniques for Comfort,Convenience,Satisfaction,and Deliberation[J].Environmental Management,2001,28(2):179-186.

    ?Carr,D.S.,and Halvorsen,K.An Evaluation of Three Democratic,Community-based Approaches to Citizen Participation:Surveys,Conversations with Community Groups,and Community Dinners[J].Society and Natural Resources,2001,14(2):107-126.

    ?Irvin,R.A.and Stansbury,J.Citizen Participation in Decision Making:Is It Worth the Effort[J].Public Administration Review,2004,64(1):55-65.

    ?Rowe,G.,Marsh,R.and Frewer,L.J.Evaluation of a Deliberative Conference Using Validated Criteria[J].Science,Technology,&Human Values,2004,29(1):88-121.

    ?Speller,G.and Ravenscroft,N.Facilitating and Evaluating Public Participation in Urban Parks Management[J].Local Environment,2005,10(1):41-56.

    ?Dietz,T.and Stern,P.C.Public Participation in Environmental Assessment and Decision Making[M].National Academy of Sciences,2008.

    ?Abelson,J.and Gauvin,F(xiàn).P.Assessing the Impacts of Public Participation:Concepts,Evidence and Policy Implications[EB/OL]. Canadian Policy Research Networks Inc.,Available at http://www.cprn.org/documents/42669_fr.pdf,2006:14.

    ?Rowe,G.and Frewer,L.J.Evaluating Public-Participation Exercises:A Research Agenda[J].Science Technology Human Values,2004,29(4):541-546.

    ?Rowe,G.and Frewer,L.J.Evaluating Public-Participation Exercises:A Research Agenda[J].Science Technology Human Values,2004,29(4):546.

    Evaluating Public Participation in Public Policy-Making:Theoretical Challenges and its Solutions

    Zhang Xiaojie/Lou Chengwu/Geng Guojie

    The evaluation of public participation in public policy-making is faced with a few theoretical challenges,including no clear and agreed-upon definition and typology of public participation,no widely held criteria for evaluation,and no agreed-upon or reliable measurement tools.The TCT evaluation framework based on participation typology,evaluation criteria and measurement tools can overcome these difficulties and challenges.TCT evaluation framework consists of three elements.First of all,to identify the typology of public participation based on the degree of interaction between decision makers and the public.Secondly,to build evaluation criteria for both public participation process and result based on participation typologies.Finally,to choose suitable measurement tools based on evaluation objects according to three criteria,including usability,reliability and validity.

    Public Participation;TCT Evaluation Framework;Evaluation Criteria;Evaluation Tool

    D035

    A

    1009-3176(2016)05-043-(8)

    (責(zé)任編輯 方卿)

    國家社會科學(xué)基金青年項(xiàng)目 “基于制度均衡視角的中國公眾環(huán)境利益表達(dá)機(jī)制創(chuàng)新研究”(15CZZ008)、國家“萬人計(jì)劃”第一批教學(xué)名師項(xiàng)目、中央高?;究蒲袠I(yè)務(wù)費(fèi)探索導(dǎo)向重點(diǎn)項(xiàng)目“中國公眾環(huán)境利益表達(dá)行為樣態(tài)與引導(dǎo)策略研究”(N151402006)、教育部人文社會科學(xué)研究青年基金項(xiàng)目“中國公眾參與環(huán)境決策的影響因素分析與參與績效評價(jià)”(12YJC630296)、遼寧省社會科學(xué)規(guī)劃基金項(xiàng)目“環(huán)境群體性沖突及其對策研究”(L11BZZ015)。

    2016-5-12

    張曉杰 女(1980-)東北大學(xué)文法學(xué)院講師

    婁成武 男(1949-)東北大學(xué)文法學(xué)院教授 博士生導(dǎo)師 國家“萬人計(jì)劃”第一批教學(xué)名師

    耿國階 男(1976-)東北大學(xué)文法學(xué)院副教授

    猜你喜歡
    參與者指標(biāo)體系工具
    休閑跑步參與者心理和行為相關(guān)性的研究進(jìn)展
    波比的工具
    波比的工具
    淺析打破剛性兌付對債市參與者的影響
    “巧用”工具
    讀者(2017年18期)2017-08-29 21:22:03
    層次分析法在生態(tài)系統(tǒng)健康評價(jià)指標(biāo)體系中的應(yīng)用
    供給側(cè)改革指標(biāo)體系初探
    海外僑領(lǐng)愿做“金絲帶”“參與者”和“連心橋”
    常數(shù)輪理性秘密分享機(jī)制
    測土配方施肥指標(biāo)體系建立中‘3414
    国产精品一国产av| 国产日韩欧美视频二区| 丰满少妇做爰视频| 国产成人免费无遮挡视频| 欧美另类一区| 日韩av免费高清视频| 久久这里只有精品19| 只有这里有精品99| 中文字幕人妻丝袜制服| 精品酒店卫生间| 国产毛片在线视频| 韩国精品一区二区三区| 激情视频va一区二区三区| 一边摸一边抽搐一进一出视频| 亚洲欧美清纯卡通| 久久97久久精品| 女人爽到高潮嗷嗷叫在线视频| 在线观看免费高清a一片| 国产精品一区二区在线不卡| 免费黄频网站在线观看国产| 超碰成人久久| 美女福利国产在线| 久久热在线av| 久久热在线av| 9色porny在线观看| av一本久久久久| 久久影院123| 国产精品 欧美亚洲| 免费av中文字幕在线| 欧美日韩亚洲国产一区二区在线观看 | 19禁男女啪啪无遮挡网站| 精品视频人人做人人爽| 午夜福利乱码中文字幕| 一区福利在线观看| 国产xxxxx性猛交| 美女中出高潮动态图| 免费少妇av软件| 日本欧美视频一区| h视频一区二区三区| 亚洲第一av免费看| 国产日韩欧美在线精品| 新久久久久国产一级毛片| 国产日韩欧美亚洲二区| av线在线观看网站| 波多野结衣av一区二区av| 无遮挡黄片免费观看| 中文字幕亚洲精品专区| 久久久久久久国产电影| 日韩制服丝袜自拍偷拍| av线在线观看网站| 免费黄频网站在线观看国产| 91成人精品电影| 欧美在线黄色| 人妻 亚洲 视频| 19禁男女啪啪无遮挡网站| 亚洲,欧美,日韩| 日韩,欧美,国产一区二区三区| 精品少妇黑人巨大在线播放| 日本黄色日本黄色录像| 国产精品一区二区在线观看99| 免费观看人在逋| 亚洲精品自拍成人| 午夜av观看不卡| 欧美日韩一级在线毛片| 又大又黄又爽视频免费| 亚洲国产av新网站| 久久久久视频综合| av网站在线播放免费| 欧美国产精品一级二级三级| 制服人妻中文乱码| av国产精品久久久久影院| 日韩伦理黄色片| 天美传媒精品一区二区| 最近最新中文字幕免费大全7| 一区福利在线观看| 肉色欧美久久久久久久蜜桃| 久久久国产精品麻豆| 欧美最新免费一区二区三区| 大话2 男鬼变身卡| 国产精品国产三级专区第一集| 91aial.com中文字幕在线观看| 国产一区二区在线观看av| 国产97色在线日韩免费| 自拍欧美九色日韩亚洲蝌蚪91| 一级片'在线观看视频| av天堂久久9| av国产精品久久久久影院| 国产免费一区二区三区四区乱码| 一级毛片我不卡| 在现免费观看毛片| 秋霞在线观看毛片| 久久久久久人人人人人| 中文字幕亚洲精品专区| 国产精品久久久av美女十八| 久久狼人影院| 人人妻人人爽人人添夜夜欢视频| 国产一区二区激情短视频 | 国产1区2区3区精品| 精品少妇久久久久久888优播| av在线播放精品| 高清欧美精品videossex| 午夜激情av网站| 国产成人欧美| 国产一区有黄有色的免费视频| 日韩精品免费视频一区二区三区| 亚洲成人国产一区在线观看 | 99国产精品免费福利视频| 黄色视频不卡| 高清黄色对白视频在线免费看| 久久99精品国语久久久| 美女主播在线视频| 国产成人欧美在线观看 | 国产毛片在线视频| 99国产精品免费福利视频| a级片在线免费高清观看视频| 亚洲第一青青草原| 大香蕉久久网| 黄色一级大片看看| 天堂中文最新版在线下载| 日韩人妻精品一区2区三区| 两性夫妻黄色片| 日韩伦理黄色片| 亚洲成国产人片在线观看| 欧美国产精品一级二级三级| 黄色毛片三级朝国网站| 国语对白做爰xxxⅹ性视频网站| 丝袜脚勾引网站| 一区二区三区激情视频| 天天躁夜夜躁狠狠躁躁| 亚洲少妇的诱惑av| 男人添女人高潮全过程视频| 80岁老熟妇乱子伦牲交| 国产一区二区激情短视频 | 水蜜桃什么品种好| 国产亚洲一区二区精品| 丝瓜视频免费看黄片| 国产精品久久久av美女十八| 尾随美女入室| 波野结衣二区三区在线| 亚洲激情五月婷婷啪啪| 久久精品久久久久久噜噜老黄| 国产成人91sexporn| 欧美中文综合在线视频| 啦啦啦中文免费视频观看日本| 又黄又粗又硬又大视频| 少妇 在线观看| 新久久久久国产一级毛片| 亚洲精品一二三| 人体艺术视频欧美日本| 欧美亚洲 丝袜 人妻 在线| 日韩中文字幕视频在线看片| 国产人伦9x9x在线观看| 午夜福利视频精品| 成年人午夜在线观看视频| 亚洲精品中文字幕在线视频| 欧美精品高潮呻吟av久久| 亚洲人成网站在线观看播放| 不卡视频在线观看欧美| 国产成人精品久久久久久| 亚洲精品日韩在线中文字幕| 日韩伦理黄色片| 夫妻午夜视频| 亚洲婷婷狠狠爱综合网| 曰老女人黄片| 久久久久久久大尺度免费视频| tube8黄色片| 一本一本久久a久久精品综合妖精| 性高湖久久久久久久久免费观看| 你懂的网址亚洲精品在线观看| 婷婷色麻豆天堂久久| 精品一区二区免费观看| 午夜激情久久久久久久| 久久久久久久精品精品| 免费在线观看视频国产中文字幕亚洲 | 建设人人有责人人尽责人人享有的| 久久久久久人人人人人| 欧美97在线视频| 国产精品.久久久| 伊人亚洲综合成人网| 亚洲av成人精品一二三区| 久久午夜综合久久蜜桃| av国产久精品久网站免费入址| 亚洲精品第二区| 国产在线一区二区三区精| 男人添女人高潮全过程视频| 国产欧美亚洲国产| 国产精品 国内视频| 日韩伦理黄色片| 777米奇影视久久| 国产精品女同一区二区软件| 中文字幕精品免费在线观看视频| 秋霞在线观看毛片| 亚洲欧美色中文字幕在线| 亚洲第一青青草原| 黄频高清免费视频| 国产熟女午夜一区二区三区| 又粗又硬又长又爽又黄的视频| av在线播放精品| 一二三四在线观看免费中文在| 97在线人人人人妻| 亚洲成av片中文字幕在线观看| 制服丝袜香蕉在线| 免费在线观看黄色视频的| 国产高清国产精品国产三级| 一本大道久久a久久精品| 欧美日韩亚洲高清精品| 人妻 亚洲 视频| 国产高清不卡午夜福利| 婷婷色麻豆天堂久久| 亚洲精品乱久久久久久| av在线播放精品| 久热爱精品视频在线9| tube8黄色片| 国产成人精品福利久久| 色精品久久人妻99蜜桃| 各种免费的搞黄视频| 中文字幕高清在线视频| 美女视频免费永久观看网站| 午夜免费观看性视频| 国产女主播在线喷水免费视频网站| 日本色播在线视频| 国产精品欧美亚洲77777| 国产成人a∨麻豆精品| 最近2019中文字幕mv第一页| av在线老鸭窝| 女性生殖器流出的白浆| 婷婷色麻豆天堂久久| 777米奇影视久久| 精品卡一卡二卡四卡免费| 亚洲精品在线美女| h视频一区二区三区| 90打野战视频偷拍视频| 制服诱惑二区| √禁漫天堂资源中文www| 热99国产精品久久久久久7| 狠狠精品人妻久久久久久综合| 精品人妻在线不人妻| 亚洲国产精品一区二区三区在线| 日韩不卡一区二区三区视频在线| 亚洲国产精品一区三区| 女性被躁到高潮视频| 免费黄网站久久成人精品| 成年人免费黄色播放视频| 一区二区三区精品91| 国产男人的电影天堂91| 91老司机精品| 日韩 亚洲 欧美在线| av在线老鸭窝| 国产男女超爽视频在线观看| 观看av在线不卡| 一本色道久久久久久精品综合| 中国国产av一级| 少妇 在线观看| 欧美黑人精品巨大| 男女之事视频高清在线观看 | 19禁男女啪啪无遮挡网站| 久久天躁狠狠躁夜夜2o2o | 成人免费观看视频高清| 国产精品成人在线| 中文欧美无线码| 久久久久精品国产欧美久久久 | 国产无遮挡羞羞视频在线观看| 男女午夜视频在线观看| 亚洲男人天堂网一区| 日韩av在线免费看完整版不卡| 成人三级做爰电影| 不卡av一区二区三区| 高清在线视频一区二区三区| 大香蕉久久网| av在线观看视频网站免费| 夫妻午夜视频| 九色亚洲精品在线播放| 欧美在线黄色| 国产成人精品久久久久久| 亚洲精品乱久久久久久| 欧美乱码精品一区二区三区| 狠狠精品人妻久久久久久综合| 一本一本久久a久久精品综合妖精| 久久免费观看电影| 成人三级做爰电影| 亚洲国产精品成人久久小说| 精品国产一区二区三区四区第35| 国产有黄有色有爽视频| 视频区图区小说| 国产av国产精品国产| 久久人人97超碰香蕉20202| 91精品三级在线观看| 欧美日韩成人在线一区二区| 国产人伦9x9x在线观看| 一级黄片播放器| 深夜精品福利| 亚洲国产欧美一区二区综合| 十分钟在线观看高清视频www| xxxhd国产人妻xxx| 亚洲国产欧美日韩在线播放| 日韩,欧美,国产一区二区三区| 如日韩欧美国产精品一区二区三区| 久久久久精品国产欧美久久久 | 综合色丁香网| 热99国产精品久久久久久7| tube8黄色片| 成人亚洲欧美一区二区av| 国产成人精品久久二区二区91 | 亚洲精品国产av成人精品| 欧美精品高潮呻吟av久久| 国产成人精品无人区| 一级片'在线观看视频| 老司机在亚洲福利影院| 亚洲精品久久成人aⅴ小说| 欧美在线一区亚洲| 午夜久久久在线观看| 99热全是精品| 亚洲,欧美,日韩| 亚洲一卡2卡3卡4卡5卡精品中文| 丁香六月欧美| 韩国精品一区二区三区| 欧美激情高清一区二区三区 | 如何舔出高潮| 看免费成人av毛片| 少妇人妻 视频| 午夜福利视频精品| 亚洲精品一区蜜桃| 香蕉丝袜av| 中文精品一卡2卡3卡4更新| 亚洲欧美日韩另类电影网站| 国产精品二区激情视频| 一区在线观看完整版| 亚洲,一卡二卡三卡| 国产成人欧美| 人人妻人人澡人人爽人人夜夜| e午夜精品久久久久久久| 美国免费a级毛片| 精品一区二区三卡| 青草久久国产| 精品少妇内射三级| xxx大片免费视频| 卡戴珊不雅视频在线播放| 国产精品久久久久久久久免| 看十八女毛片水多多多| 免费不卡黄色视频| 国产精品熟女久久久久浪| 男女无遮挡免费网站观看| 国产成人精品无人区| 国产人伦9x9x在线观看| 婷婷色av中文字幕| 亚洲av电影在线进入| 亚洲综合色网址| 国产精品99久久99久久久不卡 | 少妇人妻久久综合中文| 欧美人与性动交α欧美软件| 久久久精品免费免费高清| 在线观看免费日韩欧美大片| 黄色毛片三级朝国网站| 波多野结衣av一区二区av| 久久久久久久久久久久大奶| 男女高潮啪啪啪动态图| 国产亚洲一区二区精品| 91精品三级在线观看| 精品一区二区三区四区五区乱码 | 丰满乱子伦码专区| 久久精品久久久久久久性| 亚洲av日韩精品久久久久久密 | 欧美精品一区二区大全| 两个人看的免费小视频| 久久久久久人人人人人| 香蕉丝袜av| 丰满乱子伦码专区| 飞空精品影院首页| 肉色欧美久久久久久久蜜桃| 欧美另类一区| 亚洲三区欧美一区| 黄色视频不卡| 一级毛片 在线播放| 97人妻天天添夜夜摸| av视频免费观看在线观看| 黄片无遮挡物在线观看| 国产成人免费无遮挡视频| 一个人免费看片子| 亚洲国产欧美一区二区综合| 天美传媒精品一区二区| 国产野战对白在线观看| 久久久久久久久久久久大奶| 免费观看性生交大片5| 精品亚洲乱码少妇综合久久| 满18在线观看网站| 亚洲精品av麻豆狂野| 日本欧美视频一区| 天堂中文最新版在线下载| 欧美日韩视频高清一区二区三区二| 嫩草影视91久久| 亚洲一码二码三码区别大吗| 9色porny在线观看| av在线app专区| av网站免费在线观看视频| 黄片播放在线免费| 亚洲图色成人| 亚洲av日韩在线播放| 国产精品女同一区二区软件| 女人被躁到高潮嗷嗷叫费观| 亚洲成人av在线免费| 激情五月婷婷亚洲| 中文字幕制服av| 天天操日日干夜夜撸| 日韩成人av中文字幕在线观看| 午夜精品国产一区二区电影| 免费观看人在逋| 国产视频首页在线观看| 欧美 日韩 精品 国产| 黄频高清免费视频| 精品一区二区三区av网在线观看 | 国产精品国产三级国产专区5o| 色94色欧美一区二区| 国产亚洲欧美精品永久| 久久久久久免费高清国产稀缺| 国产成人精品福利久久| 国产亚洲欧美精品永久| 在线亚洲精品国产二区图片欧美| 大话2 男鬼变身卡| av国产精品久久久久影院| 国产色婷婷99| 香蕉国产在线看| 不卡av一区二区三区| 久久精品国产亚洲av涩爱| 爱豆传媒免费全集在线观看| 婷婷色av中文字幕| 亚洲国产精品一区二区三区在线| 日本爱情动作片www.在线观看| 久久久国产欧美日韩av| 久久精品亚洲av国产电影网| 人妻人人澡人人爽人人| kizo精华| 一本—道久久a久久精品蜜桃钙片| 免费看av在线观看网站| 亚洲一码二码三码区别大吗| 亚洲精品久久午夜乱码| 国产成人系列免费观看| 只有这里有精品99| 欧美 亚洲 国产 日韩一| 欧美日本中文国产一区发布| 国产亚洲欧美精品永久| 久久久久久久大尺度免费视频| 久久久久久久久久久久大奶| 9191精品国产免费久久| 国产又色又爽无遮挡免| 中国三级夫妇交换| 999精品在线视频| av网站免费在线观看视频| 国产免费一区二区三区四区乱码| 午夜福利一区二区在线看| 午夜老司机福利片| 亚洲欧美激情在线| 欧美日韩一区二区视频在线观看视频在线| 亚洲情色 制服丝袜| 午夜福利视频在线观看免费| 午夜av观看不卡| 国产黄色视频一区二区在线观看| 最近中文字幕2019免费版| 久久99热这里只频精品6学生| 人妻 亚洲 视频| 成人国产av品久久久| 日韩 亚洲 欧美在线| 国产在线免费精品| 九草在线视频观看| 亚洲图色成人| 久久性视频一级片| 亚洲自偷自拍图片 自拍| 国产成人精品福利久久| 国产精品欧美亚洲77777| 免费黄频网站在线观看国产| 香蕉国产在线看| 侵犯人妻中文字幕一二三四区| 黑丝袜美女国产一区| 久久 成人 亚洲| 十八禁网站网址无遮挡| 久久久精品94久久精品| 国产日韩欧美亚洲二区| av福利片在线| 天堂俺去俺来也www色官网| 人成视频在线观看免费观看| 日日摸夜夜添夜夜添小说| 伊人久久大香线蕉亚洲五| 999精品在线视频| 成年版毛片免费区| 97人妻天天添夜夜摸| 午夜激情av网站| 悠悠久久av| 亚洲少妇的诱惑av| 国产xxxxx性猛交| 淫秽高清视频在线观看| 精品欧美一区二区三区在线| 女性被躁到高潮视频| 成在线人永久免费视频| 亚洲欧美日韩高清在线视频| 亚洲第一av免费看| 99香蕉大伊视频| 一边摸一边做爽爽视频免费| 欧美成人性av电影在线观看| 看片在线看免费视频| 亚洲久久久国产精品| 午夜久久久久精精品| 美女午夜性视频免费| 亚洲欧美激情综合另类| 纯流量卡能插随身wifi吗| 一边摸一边抽搐一进一小说| 女性被躁到高潮视频| 亚洲九九香蕉| 一级毛片高清免费大全| 国产成年人精品一区二区| www.精华液| 欧美在线黄色| 免费不卡黄色视频| 日本免费一区二区三区高清不卡 | 麻豆成人av在线观看| 日本a在线网址| 成人永久免费在线观看视频| 久久久久久大精品| 一级毛片女人18水好多| 免费在线观看完整版高清| 日韩欧美国产在线观看| 久久婷婷人人爽人人干人人爱 | 国产野战对白在线观看| 亚洲人成伊人成综合网2020| 成人av一区二区三区在线看| 男人操女人黄网站| 久久精品91蜜桃| 给我免费播放毛片高清在线观看| 免费无遮挡裸体视频| 满18在线观看网站| 老司机深夜福利视频在线观看| 黄色视频,在线免费观看| 中文字幕最新亚洲高清| 国产在线观看jvid| 很黄的视频免费| 久久久久亚洲av毛片大全| 国产欧美日韩一区二区精品| 久久久久国产精品人妻aⅴ院| 亚洲七黄色美女视频| 搞女人的毛片| 日日干狠狠操夜夜爽| 女性被躁到高潮视频| 欧美成人性av电影在线观看| 一本大道久久a久久精品| 欧美日韩乱码在线| 韩国av一区二区三区四区| 亚洲九九香蕉| 欧美日本视频| 精品久久久久久久毛片微露脸| 欧美乱码精品一区二区三区| 久久中文字幕一级| 亚洲一区二区三区不卡视频| 中文字幕另类日韩欧美亚洲嫩草| 久久精品亚洲熟妇少妇任你| 制服丝袜大香蕉在线| 色婷婷久久久亚洲欧美| 国产成人精品久久二区二区91| 美女国产高潮福利片在线看| а√天堂www在线а√下载| 亚洲国产精品合色在线| 久久久久久久精品吃奶| 欧美精品亚洲一区二区| 欧美成人一区二区免费高清观看 | 999精品在线视频| 好男人在线观看高清免费视频 | 久久久久亚洲av毛片大全| 非洲黑人性xxxx精品又粗又长| 久久久久亚洲av毛片大全| 欧美丝袜亚洲另类 | 国产精品98久久久久久宅男小说| 夜夜爽天天搞| 国产亚洲av高清不卡| 麻豆av在线久日| 亚洲 欧美 日韩 在线 免费| 好男人在线观看高清免费视频 | 亚洲一区二区三区色噜噜| 两性夫妻黄色片| 成人av一区二区三区在线看| av福利片在线| 国产一区二区三区视频了| 91国产中文字幕| 老司机靠b影院| 午夜老司机福利片| 国产成人系列免费观看| 亚洲男人的天堂狠狠| 男女做爰动态图高潮gif福利片 | 亚洲熟女毛片儿| 国产亚洲av嫩草精品影院| 女人被躁到高潮嗷嗷叫费观| 国产麻豆69| 亚洲第一av免费看| 国内久久婷婷六月综合欲色啪| 国产一卡二卡三卡精品| 国产片内射在线| 亚洲熟妇中文字幕五十中出| 日日爽夜夜爽网站| 亚洲av电影在线进入| 搡老熟女国产l中国老女人| 国产亚洲精品久久久久5区| 亚洲一区中文字幕在线| 久久天躁狠狠躁夜夜2o2o| 亚洲欧美精品综合一区二区三区| 午夜精品在线福利| 久久人人97超碰香蕉20202| 国产精品亚洲av一区麻豆| 久久亚洲精品不卡| 人人澡人人妻人| 久久香蕉国产精品| 香蕉久久夜色| 69av精品久久久久久| 亚洲三区欧美一区| 好男人在线观看高清免费视频 | 无遮挡黄片免费观看| √禁漫天堂资源中文www| 亚洲男人天堂网一区| 99国产精品99久久久久| 一夜夜www|