社會調(diào)查誤差消減問題的淺析

陳 靜

摘要:通過分析社會調(diào)查中各個步驟中誤差的來源,討論在資源既定且有限的條件下,如何最大限度地消減或消除各種可能的誤差,實(shí)現(xiàn)盡可能小的投入換取盡可能多和有效的信息,以達(dá)到對調(diào)查對象最大可能的正確認(rèn)識。

關(guān)鍵詞:社會調(diào)查 抽樣 誤差 消減

一、引言

在社會調(diào)查研究中,如何做到“正確”?“正確”從方法意義上說,指通過“科學(xué)”的方法最大限度地消減或消除各種可能誤差,以此達(dá)到對調(diào)查對象的最大可能的正確認(rèn)識。從誤差的發(fā)現(xiàn)、分析到誤差的消減或消除,每一個階段都需要付出成本。因此一種正確的調(diào)查方法,就是要以最小的成本投入來最大化消減誤差。而總體研究設(shè)計(jì)便是一種用總體的視角和框架去審視并把握調(diào)查的每一個步驟,確定在各個步驟中如何有所選擇地進(jìn)行權(quán)衡,以便能合理高效的配置資源,從而實(shí)現(xiàn)以最小代價消減最大誤差。為了能明確說明為什么要采用總體研究設(shè)計(jì),首先需要就調(diào)查研究中的各種可能誤差有個清楚的認(rèn)識,然后在此基礎(chǔ)上分析總體研究設(shè)計(jì)的特點(diǎn)、步驟和優(yōu)勢。

二、誤差來源分析

社會調(diào)查指的是一種采用自填式問卷或結(jié)構(gòu)式訪問的方法,系統(tǒng)地直接地從一個取自總體的樣本那里收集資料,并通過分析這些資料來認(rèn)識社會現(xiàn)象及其規(guī)律的社會研究方式(風(fēng)笑天,1996:3)。從這種界定可以看出,一個完整的社會調(diào)查需要有以下幾個重要步驟:總體界定(抽樣框的界定)、抽樣、調(diào)查工具設(shè)計(jì)及使用、資料收集與計(jì)量、數(shù)據(jù)分析與總結(jié)?？梢哉f,在這些主要步驟及其中諸多細(xì)小步驟中,每一階段都有出現(xiàn)誤差的可能性,其中有的誤差是客觀存在的、不可避免的。

第一,就抽樣框制作來說,抽樣框制作是否良好,直接影響到調(diào)查結(jié)果能否精確的推測或估計(jì)總體。比如采用過時的抽樣框,當(dāng)有新成分或具有新特征成分加入時仍用老的抽樣框;又如抽樣框框定的對象并非調(diào)查研究所針對的對象總體;另外有的調(diào)查中,抽樣框不是事先就能確定的,而是處于變動之中的,從而抽樣與抽樣框的制作是同步進(jìn)行的(Fowler,1993:11)。

第二,就抽樣來看,存在抽樣誤差。抽樣誤差是指用樣本值去估計(jì)總體值時所出現(xiàn)的誤差(風(fēng)笑天,2001:149)。此抽樣所指的是一種概率抽樣,因而這種誤差是一種隨機(jī)性誤差,而且這種誤差是可以計(jì)算的,其統(tǒng)計(jì)描述即是標(biāo)準(zhǔn)誤(standard error)(Fowler,1993:27—28)。盡管抽樣誤差作為一種隨機(jī)誤差可以予以計(jì)算并且可以進(jìn)行控制,但是這些都是一種理論上的討論,現(xiàn)實(shí)的抽樣往往更為復(fù)雜。因?yàn)槌闃臃桨鸽m然事先設(shè)定好了,但一旦實(shí)施下去,便會有諸多可能需要變通的地方,這時現(xiàn)實(shí)中的變通就會帶來非隨機(jī)性的抽樣誤差,比如調(diào)查員個人自由選擇替代樣本而出現(xiàn)主觀偏差。這就需要研究者加以嚴(yán)格的控制,否則允許調(diào)查員個人自由選擇樣本單位則必定會產(chǎn)生有偏的結(jié)果(聯(lián)合國統(tǒng)計(jì)局,1984:83)。不過此處為了討論上的方便,我們還是將抽樣誤差中的這些變通之策予以忽略,從而將抽樣誤差視為隨機(jī)誤差。這是不可消除的誤差,但卻是可以計(jì)算并控制的。另外,如果出于研究目的需要而采用非概率抽樣,那就更是容易產(chǎn)生更大的誤差。

第三,調(diào)查工具的設(shè)計(jì)及其使用。這是最為復(fù)雜也最具有挑戰(zhàn)性的一個消減誤差環(huán)節(jié)。首先是測量工具的設(shè)計(jì)問題(以問卷設(shè)計(jì)為例)。也許每一個人都能設(shè)計(jì)出一份問卷,但是設(shè)計(jì)一份優(yōu)秀的問題卻是極為艱難的。

從研究者角度說,首先他必須能夠?qū)ζ渌芯康膶ο蠡騿栴}給予清晰的界定,然后對各個概念進(jìn)行操作化、指標(biāo)化,使其成為一種具有可操作性的測量工具,以便能收集到有關(guān)被調(diào)查對象的行為、態(tài)度和社會特征的資料(風(fēng)笑天,1996:119)。

其次,還有語言表達(dá)方面的問題。問卷是要站在被調(diào)查者的角度來設(shè)計(jì)的,我們需要根據(jù)被調(diào)查對象的特點(diǎn)采用相應(yīng)的語言表達(dá)形式。如果問卷中的問題如果含糊、帶傾向性或具有雙重含義或歧義等,就容易影響被調(diào)查者的理解和填答,甚至拒答,而這些都易導(dǎo)致測量結(jié)果出現(xiàn)誤差1。

問卷設(shè)計(jì)和使用方面有兩類誤差來源:一是問卷設(shè)計(jì)過程中的效度和信度問題,信度是指用相同研究技術(shù)重復(fù)測量同一個對象時得到一致研究結(jié)果的可能性。按照巴比(2000:173)的說法,失敗的信度可被視為一種隨機(jī)誤差,而失敗的效度則是一種系統(tǒng)誤差。二是問卷使用中出現(xiàn)的誤差。問卷設(shè)計(jì)是研究者主觀能把握的方面,在一定程度上可完全歸結(jié)為研究者的個人綜合能力,而問卷的使用或發(fā)揮測量作用時,則存在著諸多外在的或主觀或客觀的誤差源。在有調(diào)查員的場合下,調(diào)查員在“問題——回答”過程中即會引入誤差,而且這種誤差通常來說是無法知道的,尤其是在主觀態(tài)度方面,這是客觀測量手段所無法測量的誤差。

數(shù)據(jù)整理、記錄和編碼等瑣碎操作也可能會出現(xiàn)誤差。由于調(diào)查結(jié)果通常都是大量的數(shù)字,調(diào)查員容易出現(xiàn)記錄錯誤、錄入錯誤等,這些可以通過些核對技術(shù)和技巧進(jìn)行清理,但是它們也仍是一個誤差來源。

第四,問卷調(diào)查過程中出現(xiàn)的無回答現(xiàn)象。我們可以將總體看成被劃分為兩個“層”,一層是由這樣的單位組成,如果這些單位被抽中的話,就會得到其測量值;另一層則是由無法得到測量值的單位組成。這兩層單位之間是存在差異的(科克倫,1985:544)2。事實(shí)上,不僅無回答會影響調(diào)查結(jié)果,甚至找替代對象來填補(bǔ)都會造成誤差。一個包含比初始選定的單位少于80%的樣本(或更替率在20%以上),幾乎肯定是顯著的有偏差的(聯(lián)合國統(tǒng)計(jì)局,1984:92)。

總的來說,我們可以將誤差分為四大類:抽樣框誤差、抽樣誤差、測量誤差和無回答誤差3。其中抽樣誤差是客觀存在的,對于隨機(jī)抽樣引起的隨機(jī)誤差是永遠(yuǎn)無法完全消除的,但它是可以計(jì)量和控制的,比如通過增大樣本容量以減少抽樣誤差。而對于其他三項(xiàng)誤差,我們可以稱之為非抽樣誤差。從理論上說,這些誤差是可以消除的,但是事實(shí)上那是無法實(shí)現(xiàn)的。而且這類誤差是不可能通過增加樣本容量的方法而減少的,而且只能通過改進(jìn)某些操作的質(zhì)量來減少,或用通俗的話說就是把事情做得更好些(Kish,1997:581)。

三、總體研究設(shè)計(jì)與誤差消減

上述分析表明,我們對誤差進(jìn)行了分析并歸類,并且提出了可能的消減方法。但是,“正確”的調(diào)查還有一個面向是關(guān)鍵的,那就是成本、代價問題。從理論上說,可以通過各種方法消減何種誤差,但是實(shí)際操作中則需要付出很大的代價。

以拒訪為例,我們可以通過高額的報(bào)酬來感謝被調(diào)查者以讓其愿意合作,也可以輔之以相關(guān)部門的幫助以解決入戶問題,但這些都是需要人力、物力和財(cái)力的投入。有研究表明,一個典型的情況是,用訪問法選出來的單位與之聯(lián)系和同意合作的,第一次訪問時大概可達(dá)60%,第二次訪問可能增加10%,第三次再增加5%,如此等等。隨著訪問人員愈是接近堅(jiān)決不答復(fù)之人,每增加一個單位,費(fèi)用也就會急劇上升(聯(lián)合國統(tǒng)計(jì)局,1984:92—94)。

像這種邊際效用遞減情況也見之于樣本容量的確定上。樣本容量越大,越有助于消除抽樣誤差。但是其成本—收益的權(quán)衡使我們不得不在可能條件下選擇適宜的樣本數(shù)。一般來說,對于小樣本,樣本規(guī)模較小的增加即可在調(diào)查結(jié)果精確性方面帶來明顯增加,而對于大樣本,則增加同樣多的個案,收獲卻甚微。因此通常許多調(diào)查公司即將其樣本規(guī)模限制在2000內(nèi),因?yàn)楫?dāng)樣本規(guī)模超過了這一點(diǎn)時,花費(fèi)在所增加的樣本規(guī)模上的成本相對增加估計(jì)的精確性來說,就有些得不償失了(風(fēng)笑天,1996:94)。

另一個重要問題是我們應(yīng)該考慮如何通過高效地配置資源來,是該集中資源去擴(kuò)大樣本容量,還是該集中資源去提高回答率;另外在選擇資料收集方式上,是該用郵寄還是入戶調(diào)查,還是電話訪問等。

也因?yàn)榇嬖谌绱酥嗟木駬?我們才需要采用總體研究設(shè)計(jì)方法。所謂總體研究設(shè)計(jì),指當(dāng)一個人設(shè)計(jì)一個調(diào)查研究或評估一項(xiàng)調(diào)查質(zhì)量時,需要將整個數(shù)據(jù)的收集過程看成是一個整體,即全面衡量,而不是只看見一兩個方面,諸如抽樣質(zhì)量(抽樣框制作、樣本規(guī)模、抽樣方案、回答率)、問卷質(zhì)量及數(shù)據(jù)收集的質(zhì)量(尤其是在使用調(diào)查員的培訓(xùn)和監(jiān)督的程序中),還有數(shù)據(jù)收集方式等構(gòu)成一個高度相關(guān)的整體。而這種工作前提便是我們每一個研究的總體成本是既定的,因而我們需要用總體思維方式來最有效的配置資源(Fowler,1993:142)。

總之,要進(jìn)行一項(xiàng)“正確”的調(diào)查,是需要有一個總體觀、全局觀,即需要一種總體研究設(shè)計(jì)思維,把整個研究過程、目標(biāo)、條件當(dāng)作一個整體來思考。盡管其中某些步驟的做法看來并不是很理想或說有改進(jìn)的可能,但是作為一個整體,它必然會是較為理想的。在總體研究設(shè)計(jì)中,我們無法在每一個細(xì)節(jié)、每一個階段達(dá)到最優(yōu),但在整體上我們能做得更好,真正實(shí)現(xiàn)盡可能小的投入換取盡可能多的信息和盡可能有效的信息。

參考文獻(xiàn):

【1】毛澤東,1991,毛澤東選集(第一卷),人民出版社

【2】風(fēng)笑天, 1996,現(xiàn)代社會調(diào)查方法,華中理工大學(xué)出版社

———, 1997,社會調(diào)查方法還是社會研究方法,社會學(xué)研究(2):21—30

———, 2001,社會學(xué)研究方法,中國人民大學(xué)出版社

———, 2002,社會調(diào)查中的問卷設(shè)計(jì),天津人民出版社

【3】袁方主編,1997,社會研究方法教程,北京大學(xué)出版社

【4】聯(lián)合國統(tǒng)計(jì)局編,1984,抽樣調(diào)查理論基礎(chǔ),上海人民出版社

【5】W. G. 科克倫,1985,抽樣技術(shù),中國統(tǒng)計(jì)出版社

【6】艾爾.巴比,2000,社會研究方法(上冊),華夏出版社

【7】J.T. Lessler,W.D. Kalsbeek,1997,調(diào)查中的非抽樣誤差,中國統(tǒng)計(jì)出版社

【8】L.Kish,1997,抽樣調(diào)查,中國統(tǒng)計(jì)出版社

注釋:

【1】 問卷設(shè)計(jì)方面的各種問題及誤差可能來源均可參見風(fēng)笑天(2002)的詳細(xì)論述

【2】有人曾于1946年對美國卡羅來納州果園進(jìn)行試驗(yàn)性抽樣調(diào)查,當(dāng)相同的調(diào)查表向種植者連續(xù)寄三次,結(jié)果顯示,種植者擁有的果樹數(shù)直接與是否回答有相關(guān)關(guān)系,具體數(shù)據(jù)可參見(科克倫,1985:544)

【3】分類方法主要參考了J.T. Lessler和W.D. Kalsbeek(1997:13—14)的分類方法

(華北電力大學(xué)法政系,071003;陳靜)