計算機輔助調(diào)查與訪員誤差控制

丁 華

（北京大學(xué) 中國社會科學(xué)調(diào)查中心，北京 100871）

計算機輔助調(diào)查與訪員誤差控制

丁 華

（北京大學(xué) 中國社會科學(xué)調(diào)查中心，北京 100871）

計算機輔助調(diào)查模式（CAI）通過技術(shù)手段可以在一定程度上減少訪員因素造成的誤差。有效運用CAI技術(shù)手段改善訪員訪問和管理方式，控制因訪員因素產(chǎn)生的測量誤差，對于提高訪問質(zhì)量是非常關(guān)鍵的。文章將對CAI模式中影響測量誤差的訪員因素、減少訪員相關(guān)誤差的方法以及改進(jìn)數(shù)據(jù)質(zhì)量的措施進(jìn)行探討。

計算機輔助調(diào)查；訪員誤差；數(shù)據(jù)質(zhì)量

0 引言

調(diào)查環(huán)節(jié)中的測量誤差是指由訪員、被訪者、測量工具和調(diào)查場景等因素造成的所收集的數(shù)據(jù)與客觀事實之間的偏差，其中訪員因素是社會調(diào)查過程中的重要測量誤差來源，對訪問質(zhì)量產(chǎn)生著至關(guān)重要的影響。在調(diào)查過程中，受訪者是否愿意接受訪問、能否提供真實的數(shù)據(jù)，都在很大程度上取決于訪員的個人特征、專業(yè)水平、訪問態(tài)度和溝通技巧。

計算機輔助調(diào)查模式（CAI）的引進(jìn)和應(yīng)用，雖然不能徹底消除訪員因素對數(shù)據(jù)質(zhì)量的影響，但通過技術(shù)手段可以在一定程度上減少訪員因素造成的誤差。有效運用CAI技術(shù)手段改善訪員的訪問和管理方式，控制因訪員因素產(chǎn)生的測量誤差，對于提高訪問質(zhì)量是非常關(guān)鍵的。為此，本文嘗試對CAI模式中影響測量誤差的訪員因素、減少訪員相關(guān)誤差的方法以及改進(jìn)數(shù)據(jù)質(zhì)量的措施進(jìn)行探討。

1 影響測量誤差的訪員因素

訪員特征、訪員經(jīng)驗、訪員態(tài)度等訪員相關(guān)因素都會對測量誤差產(chǎn)生影響。在實際調(diào)查過程中，需要充分了解可能引起訪問誤差的來源，并準(zhǔn)備相應(yīng)的措施。

1．1 在敏感問題方面的訪員誤差

訪員在場本身會導(dǎo)致受訪者偏差性的回答。尤其對敏感問題而言，訪員的到場更容易對測量結(jié)果產(chǎn)生影響，訪員的“社會存在”激發(fā)受訪者在回答問題時更多地考慮到社會規(guī)范。遵從社會規(guī)范的壓力促使受訪者選擇隱瞞真實情況，由此產(chǎn)生的偏差傳統(tǒng)上經(jīng)常被視為是系統(tǒng)性的和難以避免的。

在CAI模式下，可以借助計算機輔助的自助語音系統(tǒng)（ACASI）解決敏感題和隱私題因訪員在場而產(chǎn)生的測量誤差問題。ACASI是在CAI基礎(chǔ)上發(fā)展起來的一種新技術(shù)。該技術(shù)將問卷中的敏感問題通過語音轉(zhuǎn)換軟件嵌入訪問管理系統(tǒng)，在訪員訪問到此類問題時，會根據(jù)系統(tǒng)提示將電腦轉(zhuǎn)交給受訪者。受訪者在回答問題時，通過耳機收聽計算機播放題目錄音，自行輸入答案完成訪問。整個過程由調(diào)查對象獨立完成，調(diào)查員不參與并且不能瀏覽受訪者提供的信息。這種方式已經(jīng)在多個國家被應(yīng)用在酒精和毒品使用、性行為、家庭暴力等敏感調(diào)查中，并且被證實能夠提高敏感問題的報告率[1]。

1．2 與訪員特征相關(guān)問題方面的訪員誤差

當(dāng)調(diào)查問題與訪員的某些特征產(chǎn)生聯(lián)系時，這些特征會對受訪者的回答產(chǎn)生直接影響。一項經(jīng)常被引用的關(guān)于反猶太主義態(tài)度的調(diào)查發(fā)現(xiàn)，當(dāng)訪員的名字里含有常見的猶太姓氏或者自身有明顯的猶太人特征時，被訪者表達(dá)反猶太主義的觀點比例會降低[2]。訪員特征可能與種族關(guān)系相關(guān)，也可能會跟語言、社會經(jīng)濟特征、年齡相關(guān)。當(dāng)調(diào)查中的問題與某些訪員特征產(chǎn)生相關(guān)關(guān)系時，受訪者傾向于根據(jù)訪員的特征來做出判斷和回答。但是在很多情況下，很難判斷選擇與受訪者社會屬性相似的訪員會帶來正面還是負(fù)面的效應(yīng)。因此，在實地調(diào)查中最好的方法是隨機安排訪員，以此來減少因為訪員自身特征帶來的誤差。

1．3 與調(diào)查經(jīng)驗相關(guān)的訪員誤差

訪員調(diào)查經(jīng)驗對于測量誤差而言是一把雙刃劍，可能會對調(diào)查結(jié)果產(chǎn)生兩種作用：一種是比較積極的作用，有經(jīng)驗的訪員掌握了更好的入戶技巧和溝通技巧，傾向于獲得更高的合作率，并且在訪問過程中通過技巧性發(fā)問和追問獲得更準(zhǔn)確的信息，產(chǎn)生更少的誤差。另一種可能是比較消極的作用，調(diào)查經(jīng)驗的增加可能讓訪員掌握更多規(guī)避核查、付出更少努力獲取數(shù)據(jù)的方法，增加測量誤差。在美國藥物使用和健康調(diào)查(NSDUH)中，研究結(jié)果顯示，有經(jīng)驗的訪員較之沒有經(jīng)驗的訪員報告了更少的毒品使用情況。即使在沒有經(jīng)驗的訪員組內(nèi)，隨著完成訪問數(shù)量的增加，其數(shù)據(jù)中毒品使用狀況的匯報會減少。這可能與有經(jīng)驗的訪員傾向于引導(dǎo)受訪者回避敏感性題目以減少受訪者反感、降低訪問工作量有關(guān)[3]。此外，調(diào)查經(jīng)驗豐富的訪員可能存在一種行為趨勢，即在與被訪者的互動中有意的縮減題目所傳遞的信息需求，以減少受訪者思考的時間和提供詳盡答案所花費的時間。有研究表明，有經(jīng)驗的訪員往往不會像沒經(jīng)驗的訪員一樣嚴(yán)格的按要求把問卷中的問題逐字逐句的讀出來，而是按照自己對問卷的理解進(jìn)行訪問[4]。但從實際執(zhí)行效果上看，如果這種變通是非原則性的，不見得必然會對數(shù)據(jù)造成負(fù)面影響。

事實上，訪員經(jīng)驗?zāi)芊裨跍p少測量誤差方面發(fā)揮積極作用，關(guān)鍵取決于訪員的管理方式和監(jiān)督手段。在CAI模式中，通過培訓(xùn)和日常督導(dǎo)，能夠為訪員確定明確可操作易于監(jiān)督核查的訪問規(guī)范。此外，采用計算機輔助技術(shù)能夠保證訪問數(shù)據(jù)實時上傳，通過及時有效的常規(guī)數(shù)據(jù)清理和核查措施，發(fā)現(xiàn)訪員訪問行為和規(guī)范的問題，并能夠及時給予反饋和指導(dǎo)。在該種模式下，訪員的經(jīng)驗增加對于提高合作率、減少測量誤差在更大程度上會發(fā)揮正面作用。

1．4 與調(diào)查態(tài)度相關(guān)的訪員誤差

在一項調(diào)查開始之前，大多數(shù)受訪者對于如何接受訪問、如何回答問題沒有概念。影響受訪者參與訪問態(tài)度的一個重要因素是訪員表現(xiàn)出來的對于調(diào)查的態(tài)度。一項健康調(diào)查的研究結(jié)果顯示，受訪者認(rèn)為在訪問中表現(xiàn)出的態(tài)度是想得到“準(zhǔn)確答案”而不是“一般的想法”的訪員，傾向于獲得更高的訪問質(zhì)量和更少的誤差[5]。訪員對于訪問工作的態(tài)度以及在受訪者面前表現(xiàn)出來的態(tài)度會直接影響到受訪者對該調(diào)查的認(rèn)知，并進(jìn)而決定其參與調(diào)查的態(tài)度、配合程度和回答問題的真實性。這種訪問過程中的訪員與受訪者之間的互相觀察、認(rèn)知、判斷和互動會對調(diào)查進(jìn)程和結(jié)果產(chǎn)生較大影響，并最終影響數(shù)據(jù)的質(zhì)量。

在CAI模式中，通過問卷數(shù)據(jù)的實時回傳、電話核查和錄音核查的同步開展，核查員根據(jù)核查問卷能夠?qū)υL員的訪問態(tài)度和受訪者反應(yīng)進(jìn)行判斷，并及時對訪問態(tài)度有問題的訪員進(jìn)行干預(yù)指導(dǎo)，在訪問過程中不斷改進(jìn)訪員的訪問態(tài)度和技巧。

2 CAI模式中減少訪員誤差的方法

為了減少訪員因素對調(diào)查數(shù)據(jù)的影響，保證訪員行為在數(shù)據(jù)收集過程中的穩(wěn)定性和一致性，研究者和調(diào)查實施者需要在問卷設(shè)計、訪問過程控制、訪員管理方法這三個方面引起重視。

2．1 問卷設(shè)計

問卷設(shè)計的技巧在很大程度上決定了訪員訪問行為的偏差程度。如果問題設(shè)計的不易被受訪者理解，就需要訪員更多的解釋和追問。如果需要記錄描述性答案的開放問題越多，就越需要依賴訪員的追問和記錄能力，訪員效應(yīng)對訪問質(zhì)量的影響就越大。在此種情況下，訪員對問題的理解能力、解釋技巧和追問能力會很大程度上影響受訪者的回答。大量研究結(jié)果表明，減少訪員因素造成誤差的一個重要手段就是設(shè)計高質(zhì)量的問卷[6]。一份好的問卷問題應(yīng)該體現(xiàn)在：一是題干內(nèi)容表述非常清晰，當(dāng)訪員讀題時能讓受訪者非常容易理解并能夠給予明確的答案。二是題意明確，對于想要受訪者需要回答的內(nèi)容表達(dá)清楚，讓受訪者知道題目想要問什么，知道該如何回答。

完成設(shè)計的問卷需要經(jīng)科學(xué)設(shè)計的多輪測試，CAI系統(tǒng)中可以使用專門的測試工具CTT（CAI Testing Tool）進(jìn)行多人在線測試。通過收集在測試過程中訪員和受訪者的反饋并分析相關(guān)數(shù)據(jù),發(fā)現(xiàn)哪些問題需要訪員再三解釋才能讓受訪者理解、哪些問題在發(fā)問時容易引起受訪者反感或被打斷、哪些問題讓受訪者不知道該如何回答、哪些問題讓不同的受訪者產(chǎn)生不同的理解并給予不一致的回答等，根據(jù)這些總結(jié)和分析再進(jìn)一步進(jìn)行問卷的修改。此外，在CAI系統(tǒng)的問卷測試中，能夠通過真實受訪者的模擬訪問，準(zhǔn)確計算出每題的訪問時長和回答率，可以據(jù)此分析出不方便訪員讀出和受訪者理解的困難題和敏感題，并根據(jù)訪員和受訪者的反饋進(jìn)行相關(guān)題目的改進(jìn)。

2．2 訪問過程控制：標(biāo)準(zhǔn)化、規(guī)范化

對訪員在訪問過程進(jìn)行標(biāo)準(zhǔn)化和規(guī)范化要求，能夠減少訪員因素造成的誤差。普遍適用的原則有：逐字提問、適時追問、如實記錄。

按照題目內(nèi)容逐字念出是標(biāo)準(zhǔn)化訪問流程最基本的也是最普遍認(rèn)可的原則。盡管有些研究證明可能有些改變不會影響數(shù)據(jù)結(jié)果，比如用“流產(chǎn)”來替代“結(jié)束懷孕”對受訪者回答沒有顯著影響[7]，但更多的研究表明改變題目表述方式，會潛在影響到調(diào)查結(jié)果。如果不跟訪員強調(diào)逐字讀題的重要性，就會給訪員造成可以根據(jù)自己理解提問的誤解，并由此可能會帶來影響訪問質(zhì)量的訪員相關(guān)誤差。

除了在提問時是按照題目內(nèi)容逐字讀出外，在受訪者做出回答后，如果答案不夠清晰或誤解了題意，訪員需要及時地進(jìn)行追問或者重新讀題。需要進(jìn)行追問的情形包括：受訪者給出的答案不在選項范圍內(nèi)、受訪者的回答不夠精確（尤其是需要回答準(zhǔn)確數(shù)字的題目）、受訪者的回答模棱兩可、受訪者誤解了題意或?qū)︻}目了解有偏差。在這種情形下，訪員需要給出解釋并進(jìn)一步追問。訪員需要清楚題目設(shè)計的目的，并結(jié)合在追問過程中。在追問時不能猜測受訪者的意圖并給予引導(dǎo)，而是在澄清題意的基礎(chǔ)上，鼓勵受訪者給出更準(zhǔn)確的答案。

如實記錄受訪者的回答，不對答案做任何主觀解釋或推論也是非常重要的。一般來說，在填答錯誤的發(fā)生率上，CAI要比紙筆調(diào)查低[8]，這主要是邏輯控制和值域控制發(fā)揮了很大作用，但控制范圍之外，仍然無法徹底避免錄入錯誤的問題。同時需要注意的是，在很多調(diào)查中都會有這樣一類題目：記錄受訪者的描述，并進(jìn)一步進(jìn)行編碼選擇。但如果此類題目的分類比較復(fù)雜或互斥性較差，由訪員現(xiàn)場編碼容易帶來很多錯誤。采取由訪員現(xiàn)場記錄受訪者回答，轉(zhuǎn)而由專業(yè)的編碼員進(jìn)行編碼，藉此減少訪員編碼錯誤成為一個較好的處理原則。

對于訪員在訪問過程中表現(xiàn)出來的不規(guī)范行為，與紙筆調(diào)查事后核查不同的是，在CAI模式中可以借助各種技術(shù)進(jìn)行實時監(jiān)控和干預(yù)。通過每題采訪時長數(shù)據(jù)分析和錄音回放，及時發(fā)現(xiàn)訪員在提問、追問和記錄答案時影響數(shù)據(jù)質(zhì)量的行為，并在訪員開展新的訪問之前由督導(dǎo)進(jìn)行溝通和指導(dǎo)，避免同類訪員誤差的重復(fù)發(fā)生。

2．3 訪員管理

在CAI模式下，最大的優(yōu)勢是利用數(shù)據(jù)實時回傳技術(shù)，可以對訪員訪問行為進(jìn)行及時干預(yù)和管理。通過訪員管理手段，能在一定程度上控制訪員效應(yīng)發(fā)揮作用的范圍，并降低由此產(chǎn)生的誤差。主要的訪員管理內(nèi)容包括：訪員培訓(xùn)、訪員督導(dǎo)、訪員工作量安排。

訪員培訓(xùn)的時間和質(zhì)量直接決定著實地訪問中可能產(chǎn)生的訪員誤差。培訓(xùn)時間是保證訪員能夠扎實的掌握訪問技巧、問卷設(shè)計目的、問題的準(zhǔn)確含義的必要部分。除此之外，培訓(xùn)內(nèi)容的合理設(shè)置和培訓(xùn)質(zhì)量保證是決定訪員培訓(xùn)效果的另一個重要方面。就CAI模式而言，在培訓(xùn)內(nèi)容設(shè)置上，除了常規(guī)的問卷內(nèi)容講解外，加強實際操作練習(xí)和真實入戶訓(xùn)練對避免訪問過程中產(chǎn)生的訪員相關(guān)誤差非常重要。

在調(diào)查過程中，對訪員的行為進(jìn)行及時指導(dǎo)和監(jiān)督是減少誤差的關(guān)鍵環(huán)節(jié)。在CAI中，可以運用多種手段，如回放訪談錄音、操作鍵盤回放、采訪時長實時監(jiān)控、電話回訪等，發(fā)現(xiàn)訪問過程中出現(xiàn)的諸如采訪時長過短、未按要求提問、追問不足、記錄錯誤等問題，并在訪員開始下一個訪問之前給予及時反饋，提醒訪員規(guī)范化訪問行為。此外，在訪員實地工作過程中，可以隨時跟督導(dǎo)保持聯(lián)系，反饋訪問過程中遇到的問卷問題、技術(shù)問題、受訪戶問題以及自身的心理負(fù)擔(dān)或困擾，督導(dǎo)會在第一時間協(xié)助訪員解決各類問題，并通過針對性措施激勵訪員高質(zhì)量的進(jìn)行訪問工作。

訪員的工作量也是影響訪員行為的重要因素，在不同的工作量安排下，訪員會表現(xiàn)出不同的行為。有學(xué)者認(rèn)為，對于同一個調(diào)查，如果多次重復(fù)提問，會造成訪員的厭倦感，并因此產(chǎn)生漏問、誘導(dǎo)、捷徑跳轉(zhuǎn)的問題。一般而言，訪員在第10份問卷時會達(dá)到技巧最佳狀態(tài)，而到第35份問卷時會產(chǎn)生調(diào)查質(zhì)量下滑的問題。其他調(diào)查中也發(fā)現(xiàn)，訪員在完成一定量的調(diào)查任務(wù)后，會普遍出現(xiàn)疲憊和厭倦的情緒，并進(jìn)而影響到訪問時發(fā)問和追問的積極性[9]。訪員訪問質(zhì)量下滑臨界點的研究還需繼續(xù)深入，但已被學(xué)者們認(rèn)可的事實是，應(yīng)該給訪員安排適當(dāng)?shù)墓ぷ髁?，盡量減少工作量對訪員造成的壓迫感和由此帶來的訪員相關(guān)誤差。

3 結(jié)論

在由訪員參與的調(diào)查中，不論是紙筆調(diào)查模式還是計算機輔助調(diào)查模式，訪員特征、訪員經(jīng)驗、訪員態(tài)度都會對受訪者參與調(diào)查的意愿、態(tài)度以及調(diào)查質(zhì)量產(chǎn)生影響，成為測量誤差的重要來源。已有的研究中對于控制訪員相關(guān)誤差的策略進(jìn)行了討論和分析，普遍得到認(rèn)可的三個原則包括：高質(zhì)量的問卷設(shè)計、標(biāo)準(zhǔn)化訪問程序和科學(xué)的管理。

隨著CAI技術(shù)的引進(jìn)和成熟，能夠在問卷測試、敏感題語音自助訪問系統(tǒng)完善、訪員訪問行為實時監(jiān)督和指導(dǎo)方面發(fā)揮更加積極的作用，對于減少訪員相關(guān)誤差發(fā)生的可能性或降低訪員因素對采集數(shù)據(jù)質(zhì)量的影響程度將有較大幫助。即使在計算機輔助模式下，訪員誤差仍舊不可能徹底消除，如何利用技術(shù)優(yōu)勢探索控制測量誤差來源的科學(xué)方法仍然需要引起持續(xù)關(guān)注。

［1］Cooley P C,Miller H G,Gribble J N.Automating Telephone Surveys:Using T-ACASI to Obtain Data on Sensitive Topics［J］.Comput Human Behav,1998,14(2).

［2］Fowler F,MangioneT.Standardized Survey Interviewing:Minimizing Interviewer-related Error［M］.Beverly Hills,CA:Sage Publications，1990.

［3］Groves R,Couper M,Presser S.Experiments in Producing Nonresponse Bias［J］.Public Opinion Quarterly,2006,(70).

［4］Gfroerer J,Eyerman J,Chromy J.Redesigning an Ongoing National Household Survey:Methodological issues［J］.DHHS Pub,2002.

［5］Fowler F,Mangione T.Standardized Survey Interviewing:Minimizing Interviewer-related Error［M］.Beverly Hills,CA:Sage Publications.1990.

［6］Mangione T,Fowler F,and Louis T.Question Characteristics and Interviewer Effects［J］.Journal of Official Statistics,1992,(8).

［7］Schuman H,Presser S.Questions and Answers in Attitude Surveys:Experiments in Question Form,Wording,and Context［M］.New York:Academic Press,1981.

［8］Lepkowski J,Sadosky S,Weiss P.Mode,Behavior,and Data Recording Error［M］.New York:Wiley,1988.

［9］邊燕杰，李路路，蔡禾.社會調(diào)查方法與技術(shù)：中國實踐［M］.北京：社會科學(xué)文獻(xiàn)出版社，2006.

（責(zé)任編輯/亦 民）

Computer-Assisted Interviewing and Interviewers’Error Control

Ding Hua

（Institute of Social Science Survey,Beijing University,Beijing 100871,China）

The computer-assisted interviewing(CAI)mode can reduce the measurement error caused by interviewers to some extent through technical methods.Effective use of CAI technology to improve survey implementation and control measurement error caused by interviewers plays a key role in improving the survey quality.This paper discusses the interviewers’factors influencing measurement error in CAI mode,the methods of reducing errors related to interviewers,and measures of improving the data quality as well.

computer-assisted interviewing;interviewers’error;data quality

C811

A

1002-6487（2017）19-0036-04

教育部人文社會科學(xué)研究青年基金項目（13YJC840006）

丁 華（1979—），女，山東日照人，博士，副研究員，研究方向：社會調(diào)查研究方法。