商業(yè)調(diào)查中非抽樣誤差來(lái)源及控制研究

王愛(ài)珍 時(shí) 濤

[摘 要] 商業(yè)調(diào)查大部分都是抽樣調(diào)查,調(diào)查過(guò)程中天然存在的抽樣誤差和調(diào)查執(zhí)行中的非抽樣誤差是影響數(shù)據(jù)質(zhì)量的兩大誤差類型。確定合理的抽樣方案后,調(diào)查數(shù)據(jù)質(zhì)量控制的重點(diǎn)就放在了減少非抽樣誤差上。本文即針對(duì)抽樣調(diào)查兩大誤差類型展開(kāi)分析討論,重點(diǎn)分析非抽樣誤差來(lái)源,并發(fā)掘其有效控制的可行性方法。

[關(guān)鍵詞] 商業(yè)調(diào)查 非抽樣誤差 質(zhì)量控制

一、引子

隨著世界經(jīng)濟(jì)的快速發(fā)展,調(diào)查行業(yè)異軍突起,調(diào)查企業(yè)不斷壯大,調(diào)查營(yíng)業(yè)額連年攀升。面對(duì)日益復(fù)雜的國(guó)內(nèi)外環(huán)境,企業(yè)對(duì)調(diào)查數(shù)據(jù)的質(zhì)量要求在不斷提高。而商業(yè)調(diào)查大部分都是抽樣調(diào)查,調(diào)查過(guò)程中天然存在的抽樣誤差和調(diào)查執(zhí)行中的非抽樣誤差是影響數(shù)據(jù)質(zhì)量的兩大誤差類型。

在商業(yè)調(diào)查的質(zhì)量管理實(shí)踐中,通過(guò)組織專家評(píng)審會(huì)的方式不斷完善抽樣方案,盡可能地減少抽樣誤差。其抽樣方案經(jīng)過(guò)專家的評(píng)價(jià)審核,確定了合理的抽樣方案后,其質(zhì)量控制的重點(diǎn)就放在了減少非抽樣誤差上。本文即針對(duì)抽樣調(diào)查兩大誤差類型展開(kāi)分析討論,重點(diǎn)分析非抽樣誤差來(lái)源,并發(fā)掘其有效控制的可行性方法。

二、商業(yè)調(diào)查誤差分類

由于商業(yè)調(diào)查大部分是抽樣調(diào)查,而抽樣調(diào)查一定存在抽樣誤差。因此,要商業(yè)調(diào)查的誤差,必須了解誤差的分類。調(diào)查誤差分為兩種類型:抽樣誤差(Sampling Error)和非抽樣誤差(Non-sampling Error。

1.抽樣誤差(Sampling Error)

抽樣誤差是由于用樣本估計(jì)總體而產(chǎn)生的誤差,它可以通過(guò)增大樣本量來(lái)減小誤差,但不可避免。樣本只是總體的一部分,用局部數(shù)據(jù)來(lái)估計(jì)總體不可能完全正確。對(duì)任何一種抽樣方案,可能的樣本會(huì)很多,而實(shí)際抽到的只是一個(gè)樣本,因此抽到那一個(gè)樣本完全是隨機(jī)的、偶然的。抽樣誤差是一種系統(tǒng)誤差,其大小依賴于抽樣方案,任何一種抽樣方案一旦確定,由抽樣方法本身導(dǎo)致的誤差就已經(jīng)確定了。在電視收視率調(diào)查的質(zhì)量管理實(shí)踐中,通過(guò)組織專家評(píng)審會(huì)的方式不斷完善抽樣方案,盡可能地減少抽樣誤差。其抽樣方案經(jīng)過(guò)專家的評(píng)價(jià)審核,確定了合理的抽樣方案后,其質(zhì)量控制的重點(diǎn)就放在了減少非抽樣誤差上。

2.非抽樣誤差(Non-sampling Error)

非抽樣誤差包括了除抽樣誤差外,引起調(diào)查誤差的所有其他因素,不可以通過(guò)增大樣本量來(lái)控制,它可以避免。非抽樣誤差包括:抽樣框誤差;無(wú)回答誤差;計(jì)量誤差。

通常認(rèn)為非抽樣誤差的發(fā)生完全是由于調(diào)查程序設(shè)計(jì)和執(zhí)行中的錯(cuò)誤和不足引起的。因此,從理論上說(shuō),完美的設(shè)計(jì)和完美的執(zhí)行將完全避免非抽樣誤差。但從實(shí)踐看,我們永遠(yuǎn)也不可能完全消除設(shè)計(jì)和執(zhí)行過(guò)程中的問(wèn)題。這種理論上的完美可能性和實(shí)際情況之間的差異,決定了我們?cè)诳刂品浅闃诱`差上的努力永遠(yuǎn)沒(méi)有止步的一天。

三、商業(yè)調(diào)查中非抽樣誤差來(lái)源例解分析

商業(yè)調(diào)查中的非抽樣誤差按其產(chǎn)生的原因可分為以下三類:抽樣框誤差、無(wú)回答誤差、計(jì)量誤差。

1.抽樣框誤差

抽樣框誤差是指目標(biāo)總體(Target Population)和抽樣總體(Sampling Population)不一致而產(chǎn)生的誤差。理想的抽樣框應(yīng)是所有的抽樣單位必須覆蓋目標(biāo)總體,即抽樣總體與目標(biāo)總體一致。對(duì)于較為簡(jiǎn)單的單階段抽樣,抽樣框要唯一地與目標(biāo)總體相連接。如果目標(biāo)總體與抽樣總體不一致就會(huì)產(chǎn)生抽樣框誤差。多階段的分層抽樣更是如此,如果每個(gè)分層抽樣的抽樣框是正確的,其精度會(huì)高于簡(jiǎn)單的單階段抽樣;反之,則誤差會(huì)更大。

一般來(lái)說(shuō),抽樣框誤差有以下幾種類型:

(1)不能覆蓋目標(biāo)總體單位。不能覆蓋目標(biāo)總體單位,指目標(biāo)總體單位全部或部分沒(méi)有出現(xiàn)在抽樣總體中,導(dǎo)致部分目標(biāo)總體被抽中的概率為零,數(shù)據(jù)丟失。例如:在某城市的抽樣方案,目標(biāo)總體同上。由于該城市進(jìn)行行政區(qū)劃的改變,原來(lái)的四個(gè)城區(qū)與近郊區(qū)重新規(guī)劃,整合為五個(gè)新的城區(qū)。在收集抽樣框資料時(shí),如果收集的資料僅為四個(gè)城區(qū)的資料,未包括后列入的近郊區(qū),就會(huì)形成抽樣框的不完整,造成數(shù)據(jù)的偏差和丟失。

(2)抽樣總體包括了非目標(biāo)總體單位或抽樣框部分重復(fù)。這與第一種情況恰恰相反,是指有一部分不應(yīng)被收集入抽樣框的資料,被錯(cuò)誤地列入被抽樣之列,導(dǎo)致目標(biāo)總體被夸大,或者抽樣框中有一部分以不同形式出現(xiàn)然而實(shí)際是重復(fù)的樣框,導(dǎo)致這部分樣框被抽中的概率增大,引起數(shù)據(jù)偏差。例如:一個(gè)城市中地域相鄰的幾個(gè)城區(qū)各自辟出工業(yè)相對(duì)發(fā)達(dá)的一部分來(lái)成立一個(gè)新的經(jīng)濟(jì)技術(shù)開(kāi)發(fā)區(qū),在收集資料時(shí)將原有的城區(qū)與新的經(jīng)濟(jì)開(kāi)發(fā)區(qū)的資料一起收集并列抽樣,則會(huì)引起包含在經(jīng)濟(jì)技術(shù)開(kāi)發(fā)區(qū)中的居(村)委會(huì)的重復(fù)抽選,樣本在這部分工業(yè)相對(duì)發(fā)達(dá)的居(村)委會(huì)的比例嚴(yán)重?cái)U(kuò)大,這必然引起最終收視率數(shù)據(jù)的偏差。

(3)抽樣框老化。統(tǒng)計(jì)數(shù)據(jù)調(diào)查具有很強(qiáng)的時(shí)效性,隨著時(shí)間的推移,抽樣框必須更新,否則就會(huì)老化,不符合實(shí)際情況而使抽樣不準(zhǔn)確。最典型的例子,就是隨著城市建設(shè)的大規(guī)模展開(kāi),許多地區(qū)已經(jīng)被改造。例如:目前隨著商品房的成片開(kāi)發(fā),大批的商品化住宅小區(qū)出現(xiàn),許多家庭不只有一處住房,出現(xiàn)了大量諸如人員住在本小區(qū),戶籍卻在其他地方,或戶籍在本小區(qū),人員居住卻在其他小區(qū)的情況。

(4)分層抽樣時(shí)各層的輔助信息不正確。這種情況在簡(jiǎn)單隨機(jī)抽樣中不存在,但在分層抽樣中卻是出現(xiàn)抽樣框誤差的一種重要來(lái)源。由于我國(guó)各地區(qū)政治、經(jīng)濟(jì)和文化的發(fā)展不平衡,各地電視觀眾的構(gòu)成和收視偏好差異巨大。影響觀眾收視行為的因素既有宏觀因素,也有微觀因素。因此,在進(jìn)行基礎(chǔ)研究階段抽樣方案設(shè)計(jì)時(shí)我們既要綜合考慮人口、社會(huì)、經(jīng)濟(jì)、地理等宏觀因素,又要關(guān)注收視設(shè)備擁有及頻道接收情況、家庭特征、觀眾個(gè)人特征等微觀因素。

總之,建立一個(gè)準(zhǔn)確、及時(shí)的抽樣框,是減少非抽樣誤差的一個(gè)重要方面。在實(shí)踐中,完美的抽樣框幾乎無(wú)法達(dá)到,有缺陷的抽樣框并非不能使用,關(guān)鍵看造成抽樣精度的損失和彌補(bǔ)樣框的成本之間的比較和權(quán)衡。

2.無(wú)回答誤差

所謂的無(wú)回答誤差是指數(shù)據(jù)的丟失,其原因有兩種:一是有意不回答,即被訪者拒絕就某一問(wèn)題給予回答;二是無(wú)意不回答,即可能是被訪者不在家或是訪問(wèn)員疏忽,導(dǎo)致數(shù)據(jù)遺漏。無(wú)回答誤差最常見(jiàn)的有以下幾種:

(1)抽樣遺漏。抽樣遺漏是指抽樣過(guò)程中沒(méi)有抽到一些本應(yīng)調(diào)查的抽樣單位。這種誤差的產(chǎn)生來(lái)源不同于前述的抽樣框誤差,但產(chǎn)生的結(jié)果類似,甚至更為嚴(yán)重。因?yàn)槌闃舆^(guò)程中產(chǎn)生的遺漏最可能是因?yàn)槁┑袅四骋活愄卣魅?而這類特征群的缺失會(huì)使調(diào)查結(jié)果出現(xiàn)無(wú)法調(diào)整的偏差。例如:在基礎(chǔ)研究階段,訪問(wèn)員如果只固定在晚間某個(gè)時(shí)段拜訪被抽中的樣戶,很可能就無(wú)法與一些工作時(shí)間主要在晚間該時(shí)段的家庭戶取得聯(lián)系。數(shù)次拜訪不成后,該樣戶可能被放棄,而另選其他替代樣戶。這樣就有可能在無(wú)意間缺失了該類特征群的收視調(diào)查數(shù)據(jù)。

(2)無(wú)法查找或聯(lián)系不上

一般情況下,這種誤差來(lái)源主要是由于抽樣框中的地址不確切、發(fā)生了變化或者被訪者家中無(wú)人(如外出旅游、生病住院等特殊情況)造成的無(wú)法接觸的情況。如果這種誤差是隨機(jī)地、均勻地發(fā)生的,盡管增大了誤差范圍,但對(duì)最終結(jié)果的威脅并不大。但如果這種情況集中發(fā)生在某一類特征群中,就會(huì)產(chǎn)生嚴(yán)重的系統(tǒng)性偏差。

(3)被訪者拒訪

這是最容易理解的一種無(wú)回答誤差,也是最能體現(xiàn)訪問(wèn)員個(gè)人技巧和調(diào)查公司現(xiàn)場(chǎng)業(yè)務(wù)能力的方面。據(jù)訪率高,響應(yīng)率就低,抽取樣本的誤差就會(huì)增大。因此這種類型的無(wú)回答誤差是調(diào)查公司在現(xiàn)場(chǎng)質(zhì)量控制方面致力提高的關(guān)鍵點(diǎn)。在我國(guó)的市場(chǎng)調(diào)查活動(dòng)中,產(chǎn)生這種無(wú)回答誤差的最主要原因與其他國(guó)家還有著顯著的不同——調(diào)查組織者的身份會(huì)在很大程度上左右被調(diào)查者的回答意愿。對(duì)于國(guó)家正式統(tǒng)計(jì)部門組織的調(diào)查,如居民住戶、人口情況等調(diào)查,很少有無(wú)回答的問(wèn)題。這與我們國(guó)家計(jì)劃經(jīng)濟(jì)改為市場(chǎng)經(jīng)濟(jì)的時(shí)間較短有莫大關(guān)系,也與統(tǒng)計(jì)部門組織調(diào)查的權(quán)威性有密切關(guān)系。而在一些非官方的民間調(diào)查中,無(wú)回答情況則頻繁出現(xiàn)。

3.計(jì)量誤差

計(jì)量誤差是所有非抽樣誤差中可能出現(xiàn)的環(huán)節(jié)最多,也最難以避免的一種誤差形式。按其產(chǎn)生原因可大致分為三類:調(diào)查方式設(shè)計(jì)產(chǎn)生的計(jì)量誤差,調(diào)查執(zhí)行過(guò)程中產(chǎn)生的計(jì)量誤差,其他計(jì)量誤差。

(1)調(diào)查方式設(shè)計(jì)產(chǎn)生的計(jì)量誤差,主要有以下兩種:①問(wèn)卷設(shè)計(jì)產(chǎn)生的誤差:主要是由于不同措辭的不同表達(dá)造成了不同的理解。例如文字當(dāng)中使用了帶有傾向性或誘導(dǎo)性的詞匯,本身使人產(chǎn)生歧義;或者問(wèn)卷當(dāng)中問(wèn)題的排列順序不科學(xué);或者問(wèn)卷過(guò)長(zhǎng)導(dǎo)致訪問(wèn)疲勞產(chǎn)生等原因造成的誤差。②數(shù)據(jù)收集方式設(shè)計(jì)產(chǎn)生的誤差:例如媒介調(diào)研數(shù)據(jù)采集方法中的日記卡法,以15分鐘為一個(gè)計(jì)量時(shí)段,在向樣戶發(fā)放的日記卡中,一個(gè)時(shí)段由19∶00標(biāo)志,時(shí)間是連續(xù)不斷的,這個(gè)標(biāo)志既是上一個(gè)時(shí)段的結(jié)束又是下一個(gè)時(shí)段的開(kāi)始。事實(shí)上這個(gè)時(shí)間標(biāo)示的是19∶00∶00—19∶14∶59。這樣的標(biāo)志有些含糊,如果不在日記卡中作相應(yīng)的解釋性說(shuō)明,并由訪問(wèn)員專門向樣戶著重強(qiáng)調(diào),很可能導(dǎo)致樣戶理解錯(cuò)誤,從而造成計(jì)量誤差。

(2)調(diào)查執(zhí)行過(guò)程產(chǎn)生的誤差,是計(jì)量誤差的一個(gè)重要組成部分,主要來(lái)自于兩個(gè)方面:①是訪問(wèn)員有意或無(wú)意導(dǎo)致數(shù)據(jù)失真。②是被訪者有意或無(wú)意導(dǎo)致數(shù)據(jù)失真。產(chǎn)生這個(gè)問(wèn)題的主要原因是理解錯(cuò)誤或記憶錯(cuò)誤,這個(gè)問(wèn)題也是任何一個(gè)從事市場(chǎng)調(diào)研公司致力解決的重要問(wèn)題,在AGB質(zhì)量管理實(shí)踐中,主要通過(guò)連續(xù)、全面的培訓(xùn)和復(fù)核工作加以控制。

(3)其他計(jì)量誤差:常見(jiàn)的類型有隨機(jī)數(shù)表的編制和使用不當(dāng)造成的誤差;數(shù)據(jù)處理過(guò)程中(包括編碼、錄入)發(fā)生的誤差,等等。這些誤差都可以通過(guò)比較有效的質(zhì)量控制加以限制,相關(guān)管理措施將在本文的第四章加以詳細(xì)論述。

總之,商業(yè)調(diào)查作為一種市場(chǎng)數(shù)據(jù)調(diào)查,其產(chǎn)品的無(wú)形性、不可追溯性和差異性,決定了對(duì)其實(shí)施的質(zhì)量控制本質(zhì)上就是對(duì)調(diào)查誤差的控制。

三、結(jié)束語(yǔ)

在科技不斷快速發(fā)展的今天,作為商業(yè)調(diào)查分析人員,我們應(yīng)不斷適應(yīng)社會(huì)發(fā)展,發(fā)展調(diào)查的新技術(shù)新手段,不斷商業(yè)調(diào)查數(shù)據(jù)質(zhì)量,不斷深化對(duì)基礎(chǔ)研究資料的分析和利用,對(duì)調(diào)研數(shù)據(jù)的具有針對(duì)性地解釋說(shuō)明,更充分地滿足市場(chǎng)的需求。

參考文獻(xiàn):

[1]馮士雍等編著:抽樣調(diào)查理論與方法.中國(guó)統(tǒng)計(jì)出版社,1998年

[2]劉燕南編著:電視收視率解析—調(diào)查、分析與應(yīng)用.中國(guó)傳媒大學(xué)出版社,2000年

[3]AGB媒介調(diào)研訪問(wèn)員培訓(xùn)手冊(cè),2007年