曾愛民
(浙江工商大學(xué)財務(wù)與會計學(xué)院浙江杭州310018)
如何提高會計調(diào)查研究質(zhì)量:一個效度分析的視角
曾愛民
(浙江工商大學(xué)財務(wù)與會計學(xué)院浙江杭州310018)
調(diào)查研究是我國會計研究中最早使用的實證研究方法,但如何提高調(diào)查研究質(zhì)量卻一直并沒有得到應(yīng)有的重視。本文從調(diào)查數(shù)據(jù)的設(shè)計效度(內(nèi)部效度)和外部效度兩個方面,系統(tǒng)而深入的探討了如何評價和獲取同時具有良好的內(nèi)部效度和外部效度的高質(zhì)量調(diào)研數(shù)據(jù)的相關(guān)理論,在此基礎(chǔ)上結(jié)合我國調(diào)查研究現(xiàn)實存在的各類問題提出了相應(yīng)的應(yīng)對措施,以期為提高我國會計調(diào)查研究質(zhì)量提供參考。
調(diào)查研究質(zhì)量設(shè)計效度外部效度
調(diào)查研究法是我國會計研究中最早使用的實證研究(P o s i t i v e r e s e a r c h)方法。由于調(diào)查研究便于大范圍的了解有關(guān)社會公眾或組織管理者的觀點和態(tài)度,獲取組織內(nèi)部會計決策和運行控制等方面的重要信息,而這些都是資本市場數(shù)據(jù)庫所無法提供的,因而調(diào)查研究法在我國會計研究的某些領(lǐng)域,如管理會計、會計準則制定、會計教育和會計人才市場需求等,中一直發(fā)揮著不可替代的作用(傅元略、曾愛民,2009)。雖然調(diào)查研究法在獲取數(shù)據(jù)方面具有特殊地位,但所收集到的數(shù)據(jù)的可靠度和可信性常常受到懷疑(徐政旦等,2002;Y o u n g,1996;楊雄勝,1997)。由于研究質(zhì)量的高低直接受制于數(shù)據(jù)質(zhì)量的高低,因而對數(shù)據(jù)的懷疑難免使得調(diào)查的準確性、統(tǒng)計分析結(jié)論的科學(xué)性乃至研究成果的質(zhì)量都受到影響和質(zhì)疑。要提高調(diào)查研究的質(zhì)量,必須提高調(diào)查研究所收集數(shù)據(jù)的質(zhì)量,而這關(guān)鍵在于提高調(diào)查研究的信度(R e l i a b i l i t y)和效度(V a l i d i t y)。然而在我國的會計調(diào)查研究中,絕大多數(shù)研究者并不注意問卷設(shè)計的效度和問卷測量信度的評估。從1988年到2007年共73篇使用調(diào)查研究法的實證研究文章分析發(fā)現(xiàn),進行信度分析的文章僅5篇占6.8%,而進行效度分析的只有3篇占4.1%,而沒對數(shù)據(jù)信度和效度展開應(yīng)有分析的文章比率高達93%。相比之下,國際一流學(xué)術(shù)期刊發(fā)表同類的論文,必須要有信度和效度檢驗??梢?,我國的會計調(diào)查研究中的信度和效度問題還沒有引起研究者足夠的重視,從而這類文章的研究結(jié)論難免會受到一定的質(zhì)疑。一般講,信度(R e l i a b i l i t y)是指測量結(jié)果的一致性和可靠性。在調(diào)查研究中,信度則反映調(diào)查對象回應(yīng)的可信程度。效度(V a l i d i t y)通常是指測量結(jié)果的正確程度,即測量結(jié)果與試圖測量的目標之間的接近程度。在調(diào)查研究中,效度是指調(diào)查工具能夠在多大程度上反映它所測量的理論概念。信度和效度是調(diào)查工具的兩個基本特征。對調(diào)查工具而言,效度是其首要條件,信度是效度的基本和必要條件,如果數(shù)據(jù)信度差,就談不上效度,但信度高未必效度就高。有效的問卷必是可信的問卷,但可信的問卷未必是有效的問卷。所以研究者更應(yīng)該重點關(guān)注調(diào)查工具的效度(李懷祖,1999),同時考慮到文章篇幅問題,故而本文僅重點研討效度分析。
(一)調(diào)查工具效度的類型效度是指測量工具或手段能夠準確測出所需測量的事物的程度。可分為四種類型:表面效度(F a c e v a l i d i t y)、內(nèi)容效度(C o n t e n t v a l i d i t y)、準則效度(C r i t e r i o n v a l i d i t y)和構(gòu)念效度(C o n s t r u c t v a l i d i t y)。對不同效度進行分析需采用不同方法,其測量結(jié)果亦反映效度的不同方面。(1)表面效度。表面效度是指從外表看來一種測量工具測量了其所想要測量的事物的程度。就調(diào)查研究而言,指從表面看,調(diào)查問卷或訪談表能否測量研究者想了解的問題。如一張調(diào)查企業(yè)財務(wù)控制情況的問卷,從表面上看它應(yīng)該是一張測量財務(wù)控制情況而不是內(nèi)部控制或其他東西的調(diào)查問卷,否則缺乏表面效度。所以這是一個依靠專家評價的主觀指標,每份調(diào)查工具設(shè)計過程中都應(yīng)邀請有關(guān)專家對其表面效度等進行評估。(2)內(nèi)容效度。內(nèi)容效度是指調(diào)查工具能在多大程度上覆蓋研究目的或意欲測量的事物所包含的各個方面(要素)。如對企業(yè)的財務(wù)控制情況進行調(diào)查,則調(diào)查問卷的內(nèi)容效度是指問卷調(diào)查是否覆蓋了財務(wù)控制系統(tǒng)的人員控制、過程控制和結(jié)果控制等各個方面,如有遺漏或多余則說明該問卷缺乏內(nèi)容效度。類似于表面效度,它也是一個主觀判斷的指標。一般由研究者或?qū)<以u判所選題項是否“看起來”符合調(diào)查的目的和要求。并可在預(yù)測試之后,運用統(tǒng)計分析作進一步判斷,主要采用單項與總和相關(guān)分析法獲得評價結(jié)果,即計算每個題項得分與題項總分的相關(guān)系數(shù),根據(jù)相關(guān)是否顯著判斷題項的取舍。(3)準則效度。準則效度又稱為效標效度。準則效度分析是根據(jù)已經(jīng)得到確定的某種理論,選擇一種指標或測量工具作為準則(效標),分析調(diào)查問卷題項與準則的聯(lián)系,若二者相關(guān)顯著,則為有效的題項。評價方法是采用相關(guān)分析或差異顯著性檢驗。但對很多會計調(diào)查而言,選擇一個合適的準則可能十分困難,使這種效度評價方法的應(yīng)用受到一定限制。(4)構(gòu)念效度。構(gòu)念效度最為復(fù)雜,它關(guān)心的是測量工具和構(gòu)念的符合程度。這里的構(gòu)念(C o n s t r u c t)源自一個心理學(xué)的理論概念,是指心理學(xué)理論所涉及之抽象而屬假設(shè)性的概念、特質(zhì)或變項,如智力、焦慮、成就動機等。絕大多數(shù)心理測量都涉及到這種理論化的概念,也就是構(gòu)念。會計研究中也會遇到此類的構(gòu)念,如情感忠誠、感知任務(wù)依賴、知識共享(鄭梅蓮、寶貢敏,2007),成本協(xié)同管理認同度(傅元略、屈耀輝,2008)等。這些構(gòu)念的構(gòu)成往往會包括許多不同方面,所以對每一個構(gòu)念的調(diào)查均需設(shè)計多個問項,以全面測試該構(gòu)念的各個方面。但如果這些設(shè)計的問項并不能恰當(dāng)合理的反應(yīng)研究者所意欲測量的各個構(gòu)念,即量表的構(gòu)念效度缺失。在這種情況下運用該量表所獲取的調(diào)查數(shù)據(jù)對該研究而言自然沒有任何實際意義,所以構(gòu)念效度分析的重要性不言而喻,這也正是為什么很多研究在不報告其他效度分析的情況下卻特意報告構(gòu)念效度檢驗的原因了。
(二)問卷調(diào)查測度如在同一調(diào)查問卷中涉及到多個不同的構(gòu)念,如鄭梅蓮和寶貢敏(2007)的研究共涉及6個構(gòu)念,采用了34個問項進行測度。顯然,在調(diào)查問卷設(shè)計時,這34個問項就已經(jīng)依據(jù)有關(guān)的理論或借鑒已有的成熟量表被歸結(jié)到了6個模塊,每個模塊對應(yīng)一個構(gòu)念,這稱為設(shè)計結(jié)構(gòu)。而利用該問卷展開調(diào)查后所實際獲取的數(shù)據(jù)本身具有一定的潛結(jié)構(gòu),也就是說,可以通過數(shù)學(xué)方法,依據(jù)調(diào)查數(shù)據(jù),將原始問題歸納成幾個模塊,可形成一個統(tǒng)計結(jié)構(gòu)。則統(tǒng)計結(jié)構(gòu)與設(shè)計結(jié)構(gòu)吻合的程度就體現(xiàn)為調(diào)查問卷的構(gòu)念效度。對構(gòu)念效度進行分析所采用的方法是因子分析中的驗證性因子分析(C o n f i r m a t o r y F a c t o r A n a l y s i s,C F A)?,F(xiàn)有的因子分析方法包括探索性因子分析(E x p l o r a t o r y F a c t o r A n a l y s i s,E F A)和驗證性因子分析(C F A)兩種。像鄭梅蓮和寶貢敏(2007)的研究那樣,當(dāng)研究人員根據(jù)某些理論或者其他的先驗知識已經(jīng)對構(gòu)念的個數(shù)和結(jié)構(gòu)做出了假設(shè),即已經(jīng)提出了一個設(shè)計結(jié)構(gòu),而后利用因子分析所得出的統(tǒng)計結(jié)構(gòu)來檢驗這個假設(shè)(設(shè)計結(jié)構(gòu)),根據(jù)統(tǒng)計結(jié)構(gòu)和設(shè)計結(jié)構(gòu)的吻合程度評價該調(diào)查問卷的構(gòu)念效度,此時就是驗證性因子分析(C F A)。若在事先不知道影響因素的基礎(chǔ)上,完全依據(jù)調(diào)查研究所獲取的資料數(shù)據(jù),利用統(tǒng)計軟件以一定的原則進行因子分析,最后得出因子(構(gòu)念)的個數(shù)和結(jié)構(gòu),即利用因子分析來確定構(gòu)念的維數(shù),此時稱之為探索性因子分析(E F A)。顯然,對調(diào)查工具進行構(gòu)念效度分析應(yīng)采用驗證性因子分析,但在我國的會計調(diào)查研究中卻有不少研究者仍采用探索性因子分析進行調(diào)查工具設(shè)計的構(gòu)念效度檢驗,因而其研究成果的可信性和科學(xué)性不得而知。如前所述,但探索性因子分析在調(diào)查研究中并非不需要或不重要。在缺乏已有理論為指導(dǎo),也沒有先驗的調(diào)查工具(量表)可借鑒,構(gòu)念(因子)數(shù)量和結(jié)構(gòu)均不明確的情況下進行研究時,則可利用探索性因子分析創(chuàng)設(shè)調(diào)查工具(量表)。通過對預(yù)量表進行探索性因子分析,對表達意義含混的題項進行刪除,意義相近的題項合并,并通過因子載荷結(jié)合專業(yè)知識來推斷數(shù)據(jù)的構(gòu)念(因子)結(jié)構(gòu),進而優(yōu)化所創(chuàng)設(shè)的量表。當(dāng)量表初步創(chuàng)設(shè)成功之后,可利用該量表進行預(yù)測試,并利用所得數(shù)據(jù)進行驗證性因子分析,以檢查探索性因子分析所構(gòu)建的量表的構(gòu)念效度。如此反復(fù),便可得出較高質(zhì)量的調(diào)查量表。所以在量表創(chuàng)建過程中,初期可利用探索性因子分析構(gòu)建構(gòu)念,后期利用驗證性因子分析檢驗其構(gòu)念效度,以構(gòu)建出具有較高構(gòu)念效度的量表,獲取較高質(zhì)量的調(diào)研數(shù)據(jù),進而提高調(diào)查研究的質(zhì)量。綜上所述,對構(gòu)念效度的分析大致可以分兩種情況:在存在先驗理論或成熟量表的情況下,利用驗證性因子分析直接評價其構(gòu)念效度;在缺乏已有理論指導(dǎo)或成熟量表的情況下,利用探索性因子分析構(gòu)建量表,并利用驗證性因子分析評價其構(gòu)念效度。全面考慮表面效度、內(nèi)容效度、準則效度和構(gòu)念效度后可知,欲提高調(diào)查工具各方面的效度,我們可在創(chuàng)設(shè)調(diào)查工具的過程中按以下步驟進行操作:當(dāng)根據(jù)相關(guān)理論或借鑒國外的某些成熟量表將調(diào)查量表的初稿設(shè)計成功后,應(yīng)邀請幾位該領(lǐng)域的專家、教授以及課題組的同仁對問卷或訪談表的內(nèi)容與字句做審慎而深入的探討,并對量表中的每一個問題或問項進行評價,求出每個問項的內(nèi)容效度系數(shù)(A i k e n,1980,1985),并根據(jù)內(nèi)容效度系數(shù)的顯著性水平確定問項的取舍,以確保調(diào)查問卷或訪談表的表面效度和內(nèi)容效度。為了進一步保證調(diào)查工具的準則效度和構(gòu)念效度,在調(diào)查工具正式形成之前,應(yīng)當(dāng)對調(diào)查工具進行小范圍的預(yù)測試,并對試測結(jié)果進行信度和效度分析,根據(jù)分析結(jié)果進一步篩選調(diào)查工具題項,調(diào)整結(jié)構(gòu),從而提高調(diào)查工具的信度和效度,為獲取高質(zhì)量的調(diào)查數(shù)據(jù)提供可能,為進行高質(zhì)量的調(diào)查研究創(chuàng)造必要的條件。據(jù)傅元略和曾愛民(2009)研究發(fā)現(xiàn),在他們所統(tǒng)計的樣本文章中進行效度分析的僅占4.1%,且都只介紹和分析了構(gòu)念效度。這種與國際一流刊物詳細分析問卷效度的做法格格不入的現(xiàn)象可能是由于我國研究者缺乏相應(yīng)的思想認識,也可能是缺乏相應(yīng)的理論認識,更可能二者兼而有之。
(一)抽樣調(diào)查與數(shù)據(jù)的外部效度前文所探討的調(diào)查工具的設(shè)計效度是一種內(nèi)部效度,即調(diào)查工具能對研究者所意欲測量的變量進行準確測量的程度。但調(diào)查研究絕大多數(shù)都是采用抽樣調(diào)查的方式進行的,即從總體中抽取樣本,然后對樣本進行調(diào)查收集定性或定量的有關(guān)數(shù)據(jù)。如前所述,如果研究者使用的量表具有較高的內(nèi)部效度,則可以通過該量表準確的獲取調(diào)查樣本有關(guān)方面的數(shù)據(jù)。但調(diào)查研究并不是僅僅針對樣本而進行的,需要通過對樣本調(diào)查獲取有關(guān)總體的各項數(shù)據(jù),進而對總體展開分析和研究。根據(jù)統(tǒng)計知識可知,一個代表性的樣本(R e p r e s e n t a t i v e s a m p l e)應(yīng)該是總體的一個縮影,樣本各種平均性的指標應(yīng)該與總體相應(yīng)的指標十分接近。這樣,通過研究總體的一個樣本,得到的卻不僅僅是樣本的情況,而是滲透在、折射在、體現(xiàn)在樣本中的總體的情況,從而方可順利地實現(xiàn)調(diào)研目的。但通過樣本所獲取的數(shù)據(jù)能否代表總體,是否具有可推廣性(G e n e r a l i z a b i l i t y)則涉及到調(diào)查研究的另一個效度——調(diào)研數(shù)據(jù)的外部效度。調(diào)研數(shù)據(jù)的外部效度是指通過調(diào)查樣本所獲取的數(shù)據(jù)在不同的個體和不同的情境中的可推廣程度。如果調(diào)查所獲取的數(shù)據(jù)可推廣性強,則說明外部效度好;否則,說明該調(diào)查缺乏外部效度。缺乏外部效度的調(diào)查數(shù)據(jù)必然是低質(zhì)量的數(shù)據(jù),使用低質(zhì)量的數(shù)據(jù)即便進行高深莫測的數(shù)學(xué)統(tǒng)計和模型建構(gòu),也必然是繡花枕頭,中看不中用。即使花費再多的人力、物力、時間,結(jié)果也是徒勞無功。最經(jīng)典的例子是1936年,美國著名的《文學(xué)摘要》雜志社為了預(yù)測總統(tǒng)候選人羅斯福與蘭登兩人誰能當(dāng)選,他們按電話簿上的地址和俱樂部成員名單上的地址發(fā)出1000萬封調(diào)查信,回收240多萬封。在統(tǒng)計史上,這是少有的樣本容量。花費了大量的人力、物力和財力,《文學(xué)摘要》深信自己的統(tǒng)計結(jié)果,即蘭登將以57%對43%的比例獲勝,并且進行了大張旗鼓的宣傳。但最后結(jié)果卻是羅斯福以62%對38%的巨大優(yōu)勢獲勝!這次調(diào)查斷送了這家原本頗有名氣的雜志社的前程,不久便關(guān)門???。那么,是什么原因造成了這次調(diào)查研究的失敗呢?后來經(jīng)過統(tǒng)計學(xué)家的分析,總結(jié)出預(yù)測失敗的原因主要是,抽樣方法不公平,樣本不具有代表性,從而由樣本所獲取的調(diào)查數(shù)據(jù)缺乏外部效度,不具有可推廣性。因為樣本不是從總體(全體美國公民)之中隨機抽取的。1936年,美國有私人電話和能參加俱樂部的家庭都是比較富裕的,只從富人家庭抽取樣本,嚴重偏離了總體,所抽取的樣本僅能代表小部分選民的意見。而事實上,1929年至1933年的世界經(jīng)濟危機使美國經(jīng)濟遭到沉重打擊,時任總統(tǒng)的羅斯福實施的“羅斯福新政”,動用行政手段干預(yù)經(jīng)濟,由自由資本主義轉(zhuǎn)為施行國家壟斷資本主義經(jīng)濟政策,這難免損害了部分富人的利益,所以羅斯福在富人的選票中百分率較低就在情理之中。但廣大的美國人民從中得到了好處,因此羅斯福贏得了大多數(shù)選民的支持又是必然結(jié)果。從這件歷史事件可知,調(diào)查數(shù)據(jù)的質(zhì)量直接決定了調(diào)查研究的質(zhì)量;而調(diào)查樣本的代表性則直接決定了調(diào)查數(shù)據(jù)的外部效度。為了更清楚的理解調(diào)查數(shù)據(jù)的外部效度如何決定于調(diào)查樣本的代表性,我們可根據(jù)調(diào)查研究的數(shù)據(jù)收集過程來做一個全面的考察,具體如(圖1)所示。由(圖1)可知,調(diào)研數(shù)據(jù)的獲取是一個根據(jù)目標總體獲取相應(yīng)的調(diào)查總體(抽樣框),再從調(diào)查總體抽取調(diào)查樣本,最后從有效樣本獲得有關(guān)數(shù)據(jù)的過程。顯然,當(dāng)樣本缺乏代表性,調(diào)查結(jié)果(樣本數(shù)據(jù))與事實(總體數(shù)據(jù))出現(xiàn)差異,便產(chǎn)生了調(diào)查誤差(S u r v e y e r r o r)。調(diào)查數(shù)據(jù)的外部效度與調(diào)查誤差成反比關(guān)系。調(diào)查誤差主要包括:抽樣誤差(S a m p l i n g e r r o r)和非抽樣誤差(N o n-s a m p l i n g e r r o r)。其中非抽樣誤差可以歸為三種類型:抽樣框誤差(F r a m e e r r o r)、無回應(yīng)誤差(N o n-r e s p o n s e e r r o r)和計量誤差(M e a s u r e m e n t e r r o r)(J u d i t h T.L e s s l e r&Wi l l i a mD.K a l s b e e k,1992;D i l l m a n,2000)。所以,調(diào)查數(shù)據(jù)的外部效度與調(diào)查誤差存在以下關(guān)系:
可見,抽樣誤差和非抽樣誤差只要有一方或者雙方同時增大,就會使得調(diào)查數(shù)據(jù)的外部效度下降,因而減少抽樣誤差和各類非抽樣誤差成為提高調(diào)查數(shù)據(jù)外部效度的關(guān)鍵所在。
(二)調(diào)查數(shù)據(jù)外部效度的影響因素分析由(圖1)和公式(1)可知,調(diào)查數(shù)據(jù)的外部效度直接受制于調(diào)查研究過程中所產(chǎn)生的各類誤差,為進一步理解各類誤差影響數(shù)據(jù)外部效度的作用機制,以便能在今后的研究工作中有效的采取各項措施,以減少各類誤差提高調(diào)研數(shù)據(jù)的外部效度,下面按圖1中的順序?qū)Ω黝愓`差逐一展開分析。
(1)總體與覆蓋誤差??傮w是調(diào)查研究者希望推廣其研究結(jié)論于其中的全體要素的集合(D i a m o n d,2000),也即調(diào)查數(shù)據(jù)是否具有可推廣性(外部效度)的推廣對象。根據(jù)其在調(diào)查研究中的地位和作用不同,我們又可從兩個層次上對總體做進一步的考察如(圖1)。一個層次是目標總體,目標總體(T a r g e t p o p u l a t i o n)是研究者意欲研究的全體回應(yīng)者(R e s p o n d e n t s)的集合。這一層次的總體只是種概念上的定義,如家族企業(yè)的財務(wù)總監(jiān);另一層次則為調(diào)查總體,而調(diào)查總體(S u r v e y p o p u l a t i o n)則是研究者所能獲得的用于實際抽樣的全體回應(yīng)者集合。在這個層次上,總體不再是一種概念上的定義,而應(yīng)是一份具有可操作性的名單,包括目標總體中合格的(E l i g i b l e),可確認的(I d e n t i f i a b l e)并能聯(lián)系上的個體。如一份浙江省家族企業(yè)財務(wù)總監(jiān)的名單。如果調(diào)查總體與目標總體的覆蓋范圍不一致,則會產(chǎn)生所謂的覆蓋誤差(C o v e r a g e e r r o r)。覆蓋誤差包括覆蓋不足誤差(U n d e r c o v e r a g e e r r o r)和覆蓋過度誤差(O v e r c o v e r a g e e r r o r)兩種類型。其中覆蓋不足誤差是指調(diào)查總體因為不完全而小于目標總體所產(chǎn)生了偏差。造成偏差的原因,即調(diào)查總體小于目標總體就被稱為覆蓋不足或丟失目標總體單元(L e s s l e r&K a l s b e e k,1992)。這樣的話調(diào)查總體就沒有窮盡目標總體,一些單元從而成為遺漏單元或缺失單元(M i s s i n g e l e m e n t s)。這種誤差是覆蓋誤差中最嚴重的問題,因為無法從樣本或調(diào)查總體中發(fā)現(xiàn)丟失單元所造成的誤差。與此相反,調(diào)查總體包含非目標總體單元則稱為覆蓋過度(O v e r c o v e r a g e)。這時調(diào)查總體不是小于目標總體,而是包含目標總體所不包含的單元。這種偏差的影響很大,但是潛在威脅卻通常會小一些。因為可以在調(diào)查中辨認出非目標元素并把它們剔除。我們可以用進一步的例子來加深對覆蓋誤差的理解。如前所述,所謂覆蓋過度是指調(diào)查總體大于目標總體,比如,在進行以家族企業(yè)財務(wù)總監(jiān)為目標總體的調(diào)查時,調(diào)查總體包括了國有企業(yè)的財務(wù)總監(jiān);而覆蓋不足則指調(diào)查總體小于目標總體,比如,沒能包括浙江省外其它地區(qū)家族企業(yè)財務(wù)總監(jiān),則研究結(jié)論難免產(chǎn)生偏差。雖然目標總體確定為“家族企業(yè)財務(wù)總監(jiān)”,但實際調(diào)查僅限于“浙江省家族企業(yè)財務(wù)總監(jiān)”,則調(diào)查研究結(jié)論自然難以在全國(其他省的)財務(wù)總監(jiān)中推廣,可見覆蓋誤差是一種系統(tǒng)性偏差(S y s t e m a t i c b i a s),直接決定了調(diào)查總體對目標總體的代表性,也就直接決定了調(diào)查數(shù)據(jù)由調(diào)查總體向目標總體的可推廣性,也在很大程度上決定了調(diào)查數(shù)據(jù)的外部效度。為了減少覆蓋誤差,提高調(diào)查數(shù)據(jù)的外部效度,應(yīng)保證目標總體與調(diào)查總體之間的一致性(D i a m o n d,2000)。據(jù)傅元略和曾愛民(2009)研究發(fā)現(xiàn),在他們所統(tǒng)計的73篇樣本文章中僅1篇明確地報告了目標總體。對于沒有報告目標總體的研究而言,其目標總體只能是抽樣所采用的調(diào)查總體(D i a m o n d,2000)。5篇(6.9%)文章報告或部分報告了調(diào)查總體,絕大部分研究均沒有報告調(diào)查總體,因而此時的調(diào)查總體也就是調(diào)查樣本。在這種目標總體縮小為調(diào)查總體,調(diào)查總體再一步縮小為調(diào)查樣本的情況下,調(diào)查數(shù)據(jù)的外部效度自然嚴重缺乏,其研究結(jié)論的科學(xué)性和適用性也大為降低。
(2)調(diào)查樣本與兩類抽樣相關(guān)誤差。樣本是總體的一個子集,如果樣本是總體的一個代表,則對樣本為真的命題在可計算的誤差邊際內(nèi)對總體也為真(S a p s f o r d,1999),這時的調(diào)研數(shù)據(jù)也具有良好的外部效度。如(圖1)所示,樣本又可進一步細分為調(diào)查樣本和有效樣本。其中采用一定的抽樣方法從調(diào)查總體中抽取,作為調(diào)查對象的個體的集合稱為調(diào)查樣本,如采用問卷調(diào)查方式中的全體問卷發(fā)放對象;但由于種種原因,發(fā)放的問卷并非全部能夠收回,即便收回的問卷也未必全部有效,因而我們真正用于代表總體進行研究分析的僅是由有效問卷的回答者所組成的有效樣本。從調(diào)查總體中抽取調(diào)查樣本可能會存在兩類誤差(圖1)。其一是抽樣誤差,是由于從調(diào)查總體中隨機抽取調(diào)查樣本所引起,因而它是一種隨機誤差。只要總體中個體差異存在,則抽樣誤差不可避免,但可以事先計算并加以控制的,只要選定了抽樣方法,就能根據(jù)相應(yīng)的公式計算出誤差值的大?。恢灰诮?jīng)費許可的范圍內(nèi),增大樣本規(guī)模、改變抽樣方法就能對之實現(xiàn)有效的控制。其二是抽樣系統(tǒng)誤差,仍是由從調(diào)查總體中進行抽樣所引起的,但其主要源于有偏誤的抽樣方法,如采用方便抽樣(C o n v e n i e n c e s a m p l e)和自愿回應(yīng)樣本(V o l u n t e e r s a m p l e)等。由于主觀因素破壞了隨機原則,導(dǎo)致樣本系統(tǒng)性偏離總體,故而導(dǎo)致調(diào)研數(shù)據(jù)的外部效度嚴重受損。糾正的方法是采用隨機抽樣(R a n d o ms a m p l i n g)。在傅元略和曾愛民(2009)所統(tǒng)計的樣本文章中,明確指出采用概率抽樣方法的文章僅為8.7%,采用非概率抽樣方法的比例為30.5%,概率與非概率抽樣相結(jié)合的比例為4.3%,而對抽樣方式未予說明的達56.5%。可見在抽樣方法的選取上,我國的調(diào)查研究亦未能保證樣本的代表性,故而調(diào)查數(shù)據(jù)的外部效度亦無法保障,研究的理論價值和實用價值難免令人質(zhì)疑。
(3)有效樣本與無回應(yīng)誤差。由(圖1)可知,研究者雖然可以通過科學(xué)的抽樣設(shè)計,從總體中抽取具有代表性的調(diào)查樣本,然而,調(diào)查樣本的代表性并不能最終反映調(diào)查結(jié)果的代表性。因為調(diào)查樣本對總體的代表性僅是一種調(diào)查開始之前的衡量指標。在進行調(diào)查的過程中,會有許多因素導(dǎo)致抽樣樣本中部分個體的缺失或失效(無回應(yīng)),使得最終的有效樣本只是調(diào)查樣本的一部分(圖1)。且“無回應(yīng)者(N o n-r e s p o n d e n t s)通常與回應(yīng)者有著相當(dāng)?shù)牟顒e”(N a c h m i a s&N a c h m i a s,2000)。如在某一次調(diào)查研究中,調(diào)查樣本包括100家公司,其中上市公司80家,非上市公司20家,共發(fā)出100份問卷,每家公司1份,回收60份(全部來源于上市公司,一種比較極端的情況),回應(yīng)率為60%。那么,這次調(diào)查所獲取的數(shù)據(jù)能推廣到調(diào)查樣本,進而推廣到目標總體嗎?顯然不能!因為無回應(yīng)者(或回應(yīng)者)與整個樣本之間存在著系統(tǒng)性偏差,這就是所謂的無回應(yīng)誤差(N o n-r e s p o n s e b i a s)。很明顯,當(dāng)無回應(yīng)誤差較大時,調(diào)查數(shù)據(jù)的外部效度就會受到明顯的影響和破壞。因而調(diào)查回應(yīng)率(R e s p o n s e r a t e)的高低則成為影響調(diào)查數(shù)據(jù)外部效度的另一關(guān)鍵指標。調(diào)查回應(yīng)率是成功完成調(diào)查的被調(diào)查者數(shù)量與實際調(diào)查的被調(diào)查者數(shù)量的比值,它通常包括自填式問卷調(diào)查中的問卷回收率、結(jié)構(gòu)式訪問調(diào)查和電話調(diào)查中的訪問回答率。由于低回應(yīng)率(如低于20%)的樣本更有可能存在回應(yīng)者的自選擇(S e l f-s e l e c t i o n)問題,因而低回應(yīng)率往往是與高無回應(yīng)誤差相伴相依的??梢姡瑸榻档蜔o回應(yīng)誤差則應(yīng)提高調(diào)查研究的回應(yīng)率水平。當(dāng)一項調(diào)查研究能從其有代表性的樣本獲得高回應(yīng)率時,則無回應(yīng)誤差一般會相應(yīng)降低,但并不是說一定會降低。仍以上例說明,若回收問卷增至80份(亦全部來源于上市公司,為了從理論上說明問題的一種極端性假設(shè)),則回應(yīng)率提高到了80%,但其無回應(yīng)誤差卻并沒因此而降低,無回應(yīng)者與回應(yīng)者仍存在著同樣的系統(tǒng)性偏誤。那么為了獲得良好外部效度的調(diào)查數(shù)據(jù),需要多高的回應(yīng)率才能有效的將無回應(yīng)誤差降低至可接受的水平呢?對此,D i a m o n d(2000)指出75%-90%之間的回應(yīng)率通??梢缘贸隹煽康慕Y(jié)論,但研究者應(yīng)對樣本的代表性進行檢查(即進行無回應(yīng)誤差分析)。V a n d e r S t e d e等人(2007)也提出了類似的要求,認為當(dāng)回應(yīng)率低于80%的時候,期望避免所有潛在來源的無回應(yīng)誤差是不切實際的(U n r e a s o n a b l e)。因而一般情況下,研究者都需進行無回應(yīng)誤差分析以正確判斷有效樣本對目標總體的代表性。如果存在明顯的無回應(yīng)誤差時,研究者應(yīng)該采取相應(yīng)的補救措施,如進一步聯(lián)系無回應(yīng)者,或者采用相應(yīng)的替代程序等,以降低無回應(yīng)誤差,增強有效樣本的代表性,進而提高調(diào)查研究數(shù)據(jù)的外部效度。據(jù)傅元略和曾愛民(2009)研究發(fā)現(xiàn),目前在國內(nèi)的會計調(diào)查研究中,對無回應(yīng)及相關(guān)偏差重視得尚且非常不夠。73篇樣本文章僅有2篇進行了無回應(yīng)分析,這進一步證明了我國調(diào)查研究數(shù)據(jù)外部效度嚴重缺失。
古扎拉蒂(2004)曾指出“研究結(jié)果不能比數(shù)據(jù)的質(zhì)量更好”。資料處理上一個十分著名的理論“G a r b a g e i n,g a r b a g e o u t(G I G O)”,指的其實也是同樣的道理:輸入(電腦當(dāng)中)的是垃圾(指低質(zhì)量的數(shù)據(jù)),則輸出來的(分析結(jié)果)必定也是垃圾。所以要想提高我國調(diào)查研究的質(zhì)量必須首先提高調(diào)查數(shù)據(jù)的質(zhì)量。本文從調(diào)查數(shù)據(jù)的設(shè)計效度(內(nèi)部效度)和外部效度兩個方面,系統(tǒng)而深入的探討了如何評價和獲取同時具有良好的內(nèi)部效度和外部效度的高質(zhì)量調(diào)研數(shù)據(jù)的相關(guān)理論,并在此基礎(chǔ)上結(jié)合我國調(diào)查研究現(xiàn)實存在的各類問題提出了相應(yīng)的應(yīng)對措施,以期能為提高我國會計調(diào)查研究質(zhì)量指引方向。
[1]劉玉廷:《關(guān)于會計研究方法問題》,《會計研究》2000年第12期。
[2]古扎拉蒂著,林少宮譯:《計量經(jīng)濟學(xué)》,中國人民大學(xué)出版社2004年版。
[3]徐國君:《實證會計研究的特征分析》,《會計研究》1991年第6期。
[4]肖澤忠:《實證會計研究的過程》,《會計研究》1993年第6期。
[5]李懷祖:《管理研究方法論》,西安交通大學(xué)出版社1999年版。
[6]D i a m o n d,S.S.R e f e r e n c e G u i d e o nS u r v e y R e s e a r c h.I n:R e f e r e n c e M a n u a l o nS c i e n t i f i c E v i d e n c e.2n dE d i t i o n.Wa s h i n g t o n,D C: T h e F e d e r a l J u d i c i a l C e n t e r,2000.
[7]D i l l m a n,D o n A.M a i l a n d I n t e r n e t S u r v e y s:T h e T a i l o r e d D e s i g n M e t h o d,N e wY o r k:J o h n Wi l e y&S o n s,2000.
[8]F r a n k f o r t-N a c h m i a s C.&D.N a c h m i a s.R e s e a r c h M e t h o d s i n t h e S o c i a l S c i e n c e s,Wo r t h P u b l i s h e r s a n d S T.M a r t i n’s P r e s s,1999.
[9]J u d i t h T.L e s s l e r a n d Wi l l i a mD.K a l s b e e k.N o n s a m p l i n g E r r o r I n S u r v e y s,N e wY o r k:J o h n Wi l e y a n d S o n s,1992.
[10]M a n g i o n e.T.W.M a i l S u r v e y s:I m p r o v i n g t h e Q u a l i t y.B e v e r l y H i l l s,C A:S a g e P u b l i c a t i o n s,1995.
[11]S a p s f o r d,R.S u r v e y R e s e a r c h.T h o u s a n d O a k s,C A:S a g e P u b l i c a t i o n s,1999.
[12]Wi mA.V a nd e r S t e d e,S.M a r kY o u n g a n dC l a r a X i a o l i n g C h e n.D o i n g M a n a g e m e n t A c c o u n t i n g S u r v e y R e s e a r c h.I n:H a n d b o o ko f M a n a g e m e n t A c c o u n t i n g R e s e a r c h,2007.
(編輯 聶慧麗)
曾愛民(1971-),男,湖南永州人,浙江工商大學(xué)財務(wù)與會計學(xué)院講師