認(rèn)知訪(fǎng)談是檢驗(yàn)和提高問(wèn)卷質(zhì)量的好方法

文/周雪 侯文軍

認(rèn)知訪(fǎng)談是一種驗(yàn)證問(wèn)卷質(zhì)量的方法。通過(guò)認(rèn)知訪(fǎng)談，可以發(fā)現(xiàn)被試在回答問(wèn)題的過(guò)程中遇到的問(wèn)題，從而發(fā)現(xiàn)導(dǎo)致這些問(wèn)題的問(wèn)卷設(shè)計(jì)缺陷。通過(guò)它還可以了解被試?yán)斫?、思考和回答?wèn)題的方式，以及在這個(gè)過(guò)程中有可能遇到的困難。通過(guò)比較被試處理問(wèn)題的方式和研究人員預(yù)想的處理方式的差別，可以?xún)?yōu)化各種使用提問(wèn)方式收集數(shù)據(jù)的研究方法中的問(wèn)題結(jié)構(gòu)和語(yǔ)詞使用，從而提高問(wèn)卷的信度和效度。

一、認(rèn)知訪(fǎng)談的概念

（一）認(rèn)知訪(fǎng)談的目標(biāo)。認(rèn)知訪(fǎng)談是一種測(cè)試前工具，用于發(fā)現(xiàn)在題目中存在的可能在問(wèn)題回答流程中造成錯(cuò)誤的缺陷。主要的目的是通過(guò)改寫(xiě)、刪除、更換問(wèn)題或只是改變問(wèn)題的順序來(lái)提升問(wèn)卷質(zhì)量。

（二）認(rèn)知訪(fǎng)談的主要方法。認(rèn)知訪(fǎng)談的方法主要有兩種，它們都有各自的優(yōu)缺點(diǎn)。值得注意的是，這兩種方法不是互斥的，它們?cè)跍y(cè)試匯總時(shí)經(jīng)常被同時(shí)使用。

出聲思維。使用出聲思維方法時(shí)，要求被試在回答問(wèn)題的過(guò)程中將想法用語(yǔ)言表述出來(lái)。訪(fǎng)談人員給被試讀出問(wèn)題然后用筆記或錄音將被試回答問(wèn)題的過(guò)程記錄下來(lái)。訪(fǎng)問(wèn)人員的主要工作是讓被試在整個(gè)訪(fǎng)談過(guò)程中進(jìn)行有聲思維。出聲思維可以在被試回答所有問(wèn)題之后進(jìn)行，也可以在被試回答問(wèn)題時(shí)同時(shí)進(jìn)行。

口頭調(diào)查。與出聲思維方法相比，口頭調(diào)查要求訪(fǎng)談人員更加主動(dòng)。近年來(lái)，口頭調(diào)查得到越來(lái)越多的關(guān)注，很多認(rèn)知研究人員認(rèn)為他比出聲思維方法更好。在口頭調(diào)查中，訪(fǎng)談人員向被試讀出題目或要求被試自己讀出題目。被試回答問(wèn)題之后，訪(fǎng)談人員接著問(wèn)一些更詳細(xì)的問(wèn)題 （探針問(wèn)題）來(lái)獲得更多的信息。這個(gè)方法同樣可以與回答問(wèn)題同時(shí)進(jìn)行或回答所有問(wèn)題之后進(jìn)行。

二、面向設(shè)計(jì)的用戶(hù)研究認(rèn)知訪(fǎng)談技術(shù)的運(yùn)用

（一）研究方法。研究人員招募了15個(gè)網(wǎng)絡(luò)購(gòu)物用戶(hù)，有兩名訪(fǎng)談人員參與了測(cè)試。

在給出測(cè)試的相關(guān)信息之后，研究人員要求被試回憶最近一次網(wǎng)絡(luò)購(gòu)物的經(jīng)歷，并根據(jù)這次經(jīng)歷回答問(wèn)卷中的問(wèn)題。為了使這個(gè)過(guò)程更容易，研究人員會(huì)向被試提出一些問(wèn)題，例如“是在哪個(gè)網(wǎng)站？” “買(mǎi)了哪些商品？” “花費(fèi)了多少錢(qián)？”等等。接著，研究人員將給出需要測(cè)試的問(wèn)卷，并要求被試在填寫(xiě)問(wèn)卷的時(shí)候進(jìn)行出聲思維。被試在填寫(xiě)問(wèn)卷時(shí)產(chǎn)生的每一個(gè)想法都要大聲說(shuō)出來(lái)。在被試回答每個(gè)問(wèn)題之后，訪(fǎng)談?wù)叨家獙?duì)被試進(jìn)行提問(wèn)，這包括事先設(shè)計(jì)好的標(biāo)準(zhǔn)問(wèn)題，也包括非標(biāo)準(zhǔn)的口頭調(diào)查問(wèn)題。在填完整個(gè)問(wèn)卷之后，訪(fǎng)談人員將向被試提出一些回顧式和總結(jié)式的問(wèn)題，要求被試對(duì)一些特定的詞匯進(jìn)行比較?？陬^調(diào)查的問(wèn)題則主要針對(duì)在回答問(wèn)題流程中的問(wèn)題的理解 （第一階段）和判斷 （第三階段）。研究人員用音頻記錄下訪(fǎng)談的過(guò)程并在訪(fǎng)談后轉(zhuǎn)譯成筆錄。每個(gè)訪(fǎng)談將持續(xù)20分鐘左右。

訪(fǎng)談分三輪進(jìn)行，每一輪有5個(gè)訪(fǎng)談。在每輪過(guò)后，訪(fǎng)談?wù)吆蛯?zhuān)家對(duì)這一輪的訪(fǎng)談進(jìn)行分析。在第一輪和第二輪之后，訪(fǎng)談人員都會(huì)根據(jù)訪(fǎng)談結(jié)果討論如何在未來(lái)的訪(fǎng)談里提高訪(fǎng)談技術(shù)和獲得更多信息，同時(shí)對(duì)問(wèn)題進(jìn)行添加或修改。在第三輪結(jié)束之后，研究人員將錄音文本根據(jù)問(wèn)題分段。

（二）實(shí)驗(yàn)結(jié)果和結(jié)論。雖然被試認(rèn)為“愿意一直使用”和“打算以后繼續(xù)使用”是有相似含義的，但他們覺(jué)得“愿意一直使用”表達(dá)了一種更強(qiáng)烈的意愿。更重要的是，一些被試提出了時(shí)間的觀點(diǎn): “愿意一直使用”是持續(xù)性的，表示在未來(lái)的很長(zhǎng)一段時(shí)間持續(xù)使用；而“打算以后繼續(xù)使用”是間斷性的，表示在以后的某個(gè)時(shí)間點(diǎn)可能會(huì)使用。訪(fǎng)談還發(fā)現(xiàn)，被試對(duì)問(wèn)題“在網(wǎng)上購(gòu)物之前我會(huì)收集好商品的信息，然后明確購(gòu)物行為”的理解的側(cè)重點(diǎn)不同，一些被試回答的是“我會(huì)收集商品的信息”，另一些回答的是“我會(huì)明確購(gòu)物行為”。一個(gè)被試提到: “我會(huì)在購(gòu)物之前收集商品信息，但是在購(gòu)物過(guò)程中還是會(huì)被廣告或推薦所吸引而轉(zhuǎn)向其他商品”。

最后，我們根據(jù)實(shí)驗(yàn)結(jié)果對(duì)問(wèn)卷進(jìn)行了修改。其中，問(wèn)題“在網(wǎng)上購(gòu)物之前我會(huì)收集好商品的信息，然后明確購(gòu)物行為”被簡(jiǎn)化為“我會(huì)在網(wǎng)絡(luò)購(gòu)物之前明確購(gòu)物行為”因?yàn)橘?gòu)物行為才是這個(gè)問(wèn)題在設(shè)計(jì)時(shí)想要表達(dá)的重點(diǎn)。而兩個(gè)信度檢驗(yàn)問(wèn)題“我愿意一直使用網(wǎng)絡(luò)購(gòu)物”和“我打算繼續(xù)使用網(wǎng)絡(luò)購(gòu)物網(wǎng)站”，只當(dāng)?shù)谝粋€(gè)問(wèn)題的答案為正向，第二個(gè)問(wèn)題為負(fù)向時(shí)，才認(rèn)為兩個(gè)問(wèn)題的答題結(jié)果沖突。

認(rèn)知訪(fǎng)談是一種可以用來(lái)評(píng)價(jià)和優(yōu)化問(wèn)卷的定性的方法。本文中的實(shí)例證明這種方法可以發(fā)現(xiàn)并消除問(wèn)卷中潛在的漏洞。問(wèn)卷的缺陷通常來(lái)自于被試處理問(wèn)題的方法與問(wèn)卷設(shè)計(jì)者的假設(shè)不一致。研究問(wèn)題回答流程可以提升這種一致性，并因此提高測(cè)試的信度和效度。認(rèn)知訪(fǎng)談方法應(yīng)該成為問(wèn)卷開(kāi)發(fā)流程中不可缺少的一部分。它是對(duì)定量研究方法的一種重要的補(bǔ)充。認(rèn)知訪(fǎng)談可以使用在問(wèn)卷創(chuàng)建的初期。在本文所舉實(shí)例中，認(rèn)識(shí)訪(fǎng)談是在定量研究之后用于驗(yàn)證假設(shè)的。接下來(lái)的工作應(yīng)該是驗(yàn)證是否認(rèn)知訪(fǎng)談之后的修改起到了預(yù)期的作用。