COSMIN內(nèi)容效度評價指南解讀
——以移動健康信息搜索行為問卷為例

高云 趙俊峰 李豪 張嘉琪 徐麗麗 蔣俊玲

(1廣州醫(yī)科大學(xué)護(hù)理學(xué)院，廣東 廣州 510515；2河南省中醫(yī)院)

健康測量工具遴選標(biāo)準(zhǔn)(COSMIN)是通過對來自21個國家的158名專家進(jìn)行專家咨詢而達(dá)成共識的健康相關(guān)測量工具的遴選指南，指導(dǎo)評價者通過評價量表研究的方法學(xué)質(zhì)量及測量指標(biāo)的優(yōu)劣性對量表進(jìn)行評價，從而篩選出符合研究目的高質(zhì)量的量表〔1〕。在COSMIN指南中，內(nèi)容效度被認(rèn)為是最重要的測量特征〔2〕。只有內(nèi)容效度充分并且內(nèi)部一致性證據(jù)等級不低于“低”的量表才可以被推薦〔3〕。因此，考量量表的內(nèi)容效度是評價量表的重要環(huán)節(jié)。在網(wǎng)絡(luò)信息迅速發(fā)展的今天，越來越多的人可以通過網(wǎng)絡(luò)、手機(jī)APP、社交媒體搜索與健康有關(guān)的信息，進(jìn)行自我健康管理〔4〕。在獲取健康信息的過程中，網(wǎng)絡(luò)用戶需要對信息進(jìn)行瀏覽、查找、選擇和評價等一系列行為活動，這些行為活動稱為健康信息搜索行為〔5〕。它是電子健康素養(yǎng)的重要組成部分，能反映使用者能否正確獲取網(wǎng)絡(luò)健康信息〔4〕。因此，評估使用者的健康信息搜索行為，是構(gòu)建網(wǎng)絡(luò)健康資源，開展電子健康素養(yǎng)教育，指導(dǎo)用戶正確、合理獲取、使用網(wǎng)絡(luò)健康信息的重要保障。選擇合適的評估工具是評估健康信息搜索行為的前提。胡文奕〔5〕于2018年研發(fā)了移動健康信息搜索行為問卷，用于評估癌癥患者的健康信息搜索行為。而該研究的方法學(xué)質(zhì)量和內(nèi)容效度指標(biāo)如何，該量表適用于哪些人群目前尚無定論。本文采用COSMIN內(nèi)容效度評價手冊對健康信息搜索行為問卷進(jìn)行內(nèi)容效度的評價。

1 資料和方法

1.1評價方法 采用2018版的COSMIN內(nèi)容評價手冊〔2〕對健康信息搜索行為問卷進(jìn)行評價。

1.1.1COSMIN量表研發(fā)的研究質(zhì)量評價標(biāo)準(zhǔn)〔2〕包括兩部分共35個條目。條目1～13為“量表設(shè)計(jì)質(zhì)量評價標(biāo)準(zhǔn)(條目的產(chǎn)生)”，描述了量表總的設(shè)計(jì)要求和概念引出(即條目相關(guān)性和全面性)的評價標(biāo)準(zhǔn)；條目14～35為“認(rèn)知訪談研究質(zhì)量評價標(biāo)準(zhǔn)或測試新量表理解性和全面性的其他預(yù)試驗(yàn)(如調(diào)查)的評價標(biāo)準(zhǔn)”，描述了總的設(shè)計(jì)要求和條目理解性、全面性的評價指標(biāo)。評價結(jié)果分為非常好、充分、不確定、不充分4個等級。

1.1.2COSMIN量表內(nèi)容效度研究的質(zhì)量評價標(biāo)準(zhǔn)〔2〕包括5部分共31個條目，評價研究方法學(xué)質(zhì)量。第1部分至第2部分為詢問病人條目相關(guān)性(條目1～7)、全面性(條目8～14)和理解性(條目15～21)的研究質(zhì)量評價標(biāo)準(zhǔn)；第4、第5部分為詢問專家條目相關(guān)性(條目22～26)及全面性(條目27～31)的研究質(zhì)量評價標(biāo)準(zhǔn)。每一部分分別從研究設(shè)計(jì)(如采用質(zhì)性研究還是量性研究、樣本量、訪談?wù)呤欠裼薪?jīng)驗(yàn)、訪談話題或提綱是否恰當(dāng)、訪談是否錄音和轉(zhuǎn)錄)及數(shù)據(jù)分析過程(如分析數(shù)據(jù)的方法是否恰當(dāng)、是否有至少2名研究員參與分析)兩方面進(jìn)行評價。評價結(jié)果分為非常好、充分、不確定、不充分4個等級。

1.1.3COSMIN量表研發(fā)及內(nèi)容效度標(biāo)準(zhǔn)〔2〕分為量表研發(fā)標(biāo)準(zhǔn)及內(nèi)容效度標(biāo)準(zhǔn)，每個標(biāo)準(zhǔn)各8條。其中內(nèi)容效度標(biāo)準(zhǔn)中有5條需評價者完成。其中，標(biāo)準(zhǔn)1～5為量表?xiàng)l目與待測結(jié)構(gòu)“相關(guān)性”的標(biāo)準(zhǔn)，標(biāo)準(zhǔn)6為“全面性”標(biāo)準(zhǔn)，標(biāo)準(zhǔn)7～8為量表?xiàng)l目“理解性”的標(biāo)準(zhǔn)。

1.1.4COSMIN量表內(nèi)容效度評定指引〔2〕COSMIN給出了針對“優(yōu)秀量表研發(fā)及內(nèi)容效度標(biāo)準(zhǔn)”的方法指引，見表1、表2。指引描述了如何使用“優(yōu)秀量表研發(fā)及內(nèi)容效度標(biāo)準(zhǔn)”將每個研究中量表從相關(guān)性、理解性及全面性三方面進(jìn)行評價，結(jié)果分為+(充分)、-(不充分)、?(不確定)、±(不一致)。

1.1.5修訂版GRADE方法〔6〕該方法根據(jù)研究的偏倚風(fēng)險、量表研發(fā)或內(nèi)容效度評定結(jié)果的不一致、間接性(量表使用的群體是否與研發(fā)時的群體一致)對內(nèi)容效度的評定結(jié)果進(jìn)行證據(jù)等級的評定。首先考慮是否需要根據(jù)研究的偏倚風(fēng)險對證據(jù)等級進(jìn)行降級。根據(jù)基于偏倚風(fēng)險的質(zhì)量等級分級流程圖〔2〕，當(dāng)至少有一項(xiàng)內(nèi)容效度研究，且研究質(zhì)量為非常好或充分時，證據(jù)等級為高級；若至少有一項(xiàng)內(nèi)容效度研究，且研究質(zhì)量為不確定，則證據(jù)等級為中級(降1級)；若僅有研究質(zhì)量為不充分的效度研究或無效度研究，但量表研發(fā)質(zhì)量評為非常好或充分，證據(jù)等級亦為中級(降1級)；若僅有研究質(zhì)量為不充分的效度研究或無效度研究，且量表研發(fā)質(zhì)量評為不確定，則證據(jù)等級為低級(降2級)；若僅有研究質(zhì)量為不充分的效度研究或無效度研究，且量表研發(fā)質(zhì)量評為不充分，則證據(jù)等級為非常低(降3級)。其次考慮量表研究及內(nèi)容效度的評定結(jié)果是否一致考慮降級，最后考慮量表研究與使用人群是否一致，若不一致則考慮降級。

表1 量表內(nèi)容效度評定指引〔2〕

該表中的評價標(biāo)準(zhǔn)指“COSMIN優(yōu)秀量表研發(fā)及內(nèi)容效度標(biāo)準(zhǔn)”

表2 內(nèi)容效度總評指引〔2〕

1.2評價步驟〔2〕分三步。第一步，評價量表研發(fā)過程的方法學(xué)質(zhì)量。根據(jù)“量表研發(fā)的研究質(zhì)量評價標(biāo)準(zhǔn)”，見表3，將量表研發(fā)研究的方法學(xué)質(zhì)量評為非常好、充分、不確定或不充分。方法學(xué)質(zhì)量評價中總評結(jié)果根據(jù)“最低分原則”，將條目的最低分作為最終的總評價結(jié)果〔7〕。第二步，評價量表內(nèi)容效度的方法學(xué)質(zhì)量。根據(jù)“內(nèi)容效度研究的質(zhì)量評價標(biāo)準(zhǔn)”，見表4，評價量表的內(nèi)容效度研究的方法學(xué)質(zhì)量。第三步，評價量表的內(nèi)容效度優(yōu)劣。首先，對照COSMIN“優(yōu)秀量表研發(fā)及內(nèi)容效度標(biāo)準(zhǔn)”，見表5，對量表研發(fā)及內(nèi)容效度的相關(guān)性、理解性及全面性逐條進(jìn)行評定，每個條目分為+(充分)、-(不充分)、？(不確定)、±(不一致)，然后根據(jù)表1對量表研發(fā)或內(nèi)容效度的評定結(jié)果按照相關(guān)性、理解性、全面性進(jìn)行綜合，形成相關(guān)性評分、理解性評分及全面性評分；接著根據(jù)表2將相關(guān)性評分、理解性評分及全面性評分進(jìn)行匯總，形成總的內(nèi)容效度評分；最后，根據(jù)Grade 標(biāo)準(zhǔn)〔6〕對內(nèi)容效度評價結(jié)果給出證據(jù)等級。由2名評價者根據(jù)COSMIN的數(shù)據(jù)提取表分別對測量特征逐一提取，并分別進(jìn)行評價，結(jié)果不一致時請第3名評價者進(jìn)行討論。

1.3數(shù)據(jù)提取 根據(jù)COSMIN提供的“質(zhì)量評分表”(包括“量表研發(fā)質(zhì)量評分表”及“內(nèi)容效度質(zhì)量評分表”)由2名評價員分別獨(dú)立對數(shù)據(jù)進(jìn)行提取及核對。

2 結(jié) 果

2.1量表研發(fā)研究及內(nèi)容效度研究的方法學(xué)質(zhì)量評價結(jié)果 表3顯示，量表設(shè)計(jì)質(zhì)量評分為“不確定”；量表理解性及全面性評分均為“不確定”，因此，量表研發(fā)研究的方法學(xué)質(zhì)量評為“不確定”。 由于量表的內(nèi)容效度研究僅涉及了專家效度，因此，根據(jù)專家效度評價指標(biāo)進(jìn)行評價。表4 顯示，專家對量表?xiàng)l目的相關(guān)性及全面性評分均為“不確定”。

表3 移動信息搜索行為問卷研發(fā)研究質(zhì)量評價

2.2量表研發(fā)及內(nèi)容效度指標(biāo)評價結(jié)果及證據(jù)等級 表5列出了量表研發(fā)研究及內(nèi)容效度研究的每條評價標(biāo)準(zhǔn)的評價結(jié)果，表6為內(nèi)容效度總的評價結(jié)果及證據(jù)等級。由于量表內(nèi)容效度研究的方法學(xué)質(zhì)量評為不確定，內(nèi)容效度中相關(guān)性方面的評價結(jié)果未不一致，按照GRADE標(biāo)準(zhǔn)〔6〕，對證據(jù)等級降2級，因此量表內(nèi)容效度的評定結(jié)果的證據(jù)等級為低。

表4 量表內(nèi)容效度研究質(zhì)量評價

表5 COSMIN量表研發(fā)及內(nèi)容效度標(biāo)準(zhǔn)

表6 內(nèi)容效度評價總結(jié)果及評價結(jié)果的證據(jù)等級

3 討 論

3.1量表研發(fā)的方法學(xué)質(zhì)量評價 本研究顯示，根據(jù)COSMIN指南中量表研究總設(shè)計(jì)要求，待測的量表結(jié)構(gòu)要清晰。COSMIN指南指出，對量表內(nèi)容效度威脅最大的一個因素是量表的結(jié)構(gòu)與待測的目的或概念不匹配〔2〕。因此，要清楚描述量表的結(jié)構(gòu)，讓讀者判斷量表的結(jié)構(gòu)是否與測量目的相關(guān)。例如，對于疼痛評估量表，要清楚描述評估疼痛的哪些方面，如疼痛的嚴(yán)重程度、頻率及疼痛的困擾。這些結(jié)構(gòu)與評估疼痛的目的是密切相關(guān)的。本研究中“移動信息搜索行為問卷”滿足了上述要求。該問卷清楚描述了移動信息搜索行為包括信息搜索頻率、搜索意愿、搜索自我效能、信息評價四個維度〔4〕，可以看出這4個維度與“移動信息搜索行為”是密切相關(guān)的。此外，量表的結(jié)構(gòu)起源要求基于理論模型、概念框架或疾病模型等；要求量表的使用情境及目的人群均要清晰描述。本研究中“移動信息搜索行為問卷”的結(jié)構(gòu)是基于“威爾遜信息行為模型”〔4〕。使用情境是指該量表是用于診斷、評價還是區(qū)分；也可以指某個具體的環(huán)境，如社區(qū)、醫(yī)院等〔2〕。本研究中，作者描述了問卷是用于評價“移動信息搜索行為”，使用環(huán)境包括腫瘤醫(yī)院、院外患教會(患者健康教育組織)及網(wǎng)絡(luò)，目標(biāo)人群為“癌癥患者”〔4〕。因此，量表研發(fā)總設(shè)計(jì)要求評為“非常好”。在概念引出方面，本研究中移動信息搜索行為問卷確定條目時采用“半結(jié)構(gòu)訪談”，并對訪談進(jìn)行錄音和轉(zhuǎn)錄，采用“內(nèi)容分析法”進(jìn)行數(shù)據(jù)分析，并采用預(yù)調(diào)查對問卷進(jìn)行修訂，符合COSMIN指南的標(biāo)準(zhǔn)。但在訪談實(shí)施和數(shù)據(jù)分析細(xì)節(jié)仍有欠缺，如未闡述訪談人員是否有經(jīng)驗(yàn)。對于質(zhì)性研究，訪談人員的知識、背景對數(shù)據(jù)收集乃至數(shù)據(jù)分析影響很大〔8〕。如長期從事家庭暴力的質(zhì)性研究人員，對質(zhì)性研究經(jīng)驗(yàn)豐富，在數(shù)據(jù)收集方面優(yōu)勢豐富，并且很容易理解家暴受害者的經(jīng)歷，但另一方面，也會對數(shù)據(jù)分析產(chǎn)生一定的偏倚，如將家暴受害者的“嘆氣”理解為絕望。因此清晰交代訪談人員的資歷及背景有利于讀者了解研究者本身對研究產(chǎn)生的偏倚。此外，在研究中應(yīng)列出訪談提綱，讓讀者了解訪談內(nèi)容是否與研究問題相關(guān)。在數(shù)據(jù)分析階段，應(yīng)由兩名研究員分別進(jìn)行獨(dú)立編碼，以減少數(shù)據(jù)分析的偏倚〔9～11〕。在數(shù)據(jù)是否飽和的問題上，本研究的樣本僅提到數(shù)據(jù)飽和，但未給出數(shù)據(jù)飽和的證據(jù)。COSMIN指南推薦給出編碼表〔2〕，列出每個訪談的主題，通過編碼表一方面可體現(xiàn)無新主題出現(xiàn)的數(shù)據(jù)飽和的證據(jù)，還可以顯示質(zhì)性研究的整個“反復(fù)分析、對比”的過程。

在量表設(shè)計(jì)質(zhì)量方面，COSMIN推薦應(yīng)詢問量表使用人群是否能正確理解量表的條目、指令及選項(xiàng)，該過程成為認(rèn)知訪談。本研究中“移動信息搜索行為問卷”進(jìn)行了癌癥病人的認(rèn)知訪談，但未充分描述訪談的過程及數(shù)據(jù)分析的細(xì)節(jié)，因此研究質(zhì)量評為“不確定”，根據(jù)COSMIN的“最低分”原則〔2〕，量表研發(fā)方法學(xué)總體質(zhì)量評為“不確定”。在今后的研究中，應(yīng)在研究設(shè)計(jì)及論文中對以上問題加以考慮及闡述。

3.2內(nèi)容效度的方法學(xué)質(zhì)量評價 量表研發(fā)完成后，要進(jìn)行內(nèi)容效度的測量。COSMIN指南中，內(nèi)容效度可以通過問被試對象量表?xiàng)l目的相關(guān)性、理解性、全面性及問專家量表?xiàng)l目的相關(guān)性、全面性的兩種方法實(shí)現(xiàn)〔2〕。COSMIN指南推薦至少采用一種方法進(jìn)行內(nèi)容效度的評定。本研究中的“移動信息搜索行為問卷”采用的專家效度評判方法。本研究樣本采用了Delphi法對專家進(jìn)行調(diào)查，而未采用質(zhì)性研究方法，專家數(shù)量不足30名，專家的選取僅選取了護(hù)理專家，未闡述是否由2名研究者共同分析數(shù)據(jù)等問題，內(nèi)容效度的方法學(xué)只聯(lián)系評為“不確定”。在今后的研究中，應(yīng)借鑒COSMIN方法學(xué)質(zhì)量標(biāo)準(zhǔn)對研究進(jìn)行完善設(shè)計(jì)，論文撰寫中也應(yīng)體現(xiàn)以上細(xì)節(jié)，提高量表設(shè)計(jì)的方法學(xué)質(zhì)量。

3.3量表研究和內(nèi)容效度指標(biāo)的質(zhì)量 根據(jù)COSMIN指南，一個優(yōu)秀的量表，應(yīng)全面涵蓋待測的概念，無關(guān)鍵內(nèi)容的缺失〔2〕。本研究顯示，“移動信息搜索行為問卷”在研發(fā)過程中僅體現(xiàn)了被試對象對條目的理解性和相關(guān)性，對條目是否能反映待測概念的“全面性”證據(jù)不足。因此，將“全面性”評為不確定。而內(nèi)容效度研究中，專家對相關(guān)維度及條目予以補(bǔ)充，根據(jù)COSMIN指南，可以視為反映量表?xiàng)l目“全面性”的證據(jù)，因此，內(nèi)容效度評為充分；此外，該量表未設(shè)置“回憶時間”，在質(zhì)性研究中未體現(xiàn)對量表指令及應(yīng)答選項(xiàng)的理解。在今后的研究中，除了對量表?xiàng)l目的理解性描述外，還要注意對量表指令與應(yīng)答選項(xiàng)的理解，設(shè)置“回憶時間”；在質(zhì)性研究中體現(xiàn)量表內(nèi)容全面性描述。

3.4內(nèi)容效度評價結(jié)果的合成及質(zhì)量證據(jù)等級 雖然“移動信息搜索行為問卷”研發(fā)研究的相關(guān)性評為充分，但由于其未在受試對象中進(jìn)行內(nèi)容效度的研究，并且未設(shè)置回憶時間，因此，內(nèi)容效度的“相關(guān)性”最終結(jié)果評為不一致；全面性方面，雖然研發(fā)研究中為體現(xiàn)全面性的充足證據(jù)，但內(nèi)容效度研究中給出了充分體現(xiàn)“全面性”的證據(jù)，結(jié)合評價小組意見，量表全面性的最終評價結(jié)果為充分；理解性方面，量表研發(fā)研究及內(nèi)容效度研究均評為充分，因此，量表理解性的最終結(jié)果評為充分。本研究顯示，“移動信息搜索行為問卷”的證據(jù)等級為低。原因主要包括：①內(nèi)容效度研究的方法學(xué)質(zhì)量使證據(jù)等級降級。根據(jù)COSMIN指南〔6〕，內(nèi)容效度方法學(xué)質(zhì)量為非常好或充分時，證據(jù)等級為高，而有一項(xiàng)方法學(xué)質(zhì)量為“不確定”的內(nèi)容效度研究，證據(jù)等級應(yīng)降一級〔6〕；②內(nèi)容效度結(jié)果的不一致，“移動信息搜索行為問卷”僅在量表研發(fā)研究中進(jìn)行了被試對象的“認(rèn)知訪談”，而未在內(nèi)容效度階段問被試對象關(guān)于量表相關(guān)性的問題，因此內(nèi)容效度評為不一致。因此，證據(jù)質(zhì)量從高級降為低級〔6〕。在今后的研究中應(yīng)注重對被試對象訪談的內(nèi)容效度研究方法，訪談提綱應(yīng)充分體現(xiàn)被試對象對量表?xiàng)l目、指令及選項(xiàng)相關(guān)性、理解性和全面性的評估。設(shè)計(jì)問卷時，應(yīng)注意設(shè)置回憶時間；參照COSMIN指南，提高問卷研發(fā)及設(shè)計(jì)研究的質(zhì)量。

綜上所述，“移動信息搜索行為問卷”內(nèi)容效度的相關(guān)性為不一致，理解性和全面性為充分，證據(jù)等級低，該結(jié)論適用于癌癥患者。COSMIN從量表內(nèi)容的相關(guān)性、理解性、全面性評價量表研發(fā)及內(nèi)容效度。量表的結(jié)構(gòu)應(yīng)基于理論模型，采用質(zhì)性研究引出條目，在目標(biāo)人群中進(jìn)行認(rèn)知訪談，明確目標(biāo)人群對量表指令、條目、選項(xiàng)及回憶時間的理解性、全面性和相關(guān)性；推薦分別在目標(biāo)人群及專家中采用質(zhì)性研究的方法測試內(nèi)容效度。