文獻(xiàn)證據(jù)檢索的信度研究：基于循證視角*

盧潔妤 魏志鵬 周文杰，3 楊克虎

（1.西北師范大學(xué)商學(xué)院 甘肅蘭州 730070）

（2.蘭州大學(xué)基礎(chǔ)醫(yī)學(xué)院循證醫(yī)學(xué)中心 甘肅蘭州 730000）

（3.蘭州大學(xué)循證社會科學(xué)研究中心 甘肅蘭州 730000）

獲得穩(wěn)定、可靠的原始研究證據(jù)，是基于元分析而有效整合研究結(jié)果的基礎(chǔ)，也是展開系統(tǒng)評價和證據(jù)轉(zhuǎn)化的關(guān)鍵。從測量的角度看，信度是衡量指標(biāo)可靠性和一致性的基本工具。對于文獻(xiàn)證據(jù)的檢索而言，信度可用于衡量檢索的穩(wěn)定性、可靠性和一致性。

將文獻(xiàn)證據(jù)檢索進(jìn)行信度評估，對保障系統(tǒng)評價和元分析的質(zhì)量具有極其重要的理論與實(shí)踐意義。這是因?yàn)橹挥形墨I(xiàn)檢索獲得可靠的原始證據(jù)，系統(tǒng)評價和元分析才能據(jù)此產(chǎn)出更高質(zhì)量的證據(jù)整合產(chǎn)品。同時，只有文獻(xiàn)檢索獲得穩(wěn)定一致的原始證據(jù)，系統(tǒng)評價和元分析所獲得的證據(jù)整合結(jié)果才能保證其可信度?；谶@一科學(xué)問題，本文以中文文獻(xiàn)最大數(shù)據(jù)庫CNKI 為對象，通過對社會科學(xué)領(lǐng)域特定的研究議題相關(guān)原始學(xué)術(shù)文獻(xiàn)的系統(tǒng)性檢索與分析，著眼于信度評價的基本理念和指標(biāo)，對不同途徑的文獻(xiàn)證據(jù)檢索質(zhì)量做出檢索效率評價，以期為循證社會科學(xué)領(lǐng)域的循證研究質(zhì)量評價提供理論支撐。

1 研究回顧與理論基礎(chǔ)

1.1 相關(guān)研究回顧

1.1.1 文獻(xiàn)檢索質(zhì)量評價系統(tǒng)評價（systematic review）是對一組特定的文獻(xiàn)綜述特性加以有效整合的研究， 通常用來綜合文獻(xiàn)證據(jù)。文獻(xiàn)檢索是系統(tǒng)評價活動的基礎(chǔ)工作，也涵蓋了系統(tǒng)評價的大部分工作環(huán)節(jié)，且檢索的目標(biāo)是搜集到所有與研究主題相關(guān)的文章。 研究者所檢索到的文獻(xiàn)證據(jù)旨在幫助研究者產(chǎn)生關(guān)于證據(jù)的中立陳述，盡量避免偏倚。 因此，對文獻(xiàn)證據(jù)的信度加以研究，以確定應(yīng)該如何應(yīng)對處理不同檢索方式之間的差異，從而增加文獻(xiàn)檢索的透明度，就需要在檢索過程中針對不同檢索方式，對所檢索到文獻(xiàn)內(nèi)含證據(jù)的質(zhì)量及其可靠性進(jìn)行評價。

查全率和查準(zhǔn)率是評價文獻(xiàn)檢索質(zhì)量的兩種主要傳統(tǒng)指標(biāo)。查全率（recall ratio）是指檢索到的相關(guān)文獻(xiàn)在所有應(yīng)該檢索到的文件集合中的比率。但是，由于“所有文獻(xiàn)”事實(shí)上常常不可得，因此，查全率的分母無法預(yù)知， 這往往只是一個虛構(gòu)的值； 查準(zhǔn)率（precision ratio）是指所檢索到的文獻(xiàn)中，被判斷為相關(guān)文獻(xiàn)的比值。查準(zhǔn)率衡量了文獻(xiàn)檢索達(dá)到飽和時，查找到相關(guān)文獻(xiàn)的概率。 查準(zhǔn)率和查全率呈現(xiàn)了反比關(guān)系。如當(dāng)研究者查找到集合中所有的文獻(xiàn)時，這也意味著其中就有大量的不相關(guān)文獻(xiàn)，提高了查全率但降低查準(zhǔn)率。 相反，當(dāng)文獻(xiàn)檢索變的精確時，就會丟失大量的不相關(guān)文獻(xiàn)，降低了查全率。

Mann提出研究者需要追求更加精確的檢索結(jié)果，因?yàn)檠芯空咂谕麨g覽較少的文獻(xiàn)，在判斷相關(guān)度過程中也能減少工作量。然而，系統(tǒng)評價的特點(diǎn)就是要追求較高的“查全率”，因?yàn)楸疚难芯繘]有辦法確定，所定位的檢索主題是否可以代表現(xiàn)有的全部研究。最好的解決辦法就是盡可能全面的去檢索，避免漏掉規(guī)范檢索之外的重要文章，確保習(xí)慣性的檢索渠道不會使結(jié)果產(chǎn)生偏倚。 因此，本文所使用數(shù)據(jù)集，延續(xù)了前序關(guān)于飽和度展開的研究，使用滾雪球、檢索方式迭代等多種方法，盡可能窮盡檢索與研究主題“社會認(rèn)識論”相關(guān)的文獻(xiàn)。

1.2.2 元分析的異質(zhì)性

納入元分析的研究可能在多方面存在差異，如人群、干預(yù)措施的變化、評估結(jié)果的量表選擇等。 進(jìn)行元分析的第一步就是確定效應(yīng)量在所研究的樣本中的變化，如果效應(yīng)量在所有研究中的變化一致，則關(guān)注其平均值，相反如果效應(yīng)量在不同的研究中存在實(shí)質(zhì)性的變化，就會產(chǎn)生異質(zhì)性。

當(dāng)系統(tǒng)評價中所包含的研究數(shù)量較少時，會導(dǎo)致異質(zhì)性的統(tǒng)計(jì)數(shù)據(jù)（如方差、標(biāo)準(zhǔn)差、預(yù)測區(qū)間、I）不可靠。 異質(zhì)性的問題也會因研究領(lǐng)域的不同而不同，如Cooper 描述當(dāng)采用同一種方法研究同一人群時，評估的是具有一致效果的干預(yù)措施的影響，這種情況下異質(zhì)性就會很小。 相反，當(dāng)研究采用不同方法、不同人群、評估不同的干預(yù)影響，研究中的異質(zhì)性就會增強(qiáng)。 元分析的意義就是要將結(jié)論推廣到更大的領(lǐng)域，但是如果研究樣本較少，所有的異質(zhì)性統(tǒng)計(jì)數(shù)據(jù)就會不可靠，尤其是預(yù)測區(qū)間，那么結(jié)論在更寬泛的領(lǐng)域中就會不適用。因此，需要仔細(xì)思考結(jié)論在未來需要推廣的領(lǐng)域，考慮本文研究中的樣本數(shù)可以在多大程度上代表此結(jié)論。

如果在元分析中沒有檢驗(yàn)出異質(zhì)性的問題，可能會導(dǎo)致將明顯不同的人群、結(jié)果、環(huán)境和時間歸為一類。 但是Gene Glass 認(rèn)為，如果出現(xiàn)這樣的情況，可以概括出他們更高一層的共有特征，這樣就可以概括出不同人群、環(huán)境等出現(xiàn)的同一結(jié)論。因此在這種情況下，可以適當(dāng)忽略他們的單一特征，尋找共同的平均效應(yīng)量，從而解釋本文研究可以觀察到的方差及效應(yīng)量。另外，Deeks 等提出一種解決異質(zhì)性的方法：“exclude studies”，一般來說將某些研究排除在外會導(dǎo)致偏倚，但作者認(rèn)為可以排除一些與本文研究主題不太相關(guān)的研究，前提是要解釋清楚這些不相關(guān)的原因，并且排除之后不會干擾研究目標(biāo)。后續(xù)需要主要針對數(shù)據(jù)集中高度相關(guān)文獻(xiàn)和中度相關(guān)文獻(xiàn)做出信度分析，以減少異質(zhì)性。

1.1.3 系統(tǒng)評價中的偏倚

系統(tǒng)評價的目的是通過綜合幾個研究結(jié)果，總結(jié)有關(guān)具體問題的最佳研究。在系統(tǒng)評價的過程中，始終使用透明公開的程序來發(fā)現(xiàn)、評價、得出結(jié)論，以盡量避免偏倚。但文獻(xiàn)檢索階段，大部分有顯著結(jié)果的研究會比沒有顯著結(jié)果的研究更容易發(fā)表，就更容易被納入系統(tǒng)評價數(shù)據(jù)，此時會出現(xiàn)數(shù)據(jù)丟失的情況，那些未發(fā)表的研究有可能會高估或低估措施干預(yù)的真實(shí)效果，導(dǎo)致綜合結(jié)果的偏倚，這種偏倚通常成為“發(fā)表偏倚”（publication bias）。

在文獻(xiàn)檢索時，本文無法在數(shù)據(jù)庫中找到所有相關(guān)的研究，并且偏倚還會隨著研究問題特征的變化而變化。 大部分書目或數(shù)據(jù)庫只涵蓋已經(jīng)出版的文獻(xiàn)，Chalmers 和Frank強(qiáng)調(diào)，當(dāng)本研究在文章中僅納入并且統(tǒng)計(jì)了已發(fā)表的文章，為了抵消其中的潛在偏倚，應(yīng)該特別注明在評價過程中納入的未發(fā)表文章的影響。 Sterne 等認(rèn)為發(fā)表偏倚的存在可能導(dǎo)致一部分研究無法在同行評審（peer-reviewed）的期刊上發(fā)表， 并且已發(fā)表的研究也會有很大一部分不會被書目數(shù)據(jù)庫索引。 涉及定量研究的系統(tǒng)評價在文獻(xiàn)檢索時應(yīng)調(diào)整檢索策略，盡量減少發(fā)表偏倚的影響。 涉及定性數(shù)據(jù)時，Booth認(rèn)為可以用不太詳盡的方法，但應(yīng)審查資源范圍內(nèi)的數(shù)據(jù)，確保檢索到足夠種類的信息。 因此必須仔細(xì)考慮獲取文獻(xiàn)的多種渠道，以及本研究所選擇的渠道之間如何相互補(bǔ)充。

1.2 信度的類型與評估

信度（Reliability）即可靠性，它是指采用同樣的方法對同一對象重復(fù)測量時所得結(jié)果的一致性程度。信度越高，多次測量的結(jié)果之間反映的一致性就越大。信度指標(biāo)多以相關(guān)系數(shù)表示，大致可分為三類：穩(wěn)定系數(shù)（跨時間的一致性），等值系數(shù)（跨形式的一致性）和內(nèi)在一致性系數(shù)（跨項(xiàng)目的一致性）。信度分析的方法主要有以下四種：重測信度法、復(fù)本信度法、折半信度法、α 信度系數(shù)法。本文主要通過復(fù)本信度和重測信度來檢驗(yàn)文獻(xiàn)檢索所獲證據(jù)的可靠性與穩(wěn)定性。

1.2.1 復(fù)本信度

復(fù)本信度（Parallel-forms Reliability）又稱為等值性系數(shù)，是等值性信度（Equivalence Reliability）的一種，指問卷調(diào)查的結(jié)果與另一種非常相似的問卷調(diào)查結(jié)果的變異程度。針對同一組測試對象，運(yùn)用兩份內(nèi)容相同但題目不同的問卷進(jìn)行測試，兩次結(jié)果的相關(guān)性程度則為復(fù)本信度。相關(guān)程度越高，復(fù)本信度越高，兩次結(jié)果的一致性越強(qiáng)。

復(fù)本信度的困難在于要編制兩份等同的量表，在實(shí)踐應(yīng)用中會受到一定程度的限制。 兩份等同量表要包含相同的數(shù)目、類型、難度。比起重測信度來，復(fù)本信度避免了記憶效應(yīng)和練習(xí)效應(yīng)，比較適合做長期追蹤調(diào)查或有難度的測試。但復(fù)本信度也存在一定的局限，如有些測驗(yàn)或量表很難找到等同且合適的復(fù)本，其次測驗(yàn)的性質(zhì)會由于重復(fù)而發(fā)生改變。 因此，在利用復(fù)本信度做可靠性檢查時，一方面要注意兩份內(nèi)容測驗(yàn)的時間間隔，另一方面，注意分析中出現(xiàn)的負(fù)相關(guān)，并對這種情況得到的可靠性提出質(zhì)疑。

1.2.2 重測信度

重測信度（test-retest reliability）又稱為再測信度、穩(wěn)定性系數(shù)，是針對同一組測試人員，利用相同內(nèi)容的問卷在不同的時間點(diǎn)先后測試兩次，兩次結(jié)果之間的差異程度。重測信度是由時間變化所帶來的隨機(jī)誤差產(chǎn)生的，反映測驗(yàn)跨時間的穩(wěn)定性和一致性。

根據(jù)所測定特質(zhì)數(shù)據(jù)的表現(xiàn)方式，重測信度可采用積矩相關(guān)系數(shù)、等級相關(guān)系數(shù)和列聯(lián)系數(shù)來表示。從相關(guān)系數(shù)的大小可以判斷，測量結(jié)果在經(jīng)過一段時間后的穩(wěn)定程度。相關(guān)系數(shù)越大，測量結(jié)果更加一致可靠，重測信度越高，測驗(yàn)環(huán)境的隨機(jī)因素帶來的影響也就越小。

重測信度適用于異質(zhì)性調(diào)查，尤其是在幾部分內(nèi)容之間不存在相關(guān)性或相關(guān)性較低時。但由于存在記憶效應(yīng)，重測的時間間隔不宜過長，并且需要充分考慮重測過程中不同的環(huán)境條件帶來的測量結(jié)果的誤差。

2 文獻(xiàn)證據(jù)檢索的信度研究設(shè)計(jì)

本研究由兩個相互獨(dú)立但互為支撐的子研究構(gòu)成，充分考慮了文獻(xiàn)檢索的查全率和查準(zhǔn)率，以及檢索過程中所帶來的異質(zhì)性，根據(jù)信度的理念和指標(biāo)，以中文文獻(xiàn)最大的數(shù)據(jù)庫——CNKI 為對象，延續(xù)“社會認(rèn)識論”為主題的文獻(xiàn)檢索以及飽和度研究結(jié)論，對不同途徑的文獻(xiàn)檢索質(zhì)量做出評價。

首先構(gòu)建數(shù)據(jù)集，將總數(shù)據(jù)集中的高相關(guān)文獻(xiàn)與中相關(guān)文獻(xiàn)按年份分為十組，再應(yīng)用主題、篇名、關(guān)鍵詞、摘要和全文的單項(xiàng)檢索與組合檢索的十年數(shù)據(jù)與總數(shù)據(jù)進(jìn)行匹配，計(jì)算高相關(guān)組的匹配比例與中相關(guān)組匹配比例。 數(shù)據(jù)指標(biāo)用檢索結(jié)果與總數(shù)據(jù)集的匹配比例來評估，公式如下：

（1）式中，X 表示檢索結(jié)果與總數(shù)據(jù)集的匹配篇數(shù)，Y 表示總數(shù)據(jù)集中高相關(guān)（或中相關(guān)）的文獻(xiàn)總數(shù)，i 表述不同檢索項(xiàng)（如主題單項(xiàng)檢索，或主題和篇名的組合檢索等），t 表示年份，計(jì)算了研究在2010-2019 年發(fā)表的十年數(shù)據(jù)。

2.1 復(fù)本信度

復(fù)本信度旨在檢驗(yàn)通過不同途徑的檢索方式，檢驗(yàn)結(jié)果的一致性。應(yīng)用主題、篇名、關(guān)鍵詞、摘要和全文為檢索項(xiàng)，判斷不同途徑的單項(xiàng)檢索或組合檢索項(xiàng)之間的相似程度，對其查全率和查準(zhǔn)率做出評價。 計(jì)算皮爾遜相關(guān)系數(shù)（Pearson correlation coefficient），構(gòu)建檢索項(xiàng)之間的相關(guān)系數(shù)矩陣，公式如下：

（2）式中，皮爾遜相關(guān)系數(shù)ρ的取值范圍在[-1,1]之間，系數(shù)值越大，不同途徑檢索方式的相似程度越高，檢索項(xiàng)的可靠性就越強(qiáng)。 基于評價結(jié)果，再提出一個復(fù)本信度的排序，判斷檢索項(xiàng)的信度高低。

2.2 重測信度

根據(jù)上述復(fù)本信度排序最高的項(xiàng)目，對每年的數(shù)據(jù)進(jìn)行重測，計(jì)算每下一年度與上一年度匹配比例的差值。再依據(jù)十年的比例差值數(shù)據(jù)，計(jì)算不同檢索項(xiàng)的方差和標(biāo)準(zhǔn)差，以評價其十年匹配比例的穩(wěn)定性與一致性。 公式如下：

2.3 檢索策略

在CNKI 數(shù)據(jù)庫中，以“社會認(rèn)識論”為搜索詞，應(yīng)用主題、篇名、關(guān)鍵詞、摘要和全文五種檢索方式，單項(xiàng)檢索后再使用運(yùn)算符（AND，OR）進(jìn)行組合檢索，分為二項(xiàng)、三項(xiàng)、四項(xiàng)、五項(xiàng)組合檢索。

OR 運(yùn)算符查找一個或多個搜索項(xiàng)的記錄，使用OR 會使搜索記錄變多，適用于積累相同概念的搜索詞。 如“主題”和“篇名”選項(xiàng)用OR 連接，則會搜索到“主題”為社會認(rèn)識論或者“篇名”為社會認(rèn)識論的文獻(xiàn)，是將兩個小集合組合在一起，聚集成一個大的集合。AND 運(yùn)算符包含所有條件的結(jié)果，使搜索范圍更加集中，如“主題and 篇名”表示搜索結(jié)果必須同時滿足主題和篇名均為“社會認(rèn)識論”，AND 組合的結(jié)果往往要比單項(xiàng)記錄數(shù)量少。

在這兩種運(yùn)算符條件下，OR 范圍更廣，AND 查找更精準(zhǔn)，本文將對兩種情況都做出分析，以此來分析不同檢索情況下查全率與查準(zhǔn)率的不同結(jié)果。

3 文獻(xiàn)證據(jù)檢索的信度研究結(jié)果

3.1 單項(xiàng)檢索的信度檢驗(yàn)

3.1.1 單項(xiàng)檢索與高相關(guān)集信度檢驗(yàn)

單項(xiàng)檢索本文選擇了五種方式：主題、篇名、關(guān)鍵詞、摘要、全文。 將每一項(xiàng)檢索結(jié)果分別從CNKI數(shù)據(jù)庫中導(dǎo)出，與高相關(guān)數(shù)據(jù)集進(jìn)行比對，計(jì)算其不同檢索方式的相關(guān)系數(shù)矩陣及匹配差異的離散程度（見表1）。

根據(jù)表1 可以看出，除全文檢索與其他方式不存在相關(guān)性，其他四項(xiàng)之間都存在顯著的相關(guān)性，具體表現(xiàn)如下：

表1 單項(xiàng)檢索與高相關(guān)的相關(guān)系數(shù)矩陣及匹配差異

（1）在0.01 的顯著性水平下，主題檢索與篇名檢索的相關(guān)系數(shù)最大，達(dá)到0.876，說明主題與篇名的檢索結(jié)果相似程度最高，可相互替代。再看重測信度，主題檢索的方差處于五項(xiàng)之中最高，而篇名檢索的方差最低，說明以篇名檢索的十年數(shù)據(jù)是最穩(wěn)定可靠的。 因此單項(xiàng)檢索到高相關(guān)文獻(xiàn)時，可以優(yōu)先選擇篇名檢索。

（2）關(guān)鍵詞檢索的可替代性最強(qiáng)，因?yàn)殛P(guān)鍵詞檢索同時與主題、篇名、摘要的相關(guān)系數(shù)都達(dá)到了0.8以上，且在0.01 水平上顯著。但基于重測信度結(jié)果來看，關(guān)鍵詞檢索的十年匹配比例之差的離散程度為35.3%，較其他結(jié)果處于中間狀態(tài)，數(shù)據(jù)較為穩(wěn)定，因此關(guān)鍵詞檢索結(jié)果比較可取。

（3）主題檢索與篇名、關(guān)鍵詞的相關(guān)系數(shù)均處于前列，且與摘要檢索也在0.05 的顯著水平上，達(dá)到0.646的相關(guān)度。因此主題檢索與這三項(xiàng)的相似程度也比較高，可靠性強(qiáng)，但重測信度結(jié)果顯示，主題檢索的結(jié)果并不穩(wěn)定，離散程度大。 因此主題檢索應(yīng)謹(jǐn)慎選擇。

（4）另外摘要檢索的復(fù)本信度較高，與關(guān)鍵詞、主題的一致性較強(qiáng)，但重測結(jié)果并不穩(wěn)定，離散程度較大。全文檢索與其他四種方式都不具有一致性，甚至出現(xiàn)負(fù)相關(guān)的情況，但是近十年匹配度的結(jié)果卻較為穩(wěn)定。

以上綜合復(fù)本信度和重測信度結(jié)果，提出在進(jìn)行單項(xiàng)檢索時，優(yōu)先選擇篇名檢索、關(guān)鍵詞次之，主題檢索可以排在兩者之后。 摘要和全文在檢索高度相關(guān)的文獻(xiàn)時并不可取，因?yàn)閮烧卟荒芡瑫r滿足復(fù)本信度和重測信度的一致性與穩(wěn)定性。

3.1.2 單項(xiàng)檢索與中相關(guān)集信度檢驗(yàn)

以篇名為檢索方式總共檢索到30 篇，皆為與“社會認(rèn)識論”高度相關(guān)的文獻(xiàn)，因此在中相關(guān)的相關(guān)性分析中，篇名的數(shù)據(jù)無效。從單項(xiàng)搜索與中相關(guān)數(shù)矩陣（見表2）可以看出，僅有主題檢索與摘要檢索的相關(guān)系數(shù)最高（0.73）且顯著，說明檢索中度相關(guān)的文獻(xiàn)用主題檢索和摘要檢索的結(jié)果相似。 再看重測信度結(jié)果，摘要檢索離散程度9%，說明在近十年的匹配度中數(shù)據(jù)較為穩(wěn)定。 因此在檢索中度相關(guān)文獻(xiàn)時，“摘要”檢索的結(jié)果最為可靠。

表2 單項(xiàng)檢索與中相關(guān)集相關(guān)系數(shù)矩陣及匹配差異

3.2 組合檢索的復(fù)本信度

3.2.1 二項(xiàng)組合檢索復(fù)本信度

二項(xiàng)組合共有十種檢索方式，構(gòu)成一個10*10的矩陣（見表3）。 表中顯示的數(shù)據(jù)有很明顯的差異，有不顯著、顯著的數(shù)據(jù)，還有出現(xiàn)系數(shù)為1 的情況和無效數(shù)據(jù)，具體分析如下：

表3 兩項(xiàng)組合檢索的相關(guān)系數(shù)矩陣

（1）二項(xiàng)組合檢索與高相關(guān)集

使用AND 運(yùn)算符的二項(xiàng)組合檢索匹配高相關(guān)數(shù)據(jù)集時發(fā)現(xiàn)：

第一，“主題and 關(guān)鍵詞”和“全文and 關(guān)鍵詞”的組合檢索均包含關(guān)鍵詞為“社會認(rèn)識論”的搜索結(jié)果，用AND 運(yùn)算符，得到的結(jié)果全部為關(guān)鍵詞檢索結(jié)果，因此匹配比例、篇數(shù)等數(shù)值都相等，相關(guān)系數(shù)為1。 “主題and 篇名”和“篇名and 全文”同理。

第二，“主題and 摘要”和“關(guān)鍵詞and 全文”，是唯一一對沒有重復(fù)檢索項(xiàng)，且在0.01 水平上，相關(guān)系數(shù)達(dá)到0.9 以上。 說明這兩種方式的相似程度很高。其他達(dá)到0.9 相關(guān)系數(shù)的檢索方式，都是因?yàn)闄z索方式之間選擇了重復(fù)項(xiàng)，且使用AND 運(yùn)算符，會使結(jié)果范圍更窄，更加相近。

第三，“篇名and 關(guān)鍵詞”與“篇名and 全文”，“篇名and 關(guān)鍵詞”與“主題and 篇名”這兩項(xiàng)組合檢索的相關(guān)系數(shù)最高，均達(dá)到了0.978 的一致性，說明“篇名and 關(guān)鍵詞”二項(xiàng)組合的檢索結(jié)果檢索到高相關(guān)的可靠性最強(qiáng)。

使用OR 運(yùn)算符的二項(xiàng)組合檢索發(fā)現(xiàn)：“主題or摘要”的可替代性最強(qiáng)，與“主題or 關(guān)鍵詞”“篇名or關(guān)鍵詞”“篇名or 摘要”“關(guān)鍵詞or 摘要”的相似度達(dá)到0.9 以上，并且在0.01 的水平下顯著。 因此在選擇二項(xiàng)組合檢索方式時，可優(yōu)先選擇“主題or 摘要”的組合來檢索高度相關(guān)文獻(xiàn)。 其次，根據(jù)系數(shù)矩陣系數(shù)較高的檢索式，還可以選擇“關(guān)鍵詞or 摘要”“篇名or 關(guān)鍵詞”或“篇名or 摘要”。因此，使用OR 運(yùn)算符檢索高相關(guān)文獻(xiàn)可靠性最強(qiáng)的是“主題or 摘要”。

（2）二項(xiàng)組合檢索與中相關(guān)集

由于出現(xiàn)“篇名”單項(xiàng)檢索的文獻(xiàn)都與“社會認(rèn)識論” 高度相關(guān)， 再使用AND 運(yùn)算符會更加縮小范圍，因而不存在中度相關(guān)文獻(xiàn)，出現(xiàn)無效數(shù)據(jù)。“主題and 摘要”和“關(guān)鍵詞and 摘要”相關(guān)系數(shù)最高（0.837），因此這兩種方式可以相互替代，可靠性較強(qiáng)。

使用OR 運(yùn)算符組合檢索時，“主題or 摘要”的可替代性也比較強(qiáng)，與“主題or 關(guān)鍵詞”、“主題or 摘要”“篇名or 摘要”“關(guān)鍵詞or 摘要” 的相關(guān)系數(shù)也比較高，因此可以選擇“主題or 摘要”檢索項(xiàng)代替其他。其次，“主題or 關(guān)鍵詞”與“主題or 篇名”的相關(guān)系數(shù)為0.989，且在0.01 水平下顯著，也是復(fù)本信度較高的一項(xiàng)。另外出現(xiàn)“全文”檢索項(xiàng)的組合式之間有很高的相似度，均在0.9 以上，如“主題or 全文”“篇名or 全文”“關(guān)鍵詞or 全文”和“摘要or 全文”。 or 擴(kuò)大了檢索結(jié)果，整合了兩者的集合，使用“全文”搜索項(xiàng)會檢索出最多的數(shù)據(jù)，且內(nèi)容相近，結(jié)果相差不大。這里提出在使用全文搜索項(xiàng)時，選擇“主題or 全文”的組合檢索，因?yàn)檫@一組合同時與其它三項(xiàng)存在很高的相關(guān)性。

3.2.2 三項(xiàng)組合檢索復(fù)本信度

（1）三項(xiàng)組合檢索與高相關(guān)集。從三項(xiàng)組合檢索的相關(guān)系數(shù)矩陣（見表4）可以直觀地看出，當(dāng)運(yùn)用AND 運(yùn)算符檢索與高相關(guān)集的匹配度時， 幾乎所有檢索項(xiàng)之間都存在相關(guān)性。 最高的系數(shù)達(dá)到0.978，有兩種情況，一種是“主題and 篇名and 關(guān)鍵詞”與“主題and 篇名and 全文”的相似程度很高，另一種是“關(guān)鍵詞and 摘要and 全文”與“主題and 關(guān)鍵詞and 摘要”的相關(guān)系數(shù)也為0.978。 說明在這兩種情況下，使用and 檢索高相關(guān)的文獻(xiàn)復(fù)本信度較高，可以相互替代。

表4 三項(xiàng)組合檢索的相關(guān)系數(shù)矩陣

使用or 檢索時，與上述提到的二項(xiàng)檢索出現(xiàn)了同樣的情況：當(dāng)存在“全文”檢索項(xiàng)，數(shù)據(jù)結(jié)果呈現(xiàn)最大化，檢索結(jié)果相似，匹配比例等數(shù)值相同。 因此可以任意選擇or 連接“全文”選項(xiàng)的檢索式。另外在沒有“全文”選項(xiàng)時，凡是出現(xiàn)“主題”項(xiàng)的檢索式，也都存在顯著的相關(guān)性。

（2）三項(xiàng)組合檢索與中相關(guān)集。 使用and 連接時，三項(xiàng)檢索式較二項(xiàng)檢索更加縮小了范圍。 只要出現(xiàn)“篇名”項(xiàng)，結(jié)果均與“社會認(rèn)識論”高度相關(guān)。這也更加明確了本文檢索中度相關(guān)文獻(xiàn)的方式?！爸黝}and 關(guān)鍵詞and 摘要”與“主題and 摘要and全文”的結(jié)果具有相關(guān)性，同時“主題and 摘要and全文”又與“關(guān)鍵詞and 摘要and 全文”具有相關(guān)性。因此在使用三項(xiàng)檢索式檢索中相關(guān)文獻(xiàn)時， 優(yōu)先選擇“主題and 摘要and 全文”。

使用or 連接時，同樣是使用“全文”選項(xiàng)擴(kuò)大了檢索范圍，結(jié)果更加一致。 “主題or 篇名or 關(guān)鍵詞”和“篇名or 關(guān)鍵詞or 摘要”兩種方式都和“主題or篇名or 摘要”，“主題or 關(guān)鍵詞or 摘要”具有很高的相似性，但前者相關(guān)系數(shù)更高為0.906，因此可以選擇“主題or 篇名or 關(guān)鍵詞”的檢索方法，檢索中相關(guān)文獻(xiàn)可以更加方便。

3.2.3 四項(xiàng)組合檢索復(fù)本信度

四項(xiàng)組合檢索由于連接項(xiàng)更多，因此結(jié)果也更偏向一致（見表5）。 And 連接時相關(guān)系數(shù)最高的是“主題and 篇名and 摘要and 全文”和“主題and 篇名and 關(guān)鍵詞and 摘要”，“篇名and 關(guān)鍵詞and 摘要and 全文”和“主題and 篇名and 摘要and 全文”。 Or連接時可選擇 “篇名and 關(guān)鍵詞and 摘要and 全文”，可同時替代其他三種方式。

表5 四項(xiàng)組合檢索的相關(guān)系數(shù)矩陣

中相關(guān)文獻(xiàn)匹配只能使用or 的方法，因?yàn)槎汲霈F(xiàn)“篇名”選項(xiàng)，無法統(tǒng)計(jì)中度相關(guān)數(shù)值。 而or 的方法也是，出現(xiàn)“全文”選項(xiàng)的檢索式之間，都具有很高的相似性。

3.3 組合檢索的重測信度

組合檢索的重測信度以十年數(shù)據(jù)中每下一年度與上一年度匹配比例差的離散程度來表現(xiàn)，通過標(biāo)準(zhǔn)差系數(shù)對不同檢索途徑做出比較（見表6）。

（1）二項(xiàng)組合檢索的重測信度。通過二項(xiàng)組合檢索式的年度匹配差異看十年數(shù)據(jù)的穩(wěn)定程度。 從表6 可以看出， 使用and 檢索的策略整體要比or 檢索式的穩(wěn)定性要和好。 在高相關(guān)數(shù)據(jù)集中，“篇名and摘要”的標(biāo)準(zhǔn)差最?。?.15），離散程度最小，但同時“篇名or 摘要”的標(biāo)準(zhǔn)差達(dá)到0.502，恰好是高相關(guān)集中匹配最不穩(wěn)定的檢索式。 因此想要獲得穩(wěn)定的高相關(guān)匹配數(shù)據(jù)，可以優(yōu)先選擇“篇名and 摘要”。 其次可以選擇“主題or 全文”和“篇名and 關(guān)鍵詞”，離散程度都比較小，數(shù)據(jù)相對穩(wěn)定。

表6 組合檢索的年度匹配度差異

在中相關(guān)數(shù)據(jù)集中，除去篇名并項(xiàng)檢索的0 值數(shù)據(jù)外，“關(guān)鍵詞and 摘要”標(biāo)準(zhǔn)差系數(shù)最小，“關(guān)鍵詞and 全文”次之。使用or 運(yùn)算符連接“全文”項(xiàng)的組合式標(biāo)準(zhǔn)差值均偏大，離散程度較大，需謹(jǐn)慎考慮。

（2）三項(xiàng)組合檢索的重測信度。 在三項(xiàng)檢索式與高相關(guān)數(shù)據(jù)集的匹配差異中，“主題or 篇名or 全文”“主題or 摘要or 全文”“主題or關(guān)鍵詞or 全文” 的標(biāo)準(zhǔn)差系數(shù)最小， 為0.146， 說明三項(xiàng)組合式只要包含“主題or 全文”，就可以得到相對穩(wěn)定的數(shù)據(jù)，這一結(jié)論也恰好驗(yàn)證了二項(xiàng)式中，重測信度較高的“主題or全文”。另外，“主題and篇名and摘要”“篇名and 摘要and 全文”標(biāo)準(zhǔn)差也較?。?.15），同時包含了篇名與摘要的相同文獻(xiàn)，結(jié)果更加穩(wěn)定。

檢索中相關(guān)文獻(xiàn)使用and 運(yùn)算符會比使用or 檢索更加可靠，凡是出現(xiàn)“關(guān)鍵詞and 摘要”的三項(xiàng)檢索式，都具有很高的穩(wěn)定性，重測信度較高；另一方面，“篇名or 關(guān)鍵詞or 摘要”的標(biāo)準(zhǔn)差為0.115，相較相同的連接符的其他選項(xiàng)，離散程度較小，其次是“主題or篇名or 關(guān)鍵詞”為0.128，其它檢索式的結(jié)果都保持在0.17-0.18 之間，相對這兩項(xiàng)，都不具有穩(wěn)定性。

（3）四項(xiàng)組合檢索的重測信度。 四項(xiàng)檢索更加驗(yàn)證了之前二、三項(xiàng)的結(jié)果，如出現(xiàn)“主題or 全文”的檢索式，是高相關(guān)數(shù)據(jù)集中最穩(wěn)定的選項(xiàng)，同樣如果出現(xiàn)在中相關(guān)數(shù)據(jù)集中，與二、三項(xiàng)不同，四項(xiàng)的穩(wěn)定系數(shù)變得更高。 因此“主題or 全文”選項(xiàng)的四項(xiàng)檢索式，在兩個數(shù)據(jù)集中都表現(xiàn)出了較優(yōu)的穩(wěn)定性，離散程度小，重測信度更高。 其次，出現(xiàn)“篇名and 關(guān)鍵詞and摘要”的四項(xiàng)檢索，是高相關(guān)中的穩(wěn)定結(jié)果，但單獨(dú)這三項(xiàng)組合在高相關(guān)中離散程度并不小，因此需要與其他項(xiàng)組合，來保證其重測信度。

（4）五項(xiàng)組合檢索的重測信度。 五項(xiàng)檢索式只有一種方式，但通過使用不同運(yùn)算符的，可以看出匹配高相關(guān)文獻(xiàn)集時， 使用or 連接選項(xiàng)擴(kuò)大搜索范圍，會比and 檢索的數(shù)據(jù)更加穩(wěn)定；另一方面，匹配中相關(guān)文獻(xiàn)集，由于出現(xiàn)“篇名”選項(xiàng)不會存在中相關(guān)的結(jié)果，因此只能選擇or 運(yùn)算符，搜索更多的結(jié)果來計(jì)算其匹配度。

4 討論與結(jié)論

4.1 討論

本文的信度檢驗(yàn)方法融合了時間方面的重測和標(biāo)準(zhǔn)途徑方面的復(fù)本方法，因此，更能夠衡量出實(shí)際的檢索質(zhì)量。

從復(fù)本信度來看，高相關(guān)數(shù)據(jù)集中使用的and運(yùn)算符時，檢索項(xiàng)之間相似度較高，中相關(guān)集使用or更加相似。 我們認(rèn)為，在檢索高度相關(guān)文獻(xiàn)時，使用and 運(yùn)算符可以更加精確文獻(xiàn)結(jié)果，范圍變小會導(dǎo)致結(jié)果存在很大的重復(fù)性，因此檢索項(xiàng)之間的相似度也很高，復(fù)本信度大；另一方面中相關(guān)的文獻(xiàn)集不要求本文的檢索結(jié)果有多精確，反而更要求數(shù)據(jù)是否全面，因而使用or 運(yùn)算符擴(kuò)大搜索范圍，以檢索更多中度相關(guān)的文章，提高查全率。

從重測信度來看，在高相關(guān)數(shù)據(jù)集中，“全文”單項(xiàng)檢索的穩(wěn)定性最高，組合檢索出現(xiàn)“主題or 全文”，離散程度很小，結(jié)果最穩(wěn)定。在中相關(guān)數(shù)據(jù)集中，“摘要”單項(xiàng)檢索標(biāo)準(zhǔn)差最小，最穩(wěn)定，后續(xù)的二、三、四、五項(xiàng)組合檢索式，凡是出現(xiàn)“關(guān)鍵詞and 摘要”的組合式，都是中相關(guān)數(shù)據(jù)集中最穩(wěn)定的。這一結(jié)果比較意外，因?yàn)槿臋z索的范圍很大，是一種模糊搜索的方法，按理說其信度在高度相關(guān)數(shù)據(jù)集中應(yīng)該屬于較低層次，但結(jié)果并不是。我們認(rèn)為全文檢索的數(shù)量比較多，在每一年份上都比其他方式的數(shù)據(jù)多出幾倍，因此越多的結(jié)果就會使本文研究越接近真實(shí)的數(shù)據(jù)，每一年份的差異就會減少，重測信度得到提升。

4.2 結(jié)論

（1）單項(xiàng)檢索的信度結(jié)果表示，在檢索與研究論點(diǎn)高度相關(guān)文獻(xiàn)時，“關(guān)鍵詞”檢索在穩(wěn)定性結(jié)果方面更優(yōu)，如果要求更加全面的結(jié)果，可以選擇“主題”檢索。但“篇名”檢索綜合二者優(yōu)勢，為最優(yōu)選擇。在檢索中度相關(guān)文獻(xiàn)時，“摘要”檢索的結(jié)果最可靠。

（2）二項(xiàng)組合檢索式由于各項(xiàng)之間存在重復(fù)，大部分檢索項(xiàng)之間都存在很高的相似性。 “篇名and 關(guān)鍵詞”與其他具有顯著相關(guān)性的檢索項(xiàng)匹配系數(shù)最高，且重測信度檢驗(yàn)也是最穩(wěn)定的，因此高相關(guān)集檢索優(yōu)先選擇“篇名and 關(guān)鍵詞”；其次，在中相關(guān)的系數(shù)矩陣中，復(fù)本相似度最高的一組是“主題and 摘要”和“關(guān)鍵詞and 摘要”，這兩組后者的穩(wěn)定性更強(qiáng)，優(yōu)先選擇后者；另外“主題or 摘要”在查找高相關(guān)和中相關(guān)文獻(xiàn)時可以替代多種檢索方法，搜索結(jié)果最全面，包容性強(qiáng)。

（3）三項(xiàng)組合檢索式中，綜合相似程度與數(shù)據(jù)離散程度，在查找高相關(guān)文獻(xiàn)可以選擇“主題and 篇名and 關(guān)鍵詞”，or 連接時復(fù)本信度結(jié)果也是最優(yōu)選擇，但穩(wěn)定性不高。因此可以嘗試主題、篇名與關(guān)鍵詞的并集組合；另一方面“主題and 摘要and 全文”和“主題or 篇名or 關(guān)鍵詞”分別可以作為兩種運(yùn)算符檢索中度相關(guān)文獻(xiàn)的高復(fù)本信度結(jié)果，重測信度結(jié)果前者更穩(wěn)定。

（4）四項(xiàng)組合時推薦使用“主題and 篇名and 摘要and 全文”的檢索式，重測信度表現(xiàn)最為穩(wěn)定，復(fù)本信度結(jié)果中，與高度相關(guān)數(shù)據(jù)集匹配適用，與中度相關(guān)文獻(xiàn)匹配時，使用or 邏輯運(yùn)算符連接也同樣可以適用。

（5）五項(xiàng)組合檢索式只能從重測信度角度來看，or 運(yùn)算符在任意數(shù)據(jù)集中都會表現(xiàn)的更穩(wěn)定可靠。

本文基于循證視角，對文獻(xiàn)證據(jù)檢索的信度進(jìn)行了研究，探索了不同檢索途徑的復(fù)本信度與重測信度。憑借信度評價指標(biāo)，保證證據(jù)檢索的穩(wěn)定性與一致性，在為系統(tǒng)評價和元分析提供更高質(zhì)量證據(jù)的基礎(chǔ)上，有望為整個科學(xué)領(lǐng)域的循證研究質(zhì)量評價提供理論支撐，并為循證社會科學(xué)等領(lǐng)域的的系統(tǒng)評價和元分析提供更高效、可靠的文獻(xiàn)檢索方法。