王 歡,張潤祥,李 迪,曹永生,高明春,王君偉
口蹄疫(Foot and mouth disease,F(xiàn)MD)是由口蹄疫病毒(Foot and mouth disease,F(xiàn)MDV)引起的急性,高度接觸性傳染病,主要感染偶蹄家畜,給畜牧業(yè)的發(fā)展帶來嚴重威脅。FMDV是小RNA病毒科口蹄疫病毒屬成員,有7種血清型,分別為O、A、C、SAT1、SAT2、SAT3以及 Asia1型,型間無交叉免疫保護[1]。
由于ELISA的檢測抗原、操作形式等各有不同,因此其敏感性和特異性存在一定差異,實際應用中需要對這些方法進行客觀的比較評價,國外對NSP-ELISA 的評估進行了多篇報道[2-4],泛美口蹄疫中心(PANAFTOSA)和英國Pirbright實驗室分別制作了評價各種方法的牛源血清盤,而國內(nèi)尚無對??谔阋逳SP-ELISA的評價報告。
ROC曲線(receiver operating characteristic curve)分析被認為是一種試驗評價中的理想和經(jīng)典方法[5],是將檢測結(jié)果劃分為若干臨界點,以每個臨界點對應的敏感性為縱坐標,“1-特異性”為橫坐標,作圖得到的曲線,可以比較直觀的看出敏感性與特異性之間的關(guān)系,通過計算ROC曲線下面積(Area Under the ROC,AUC)來評價診斷方法的準確性,是一種全而、準確評價診斷試驗的有效工具[11]。本研究以世界公認的商品化試劑盒Ceditest?ELISA為參考標準,對國內(nèi)3種商品化ELISA試劑盒和實驗室建立的8BF-ELISA方法[6]運用ROC曲線對4種ELISA方法進行綜合性評價。
1.1 試驗血清 用Ceditest?ELISA作為檢測標準,批號:07K570,164份血清來源于2個已知感染過FMD的且痊愈的牛場,其中85份陽性,79份陰性。
1.2 4種ELISA試劑盒 口蹄疫病毒非結(jié)構(gòu)蛋白3ABC抗體檢測ELISA試劑盒,(以下簡稱ELISA A)由中國農(nóng)業(yè)科學院蘭州獸醫(yī)研究所生產(chǎn),批號:2008022608;口蹄疫病毒非結(jié)構(gòu)蛋白抗體單抗阻斷ELISA試劑盒,(以下簡稱ELISA B)由北京世紀元亨動物防疫技術(shù)有限公司生產(chǎn),批號:CB2008031201;3B合成肽ELISA試劑盒,(以下簡稱ELISA C)由上海優(yōu)耐特生物醫(yī)藥有限公司生產(chǎn),批號;200806023;由本實驗室建立的8BF-ELISA方法,(以下簡稱ELISA D)[13]。
1.3 結(jié)果判定 ELISA A臨界值=(OD樣品-OD陰性)/(OD陽性-OD陰性),其臨界值小于0.2,為陰性;大于0.3為陽性;在0.2-0.3之間為可疑,可疑樣品進行復測如果大于0.2為陽性;ELISA B臨界值=(陰性對照孔OD均值-樣品孔OD均值)/陰性對照孔OD均值*100%
被檢樣品阻斷率(Inh%)大于等于40%為抗體陽性;在25%-40%之間為可疑;小于25%為陰性;ELISA C臨界值=0.23*陽性對照孔平均OD值;ELSIA D臨界值判定同ELISA A。
1.4 統(tǒng)計學處理 用EXCEL2007和PASW/SPSS Statistics18聯(lián)合進行統(tǒng)計分析,通過對ROC曲線下面積(AUC)大小和Youden指數(shù)[7]分析,來確定ELISA檢測方法陽性判定結(jié)果的準確性和最適臨界值,評價4種ELISA檢測方法的檢測能力。
2.1 4種ELISA檢測方法對試驗樣本的檢測結(jié)果4種ELISA方法的檢測結(jié)果見表1,因為ELISA A B D均設有可疑區(qū)間,進行復測后把ELISA-A和D的臨界值設為0.2,ELISA B設為0.25,4種ELISA 方 法 的 檢 出 率 (Ef)分 別 為95.12%,89.02%,84.76%,93.29%。經(jīng)X2檢驗,ELISA C的檢出率低于其他3種檢測方法,且差異有統(tǒng)計學意義(P=0.006<0.01),其他3種ELISA方法的檢出率之間差異無統(tǒng)計學意義(P=0.099>0.05)。
表1 4種ELISA方法對確定血清FMDV-NSP抗體的檢測結(jié)果Tab.1 Four ELISA methods for determination of serum FMDV-NSP antibody test results
4種ELISA檢測方法的敏感性分別為96.47%(82/85),95.29% (81/85),70.59% (60/85),92.94%(79/85);特異性分別為93.67%(74/79),82.28%(65/79),100.00%(79/79),93.67%(74/79)。
2.2 應用ROC曲線分析 見圖1,曲線起始部分上升較陡,表明試驗分辨率較精確;并且4種ELISA的ROC曲線均在參考線以上,并遠離標準線,且?guī)追N方法相應的ROC曲線非常接近。曲線下的面積見表2,根據(jù)Swets[8]判斷規(guī)則,面積越大,判斷越有效;面積越小,判斷價值越低。其中面積在0.5以下者試驗沒有診斷價值,面積在0.5~0.7之間有較低的準確性,面積在0.7~0.9之間有一定的準確性,在0.9以上者,則有較高的準確性ROC面積在0.937~0.982之間,表明4種方法都有很高的準確性。比較4種ELISA方法的ROC曲,線下面積(AUC),差異均不顯著。
2.3 確定最佳臨界值 以圖1的ROC曲線上的各切點作為閾值,計算相應的敏感性、特異性及Youden指數(shù)。Youden指數(shù)是分析敏感性和特異性的綜合評價指標,可以避免對于敏感性和特異性的偏移,能較客觀的反映實際情況。從圖2中可明顯看出Youden指數(shù)和試驗檢出率呈正相關(guān)的關(guān)系,并且在某一臨界值附近有相同的波峰,說明在這一臨界值附近有著很好的檢測能力。
圖1 4種ELISA方法對FMDV-NS抗體檢測結(jié)果的ROC曲線Fig.1 ROC curves of the four ELISAs for detection of FMDV-NSP antibodies
表2 曲線下的面積Tab.2 Area under the curve
圖2 在不同臨界值下,試驗檢出率與Youden指數(shù)的變化情況Fig.2 Detection rates and Youden index changes in the different threshold
圖2中的Youden指數(shù),對應的切點為ROC曲線上的最佳臨界值,表3給出了四種ELISA方法在最佳臨界值時的敏感性、特異性和檢出準確率的比較。從表3能明顯看出在ROC曲線下應用最佳臨界值來檢測FMDV-NSP抗體要比使用制造商推薦的臨界值時的檢測準確率要高,且4種方法的準確率之間無顯著性差異(P=0.461>0.05)。
表3 四種ELISA在最佳臨界值時的敏感性、特異性和準確性Tab.3 Sensitivity,specificity and accuracy of the four ELISAs based on the optimization of the cut-off
2006年-2008年6個國家科學家通過對已知陰陽性血清檢測[9],通過和3種商品化試劑盒,國際動物衛(wèi)生組織(OIE)參考方法(NCPanaftosascreening)及意大利室內(nèi)質(zhì)控方法(3ABC trapping-ELISA)進行ROC曲線和極大似然值法[17],貝葉斯定律[10-11]等方法的全面比較分析評價:在商品化試劑盒中,Ceditest?ELISA的敏感性和特異性最優(yōu),檢測結(jié)果接近OIE參考方法。因此本研究選擇了Ceditest?ELISA作為試驗的“金標準”,對國內(nèi)幾種NSP-ELISA進行了比較評價。表1可看出,ELISA C的相對特異性為100%,但敏感性只有70%,而ELISA A敏感性和特異性都超過了90%,但在臨界值>=0.3時特異性為98.7%,敏感性為89.2%;ELISA B在抑制率為40%時,敏感性和特異性分別77.6%和98.7%;ELISA D在臨界值為0.3時特異性和敏感性分別為97.4%和83.5%。但經(jīng)過ROC分析,用Youden指數(shù)結(jié)合敏感性和特異性給出另一臨界值時,4種檢測方法的敏感性和特異性趨于平衡,檢測準確率都有所增加。4種方法有3種都設有可疑區(qū)間,可以通過對可疑區(qū)間的復測來增加檢驗準確率,所以,在ELISA方法的建立過程中確保一定的可疑區(qū)間是比較科學的。
用ROC分析ELISA方法的檢測能力,國內(nèi)在獸醫(yī)研究方面的文獻相對較少。在本研究中,ROC分析ELISA A給出最大的AUC(見表2),要比其他3種方法稍微高一點,但其他三種方法的AUC也都超過了0.9,表明其他3種ELISA方法檢測能力也是比較好的,只是ELISA C的檢測敏感性略低,不太適合做大規(guī)模臨床樣本的檢測,但特異性較高可作為臨床樣本的確診試驗。綜合評估,在優(yōu)化臨界值后的ELISA A,ELISA B和ELISA D的敏感性和特異性都大于90%,均可用于大規(guī)模臨床樣本的初篩試驗。
[1]Alexandersen S,Zhang Z,Donaldson AI,et al.The pathogenesis and diagnosis of foot-and-mouth disease[J].J Comp Pathol,2003,129(1):1-36.DOI:10.1016/S0021-9975(03)00041-0
[2]Moonen P,van der Linde E,Chenard G,et al.Comparable sensitivity and specificity in three commercially available ELISAs to differentiate between cattle infected with or vaccinated against foot-and-mouth disease virus[J].Vet Microbiol,2004,99(2):93-101.DOI:10.1016/j.vetmic2003.12.003
[3]Bronsvoort BM,Sorensen KJ,Anderson J,et al.Comparison of two 3ABC enzyme-linked immunosorbent assays for diagnosis of multiple-serotype foot-and-mouth disease in a cattle population in an area of endemicity[J].J Clin Microbiol,2004,42(5):2108-2114.DOI:10.1128/JCM.42.5.2108-2114.2004
[4]Dekker A,Sammin D,Greiner M,et al.Use of continuous results to compare ELISAs for the detection of antibodies to nonstructural proteins of foot-and-mouth disease virus[J].Vaccine,2008,26(22):2723-2732.DOI:10.1016/j.vaccine.2008.03052
[5]Copas JB.Overestimation of the receiver operating characteristic curve for logistic regression[J].Biometrika,2002,89(2):315-331.DOI:10.1093/biomet/89.2.315
[6]Cheng W,Ni Z,Pan X,et al.Receiver operating characteristic curves to optimal operating point and doubtable value interval[J].Mod Prev Med,2005(7):729-731.(in Chinese)
陳衛(wèi)中,倪宗瓚,潘曉平,等.用ROC曲線確定最佳臨界點和可疑值范圍[J].現(xiàn)代預防醫(yī)學,2005(7):729-731.
[7]Gao M,Zhang R,Li M,et al.An ELISA based on the repeated foot-and-mouth disease virus 3B epitope peptide can distinguish infected and vaccinated cattle[J].Appl Microbiol Biotechnol,2012,93(3):1271-1279.DOI:10.1007/s00253-011-3815-0
[8]Chen P,Wang B,Mo Y.Comparison of several statistical inference methods for diagnostic test[J].Chin J Health Stat,1995(5):8-11.(in Chinese)
陳平雁,王斌會,莫一心.幾種診斷試驗統(tǒng)計方法的比較[J].中國衛(wèi)生統(tǒng)計,1995(5):8-11.
[9]Swets JA.Measuring the accuracy of diagnostic systems[J].Science,1988,240(4857):1285-1293.DOI:10.1126/science.3287615
[10]Brocchi E,Bergmann IE,Dekker A,et al.Comparative evaluation of six ELISAs for the detection of antibodies to the nonstructural proteins of foot-and-mouth disease virus[J].Vaccine,2006,24(47-48):6966-6979.DOI:10.1016/j.vaccine.2006.04.050
[11]Goris N,Praet N,Sammin D,et al.Foot-and-mouth disease non-structural protein serology in cattle:use of a Bayesian framework to estimate diagnostic sensitivity and specificity of six ELISA tests and true prevalence in the field[J].Vaccine,2007,25(41):7177-7196.DOI:10.1016/j.vaccine.2007.07.023