• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    再說說精密度

    2014-01-02 08:43:04馮仁豐
    檢驗(yàn)醫(yī)學(xué) 2014年8期
    關(guān)鍵詞:精密度方差廠商

    馮仁豐

    (上海市臨床檢驗(yàn)中心,上海200126)

    美國(guó)于1988年發(fā)布了臨床實(shí)驗(yàn)室修正法規(guī)(CLIA’88)。該法規(guī)明確規(guī)定了描述一個(gè)檢測(cè)系統(tǒng)分析性能的指標(biāo)包括7個(gè)方面:(1)精密度;(2)正確度;(3)患者結(jié)果可報(bào)告范圍;(4)分析靈敏度;(5)分析特異性;(6)參考區(qū)間;(7)其它必須的性能[1]。

    為什么要將精密度放在檢測(cè)系統(tǒng)分析性能的第1位?關(guān)鍵原因是臨床實(shí)驗(yàn)室在檢測(cè)患者樣品時(shí),對(duì)樣品中的任何分析物或項(xiàng)目都只做一次檢測(cè)就發(fā)出報(bào)告!這是全球臨床實(shí)驗(yàn)室的特殊之處!因此,確保檢測(cè)結(jié)果可靠性的第一前提是檢測(cè)結(jié)果的精密度要好,也就是同一份樣品再次檢測(cè)的結(jié)果與第1次是相同的!否則臨床和患者均不會(huì)對(duì)檢測(cè)結(jié)果感到滿意。當(dāng)臨床和患者對(duì)臨床實(shí)驗(yàn)室的結(jié)果有懷疑時(shí)就會(huì)要求臨床實(shí)驗(yàn)室重做一次檢測(cè)。如果重復(fù)檢測(cè)的結(jié)果與上次報(bào)告的結(jié)果一致,臨床與患者均會(huì)認(rèn)為臨床實(shí)驗(yàn)室報(bào)告的結(jié)果是“準(zhǔn)確”的!兩次檢測(cè)結(jié)果一樣還不準(zhǔn)確嗎?其實(shí)這并不是準(zhǔn)確度好,而是精密度好!由此可見,在任何時(shí)候,確保精密度是臨床實(shí)驗(yàn)室的首要任務(wù)。

    一、精密度的定義

    《2012年國(guó)際計(jì)量學(xué)詞匯——基礎(chǔ)與通用》[2]的概念和相關(guān)術(shù)語(VIM)中,第 2.15 節(jié)定義測(cè)量精密度(measurement precision)[簡(jiǎn)稱精密度(precision)]為在規(guī)定條件下對(duì)同一或類似被測(cè)對(duì)象重復(fù)測(cè)量所得示值或被測(cè)量的量值間的一致程度。注意:(1)測(cè)量精密度通常用不精密度表示,其值以數(shù)字形式表示,如在規(guī)定測(cè)量條件下的標(biāo)準(zhǔn)差(s)、方差或變異系數(shù)(CV);(2)規(guī)定條件可以是測(cè)量的重復(fù)性條件、測(cè)量的綜合(intermediate)精密度條件或測(cè)量的再現(xiàn)性(reproducibility)條件;(3)測(cè)量精密度用于定義測(cè)量的重復(fù)性、綜合的測(cè)量精密度或測(cè)量再現(xiàn)性;(4)術(shù)語“測(cè)量精密度”有時(shí)用于指“測(cè)量準(zhǔn)確度”,這是錯(cuò)誤的。美國(guó)臨床實(shí)驗(yàn)室標(biāo)準(zhǔn)化協(xié)會(huì)(Clinical and Laboratory Standards Institute,CLSI)EP5-A2文件中對(duì)這些規(guī)定條件都做了說明[3]。

    二、近期困擾我的疑惑

    最近,某公司準(zhǔn)備將 CLSI EP15文件[4]寫成便于臨床實(shí)驗(yàn)室使用的應(yīng)用軟件。我認(rèn)為在形成軟件之前必須充分理解CLSI EP15文件的統(tǒng)計(jì)含義,絕不能依樣畫葫蘆。否則,當(dāng)今后有客戶遇到不理解的問題進(jìn)行咨詢時(shí),公司只會(huì)回答:這是美國(guó)CLSI EP15-A文件規(guī)定的!但是,該公司的想法促使我再次認(rèn)真閱讀該文件與EP5文件。

    CLSI EP15文件的重點(diǎn)是讓臨床實(shí)驗(yàn)室在使用某個(gè)新引入的檢測(cè)系統(tǒng)時(shí)必須對(duì)廠商聲明的精密度和正確度分析性能進(jìn)行驗(yàn)證。當(dāng)我再次閱讀EP5文件時(shí),發(fā)現(xiàn)在EP5文件中已對(duì)如何驗(yàn)證廠商聲明的精密度提出了實(shí)驗(yàn)方案。EP5和EP15文件驗(yàn)證廠商精密度性能的統(tǒng)計(jì)做法是一樣的。臨床實(shí)驗(yàn)室使用與某個(gè)廠商聲明中相似分析物濃度的樣品進(jìn)行精密度實(shí)驗(yàn),得到該分析物項(xiàng)目的不精密度指標(biāo)(s或CV)。如該指標(biāo)低于廠商聲明中提供的不精密度指標(biāo)(s或CV),則臨床實(shí)驗(yàn)室的精密度性能驗(yàn)證通過;若該指標(biāo)高于廠商聲明,則臨床實(shí)驗(yàn)室該分析物項(xiàng)目的精密度性能驗(yàn)證未通過,需要進(jìn)行統(tǒng)計(jì)學(xué)檢驗(yàn)。經(jīng)統(tǒng)計(jì)學(xué)檢驗(yàn)后,如果臨床實(shí)驗(yàn)室的不精密度指標(biāo)與廠商聲明無明顯差異,即可認(rèn)為臨床實(shí)驗(yàn)室的精密度性能通過驗(yàn)證,反之則為不符合要求。

    我反復(fù)閱讀這兩個(gè)文件,突然注意到它們?cè)谶M(jìn)行精密度(CV或s)比較時(shí)沒有使用方差檢驗(yàn)(F-test),卻使用了卡方(χ2)檢驗(yàn)!這令我感到非常突然。我查閱我的統(tǒng)計(jì)學(xué)書籍[5-6],書中均無答案。這些書籍提供的信息與我了解的一樣,從來沒有介紹使用卡方檢驗(yàn)去判斷不精密度(s或CV)的大小。于是我只能向CLSI專家請(qǐng)教,他們很快就給了回答。經(jīng)過幾次的交流,編寫CLSI EP15文件的主席Dr.Neill Carey給出了很好的回答,還怕我不理解,一定要我提出看法。我在EP5文件中看到了相關(guān)參考文獻(xiàn),但未找到相關(guān)的資料。因此我很希望他能夠提供使用卡方檢驗(yàn)進(jìn)行精密度評(píng)價(jià)的原始文件,但他們回答我說沒有參考文獻(xiàn)!最后,Dr.Neill Carey給了我一個(gè)非常詳細(xì)的討論精密度問題的多媒體文件。這給了我很大的啟發(fā),讓我知道了一個(gè)小小的不精密度指標(biāo)還有許許多多的學(xué)問。

    我應(yīng)該是國(guó)內(nèi)最早了解CLSI的人員之一。早在1988年澳大利亞進(jìn)修期間,看到導(dǎo)師有許多CLSI文件我幸喜若狂。在征得導(dǎo)師的許可后,我復(fù)制了幾個(gè)認(rèn)為最要緊的標(biāo)準(zhǔn)文件,其中之一即為EP5文件(定量檢測(cè)方法精密度的評(píng)價(jià))[7]。回國(guó)后,我反復(fù)多遍閱讀這個(gè)文件,而且還看過該文件的每一個(gè)修改版本。自認(rèn)為熟悉和了解EP5文件的我恰恰只著重閱讀該文件的前半部分,忽略了后面驗(yàn)證部分,導(dǎo)致不知道以卡方檢驗(yàn)比較s的大小已經(jīng)有了30余年!

    為了彌補(bǔ)我過去的疏忽,近期我重新認(rèn)真閱讀EP5-A2文件。閱讀后更感到許多早已經(jīng)在20年前講到的問題我卻一直沒有去理解!盡管EP5-A3及EP15-A2文件將在今年6月發(fā)布,但要讀到新的文件還需要一段時(shí)間。因此,溫故知新已不能再等待。

    三、臨床實(shí)驗(yàn)室檢測(cè)系統(tǒng)精密度性能的重要性

    1.方法學(xué)比較中精密度性能的影響 為什么在方法學(xué)比較中,在評(píng)估檢測(cè)系統(tǒng)的正確度時(shí)EP9文件[8]強(qiáng)調(diào)對(duì)每份比對(duì)樣品進(jìn)行雙份檢測(cè)?主要原因是當(dāng)兩個(gè)比較方法對(duì)每個(gè)樣品僅做單次檢測(cè)時(shí)會(huì)受到方法不精密度很大的影響,使最后正確度性能的評(píng)估產(chǎn)生偏移。因此,在進(jìn)行方法學(xué)比較了解系統(tǒng)誤差時(shí),如果兩個(gè)比較方法僅對(duì)每個(gè)樣品只做一次比對(duì),肯定會(huì)嚴(yán)重受檢測(cè)不精密度的影響,導(dǎo)致比對(duì)誤差過大。

    2.不精密度對(duì)線性實(shí)驗(yàn)的影響 EP6文件[9]是定量檢測(cè)線性評(píng)價(jià)的文件。線性評(píng)價(jià)需對(duì)系列已知濃度或稀釋關(guān)系的樣品進(jìn)行檢測(cè)。最早的EP6-P文件要求對(duì)每份樣品進(jìn)行4次重復(fù)檢測(cè)。只有這樣才能了解在實(shí)驗(yàn)中每組樣品的檢測(cè)結(jié)果是否產(chǎn)生了離群點(diǎn),也可真實(shí)了解是否確實(shí)具有線性。這就是精密度性能對(duì)線性評(píng)價(jià)實(shí)驗(yàn)的影響。檢測(cè)范圍(measuring range)[可報(bào)告范圍(repotable range)]定義為測(cè)量誤差限定在一個(gè)特定范圍內(nèi)的分析物測(cè)量的一系列值。注意:EP6-P文件的值的范圍[分析物(被測(cè)量)相應(yīng)計(jì)量單位]在整個(gè)范圍內(nèi)符合方法的可接受指標(biāo),即非線性、不精密度或其他來源的誤差應(yīng)在確定的限值之內(nèi)。由此可見,在分析線性的定義中已提及了不精密度對(duì)整個(gè)檢測(cè)結(jié)果的影響。

    3.不精密度對(duì)基質(zhì)效應(yīng)評(píng)估的影響 EP14文件是評(píng)價(jià)基質(zhì)效應(yīng)的文件[10]。為了確認(rèn)不同類型的樣品是否具有基質(zhì)偏移,EP14文件要求對(duì)每個(gè)樣品至少進(jìn)行3次重復(fù)檢測(cè)。醫(yī)學(xué)事業(yè)的發(fā)展促使臨床對(duì)更多疾病有了深入了解,同時(shí)也對(duì)臨床實(shí)驗(yàn)室提出了更高的要求。面臨眾多分析物、“被測(cè)量”和各類疾病的患者,臨床實(shí)驗(yàn)室必須較以往更重視臨床檢驗(yàn)基質(zhì)效應(yīng)以及不同批號(hào)試劑盒間檢測(cè)結(jié)果的差異!

    4.不精密度對(duì)分析靈敏度的影響 EP17文件是確定檢出限值和定量限值的重要文件[11]。對(duì)某個(gè)檢測(cè)系統(tǒng)可報(bào)告的最低分析物濃度的確定依賴于該檢測(cè)系統(tǒng)(方法學(xué))的不精密度水平。如果廠商或臨床實(shí)驗(yàn)室不認(rèn)真進(jìn)行精密度實(shí)驗(yàn),將由錯(cuò)誤的過小的s估計(jì)出“檢出靈敏度”作為自己產(chǎn)品或某個(gè)檢測(cè)系統(tǒng)的最佳檢出限值,那么就會(huì)對(duì)臨床診斷造成危害!

    四、臨床實(shí)驗(yàn)室精密度的問題

    (一)精密度實(shí)驗(yàn)的重復(fù)性問題

    在所有的分析性能中,精密度性能只要進(jìn)行重復(fù)檢測(cè),計(jì)算均值()和s即可。這種做法涉及到多個(gè)問題。

    1.分析物濃度 不同分析物濃度會(huì)影響不精密度中s大小,所以應(yīng)選擇適當(dāng)?shù)姆治鑫餄舛冗M(jìn)行重復(fù)性實(shí)驗(yàn)。

    2.基質(zhì)差異 絕大多數(shù)實(shí)驗(yàn)室直接使用質(zhì)控品進(jìn)行重復(fù)性實(shí)驗(yàn),沒有意識(shí)到質(zhì)控品與患者天然樣品的基質(zhì)差異。隨著臨床對(duì)實(shí)驗(yàn)室的需求不斷增加,實(shí)驗(yàn)室可以開展的分析物或項(xiàng)目的不斷增多,臨床實(shí)驗(yàn)室需要隨時(shí)注意在檢測(cè)某些特殊分析物時(shí)真實(shí)樣品與質(zhì)控品的顯著差異。此時(shí)就需使用患者真實(shí)樣品或其混合物(混合血清)進(jìn)行分析性能評(píng)估及開展質(zhì)量控制。

    3.精密度估計(jì)的重要性 目前,臨床實(shí)驗(yàn)室無論在評(píng)估某檢測(cè)系統(tǒng)精密度性能還是開展質(zhì)量控制時(shí)均忽略了精密度估計(jì)的重要性。更有甚者,直接使用每天質(zhì)量控制的重復(fù)數(shù)據(jù)計(jì)算不精密度。該數(shù)據(jù)既是該檢測(cè)系統(tǒng)的精密度,又是開展質(zhì)量控制的基礎(chǔ)資料。但是,我們是否注意到,采用某個(gè)檢測(cè)系統(tǒng)或方法對(duì)樣品連做20次重復(fù)檢測(cè),計(jì)算和s,得出該檢測(cè)系統(tǒng)或方法的精密度;若再次進(jìn)行這樣的批內(nèi)重復(fù)檢測(cè),可以發(fā)現(xiàn)兩次精密度結(jié)果不一致!多年前,某雜志上的一篇有關(guān)精密度的文章引起了討論。經(jīng)詢問,作者為了突出自己報(bào)道的檢測(cè)方法的性能,在多組重復(fù)檢測(cè)數(shù)據(jù)中找出s最小的一組數(shù)據(jù)作為該檢測(cè)方法的性能資料。而讀者僅做幾次這樣的重復(fù)檢測(cè)實(shí)驗(yàn),計(jì)算得出的s總是比該篇文章的大,因此認(rèn)為該篇文章的數(shù)據(jù)是捏造的。在設(shè)計(jì)一個(gè)評(píng)價(jià)實(shí)驗(yàn)時(shí),必須事先就決定如何很好地確定檢測(cè)設(shè)備的實(shí)際精密度。每運(yùn)行一次精心設(shè)計(jì)的精密度方案,就會(huì)得到檢測(cè)設(shè)備精密度的一個(gè)估計(jì)值。盡管檢測(cè)設(shè)備的實(shí)際精密度是相同的。但當(dāng)相同實(shí)驗(yàn)室相同檢測(cè)設(shè)備再次運(yùn)行相同方案時(shí)將得到一個(gè)不同的精密度估計(jì)值。這些精密度的估計(jì)值預(yù)期會(huì)環(huán)繞分布于一個(gè)“真值”的周圍。觀察得到的估計(jì)值越多,“真實(shí)”精密度的周圍也就更緊密。一般來說,觀察數(shù)越大,一個(gè)估計(jì)值的可信性就越大;估計(jì)值的可信性越大,對(duì)檢出性能的“統(tǒng)計(jì)功效”也就越大。所以,臨床實(shí)驗(yàn)室一定要認(rèn)真重視自己的實(shí)驗(yàn)工作,記錄每天開展的質(zhì)量控制使用的和s,將每月的質(zhì)量控制數(shù)據(jù)累積計(jì)算,求出真實(shí)的和s,這樣才如實(shí)地反映實(shí)驗(yàn)室的狀態(tài)。

    4.EP5文件[3]精密度實(shí)驗(yàn)方案的主要做法 EP5文件中提出的“批內(nèi)不精密度”、“批間不精密度”的實(shí)驗(yàn)方案是較客觀地反映真實(shí)不精密度的估計(jì)??上?,國(guó)內(nèi)大多實(shí)驗(yàn)室并沒有這樣去做。期望大家能花點(diǎn)精力,認(rèn)真學(xué)習(xí)EP5文件中的實(shí)驗(yàn)方案。EP5文件的做法可以概括成幾句話:每天做2批、每批做2份、連做20 d;每批2個(gè)結(jié)果間的差異就是該樣品該批檢測(cè)不精密度的具體表現(xiàn)。每天上、下午各做一批,最后的數(shù)據(jù)為20 d、40對(duì)、80個(gè)。將40對(duì)結(jié)果間的不精密度差異合在一起就會(huì)得到較客觀的“批內(nèi)不精密度”的估計(jì)。每批做雙份,每天做2批,將每批結(jié)果求,它代表了這批檢測(cè)的平均水平。1 d內(nèi)兩批結(jié)果間的差異表明了每天檢測(cè)“批間”的不精密度差異。將20 d的“批間”差異合在一起統(tǒng)計(jì),得到了20 d內(nèi)批間不精密度的估計(jì)。由于這一估計(jì)必然包含了批內(nèi)不精密度的影響,那么通過方差估計(jì)的計(jì)算就可以得到批間不精密度的估計(jì)。每批做雙份、每天做2批,則2批4個(gè)結(jié)果的(也可以是各批結(jié)果的)代表當(dāng)天對(duì)該樣品檢測(cè)的平均水平。一共檢測(cè)了20 d,有20個(gè)每天的檢測(cè)。將這些求一個(gè)總(也可以用80個(gè)結(jié)果計(jì)算)。所有每天對(duì)總的離散程度就是實(shí)驗(yàn)室“天間”的不精密度估計(jì)。將批內(nèi)不精密度的s、批間不精密度的s和天間不精密度的s以方差的形式疊加,得到這20 d在同一檢驗(yàn)人員操作下,同一檢測(cè)系統(tǒng)對(duì)同一實(shí)驗(yàn)樣品的精密度估計(jì)。多年前將這樣的估計(jì)稱為“總不精密度”估計(jì),現(xiàn)在認(rèn)為這個(gè)名稱不妥當(dāng),改稱為“實(shí)驗(yàn)室內(nèi)精密度(within-laboratory precision)”。

    (二)EP5文件能否反映真實(shí)不精密度水平

    EP5文件這樣認(rèn)真的實(shí)驗(yàn)方案是否能很完美地反映臨床實(shí)驗(yàn)室中檢測(cè)系統(tǒng)對(duì)分析物的真實(shí)不精密度水平?30年前,起草EP5文件的專家們就已經(jīng)想的很多、很遠(yuǎn)。他們是臨床實(shí)驗(yàn)室專家、質(zhì)量管理專家、統(tǒng)計(jì)學(xué)專家、臨床專家和行政管理官員等的完整組合。

    1.EP5文件的目的 起草EP5文件的專家們首先考慮的是該文件的目的。EP5文件是為體外診斷(IVD)設(shè)備廠商和臨床實(shí)驗(yàn)室方法的開發(fā)者們建立他們方法的精密度能力,也為這些方法的用戶們確認(rèn)性能聲明的驗(yàn)證,或度量他們自己的精密度。自動(dòng)檢測(cè)程序的用戶僅使用最簡(jiǎn)單的方案驗(yàn)證廠商精密度聲明應(yīng)按照EP15-A2文件(用戶展示精密度和準(zhǔn)確度性能)進(jìn)行。該導(dǎo)則對(duì)以上情況是完全通用的,因?yàn)樗丝紤]精密度估計(jì)可靠性的目標(biāo)。EP5文件也適用于對(duì)近期方法做了顯著修改的實(shí)驗(yàn)室。當(dāng)使用修改的某個(gè)IVD設(shè)備或方法時(shí),用戶需要確認(rèn)設(shè)備的基本性能特性沒有改變,但與原有聲明精密度性能進(jìn)行比較可能不是有效的。典型修改的示例是使用的試劑、樣品來源、校準(zhǔn)或質(zhì)控物質(zhì)或操作程序等不同于廠商使用說明中規(guī)定的。

    2.在精密度性能確認(rèn)和驗(yàn)證上的要求有區(qū)別 針對(duì)我國(guó)大多實(shí)驗(yàn)室均為“已經(jīng)修改了原廠商檢測(cè)系統(tǒng)組成”的情況,所以不能簡(jiǎn)單地去驗(yàn)證性能,應(yīng)該是去確認(rèn)性能(即建立實(shí)驗(yàn)室自行組合的檢測(cè)系統(tǒng)的性能)或是建立新組合的檢測(cè)系統(tǒng)的分析性能。因此,應(yīng)使用EP5文件的方案確認(rèn)精密度性能。

    3.實(shí)驗(yàn)時(shí)間長(zhǎng)短對(duì)精密度性能的影響 EP5文件的實(shí)驗(yàn)設(shè)計(jì)著重考慮了實(shí)驗(yàn)時(shí)間長(zhǎng)短對(duì)精密度性能的影響。由于已經(jīng)考慮到許多因素會(huì)影響精密度的結(jié)果,所以EP5文件設(shè)計(jì)方案中已經(jīng)規(guī)定了在一臺(tái)儀器上,一個(gè)批號(hào)的試劑、一個(gè)批號(hào)的校準(zhǔn)品、一個(gè)操作人員的條件下得到的不精密度水平。在這樣的條件下,實(shí)驗(yàn)時(shí)間成為最重要的因素,用以區(qū)分不同的精密度結(jié)果。用來敘述與實(shí)驗(yàn)時(shí)間有關(guān)的精密度詞語有重復(fù)性(repeatability)、批間精密度(between-run precision)、天間精密度(between-day precision)、實(shí)驗(yàn)室內(nèi)精密度(within-laboratory precision)。在這些精密度中,重復(fù)性和實(shí)驗(yàn)室內(nèi)精密度一般是最受重視的。EP5文件的實(shí)驗(yàn)設(shè)計(jì)沒有合并或特別單獨(dú)估計(jì)其它可能的重要變異來源,如校準(zhǔn)品或試劑批號(hào)的差異、或技師/操作人員的差異;但是廠商應(yīng)包括這樣的因素以及在不同場(chǎng)地的設(shè)備間的變異。影響精密度的其它因素如樣品準(zhǔn)備、檢測(cè)材料穩(wěn)定性、交叉污染和漂移等被包括在本方案中作為實(shí)驗(yàn)室內(nèi)部精密度的來源,但沒有分別估計(jì)。在EP5文件完整的方案中會(huì)使用一個(gè)批號(hào)的試劑和校準(zhǔn)品,但結(jié)果的解釋(在合適時(shí)明確標(biāo)記)必須包括這個(gè)事實(shí),因?yàn)檫@樣的結(jié)果會(huì)低估長(zhǎng)期實(shí)驗(yàn)室內(nèi)(或設(shè)備內(nèi))精密度。引入多批試劑和校準(zhǔn)品將增加觀察的變異,盡管實(shí)驗(yàn)方案中沒有允許分別估計(jì)這些因素的影響,但會(huì)較好地反映檢測(cè)系統(tǒng)在實(shí)際使用中的真實(shí)的精密度性能。

    4.我的理解 上述內(nèi)容明確告訴我們,在估計(jì)某個(gè)檢測(cè)系統(tǒng)的精密度性能時(shí),越與日常檢驗(yàn)工作接軌就越真實(shí)。因此,在估計(jì)精密度時(shí)不僅需要如EP5文件要求的20 d、40批、80個(gè)結(jié)果的做法;而且還應(yīng)考慮多個(gè)操作人員輪班操作、換用不同批號(hào)的試劑和/或校準(zhǔn)品、重新校準(zhǔn)等因素,將這些日常的變異因素加入到精密度估計(jì)的影響因素中,得到真實(shí)的精密度水平。但決不可加入隨意更換試劑廠商、隨意調(diào)整計(jì)算因子等不規(guī)范行為造成的影響因素!

    五、驗(yàn)證實(shí)驗(yàn)室精密度性能

    1.驗(yàn)證精密度的問題 當(dāng)前的實(shí)驗(yàn)室管理要求中規(guī)定實(shí)驗(yàn)室在使用檢測(cè)系統(tǒng)檢測(cè)患者樣品、發(fā)出檢測(cè)報(bào)告前必須驗(yàn)證檢測(cè)系統(tǒng)的分析性能,確認(rèn)其分析性能符合廠商說明書中的聲明(claim)。因此,檢測(cè)系統(tǒng)廠商建立的分析性能必須要比臨床實(shí)驗(yàn)室的常規(guī)檢測(cè)更加嚴(yán)格。CLSI EP5文件中對(duì)廠商建立分析性能也提出了相應(yīng)的建議。國(guó)內(nèi)外有那么多試劑、儀器組成的各種不同的檢測(cè)系統(tǒng)均被我國(guó)CFDA批準(zhǔn)準(zhǔn)許銷售。但是各家廠商在建立分析性能的嚴(yán)密性上各不相同。按照美國(guó)政府的認(rèn)識(shí),無論FDA對(duì)IVD產(chǎn)品的管理還是CLIA對(duì)臨床實(shí)驗(yàn)室的管理均代表政府行為。因此,臨床實(shí)驗(yàn)室使用的IVD產(chǎn)品必須得到FDA的批準(zhǔn);臨床實(shí)驗(yàn)室在使用前必須按照CLIA要求對(duì)分析性能進(jìn)行驗(yàn)證(驗(yàn)收)。驗(yàn)證的指標(biāo)就是廠商的分析性能聲明!所以,廠商的分析性能指標(biāo)就成為國(guó)家要求實(shí)驗(yàn)室“遵守”的要求!那么在驗(yàn)證中,臨床實(shí)驗(yàn)室得到的精密度性能如何與廠商聲明的精密度性能進(jìn)行比較呢?現(xiàn)在的做法很簡(jiǎn)單:在與廠商精密度指標(biāo)采用的分析物濃度幾近一致的條件下,只要臨床實(shí)驗(yàn)室得到的s低于廠商的指標(biāo),該分析物項(xiàng)目的精密度性能即被驗(yàn)證!但實(shí)驗(yàn)室管理部門從來沒有考慮過:廠商說明書中的精密度指標(biāo)是否符合要求?實(shí)驗(yàn)室的實(shí)驗(yàn)方案是否符合要求?廠商在建立分析性能時(shí)大多會(huì)選擇簡(jiǎn)便的方法。而且為了說明產(chǎn)品質(zhì)量的優(yōu)秀,相關(guān)數(shù)據(jù)也會(huì)選擇偏小的進(jìn)行報(bào)告。因此,臨床實(shí)驗(yàn)室越是認(rèn)真的進(jìn)行相關(guān)實(shí)驗(yàn),得到的精密度數(shù)據(jù)就越客觀,但精密度性能通過驗(yàn)證的機(jī)率也越小!所以沒有臨床實(shí)驗(yàn)室愿意嚴(yán)格按照CLSI EP5文件的要求進(jìn)行相關(guān)實(shí)驗(yàn)。這種做法是當(dāng)今臨床實(shí)驗(yàn)室的嚴(yán)重弊病!也正因?yàn)槿绱?,?dāng)臨床實(shí)驗(yàn)室的精密度指標(biāo)與廠商的精密度指標(biāo)進(jìn)行比較時(shí),兩個(gè)精密度均不確切,很難說明究竟哪個(gè)精密度更真實(shí)!

    2.專家的認(rèn)識(shí) 編制CLSI EP5文件的專家很早就認(rèn)識(shí)到:僅僅將2個(gè)s放在一起比較數(shù)值是不可靠的。值得注意的是,這些比較是一個(gè)濃度下的點(diǎn)的比較!在廠商沒有說明得到s的實(shí)際實(shí)驗(yàn)方案,但產(chǎn)品又獲得政府批準(zhǔn)的情況下,只能假設(shè)廠商s的自由度為無窮大!臨床實(shí)驗(yàn)室的驗(yàn)證實(shí)驗(yàn)也做的很簡(jiǎn)單,最終導(dǎo)致得到的精密度只能是“真實(shí)s”的一個(gè)很粗糙的抽樣,不可靠的因素很多。因此,在臨床實(shí)驗(yàn)室的精密度指標(biāo)與廠商比較時(shí),必須調(diào)整檢測(cè)的自由度(degree of freedom),使兩者標(biāo)準(zhǔn)差的比較在相應(yīng)估計(jì)的自由度下進(jìn)行。

    3.我的膚淺認(rèn)識(shí) Westgard 等[12]提到,在方法評(píng)價(jià)研究中,F(xiàn)檢驗(yàn)有時(shí)候用于比較檢測(cè)方法和比較方法的方差。方差簡(jiǎn)單地說就是s的平方。簡(jiǎn)言之,t檢驗(yàn)用于系統(tǒng)誤差或準(zhǔn)確度;F檢驗(yàn)用于隨機(jī)誤差或精密度。為了進(jìn)行F檢驗(yàn),取實(shí)驗(yàn)方法和比較方法s的平方值,將較大的方差作為分子,較小的方差作為分母,求F值。公式為,式中 s為較大的 s,s為較小的 s。12將計(jì)算得出的F值與統(tǒng)計(jì)表中臨界F值比較。檢驗(yàn)的無效假設(shè)是兩個(gè)比較的方差間沒有差異。自由度一般為檢測(cè)重復(fù)次數(shù)(n)減1,即“n-1”。按照兩個(gè)s的自由度分別從F臨界值表中尋找相應(yīng)F臨界值。當(dāng)觀察(計(jì)算)的F值>臨界F值,無效假設(shè)不成立,即方差或隨機(jī)誤差間的差異有統(tǒng)計(jì)學(xué)意義。若計(jì)算得出的F值<臨界F值,則無效假設(shè)成立,在統(tǒng)計(jì)學(xué)上兩個(gè)s無差異。我的統(tǒng)計(jì)學(xué)起步就是從這里開始的。所以,我一直認(rèn)為:要比較s的大小就做F檢驗(yàn)。

    4.CLSI專家的啟示 在比較臨床實(shí)驗(yàn)室按CLSI EP5文件和EP15文件得出的精密度結(jié)果與廠商聲明的一致性上,CLSI導(dǎo)則使用了卡方檢驗(yàn),而不是使用F檢驗(yàn),這是基于以下的考慮:在廠商說明書的精密度表中,“聲明”代表了有關(guān)行政機(jī)構(gòu)批準(zhǔn)的標(biāo)記(labeled)s。我對(duì)這段話的理解是廠商的s經(jīng)FDA批準(zhǔn)后已經(jīng)成為實(shí)驗(yàn)室必須要實(shí)現(xiàn)的目標(biāo)。但是,廠商沒有明確說明他們的精密度具體是怎樣得到的,因此不可能按F檢驗(yàn)的要求確定與廠商估計(jì)有關(guān)的自由度。同時(shí)廠商也沒有明確說明在重復(fù)性實(shí)驗(yàn)中是否進(jìn)行多個(gè)試劑批號(hào)、多個(gè)儀器的實(shí)驗(yàn)。所以臨床實(shí)驗(yàn)室在處理廠商說明書中的值時(shí)沒有方法可供選擇,但又處于必須去評(píng)估估計(jì)自由度的境地。再者,正如前所述,臨床實(shí)驗(yàn)室實(shí)驗(yàn)得出的s也有很多不足的地方。那么,如何來比較臨床實(shí)驗(yàn)室和廠商聲明中的精密度?一個(gè)做法是調(diào)整比較時(shí)的自由度。一般來說,自由度越小(即重復(fù)檢測(cè)次數(shù)越少),得到的抽樣s值的可信性就越差,即s的可信區(qū)間很大。F檢驗(yàn)的自由度由兩個(gè)進(jìn)行比較的實(shí)驗(yàn)各自的重復(fù)次數(shù)決定,無法進(jìn)行調(diào)整。所以在統(tǒng)計(jì)功效上的能力較差。相比之下,卡方檢驗(yàn)在比較s的差異上具有較好的統(tǒng)計(jì)功效。這也是我以往不懂的地方,至今對(duì)此概念依然非常模糊。請(qǐng)教工業(yè)上的有關(guān)專家,他們告知在統(tǒng)計(jì)學(xué)上確實(shí)有使用卡方檢驗(yàn)比較s的方法[13]。

    5.與廠商聲明的比較 臨床實(shí)驗(yàn)室通過上述實(shí)驗(yàn)得到的精密度估計(jì)應(yīng)與廠商聲明的精密度進(jìn)行比較。可以采用以下敘述的卡方檢驗(yàn)進(jìn)行統(tǒng)計(jì)。為使用這個(gè)方法,廠商的性能聲明中被表示為一個(gè)點(diǎn)的估計(jì)(即一個(gè)s)。重復(fù)性和綜合精密度的估計(jì)應(yīng)分別進(jìn)行比較。性能聲明標(biāo)準(zhǔn)差(σr)須注明??ǚ綑z驗(yàn)使用了臨床實(shí)驗(yàn)室和廠商重復(fù)性估計(jì)的平方,必須知道臨床實(shí)驗(yàn)室估計(jì)的批內(nèi)方差與自由度的關(guān)系。在本方案敘述的實(shí)驗(yàn)中將具有用來計(jì)算批內(nèi)s的數(shù)據(jù)成對(duì)(即批內(nèi)重復(fù)檢測(cè))那樣大的自由度,這樣就等于實(shí)驗(yàn)中的批數(shù)(以R表示)??ǚ綑z驗(yàn)涉及的計(jì)算如下式中為臨床實(shí)驗(yàn)室估計(jì)的重復(fù)性變異方差為廠商重復(fù)性變異聲明的方差、R為批的總數(shù)(為的自由度)。實(shí)驗(yàn)室內(nèi)(設(shè)備內(nèi))的精密度與廠商聲明進(jìn)行比較應(yīng)使用上述一樣的卡方檢驗(yàn)。計(jì)算實(shí)驗(yàn)室內(nèi)標(biāo)準(zhǔn)差(sT)實(shí)際自由度涉及了復(fù)雜的計(jì)算,不像重復(fù)性估計(jì)那樣簡(jiǎn)便。因?yàn)樵谠搶?shí)驗(yàn)的設(shè)計(jì)和統(tǒng)計(jì)檢驗(yàn)的做法上,不是以所有實(shí)驗(yàn)測(cè)定值相互獨(dú)立為前提,因此不可以像以往的做法那樣將實(shí)驗(yàn)觀察數(shù)-1就成為了自由度的估計(jì),需要采用較特殊的方法進(jìn)行實(shí)驗(yàn)數(shù)據(jù)自由度的估計(jì)。例如以下公式中ST的自由度就是考慮了實(shí)驗(yàn)數(shù)據(jù)相互非獨(dú)立的情況。公式式中為用戶估計(jì)的實(shí)驗(yàn)室內(nèi)(設(shè)備內(nèi))s的平方值為廠商聲明的設(shè)備s的平方或醫(yī)學(xué)上要求的s的平方、T為sT的自由度(即實(shí)驗(yàn)室內(nèi)精密度比較的自由度)。T的計(jì)算較復(fù)雜,公式為設(shè):ME為批內(nèi)均方差或重復(fù)性方差);MR=2A2(所有批的均方差);MD=4B2(所有天的均方差);I為實(shí)驗(yàn)天數(shù);A和B將在“附錄”中介紹。將計(jì)算的“自由度”(T)代入前述的公式,計(jì)算出實(shí)驗(yàn)室內(nèi)s與廠商聲明s比較的卡方值。在相應(yīng)自由度下與臨界卡方值比較。計(jì)算得出的卡方值<臨界卡方值,表示實(shí)驗(yàn)室內(nèi)s與廠商聲明差異無統(tǒng)計(jì)學(xué)意義;反之,則為差異有統(tǒng)計(jì)學(xué)意義。

    六、總結(jié)

    1.精密度性能是醫(yī)學(xué)檢驗(yàn)的基礎(chǔ) 由于醫(yī)學(xué)檢驗(yàn)的特殊性,全球臨床實(shí)驗(yàn)室在對(duì)每份患者標(biāo)本進(jìn)行分析物檢測(cè)時(shí),如無特殊情況,均對(duì)每個(gè)分析物只做單次檢測(cè)就發(fā)出檢驗(yàn)報(bào)告。臨床和患者對(duì)檢測(cè)結(jié)果是否滿意取決于實(shí)驗(yàn)室再做一次檢測(cè)的結(jié)果與前次結(jié)果是否一致。因此重復(fù)性是臨床實(shí)驗(yàn)室檢測(cè)最重要的方面,千萬不可忽視。

    2.認(rèn)真學(xué)習(xí)EP5文件 30余年前,美國(guó)臨床實(shí)驗(yàn)室標(biāo)準(zhǔn)化委員會(huì)(NCCLS)已經(jīng)考慮到多方需求和影響精密度的各個(gè)因素,編寫了EP5文件。完成一個(gè)重復(fù)性實(shí)驗(yàn)的方式有多種。為了患者樣品檢測(cè)結(jié)果的可靠性,必須充分考慮眾多影響因素,以適當(dāng)?shù)姆绞降玫娇煽康木芏裙烙?jì)。我已在臨床實(shí)驗(yàn)室領(lǐng)域內(nèi)工作和學(xué)習(xí)50年了,但是還有許多方面需要我繼續(xù)努力學(xué)習(xí)的。我將精密度視為臨床實(shí)驗(yàn)室的關(guān)鍵所在。幾乎所有的臨床檢驗(yàn)問題均由此產(chǎn)生。因此關(guān)注和重視精密度性能是解決臨床檢驗(yàn)問題的基礎(chǔ)和起點(diǎn)。我愿意與臨床實(shí)驗(yàn)室的同道們一起,為提高臨床實(shí)驗(yàn)室的地位而努力。臨床實(shí)驗(yàn)室的地位只能靠自己去爭(zhēng)取,依靠自身的提升,得到臨床和患者的認(rèn)可。在與CLSI專家的交流中,Dr.Neill Carey告訴我:“EP15-A2文件中的方法比較實(shí)驗(yàn)將在EP15-A3中刪除;在EP15-A3文件中,我們不再比較兩個(gè)方法的精密度估計(jì)。我們做了實(shí)驗(yàn),評(píng)估EP15(A2和A3)文件中一個(gè)方法的精密度。我們比較了觀察(計(jì)算)得到的s與廠商聲明的s。為了了解觀察到的s是否真的超過廠商聲明的s,我們計(jì)算了廠商聲明中s的確認(rèn)限值,將觀察到的s與確認(rèn)限值做比較。如果觀察到的s超出確認(rèn)限值,即觀察到的 s確實(shí)高于廠商聲明的 s,僅有5%的可能性是因?yàn)殡S機(jī)所致。”這兩個(gè)文件將于今年6月正式發(fā)布。由于上述的實(shí)驗(yàn)結(jié)果,專家們?cè)谛碌奈募胁辉僖笈R床實(shí)驗(yàn)室對(duì)驗(yàn)證中實(shí)驗(yàn)精密度超過廠商聲明進(jìn)行統(tǒng)計(jì)檢驗(yàn)。這無疑是簡(jiǎn)化了驗(yàn)證程序。

    附錄:EP5文件實(shí)驗(yàn)室內(nèi)精密度估計(jì)

    實(shí)驗(yàn)方案:對(duì)穩(wěn)定的實(shí)驗(yàn)樣品每天做2批實(shí)驗(yàn),批間相隔的時(shí)間不少于2 h;每批實(shí)驗(yàn)均對(duì)樣品做雙份檢測(cè);共做20 d。一共有40對(duì)、80個(gè)結(jié)果。每對(duì)結(jié)果間的差是每批的批內(nèi)差。20 d內(nèi)共做了40批,這些差值的歸納客觀反映了較長(zhǎng)時(shí)間周期內(nèi)的批內(nèi)不精密度。對(duì)每批實(shí)驗(yàn)的雙份結(jié)果以表示平均水平,每天做2批,2批之間的差表示這一天的批間差;20 d有20個(gè)批間差,對(duì)這些差值進(jìn)行統(tǒng)計(jì)后,減去其中批內(nèi)差,即為真正的批間不精密度。每天做2批,有2個(gè)批,再求每天的,表示每天4個(gè)結(jié)果的平均水平,20 d有20個(gè)天,這些之間的差即為天間差,扣除內(nèi)含的批間差因素就是真正的天間不精密度。將批內(nèi)、批間和天間的不精密度以方差形式相加,可得到樣品下的實(shí)驗(yàn)室內(nèi)s,它可客觀地反映真正的實(shí)驗(yàn)室內(nèi)不精密度。

    下述統(tǒng)計(jì)公式基于上述雙份檢測(cè)得出的s。

    1.批內(nèi)不精密度的標(biāo)準(zhǔn)差(s批內(nèi))

    式中:I為實(shí)驗(yàn)總天數(shù);i=1為總和從第1天開始計(jì);2表示1 d內(nèi)實(shí)驗(yàn)的批數(shù),j表示批數(shù)的序號(hào)(只能是1和2,因?yàn)槊刻熳?批;j=1表示總和要從每天的第1批開始計(jì));4I表示組成總和的實(shí)驗(yàn)數(shù)據(jù)的個(gè)數(shù)(如果做了20 d,則I為20、4I為80)。

    2.批間變異的估計(jì)值(A)

    3.天間變異估計(jì)值(B)

    4.天間標(biāo)準(zhǔn)差(s天間)由B值可求s天間,公式為。s天間的方差是從B2中減去1/2批間方差估計(jì)值,扣除了天間方差中批間方差的因素,成為真正的天間s。在具體計(jì)算時(shí),會(huì)出現(xiàn)B2<1/2 A2,使差值為負(fù)數(shù)。這說明天間變異幾乎都是由批間變異形成的,所以就直接令s天間為0。

    5.實(shí)驗(yàn)室內(nèi)標(biāo)準(zhǔn)差(s總) 最后,可以按照方差和的方式將批內(nèi)s、批間s和天間s結(jié)合起來求出s總。公式為。

    [1]§493.1253 Standard:establishment and verification of performance specifications[EB/OL].(2003-08-22)[2014-06-05]http://www.gpo.gov/fdsys/pkg/CFR-2003-title42-vol3/xml/CFR-2003-title42-vol3-part493.xml#seqnum493.1253.

    [2]Joint Committee for Guides in M etrology.International vocabulary of metrology-Basic and general concepts and associated terms(VIM)[S].3rd edition.JCGM 200:2012(E/F),JCGM,2012.

    [3]National Committee for Clinical Laboratory Standards.Evaluation of precision performance of quantitative measurement methods[S].EP05-A2,NCCLS,2004.

    [4]Clinical and Laboratory Standard Institute.User verification of performance for precision and trueness[S].EP15-A2,CLSI,2005.

    [5]金丕煥,陳 峰.醫(yī)用統(tǒng)計(jì)方法[M].第3版.上海:復(fù)旦大學(xué)出版社,2009:1-761.

    [6]Netrella MG.實(shí)驗(yàn)統(tǒng)計(jì)學(xué)[M].毛鎮(zhèn)道,蔣子剛,譯.上海:上海翻譯出版公司,1990:351-356.

    [7]National Committee for Clinical Laboratory Standards.Proposed guideline for user evaluation of performance of clinical chemistry devices[S].EP05-P,NCCLS,1982.

    [8]National Committee for Clinical Laboratory Standards.Method comparison and bias estimation using patient samples[S].EP9-A2,NCCLS,2002.

    [9]National Committee for Clinical Laboratory Standards.Evaluation of the linearity of quantitative measurement procedures;a statistical approach[S].EP6-A,NCCLS,2003.

    [10]Clinical and Laboratory Standard Institute.Evaluation of matrix effects[S].EP14-A2,CLSI,2005.

    [11]National Committee for Clinical Laboratory Standards.Protocols for determination of limits of detection and limits of quantitative[S].EP17-A,NCCLS,2004.

    [12]Westgard JO,de Vos DJ,Hunt MR,et al.Concepts and practices in the evaluation of clinical chemistry methods.Ⅲ:statistics[J].Am J Med Technol,1978,44(6):552-571.

    [13]Sheskin DJ.Handbook of parametric and nonparametric statistical procedures[M].3rd Edition.New York:Chapman& Hall/CRC,2003:1-1193.

    猜你喜歡
    精密度方差廠商
    方差怎么算
    概率與統(tǒng)計(jì)(2)——離散型隨機(jī)變量的期望與方差
    玩具廠商及合作機(jī)構(gòu)新年進(jìn)步
    Phosphatidylinositol-3,4,5-trisphosphate dependent Rac exchange factor 1 is a diagnostic and prognostic biomarker for hepatocellular carcinoma
    副波長(zhǎng)對(duì)免疫比濁法檢測(cè)尿微量清蛋白精密度的影響
    計(jì)算方差用哪個(gè)公式
    廠商對(duì)北京卡車市場(chǎng)不抱希望
    汽車觀察(2018年10期)2018-11-06 07:05:32
    方差生活秀
    海水U、Th長(zhǎng)壽命核素的高精密度MC-ICP-MS測(cè)定方法
    電視廠商與好萊塢公司將制訂超高清標(biāo)準(zhǔn)
    聲屏世界(2015年2期)2015-03-11 18:31:32
    国产在视频线精品| 久久天躁狠狠躁夜夜2o2o| 80岁老熟妇乱子伦牲交| 久久精品国产a三级三级三级| 女性被躁到高潮视频| 最近最新中文字幕大全电影3 | 大型黄色视频在线免费观看| 色老头精品视频在线观看| 一级毛片高清免费大全| 欧美中文综合在线视频| 成人国语在线视频| 性少妇av在线| 欧美成狂野欧美在线观看| 亚洲国产精品一区二区三区在线| 国产有黄有色有爽视频| 久久久国产精品麻豆| 一本一本久久a久久精品综合妖精| 午夜福利欧美成人| 丁香欧美五月| 婷婷精品国产亚洲av在线 | 久久人妻熟女aⅴ| 99在线人妻在线中文字幕 | 自拍欧美九色日韩亚洲蝌蚪91| 黄色片一级片一级黄色片| 母亲3免费完整高清在线观看| 极品教师在线免费播放| 亚洲中文av在线| 99精品欧美一区二区三区四区| 久久久精品免费免费高清| 一级a爱片免费观看的视频| 午夜影院日韩av| 国产深夜福利视频在线观看| 精品一区二区三区视频在线观看免费 | 俄罗斯特黄特色一大片| av欧美777| 精品人妻1区二区| 国产成人欧美| 在线观看免费视频日本深夜| 老熟妇乱子伦视频在线观看| 黄色毛片三级朝国网站| 我的亚洲天堂| 欧美成人免费av一区二区三区 | 午夜久久久在线观看| 午夜成年电影在线免费观看| 色综合欧美亚洲国产小说| 99久久国产精品久久久| 亚洲人成电影免费在线| 国产国语露脸激情在线看| 热99re8久久精品国产| 亚洲色图 男人天堂 中文字幕| 欧美亚洲 丝袜 人妻 在线| 高清毛片免费观看视频网站 | 亚洲精品在线美女| 亚洲成人免费电影在线观看| 757午夜福利合集在线观看| 美国免费a级毛片| 美国免费a级毛片| 国产免费男女视频| 欧美 亚洲 国产 日韩一| 香蕉久久夜色| av国产精品久久久久影院| 黄片播放在线免费| 多毛熟女@视频| 校园春色视频在线观看| aaaaa片日本免费| 极品人妻少妇av视频| 国产精品秋霞免费鲁丝片| 人人妻人人澡人人看| 中文字幕人妻熟女乱码| 在线观看日韩欧美| 女警被强在线播放| 操美女的视频在线观看| 首页视频小说图片口味搜索| 国产亚洲欧美98| 狂野欧美激情性xxxx| a级毛片在线看网站| 免费观看人在逋| 欧美日韩乱码在线| 90打野战视频偷拍视频| 日韩视频一区二区在线观看| 国产免费现黄频在线看| 精品久久久久久久毛片微露脸| 国产精品自产拍在线观看55亚洲 | 久久午夜综合久久蜜桃| 久久热在线av| 怎么达到女性高潮| 一区二区三区国产精品乱码| 丝袜美足系列| 久久精品亚洲精品国产色婷小说| 免费日韩欧美在线观看| 国产精品国产高清国产av | 少妇裸体淫交视频免费看高清 | 人妻久久中文字幕网| 国产激情久久老熟女| 法律面前人人平等表现在哪些方面| 夫妻午夜视频| 色尼玛亚洲综合影院| 人人妻人人添人人爽欧美一区卜| 久久人人爽av亚洲精品天堂| 黄色a级毛片大全视频| 人妻丰满熟妇av一区二区三区 | 国产高清视频在线播放一区| 韩国精品一区二区三区| 午夜影院日韩av| av欧美777| 久久中文看片网| 岛国毛片在线播放| 成在线人永久免费视频| 亚洲av熟女| 十八禁人妻一区二区| 一区在线观看完整版| 国产成人一区二区三区免费视频网站| 国产亚洲欧美98| 国产精品永久免费网站| 人人澡人人妻人| 美女福利国产在线| 好看av亚洲va欧美ⅴa在| 亚洲一区中文字幕在线| 丰满饥渴人妻一区二区三| 91字幕亚洲| 精品久久久久久,| 80岁老熟妇乱子伦牲交| 日本精品一区二区三区蜜桃| 叶爱在线成人免费视频播放| a级毛片在线看网站| 国产欧美日韩一区二区精品| 免费在线观看亚洲国产| av网站在线播放免费| 91大片在线观看| 在线观看免费高清a一片| 国产精品久久久久成人av| 777久久人妻少妇嫩草av网站| 在线观看www视频免费| 欧美日韩亚洲高清精品| 欧美av亚洲av综合av国产av| 美女午夜性视频免费| 国产一卡二卡三卡精品| videosex国产| 欧美在线一区亚洲| 一区二区三区精品91| 国产精品美女特级片免费视频播放器 | 黑人欧美特级aaaaaa片| 看黄色毛片网站| 国产精品乱码一区二三区的特点 | 黄频高清免费视频| 亚洲精品自拍成人| 久久香蕉激情| 夜夜夜夜夜久久久久| 国内久久婷婷六月综合欲色啪| 黄色怎么调成土黄色| av电影中文网址| 国产视频一区二区在线看| 91字幕亚洲| 亚洲第一av免费看| 99国产精品免费福利视频| 国产三级黄色录像| 亚洲九九香蕉| 男人的好看免费观看在线视频 | 国产精品香港三级国产av潘金莲| 欧美激情 高清一区二区三区| 人人妻人人澡人人爽人人夜夜| 国产精品久久久久久人妻精品电影| av超薄肉色丝袜交足视频| 波多野结衣一区麻豆| 久久精品国产99精品国产亚洲性色 | 久久香蕉激情| 久久久久国产一级毛片高清牌| 一级片'在线观看视频| 搡老熟女国产l中国老女人| 国产精品99久久99久久久不卡| 美女视频免费永久观看网站| 亚洲 国产 在线| av欧美777| 成人亚洲精品一区在线观看| 天天操日日干夜夜撸| 国产精品偷伦视频观看了| 极品人妻少妇av视频| 在线播放国产精品三级| 亚洲av片天天在线观看| 又紧又爽又黄一区二区| videos熟女内射| 久久久精品免费免费高清| 国产亚洲欧美在线一区二区| а√天堂www在线а√下载 | 又黄又粗又硬又大视频| 精品少妇一区二区三区视频日本电影| 日韩欧美国产一区二区入口| 久久天堂一区二区三区四区| 成人亚洲精品一区在线观看| a在线观看视频网站| 亚洲免费av在线视频| 欧美国产精品一级二级三级| 啦啦啦视频在线资源免费观看| 成年人午夜在线观看视频| 老熟妇仑乱视频hdxx| 日韩 欧美 亚洲 中文字幕| www.999成人在线观看| 亚洲七黄色美女视频| 亚洲色图 男人天堂 中文字幕| 成年女人毛片免费观看观看9 | 国产精品98久久久久久宅男小说| 好男人电影高清在线观看| 80岁老熟妇乱子伦牲交| 亚洲人成77777在线视频| 十八禁人妻一区二区| 国产精品亚洲av一区麻豆| 国产99久久九九免费精品| 久久久久国产精品人妻aⅴ院 | 久久精品亚洲av国产电影网| 婷婷丁香在线五月| 淫妇啪啪啪对白视频| 欧美精品啪啪一区二区三区| 国产欧美日韩一区二区三区在线| 在线永久观看黄色视频| 午夜亚洲福利在线播放| 午夜精品久久久久久毛片777| 精品欧美一区二区三区在线| 人人妻人人添人人爽欧美一区卜| 国产精品国产高清国产av | 国产精华一区二区三区| 最新在线观看一区二区三区| 99国产精品99久久久久| 亚洲精品一卡2卡三卡4卡5卡| 国产男靠女视频免费网站| 国产免费av片在线观看野外av| 中文字幕人妻丝袜制服| 99香蕉大伊视频| 搡老乐熟女国产| 国产精品乱码一区二三区的特点 | bbb黄色大片| 精品一区二区三区av网在线观看| 色婷婷久久久亚洲欧美| 久久人人97超碰香蕉20202| 少妇被粗大的猛进出69影院| 精品久久久久久久毛片微露脸| 亚洲五月婷婷丁香| 在线av久久热| 啦啦啦在线免费观看视频4| 欧美精品亚洲一区二区| 涩涩av久久男人的天堂| 国产精品九九99| 日韩大码丰满熟妇| 国产精品久久电影中文字幕 | 三上悠亚av全集在线观看| 黄色女人牲交| 久久久久久久精品吃奶| e午夜精品久久久久久久| 亚洲 欧美一区二区三区| 亚洲精品成人av观看孕妇| 丁香欧美五月| 国产免费现黄频在线看| 两性夫妻黄色片| 国产人伦9x9x在线观看| 久久久久国产精品人妻aⅴ院 | 一级作爱视频免费观看| 久久国产精品人妻蜜桃| 欧美精品啪啪一区二区三区| 精品亚洲成国产av| 午夜福利免费观看在线| 热99re8久久精品国产| 两个人看的免费小视频| 久热爱精品视频在线9| 日韩成人在线观看一区二区三区| 视频区欧美日本亚洲| 免费观看a级毛片全部| 亚洲精品国产色婷婷电影| 午夜激情av网站| 国产在线观看jvid| 国产伦人伦偷精品视频| 两人在一起打扑克的视频| 日日摸夜夜添夜夜添小说| 亚洲成人免费电影在线观看| av欧美777| 狠狠婷婷综合久久久久久88av| 精品国产一区二区久久| 少妇猛男粗大的猛烈进出视频| 久久婷婷成人综合色麻豆| 国产不卡av网站在线观看| 久久天躁狠狠躁夜夜2o2o| 亚洲第一欧美日韩一区二区三区| 亚洲欧美一区二区三区久久| 每晚都被弄得嗷嗷叫到高潮| 曰老女人黄片| 精品人妻1区二区| 国产一区二区三区在线臀色熟女 | 两性夫妻黄色片| 50天的宝宝边吃奶边哭怎么回事| 久久久精品区二区三区| 国产一卡二卡三卡精品| 色精品久久人妻99蜜桃| 亚洲avbb在线观看| 757午夜福利合集在线观看| 天天躁狠狠躁夜夜躁狠狠躁| 久久中文字幕人妻熟女| 很黄的视频免费| 久久国产亚洲av麻豆专区| 纯流量卡能插随身wifi吗| a级片在线免费高清观看视频| 麻豆av在线久日| 免费久久久久久久精品成人欧美视频| 欧美乱码精品一区二区三区| 十八禁高潮呻吟视频| 亚洲性夜色夜夜综合| 久久这里只有精品19| 日日爽夜夜爽网站| 国产高清视频在线播放一区| 亚洲精品国产精品久久久不卡| 女警被强在线播放| 真人做人爱边吃奶动态| 成人国产一区最新在线观看| 啦啦啦 在线观看视频| 国产欧美日韩综合在线一区二区| 日日爽夜夜爽网站| 999久久久国产精品视频| 男女床上黄色一级片免费看| 香蕉国产在线看| 夜夜躁狠狠躁天天躁| 欧美人与性动交α欧美软件| 久久久久久免费高清国产稀缺| 热99久久久久精品小说推荐| 丝袜人妻中文字幕| 成人18禁高潮啪啪吃奶动态图| 国产精品乱码一区二三区的特点 | 日韩熟女老妇一区二区性免费视频| 高清毛片免费观看视频网站 | 丝袜人妻中文字幕| 成人18禁高潮啪啪吃奶动态图| 亚洲精品成人av观看孕妇| 欧美老熟妇乱子伦牲交| 中文欧美无线码| 欧美精品av麻豆av| 一级a爱视频在线免费观看| 热99久久久久精品小说推荐| a在线观看视频网站| 久久久久久久久免费视频了| 亚洲国产欧美日韩在线播放| 捣出白浆h1v1| 18禁黄网站禁片午夜丰满| 一本综合久久免费| 巨乳人妻的诱惑在线观看| 69av精品久久久久久| 黄色丝袜av网址大全| ponron亚洲| 久久精品人人爽人人爽视色| e午夜精品久久久久久久| 国产精品久久久久成人av| av在线播放免费不卡| 久久精品91无色码中文字幕| 制服人妻中文乱码| 老司机靠b影院| 国产av精品麻豆| 欧美黄色淫秽网站| 久久精品亚洲精品国产色婷小说| 天天影视国产精品| 亚洲五月天丁香| 亚洲欧洲精品一区二区精品久久久| 一区二区三区激情视频| 午夜福利在线免费观看网站| 成年女人毛片免费观看观看9 | 久久久国产欧美日韩av| 男女下面插进去视频免费观看| 久久久久精品国产欧美久久久| 999精品在线视频| 久久久国产精品麻豆| 狂野欧美激情性xxxx| 国产精品98久久久久久宅男小说| 亚洲,欧美精品.| 亚洲人成电影免费在线| netflix在线观看网站| 精品国产一区二区三区四区第35| 中亚洲国语对白在线视频| 午夜免费鲁丝| 午夜视频精品福利| 99在线人妻在线中文字幕 | 一进一出抽搐gif免费好疼 | 国产一区二区三区在线臀色熟女 | 99热网站在线观看| a级毛片黄视频| 亚洲,欧美精品.| 国产成人一区二区三区免费视频网站| 午夜福利影视在线免费观看| avwww免费| 久久性视频一级片| 国精品久久久久久国模美| 国产精品影院久久| а√天堂www在线а√下载 | 国产又色又爽无遮挡免费看| a级毛片在线看网站| 久久人妻av系列| 悠悠久久av| 国产一区二区激情短视频| 99久久精品国产亚洲精品| 亚洲va日本ⅴa欧美va伊人久久| 久久亚洲精品不卡| 男人操女人黄网站| 怎么达到女性高潮| 午夜福利视频在线观看免费| 男女之事视频高清在线观看| 91大片在线观看| 久久人人97超碰香蕉20202| 国产伦人伦偷精品视频| 男女高潮啪啪啪动态图| 一进一出抽搐gif免费好疼 | 久久香蕉国产精品| 亚洲成国产人片在线观看| 在线观看www视频免费| 国产三级黄色录像| 大码成人一级视频| 国产亚洲一区二区精品| 很黄的视频免费| 久久久久久久午夜电影 | 精品福利永久在线观看| xxxhd国产人妻xxx| 波多野结衣av一区二区av| 一级,二级,三级黄色视频| 日日摸夜夜添夜夜添小说| 99re在线观看精品视频| 精品亚洲成a人片在线观看| 一区福利在线观看| 男人操女人黄网站| 欧美 亚洲 国产 日韩一| 人妻一区二区av| 日本vs欧美在线观看视频| 九色亚洲精品在线播放| 久久久久久久午夜电影 | 少妇的丰满在线观看| 在线观看免费视频日本深夜| 久久久水蜜桃国产精品网| 777米奇影视久久| 每晚都被弄得嗷嗷叫到高潮| 满18在线观看网站| 怎么达到女性高潮| 国产一区二区三区在线臀色熟女 | 村上凉子中文字幕在线| 久久久久久久久久久久大奶| 啦啦啦视频在线资源免费观看| 国产又色又爽无遮挡免费看| 欧美人与性动交α欧美精品济南到| 好看av亚洲va欧美ⅴa在| 黄色女人牲交| 亚洲人成电影免费在线| 美女国产高潮福利片在线看| 国产一区二区三区综合在线观看| 夜夜夜夜夜久久久久| 国产精品国产高清国产av | 亚洲免费av在线视频| 激情在线观看视频在线高清 | 久久天躁狠狠躁夜夜2o2o| 搡老乐熟女国产| 亚洲全国av大片| 久久精品成人免费网站| 女人爽到高潮嗷嗷叫在线视频| 宅男免费午夜| 日本wwww免费看| 一区二区三区激情视频| 国内毛片毛片毛片毛片毛片| 在线播放国产精品三级| 国产男靠女视频免费网站| 久久九九热精品免费| 中文字幕高清在线视频| 久久精品aⅴ一区二区三区四区| 欧美成狂野欧美在线观看| 女人爽到高潮嗷嗷叫在线视频| 1024香蕉在线观看| 免费不卡黄色视频| 不卡一级毛片| 午夜福利免费观看在线| 在线播放国产精品三级| av中文乱码字幕在线| 免费观看a级毛片全部| 热99国产精品久久久久久7| 中文字幕人妻丝袜一区二区| 国产精品免费大片| 韩国精品一区二区三区| 桃红色精品国产亚洲av| av不卡在线播放| 国产亚洲欧美在线一区二区| svipshipincom国产片| 久久精品国产a三级三级三级| 国产精品久久视频播放| 国产精品久久久久成人av| av有码第一页| 欧美精品av麻豆av| 精品视频人人做人人爽| 久久久精品国产亚洲av高清涩受| 亚洲欧美激情在线| 亚洲aⅴ乱码一区二区在线播放 | avwww免费| 亚洲成国产人片在线观看| ponron亚洲| 日韩大码丰满熟妇| 老司机亚洲免费影院| 啦啦啦 在线观看视频| 亚洲精品国产色婷婷电影| 亚洲成人免费av在线播放| 日韩大码丰满熟妇| 成年人午夜在线观看视频| 成人免费观看视频高清| 正在播放国产对白刺激| 一级a爱片免费观看的视频| 99热国产这里只有精品6| 麻豆成人av在线观看| 精品国产乱码久久久久久男人| 精品国产乱子伦一区二区三区| 亚洲国产精品sss在线观看 | 黄色视频不卡| 国产高清videossex| 亚洲第一av免费看| 久久久国产成人免费| 少妇 在线观看| 午夜福利在线免费观看网站| 午夜免费鲁丝| 国产一卡二卡三卡精品| 熟女少妇亚洲综合色aaa.| 国产在线观看jvid| 精品一区二区三区四区五区乱码| 亚洲中文字幕日韩| 视频区欧美日本亚洲| 窝窝影院91人妻| 一区福利在线观看| 久久久久久亚洲精品国产蜜桃av| 免费在线观看影片大全网站| 嫁个100分男人电影在线观看| 岛国在线观看网站| 91av网站免费观看| 一级毛片精品| 91精品三级在线观看| 国产高清国产精品国产三级| 极品少妇高潮喷水抽搐| 在线观看日韩欧美| 法律面前人人平等表现在哪些方面| 天天影视国产精品| 精品一区二区三区四区五区乱码| 亚洲精品中文字幕在线视频| 嫁个100分男人电影在线观看| 久久香蕉精品热| 久久久久国内视频| 久热爱精品视频在线9| 在线看a的网站| 高清欧美精品videossex| 国产精品.久久久| 久久青草综合色| 日韩欧美一区二区三区在线观看 | 天天躁日日躁夜夜躁夜夜| 19禁男女啪啪无遮挡网站| xxxhd国产人妻xxx| 精品人妻熟女毛片av久久网站| 精品久久久久久久久久免费视频 | 亚洲国产精品合色在线| 一夜夜www| 免费日韩欧美在线观看| 中文字幕另类日韩欧美亚洲嫩草| 99久久99久久久精品蜜桃| 亚洲精品粉嫩美女一区| 亚洲精品久久午夜乱码| 在线免费观看的www视频| 久久精品国产99精品国产亚洲性色 | 午夜精品在线福利| 侵犯人妻中文字幕一二三四区| 亚洲av电影在线进入| 99国产精品99久久久久| 男女床上黄色一级片免费看| 在线播放国产精品三级| 日韩欧美一区视频在线观看| 精品午夜福利视频在线观看一区| 国产在线观看jvid| 亚洲成国产人片在线观看| 乱人伦中国视频| 国产精品美女特级片免费视频播放器 | 国产一卡二卡三卡精品| 成熟少妇高潮喷水视频| 丁香欧美五月| 成人三级做爰电影| 国产又色又爽无遮挡免费看| 老司机午夜十八禁免费视频| 国产精品影院久久| 99热网站在线观看| 好男人电影高清在线观看| 性色av乱码一区二区三区2| 丁香六月欧美| 欧美黄色片欧美黄色片| 制服人妻中文乱码| 精品乱码久久久久久99久播| 91麻豆av在线| 丁香欧美五月| 中出人妻视频一区二区| 国产一区有黄有色的免费视频| 久久久久视频综合| 日本欧美视频一区| 欧美中文综合在线视频| 国产蜜桃级精品一区二区三区 | 精品亚洲成国产av| 亚洲精品乱久久久久久| 日韩 欧美 亚洲 中文字幕| 无人区码免费观看不卡| 一边摸一边做爽爽视频免费| 嫁个100分男人电影在线观看| 久久久久久免费高清国产稀缺| 久久香蕉激情| 亚洲精品在线观看二区| 国产97色在线日韩免费| 国产一区有黄有色的免费视频| 亚洲第一欧美日韩一区二区三区| 伊人久久大香线蕉亚洲五| 日本撒尿小便嘘嘘汇集6| 久久精品国产a三级三级三级| 一级作爱视频免费观看| 亚洲国产欧美日韩在线播放| 成年人黄色毛片网站| 老司机靠b影院| 精品熟女少妇八av免费久了| 日韩欧美国产一区二区入口| 国产97色在线日韩免费| 国产xxxxx性猛交| 法律面前人人平等表现在哪些方面|