王晶,劉彭*
山東農(nóng)業(yè)大學(xué)信息科學(xué)與工程學(xué)院(泰安 271018)
在食品的質(zhì)量檢驗中,基于抽檢數(shù)據(jù)對不同品牌或生產(chǎn)商的同類型產(chǎn)品進行合格品率比較是常遇到的基本問題。這里合格品率常指平均值,而在數(shù)據(jù)分析過程中,比較多個總體的平均值所用的方法為方差分析法。方差分析方法是一種在工農(nóng)業(yè)生產(chǎn)和生物科學(xué)各領(lǐng)域普遍應(yīng)用的數(shù)據(jù)分析方法,它首先被用于農(nóng)業(yè)試驗,在食品科學(xué)、農(nóng)業(yè)、工業(yè)、醫(yī)藥、生物、心理學(xué)、醫(yī)學(xué)、資源環(huán)境等方面均有廣泛應(yīng)用。在試驗設(shè)計問題中每個試驗處理即為數(shù)理統(tǒng)計中的一個總體,在生產(chǎn)和科學(xué)研究中經(jīng)常會遇到3個或3個以上總體(處理)平均數(shù)的比較問題,此時通常采用方差分析法[1]。方差分析又稱變量分析,是由英國統(tǒng)計學(xué)家R. A. Fisher提出的一種假設(shè)檢驗方法。這種方法的思想是將k個試驗處理的觀測值作為一個整體看待,把觀測值總變異以方差(均方)量化[2],并按照產(chǎn)生變異的不同來源進行分解,獲得不同變異來源總體方差的估計值,由估計值的適當(dāng)比值來檢驗各樣本所屬總體平均數(shù)是否存在顯著差異。在食品的質(zhì)量檢驗中,若不同品牌食品的不合格品率等百分率數(shù)據(jù)不滿足方差分析的基本假定,采用傳統(tǒng)的方差分析方法檢驗結(jié)果很有可能與實際情況嚴(yán)重不符。該文旨在討論此種情形下如何采用合理的統(tǒng)計方法對不合格品率進行檢驗。
方差分析是建立在一定數(shù)學(xué)模型基礎(chǔ)上的,如對單因素完全隨機化試驗設(shè)計等重復(fù)情況下的試驗數(shù)據(jù)進行方差分析,其問題描述如下[3]:
若試驗中共有k個處理,每個處理觀測n次,xij表示來自第i個處理的第j次個觀測值(i=1, 2, …,k,j=1, 2, …,n),所有觀測值共有nk個。記總體平均數(shù)為μ,第i個處理觀測值總體平均數(shù)為μi(i=1, 2, …,k),方差分析方法的分析目的在于比較不同總體的平均數(shù)是否有顯著差異,因此其原假設(shè)可以寫成:
根據(jù)假設(shè)檢驗的基本原理,現(xiàn)需構(gòu)造已知分布的統(tǒng)計量對(1)中的H0進行假設(shè)檢驗。
對于觀測值xij可用如下線性可加模型描述:
式中:τi為第i個處理的效應(yīng);εij為試驗誤差。在線性模型形式下,若試驗誤差εij相互獨立,且均服從正態(tài)分布N(0,σ2),由Cochran定理可以證明[4]在原假設(shè)H0成立時不同變異來源總體方差估計值的比值服從F分布。因此,此時應(yīng)用方差分析方法比較不同處理平均數(shù)是否有顯著差異即為傳統(tǒng)的F檢驗過程。若F檢驗結(jié)果顯著,說明各處理平均值存在顯著差異。
由此可見,經(jīng)典參數(shù)統(tǒng)計中如要進行方差分析,數(shù)據(jù)必須滿足獨立性、正態(tài)性、可加性和方差同質(zhì)性的要求,否則無法直接進行F檢驗過程,這些條件稱為方差分析的基本假定[5]。在實際應(yīng)用中如何檢驗試驗數(shù)據(jù)是否滿足方差分析的基本假定?當(dāng)數(shù)據(jù)不滿足基本假定時應(yīng)如何處理?通過實際問題為例說明。
方差分析是在效應(yīng)線性可加、誤差獨立正態(tài)等方差條件下進行的,這些條件稱為方差分析的基本假定。因此在實際應(yīng)用時,需要檢驗數(shù)據(jù)是否滿足基本假定的要求,其中效應(yīng)的線性可加性和誤差獨立性通過試驗數(shù)據(jù)的直觀觀察和合理的試驗設(shè)計可以實現(xiàn),而誤差的正態(tài)分布及方差同質(zhì)往往是不容易滿足的,應(yīng)重點進行檢驗。由線性模型(2)可知,若隨機誤差εij服從正態(tài)分布且方差同質(zhì),則相應(yīng)的觀測值xij均來自于正態(tài)分布總體且不同總體方差同質(zhì)。通過例1[6]說明這2個條件的檢驗過程。分析,每種食品隨機抽取5個樣本,統(tǒng)計其不合格品率如表1所示。試用方差分析檢驗四種商品的質(zhì)量是否有顯著差異。
表1 食品質(zhì)量不合格品率抽樣數(shù)據(jù) 單位:%
在例1中,若按照不同品牌食品將合格品率數(shù)據(jù)劃分為4組,在SPSS 22.0[7]中作箱線圖如圖1所示。
圖1 食品質(zhì)量抽樣數(shù)據(jù)箱線圖
由圖1可知,不同品牌食品的不合格品率直觀上來看應(yīng)該有差異,但是若直接按照單因素完全隨機化試驗的數(shù)據(jù)模型(2)進行方差分析,檢驗結(jié)果見表2。F檢驗的顯著性概率p=0.068>0.05,檢驗結(jié)果為各品牌食品的平均不合格品率不存在顯著差異,與實際情況不符。
表2 不合格品率的方差分析結(jié)果
出現(xiàn)此種矛盾的主要原因是表1中的數(shù)據(jù)實際上并不符合方差分析的基本假定,因此直接應(yīng)用模型(2)進行方差分析檢驗無法檢驗處多個總體均值的差異顯著性。
若要根據(jù)實際數(shù)據(jù)檢驗方差分析的基本假定是否滿足,可綜合應(yīng)用各類統(tǒng)計方法,如對例1中的數(shù)據(jù)就其總體正態(tài)性和方差同質(zhì)性檢驗,具體過程如下。
例1中的數(shù)據(jù)來自于4個不同試驗處理,可以看作4組樣本觀測值,分別對其總體是否滿足正態(tài)分布進行統(tǒng)計檢驗。常用的方法是結(jié)合統(tǒng)計量、統(tǒng)計圖像及總體分布的統(tǒng)計假設(shè)檢驗結(jié)果綜合評價。
如對于試驗處理A的樣本觀測值,計算其與分布形狀有關(guān)的統(tǒng)計量,得到樣本偏度值為2.180,樣本峰度值為4.794,絕對值均遠大于0,初步判斷與正態(tài)分布相去甚遠。
而對試驗處理A的數(shù)據(jù)作正態(tài)Q-Q圖如圖2所示,也可見與正態(tài)分布差別較大。
圖2 處理A正態(tài)分布Q-Q圖
進一步對試驗處理A的分布正態(tài)性進行統(tǒng)計推斷,常用的檢驗方法Kolmogorov-Smirnov正態(tài)性檢驗、Shapiro-Wilk檢驗[8]等。SPSS 22.0中應(yīng)用過以上方法試驗處理A的正態(tài)性檢驗結(jié)果如表3所示。
表3 試驗處理A正態(tài)性檢驗結(jié)果
2種檢驗方法下顯著性概率分別為p=0.005<0.05及p=0.002<0.05,在檢驗的顯著性水平α=0.05下應(yīng)拒絕總體服從正態(tài)分布。
從結(jié)果可以判斷試驗處理A不服從正態(tài)分布,因此例1中的數(shù)據(jù)不符合方差分析基本假定的正態(tài)性條件。
若假設(shè)例1中的4個試驗處理對應(yīng)的總體方差分別為σA2、σB2、σC2和σD2,檢驗方差同質(zhì)性的假定條件是否滿足,即檢驗:
對于多個方差齊性的檢驗,一般常用的統(tǒng)計方法有Bartlettχ2檢驗和Levene檢驗。其中,Bartlettχ2檢驗要求數(shù)據(jù)來自正態(tài)總體,而Levene檢驗對于總體分布沒有要求。根據(jù)2.1中正態(tài)性檢驗結(jié)果,在此選擇Levene檢驗方法對方差同質(zhì)性進行檢驗較為合理。在SPSS 22.0中得到例1中數(shù)據(jù)的方差同質(zhì)性Levene檢驗結(jié)果,其顯著性概率p<0.000 1,在顯著性水平α=0.05下應(yīng)拒絕原假設(shè)(3),即例1中4個試驗處理的方差不同質(zhì),不滿足方差分析的基本假定。
當(dāng)實際抽樣數(shù)據(jù)經(jīng)以上檢驗過程發(fā)現(xiàn)確實不滿足方差分析基本假定的某些要求時,用經(jīng)典的參數(shù)方差分析方法對原假設(shè)(1)進行檢驗,其檢驗結(jié)果可能與實際情況嚴(yán)重不符。如例1中的數(shù)據(jù)經(jīng)檢驗發(fā)現(xiàn)不滿足總體正態(tài)性條件和方差同質(zhì)性條件,若直接進行參數(shù)方差分析結(jié)果如表2,檢驗結(jié)果顯然與實際情況矛盾,并未檢驗出不同品牌食品平均不合格品率的顯著性差異,基于這種錯誤結(jié)果就會得到不同品牌食品質(zhì)量無差異的結(jié)論。此時,需考慮更為合理的方差分析方法,在應(yīng)用中常用處理方式包括2種。
在實際應(yīng)用問題中進行方差分析時,往往會出現(xiàn)基本假定中效應(yīng)的線性可加性、分布正態(tài)性和方差的同質(zhì)性條件有一條或多條不滿足的情況。此時可以考慮先對原始數(shù)據(jù)進行轉(zhuǎn)換,使得轉(zhuǎn)化后的數(shù)據(jù)更為符合基本假定條件,再對轉(zhuǎn)換后的數(shù)據(jù)進行參數(shù)方差分析。常用的數(shù)據(jù)轉(zhuǎn)換方法有平方根轉(zhuǎn)換、對數(shù)轉(zhuǎn)換、倒數(shù)轉(zhuǎn)換和反正弦轉(zhuǎn)換等[9],不同的數(shù)據(jù)轉(zhuǎn)化方式其所起作用不同,可根據(jù)實際數(shù)據(jù)的具體特點進行選擇。
如例1中的試驗數(shù)據(jù)經(jīng)檢驗不滿足正態(tài)性和方差同質(zhì)性假定,且不合格品率為百分?jǐn)?shù),其取值范圍為區(qū)間[0,1],此時可以考慮對原始數(shù)據(jù)進行平方根轉(zhuǎn)換和反正弦轉(zhuǎn)換后再做方差分析,即令轉(zhuǎn)換后的數(shù)據(jù)xij′=arcsin(xij)。其中,平方根轉(zhuǎn)換有利于使方差更為整齊,而百分?jǐn)?shù)取反正弦后更接近于正態(tài)性要求。例1中的數(shù)據(jù)經(jīng)反正弦轉(zhuǎn)換后結(jié)果如表4所示。
表4 食品質(zhì)量不合格品率反正弦轉(zhuǎn)換數(shù)據(jù)
對表4中轉(zhuǎn)換后的數(shù)據(jù)按照單因素完全隨機化試驗的線性模型(2)進行方差分析,檢驗結(jié)果如表5。F檢驗的顯著性概率p=0.037<0.05,即不同品牌食品的平均不合格品率存在顯著差異,更為符合實際情況。進一步通過不合格品率抽樣數(shù)據(jù)的兩兩比較來看,D品牌食品的不合格品率顯著高于其他品牌,應(yīng)進行重點檢測,其他品牌的產(chǎn)品質(zhì)量要遠遠高于它。若對其進行進一步檢測分析,其不合格品率仍符合生產(chǎn)標(biāo)準(zhǔn),說明其他品牌在安全范圍內(nèi)。
表5 轉(zhuǎn)換后數(shù)據(jù)的方差分析結(jié)果
實際應(yīng)用中,應(yīng)該如何轉(zhuǎn)換原始數(shù)據(jù)使其更為符合方差分析的基本假定條件,需要根據(jù)樣本觀測值的特點具體探索,且當(dāng)原始數(shù)據(jù)規(guī)律性不明顯時常用的數(shù)據(jù)轉(zhuǎn)換方法不易達到檢驗的應(yīng)用目的。另外,轉(zhuǎn)換后的數(shù)據(jù)就其本質(zhì)來說不同于原始數(shù)據(jù),應(yīng)用其所包含的信息達到檢驗?zāi)康氖欠裾嬲m合實際情況也是需要進一步研究思考的問題。
參數(shù)方差分析方法需要數(shù)據(jù)組滿足正態(tài)分布假定,當(dāng)數(shù)據(jù)不足以支持正態(tài)性假定時,可以借助非參數(shù)方法解決。若假定數(shù)據(jù)是多組獨立樣本,在單因素完全隨機化試驗設(shè)計下,可采用Kruskal-Wallis單因素方差分析方法或Jonckheere-Terpstra檢驗方法[10]進行多個試驗處理平均位置的比較。
若多個總體的平均位置有上升或下降趨勢時,采用Jonckheere-Terpstra檢驗方法檢驗這種趨勢的顯著性更有針對性。例1中的4組數(shù)據(jù)通過圖1來看總體平均值存在上升趨勢,因此若設(shè)4個總體均值分別為μ1、μ2、μ3、μ4,則原假設(shè)和備擇假設(shè)分別為:
Jonckheere-Terpstra檢驗方法的基本做法是對第i組樣本統(tǒng)計其每一個樣本觀測值小于第j組樣本的觀測值個數(shù)Wij(i,j=1, 2, …,k),對所有Wij在i<j范圍內(nèi)求和得到Jonckheere-Terpstra統(tǒng)計量:
如果一個樣本的觀測值小于另一個樣本的觀測值的個數(shù)較多或是較少,說明兩者位置之間差異較大,因此當(dāng)統(tǒng)計量J大時,應(yīng)拒絕(4)中的原假設(shè)H0,認(rèn)為不同總體平均位置有顯著上升趨勢。在檢驗的顯著性水平為α?xí)r檢驗的臨界值c可以查表獲得,在統(tǒng)計軟件中可以通過檢驗的顯著性概率p值做出推斷。
對例1中的數(shù)據(jù)進行Jonckheere-Terpstra檢驗,在SPSS 22.0得到檢驗結(jié)果如表6所示。
表6 食品不合格品率Jonckheere-Terpstra檢驗結(jié)果
檢驗的顯著性概率p=0.005<0.01,說明4種品牌食品的平均不合格率存在極顯著上升趨勢,即4種食品的平均不合格率差異極顯著。
結(jié)果表明,應(yīng)用Jonckheere-Terpstra檢驗對同一試驗數(shù)據(jù)進行非參數(shù)方差分析,其檢驗的顯著性概率p=0.005,遠小于對轉(zhuǎn)換后的數(shù)據(jù)進行參數(shù)方差分析的結(jié)果p=0.037,可以認(rèn)為這種方法更易于檢驗出不同總體平均值的差異顯著性。而在非參數(shù)方差分析的各種方法中,相較于Kruskal-Wallis方差分析,Jonckheere-Terpstra檢驗具有更強的勢[11]。
在比較多個試驗處理的平均值問題中,方差分析法是常用的統(tǒng)計方法。不同的試驗設(shè)計方法對應(yīng)不同的方差分析模型,但無論采用哪一種模型,在參數(shù)統(tǒng)計中,都需要數(shù)據(jù)滿足方差分析的基本假定。在實際應(yīng)用中,首先對數(shù)據(jù)是否滿足基本假定進行統(tǒng)計檢驗做出判斷十分必要。一旦樣本觀測值確實不符合基本假定要求,需要采用其他方法進行比較。如對轉(zhuǎn)換后的數(shù)據(jù)進行方差分析或直接利用非參數(shù)方差分析方法進行檢驗,是這種情況下的常見處理方式。具體實際問題中,哪種處理方法更符合實際需求,要根據(jù)數(shù)據(jù)的特點進行選擇,可進一步開展綜合比較和探索性分析。
針對食品質(zhì)量檢測中不合格品率這一基本標(biāo)準(zhǔn)的比較進行討論。當(dāng)涉及到其他標(biāo)準(zhǔn)的平均值比較,特別數(shù)據(jù)呈現(xiàn)為百分?jǐn)?shù)或比例時,都要注意上述問題和方法的選擇。非參數(shù)方差分析方法普遍適用于這類問題,具有廣泛應(yīng)用,其討論過程可以在類似問題中進一步推廣。
但實例中只是就平均不合格品率進行數(shù)據(jù)分析,而不同品牌不合格品率的方差經(jīng)檢驗差異也較大,這反映了某些品牌食品的質(zhì)量極不穩(wěn)定的問題。后續(xù)可根據(jù)實際應(yīng)用結(jié)合這兩個方面對食品質(zhì)量進行綜合評價。