統(tǒng)計思維

[日]西內(nèi)啟 李晨/譯

在統(tǒng)計學(xué)上，把不是因數(shù)據(jù)分散而偶然產(chǎn)生的差異，叫作統(tǒng)計學(xué)上的顯著性差異，或直接稱為顯著性差異。統(tǒng)計功效則是指“在存在差異的假設(shè)成立的情況下，認為顯著性差異存在的概率”。

“冒失鬼”的錯誤與“糊涂蟲”的錯誤

并不是說一味地提高統(tǒng)計功效就是好的。有簡單的方法可以將統(tǒng)計功效最大化，也就是“當(dāng)差異存在的假設(shè)成立時，百分之百能發(fā)現(xiàn)顯著性差異”。但這種做法是無益的，甚至很多時候是有害的。

這種做法其實是“不依賴任何數(shù)據(jù)，不負責(zé)任地主張自己想到的東西”。如果假設(shè)成立，你百分之百可以發(fā)現(xiàn)有意義的差異。自己的想法毫無根據(jù)卻堅持認為其正確的人有很多，我們可以說這種人是最大化統(tǒng)計功效的生物。馬克·吐溫有句名言說“壞掉的時鐘每天也至少有兩次指向正確的時刻”。經(jīng)常預(yù)測“經(jīng)濟馬上就要衰退了”的經(jīng)濟評論家，在經(jīng)濟衰退的前一年，也一定說過這句話。

這種做法之所以有害，是因為它雖然不會“拒絕正確的假設(shè)”，但并未考慮“認為錯誤的假設(shè)正確”（明明不存在任何差異，卻主張差異存在）的風(fēng)險。在統(tǒng)計學(xué)上，把這種“明明不存在差異卻認為差異存在”的錯誤稱為α錯誤，把“明明存在差異卻沒有發(fā)現(xiàn)”的錯誤稱為β錯誤。在很多教科書上，對應(yīng)首字母，將α錯誤稱為“冒失鬼的錯誤”、β錯誤稱為“糊涂蟲的錯誤”（日語中二者發(fā)音分別與α和β的第一個音相同?！g者注）?；谶@種說法，堅持毫無根據(jù)假設(shè)的人，是為了將糊涂的風(fēng)險降為零，而表現(xiàn)得太過冒失了。

另一方面，社會上也有很多完全相反的、為了將“冒失鬼的錯誤”降為零而運用著簡單方法的人。這種人的做法是，不論是誰、基于什么證據(jù)主張什么，他們都只會說“因為我們未能做周密的了解，接下來讓我們謹慎地討論吧”。

簡單來說，這種人完全不主張任何假設(shè)，更不用說相信假設(shè)并采取行動了。這樣做雖然能將冒失地主張錯誤假設(shè)的風(fēng)險降低為零，但無論何種真相擺在他們面前，他們都會糊涂地避開。

為什么說“統(tǒng)計學(xué)是最強的學(xué)問”

統(tǒng)計學(xué)最出色之處，在于它系統(tǒng)化了在“冒失鬼”和“糊涂蟲”之間做出正確判斷的方法。

統(tǒng)計學(xué)在兩種錯誤之間權(quán)衡取舍。面對不是每次都會發(fā)生同樣情況、存在變動的事物，不可能同時將兩種錯誤降為零，因此統(tǒng)計學(xué)上首先會決定在何種范圍內(nèi)允許“冒失鬼的錯誤”發(fā)生。慣例是假設(shè)發(fā)生的概率為5%，也就是所主張的假設(shè)在20次中有1次真的錯了。不過，在追求更嚴密的決策時，有時候會考慮選取1%或者0.1%這種更低的水平。相反，有時也會允許“冒失鬼的錯誤”風(fēng)險在10%。像5%或1%這樣對錯誤的允許程度，叫作顯著性水平。

確定了顯著性水平之后，在給定的顯著性水平范圍之內(nèi)，就要想辦法將“糊涂蟲的錯誤”最小化，或者將統(tǒng)計功效最大化。雖然單純地增加分析所用的數(shù)據(jù)也能增大統(tǒng)計功效，但即使數(shù)據(jù)有限，也有方法不錯過真相，即根據(jù)數(shù)據(jù)的分布方式以及想要檢驗的假設(shè)，來選擇不同的方法。這種用來判斷是否可以認為假設(shè)成立的方法，在統(tǒng)計學(xué)上一般稱為檢驗（或者叫作統(tǒng)計性假設(shè)檢驗）。

在給定的顯著性水平之下統(tǒng)計功效最高的檢驗方法，在統(tǒng)計學(xué)上稱為最強檢驗或者最大功效檢驗。

說起來，在統(tǒng)計學(xué)家J.內(nèi)曼和E.皮爾森將檢驗系統(tǒng)化以前，大多數(shù)人不是憑借自己的直覺或曖昧不明的根據(jù)來提出假設(shè)的冒失鬼，就是單純呼吁慎重討論的糊涂蟲。

能在冒失鬼和糊涂蟲之間、在理論的正確性和現(xiàn)實問題之間，考慮最優(yōu)的判斷應(yīng)該是什么的學(xué)問，只有統(tǒng)計學(xué)。正因如此，統(tǒng)計學(xué)才被用來實證各種學(xué)術(shù)領(lǐng)域的理論，支撐各種不允許失敗的現(xiàn)實決策。

統(tǒng)計性假設(shè)檢驗的思維方式

哲學(xué)是深刻思考萬事萬物的學(xué)問，但因為哲學(xué)對任何假設(shè)都故意質(zhì)疑，所以許多一般人難以想象的例子會在哲學(xué)中出現(xiàn)。其中一個就是“亨普爾的烏鴉”。

這是德國的卡爾·亨普爾在20世紀40年代提出的例子?？紤]“亨普爾的烏鴉”問題，我們會發(fā)現(xiàn)自己連“所有的烏鴉都是黑色的”這種理所當(dāng)然的假設(shè)是真是假都無法證明。

“烏鴉是黑色的”是無法用“看見了一只黑色的烏鴉”來證明的。即使某只烏鴉是黑色的，但只要其他的烏鴉是紅色的，或者有烏鴉是藍色的，“烏鴉就不一定是黑色的”。

“烏鴉是黑色的”主張的是“所有的烏鴉都是黑色的”。這種“所有的……都是……”的表達方式，因為是“對所有東西而言”，所以具有全稱性。對具有全稱性的假設(shè)進行反證是簡單的，只要能找出一只不是黑色的烏鴉，就能證明“并不是所有烏鴉都是黑色的”。然而，想要證明“所有烏鴉都是黑色的”，卻要費很大力氣。不管你找到了多少烏鴉，糊涂蟲們都可以說“這并不能說是全部烏鴉”“不能證明沒有其他不是黑色的烏鴉”……反對的理由不計其數(shù)。

這樣嚴密地思考下來，我們根本無法主張烏鴉到底是黑色的還是白色的。《心經(jīng)》教給了我們“色即是空”的道理，看來我們只能認為烏鴉的顏色是沒有實體的空虛之物，微睜著眼睛糊涂下去了。不過，前提是我們并不知道何為統(tǒng)計性假設(shè)檢驗。

雖然統(tǒng)計性假設(shè)檢驗也無法證明“全稱性”，但通過引入概率，我們可以不考慮“所有”，而考慮“大部分”。面對糊涂地搞不清烏鴉是黑色還是白色的B，學(xué)會了統(tǒng)計性假設(shè)檢驗方法的S可以與其進行這樣的對話：

B：嚴格來說，我們無法主張烏鴉是黑色的還是白色的……

S：我們確實不知道是不是全部烏鴉都是黑色的，但可以證明“認為我們見過的烏鴉大多是黑色的是合理的”。

B：真的嗎？這也能證明？

S：沒錯。最近你見過的烏鴉是什么顏色的？

B：黑色的。

S：迄今為止你見到多少黑色的烏鴉？

B：至少應(yīng)該有100只吧……

S：不是黑色的呢？

B：雖然我沒見過，但也不能證明就沒有啊。

S：你說得沒錯，但我們假設(shè)烏鴉中黑色的和白色的各占一半，你認為偶然連續(xù)看到100只黑色烏鴉的概率是多少？這其實就是擲100枚硬幣全部出現(xiàn)正面的概率。

B：這個……

S：計算0.5的100次方，會得到比一萬億分之一的一萬億分之一更小的數(shù)字。順便告訴你，即使烏鴉中有9成是黑色的，0.9的100次方也只有0.0027%。這種奇跡怎么可能出現(xiàn)呢？

B：即使概率再低，也不是零，所以沒辦法完全否定“確實出現(xiàn)了這種奇跡”。

S：這樣，我們以后在一起的時候就一直打賭吧：如果看到的烏鴉不是黑色的，我就請你喝你喜歡的飲料；如果是黑色的，你就請我喝罐裝咖啡吧。

B：哎呀，這個……

S：你看，你已經(jīng)在想“認為烏鴉大多是黑色的是合理的”了吧。

總結(jié)一下S的思考方法就是：

為了能實際取得數(shù)據(jù)，首先要確定“討論的范圍”。并不是考慮全世界如何、全人類如何，而是將焦點集中在“當(dāng)前能收集到的數(shù)據(jù)范圍”中假設(shè)是否妥當(dāng)。不這么做，糊涂蟲們就會反對說“你的數(shù)據(jù)中沒有包括某些東西，所以……”。

接下來，既不考慮100或者0這種全稱性命題，也不考慮自己想要主張的“大多數(shù)烏鴉是黑色的”這一假設(shè)，而是考察完全顛覆自己主張的“黑色和非黑色烏鴉各占一半”的假設(shè)。根據(jù)實際數(shù)據(jù)，如果能證明這個“完全顛覆自己主張的假設(shè)”只能在非常不可能的概率下成立，就能證明自己的主張很難被完全顛覆了。

再進一步，并不僅僅考慮完全顛覆自己主張的“黑色和非黑色烏鴉各占一半”的假設(shè)，對“如果9成烏鴉是黑色的”這一和自己的主張相近的假設(shè)也進行考察。如果這個“9成烏鴉是黑色的”主張也只是在非常不可能的概率下才成立，考慮9成以上的烏鴉是黑色的就是很自然的了。

最后，問題會歸結(jié)到得失上。將統(tǒng)計性假設(shè)檢驗的思考方法用在不會給任何人帶來得失的、對永恒真理的探索上，意義并不是很大。而得失在醫(yī)學(xué)上就是人命，在教育學(xué)上就是學(xué)生的學(xué)習(xí)能力，在商業(yè)上就是金錢。若是不會產(chǎn)生任何得失，就算糊涂下去，不去斷定烏鴉是黑色的還是白色的，也沒問題。但如果見到了黑色的烏鴉就要請人喝一罐咖啡，也就是說要賭上得失，糊涂蟲也不得不將自己的決策轉(zhuǎn)向在概率上講更合理的一方了。

理解p值和置信區(qū)間的本質(zhì)

如果想要主張“烏鴉大多數(shù)是黑色的”，就要故意檢驗完全顛覆自己主張的假設(shè)，即“黑色和非黑色的烏鴉各占一半”，這個假設(shè)被稱為原假設(shè)（也被稱為零假設(shè)），意味著將所主張的假設(shè)“歸零”。

在假定原假設(shè)成立的情況下，出現(xiàn)該數(shù)據(jù)或更極端數(shù)據(jù)的概率稱為p值。p來自于“概率”（probability）。也就是說，我們得到的（假設(shè)烏鴉中黑色的和白色的各占一半）“連續(xù)看到100只黑色烏鴉”這一觀察結(jié)果所對應(yīng)的比一萬億分之一的一萬億分之一更小的概率，就是這次的例子中的p值。p值足夠小，認為“原假設(shè)不可能發(fā)生”就是合理的。

要得到多小的p值才能認為“不可能”呢？雖然在不同領(lǐng)域p值并不相同，但標(biāo)準大約是5%以下。也就是說，在原假設(shè)基礎(chǔ)上，該情況20次中只能發(fā)生1次，習(xí)慣上就會認為“不可能”。

至于為什么將5%作為界線，其實并沒有數(shù)學(xué)上的根據(jù)，似乎只是因為偉大的統(tǒng)計學(xué)家費希爾曾經(jīng)寫道“用5%來判斷p值很方便”。

無論是何種類型的原假設(shè)，我們都可以說明該假設(shè)在哪種范圍以外是可以推翻的，在哪種范圍之內(nèi)是無法否定的。這就是置信區(qū)間的真正含義。J.內(nèi)曼等人定義的置信區(qū)間，表示“不可能的原假設(shè)”與“無法否定的原假設(shè)”到底處于何種范圍。

實際計算一下，在“97.0%的烏鴉是黑色的”這一假設(shè)下偶然遇到100只黑色烏鴉的概率是4.8%，而在“97.1%的烏鴉是黑色的”這一假設(shè)下，該概率變?yōu)?.3%。也就是說，如果用p值是否小于5%來判斷假設(shè)，從“97.1%的烏鴉是黑色的”到“100%的烏鴉是黑色的”的假設(shè)都是無法否定的。這就是置信區(qū)間的思維方式。

像這樣通過統(tǒng)計性假設(shè)檢驗的思考方法，利用p值和置信區(qū)間，我們得到了似乎可以認為“在如今的數(shù)據(jù)范圍之內(nèi)97.1%～100%的烏鴉是黑色的”的結(jié)論。在東南亞有灰色的烏鴉，也存在因為突然變異而有著純白羽毛的白烏鴉，因此不能說“全部烏鴉都是黑色的”。但我們至少證明了，作為現(xiàn)實的決策，“認為我們接下來遇到的烏鴉是黑色的可能更合理”。

（摘自《統(tǒng)計思維》）