夏佩倫,李本昌,李 博
(海軍潛艇學(xué)院,山東 青島 266042)
假設(shè)檢驗在軍事工程應(yīng)用中的若干問題
夏佩倫,李本昌,李 博
(海軍潛艇學(xué)院,山東 青島 266042)
對假設(shè)檢驗這一統(tǒng)計學(xué)工具在軍事工程應(yīng)用中值得注意的若干問題進行了探討,包括假設(shè)的設(shè)置、檢驗門限的設(shè)置和統(tǒng)計量的構(gòu)造等,這些問題在理論上有一些一般的指導(dǎo),但在實際工程應(yīng)用中,需要根據(jù)具體問題進行設(shè)計,這中間涉及一些技巧和經(jīng)驗,也容易出現(xiàn)一些常被忽視的問題。指出了這些問題,并給出了在實際工程中應(yīng)用好假設(shè)檢驗的一些建議。
假設(shè)檢驗,充分統(tǒng)計量,奈曼-皮爾遜引理,沃爾德序貫觀測器,費歇爾-奈曼準(zhǔn)則
假設(shè)檢驗是統(tǒng)計推斷的有力工具,在實際問題中有著廣泛應(yīng)用。軍事系統(tǒng)中的許多問題也可歸結(jié)為假設(shè)檢驗問題,如一般作戰(zhàn)指揮系統(tǒng)中的目標(biāo)探測與跟蹤、目標(biāo)識別、信息融合、作戰(zhàn)決策等環(huán)節(jié)都存在諸多的判決問題,可以運用假設(shè)檢驗的工具來處理。
比如,目標(biāo)探測實質(zhì)上就是要根據(jù)目標(biāo)探測傳感器的探測結(jié)果來判斷“目標(biāo)是否存在”,這是假設(shè)檢驗經(jīng)典的應(yīng)用例子[1-2]。軍事目標(biāo)識別則一般是根據(jù)以某種手段獲取的目標(biāo)特征信息來回答“目標(biāo)為何類型”、“目標(biāo)屬敵方還是我方”等問題[3-4]。目標(biāo)跟蹤過程中,則經(jīng)常要回答諸如“目標(biāo)是否機動”、“目標(biāo)以何種模式機動”、“有幾個目標(biāo)”等判斷性問題[5-7]。軍事信息融合常會遇到諸如“同一傳感器兩次測量的信號是否屬于同一目標(biāo)”、“不同傳感器的目標(biāo)航跡是否屬于同一目標(biāo)”之類的判決問題。這些判決問題因涉及諸多的不確定性因素而無法給出確切的判決結(jié)果,因而需要借助統(tǒng)計學(xué)工具來加以解決。
假設(shè)檢驗是一個實踐性較強的工具,它的應(yīng)用有很強的技巧性。運用不當(dāng),檢驗結(jié)果將不可靠。而在工程實踐中,人們恰恰容易忽視這一點。本文將就假設(shè)檢驗在軍事工程應(yīng)用中容易出現(xiàn)的問題加以探討,包括假設(shè)的設(shè)置、檢驗門限的設(shè)置和統(tǒng)計量的構(gòu)造等,目的是引起有關(guān)工程技術(shù)人員的重視。此外,本文還一般性地探討了假設(shè)檢驗應(yīng)用的一些技巧。
以下首先將對假設(shè)檢驗加以簡單介紹,而后對上述提到的幾個應(yīng)用問題進行討論。有關(guān)假設(shè)檢驗理論更詳細(xì)的內(nèi)容可以參考數(shù)理統(tǒng)計和信號檢測理論方面的文獻,如文獻[1-2,8-10]。假設(shè)檢驗應(yīng)用方面的文獻可參考文獻[11-12]。
假設(shè)檢驗就是基于樣本觀測值和一定規(guī)則在統(tǒng)計意義下決定某些假設(shè)中何者為真的過程。典型的假設(shè)檢驗問題是以下的二元假設(shè)檢驗問題:
其中參數(shù)集Θ0和Θ1(Θ0∩Θ1≠?,這里?表空集)表征了某一隨機變量z的可能分布,當(dāng)然,已知z的一樣本觀測值集(稱為z的實現(xiàn),并用Z表示)。問題是要利用Z來判斷兩個假設(shè)H0和H1誰為真。
由于Z的元素也是隨機變量,因此,不能指望利用Z得到的檢驗結(jié)果百分之百地正確。檢驗錯誤不可避免。檢驗錯誤有兩類,分別稱為第1類錯誤和第2類錯誤,其發(fā)生概率分別為:
為了利用統(tǒng)計學(xué)的工具對H0和H1進行檢驗,需要利用Z構(gòu)造檢驗統(tǒng)計量T(Z)。方法是根據(jù)需要設(shè)定T(Z)的門限值λ,當(dāng)T(Z)大于λ時,拒絕H0;當(dāng)T(Z)小于λ時,拒絕H1,如圖1所示。即
*拒絕H0:當(dāng)T(Z)>λ時;
*拒絕H1:當(dāng)T(Z)<λ時。
圖1中f(Z|Hj)為假設(shè)Hj(j=0,1)的似然函數(shù)。
圖1 判決準(zhǔn)則
對此,會提出如下要求:①要求所構(gòu)造的統(tǒng)計量T(Z)能充分反應(yīng)Z中所包含的關(guān)于參數(shù)θ的信息;②上述兩類錯誤發(fā)生的概率能盡量小。理論和實踐都表明,滿足這樣的要求是困難的。在實踐中這需要很好地進行折衷,而這樣的技巧正是一些工程技術(shù)人員所缺乏的。
從兩類錯誤的角度講,H0和H1的地位是不對稱的。因此,H0和H1的選擇不是任意的,而是要考慮實際問題對兩類誤差的要求。著名的奈曼-皮爾遜引理(Neyman-Pearson lemma)表明,可以將第一類錯誤控制在任意小,但第2類錯誤卻無法控制。當(dāng)然可以在給定最大的第1類錯誤允許概率的條件下得到最小的第2類錯誤的概率,但這個概率可能很大。這是我們所不希望的,但對此無能為力。因此,H0和H1的設(shè)置不是任意的。應(yīng)該慎重地考慮,以便能夠控制我們更為關(guān)注的一類錯誤的概率。
由于第1類錯誤的概率可以控制,因此,有以下的選擇H0的3個原則:①使后果更為嚴(yán)重的錯誤成為第1類錯誤;②當(dāng)需要得到對某一陳述的有力支持時,將這一陳述的否定設(shè)置為H0;③將普遍接受的假設(shè)設(shè)置為H0。
以目標(biāo)檢測為例,一般以“目標(biāo)不存在”為原假設(shè),“目標(biāo)存在”為備擇假設(shè)。這樣,第1類錯誤就是目標(biāo)實際不存在而檢驗結(jié)果是目標(biāo)存在,即常說的“虛警”;第2類錯誤就是目標(biāo)實際存在而檢驗結(jié)果是目標(biāo)不存在,即所謂的“漏檢”。這種假設(shè)設(shè)置自然是受一般的信號檢測影響的。運用在軍事系統(tǒng)中,這種假設(shè)設(shè)置值得考慮。目標(biāo)檢測雖然本質(zhì)上也是一類信號檢測問題,但有其特殊性。事實上,在很多目標(biāo)檢測的應(yīng)用場合,更關(guān)心“漏檢”概率而不是“虛警”概率。例如,對于諸如防空系統(tǒng)、反導(dǎo)系統(tǒng)、預(yù)警系統(tǒng)、偵察系統(tǒng),對“漏檢”概率有更高的要求,因為從錯誤的嚴(yán)重性來看,寧愿受“虛警”之?dāng)_,而不愿被敵方導(dǎo)彈輕易突防。因此,往往要求將“漏檢”概率控制在一定的限度內(nèi)。
在另一些系統(tǒng)中,H0和H1的選擇不是這么明顯。例如,多傳感器目標(biāo)航跡關(guān)聯(lián)時,以“航跡關(guān)聯(lián)”還是“航跡不關(guān)聯(lián)”作為原假設(shè)不能一概而論。兩類錯誤,即誤把“關(guān)聯(lián)”當(dāng)“不關(guān)聯(lián)”或誤把“不關(guān)聯(lián)”當(dāng)“關(guān)聯(lián)”,在很多情況下所造成后果的嚴(yán)重性是類似的。即都是態(tài)勢的不真實反映,從而對指揮員和武器系統(tǒng)產(chǎn)生誤導(dǎo)。對于這樣的情況,H0和H1的選擇并不特別重要,不論如何選擇,關(guān)鍵是選擇合適的檢驗門限,以便在兩類錯誤概率間達成折衷。不過,在具體的系統(tǒng)中,H0和H1的選擇還是很值得考慮的。例如,在潛艇的多傳感器目標(biāo)航跡關(guān)聯(lián)中,認(rèn)為以“航跡關(guān)聯(lián)”作原假設(shè)為好。這時的第1類錯誤是把“關(guān)聯(lián)”當(dāng)作“不關(guān)聯(lián)”。潛艇指控系統(tǒng)處理能力有限,所攜武器數(shù)量也很有限。在這樣的條件下,不能容忍因航跡關(guān)聯(lián)錯誤造成的虛假目標(biāo)耗費系統(tǒng)的處理能力和誤導(dǎo)武器,在密集目標(biāo)環(huán)境更是如此。在另外的應(yīng)用場合,如目標(biāo)中既有敵方目標(biāo)又有己方目標(biāo),而且希望區(qū)分它們時,可能更不希望把“不關(guān)聯(lián)”當(dāng)“關(guān)聯(lián)”,因此,此時應(yīng)該以“航跡不關(guān)聯(lián)”作原假設(shè)。
目標(biāo)機動檢測問題是類似的。以“目標(biāo)機動”還是“目標(biāo)未機動”作為原假設(shè),需要具體情況具體考慮。如果系統(tǒng)有很好的機動目標(biāo)處理能力、武器對目標(biāo)運動參數(shù)精度有很高的要求(比如直航武器),往往能容忍把“目標(biāo)未機動”誤作“目標(biāo)機動”的錯誤;反之,如果系統(tǒng)本身的處理能力有限,或者所攜武器具有適應(yīng)機動目標(biāo)的能力(如靈巧武器),則可能寧愿發(fā)生“目標(biāo)機動”當(dāng)“目標(biāo)未機動”的錯誤,而不是相反。
理論上講,檢驗門限(即λ)的設(shè)置是很簡單的。在構(gòu)造好檢驗統(tǒng)計量T(Z)的條件下,只要給定允許的第1類錯誤的發(fā)生概率(用α表示),λ是很容易確定的。方法是:
滿足T(Z)>λ的Z的集合稱為拒絕域,表明若樣本觀測值屬于該域時,應(yīng)該拒絕H0。因此,檢驗門限的設(shè)置實際上也就是確定拒絕域。歸根結(jié)底,還是要確定第1類錯誤的允許發(fā)生概率。然而,這個概率要確定得合適并不容易,這正是實際問題的難點所在。
難點的關(guān)鍵還是在于兩類錯誤的密切關(guān)聯(lián)性。不能不顧第2類錯誤的發(fā)生概率而僅僅追求第1類錯誤的低概率。已經(jīng)知道,α可以控制在任意小,問題是Pe2可能很大。事實上,檢驗門限設(shè)置得合適與否,關(guān)鍵是看它在難以判斷的困難檢驗情況下(即兩種假設(shè)為真的可能性很接近的情況下),是否仍能保證較高的檢驗功效。比如,在多傳感器目標(biāo)航跡關(guān)聯(lián)應(yīng)用中,當(dāng)兩傳感器的兩條目標(biāo)航跡分得很開時,關(guān)聯(lián)檢驗是很容易的。這時即使α控制得很小,Pe2可能仍不大。而當(dāng)兩條目標(biāo)航跡比較接近時,檢驗將變得困難得多。這時α若設(shè)定得太小,Pe2肯定很大。這樣做在實際中肯定是不合適的。如此看來,檢驗門限的設(shè)置是需要結(jié)合實際問題、綜合考慮、反復(fù)試驗方能解決的問題。
檢驗門限設(shè)置另一個值得注意的問題是門限與樣本大小的關(guān)系。軍事實際問題中,樣本往往是在不斷積累的,即Z中的元素不斷增加。比如,隨著對目標(biāo)搜索跟蹤的進程,關(guān)于目標(biāo)的信號越來越多,就是用于檢驗的樣本越來越大。因此,本質(zhì)上說,用于軍事目的的假設(shè)檢驗問題多為序貫假設(shè)檢驗問題(即樣本數(shù)量可變;相應(yīng)地,樣本數(shù)量不變稱為非序貫假設(shè)檢驗問題)。
容易想象,序貫假設(shè)檢驗問題的檢驗門限應(yīng)該是與樣本大小有關(guān)的。并且在對兩類錯誤的同等容忍程度的條件下,該門限應(yīng)隨樣本的增大而減小。然而,工程上經(jīng)常是采用固定的門限。一般而言,這種做法是不能接受的。
對于上述提到的實際中兩種假設(shè)為真的可能性很接近(從而很難判斷)的情況,如果條件允許的話,可以采用序貫的檢驗方式,即不斷增加觀測樣本,即不斷引入新的觀測信息,直至能有效地進行判斷為止。沃爾德序貫觀測器(Wald sequential observer)就是采用了這樣的機制[13]。它為T(Z)設(shè)定兩個門限值λ1和λ2(λ1<λ2),而不是一個,如圖2所示。每次觀測后,根據(jù)計算的T(Z)的結(jié)果,作出如下3個判決中的一個:
*拒絕H0:當(dāng)T(Z)>λ2時;
*拒絕H1:當(dāng)T(Z)<λ1時;
*無法確定是拒絕H0還是H1,等待新的觀測樣本,繼續(xù)檢驗:當(dāng)λ1<T(Z)<λ2時。
圖2 雙判決門限的情形
任何不直接包含總體未知因素的關(guān)于樣本Z的函數(shù)(嚴(yán)格地說,應(yīng)為波雷爾函數(shù)(Borel function))都是統(tǒng)計量。因此,構(gòu)造統(tǒng)計量可以有相當(dāng)大的隨意性。在所關(guān)心的假設(shè)檢驗問題中,既然要用統(tǒng)計量來對關(guān)于未知量θ的假設(shè)進行檢驗,總是希望所構(gòu)造統(tǒng)計量能充分包含Z中關(guān)于θ的信息。即要求T(Z)是充分統(tǒng)計量。事實上,在另一類重要的統(tǒng)計推斷問題——參數(shù)估計中,也有這樣要求。但這一基本要求卻常被一些工程技術(shù)人員所忽視。
統(tǒng)計量的充分性可通過其定義直接來判斷。設(shè)T(Z)是關(guān)于未知量θ的統(tǒng)計量,若總體累積分布函數(shù)F[Z|T(Z),θ]與θ無關(guān),則T(Z)是關(guān)于未知量θ的充分統(tǒng)計量。即,取定T(Z)后的上述條件分布函數(shù)的表達式中應(yīng)不包含θ。
更方便、常用的判斷方法是利用費歇爾-奈曼準(zhǔn)則(Fisher-Neyman criterion,即因子分解定理)。該準(zhǔn)則指出,T(Z)是關(guān)于未知量θ的充分統(tǒng)計量的充要條件是:Z的聯(lián)合密度函數(shù)(似然函數(shù))可按下面的形式分解:
其中:zi(i=1,…,n)為Z的元素,g[·]僅通過T(Z)依賴于Z,而h(·)與θ無關(guān)。
可以證明,θ的極大似然估計總是其充分統(tǒng)計量的函數(shù)。因為這個原因,工程上常用θ的極大似然估計作其統(tǒng)計量。
前面提到的奈曼-皮爾遜引理說明,在給定第1類錯誤允許概率條件下的一個最優(yōu)檢驗(最大功效檢驗),使得到第2類錯誤的發(fā)生概率最小。該引理還給出了具體的檢驗統(tǒng)計量,這個統(tǒng)計量同似然函數(shù)有關(guān)。它對構(gòu)造統(tǒng)計量應(yīng)該是很有指導(dǎo)意義的。該引理指出,對于簡單假設(shè)檢驗問題(θ0和θ1皆只有一個元素),在給定的條件下Pe1≤α,極大化Pd(或極小化Pe2)的最優(yōu)檢驗為:若L<λ,則拒絕H1;或,若L>λ,則接受H1。其中,L為稱為似然比的檢驗統(tǒng)計量,其定義如下:
而λ則由給定的α確定,即
因此,似然比統(tǒng)計量總是一種可供選擇的統(tǒng)計量。
以上討論了假設(shè)檢驗應(yīng)用中常碰到的幾個問題??梢钥闯觯瑧?yīng)用好假設(shè)檢驗這一工具,需要有良好數(shù)學(xué)理論基礎(chǔ),更需要有結(jié)合實際問題、充分發(fā)揮這一工具優(yōu)勢的技巧。為此,在實際問題中注意本文提到的幾個問題是有好處的。應(yīng)該指出的是,根據(jù)不同的具體應(yīng)用,值得考慮的問題還很多。比如關(guān)于檢驗結(jié)果的解釋問題,表面看來,只要統(tǒng)計觀測值落入拒絕域,就可認(rèn)為H0為假、H1為真;反之,只要統(tǒng)計觀測值落入接受域,就可認(rèn)為H0為真、H1為假。實際上并沒有這么簡單。類似的技巧,除了統(tǒng)計學(xué)知識的支撐外,還有賴實踐摸索和經(jīng)驗積累。
[1]Van T H L.Detection,Estimation and Modulation Theory,Vol.I[M].New York:John Wiley and Sons,1969.
[2]Whalen A D.Detection of Signal in Noise[M].New York:A-cademic Press,1971.
[3]Waltz E,Llinas J.Multisensor Data Fusion[M].Norwood,MA:Artech House,1990.
[4]Wilson G B.Some Aspects of Data Fusion[C]//Harris C J,White I(eds.),Advances in Command,Control&Communication Systems,London:Peter Peregrinus,1987.
[5]夏佩倫.目標(biāo)跟蹤與信息融合[M].北京:國防工業(yè)出版社,2010.
[6]Bar-Shalom Y,Li X R.Multitarget-Multisensor Tracking[M].Storrs,CT:YBS Publishing,1995.
[7]Bar-Shalom Y,F(xiàn)ortmann T E.Tracking and Data Association[M].New York:Academic Press,1988.
[8]浙江大學(xué)數(shù)學(xué)系高等數(shù)學(xué)教研室.概率論與數(shù)理統(tǒng)計[M].北京:高等教育出版社,1979.
[9]何迎暉,閔華玲.數(shù)理統(tǒng)計[M].北京:高等教育出版社,1989.
[10]Bar-Shalom Y,Li X R,Kirubarajan T.Estimation with App lications to Tracking and Navigation[M].New York:John Wiley and Sons,2001.
[11]Blackman S S.Multi-Target Tracking with Radar Applications[M].Norwood,MA:Artech House,1986.
[12]Sadjadi F.Hypothesis Testing in a Distributed Environment[J].IEEE Trans.Aerospace and Electronic Systems,1986,AES-22(3):134-137.
[13]Wald A.Sequential Analysis[M].New York:John Wiley and Sons,1947.
Some Issues Concerning Applications of Hypothesis Testing in Military Engineering
XIA Pei-lun,LI Ben-chang,LI Bo
(Navy Submarine Academy,Qingdao 266042,China)
This paper studies some issues concerning applications of hypothesis testing in military engineering,including hypothesis choices,test threshold determination,and construction of sufficient statistics.There are some general instuctions in the literature in handling these issues.In real engineering applications,they often need careful designing,which involves both expertises and experiences.Various problems may also arise in such applications,which are often neglected.These issures and problem are emphasized and suggestions for taking good advantage of the hypothesis testing tool in engineering applicaions are given.
hypothesis testing,sufficient statistic,Neyman-Pearson lemma,Wald sequential observer,F(xiàn)isher-Neyman criterion
O212.1;E919
A
1002-0640(2015)03-0100-04
2014-01-18
2014-03-22
夏佩倫(1964- ),男,江西吉安人,教授。研究方向:目標(biāo)跟蹤與信息融合。