基于信息幾何理論的信號(hào)檢測(cè)方法

(空軍工程大學(xué)信息與導(dǎo)航學(xué)院,陜西西安710077)

基于信息幾何理論的信號(hào)檢測(cè)方法

鄒 鯤,吳德偉,李 偉

(空軍工程大學(xué)信息與導(dǎo)航學(xué)院,陜西西安710077)

信息幾何理論將統(tǒng)計(jì)推斷問題轉(zhuǎn)換為幾何問題進(jìn)行處理,從而能夠從幾何的角度分析進(jìn)行統(tǒng)計(jì)推斷。以高斯噪聲下的信號(hào)檢測(cè)為研究對(duì)象,給出了基于信息幾何理論的信號(hào)檢測(cè)所需的理論基礎(chǔ),分析了測(cè)地線距離與檢測(cè)器性能之間的關(guān)系。分別以簡(jiǎn)單假設(shè)和復(fù)合假設(shè)兩種情況,分析了兩種距離檢測(cè)器的性能,并與Neyman-Pearson檢測(cè)器和廣義似然比檢測(cè)器進(jìn)行了對(duì)比。計(jì)算機(jī)分析結(jié)果表明,測(cè)地線長(zhǎng)度和方向共同決定了檢測(cè)性能,且距離檢測(cè)器性能與似然比檢測(cè)器性能相當(dāng)。

信息幾何;測(cè)地線;距離檢測(cè)器;信號(hào)檢測(cè)

0 引 言

信號(hào)檢測(cè)問題是統(tǒng)計(jì)信號(hào)處理領(lǐng)域的重點(diǎn)問題[1],其本質(zhì)是依據(jù)待檢測(cè)信號(hào)統(tǒng)計(jì)分布與備擇假設(shè)(H1)、零假設(shè)(H0)所指定的統(tǒng)計(jì)分布之間的差異,并進(jìn)行判決。從信息幾何理論的觀點(diǎn)來看,將統(tǒng)計(jì)模型中的每一種分布看成統(tǒng)計(jì)流形上的一個(gè)點(diǎn),其坐標(biāo)與統(tǒng)計(jì)分布的參數(shù)一一對(duì)應(yīng)。統(tǒng)計(jì)流形的幾何結(jié)構(gòu)與相應(yīng)的分布性質(zhì)有關(guān)。在一定條件下,還可以在該流形上建立微分結(jié)構(gòu),從而通過微分流形來研究分布的統(tǒng)計(jì)性質(zhì)。這種思路早在1945年Rao[2]就提出來了,并建議采用Fisher信息矩陣定義流形上的Riemann度量,但直到1975年Efron[3]提出了統(tǒng)計(jì)曲率的概念,特別是1982年Amari[4]定義了單參數(shù)族的聯(lián)絡(luò)之后,才使得微分流形的理論與方法逐步與統(tǒng)計(jì)領(lǐng)域相結(jié)合,即所謂的信息幾何(Information Geometry)理論[5]。信息幾何理論將微分幾何方法解決信息領(lǐng)域問題,并成功應(yīng)用于統(tǒng)計(jì)推斷、神經(jīng)網(wǎng)絡(luò)、信號(hào)處理、量子理論、控制理論等方面[6]。近年來提出的矩陣信息理論[7]則可以應(yīng)用于雷達(dá)信號(hào)處理[8]、流形學(xué)習(xí)[9]、系統(tǒng)的穩(wěn)定性和最優(yōu)化[10]、圖像處理[11]。

噪聲中的信號(hào)檢測(cè)問題屬于數(shù)學(xué)上的統(tǒng)計(jì)推斷問題。從信息幾何的角度來看,信號(hào)的檢測(cè)問題可以轉(zhuǎn)換為統(tǒng)計(jì)流形上的距離問題[12],為此可以引入散度作為距離函數(shù),用來測(cè)量流形上兩點(diǎn)之間的差異。其中Kullback-Leibler散度(KLD)經(jīng)常被用來測(cè)量統(tǒng)計(jì)流形上兩點(diǎn)的差異[13],KLD計(jì)算簡(jiǎn)單,但該散度僅僅滿足距離函數(shù)的非負(fù)性,不滿足對(duì)稱性和三角不等式。微分幾何理論指出,測(cè)地線是內(nèi)蘊(yùn)幾何量,流形上兩點(diǎn)之間的測(cè)地線長(zhǎng)度表示了流形上兩點(diǎn)之間的最短距離。因此基于信息幾何的信號(hào)檢測(cè)的核心問題是在給定了Fisher度量和Levi-Civita聯(lián)絡(luò)的定義,計(jì)算統(tǒng)計(jì)流形上的測(cè)地線長(zhǎng)度。若給定該統(tǒng)計(jì)流形上的一個(gè)點(diǎn),以及該點(diǎn)處的切向量,可以得到一條測(cè)地線方程[14]。以多元正態(tài)分布為例,計(jì)算測(cè)地線長(zhǎng)度并不容易,目前還沒有統(tǒng)一的計(jì)算公式,一種可行的辦法就是用Siegel距離替代[15],該距離長(zhǎng)度是測(cè)地線長(zhǎng)度的下限。

雖然測(cè)地線長(zhǎng)度大小衡量了兩種分布之間的差異,但還需建立與檢測(cè)性能之間的關(guān)系。為此本文分析了檢測(cè)器性能與測(cè)地線長(zhǎng)度之間的量化關(guān)系,分析結(jié)果表明檢測(cè)器性能不僅與測(cè)地線長(zhǎng)度有關(guān),還與測(cè)地線方向有關(guān)。對(duì)于二元假設(shè)檢驗(yàn)問題,距離檢測(cè)器與似然比檢測(cè)器相當(dāng)。

1 基礎(chǔ)理論

1.1 信息幾何基礎(chǔ)

信息幾何理論中,對(duì)于參數(shù)化統(tǒng)計(jì)分布族:

如果在S與Θ之間存在一一對(duì)應(yīng)關(guān)系,這種一一對(duì)應(yīng)關(guān)系使得在S上誘導(dǎo)出與Θ同胚的拓?fù)浣Y(jié)構(gòu)。如果在S上任取一點(diǎn)P=p(x,θ)以及在P的一個(gè)鄰域U,定義U到的映射φ:φ(P)=θ。此時(shí)鄰域U是S的一個(gè)覆蓋,映射φ是一個(gè)微分同胚映射,這樣就可以在S上建立一個(gè)微分結(jié)構(gòu),因而S形成了一個(gè)n維微分流形,其坐標(biāo)為θ。

在統(tǒng)計(jì)流形S上點(diǎn)P處的切空間T P(S)是一個(gè)n維向量空間,其本質(zhì)上就是S在P點(diǎn)處的線性近似。流形上的度量張量有切空間T P(S)的內(nèi)積決定,切空間內(nèi)積的定義具有隨意性,但在統(tǒng)計(jì)流形上引入Riemann度量有利于統(tǒng)計(jì)問題的研究,即度量張量與Fisher信息矩陣一致。從某種意義上的不變性而言,Fisher信息矩陣是唯一適合的Riemann度量。Fisher信息矩陣定義為

式中,E[·]表示按照分布p(x,θ)取期望?？紤]流形S上任意曲線c(t)=c(θ(t)),t∈[a,b],其中θ(a)=θ0,θ(b)=θ1。曲線的弧長(zhǎng)可以表示為

那么刻畫p(x,θ0)和p(x,θ1)兩種分布的差異可以用連接S上θ0點(diǎn)和θ1點(diǎn)最短弧長(zhǎng)表示:

其對(duì)應(yīng)的曲線就是測(cè)地線,測(cè)地線應(yīng)該滿足方程:

測(cè)地線具有良好的距離測(cè)度的性質(zhì),即滿足對(duì)稱性、非負(fù)性和三角不等式。但測(cè)地線的長(zhǎng)度計(jì)算并不容易,為此常常采用KLD作為測(cè)量?jī)煞N分布的差異[16],其也稱為相對(duì)熵:

但需要指出的是,KLD并不滿足對(duì)稱性和三角不等式。為此可以考慮采用平均KLD來滿足距離測(cè)量的對(duì)稱性:

1.2 高斯統(tǒng)計(jì)模型

本文考慮高斯統(tǒng)計(jì)模型,那么對(duì)應(yīng)的統(tǒng)計(jì)流形可以表示為

具有相同均值的測(cè)地線距離:

式中,λi為方程det(M0-λM1)=0的根。該公式可以用于雷達(dá)信號(hào)的CFAR檢測(cè)[16-17]。

具有相同方差的測(cè)地線距離:

該距離也稱之為Mahalonobis距離,該距離可以應(yīng)用于多目標(biāo)跟蹤問題。

對(duì)于一元高斯統(tǒng)計(jì)模型,測(cè)地線距離[14]可以表示為

利用式(7)可以得到KLD的表達(dá)式:

需要指出的是,KLD不具備對(duì)稱性,可以利用式(8)得到具有對(duì)稱性的KLD。

2 距離檢測(cè)器性能分析

2.1 測(cè)地線距離與檢測(cè)性能關(guān)系

從前面的分析可以看出,可以用統(tǒng)計(jì)流形上兩個(gè)點(diǎn)之間的距離衡量?jī)煞N分布之間的差異。從檢測(cè)理論可知,對(duì)于二元假設(shè)檢驗(yàn),如果兩種假設(shè)下的統(tǒng)計(jì)分布差異越大,對(duì)應(yīng)的檢測(cè)性能也就越好。因此有必要討論測(cè)地線距離與檢測(cè)性能的關(guān)系。本文以一元高斯下的檢測(cè)為例,考慮如下檢測(cè)問題:

即假定兩種假設(shè)分布都是一元高斯分布,均值和方差不相同。采用Neyman-Pearson準(zhǔn)則,檢測(cè)器的性能可以表述為給定第一類錯(cuò)誤概率Pf=P(H1|H0)條件下,使得檢測(cè)概率Pd=P(H1|H1)最大。由此可以得到似然比檢測(cè)器:

式中:

門限γ與指定的第一類錯(cuò)誤概率Pf有關(guān)?？梢钥闯?檢測(cè)概率Pd與兩種假設(shè)下的分布參數(shù)有關(guān),一般情況下,可以采用計(jì)算機(jī)仿真計(jì)算得到。而利用式(12)可以得到兩種分布之間測(cè)地線距離,利用式(13)可以得到兩種分布的KLD距離。由此就可以建立統(tǒng)計(jì)流形上兩點(diǎn)的距離與檢測(cè)性能之間的關(guān)系。

圖1給出了參數(shù)空間(μ,σ)上的等測(cè)地線距離圓。在參考空間內(nèi)取點(diǎn)A(0,1),給出了與該點(diǎn)距離為0.5,1,1.2三種等距離圓。從圖中可以看出,等距離圓在均值參數(shù)方向是對(duì)稱的,而在標(biāo)準(zhǔn)差參數(shù)方向是非對(duì)稱的。以距離A點(diǎn)測(cè)地線距離為1時(shí),取B,C兩點(diǎn),這兩點(diǎn)具有相同的均值參數(shù),但方差不同,如圖1所示?？梢钥闯?雖然在參數(shù)空間上,BA的距離小于AC的距離,但在測(cè)地線距離上卻相等。也就是說,從測(cè)地線距離的角度來看,B點(diǎn)處的分布與A點(diǎn)處的分布之間的差異等同于C點(diǎn)與A點(diǎn)分布之間的差異。

圖1 參數(shù)空間內(nèi)的等測(cè)地線距離圓

接下來考慮在等測(cè)地線距離圓上的檢測(cè)性能。在這里考慮兩種距離,一種為Fisher測(cè)地線距離(FID),一種為平均KLD距離(KLDavg)。并考慮與點(diǎn)(0,1)相距D=3的等距離圓,如圖2(a)所示,可以看出KLD與FID在標(biāo)準(zhǔn)差小于1的區(qū)域較為接近,而在標(biāo)準(zhǔn)差大于1的區(qū)域,兩者差異較大。這是因?yàn)镵LD并不是流形上兩點(diǎn)之間的真實(shí)距離。沿等距離圓,利用式(15)可以估算檢測(cè)器性能。這里取第一類錯(cuò)誤概率Pf=10-3,仿真次數(shù)為105。在整個(gè)圓周上的檢測(cè)概率Pd如圖2(b)所示?？梢钥闯?在不同方向上,檢測(cè)性能是不一樣的。這說明,統(tǒng)計(jì)流形上兩點(diǎn)之間的距離即便相同,對(duì)應(yīng)的檢測(cè)性能可能存在顯著差異。因此流形上兩點(diǎn)之間的距離與檢測(cè)器性能之間不是一一對(duì)應(yīng)的。

圖2 相同距離條件下的檢測(cè)性能

最后分析具有相同檢測(cè)性能時(shí),對(duì)應(yīng)的參數(shù)空間內(nèi)均值和方差所滿足的條件。分析結(jié)果如圖3所示。仿真參數(shù)同前,分別考慮了檢測(cè)概率為0.1～0.5幾種情況下的參數(shù)分布情況?？梢钥闯?距離A(0,1)點(diǎn)越遠(yuǎn),檢測(cè)概率越大,這種趨勢(shì)與測(cè)地線距離類似。但是對(duì)比圖1和圖3可知,具有相同檢測(cè)性能的參數(shù)顯然不屬于同一測(cè)地線距離圓上。由此可以得出,檢測(cè)性能雖然與測(cè)地線距離的大小有關(guān)系,但并不是一一對(duì)應(yīng)的,而與測(cè)地線的方向有關(guān)系。

2.2 簡(jiǎn)單假設(shè)下的檢測(cè)方法

對(duì)于具有相同方差的簡(jiǎn)單二元假設(shè)檢驗(yàn)問題:

這是二元假設(shè)檢驗(yàn)問題公式(14)的特例,由于所有參數(shù)均已知,似然比檢測(cè)性能可以表示為

式中,函數(shù)Q是正態(tài)累計(jì)密度函數(shù):

圖3 具有相同檢測(cè)性能的參數(shù)分布

基于信息幾何理論,可以將簡(jiǎn)單二元假設(shè)問題考慮為參數(shù)空間為(μ,σ)統(tǒng)計(jì)流形上的兩個(gè)點(diǎn),分別對(duì)應(yīng)P0=(μ0,σ)和P1=(μ1,σ)。利用觀測(cè)數(shù)據(jù)x可以得到流形上對(duì)應(yīng)的估計(jì)值點(diǎn)P=(x,σ),距離檢測(cè)器就是判定P與P0和P1之間的距離差。為此構(gòu)造如下的距離檢測(cè)器:

式中,d,d1,d0分別對(duì)應(yīng)了P0與P1之間的距離、P與P1之間的距離、P與P0之間的距離。距離計(jì)算值采用FID或KLD計(jì)算。

利用式(18)和式(20)可以對(duì)比分析兩者檢測(cè)性能,分析結(jié)果如圖4所示,其中信噪比(SNR)的定義為

可以看出,兩者的檢測(cè)性能完全一致。由此可以得出,基于信息幾何理論得到的距離檢測(cè)器,其檢測(cè)性能與似然比檢測(cè)性能相當(dāng)。這是因?yàn)樵诮o定方向上,流形上的距離大小與檢測(cè)性能存在正比關(guān)系。

2.3 復(fù)合假設(shè)下的檢測(cè)方法

對(duì)于復(fù)合二元假設(shè)檢驗(yàn)問題,假定式(17)中μ1參數(shù)是未知的,此時(shí)可以采用廣義Neyman-Pearson準(zhǔn)則,即采用廣義似然比獲得似然比檢測(cè)器:

圖4 簡(jiǎn)單二元假設(shè)的檢測(cè)性能對(duì)比

容易得到其檢測(cè)性能為

式中,函數(shù)f(·,δ)是自由度為1且非中心參數(shù)為δ的χ2累計(jì)概率密度函數(shù)?；谛畔缀卫碚?由于H1下的參數(shù)是未知的,因此距離檢測(cè)器退化為

即判定P與P0之間的距離大小,依據(jù)該距離的大小實(shí)現(xiàn)對(duì)假設(shè)檢驗(yàn)問題的判決。

兩種檢測(cè)器性能分析結(jié)果如圖5所示?？梢钥闯?兩種檢測(cè)器的檢測(cè)性能是相當(dāng)?shù)?說明采用基于信息幾何理論的距離檢測(cè)器也可以達(dá)到似然比檢測(cè)器的性能。

圖5 復(fù)合假設(shè)下的檢測(cè)性能對(duì)比

3 結(jié)束語

信息幾何理論的核心問題是將微分幾何方法應(yīng)用于統(tǒng)計(jì)推斷,本文主要考慮基于信息幾何理論的假設(shè)檢驗(yàn)問題,其關(guān)鍵在于確定統(tǒng)計(jì)流形上的兩點(diǎn)之間的距離,并建立距離測(cè)度與檢測(cè)性能之間的量化關(guān)系。通過分析表明,距離大小與檢測(cè)性能并不是一一對(duì)應(yīng)的,但是在給定測(cè)地線方向時(shí),距離的大小與檢測(cè)性能的高低是相關(guān)的,因此可以將距離測(cè)度應(yīng)用于信號(hào)的檢測(cè)。最后給出了簡(jiǎn)單假設(shè)和復(fù)合假設(shè)兩種情況,分別構(gòu)造了距離檢測(cè)器,其檢測(cè)性能與似然比檢測(cè)性能相當(dāng)。

[1]KAY S K.Fundamentals of Statistical Signal Processing:Volume II Detection Theory[M].Upper Saddle River,NJ:Prentice Hall,1998:125-196.

[2]RAO C R.Information and the Accuracy Attainable in the Estimation of Statistical Parameters[J].Bulletin of the Calcutta Mathematical Society,1945,37(3):81-91.

[3]EFRON B.Defining the Curvature of a Statistical Problem(with Applications to Second Order Efficiency)[J].The Annals of Statistics,1975,3(6):1189-1242.

[4]AMARI S.Geometrical Theory of Asymptotic Ancillarity and Conditional Inference[J].Biometrika,1982,69(1):1-17.

[5]AMARI S.Information Geometry and Its Application[M].Tokyo:Springer,2016:315-353.

[6]孫華飛,張真寧,彭林玉,等.信息幾何導(dǎo)引[M].北京:科學(xué)出版社,2016:1-8.

[7]NIELSEN F,BHATIA R.Matrix Information Geometry[M].Berlin:Springer,2013.

[8]FAN H,JIANG Y,KUANG G.Target Detection in Non-Stationary Clutter Background and Riemann Geometry[J].IET Radar,Sonar and Navigation,2014,8(4):376-381.

[9]RASKUTTI G,MUKHERJEE S.The Information Geometry of Mirror Descent[J].IEEE Trans on Information Theory,2015,61(3):1451-1457.

[10]LI W,JIA Y.Kullback-Leibler Divergence for Interacting Multiple Model Estimation with Random Matrices[J].IET Signal Processing,2016,10(1):12-18.

[11]PEREYRA M,BATATIA H,MCLAUGHLIN S.Exploiting Information Geometry to Improve the Convergence of Nonparametric Active Contours[J].IEEE Trans on Image Processing,2015,24(3):836-845.

[12]華小強(qiáng),王平,高穎慧,等.基于信息幾何的圖像去噪[J].計(jì)算機(jī)工程與科學(xué),2015,37(3):589-593.

[13]趙興剛,王首勇.雷達(dá)目標(biāo)檢測(cè)的信息幾何方法[J].信號(hào)處理,2015,31(6):631-637.

[14]CALVO M,OLLER J M.An Explicit Solution of Information Geodesic Equations for the Multivariate Normal Model[J].Statistics and Risk Modeling,1991,9(1-2):119-138.

[15]CALVO M,OLLER J M.A Distance Between Multivariate Normal Distributions Based in an Embedding into the Siegel Group[J].Journal of Multivariate Analysis,1990,35(2):223-242.

[16]王剛,劉智,王番,等.基于KL距離的SAR影響變化檢測(cè)[J].雷達(dá)科學(xué)與技術(shù),2012,10(1):59-63.WANG Gang,LIU Zhi,WANG Fan,et al.A Change Detection Method of SAR Image Based on Kullback Leibler Divergence and Morohology[J].Radar Science and Technology,2012,10(1):59-63.(in Chinese)

[17]BARBARESCO F,BRION V,JEANNIN N.Radar Wake-Vortices Cross-Section/Doppler Signature Characterisation Based on Simulation and Field Tests Trials[J].IET Radar,Sonar and Navigation,2016,10(1):82-96.

Signal Detection Method Based on Information Geometry Theory

ZOU Kun,WU Dewei,LI Wei
(School of Information and Navigation,Air Force Engineering University,Xi’an710077,China)

Based on the information geometry theory,the statistical inference can be transformed into the geometry problem,and hence,can be realized from a geometric perspective.In this paper,we consider the signal detection in Gaussian noise,and provide the fundamentals necessary for signal detection based on the information geometry theory.The relationship between the geodesic distance and the detection performance is analyzed.The two distance detectors are analyzed for simple hypothesis and compound hypothesis respectively.The computer analysis results indicate that the detection performance is determined by the geodesic distance and orientation,and the detection performance of the distance detector is comparative to the likelihood ratio detector.

information geometry;geodesic line;distance detector;signal detection

TN957.51

A

1672-2337(2017)02-0120-06

10.3969/j.issn.1672-2337.2017.02.002

2016-07-02;

2016-11-20

國家自然科學(xué)基金(No.61571456);陜西省自然科學(xué)基金(No.2016JM0644)

鄒 鯤男,1976年出生,湖北黃岡人,博士后,副教授,主要研究方向?yàn)榻y(tǒng)計(jì)信號(hào)處理、認(rèn)知雷達(dá)信號(hào)檢測(cè)與估計(jì)。E-mail:wyyxzk@163.com

吳德偉男,1963年出生,吉林吉林人,教授、博士生導(dǎo)師,主要研究方向?yàn)閷?dǎo)航信息技術(shù)。

李 偉男,1978年出生,山東濟(jì)寧人,博士,副教授,主要研究方向?yàn)镸IMO雷達(dá)信號(hào)處理。