平穩(wěn)隨機(jī)信號(hào)的可預(yù)測性分析與熵值估計(jì)

陳 斌

(河南省煤炭地質(zhì)勘察研究總院，鄭州 450052)

0 引言

在自回歸模型中，平穩(wěn)隨機(jī)信號(hào)中的任意點(diǎn)xn可由此前的M點(diǎn)xn-1,xn-2,…,xn-M通過線性組合的方式所預(yù)測，其參數(shù)化模型通常被寫為

(1)

(2)

此時(shí)的外部噪聲sn與模型的組合輸出之間必然相互正交，模型的自回歸系數(shù)可由最小均方差法求得，即要求其預(yù)測誤差同時(shí)也是所引入的外部噪聲的均方差為最?。?/p>

(3)

對(duì)(3)式中的各項(xiàng)ak系數(shù)求其導(dǎo)數(shù)，并令其值為零，整理后即可得到Y(jié)ule-Walker(YW)方程：

(4)

矩陣中的r(k)=E{xn-kxn}，為信號(hào)在k點(diǎn)處的自相關(guān)系數(shù)。另外在(1)式兩邊乘以xn-k并求其數(shù)學(xué)期望，也可得到同樣的結(jié)果。該方法最早由Yule與Walker等人所提出，線性自回歸模型與YW方程以及它的多種變化形式已經(jīng)被廣泛應(yīng)用于多個(gè)學(xué)科及工程領(lǐng)域，在數(shù)字信號(hào)處理領(lǐng)域，它主要被應(yīng)用于對(duì)信號(hào)短序列的譜估計(jì)研究[1-2]。而由于(2)式Toeplitz矩陣中的信號(hào)自相關(guān)系數(shù)來自于對(duì)信號(hào)截?cái)嘈蛄械墓烙?jì)值，對(duì)其直接計(jì)算將會(huì)導(dǎo)致出現(xiàn)嚴(yán)重的不穩(wěn)定現(xiàn)象。從1967年開始，Burg，Edward，Bos等陸續(xù)提出了對(duì)隨機(jī)信號(hào)的最大熵譜估計(jì)方法，并說明了它和YW方程之間的一致性關(guān)系[3-5]，國內(nèi)最早也可見何樵登、王宏禹等人對(duì)此方面工作介紹，該方法首先假設(shè)隨機(jī)信號(hào)在高斯分布條件下具有Shannon信息形式的最大熵熵值分布，以此作為約束條件，并將其轉(zhuǎn)換為要求對(duì)YW方程中的正向與反向預(yù)測誤差之和為最小，這樣就可不必直接求解YW方程，也能逐階對(duì)模型的自回歸系數(shù)進(jìn)行遞推求解，從而可以獲得更高分辨率的信號(hào)功率譜分布[6-7]，其具體計(jì)算方法可見Stoica與張賢達(dá)等人的相關(guān)專著[8-9]。

(1)式模型從外部引入譜白化的隨機(jī)噪聲sn以追蹤隨機(jī)信號(hào)序列隨時(shí)間的不確定變化，同時(shí)也將此譜白化噪聲作為自回歸有理參數(shù)模型的擾動(dòng)激勵(lì)。但若對(duì)此模型重復(fù)輸入相同的擾動(dòng)激勵(lì)，將會(huì)得到同樣的預(yù)測輸出，可知它所表述的仍然是一個(gè)確定性的線性時(shí)不變系統(tǒng)。但信號(hào)的隨機(jī)特性決定了它必然具有時(shí)變性質(zhì)，雖然其統(tǒng)計(jì)特性可以保持穩(wěn)態(tài)不變，但其具體數(shù)值卻不可能被先驗(yàn)確定，即便在相同的激勵(lì)條件下其信號(hào)輸出也不應(yīng)重復(fù)一致。而隨機(jī)信號(hào)這種隨時(shí)間變化的不確定關(guān)系，決定了不可能對(duì)信號(hào)進(jìn)行完全的精確估計(jì)，在其預(yù)測過程中都將不可避免地會(huì)產(chǎn)生預(yù)測誤差或偏差，這種預(yù)測誤差或偏差既無法避免也無法消除。因此，自回歸模型只能是對(duì)隨機(jī)信號(hào)時(shí)間序列數(shù)據(jù)進(jìn)行某種擬合，其目標(biāo)應(yīng)當(dāng)是使所期望預(yù)測到的目標(biāo)信號(hào)在預(yù)測輸出中的比例或權(quán)重達(dá)到最大，而非實(shí)現(xiàn)完全的精確預(yù)測。為此本文通過對(duì)模型中的信號(hào)空間關(guān)系的分析，對(duì)隨機(jī)信號(hào)的可預(yù)測性即它在何種程度上能被準(zhǔn)確預(yù)測進(jìn)行了分析，并提出了相關(guān)約束條件，由此建立了隨機(jī)信號(hào)的可預(yù)測性與信號(hào)分布特征間的計(jì)算公式，同時(shí)也對(duì)信號(hào)的不可預(yù)測性即不確定性與其熵值特性進(jìn)行了相應(yīng)的討論。

1 空間上的自回歸模型

圖1 隨機(jī)信號(hào)組合輸出向量與其預(yù)測目標(biāo)向量的空間關(guān)系Figure 1 Spatial relationship between combined output vector andpredicted vector from random signal

(5)

=∑akE{xnxn-k}=∑akr(k)

(6)

(7)

此時(shí)k=1,…M，且有

(8)

即與(2)式中的假設(shè)條件相互一致，此時(shí)的預(yù)測輸出有

(9)

這里可以用一個(gè)簡單實(shí)例對(duì)上面的分析過程進(jìn)行說明，若在(1)式中令M=1，即僅用一個(gè)以往數(shù)據(jù)來預(yù)測當(dāng)前值，在k=1時(shí)，其最小均方差解為

(10)

這里的w=r(1)/r(0)，但此時(shí)直接以xn-1作為xn的預(yù)測值則更為合理，即

(11)

即相當(dāng)于剔除(10)式中從外部引入的多余噪聲項(xiàng)sn后，再取w=1，將式中兩邊的輸入輸出功率調(diào)整一致后的結(jié)果。

2 預(yù)測模型的譜白化濾波因子

(12)

而對(duì)于所預(yù)期的目標(biāo)信號(hào)有

(13)

(14)

其中w∈[0,1]，為目標(biāo)信號(hào)在組合輸出中的可預(yù)測權(quán)重比例，在將全部組合輸出作為其預(yù)測輸出時(shí)，它反映了自回歸模型所能預(yù)測到的目標(biāo)信號(hào)的最大比例，同時(shí)它也等于輸入輸出信號(hào)在時(shí)差為零時(shí)的互相關(guān)系數(shù)，也就是組合輸出與目標(biāo)信號(hào)向量間夾角的余弦值，這時(shí)的目標(biāo)信號(hào)與組合輸出之間最為接近，兩者間具有最大的相似程度。

(15)

若單獨(dú)以xn-k作為xn的估計(jì)值，并如上式將估計(jì)值分為期望輸出的目標(biāo)信號(hào)部分與剩余偏差兩部分，則有

xn-k=r(k)xn+ek

(16)

此時(shí)目標(biāo)信號(hào)xn在預(yù)測輸出xn-k中的權(quán)重比例為r(k)，提取其中所有的目標(biāo)信號(hào)成分之后的剩余偏差為ek，則必然有

E{xnek}=0

(17)

即此時(shí)的xn與ek兩序列之間相互正交。分別取k=1,…,M，對(duì)各點(diǎn)以相應(yīng)的自回歸系數(shù)ak加權(quán)后的線性組合輸出即構(gòu)成了取消引入外部噪聲后的自回歸預(yù)測結(jié)果：

=∑akr(k)xn+∑akek=wxn+en

(18)

整理后的組合輸出yn同樣可分為部分權(quán)重的目標(biāo)信號(hào)wxn與剩余偏差en兩部分，兩者間仍然相互正交，其中剩余偏差與目標(biāo)信號(hào)序列間的正交關(guān)系通常只是在相互對(duì)齊時(shí)才嚴(yán)格成立：

E{xnen}=∑akE{xnek}=0

(19)

E{enen}=1-w2

(20)

其中的組合輸出信號(hào)與目標(biāo)信號(hào)均已進(jìn)行歸一化處理，另外，這里無需對(duì)剩余偏差en以及預(yù)測誤差{yn}-{xn}的狀態(tài)分布情況給出特別假定。另記以下列矩陣對(duì)應(yīng)的轉(zhuǎn)置行矩陣分別為

(21)

(22)

由隨機(jī)信號(hào)自相關(guān)的數(shù)學(xué)定義，xn序列M+1維的自相關(guān)矩陣有

R(M+1)=E{X(M+1)X(M+1)T}

(23)

略去各式中的矩陣維數(shù)，對(duì)目標(biāo)信號(hào)與模型組合輸出之間的差值即模型的預(yù)測誤差有

=(1-w)xn-en=Hxn-en

(24)

E{(xn-yn)2}=E{ATXXTA}=ATRA

=E{(1-w)2xn2+en2}=2H

(25)

由于組合輸出可以看成是將現(xiàn)時(shí)信號(hào)輸入到預(yù)測模型之中，經(jīng)過不同時(shí)間延遲后的多點(diǎn)加權(quán)組合的再次輸出，因此可將信號(hào)序列xn本身視為預(yù)測模型的輸入，經(jīng)過模型加權(quán)組合后的響應(yīng)作為其預(yù)測輸出，即

(26)

其中的δ(k)為單位脈沖函數(shù)，即自回歸模型可以看成是一個(gè)隨機(jī)信號(hào)通過延遲加權(quán)組合方法預(yù)測自身的濾波過程，而模型的自回歸系數(shù)就是此系統(tǒng)響應(yīng)過程的濾波因子，即它是對(duì)隨機(jī)信號(hào)自身在時(shí)間域不斷延續(xù)的過程的追蹤與擬合，這必然要求其輸出的預(yù)測結(jié)果與平穩(wěn)隨機(jī)信號(hào)的現(xiàn)時(shí)值之間盡量保持一致，而這兩種情況下都必須要求在時(shí)間延續(xù)過程中的狀態(tài)保持平穩(wěn)不變，其中除要求信號(hào)輸入輸出前后的一階矩與二階矩均應(yīng)保持不變之外，也必須使自回歸預(yù)測輸出的信號(hào)功率譜應(yīng)與原輸入信號(hào)的功率譜保持一致，這也是對(duì)隨機(jī)信號(hào)保持自身狀態(tài)平穩(wěn)性的要求，否則就會(huì)導(dǎo)致預(yù)測輸出信號(hào)的失真與畸變，即這些約束條件是建立預(yù)測模型時(shí)所必需具備的先決條件。

由于模型組合中的自回歸系數(shù)分布情況決定了預(yù)測輸出中有效信號(hào)部分的權(quán)重比例大小，但同時(shí)還要求保持模型中的信號(hào)輸出狀態(tài)的穩(wěn)定不變，考慮到自回歸過程也可被視為輸入信號(hào)通過預(yù)測模型后的濾波響應(yīng)，模型的自回歸系數(shù)即為此線性時(shí)不變?yōu)V波器的濾波因子。不難發(fā)現(xiàn)自回歸系數(shù)當(dāng)且僅當(dāng)為譜白化的形式，才能使得預(yù)測輸出信號(hào)的功率譜分布仍與原輸入信號(hào)仍然保持一致，這樣即可維持輸入輸出前后信號(hào)的狀態(tài)參數(shù)的平穩(wěn)不變。

由于信號(hào)在通過譜白化濾波器時(shí)，輸入輸出間僅作相位的改變，即對(duì)模型的自回歸系數(shù)有

(27)

這里的δi,j為Kronecker delta函數(shù)，它在頻率域上的振幅譜值恒定為1。

若令Pm為輸入及輸出信號(hào)在各頻點(diǎn)上的功率譜，θm為兩者間的相位差值，且有

∑mPm=1

(28)

∑mcos2θm=∑kak2=1

(29)

由(14)式，預(yù)測模型的可預(yù)測權(quán)重比有

w=∑akr(k)=E{xnyn}=∑mPmcos2θm

(30)

若將隨機(jī)信號(hào)在頻率域內(nèi)進(jìn)行分解，由于不同頻點(diǎn)處信號(hào)分量間的相互正交性，(30)式中各分量乘積間的數(shù)學(xué)期望即等于0，這樣在其輸出中只需計(jì)算輸入輸出信號(hào)在各個(gè)同頻分量乘積間的數(shù)學(xué)期望，即它相當(dāng)于將預(yù)測模型分解為頻率域中各個(gè)相互獨(dú)立的單頻點(diǎn)分量模型后再分別進(jìn)行預(yù)測的結(jié)果，且它在各頻點(diǎn)上所預(yù)測到的有效信號(hào)權(quán)重比例等于此頻點(diǎn)處信號(hào)輸入輸出相位差的余弦平方值，而整個(gè)隨機(jī)信號(hào)的可預(yù)測權(quán)重比則等于各個(gè)頻點(diǎn)上的可預(yù)測權(quán)重比與其頻點(diǎn)對(duì)應(yīng)的功率譜值乘積的累加。這表明信號(hào)中的單個(gè)獨(dú)立分量均只能對(duì)自身實(shí)現(xiàn)部分的精確預(yù)測，而且每個(gè)分解后的單頻預(yù)測模型對(duì)其它頻點(diǎn)的信號(hào)預(yù)測并不能起到任何有效作用。

若將信號(hào)分解為在其它完備正交基上的投影之和，以上預(yù)測方法同樣可以適用，各個(gè)分量上的預(yù)測結(jié)果仍然相對(duì)獨(dú)立，但各分量可預(yù)測到的有效信號(hào)權(quán)重比例將會(huì)發(fā)生相應(yīng)變化。

由(30)式，對(duì)其頻率域內(nèi)的各個(gè)頻點(diǎn)，當(dāng)且僅當(dāng)

Pm=cos2θm

(31)

w值取其極大值，此時(shí)

w=∑mwm=∑mPmcos2θm=∑mPm2

(32)

wm為單個(gè)頻點(diǎn)位置上的信號(hào)可預(yù)測權(quán)重比，信號(hào)總的可預(yù)測權(quán)重比w值的余數(shù)H有

=∑mPm(1-Pm)=∑mPm∑n≠mPn

(33)

即自回歸模型不可能準(zhǔn)確預(yù)測到所期望的全部目標(biāo)信號(hào)，其可預(yù)測部分的最大權(quán)重w值等于信號(hào)功率譜密度的平方和，而其余值H=1-w即為對(duì)信號(hào)不確定性的大小的具體衡量標(biāo)準(zhǔn)。

另外，若強(qiáng)制選擇模型的自回歸系數(shù)為非譜白化的形式，例如令其為單頻濾波器時(shí)的情況，其預(yù)測輸出中總的有效信號(hào)部分權(quán)重比例可以大于輸入信號(hào)功率譜分布的平方和值，但這樣會(huì)造成此時(shí)預(yù)測輸出信號(hào)的嚴(yán)重失真，因其功率譜分布特征與模型期望輸出之間相差過遠(yuǎn)而失去其意義。

而對(duì)于YW方程，所要求的約束條件是使其中的預(yù)測誤差P值為最小，但所引入的外部噪聲不能有效補(bǔ)償其預(yù)測誤差時(shí)，反而將會(huì)增加其預(yù)測輸出與目標(biāo)信號(hào)間的相對(duì)誤差。此外，除(2)式中的簡化假設(shè)條件未必能完全成立之外，方程中也未能體現(xiàn)出對(duì)信號(hào)輸入輸出功率譜狀態(tài)一致性的要求，其結(jié)果的穩(wěn)定性與可靠性都可能存在疑問。

3 Shannon熵編碼信號(hào)

對(duì)于信號(hào)的熵值估計(jì)，Shannon在其信息理論中提出了3個(gè)假設(shè)條件：①信號(hào)的狀態(tài)熵值hi是其出現(xiàn)概率pi在[0,1]區(qū)間內(nèi)的連續(xù)函數(shù)，即它應(yīng)是一個(gè)上凸的光滑連續(xù)曲線，且在[0,1]兩端的值恒等于0；②在各點(diǎn)pi相等時(shí)，信號(hào)具有最大的熵值分布，且此時(shí)信號(hào)總熵值H=∑hi隨其狀態(tài)數(shù)的增加而單調(diào)增加；③如果選擇分為相繼的兩步，未分步時(shí)的信號(hào)熵值等于分步選擇時(shí)熵值的加權(quán)和[10]。最后所總結(jié)出的信號(hào)狀態(tài)分量的熵值計(jì)算函數(shù)為

hi=-pilogpi

(34)

在Shannon信息理論中，信號(hào)中的所有狀態(tài)各自都被賦予某個(gè)特定的編碼，其編碼長度與狀態(tài)的出現(xiàn)概率相對(duì)應(yīng)，信號(hào)的總熵值相當(dāng)于其編碼的平均長度，且信號(hào)中的各個(gè)狀態(tài)均被視為相互獨(dú)立，狀態(tài)之間以及編碼之間均不能進(jìn)行測度意義上的大小比較，相互之間不能替代或部分替代。由于信號(hào)狀態(tài)的編碼只是其概率分布情況的反映，而與其中所代表的實(shí)際內(nèi)容并沒有直接的關(guān)聯(lián)性，因此可稱此類信號(hào)為編碼(encoding)信號(hào)。另外，為保證編碼信號(hào)中的各個(gè)狀態(tài)都可以獲得相應(yīng)的有效編碼，信號(hào)狀態(tài)的總數(shù)就必須為有限的數(shù)目。而連續(xù)分布信號(hào)以及無限離散分布信號(hào)由于其狀態(tài)的無限性，都不可能存在相對(duì)應(yīng)的有限字長編碼，否則將因其編碼長度以及其熵值趨于無窮大值而失去實(shí)際意義。

對(duì)于編碼信號(hào)中的任意狀態(tài)，即便是其出現(xiàn)概率值pi無限接近于0，其熵值hi都必定要大于0，否則將無法為此狀態(tài)分配一個(gè)對(duì)應(yīng)的有限長度編碼，這也就必然要求其熵值函數(shù)在pi=0點(diǎn)處的導(dǎo)數(shù)h′i→∞，即這兩者之間是相互等價(jià)的關(guān)系。如果各狀態(tài)間的概率調(diào)整或變化僅僅只出現(xiàn)其信號(hào)內(nèi)部，此時(shí)各狀態(tài)的出現(xiàn)概率始終有pi>0，因此信號(hào)的總熵值仍然保持著連續(xù)變化。但在編碼信號(hào)總的狀態(tài)數(shù)發(fā)生改變時(shí)，由于必須為新增加或?qū)⒈幌臓顟B(tài)分配或解除編碼，信號(hào)的總熵值就會(huì)出現(xiàn)跳躍式的而非連續(xù)性的變化，這是由于其熵值函數(shù)的導(dǎo)數(shù)值在pi=0處不能保持連續(xù)所致，其實(shí)這種變化情況也正是前面信號(hào)總熵值應(yīng)隨其概率平均分布時(shí)狀態(tài)個(gè)數(shù)的增加而單調(diào)增加的假設(shè)條件所要求的。而且這種熵值的跳變也同時(shí)反映了信號(hào)各狀態(tài)間的相互獨(dú)立與不可替代性，即可以藉此方式以區(qū)分不同的信號(hào)狀態(tài)。但是，并非所有類型的信號(hào)都具備或者需要這種熵值特性，特別是當(dāng)信號(hào)的小概率狀態(tài)，當(dāng)其消失或被其它的狀態(tài)所替換，而不能或不應(yīng)當(dāng)導(dǎo)致信號(hào)中信息量的突然或非連續(xù)變化，或是其小概率信號(hào)狀態(tài)的本身與其信息變化可被忽略時(shí)，這同時(shí)也意味著信號(hào)狀態(tài)間的不完全獨(dú)立與相對(duì)的可替代性，對(duì)于這種情況Shannon信息理論就并不完全適用。

隨機(jī)信號(hào)是對(duì)時(shí)間域內(nèi)連續(xù)變化的物理量經(jīng)數(shù)字化處理后產(chǎn)生的信息序列，信號(hào)狀態(tài)的編碼是對(duì)其物理量的某種量化逼近選擇，信號(hào)狀態(tài)之間有著明確且變化不一的空間距離，各相近狀態(tài)能夠互相替代或部分互相替代，而且在時(shí)間序列前后的數(shù)據(jù)狀態(tài)也并不是相互獨(dú)立存在。但即便是忽略了在時(shí)間域內(nèi)各個(gè)狀態(tài)之間的相關(guān)性，隨機(jī)信號(hào)的遍歷性也會(huì)導(dǎo)致其狀態(tài)數(shù)存在著無窮變化，這也就意味著無法對(duì)它們一一實(shí)現(xiàn)相對(duì)應(yīng)的有限字長編碼。

因此，為避免時(shí)間域內(nèi)隨機(jī)信號(hào)狀態(tài)的遍歷性以及各點(diǎn)間信號(hào)狀態(tài)的相關(guān)性的影響，將信號(hào)分解為相對(duì)獨(dú)立的各頻點(diǎn)狀態(tài)分量，以各頻點(diǎn)的功率譜值作為其狀態(tài)分量的出現(xiàn)概率，從頻率域的角度分析其熵值特性就顯得更為實(shí)際與合理。這時(shí)整個(gè)信號(hào)表現(xiàn)為在各頻率點(diǎn)對(duì)應(yīng)狀態(tài)的混合加權(quán)疊加以及在時(shí)間域上的不斷延續(xù)，相當(dāng)于整個(gè)隨機(jī)信號(hào)過程是一個(gè)在時(shí)間域內(nèi)不斷延續(xù)的事件(event)。

由于泄露效應(yīng)，隨機(jī)信號(hào)在任意頻點(diǎn)分量的功率譜值都不可能絕對(duì)為零，此時(shí)采用Shannon熵函數(shù)評(píng)估每個(gè)頻點(diǎn)的熵值以及信號(hào)的總熵值也將不會(huì)直接出現(xiàn)明顯的矛盾之處，但實(shí)際上隨機(jī)信號(hào)譜密度中的小概率分量大多情況下均可被忽視，而并不是完全獨(dú)立及無法被替代，這就與前面Shannon信息理論所要求的情況并不一致。

而且信號(hào)在其頻率域內(nèi)頻點(diǎn)分量的總數(shù)發(fā)生改變，即它的狀態(tài)數(shù)發(fā)生變化時(shí)，例如在對(duì)信號(hào)加密采樣或直接改變其延續(xù)時(shí)長的情況下，繼續(xù)采用Shannon熵函數(shù)所計(jì)算出的信號(hào)總熵值又將會(huì)出現(xiàn)如前面所描述的跳躍式變化，而由于隨機(jī)信號(hào)的時(shí)間延續(xù)的出現(xiàn)長短變化時(shí)其熵值仍應(yīng)保持相對(duì)的穩(wěn)定，兩者之間就會(huì)出現(xiàn)明顯的不相符合之處，而這實(shí)際上仍然是信號(hào)在時(shí)間域內(nèi)其狀態(tài)數(shù)的改變轉(zhuǎn)到頻率域后再進(jìn)行熵值計(jì)算所帶來的同樣的問題。

而最根本的問題在于：編碼信號(hào)的熵值是其狀態(tài)平均編碼長度的反映，但以類似方式應(yīng)用于隨機(jī)信號(hào)所得到的熵值卻不具備相對(duì)應(yīng)的明確物理意義。實(shí)際上對(duì)這些問題前人早已有所認(rèn)識(shí)，其具體內(nèi)容可見鐘義信等人對(duì)此的相關(guān)討論[11]，但以往工作著重于對(duì)Shannon信息理論在隨機(jī)信號(hào)領(lǐng)域應(yīng)用方法的修補(bǔ)或重新解釋，而并沒有考慮到還可以選擇其它熵值函數(shù)，以滿足隨機(jī)信號(hào)的實(shí)際要求。

4 隨機(jī)信號(hào)中的預(yù)測熵

經(jīng)過以上討論，可以認(rèn)為隨機(jī)信號(hào)的熵值函數(shù)在pi=0點(diǎn)處的導(dǎo)數(shù)必須為有限值，以適應(yīng)信號(hào)內(nèi)部不同狀態(tài)間能夠相互替代的實(shí)際要求，同時(shí)也由于在[0,1)區(qū)間內(nèi)的導(dǎo)數(shù)hi′為有限值，因此信號(hào)的總熵值H必然存在某個(gè)上限，這里不妨假設(shè)在完全譜白化分布條件下此上限值為1，即信號(hào)的總熵值大小也必然與其狀態(tài)數(shù)無關(guān)。若以此條件考慮新的熵值函數(shù)將會(huì)有多個(gè)選擇，根據(jù)之前對(duì)隨機(jī)信號(hào)自回歸過程預(yù)測誤差分析的結(jié)果，可以直接引入熵值計(jì)算函數(shù)為

hm=pm(1-pm)

(35)

它相當(dāng)于采用自回歸模型進(jìn)行信號(hào)預(yù)測時(shí)，在頻率域中單個(gè)頻點(diǎn)的模型可預(yù)測權(quán)重比例cos2θm=pm與除此所在頻點(diǎn)之外的各頻點(diǎn)功率譜累加值之間的乘積，其物理意義在于它是在此頻點(diǎn)分量處有效信號(hào)不可預(yù)測程度大小的衡量標(biāo)準(zhǔn)，因此可稱之為隨機(jī)信號(hào)的預(yù)測熵(predicting entropy)，全部頻點(diǎn)處預(yù)測熵值的累加就是整個(gè)隨機(jī)信號(hào)的總熵值H，同時(shí)它也是信號(hào)整體可預(yù)測權(quán)重比w的余值：

=∑mPm(1-Pm)=∑mwm(1-wm)

(36)

同樣，在隨機(jī)信號(hào)的長度發(fā)生變化以及信號(hào)采樣間隔發(fā)生改變時(shí)，其預(yù)測熵值仍將不會(huì)出現(xiàn)突變。而且無論是在離散狀態(tài)下還是在連續(xù)狀態(tài)下信號(hào)總的熵值的計(jì)算結(jié)果是相一致的。

在信號(hào)各項(xiàng)分量的出現(xiàn)概率近似相等，即信號(hào)為近譜白化分布時(shí)，信號(hào)的預(yù)測熵值趨于最大而接近于1。其自回歸模型中的輸入輸出信號(hào)向量夾角α接近直角，其可預(yù)測權(quán)重比例值w接近于0，此時(shí)的輸出yn實(shí)際已為與輸入xn互不相干或正交的白噪信號(hào)，信號(hào)的總熵值有

H=∑mPm(1-Pm)?∑1/M(1-1/M)

=1-1/M=(M-1)/M→1

(37)

同理，若隨機(jī)信號(hào)中只存在單個(gè)獨(dú)立分量，例如為單頻信號(hào)時(shí)的情況，這樣的信號(hào)將能被完全精確預(yù)測，可知此時(shí)模型空間內(nèi)的輸入輸出信號(hào)向量夾角α=0，其可預(yù)測權(quán)重比例值w=1，以及其余值H=0。若信號(hào)以某個(gè)概率密度接近于1的強(qiáng)振幅分量Pi為主體，并可將其它均以小概率值出現(xiàn)的分量視為干擾波動(dòng)，此時(shí)有

H=∑m≠iPm(1-Pm)+Pi(1-Pi)

?∑m≠iPm+(1-Pi)=2∑m≠iPm

(38)

即此類信號(hào)的熵值約等于其中全部干擾波動(dòng)分量的功率譜密度和的2倍，且有

E{enen}?E{(xn-yn)2}=2H

(39)

另外，本文是在付氏變換基上進(jìn)行的熵值評(píng)估，若是采用其它正交變換，估計(jì)其可預(yù)測權(quán)重比將會(huì)發(fā)生相應(yīng)改變。而且由于付氏變換的基底為固定值，與信號(hào)的實(shí)際特征分布無關(guān)，因此必然不可能是最佳變換，即不能獲得信號(hào)的最小熵值估計(jì)。從數(shù)學(xué)意義上只有采用Karhunen-Loeve (KL)變換，最大程度地去除各分量間的相關(guān)性時(shí)，才能達(dá)到使信號(hào)分解的最佳效果，這時(shí)的熵值函數(shù)推測會(huì)變?yōu)?/p>

hm=-(1-Pm)log(1-Pm)

(40)

圖2 3種熵值函數(shù)曲線的分布形態(tài)Figure 2 Distribution form of 3 entropy function curves

另外，對(duì)于Burg提出的最大熵假設(shè)，除前面所述說明隨機(jī)信號(hào)不存在合理的Shannon熵形式的熵值之外，即使在隨機(jī)信號(hào)為高斯分布或白噪分布時(shí)具有對(duì)應(yīng)的Shannon熵形式的最大熵熵值，但信號(hào)在非白噪分布情況下也未必為最大熵分布，故在所有情況下均以此前提假設(shè)進(jìn)行模型計(jì)算并不能完全符合真實(shí)情況。而實(shí)際上由于YW模型與Burg最大熵方法均將其預(yù)測誤差P為最小作為對(duì)模型參數(shù)計(jì)算的約束條件，因此就可不必強(qiáng)求對(duì)信號(hào)的最大熵假設(shè)，直接以(2)式方程中的預(yù)測誤差P值的大小作為對(duì)信號(hào)不確定性的度量標(biāo)準(zhǔn)，即視其為隨機(jī)信號(hào)的熵值的替代參數(shù)，以進(jìn)行方程的后續(xù)計(jì)算。由于此時(shí)預(yù)測誤差P值的大小決定了根據(jù)此方法計(jì)算所得到的信號(hào)分布與模型組合輸出之間夾角的大小，這同樣也是期望在目標(biāo)信號(hào)與組合輸出之間保持最大的相似程度，即期望兩者間的夾角為最小，這樣它和所計(jì)算出的信號(hào)熵值H的大小之間存在單調(diào)關(guān)系，即它與直接將組合輸出作為預(yù)測輸出所要求的期望目標(biāo)整體上相互一致，但對(duì)其中的預(yù)測誤差分析過程相對(duì)復(fù)雜且無必要，而直接對(duì)兩者間的相似性進(jìn)行分析則更為合理。

5 結(jié)論

綜上分析認(rèn)為，隨機(jī)信號(hào)本身的不確定性特征將導(dǎo)致其自回歸預(yù)測過程中必然會(huì)出現(xiàn)誤差或偏差，從以往信號(hào)中只能部分地預(yù)測到現(xiàn)時(shí)信號(hào)，而隨機(jī)信號(hào)的功率譜分布特征決定了其可預(yù)測程度的大小。

自回歸模型的全部有用信息只能源于其組合輸出部分，故應(yīng)將其全部保留在預(yù)測輸出之中，所加入的外部噪聲對(duì)預(yù)測輸出沒有實(shí)質(zhì)性的幫助而無需存在。

自回歸模型與信號(hào)譜估計(jì)的目標(biāo)應(yīng)是在保持模型輸入輸出信號(hào)功率譜穩(wěn)定不變的條件下，將以往數(shù)據(jù)中的最大部分轉(zhuǎn)換到預(yù)測輸出之中，使得此兩者間的夾角為最小，即期望得到預(yù)測誤差與預(yù)測熵值為最小的預(yù)測輸出信號(hào)。

自回歸模型預(yù)測輸出中的預(yù)測誤差或噪聲是隨機(jī)信號(hào)不完全可預(yù)測性的體現(xiàn)，所對(duì)應(yīng)的可預(yù)測權(quán)重比例的余值的大小可作為隨機(jī)信號(hào)的預(yù)測熵值以評(píng)估其不確定性，且無需對(duì)其中的信號(hào)分布情況進(jìn)行特定假設(shè)。