基于反向試驗信道的信息率失真函數(shù)計算方法

游雪肖，汪金漢

(湖北師范學院 數(shù)學與統(tǒng)計學院，湖北 黃石 435002)

基于反向試驗信道的信息率失真函數(shù)計算方法

游雪肖，汪金漢

(湖北師范學院 數(shù)學與統(tǒng)計學院，湖北 黃石 435002)

利用Lagrange乘數(shù)法和互信息與熵的關系，提出了一種基于反向試驗信道的信息率失真函數(shù)計算方法，給出了信息率失真函數(shù)的參量表示式，分析了該參量表示式中參數(shù)的物理意義，并舉例說明了其具體應用.

信息論；反向試驗信道；信息率失真函數(shù)；Lagrange乘數(shù)法

0 引言

在信息處理過程中，由于種種干擾因素的存在，不可避免地要丟失信息，產(chǎn)生失真。對于給定的信源，總是希望它的信息經(jīng)過處理后所產(chǎn)生的平均失真在一定允許限度內(nèi)的情況下，使得信源傳輸?shù)男畔⒙时M可能的小，這個最小值就是信息率失真函數(shù)R(D).一般可用Lagrange乘數(shù)法求解信息率失真函數(shù)，得關于試驗信道亦即未知量{p(bj|ai)}的參量表示[1～5]，或先求出互信息I(X;Y)的最小值，然后從反向試驗信道角度構(gòu)造反向試驗信道 {p(ai|bj)}證明最小值可達[6]，但反向試驗信道的構(gòu)造通常不是那么容易。本文利用互信息與熵的關系，從反向試驗信道角度以{p(ai|bj)} 為未知量直接討論R(D)的參量表示式以及參量S的物理意義。事實上，無論反向試驗信道，還是正向試驗信道，R(D)的參量表示式中參量S的意義是一樣的，都是R(D)的斜率。從該方法還可以看出, 在信息率失真函數(shù)計算時，無論正向試驗信道還是反向試驗信道，都只是一個信道從兩個不同角度考慮的兩種不同表示方法而已，沒有本質(zhì)區(qū)別。

1 預備知識

定義1[1]信源X的熵定義為

信源X,Y的聯(lián)合熵定義為

在給定信源Y的條件下，X的條件熵定義為

定義2[2]信源X,Y的互信息定義為

定理1[3]

I(X;Y)=H(Y)-H(Y|X)=

(1)

H(X)-H(X|Y)=

(2)

H(X)+H(Y)-H(X,Y)

(3)

定義3[2]對每一對(ai,bj)，指定一個非負函數(shù)d(ai，bj)≥0；i=1,2,…，n;j=1,2,…,m,稱d(aj,bj)為單個符號的失真函數(shù)或失真度. 用它來表示信源發(fā)出一個符號ai，而在接收端再現(xiàn)bj所引起的誤差或失真.

定義4[2]稱

為信源的平均失真度．

定義5[2]離散無記憶信源的平均失真度如果不超過某一限定的值D，即Ed(X,Y)≤D，則稱D是允許失真的上限.凡滿足Ed(X,Y)≤D的 {p(bj|ai)}稱為D失真許可的試驗信道，簡稱試驗信道．

定義6[2]信息率失真函數(shù)R(D)定義為

2 信息率失真函數(shù)的參量表示式

2.1問題的提出與轉(zhuǎn)化

由定義6可知，信息率失真函數(shù)的計算實際上是求I(X;Y)在約束條件下的極小值問題，即

minI(X;Y)

(4)

在文獻[1-5]中，R(D)的計算以{p(bj|ai)} 為未知量，利用Lagrange乘數(shù)法求解條件極值問題，從本質(zhì)上都是利用式(1)，本文利用式(2)和(3)，以{p(ai|bj)} 為未知量，得到了關于反向試驗信道{p(ai|bj)} 的信息率失真函數(shù)參量表示式.

2.2R(D)的參量表達式

為了在式(4)的 (n+2)個等式條件的限制下，求I(X;Y)的極值，可引入Lagrange乘數(shù)S、μ和αi(i=1,2,…，n)，利用式(3)構(gòu)造一個新的函數(shù)

上式兩邊對p(ai,bj)求偏導數(shù)，并令其為0，即

(5)

p(ai|bj)=eSd(ai,bj)βi,i=1,2,…,n;j=1,2,…,m.

(6)

上式兩邊對i求和并注意(4)式，有

(7)

(6)式兩邊同乘p(bj)，再對j求和，得

(8)

由(7)式解出βi，代入(6)式中得到p(ai|bj)，代入(8)式中得到p(bj)，將這些結(jié)果代入約束條件，可得

(9)

(10)

2.3參量S的意義

首先將R(D)對D求導數(shù)，則得

(11)

其次，在(7)式的兩邊對S求導數(shù)，可得

將上式兩邊乘以p(bj)，并對j求和，得

由此可見，在反向試驗信道計算得到的信息率失真函數(shù)表示式中，參數(shù)S具有與正向試驗信道中參數(shù)相同的意義。

2.4求解過程歸納

步驟如下：i)由(7)式求出βi；ii)由(6)式求出p(ai|bj)；iii)由(8)式求出p(bj)；iv)由(9)式求出D(S)；v)由(10)式求出R(D).

3 求解舉例

設Y的概率分布為{q0,q1}，則由(8)式，得

因此，由(9)式得

由(6)式，可計算得，

p(a1|b1)=p(a2|b2)=1-D,p(a2|b1)=p(a1|b2)=D

由(10)式，R(D)=I(X;Y)=H(X)-H(X|Y)=log2-H(1-D,D)

將該例與[1-5]比較可以看出，基于反向試驗信道的信息率失真函數(shù)的計算要比[1-5]簡單得多.

[1]曲 煒.信息論與編碼理論[M].北京:科學出版社, 2005．

[2]陳 運.信息論與編碼[M](第2版).北京: 電子工業(yè)出版社, 2007．

[3]葉中行.信息論基礎[M](第2版).北京: 高等教育出版社, 2007.

[4]田寶玉.信息論基礎[M].北京: 人民郵電出版社, 2008．

[5]王育民, 李 暉, 梁傳軍. 信息論與編碼理論[M]. 北京:高等教育出版社, 2005．

[6]游雪肖，趙大方.等概離散無記憶信源率失真函數(shù)的計算方法[J].數(shù)學實踐與認識，2014,44(10):163～168.

Acalculationmethodoftheratedistortionfunctionbasedonreversetestchannel

YOU Xue-xiao, WANG Jin-han

(College of Mathematics and Statistics, Hubei Normal University, Huangshi 435002, China)

Using the Lagrange multiplier method and the relationship of mutual information and entropy, this paper gives the parametric representation of calculating rate distortion function based on reverse test channel and analysis the meaning of the parameter. And gives an example of application.

information theory; reverse test channel; rate distortion function；Lagrange multiplier method

2014—04—18

游雪肖(1980— )，女，湖北襄陽人，講師，碩士，主要從事信息論方面研究.

TN911;O171

A

1009-2714(2014)04- 0012- 05

10.3969/j.issn.1009-2714.2014.04.003