《信息論與編碼技術(shù)》課程中平均互信息的教學(xué)探討

陳燕燕

（華僑大學(xué) 廈門工學(xué)院，福建 廈門 361021）

《信息論與編碼技術(shù)》課程中平均互信息的教學(xué)探討

陳燕燕

（華僑大學(xué) 廈門工學(xué)院，福建 廈門 361021）

平均互信息是信息論與編碼技術(shù)中用來計算信道容量、信息率失真函數(shù)和信道剩余度的重要物理量。通過一道典型例題來講解求平均互信息的不同方法：根據(jù)平均互信息的定義求、根據(jù)損失熵求、根據(jù)噪聲熵求、根據(jù)信息熵的強(qiáng)可加性求，最后用MATLAB語言進(jìn)行編程驗證，實驗表明四種方法求出的結(jié)果是一致的。在課堂教學(xué)時，教師應(yīng)鼓勵學(xué)生靈活運用各種方法，做到舉一反三。

平均互信息；定義法；損失熵法；噪聲熵法；強(qiáng)可加性法

《信息論與編碼技術(shù)》是電子類相關(guān)專業(yè)的一門重要的專業(yè)必修課，其中自信息量、信息熵、互信息都是為學(xué)習(xí)平均互信息做鋪墊的，而平均互信息又是求解信道容量、信道剩余度和信息率失真函數(shù)的重要工具。在教學(xué)過程中，學(xué)生反映平均互信息概念抽象，計算復(fù)雜，公式頗多，難以區(qū)分。由于學(xué)生的基礎(chǔ)相對薄弱，不能靈活運用公式推導(dǎo)和基本性質(zhì)相結(jié)合進(jìn)行求解。因此，在課堂教學(xué)中，采取淡化數(shù)學(xué)推導(dǎo)，重點講清平均互信息的實際意義、作用等，關(guān)鍵是如何應(yīng)用平均互信息的定義、信息熵的性質(zhì)等計算出平均互信息。平均互信息的計算方法有多種，如根據(jù)平均互信息的定義求、根據(jù)損失熵求、根據(jù)噪聲熵求、根據(jù)信息熵的強(qiáng)可加性求等。

下面通過教材[1]一個典型例題來探討平均互信息的四種求解方法，并通過MATLAB編程來驗證結(jié)果的正確性。

一、例題講解

題目：已知信源X的概率p（x）和信道傳遞概率p（y|x）分別如下所示：

求平均互信息I（X；Y），并用MATLAB驗證結(jié)果。

首先分析題目：題目中只給出了兩種概率分布，而對于輸出符號Y的概率P（y）、聯(lián)合概率P（xy）和條件概率P（x|y）均未給出，因此，必須先求出它們，以方便下面進(jìn)行求解。

求解方法：為了簡單直觀，這里教學(xué)生采用矩陣的方法來求解。

注意：這里跟實際矩陣的求法又有區(qū)別，這里在上課時要重點強(qiáng)調(diào)。

注意：這里也要注意求條件概率P（x|y）時，尤其要弄清楚對應(yīng)關(guān)系。

下面逐一介紹求平均互信息的各種方法，以及每種方法的重點、難點和注意事項。

1.根據(jù)平均互信息的定義求。平均互信息的定義[2]為：互信息I（x，y）在兩個概率空間X和Y中的統(tǒng)計平均值稱為平均互信息，代表接收到輸出符號Y后平均每個符號所獲得的關(guān)于輸入X的信息量。

分析求解：平均互信息既然是互信息的平均值，那就利用概率論與統(tǒng)計課程中學(xué)到的求平均值的方法來求解。即：

注意：在此種方法中，學(xué)生對于求統(tǒng)計平均已經(jīng)忘記了，所以容易將P（xy）寫成P（x），導(dǎo)致錯誤的結(jié)果。

2.根據(jù)損失熵求。損失熵的定義為：H（X|Y）稱為損失熵，表示在接收端收到輸出變量Y的符號后，對于輸入端的變量X尚存在的平均不確定性。

分析求解：由于H（X）是在接收到輸出Y以前，關(guān)于輸入變量X的先驗不確定性的度量?？梢姡ㄟ^信道傳輸后排除了一些不肯定度，從而獲得了部分信息，就是平均互信息。故I（X；Y）=H（X）－H（X|Y）

注意：在此種方法中，學(xué)生容易把H（X|Y）寫成H（Y|X），導(dǎo)致錯誤的結(jié)果。

3.根據(jù)噪聲熵求。噪聲熵的定義為：H（Y|X）表示在輸入已知的前提下，對輸出變量存在的不肯定度。接收端收到的關(guān)于輸入X的平均信息量I（X；Y）加上H（Y|X）等于信源Y的熵H（Y）。H（Y|X）反映了信道中噪聲源的不確定性，故叫噪聲熵。

分析求解：既然H（Y）=I（X；Y）+H（Y|X），則I（X；Y）= H（Y）－H（Y|X）。

注意：在此方法中，學(xué)生容易把H（Y|X）寫成H（X|Y），導(dǎo)致錯誤的結(jié)果。

4.根據(jù)信息熵的強(qiáng)可加性求。信息熵的強(qiáng)可加性[3]：

分析求解：由于熵的強(qiáng)可加性有兩個公式，所以這里又有兩種方法來求解。

方法一：利用公式（1）求解；

因為I（X；Y）=H（Y）－H（Y|X），將公式（1）帶入可得，

方法二：利用公式（2）求解；

因為I（X；Y）=H（X）－H（X|Y），將公式（2）帶入可得，

可以看出，公式（3）和公式（4）是一樣的，因此，不管用哪個強(qiáng)可加性公式，最后的結(jié)果都是一樣的。所以接下來利用I（X；Y）=H（Y）+H（X）－H（XY）來求平均互信息。

H（X）和H（Y）在上面已求出，所以這里只需求聯(lián)合熵H（XY）即可。

故I（X；Y）=H（Y）+H（X）-H（XY）=0.722+0.971－1.6855= 0.0075比特/符號

注意：學(xué)生在記H（XY）=H（X）+H（Y|X）這個強(qiáng)可加性公式時，總是誤把H（Y|X）記成H（X|Y），這里教學(xué)生一個記憶的方法，就是看前面的被加數(shù)是什么，如果前面的被加數(shù)是H（X），那么后面的加數(shù)就是條件為X的噪聲熵H（Y|X）；相反，如果前面的被加數(shù)是H（Y），那么后面的加數(shù)就是條件為Y的損失熵H（X|Y）。但是在求平均互信息時，不管用哪個強(qiáng)可加性公式，最后都是用聯(lián)合熵H（XY）來求平均互信息。

二、MATLAB編程及實驗結(jié)果分析

利用MATLAB編程實現(xiàn)上述四種求平均互信息的方法，程序在此不一一列出，但程序運行結(jié)果顯示都為0.0075，與上述四種計算方法計算出來的結(jié)果是一致的。

三、結(jié)論

通過一道求解平均互信息的例題，使用四種方法：根據(jù)平均互信息的定義求、根據(jù)損失熵求、根據(jù)噪聲熵求、根據(jù)信息熵的強(qiáng)可加性求，并利用MATLAB語言編程驗證結(jié)果是正確的。表明：定義求解需要注意是利用互信息乘以聯(lián)合概率；根據(jù)損失熵求解需要知道損失熵是H（X|Y）；根據(jù)噪聲熵求解需要知道噪聲熵是H（Y|X）；根據(jù)信息熵的強(qiáng)可加性求解，需要區(qū)分強(qiáng)可加性公式中到底用的是H（X|Y）來轉(zhuǎn)化還是利用H（Y|X）來轉(zhuǎn)化，但是不管用哪個，最后都是用聯(lián)合熵H（XY）來求解。在教學(xué)中盡力開拓學(xué)生的思維，讓其注意每種方法的區(qū)別和聯(lián)系，并選擇自己擅長的方法來求解，達(dá)到能夠舉一反三的目的。

[1]傅祖蕓.信息論—基礎(chǔ)理論與應(yīng)用[M].北京：電子工業(yè)出版社，2011.

[2]曹雪虹.信息論與編碼[M].北京：清華大學(xué)出版社，2004.

[3]李亦農(nóng).信息論基礎(chǔ)教程[M].北京郵電大學(xué)出版社，2005.

G642.41

A

1674-9324（2014）28-0091-03

陳燕燕（1986-），女，江西贛州人，華僑大學(xué)廈門工學(xué)院電子信息工程系助教，碩士研究生，研究方向：網(wǎng)絡(luò)，編碼。