淺談最大信息熵原理及其在通訊系統(tǒng)中的應(yīng)用

朱碧+張世豪

摘 要：最大信息熵原理的概念先后被香農(nóng)和Jaynes等人所提及，并在之后的幾十年中，該原理被廣泛應(yīng)用到了各個(gè)領(lǐng)域，并成為各領(lǐng)域中不可或缺的理論方法。通過最大信息熵原理，我們可以在已知條件不充足的情況下得到最理想的分布并且巧妙地將人為偏倚因素降到了最少，該原理為各個(gè)領(lǐng)域的蓬勃發(fā)展奠定了堅(jiān)實(shí)的基礎(chǔ)。

關(guān)鍵詞：最大信息熵原理；通訊系統(tǒng)；應(yīng)用

一、 最大熵定理的定義及內(nèi)容

二、 最大熵原理在通訊系統(tǒng)中的應(yīng)用

無線信道模型的基本原理就是最大熵定理，在只有有限傳播環(huán)境的多種情況下無線信道模型是可用的。首先，在某些參數(shù)（通道能量、平均能量、空間相關(guān)矩陣）確定已知的情況下我們可以導(dǎo)出分析模型。一般情況下，這些參數(shù)都是未知的（通常是因?yàn)榻邮盏降哪芰炕蛘呤强臻g相關(guān)性在隨著用戶位置的變化而變化），但是這些參數(shù)在代表有意義的系統(tǒng)特征時(shí)是已知的。鑒于這些情況下，我們可以通過將最大熵分布指定到這些參數(shù)上并且將其邊緣化，就這樣分析信道模型就被推導(dǎo)出來了。而對于具有空間相關(guān)性的MIMO情況，這里我們給出了協(xié)方差矩陣的分布，我們可以通過它的特征值方便地處理這種分布。這種協(xié)方差矩陣的最大熵分布被證明是Wishart分布。另外，信道矩陣相應(yīng)的概率密度函數(shù)是通過一個(gè)信道的F-范數(shù)函數(shù)解析描述的。這種技術(shù)可以提供信道模型將陰影衰落和天線之間的空間相關(guān)性的效果，而不需要假設(shè)這些參數(shù)的顯式值。

在最大熵MIMO無限信道模型研究中，最大信息熵原理被用于為信道特性的先驗(yàn)知識(shí)的各種情況導(dǎo)出的無線平坦衰落信道的若干模型。最大熵MIMO無限信道模型研究了平均通道能量和通道能量的已知上限的情況，并解決了在MIMO信道模型中考慮未知量的空間相關(guān)的問題。在平均軌跡約束下熵最大化協(xié)方差矩陣的分布被視為Wishart分布，并且相應(yīng)的概率密度函數(shù)信道矩陣被視為通過信道F-范數(shù)的函數(shù)分析地描述。該模型被推廣到協(xié)方差矩陣的秩是已知的，不充分的情況，將所提出的信道模型在給定噪聲水平的實(shí)現(xiàn)的互信息的統(tǒng)計(jì)方面與常用的GaussianIID模型進(jìn)行比較，提出的模型顯示略低的平均互信息，符合信道相關(guān)減少其容量的規(guī)則。并且比高斯IID模型有著更高的方差，反映了陰影衰落的存在。

三、 總結(jié)

就目前最大信息熵原理的發(fā)展情況來看，其正以迅猛的速度滲透到各個(gè)領(lǐng)域，如：通訊系統(tǒng)、計(jì)算機(jī)科學(xué)與技術(shù)、統(tǒng)計(jì)學(xué)等，并為各個(gè)領(lǐng)域的蓬勃發(fā)展奠定了堅(jiān)實(shí)的基礎(chǔ)。因此我們相信最大信息熵原理將會(huì)成為各個(gè)領(lǐng)域不可或缺的一部分。在其他領(lǐng)域的應(yīng)用，我們需通過其他文章給予介紹。

參考文獻(xiàn)：

[1]曹雪虹，張宗橙.信息論與編碼[M].北京：清華大學(xué)出版社，2004.

[2]陳運(yùn).信息論與編碼（第三版）[M].北京：電子工業(yè)出版社，2016.

[3]趙曉群.信息論基礎(chǔ)及應(yīng)用[M].北京：機(jī)械工業(yè)出版社，2015.

[4]韓宇平，王永兵，馮小明.基于最大熵原理的區(qū)域水資源短缺風(fēng)險(xiǎn)綜合評(píng)價(jià)[J].安徽農(nóng)業(yè)科學(xué)，2011，39（1）：397-399.

[5]曲煒，朱詩兵.信息論基礎(chǔ)及應(yīng)用[M].北京：清華大學(xué)出版社，2005.

[6]楊周，張義民，謝寶臣等.基于最大熵法的車輛零部件可靠性分析[J].機(jī)械設(shè)計(jì)與制造，2011，（12）：22-24.

[7]M Guillaud， M Debbah， AL Moustakas. Maximum Entropy MIMO Wireless Channel Models[C]. USA： 《IEEE Trans Information Theory Dec》，2006.

作者簡介：

朱碧，張世豪，河南工業(yè)大學(xué)理學(xué)院。endprint