概率論與數(shù)理統(tǒng)計(jì)在信息論中應(yīng)用分析

趙金夢(mèng) 中移（蘇州）軟件技術(shù)有限公司

為深入研究更佳的信息容量和信息通行方式，信息論應(yīng)運(yùn)而生，其為人們立體而直觀的展示了信息相關(guān)因素之間的聯(lián)系[1]，具有較高的應(yīng)用價(jià)值。而作為信息論的重要研究支撐，概率論和數(shù)理統(tǒng)計(jì)意義非凡，可保障信息流通科學(xué)性、穩(wěn)定性、交融性即聯(lián)系性等。

一、現(xiàn)代信息論內(nèi)涵分析

分析信息論內(nèi)涵可以看出，其應(yīng)用工具和領(lǐng)域主要為概率論與數(shù)理統(tǒng)計(jì)和信息與計(jì)算科學(xué)，其主要研究信息在時(shí)間和空間領(lǐng)域中的流通情況[2]。其研究模型主要由信源、信宿、信道、編碼器及譯碼器等元素構(gòu)成，且各個(gè)元素之間擁有特異性的規(guī)律聯(lián)系。相較于傳統(tǒng)信息模式，現(xiàn)代信息論擁有更加更廣的范圍、應(yīng)用方式也更安全，可適應(yīng)各種應(yīng)用場(chǎng)景，比如遙控傳遞信號(hào)、電話實(shí)時(shí)雙向通道及立體信息傳統(tǒng)模式（語(yǔ)音、圖像、文字等同步傳遞）等。當(dāng)然，概率與數(shù)理統(tǒng)計(jì)為信息論基礎(chǔ)，因此信息論也會(huì)重視信道噪聲和信源符號(hào)的概率統(tǒng)計(jì)，而將其進(jìn)行概率歸集，可形成具有規(guī)律的語(yǔ)法信息，比如語(yǔ)用和語(yǔ)義等。

當(dāng)然，從信息概念和內(nèi)涵的定性，可充分結(jié)合概率論的偶爾事件，例如拋硬幣形成的正面和反面說(shuō)。由此，可對(duì)信息進(jìn)行以下歸結(jié)：其主要描述物體的動(dòng)態(tài)情況，或其不確定的存在模式。以這一維度切入可以發(fā)現(xiàn)，對(duì)于信息的理解，可將其歸結(jié)為對(duì)信息的不確定因素的描述，如其變化范圍或不同的變化狀態(tài)。由此，概率論與數(shù)理統(tǒng)計(jì)和信息論之間擁有緊密的聯(lián)系，可更好的融入概率論。

二、概率論與數(shù)理統(tǒng)計(jì)作用分析

概率論與數(shù)理統(tǒng)計(jì)主要是指利用統(tǒng)計(jì)概率方式，破解學(xué)習(xí)、生活及工作等領(lǐng)域問(wèn)題，因此其擁有明顯的作用：首先：降低問(wèn)題解決難度。即通過(guò)該工具可搭建數(shù)理問(wèn)題便捷通道，優(yōu)化計(jì)算過(guò)程，提升效率；其次，可為相關(guān)研究提供一定支撐，即利用該工具形成的基礎(chǔ)模型，可深層次剖析研究對(duì)象，提升研究質(zhì)量，比如通信問(wèn)題研究、化學(xué)反應(yīng)時(shí)間的研究及服務(wù)系統(tǒng)的研究等；其三，可兼容于其他學(xué)科，提升教學(xué)效果。即將其核心理念融入其它學(xué)科類型中，比如信息論等[3]。這樣便能將該學(xué)科立體而直觀的展示在學(xué)生面前，降低學(xué)生學(xué)習(xí)難度，提升其學(xué)習(xí)興趣，進(jìn)而達(dá)到提升教學(xué)效果的目的；其四，可助力信息數(shù)據(jù)化的現(xiàn)代化發(fā)展。概率論和數(shù)理統(tǒng)計(jì)可以三維方式展示信息發(fā)展構(gòu)架，理清互聯(lián)網(wǎng)信息數(shù)據(jù)之間的聯(lián)系，進(jìn)而實(shí)現(xiàn)信息數(shù)據(jù)的時(shí)代發(fā)展計(jì)劃，以推動(dòng)網(wǎng)絡(luò)世紀(jì)信息論的深化發(fā)展。當(dāng)然，概率率和數(shù)據(jù)統(tǒng)計(jì)作為一種動(dòng)態(tài)發(fā)展的學(xué)科，其還能進(jìn)一步升華信息數(shù)據(jù)化。

三、概率論與數(shù)理統(tǒng)計(jì)于信息論應(yīng)用途徑

（一）概率統(tǒng)計(jì)于通信系統(tǒng)中的應(yīng)用

在信息論中通信系統(tǒng)屬于框架支撐部分，其體系化構(gòu)成如圖1 所示，其中較為關(guān)鍵的為信源、信道及信宿等，以信源和信道為例：

圖1 通信系統(tǒng)基本框架

前者主要是指信息的源頭，其發(fā)射出的信息是無(wú)規(guī)律的。因此能以隨機(jī)變量方式展示其這些信息。即：以m 表示無(wú)規(guī)律的隨機(jī)信息，由此其信源發(fā)出的信息集合能以m={m1，m2，m3mn}表示，其分布情況能以{p（m），m ∈m}來(lái)表示，其信源則能以{m，p（m）}來(lái)表示。

后者主要是指信息流轉(zhuǎn)的通道，即在信息進(jìn)入相關(guān)通道后，由于存在隨機(jī)干擾，因此輸入與輸出信號(hào)存在差異性，從而形成具有依賴的差異函數(shù)關(guān)系。由此，若輸入信號(hào)為k{k}，那么其輸出信號(hào)為h{h}，而{p（p（h|k）|k）：k ∈k，h ∈h}為其轉(zhuǎn)移概率。而在信號(hào)源發(fā)射信號(hào)中，信號(hào)的輸入和輸出在信道之間傳遞，由此可用C={k，p（k|h），h}表示。

而通過(guò)以上信道和信源組成的模型，可用以下統(tǒng)計(jì)公式表示：

（二）最優(yōu)編碼中概率統(tǒng)計(jì)的應(yīng)用

編碼是信息論的關(guān)鍵表現(xiàn)，屬于概率統(tǒng)計(jì)核心應(yīng)用環(huán)節(jié)之一。在信息論中，通信過(guò)程中信號(hào)傳遞的真實(shí)性是較為關(guān)鍵的基礎(chǔ)問(wèn)題，而編碼則能以一定方式提升信源信息質(zhì)量，使其擁有相應(yīng)抗干擾能力和傳輸效率[4]。當(dāng)然由于信源發(fā)射的信號(hào)屬于波動(dòng)狀態(tài)，具有不確定性和隨機(jī)性，因此具有一定概率性。即若編碼越長(zhǎng)，則其概率越小，若編碼較短則其概率越大。由此，應(yīng)有相關(guān)標(biāo)準(zhǔn)來(lái)確定最優(yōu)碼。例如，在統(tǒng)計(jì)編碼概率應(yīng)用過(guò)程中，對(duì)于變長(zhǎng)編碼相關(guān)內(nèi)容：首先，設(shè)定變長(zhǎng)編碼為f，其中以S 表示信源頭，具體為{x，p（x）}。尤此其量的長(zhǎng)度可以表示為f（x），如此，對(duì)于變長(zhǎng)編碼的標(biāo)準(zhǔn)可以表示為：L（s，f）。同時(shí)由于概率被計(jì)算到變長(zhǎng)編碼的標(biāo)準(zhǔn)內(nèi)容中，因此能以加權(quán)平均表示其出現(xiàn)概率，即相應(yīng)的數(shù)學(xué)期望；其次，定位最優(yōu)編碼。在上述內(nèi)容基礎(chǔ)上，以f0表示僅能編譯信號(hào)，那么可得出以下概率范圍：L（L，f）≥L（s，f0），其中最為編碼可用f0表示。從而得出最優(yōu)編碼為僅能編譯長(zhǎng)信號(hào)。而對(duì)于此處的最優(yōu)編碼信號(hào)，則擁有多種方式，例如在概率分布基礎(chǔ)上形成的算碼法、Huffman 技術(shù)等。其中使用較為廣泛的為Huffman 編碼技術(shù)，其在信源概率趨勢(shì)基礎(chǔ)上，形成自身編碼表和數(shù)據(jù)壓縮表，其中碼長(zhǎng)較長(zhǎng)對(duì)應(yīng)小概率，碼長(zhǎng)較短對(duì)應(yīng)大概率，進(jìn)而得出相關(guān)數(shù)據(jù)證明。

（三）信息度量中概率統(tǒng)計(jì)的應(yīng)用

對(duì)于信息論而言，信息度量屬于核心成分。以理論為角度賭氣進(jìn)行剖析可以看出，其是指可以利用相關(guān)工具，度量信息，進(jìn)而提升信息確定性。由此，不確定性屬于信息度量的基礎(chǔ)和依據(jù)。對(duì)于此項(xiàng)問(wèn)題的解釋，可充分利用隨機(jī)變量知識(shí)對(duì)其進(jìn)行預(yù)期計(jì)算和統(tǒng)計(jì)，以其概率展示相關(guān)內(nèi)容，即：因?yàn)槟苡秒S機(jī)變量來(lái)展示信源發(fā)射的信息，所以對(duì)于信息的度量能用不確定性的隨機(jī)變量來(lái)表示。比如，用m 表示離散隨機(jī)比愛(ài)良，那么可用（p1，p2，p3，pm）等表示其概率分布，其中分布函數(shù)可以用不確定的變量來(lái)表示，若其中m 是定性分布，那么其沒(méi)有確定性，即為0，若m 是可能分布，那么擁有最強(qiáng)的隨機(jī)性，即不確定性為mmax。在此基礎(chǔ)上，可將散隨機(jī)變量X 的不確定性記為：Q（X）=Q（p）=Q（p1，p2，p3，p4，……，pn）如p 為等概率分布，則可將記為Q（p）=g（a）。依據(jù)概率統(tǒng)計(jì)中不確定性內(nèi)涵，可判定函數(shù)Q（m）具有的性質(zhì)為：可加性。如有一組整數(shù)w i，i=1，2，3，4， ……，m， 如，則可確定：g（a）= g（w i）+H（w1’，w2’，w3’，w4’，……，w m’），在上述關(guān)系中，wi’=wi/a，此時(shí)，可以證明，如滿足上述條件可唯一確定函數(shù)H（p）的形式，即：H（p1，p2，p3，p4，……，p n）=不確定的函數(shù)（香農(nóng)熵）。

四、結(jié)語(yǔ)

綜上，在信息通信背景下，概率論與數(shù)理統(tǒng)計(jì)擁有十分中重要的價(jià)值意義，即能程序化推動(dòng)信息論學(xué)科的進(jìn)步，為其相關(guān)研究奠定良好基礎(chǔ)，以促進(jìn)其深化發(fā)展。由此可以看出，兩者實(shí)際擁有較為密切的聯(lián)系，相關(guān)人員應(yīng)理清兩者的關(guān)聯(lián)因素，挖掘應(yīng)用價(jià)值，提升概率統(tǒng)計(jì)工具于信息論的應(yīng)用效能。于此，文章就其實(shí)應(yīng)用進(jìn)行了三個(gè)方面梳理，具有一定參考價(jià)值。當(dāng)然其中仍存在一定不足，在此希望相關(guān)學(xué)者能深入其中，研究既符合兩者作用價(jià)值發(fā)揮的應(yīng)用方式。