喻理于例、手到心到：“應(yīng)用信息論”導(dǎo)論課的設(shè)計(jì)

黃生祥 鄧聯(lián)文 廖聰維 羅衡 李旭光

[摘 要] 通過(guò)多年研究生新生課程“應(yīng)用信息論”的教學(xué)實(shí)踐，教學(xué)團(tuán)隊(duì)總結(jié)凝煉了一套引導(dǎo)學(xué)生們克服畏難心理、快速理解信息量、信息熵等基本概念的方法。在“應(yīng)用信息論”的導(dǎo)論課堂，通過(guò)一個(gè)天平稱(chēng)重的益智游戲?qū)胄畔⒘扛拍?，運(yùn)用頭腦風(fēng)暴法討論信息量及信息熵的數(shù)學(xué)形式，多視角解讀最大熵定理，達(dá)到喻理（信息論）于例的目的。通過(guò)實(shí)際動(dòng)手計(jì)算及證明，更好地幫助大部分研究生新生手到心到，建立起足夠的學(xué)習(xí)和研究的信心，取得了很好的教學(xué)效果。

[關(guān)鍵詞] 信息論;課程設(shè)計(jì);益智游戲;腦力風(fēng)暴

[中圖分類(lèi)號(hào)] G642.0? ?[文獻(xiàn)標(biāo)識(shí)碼] A? ?[文章編號(hào)] 1674-9324（2021）04-0128-04? ? [收稿日期] 2020-04-22

一、引言

信息論是電子通信領(lǐng)域的重要基礎(chǔ)課，無(wú)論對(duì)于高年級(jí)本科生還是研究生，學(xué)習(xí)起來(lái)均有較高的難度[1，2]。近年來(lái)，教學(xué)團(tuán)隊(duì)一直堅(jiān)持面向本院電子通信工程、電子科學(xué)與技術(shù)等專(zhuān)業(yè)的研究生新生開(kāi)設(shè)“應(yīng)用信息論”課程，其目的是普及信息論知識(shí)和思維方法，以期在今后的科研中將信息論作為思考問(wèn)題及解決問(wèn)題的工具。

信息論課程具有概念抽象、公式繁多的特點(diǎn)[3，4]，初學(xué)者感到畏難。部分研究生雖然在本科四年級(jí)時(shí)選修了相關(guān)的課程，例如“信息論與編碼”，但是普遍反映聽(tīng)不懂、考試后基本忘記了所學(xué)知識(shí)。

二、一個(gè)富有信息量的益智游戲

大部分的信息論課程，開(kāi)頭都將對(duì)香農(nóng)的有趣研究經(jīng)歷做一些介紹。一般介紹完香農(nóng)對(duì)信息論的貢獻(xiàn)之后，就開(kāi)始討論概率或者信息量。但是我們認(rèn)為進(jìn)入正題前，利用一個(gè)經(jīng)典的益智游戲來(lái)激發(fā)學(xué)生的好奇心很有必要。因此，我們選擇了一個(gè)富有信息量的益智游戲，讓學(xué)生們互動(dòng)起來(lái)。

問(wèn)題的提出：天平稱(chēng)球問(wèn)題。已知12個(gè)球中有一個(gè)重量不標(biāo)準(zhǔn)的次品球，如何用一個(gè)無(wú)砝碼天平稱(chēng)最少的次數(shù)，將這12個(gè)球中的次品球確定下來(lái)。

首先安排1～2名學(xué)生在黑板上書(shū)寫(xiě)解題思路，同時(shí)也讓其他學(xué)生拿出筆和紙親自琢磨解法。從這幾年情況來(lái)看，所有的學(xué)生都能推測(cè)得到稱(chēng)3次能確定出次品球，學(xué)生都能夠?qū)€(gè)別情況做出合理的判斷，分析出部分解決方案，但是很少有學(xué)生能夠全部給出解答。

在較充分地討論之后，我們對(duì)這個(gè)問(wèn)題開(kāi)展了信息量的分析。天平稱(chēng)3次（3種狀態(tài)：左邊重，右邊重，平衡），最多的結(jié)構(gòu)有3=27種。但是異常球可能是12個(gè)球中的一個(gè)，可能輕也可能重，所以現(xiàn)實(shí)狀態(tài)只有24種。從原理上，一定能3次稱(chēng)完。

現(xiàn)在，考慮這12個(gè)球，其中一個(gè)是或輕或重的次品的各種可能性。如果這個(gè)球是“輕”的次品，記為-，“重”的次品，記為+，因此，可能的次品分布情況是1+、1-、2+、2-……12+、12-。得益于這些符號(hào)的表示，我們可以較方便地把3次稱(chēng)球的全部過(guò)程都描述清楚。

圖1示意了天平稱(chēng)球問(wèn)題各種情況的完整解析。這里僅舉一種情況作為說(shuō)明。先拿出1～4號(hào)球置于天平之左，5～8號(hào)球置于天平之右，做第一次稱(chēng)重操作。若左側(cè)天平較重，則可能的情況包括：1～4號(hào)球中有一個(gè)較重，或者5～8號(hào)球中有一個(gè)較輕。在新一次的稱(chēng)重中，應(yīng)該合理地交換，增加新的信息量。于是左側(cè)天平保留1號(hào)、2號(hào)球，換上6號(hào)球;右側(cè)天平則保留5號(hào)球，換上3號(hào)和4號(hào)球。若仍然是左側(cè)為重，則說(shuō)明所換的3號(hào)、4號(hào)、6號(hào)球?yàn)闃?biāo)準(zhǔn)球，仍然是1號(hào)球或者2號(hào)球較重，或者5號(hào)球較輕造成的。于是第三次的稱(chēng)重則衡量1號(hào)球和2號(hào)球即可，較重的那一個(gè)即非標(biāo)準(zhǔn)球，或者二者的平衡即可以導(dǎo)出5號(hào)球較輕的結(jié)論。其他的情況，可對(duì)照?qǐng)D1做類(lèi)似的解讀。

這個(gè)小游戲說(shuō)明，如果一個(gè)隨機(jī)實(shí)驗(yàn)在所有結(jié)果上的概率分布為均勻分布時(shí)，可以保證它可提供的信息量最大。本實(shí)例的展示，至少可以起到以下幾個(gè)作用：①拉近課程與學(xué)生們的距離，讓聽(tīng)者可以開(kāi)動(dòng)腦筋，進(jìn)入思考狀態(tài)。②本算例蘊(yùn)含著信息論的一些基本的思想，圖1所示的解析，實(shí)質(zhì)上是通過(guò)實(shí)驗(yàn)設(shè)計(jì)，將24種可能性充分均勻地散布到三次稱(chēng)重之后，與后面要引入的信息熵概念形成了呼應(yīng)關(guān)系。

三、一次關(guān)于“信息熵應(yīng)該是什么數(shù)學(xué)形式”的頭腦風(fēng)暴

頭腦風(fēng)暴的過(guò)程在信息量及信息熵的導(dǎo)入過(guò)程中起到關(guān)鍵作用。一般來(lái)說(shuō)，依概率對(duì)信源進(jìn)行建模是必須的一道教學(xué)流程。由于建模的過(guò)程非常重要，建議把這段話(huà)寫(xiě)到黑板上，而不能僅僅通過(guò)PPT展示。

對(duì)M元離散信源，即x1、x2、…xM，根據(jù)這些信源出現(xiàn)的概率，建立了相應(yīng)的“概率場(chǎng)”模型來(lái)描述，即這里的約束條件是;

然后，我們引入一個(gè)討論過(guò)程：如何度量這些信源事件的信息量。為了表述清楚“消息所表達(dá)的事件越不可能發(fā)生，信息量就越大”這個(gè)意思，可以舉出不少例子來(lái)。例如，“那一天發(fā)生了8級(jí)大地震”，這句話(huà)蘊(yùn)含的信息量就很大，因?yàn)?級(jí)大地震是一個(gè)小概率的事件。因此，要給出一個(gè)表達(dá)式I（x）來(lái)衡量信息量的話(huà)，它一定是一個(gè)關(guān)于概率p的單調(diào)減函數(shù)，即概率越大，信息量的函數(shù)值越小。另一方面，根據(jù)生活常識(shí)，若干獨(dú)立事件的信息量要可以疊加。如果對(duì)于系列獨(dú)立事件的信息量收集得越充分，對(duì)這些事情方方面面的把握就越清楚。

然后我們開(kāi)始引導(dǎo)大家來(lái)討論，如下表達(dá)式是否可以作為信息量的函數(shù)。

四、三種最大熵定理的證明方法

雖然通過(guò)信息量的討論引入了信息熵定義，也舉了幾個(gè)例子，讓大家計(jì)算了不同的信息熵，例如某種天氣概率的信息熵、等概率擲硬幣的信息熵、等概率擲骰子的信息熵等。但是，多年來(lái)的教學(xué)實(shí)踐表明，最大熵定理的證明過(guò)程，對(duì)于更好地理解信息熵幫助很大。

這里首先說(shuō)明，什么是最大熵定理。信源中包含n個(gè)不同離散消息時(shí)，信源熵H（X）有必然滿(mǎn)足如下關(guān)系：

這種證明方法有幾個(gè)優(yōu)勢(shì)：①?gòu)?qiáng)化了對(duì)信息熵函數(shù)的上凸性質(zhì)的認(rèn)識(shí)。②證明過(guò)程之所以能夠成立，在于log函數(shù)的加強(qiáng)吸收和自變量能夠分子、分母抵消，這有利于加深大家對(duì)信息熵函數(shù)形式的記憶。

第二種證明方法是利用相對(duì)熵的概念。對(duì)于x事件的概率分布p（xi）及y事件的概率分布q（yi），相對(duì)熵被定義為：

五、重視互動(dòng)、當(dāng)堂計(jì)算

參加課程的學(xué)生，能夠通過(guò)數(shù)學(xué)運(yùn)算的過(guò)程，形成相互競(jìng)技、觀摩的一種氛圍，可以形成較活潑生動(dòng)的課程討論。在本課程教學(xué)過(guò)程中，大量開(kāi)展了當(dāng)堂計(jì)算、手動(dòng)證明、畫(huà)圖示意，PPT演示同時(shí)起到串接和提醒的作用。本教學(xué)團(tuán)隊(duì)成員均達(dá)成共識(shí)，即PPT里的數(shù)學(xué)式子是靜止的;只有通過(guò)粉筆寫(xiě)到黑板，才成為一個(gè)討論和研究的課題;只有通過(guò)師生的討論和解析，并且經(jīng)過(guò)有限步驟的推演、證明，才成為鮮活的觀念，植入到學(xué)生們的頭腦中。

在導(dǎo)論課上，我們簡(jiǎn)單地介紹了香農(nóng)編碼。只有通過(guò)讓一位學(xué)生在黑板上演算、其他同學(xué)在教室當(dāng)堂演算這樣的發(fā)掘過(guò)程，才暴露出大家存在的問(wèn)題：①?gòu)男〉酱螅瑳](méi)有進(jìn)行過(guò)十進(jìn)制小數(shù)轉(zhuǎn)化二進(jìn)制小數(shù)的運(yùn)算，不能理解為什么是乘2取整;②機(jī)械地背誦了大于1整數(shù)轉(zhuǎn)化而二進(jìn)制數(shù)的除法過(guò)程，不能明確判斷余數(shù)出現(xiàn)順序和二進(jìn)制數(shù)順序的對(duì)應(yīng)關(guān)系;③不能理解二進(jìn)制小數(shù)中，多位循環(huán)的情況。

我們?cè)O(shè)計(jì)了這樣的簡(jiǎn)單的課堂互動(dòng)：讓大家分別將十進(jìn)制的11、0.5、0.7轉(zhuǎn)化為二進(jìn)制數(shù)。然而結(jié)果讓人大跌眼鏡，完全無(wú)提示的情況下，在2分鐘內(nèi)能夠完全正確實(shí)現(xiàn)這三個(gè)數(shù)字二進(jìn)制轉(zhuǎn)化的學(xué)生的比例不超過(guò)20%。教師演示出多項(xiàng)式展開(kāi)、標(biāo)注出二進(jìn)制數(shù)每一位的權(quán)重對(duì)應(yīng)關(guān)系，70%以上的學(xué)生才恍然大悟，能夠計(jì)算得出正確結(jié)果。這反映出我們的基礎(chǔ)數(shù)學(xué)教學(xué)環(huán)節(jié)，學(xué)生們的實(shí)際演算能力、對(duì)數(shù)字的敏感性仍然不夠高。而對(duì)數(shù)字、數(shù)學(xué)式子的不敏感，也正是信息論教學(xué)環(huán)節(jié)的最主要障礙。

以上這些情況，通過(guò)信息論的課堂教學(xué)，均不同程度地有所緩解。從課程考試結(jié)果來(lái)看，全部參與課程的學(xué)生，都能夠很好地完成信息熵的較準(zhǔn)確值的計(jì)算。

六、結(jié)論

“應(yīng)用信息論”是電子通信專(zhuān)業(yè)研究生新生的重要基礎(chǔ)課。本課程教學(xué)團(tuán)隊(duì)通過(guò)多年來(lái)的課程實(shí)踐，總結(jié)出導(dǎo)論課如何開(kāi)展案例教學(xué)的新方法。利用天平稱(chēng)重的益智游戲、頭腦風(fēng)暴法討論信息量及信息熵的數(shù)學(xué)形式、多種方法證明最大熵定理，從不同角度引導(dǎo)上課的研究生新生克服畏難心理，較快速理解信息量、信息熵等基本概念。

參考文獻(xiàn)

[1]沈連豐，葉芝慧.信息論與編碼[M].北京：科學(xué)出版社，2004.

[2]朱雪龍.應(yīng)用信息論基礎(chǔ)[M].北京：清華大學(xué)出版社，2001.

[3]鐘義信.信息科學(xué)原理[M].北京：郵電大學(xué)出版社，1996.

[4]傅祖云.信息論——基礎(chǔ)理論與應(yīng)用[M].北京：電子工業(yè)出版社，2007.