《信息理論與編碼》教學(xué)方法初探

摘要：《信息理論與編碼》在信息學(xué)科本科教學(xué)計(jì)劃中的地位舉足輕重，但該課程的教學(xué)中存在若干問(wèn)題。本文提出了幾種教學(xué)方法以期在一定程度上化解這些問(wèn)題，教學(xué)實(shí)踐表明，應(yīng)用這些方法能有效提高課程教學(xué)效果，激發(fā)學(xué)生的學(xué)習(xí)熱情和興趣。

關(guān)鍵詞：列舉實(shí)例；典型例題；設(shè)計(jì)實(shí)驗(yàn)；理論推導(dǎo)；外文文獻(xiàn)

前 言

隨著信息技術(shù)的發(fā)展，編碼技術(shù)得到廣泛應(yīng)用，因此，通信工程等信息學(xué)科專業(yè)的本科生有必要具備一定的信息理論與編碼的基本知識(shí)。許多高校在本科教學(xué)計(jì)劃中設(shè)立了《信息理論與編碼》課程。然而該課程教學(xué)中存在一些問(wèn)題，諸如，理論性強(qiáng)、內(nèi)容抽象、先修知識(shí)缺乏等。對(duì)此，本文提出了幾種教學(xué)方法和手段，實(shí)踐證明行之有效。

行之有效的教學(xué)方法

1.精心列舉生動(dòng)實(shí)例

生動(dòng)的實(shí)例有助于增強(qiáng)感性認(rèn)識(shí)，從而理解抽象的概念、公式和結(jié)論。比如，為了說(shuō)明限失真信源編碼的優(yōu)勢(shì)，可以在多媒體教室當(dāng)場(chǎng)用windows系統(tǒng)做個(gè)實(shí)驗(yàn)。首先向?qū)W生展示事先準(zhǔn)備好的一幅bmp圖像，然后把它另存為gif格式和jpg格式，并且查看各文件大小。然后，讓學(xué)生看到?jīng)]有壓縮的bmp圖像文件大小是最大的，利用LZW算法進(jìn)行無(wú)失真壓縮的gif圖像文件大小居中，而按照國(guó)際標(biāo)準(zhǔn)JPEG進(jìn)行有失真壓縮的jpg圖像文件則最小。再請(qǐng)學(xué)生觀察bmp和jpg圖像發(fā)現(xiàn)這兩種格式圖像的主觀質(zhì)量幾乎沒(méi)有任何差別之后，告訴學(xué)生它們的顏色值事實(shí)上是有差別的，但這種差別是人眼覺(jué)察不到的。以此實(shí)例告訴學(xué)生，信源壓縮編碼能降低信息率，減少表達(dá)信息的數(shù)據(jù)量；如果允許一定的失真(以主觀感受能容忍為限)，則可以進(jìn)一步降低信息率，而這正是限失真編碼的優(yōu)勢(shì)所在。

2.充分挖掘典型例題

有意識(shí)地利用典型例題，挖掘其內(nèi)涵與外延，對(duì)學(xué)生知識(shí)的掌握和能力的培養(yǎng)，能起到事半功倍的良好效果。例如“已知連續(xù)隨機(jī)變量x的概率密度函數(shù)，分別求Y＝X＋C(C為常數(shù))和Y＝2X的微分熵”，先通過(guò)求Y的分布函數(shù)得出Y的概率密度，再代入到微分熵的計(jì)算式內(nèi)可得出h(Y＝X＋C)＝h(X)，和h(Y＝2X)-h(X)＋log2。利用這樣的計(jì)算結(jié)果，引導(dǎo)學(xué)生從物理意義角度去思考，C是常數(shù)不會(huì)引入不確定性，所以h(Y＝X＋C)＝h(X)；而2X＝X＋X是2個(gè)隨機(jī)變量x相加，不確定性自然會(huì)提高。以此加深學(xué)生對(duì)于“熵表示不確定性的量度”的這一重要信息論概念。此外，有些重要結(jié)論在許多教材中沒(méi)有提到，比如Huffman編碼無(wú)法對(duì)僅含有2個(gè)符號(hào)的信源進(jìn)行壓縮，而算術(shù)編碼可以。對(duì)此，通過(guò)講解一道相關(guān)例題即可補(bǔ)充教材內(nèi)容的不足。

3.設(shè)計(jì)實(shí)驗(yàn)增強(qiáng)感性認(rèn)識(shí)

信息論的許多定理、公式和性質(zhì)由復(fù)雜繁瑣的推導(dǎo)得到，得到的結(jié)論以及涉及到的概念和物理量往往比較抽象。對(duì)此，可以發(fā)揮授課教師個(gè)人的專業(yè)特長(zhǎng)和能動(dòng)性，通過(guò)設(shè)計(jì)相應(yīng)的實(shí)驗(yàn)來(lái)增強(qiáng)學(xué)生的感性認(rèn)識(shí)，幫助學(xué)生明確物理意義。比如，在介紹率失真函數(shù)R(D)的內(nèi)容時(shí)，筆者根據(jù)個(gè)人的研究興趣，以圖像為信源，設(shè)計(jì)了一個(gè)有損(有失真)編碼器SPIHT，再引入一個(gè)失真測(cè)度——絕對(duì)平方誤差(MSE)。按照SPIHT壓縮算法，給定不同的比特率R，可以得到失真程度不同的重建圖像，進(jìn)而計(jì)算MSE(D)值。最后，把若干組(MSE，R)描點(diǎn)連線可得到率失真函數(shù)R(D)的曲線形狀。通過(guò)以上實(shí)驗(yàn)可以實(shí)現(xiàn)如下教學(xué)效果：第一，根據(jù)重建圖像的不同質(zhì)量，讓學(xué)生了解到不同失真程度會(huì)造成什么樣的主觀視覺(jué)感受；第二，引導(dǎo)學(xué)生明白信息率R在實(shí)際應(yīng)用中往往表現(xiàn)為比特率，即數(shù)據(jù)量；第三，還可以看出，允許的失真越大，那么比特率可以越小，從而實(shí)現(xiàn)更大的壓縮。

4.合理對(duì)待理論推導(dǎo)

本課程內(nèi)容涉及到大量的定理證明和公式推導(dǎo)，其過(guò)程的枯燥、乏味與費(fèi)解常常令學(xué)生不愿觸及，不少教師在授課過(guò)程中也有意避開(kāi)，而只介紹和說(shuō)明結(jié)論。然而，本課程中的定理證明和公式推導(dǎo)過(guò)程本身就體現(xiàn)著信息論先驅(qū)者們的思想火花和智慧結(jié)晶，向?qū)W生介紹定理的證明思想是十分必要的。筆者認(rèn)為，對(duì)于該課程的理論推導(dǎo)要實(shí)現(xiàn)兩個(gè)教學(xué)目的：第一，讓學(xué)生了解信息論中證明的常用方法。比如，讓學(xué)生了解不等式lnx≤x-1，X>O在信息論定理證明的廣泛作用；第二，使學(xué)生了解定理的證明思想。比如，編碼定理的嚴(yán)格證明過(guò)程雖然可以淡化，但其證明思想體現(xiàn)著工程觀點(diǎn)，有必要讓學(xué)生深入理解。定長(zhǎng)編碼定理的證明過(guò)程把信源消息分成典型序列和非典型序列，對(duì)于典型序列進(jìn)行編碼，而對(duì)于非典型序列則不編碼，從而提高編碼效率，譯碼失真產(chǎn)生的原因也就容易理解了。有噪信道編碼定理的證明還使用了隨機(jī)編碼的思想，避開(kāi)了求取每個(gè)特定碼c的平均差錯(cuò)率Pe(C)，而是巧妙地把問(wèn)題化為對(duì)Pe的估計(jì)，從而得到了Pe的上界?？偠灾?，把信息理論中蘊(yùn)含的思想方法介紹給學(xué)生對(duì)于培養(yǎng)其理論思維大有幫助；把重要的思想方法介紹給學(xué)生也是培養(yǎng)創(chuàng)新人才的需要。

5.適當(dāng)引入外文文獻(xiàn)

信息論誕生于國(guó)外，信息論的經(jīng)典文獻(xiàn)多以英文出版。適當(dāng)引入經(jīng)典文獻(xiàn)的原文作為授課內(nèi)容，可以讓學(xué)生了解原始文獻(xiàn)的嚴(yán)謹(jǐn)表述、深入理解理論的產(chǎn)生背景、熟悉信息論術(shù)語(yǔ)的專業(yè)表達(dá)。此外，外文的教材中也有不少生動(dòng)的示例和習(xí)題可以參考用作授課內(nèi)容。而且國(guó)外教材注重實(shí)用，對(duì)于抽象理論知識(shí)往往會(huì)考慮其軟硬件的實(shí)現(xiàn)問(wèn)題，這一點(diǎn)也可以引入使抽象的理論與具體實(shí)踐聯(lián)系起來(lái)。最后，引入外文文獻(xiàn)的教學(xué)也可以為該課程的雙語(yǔ)教學(xué)提供嘗試和參考。David J.C.MacKay的著作《Information TheortyInference，and Learning Algorithms》中有很豐富的實(shí)例、例題和結(jié)論，筆者將其引入教學(xué)中，取得了良好的教學(xué)效果。

結(jié)束語(yǔ)

本文針對(duì)《信息論與編碼》課程教學(xué)中存在的問(wèn)題，提出了幾種教學(xué)手段和方法，能使抽象的理論形象化；增強(qiáng)學(xué)生對(duì)理論知識(shí)的感性認(rèn)識(shí)；一定程度上避免了對(duì)基礎(chǔ)理論的依賴。教學(xué)實(shí)踐結(jié)果表明，這些措施的應(yīng)用能有效提高課程教學(xué)效果，激發(fā)學(xué)生的學(xué)習(xí)熱情和興趣。

參考文獻(xiàn)：

[1]傅祖蕓，信息論一基礎(chǔ)理論與應(yīng)用，北京：電子工業(yè)出版社，2007年5月

[2]張旭東，圖像編碼基礎(chǔ)和小波壓縮技術(shù)：原理、算法和標(biāo)準(zhǔn)，北京：清華大學(xué)出版社，2006年4月

[3]呂峰，王虹，劉皓春，蘇揚(yáng)，信息理論與編碼，北京：人民郵電出版社，2004年2月

[4]方軍，俞槐銓，信息論與編碼，北京：電子工業(yè)出版社，1994年9月