面向計算機人才培養(yǎng)的信息論與編碼教學(xué)實踐

吳嘉婧 李全忠

[摘 要] “信息論與編碼”是一門以“香農(nóng)三大理論”為基礎(chǔ)的理論課程，是包括通信工程、計算機科學(xué)與技術(shù)、信息與計算科學(xué)等多個信息相關(guān)專業(yè)的本科生和研究生的專業(yè)課。近年來在面向計算機相關(guān)專業(yè)進行“信息論與編碼”課程教學(xué)實踐中發(fā)現(xiàn)，學(xué)生普遍感覺此課程理論性較強且內(nèi)容偏難，因此較難順利完成此課程的學(xué)習(xí)。針對計算機應(yīng)用型人才進行“信息論與編碼”課程教學(xué)過程中面臨的困境，并結(jié)合教學(xué)實踐從教學(xué)內(nèi)容、教學(xué)方法和考核方式等方面對課程教學(xué)進行改革，并取得了較好的效果，對計算機專業(yè)人才的理論基礎(chǔ)培養(yǎng)有一定的借鑒作用。

[關(guān)鍵詞] 信息論;編碼;計算機應(yīng)用;本科教學(xué);教學(xué)實踐

[基金項目] 2020—2023年國家自然科學(xué)基金項目“通信—電力相依網(wǎng)絡(luò)彈性過程的建模、分析與優(yōu)化”（61973325）;2021—2022年中山大學(xué)國家高等教育質(zhì)量常態(tài)檢測數(shù)據(jù)中心重點研究項目“面向計算機人才培養(yǎng)的信息論與編碼教學(xué)實踐”（M1801）

[作者簡介] 吳嘉婧（1989—），女，江西吉安人，博士，中山大學(xué)計算機學(xué)院副教授，博士生導(dǎo)師，主要從事區(qū)塊鏈和圖挖掘技術(shù)研究;李全忠（1984—），男，廣東茂名人，博士，中山大學(xué)計算機學(xué)院副教授（通信作者），主要從事無線通信研究。

[中圖分類號] G642.0? ?[文獻標(biāo)識碼] A? ?[文章編號] 1674-9324（2021）33-0021-04? ? [收稿日期] 2021-03-12

一、引言

信息論是將通信技術(shù)、概率論、隨機過程、數(shù)理統(tǒng)計等學(xué)科相結(jié)合逐步發(fā)展而形成的一門新興科學(xué)，也是現(xiàn)代信息技術(shù)的奠基性理論。信息論的創(chuàng)始人是美國著名的數(shù)學(xué)家與通信學(xué)家香農(nóng)

（C.E.Shannon），他于1948年發(fā)表的《通信的數(shù)學(xué)理論》一文被視為標(biāo)志著信息論產(chǎn)生的奠基性論文，因此信息論又稱為“香農(nóng)信息論”。在信息論中，信息的傳遞過程被作為一種統(tǒng)計現(xiàn)象來考慮，因此信息這種抽象概念的度量、傳遞和變化規(guī)律，可用數(shù)理統(tǒng)計的方法進行研究。信息論的研究內(nèi)容包括信息的定義、度量、存儲、傳輸和理解等，而在信息的傳輸和存儲過程中通常需要考慮信息編碼技術(shù)?！靶畔⒄撆c編碼”即為涵蓋信息論理論與編碼技術(shù)的一門課程，也是中山大學(xué)計算機學(xué)院計算機類專業(yè)本科和研究生階段的主修專業(yè)課程。本校開設(shè)的“信息論與編碼”課程以信息熵的基本概念為核心，以香農(nóng)三大編碼定理——可變長無失真信源編碼定理、有噪信道編碼定理和保失真度準(zhǔn)則下的有失真信源編碼定理為核心內(nèi)容，重點培養(yǎng)計算機專業(yè)的學(xué)生對信息論基本原理的理解，并培養(yǎng)利用信息論的理論與思維視角來分析解決計算機實際應(yīng)用中的問題[1]。

然而，本課程運用了大量的數(shù)學(xué)知識，課程內(nèi)容多，教材中存在大量的理論證明和推導(dǎo)，對學(xué)生抽象思維和邏輯推理能力的要求較高。此外，計算機專業(yè)的學(xué)生普遍對通信領(lǐng)域的基本原理和發(fā)展?fàn)顩r了解較少，且普遍感興趣的是近年來熱門的計算機應(yīng)用領(lǐng)域，例如人工智能、數(shù)據(jù)挖掘、區(qū)塊鏈等，因此對本門課程學(xué)習(xí)的興趣和主動性不大。近年來，筆者在從事計算機專業(yè)“信息論與編碼”課程教學(xué)的過程中發(fā)現(xiàn)，學(xué)生普遍對理論學(xué)習(xí)興趣平平，且有畏難情緒，對信息理論與計算機應(yīng)用的關(guān)聯(lián)感到困惑，無法全面掌握課程內(nèi)容。因此，本文重點對計算機應(yīng)用型人才培養(yǎng)過程中進行“信息論與編碼”理論教學(xué)時的特色和存在的困難進行了分析，并結(jié)合教學(xué)實踐從課程教學(xué)內(nèi)容、教學(xué)方法與考核方式三個方面入手，提出了相應(yīng)的教學(xué)改革措施。

二、計算機專業(yè)講授“信息論與編碼”課程存在的問題

（一）學(xué)生缺乏必要的學(xué)科背景

“信息論與編碼”在面向通信和電子類專業(yè)學(xué)生開設(shè)時，通常是基于前導(dǎo)課程“信號與系統(tǒng)”或“通信原理”?！靶盘柵c系統(tǒng)”介紹了信號的頻譜、信號處理方面的基礎(chǔ)知識，而“通信原理”介紹了基本的通信框架和信道與信源的含義。香農(nóng)信息論主要研究了通信理論中的有效性和可靠性的問題，因此通信和信號處理的相關(guān)知識可以幫助學(xué)生更好地理解香農(nóng)理論的現(xiàn)實背景，以及信源與信道編碼的意義。然而，在面向計算機類學(xué)生開設(shè)“信息論與編碼”時，學(xué)生通常沒有學(xué)習(xí)過上述課程，因而對通信系統(tǒng)的傳輸背景、信源和信道的概念、編碼的意義及通信系統(tǒng)的性能指標(biāo)不甚了解，很難理解信息傳輸?shù)幕具壿嬇c理論框架[2]。此外，在數(shù)學(xué)背景方面，“信息論與編碼”涉獵高等數(shù)學(xué)、線性代數(shù)、離散數(shù)學(xué)、概率論與數(shù)理統(tǒng)計、隨機過程、數(shù)值分析和最優(yōu)化方法等與工科數(shù)學(xué)相關(guān)的知識，超出了本專業(yè)本科生和研究生的學(xué)習(xí)范疇。即使學(xué)生學(xué)過類似的概率論和微積分等內(nèi)容，信息論證明中用到的不少知識也超出了本科的教學(xué)要求。因此，學(xué)生缺乏必要的通信背景知識和數(shù)學(xué)基礎(chǔ)，給“信息論與編碼”課程教學(xué)的順利開展帶來了不小的挑戰(zhàn)。

（二）教材中的數(shù)學(xué)理論繁雜抽象

在香農(nóng)信息論中，信息上的概念和三個編碼定理都是用數(shù)學(xué)來描述的。本課程選用的中英文教材分別是人民郵電大學(xué)出版的《信息論基礎(chǔ)》[3]和Wiley-Blackwell出版的Elements of Information Theory[4]。相比而言，中文教材較為簡明，較符合國內(nèi)學(xué)生的學(xué)習(xí)習(xí)慣，同時涵蓋了信息論與編碼兩方面的內(nèi)容。然而，中文教材主要針對通信和電子專業(yè)而編寫，里面涉及很多具體的通信背景和物理學(xué)知識，計算機專業(yè)的學(xué)生理解和消化起來有一定的難度。為了幫助學(xué)生更好地理解信息理論，我們還選用了由國際學(xué)術(shù)權(quán)威專家Thomas M.Cover和Joy A.Thomas撰寫的Elements of Information Theory作為英文參考教材，該教材中作者對信息論中的很多關(guān)鍵概念和定理提出了自己的研究心得，對學(xué)生加深信息理論的理解具有啟發(fā)性。然而，兩本教材都無法避免大量的數(shù)學(xué)公式和理論推導(dǎo)，幾乎涵蓋了工科所要求的大部分?jǐn)?shù)學(xué)內(nèi)容，包括高等數(shù)學(xué)、概率論、隨機過程、線性代數(shù)等。教材中大量的理論證明對學(xué)生的數(shù)學(xué)基礎(chǔ)、抽象思維和邏輯推理能力要求較高，導(dǎo)致很多計算機專業(yè)的學(xué)生無法深刻理解這門課程。