淺談“小波分析及其應用”課程中教學案例的設(shè)計與實施

淺談“小波分析及其應用”課程中教學案例的設(shè)計與實施

王紅霞，張小亞，陳波，成禮智

(國防科技大學理學院數(shù)學與系統(tǒng)科學系，長沙410073)

[摘要]首先探討了案例教學在研究生數(shù)學公共課程中的定位與作用，在此基礎(chǔ)上就“小波分析及其應用”一課的特點，設(shè)計了一個基于稀疏表示進行字符識別的教學案例.除案例框架之外，文中還介紹了案例教學的實施，包括課堂內(nèi)容的選擇、課后擴展研討及組織形式等，以期能為其他研究生數(shù)學公共課程教學提供有益參考.

[關(guān)鍵詞]案例教學； 小波分析； 稀疏表示； 字符識別

[收稿日期]2014-09-21

[基金項目]國防科技大學研究生數(shù)學公共課一流課程體系建設(shè)項目;國防科技大學研究生教育教學改革研究課題(yjsy2014023)

[中圖分類號]O174；G642[文獻標識碼]C

1案例教學在研究生數(shù)學公共課程教學中的定位

近年來，關(guān)于在基礎(chǔ)理論課中引入實踐教學的呼聲一直很高.以傳統(tǒng)的數(shù)學課程教學為例，北京大學、上海交通大學、北京航空航天大學等數(shù)十所大學就相繼建立了數(shù)學實驗室，旨在推進數(shù)學與工程實踐的結(jié)合，以實現(xiàn)數(shù)學理論盡快用于解決實際問題.2014年6月，就當前研究生數(shù)學公共課教學存在的主要問題，國防科技大學數(shù)學系面向全校學部委員開展了問卷調(diào)查，在反饋回來的17份意見表中，有15位專家建議要加強數(shù)學課程教學與工程領(lǐng)域中實際問題的關(guān)聯(lián).然而，在輿論意見一邊倒的形勢下，清華大學施一公教授在2014年9月武漢座談會上，旗幟鮮明地提出：“學不以致用.你們沒聽錯，我們以前太強調(diào)學以致用.我上大學的時候都覺得，學某一門課沒什么用，可以不用去上.其實在大學學習，尤其是本科的學習，從來就不是為了用.”無獨有偶，早在2008年，著名雜志《科學美國人》曾刊登文章指出，在數(shù)學課程中過多練習應用題的孩子數(shù)學能力普遍更差.

實踐教學或案例教學在數(shù)學理論課中到底應該如何定位，是擺在每個數(shù)學教師面前的問題之一.根據(jù)多年從事數(shù)學課程教學的經(jīng)驗，我們認為，該問題的回答主要取決于兩個方面.一是人才培養(yǎng)的目標.如果教學對象是專業(yè)學位研究生，盡早讓他們了解數(shù)學理論和方法在相關(guān)領(lǐng)域中的應用，對于他們盡快適應專業(yè)崗位很有必要；如果培養(yǎng)對象是學術(shù)研究生，是有能力在未來各學科領(lǐng)域中取得突破性工作的創(chuàng)新人才，數(shù)學則主要作為思維方法為其提供創(chuàng)新土壤，過于強調(diào)學以致用反而會約束他們的思維.另一方面，案例教學在數(shù)學課程中結(jié)合的“度”是特別需要慎重把握的.數(shù)學課程的主旨是使學生對數(shù)學理論有準確而深入的把握，案例教學的作用是幫助學生加深對數(shù)學理論的理解.簡而言之，數(shù)學概念和理論是“本”，工程應用是“末”，主次關(guān)系是顯見的.

基于上述思考，在研究生數(shù)學課程教學中，案例的選擇和設(shè)計應有別于某些研究課題的簡化介紹.教學案例可以來源于科學研究，但是應針對課程特點作取舍和設(shè)計.首先，數(shù)學刻畫的是抽象而具有普遍意義的規(guī)律，因此教學案例應具備代表性.與其在一門課中涉及許多實例，但大多無法深入，不如循序漸進地將一個案例講深講透，使學生切實了解數(shù)學與實際問題的主要結(jié)合點和著力點.此外，應盡量簡化對復雜工程背景的介紹，側(cè)重數(shù)學理論與方法的闡釋，重點揭示科學研究中從“思想-方法-理論”逐步遞進并循環(huán)深入的過程.

按照上述原則，本文介紹我們在研究生數(shù)學公共課程“小波分析及其應用”中實踐案例教學的具體做法，期望能為其他數(shù)學課程的教學提供參考.第二部分結(jié)合“小波分析及其應用”課程特點簡要介紹課程案例的建設(shè)現(xiàn)狀；第三部分以字符識別為例，介紹案例教學的具體實施過程.

2“小波分析及其應用”課程中案例教學的融入

目前我校開設(shè)的小波分析系列課程包括三門：面向數(shù)學專業(yè)高年級本科生的“傅里葉分析與小波”(40個學時)、面向數(shù)學專業(yè)碩士研究生的“小波分析及其應用”(54個學時)以及面向全校博士研究生公共課程“小波分析及其應用”(36個學時)，覆蓋了從本科、碩士到博士三個層次，授課對象包括數(shù)學專業(yè)和工科各專業(yè)的學生.小波分析課程是在多年相關(guān)研究積累的基礎(chǔ)上開設(shè)的，2004年和2014年相繼出版了兩部專著型研究生教材《小波的理論與應用》，課程建設(shè)總體比較完善.該課程在2010年被列為湖南省研究生精品課程建設(shè)項目，也是2013年立項的學?！把芯可涣髡n程體系”中重點建設(shè)的12門課程之一.

與“應用數(shù)學基礎(chǔ)”等積木式知識模塊的數(shù)學課程不同，小波分析的數(shù)學理論具有非常清晰的縱向脈絡(luò)：從經(jīng)典的Fourier變換源起，到體系完善的小波分析理論與算法，再到近十年來蓬勃發(fā)展的稀疏優(yōu)化方法和理論.嚴密的調(diào)和分析理論基礎(chǔ)與精巧的數(shù)值計算方法一起，搭建了縝密嚴謹、形象可視的小波分析知識框架.此外，小波分析作為風靡一時的應用基礎(chǔ)理論具有非常廣闊的應用舞臺，從醫(yī)學成像、機器智能，到遙感遙測、地質(zhì)勘探，小波分析工具廣泛應用于與信號處理相關(guān)的諸多工程技術(shù)領(lǐng)域.

作為研究生數(shù)學課程，小波分析最大的優(yōu)勢在于其相關(guān)研究十分活躍，新結(jié)果層出不窮.作為小波分析理論新發(fā)展的稀疏優(yōu)化是當前應用數(shù)學研究的熱點問題，研究者中不但有一流的數(shù)學家，也有頂尖的工程師.這一方面為案例教學創(chuàng)造了先天條件，同時也對案例的設(shè)計和更新提出了很高的要求.如何從俯拾皆是的實例中選擇適合課程教學的素材，如何在教學過程中逐步深入推進，使將來從事相關(guān)課題研究的學生可以快速進入前沿研究，使那些研究領(lǐng)域不甚相關(guān)的學生可以從中體會數(shù)學與工程問題的交叉推動作用，成為案例教學中的首要問題.

在2004年出版的《小波的理論與應用》教材中，我們就將內(nèi)容分為理論和應用兩大部分，其中應用部分即為典型教學案例，以圖像處理為主線，包括圖像去噪、恢復、增強、壓縮、數(shù)字水印等幾個方面；在新版教材中，結(jié)合近年研究進展和當前國際熱，在圖像處理的大框架下，增加了視頻處理及字符識別、文本分類等大數(shù)據(jù)時代的熱門問題.下一部分我們以字符識別為例，簡要介紹案例的設(shè)計和教學實施過程.

3字符識別教學案例的設(shè)計與實現(xiàn)

科技的快速發(fā)展與信息化水平的提升使得字符識別在社會生活中發(fā)揮著越來越重要的作用，常見的如紙幣號碼的識別檢測、條碼識別、車牌號識別、郵包自動分檢、手寫漢字的電子存檔等等.有效且準確的字符識別方法意義明顯，而且字符識別作為數(shù)字圖像處理的特例，問題描述簡單清楚，因此成為我們課堂教學的合適素材.

目前常見的字符識別方法有結(jié)構(gòu)識別、統(tǒng)計識別兩大類方法[1].結(jié)構(gòu)識別是提取含有一定規(guī)律的結(jié)構(gòu)信息和形狀特征，作為識別的依據(jù)，其識別結(jié)果可靠性高，但是在實際獲取字符圖像的過程中，由于存在著扭曲、傾斜等因素，導致結(jié)構(gòu)特征提取不準確，進而影響識別精度.此外，結(jié)構(gòu)識別的算法描述較為復雜，匹配過程的計算復雜度高.統(tǒng)計識別將字符點陣看作是一個能夠經(jīng)過大量統(tǒng)計數(shù)據(jù)得到的整體，使用統(tǒng)計特征進行分類容易進行樣本訓練，能夠通過訓練得到較高的識別率.統(tǒng)計特征以抗干擾能力強為主要特點，實現(xiàn)匹配與分類的算法簡單，且容易實現(xiàn).不足之處在于細分能力較弱，區(qū)分相似字符的能力較差.

在課堂教學中重點考慮利用稀疏表示[2]的方法來進行字符識別，將稀疏性作為字符的一項統(tǒng)計特征進行識別.基于稀疏表示的方法具有較好的判別性，進而可獲得較高識別率.考慮到小波分析本身就是獲得稀疏表示的一種典型方法，因此在課程教學中選擇這個例子有很好的理論連續(xù)性和延展性.

圖1　字符識別的簡要流程圖

3.1　問題描述

利用稀疏表示進行字符圖像的表示時，稀疏表示模型要求圖像線性展開中大部分基函數(shù)的系數(shù)(近似)為零，只有少數(shù)的基函數(shù)具有非零的大系數(shù)，如下式(1)，x為其稀疏表示(近似)系數(shù)，

y=Ax.

(1)

將給定的第i類的ni個訓練樣本，作為稀疏表示模型(1)中超完備字典A中的列集

Ai=[vi，1，vi，2，…，vi，ni]∈m×ni.

具體來說，就是將w×h的灰度字符圖像作為列向量，由這些列向量構(gòu)成超完備字典，如圖2所示.

圖2　由樣本庫中的字符構(gòu)成的字典矩陣A

假定任意一類i都有足夠多訓練樣本，來自同一類別的測試樣本y∈m可以被該類訓練樣本的線性組合逼近

y=αi，1vi，1+αi，2vi，2+…+αi，nivi，ni，αi，j∈，j=1，2，…，ni

但在識別過程中測試樣本類別i未知，定義矩陣A為由k個類別的所有訓練樣本構(gòu)成的列集，

A=[A1，A2，…，Ak]=[v1，1，v1，2，…，vk，nk]，

即y可重寫成上式(1)，其中x=[0，…，0，αi，1，αi，2，…，αi，ni，0，…，0]T∈n是稀疏的.理想情況下，除了該測試樣本所屬類別的索引值非零，其它系數(shù)均為零.

對于一個新的測試樣本y，首先通過稀疏表示算法計算它的稀疏表示系數(shù)x*.其中的非0系數(shù)應該和A中屬于某一類i的原子相關(guān)，根據(jù)這些非0系數(shù)就可以很快判斷測試樣本所屬類別.這里是根據(jù)最小重構(gòu)誤差判斷的，主要參照了文獻[3]中的判斷方式，定義一個指標函數(shù)δj(x):n→n，它對x中非j類元素對應的系數(shù)重新賦值為0，而第j類元素對應的系數(shù)保持不變.定義重構(gòu)誤差為

rj(y)=‖y-Aδj(x*)‖2，

然后計算其所屬字符類別：

identity(y)=arg minj{rj(y)}.

3.2　問題求解的兩種典型方法

在上述字符識別過程中，最關(guān)鍵的是得到最優(yōu)稀疏表示系數(shù)x*.基于冗余字典的信號稀疏表示模型可寫為

x*=arg min‖x‖0，s.t. Ax=y,

(2)

其中，‖·‖0定義為系數(shù)向量x中非零系數(shù)的個數(shù).由于l0是非凸的，求解基于過完備字典的信號稀疏表示是NP困難問題.近年來數(shù)學家對此問題展開了廣泛而深入的研究，提出了許多獲取信號稀疏表示的優(yōu)化算法，代表性方法有貪婪算法與凸松弛算法.

貪婪追蹤算法的主要思想是通過特定的相似性度量準則從字典中逐次選擇用于信號分解的原子，不斷迭代此過程可構(gòu)成對原信號的稀疏逼近.貪婪追蹤算法解決的是l0最小問題，它們將式(2)轉(zhuǎn)化為一個較簡單的考慮誤差的近似形式求解，其中ε是一個極小的常量：

x*=arg min‖x‖0，s.t.‖Ax-y‖<ε.

(3)

該系列算法最早的有匹配追蹤算法和正交匹配追蹤算法[4]，而最近的研究考慮了原始信號的結(jié)構(gòu)特征，如塊稀疏性、聯(lián)合稀疏性等等，依托這些特性最近發(fā)展了一些新的算法，如塊正交匹配追蹤算法[5]等.

凸松馳算法將l0度量凸化，壓縮感知理論表明，當滿足一定條件時，可將最優(yōu)化問題(2)轉(zhuǎn)化為求解l1范數(shù)最小化問題：

x*=arg min‖x‖1，s.t. Ax=y.

(4)

進而可以使用凸優(yōu)化算法進行逼近求解，主要包括梯度投影算法，同倫算法，迭代閾值收縮，增廣拉格朗日方法等[6-8].在這些算法中，增廣拉格朗日的對偶實現(xiàn)比其它算法速度更快，線性Bregman算法就是其中一種.

3.2.1線性Bregman算法

首先選取線性Bregman算法[9]來說明基于稀疏表示的字符識別方法的可行性.其過程是將(4)轉(zhuǎn)化為求解增廣的l1極小化問題：

(5)

算法1 求解問題(4)的線性Bregman迭代方法1初始化:A,y,w(0),α,i=0,ε;2迭代步驟: 2.1 x(i)∶=αshrink(ATw(i)); w(i+1)∶=w(i)-h(-b+Ax(i+1))2.2 if‖x(i+1)-x(i)‖<ε return;else i=i+1;goto2.1;3輸出:x(i+1);注 shrink(x)=sign(x)max{|x|-1,0}

有定理證明，在訓練字典滿足諸如RIP性質(zhì)時，算法1收斂，可以得到最優(yōu)解的高精度近似.

下面將算法1用于字符識別.訓練樣本和待識別樣本均來源于數(shù)據(jù)庫Charls74K中的標準字符圖像.從數(shù)據(jù)庫中選擇了35類樣本，包括10類數(shù)字字符和25類英文字符.從每類樣本中選擇40張字符圖像，作為訓練樣本.待識別的字符是從35類剩余樣本中隨機選取的.為了保證實驗過程中字典的超完備性，也就是字典的列的維數(shù)大于行的維數(shù)，需要將原來的圖像下采樣，原始圖像的大小為1200*900，經(jīng)歸一化后下采樣至30*30，形成900維的列向量.因此字典矩陣A的大小為900*1400，這樣y=Ax方程組是欠定的，可用算法1進行計算.

圖3是對于輸入字符“W”，按照算法1計算得到的稀疏表示系數(shù).與期望不符的是，最大系數(shù)對應的字符是“H”，次大系數(shù)對應的字符是“N”，這對于后期準確識別顯然不利.到底是Bregman迭代不夠準確，還是數(shù)學模型本身需要調(diào)整呢？

注意到Bregman迭代的收斂性和收斂速度均有嚴格數(shù)學理論支持.由于相同的字符圖像之間存在旋轉(zhuǎn)、放縮和其它形變，字符“W”被表示成多個相似字符“H，N，W，U”的組合是完全合乎實情的，這里需要進一步考慮的是數(shù)據(jù)的特點.傳統(tǒng)算法只考慮了信號稀疏，沒有考慮到信號內(nèi)部結(jié)構(gòu)特征.對字符識別而言，某個字符在訓練數(shù)據(jù)中聚集出現(xiàn)，將導致表示系數(shù)呈現(xiàn)“塊稀疏”特性，即非零系數(shù)成簇出現(xiàn).基于塊稀疏特性的稀疏表示算法，有望從本質(zhì)上提高字符識別的效率.

(a) 第33類第42幅中測試樣本　　　(b) 線性Bregman算法求得的稀疏系數(shù) 圖3　用算法1得到的字符W的稀疏表示

3.2.2塊正交匹配追蹤算法

Eldar[5]提出關(guān)于塊稀疏信號的塊間相關(guān)性和塊內(nèi)相關(guān)性概念，建立了基于塊稀疏信號的壓縮感知理論框架，將正交匹配追蹤算法拓展到塊稀疏信號中，提出了塊稀疏正交匹配追蹤算法(BOMP).該算法充分利用了信號塊稀疏結(jié)構(gòu)特性，重構(gòu)效果優(yōu)于傳統(tǒng)意義下的重構(gòu)算法，運行時間也大大降低.

算法2 塊正交匹配追蹤算法(BOMP)1初始化:字典矩陣A.采樣向量y,塊稀疏度K,塊大小d,初始化殘差r0=y;k=1;2匹配步驟:ik=argmaxi‖AT[i]rk-1‖2;3殘差更新步驟:原子下標集更新為Λk=Λk-1∪{ik}, 3.1 xk[i]=argmin{wk[i]}i∈Λky-∑i∈ΛkA[i]wk[i]2, 3.2 rk=y-∑i∈ΛkA[i]xk[i],4收斂條件.塊稀疏度大于K.注:x[i]為表示系數(shù)x中的第i塊;A[i]表示第i類字符的訓練樣本構(gòu)成的字典矩陣.

文獻[5]中證明了該算法在字典矩陣保證具有塊結(jié)構(gòu)特征的ERC條件時，此算法待識別的信號.

圖4顯示的是，數(shù)據(jù)庫中第33類字母字符中，第41和47幅圖像和它下采樣后的圖像，經(jīng)過塊正交匹配追蹤算法計算得到的稀疏表示系數(shù).最小重構(gòu)誤差對應的下標值正是第33類樣本.

圖5顯示的是數(shù)據(jù)庫中第7類數(shù)字符號圖像和它下采樣后的特征圖像，以及經(jīng)過塊正交匹配追蹤算法計算得到的稀疏表示系數(shù).這些基于算法1得到的系數(shù)難于識別的字符，用BOMP算法后都可以成功識別.

最后我們利用識別率估計識別算法的好壞，定義其識別率為成功識別出的圖像占所識別的字符圖像的比例.在本實驗中，所計算出的識別率為83%左右.誤判的圖像多是結(jié)構(gòu)相似的字符，如字母O和數(shù)字0，字母S和數(shù)字5.此外，采樣后字符結(jié)構(gòu)更加模糊，這也是導致識別率下降的一個因素.

(a) 第33類第41幅測試樣本　　　　　　　　(b) BOMP算法求得的(a)的稀疏系數(shù)

(c) 第33類第47幅測試樣本 　　　　　　　　(d) BOMP算法求得的(c)的稀疏系數(shù) 圖4　BOMP算法計算得到的W的稀疏系數(shù)

(a) 第7類第47幅測試樣本　　　　　　　　(b) BOMP算法求得的(a)的稀疏系數(shù) 圖5　BOMP算法計算得到的字符“6”的稀疏系數(shù)

3.3　案例的引申和拓展

上述描述只給出了字符識別的框架結(jié)構(gòu)與核心算法.對課程教學而言，突出算法介紹和思路勾勒、簡化工程背景和實現(xiàn)細節(jié)是十分必要的.可以使學生在沒有任何實踐經(jīng)驗的情況下把握問題的重點，不至于頭緒過于繁雜.但是就解決問題本身而言，僅有上述的認知還遠遠不夠.對案例作必要的引申和拓展，使之與科研實際接軌，也是教學中需要考慮的.

就本文討論的字符識別案例而言，可以從以下三個方面引導學生進行進一步的探討：

(i) 算法的進一步研究——線性Bregman迭代和BOMP的新發(fā)展；

(ii) 工程實現(xiàn)上的進一步考慮——數(shù)據(jù)初始化、參數(shù)選擇、字符特征的比對準則、噪聲要素等；

(iii) 模型的重新審視——將稀疏性度量拓廣到核范數(shù)或組合范數(shù)等；

通過推薦學生閱讀文獻、編寫程序與經(jīng)典算法進行識別競賽、組織課堂研討等多種方式，可以將此案例教學進一步深化.某些從事相關(guān)領(lǐng)域研究的學生可以從中獲得課題研究的靈感，甚至將他們引入該項研究的大門；大部分學生則可以從中體會數(shù)學理論和算法在解決工程問題時的切入點和主要思路，這對于他們未來的研究工作將是十分有益的.

4總結(jié)

本文首先探討了案例教學在研究生數(shù)學公共課程中的定位與作用，在此基礎(chǔ)上就“小波分析及其應用”一課的特點，設(shè)計了一個基于稀疏表示進行字符識別的教學案例.通過描述“數(shù)學模型——核心算法——算法調(diào)整”這一思維過程使學生了解稀疏表示理論如何用于高效解決實際工程問題.事實上，字符識別是機器學習或圖像處理的一個子問題，稀疏表示還可拓展應用于更加廣闊的應用問題中，如人臉/語音識別、圖像分割/理解等等.

除案例框架之外，文中還介紹了案例教學的實施，包括課堂內(nèi)容的選擇、課后擴展內(nèi)容的進一步討論及組織形式等等.盡管該案例本身是專為“小波分析及其應用”課程教學而設(shè)計的，但是案例設(shè)計理念及教學過程組織等，可以為更多的研究生數(shù)學公共課程教學提供有益的參考.

[參考文獻]

[1]馮學橋. 基于稀疏表示的脫機手寫體漢字識別研究[D]. 山東大學碩士學位論文. 2010.

[2]OlshausenBA，F(xiàn)ieldDJ.Emergenceofsimple-cellreceptivefieldpropertiesbylearningasparsecodefornaturalimages[J].Nature， 1996， 381: 607-609.

[3]WrightJ.，YangAY，SastrySSandMaYi.Robustfacerecognitionviasparserepresentation[J].IEEETrans.Pat.Anal.Mach.Intelli.， 2009， 31(2): 210-227.

[4]TroppJ，GilbertA.Signalrecoveryfromrandommeasurementsviaorthogonalmatchingpursuit[J].IEEETrans.SignalProcessing， 2007， 53(12):4655-4666.

[5]EldarYC，KuppingerP，BolcskeiH.Block-sparsesignals:uncertaintyrelationsandefficientrecovery[J].IEEETrans.SignalProcessing， 2010， 58(6):3042- 3054.

[6]ChenSB，DonohoDL，SaundersMA.Atomicdecompositionbybasispursuit[J].SIAMJournalonScientificComputing， 1998， 20(1): 33-61.

[7]HerrityKK，GilbertACandTroppJA.Sparseapproximationviaiterativethresholding[C].ProceedingoftheIEEEInternationalConferenceonAcoustics，SpeechandSignalProcessing.WashingtonD.C.，USA: 2006， 624-627.

[8]FiqueiredoMA，NowakRD，WrightSJ.Gradientprojectionforsparsereconstruction:applicationtocompressedsensingandotherinverseproblems[J].IEEEJournalofSelectedTopicsinSignalProcessing， 2007， 1(4): 586-598.

[9]LaiM，YinW.Augmentedl1andNuclear-normmodelswithagloballylinearlyconvergentalgorithm[J].SIAMJournalonImagingSciences， 2013， 6(2): 1059-1091.

[10]ParikhN，BoydS.Proximalalgorithms[J].FoundationsandTrendsinOptimization， 2013: 1-96.

[11]ZhangH，YinW.Gradientmethodsforconvexminimization:betterratesunderweakerconditions[R].CAMReport，UCLA， 2013:13-17.

[12]RockafellarR.Monotoneoperatorsandtheproximalpointalgorithm[J].SIAMJournalonControlandOptimization， 1976，14：877-898.

OntheCases-basedTeachingintheCourseof

‘WaveletAnalysisandApplications’

WANG Hong-xia，ZHANG Xiao-ya，CHEN Bo，CHENG Li-zhi

(SchoolofScience，NationalUniversityofDefenseTechnology，Changsha410073，China)

Abstract:Why and how to implement case-based teaching in the mathematical courses for graduated students are discussed in this paper. As an example， according to the course characteristic of ‘wavelet analysis and applications’， a teaching case of character recognition based on sparse representation is specially designed. Various aspects of this case are described including the brief frame， material organization， further discussion and so on. We hope it is helpful to investigate case-based teaching in other mathematical courses.

Keywords:case-basedteaching;waveletanalysis;sparserepresentation;characterrecognition