自然圖像稀疏編碼模型研究綜述

鄒柏賢，苗 軍

(1．北京聯(lián)合大學(xué) 應(yīng)用文理學(xué)院，北京100083;2．中國(guó)科學(xué)院計(jì)算技術(shù)研究所智能信息處理重點(diǎn)實(shí)驗(yàn)室，北京100190)

0 引言

由于圖像信息所占的存儲(chǔ)空間大，對(duì)圖像信息的壓縮處理顯得尤其重要． 如何建立新的圖像分析模型，改進(jìn)壓縮編碼算法長(zhǎng)久以來一直是圖像處理的研究熱點(diǎn)．根據(jù)有效編碼理論，人們提出自然圖像的稀疏編碼(Sparse Coding，SC)方法．實(shí)驗(yàn)證明Barlow 提出的有效編碼理論的正確性，在自然刺激的條件下測(cè)試視覺神經(jīng)系統(tǒng)響應(yīng)的統(tǒng)計(jì)特性，發(fā)現(xiàn)視皮層細(xì)胞的響應(yīng)滿足稀疏分布［1］． 視皮層對(duì)外界刺激采用神經(jīng)稀疏表示原則，可對(duì)繁雜冗余的信息進(jìn)行簡(jiǎn)化和去除，由少部分神經(jīng)元或基函數(shù)對(duì)圖像進(jìn)行的響應(yīng)描述或編碼表達(dá)，數(shù)據(jù)經(jīng)稀疏編碼后僅有少數(shù)分量同時(shí)處于明顯激活狀態(tài)，即呈現(xiàn)超高斯分布． 從數(shù)學(xué)上解釋，一幅圖像可以看作是一小部分基函數(shù)的線性加權(quán)組合．稀疏編碼模型是模擬生物視覺系統(tǒng)信息加工機(jī)制的重要方法，是圖像編碼的有效方法．

1 稀疏編碼模型研究現(xiàn)狀

從建立SC 模型的出發(fā)點(diǎn)看，SC 模型可分為模擬視覺系統(tǒng)模型、統(tǒng)計(jì)分析模型兩大類．模擬視覺系統(tǒng)模型通過仿真生物視覺感知系統(tǒng)，根據(jù)神經(jīng)元響應(yīng)的稀疏特性，對(duì)自然圖像進(jìn)行有效編碼．從建模的方式來看，視覺模擬可分為自底向上的、自底向上與自頂向下相結(jié)合的兩種建模方式． 統(tǒng)計(jì)模型利用傳統(tǒng)的圖像特征提取方法，建立在數(shù)字信息處理和概率統(tǒng)計(jì)的基礎(chǔ)上，與人類視覺系統(tǒng)強(qiáng)大而復(fù)雜的信息處理能力相距較遠(yuǎn)．

1．1 模擬視覺系統(tǒng)模型

大腦視皮層感知中的一個(gè)基本問題是對(duì)于視網(wǎng)膜成像后的圖像在視皮層中是如何進(jìn)行表達(dá)．在SC 模型的矩陣形式X =AS +N 中，X 是圖像灰度象素矩陣，A 是模擬初級(jí)視覺系統(tǒng)主視皮層V1 區(qū)感受野的特征基向量矩陣，S 是稀疏系數(shù)矢量矩陣，表示神經(jīng)元對(duì)不同基圖像的響應(yīng)，對(duì)應(yīng)主視皮層V1 區(qū)簡(jiǎn)單細(xì)胞神經(jīng)元的活動(dòng)狀態(tài)，N 為白噪聲．對(duì)自然圖像進(jìn)行SC 的目的是找到一個(gè)基函數(shù)表達(dá)式，使得每一個(gè)子圖像塊用較少的非零系數(shù)線性表示出來． 按照視覺系統(tǒng)模型的不同目標(biāo)、特征和結(jié)構(gòu)可分為6 種SC 模型．

1．1．1 最大似然概率模型

常用的自然圖像SC 模型是

式中:X(x，y)表示圖像的灰度像素值矩陣，(x，y)表示像素的空間坐標(biāo);ai表示模擬初級(jí)視覺系統(tǒng)主視皮層V1 區(qū)感受野的特征基向量，它是特征基矩陣A = [a1，a2，…的第i 列向量;si是稀疏系數(shù)矢量，表示主視皮層V1 區(qū)簡(jiǎn)單細(xì)胞對(duì)不同基圖像的響應(yīng)，系數(shù)矩陣S = [s1，s2，…T是第i 行向量． 該線性模型可使用標(biāo)準(zhǔn)梯度下降算法最大化模型(1)的似然對(duì)數(shù)實(shí)現(xiàn)基向量A 的學(xué)習(xí)，假定σ2是高斯噪聲N 的方差，函數(shù)f(si)是指定的隨機(jī)變量的分布，系數(shù)矩陣ai的梯度是:

式中:〈·〉表示隨機(jī)變量的期望值;p(si)表示系數(shù)si的先驗(yàn)分布表示后驗(yàn)概率． 實(shí)際應(yīng)用時(shí)，最大化模型的似然對(duì)數(shù)，取后驗(yàn)概率最大值作為一個(gè)樣本．

1．1．2 目標(biāo)函數(shù)優(yōu)化模型

在學(xué)習(xí)SC 模型的參數(shù)時(shí)，把重構(gòu)誤差以及編碼系數(shù)的稀疏性參數(shù)作為目標(biāo)函數(shù)．

(1)標(biāo)準(zhǔn)稀疏編碼模型．Olshausen 和Field［2］提出標(biāo)準(zhǔn)SC 模型．1996 年，Olshausen 和Field 指出自然圖像經(jīng)過稀疏編碼后得到的基函數(shù)類似于Vl 區(qū)簡(jiǎn)單細(xì)胞感受野的反應(yīng)特性，即任意給定的一幅自然圖像可以用一個(gè)很大的數(shù)據(jù)集合中的少數(shù)幾個(gè)非零元素來描述． 該模型中，最小化目標(biāo)函數(shù)為

該模型提取的基函數(shù)模擬Vl 區(qū)簡(jiǎn)單細(xì)胞感受野的三個(gè)響應(yīng)特性:空間域的局部性、時(shí)域和頻域的方向性和選擇性，采用隨機(jī)初始化的基函數(shù)和特征系數(shù)，收斂速度慢;算法通過先驗(yàn)分布確定系數(shù)分量，需要根據(jù)經(jīng)驗(yàn)選擇三個(gè)函數(shù)，結(jié)果不穩(wěn)定．

(2)非負(fù)稀疏編碼模型． Hoyer 在標(biāo)準(zhǔn)SC 模型的基礎(chǔ)上，提出非負(fù)SC 模型(NSC)［3］，考慮人眼以不同的通道接收非負(fù)數(shù)據(jù)，符合人眼的生理特性和主視皮層V1 區(qū)簡(jiǎn)單細(xì)胞神經(jīng)元的電生理特性．把輸入數(shù)據(jù)劃分為對(duì)自然圖像以O(shè)N、OFF通道兩種方式響應(yīng)的信號(hào)，系數(shù)si和特征向量ai都限定為非負(fù)值，非負(fù)的約束使得A 和S 的元素為零或者是正數(shù)，模型的最小化目標(biāo)函數(shù)為:

由于模型容易受到噪聲影響，尚麗等［4］考慮視覺系統(tǒng)對(duì)外界感知信息的自適應(yīng)調(diào)整機(jī)制和視皮層之間的反饋連接，提出基于文件PCA 和V1區(qū)簡(jiǎn)單細(xì)胞感受野先驗(yàn)知識(shí)的反饋非負(fù)SC 模型，并且使用共軛梯度下降實(shí)現(xiàn)目標(biāo)函數(shù)的最小化．Hoyer 給出了最小化目標(biāo)函數(shù)的有效算法［5］．

(3)基于峭度稀疏性測(cè)度的稀疏編碼． 尚麗［6］改進(jìn)了主視皮層V1 區(qū)簡(jiǎn)單細(xì)胞感受野的SC算法．同樣采用峭度的絕對(duì)值作為稀疏性度量標(biāo)準(zhǔn)，在目標(biāo)函數(shù)中加入稀疏性懲罰項(xiàng)和圖像重構(gòu)誤差約束，避免出現(xiàn)僅滿足稀疏性要求而使圖像重構(gòu)誤差變得很大． 在目標(biāo)函數(shù)中加入一個(gè)固定系數(shù)的方差項(xiàng)，即

式中:λ1和λ2均為正常數(shù);是預(yù)先選定的隨機(jī)系數(shù)方差的尺度常數(shù)，函數(shù)第一項(xiàng)為圖像的重構(gòu)誤差項(xiàng)，第二項(xiàng)為系數(shù)懲罰項(xiàng)，由峭度的絕對(duì)值作為稀疏性度量準(zhǔn)則． 算法中給出基函數(shù)和系數(shù)的學(xué)習(xí)規(guī)則．

(4)任務(wù)驅(qū)動(dòng)稀疏編碼模型．Hoyer 等［7］在自底向上的多層感知網(wǎng)絡(luò)結(jié)構(gòu)中利用自頂向下的反饋控制建模，將線性誤差最小化SC 擴(kuò)展到復(fù)雜細(xì)胞輸出模型，有一個(gè)權(quán)重矩陣需要學(xué)習(xí)，便于進(jìn)行數(shù)據(jù)實(shí)驗(yàn)．簡(jiǎn)化模型底層結(jié)構(gòu)的方式，使上層復(fù)雜細(xì)胞的相互作用更清晰．模型包括兩個(gè)部分:復(fù)雜細(xì)胞的響應(yīng)模型，另一模型把復(fù)雜細(xì)胞的輸出作為輸入矩陣X，用一個(gè)經(jīng)典的復(fù)雜細(xì)胞能量模型，估計(jì)線性模型(1)中的稀疏向量及非負(fù)系數(shù)Si．復(fù)雜細(xì)胞對(duì)輸入圖像的響應(yīng)是兩個(gè)正交Gabor 過濾器的平方 和， C{xc，yc，θ}=

式中:G{e，xc，yc，θ)、G{o，xc，yc，θ)分別是偶、奇對(duì)稱Gabor濾波器，以(xc，yc)為中心;θ 是朝向角．

Li 等［8］提出結(jié)合注意選擇機(jī)制和雙層反饋神經(jīng)網(wǎng)絡(luò)的編碼模型，以及基于任務(wù)驅(qū)動(dòng)稀疏編碼模型［9］，他們認(rèn)為神經(jīng)細(xì)胞的響應(yīng)除受稀疏編碼準(zhǔn)則的影響，保持神經(jīng)細(xì)胞響應(yīng)的統(tǒng)計(jì)獨(dú)立性，還受到反饋信號(hào)的調(diào)節(jié)，使得編碼能反應(yīng)來自高層的知覺任務(wù)．

(5)正則圖稀疏編碼模型． 國(guó)內(nèi)學(xué)者ZHENG Miao 等［10］提出一種正則圖稀疏編碼模型(Graph-SC)．假定圖像矩陣X 的n 維列向量，建立一個(gè)有m 個(gè)頂點(diǎn)的最鄰近圖G，每個(gè)頂點(diǎn)表示一個(gè)數(shù)據(jù)向量．設(shè)W 是G 的權(quán)重矩陣，如果xi在xj的K-鄰域，或xj在xi的K-鄰域，則Wij= 1 ，否則，Wij= 1 ． 定義頂點(diǎn)xi的權(quán)重di=Wij，D =diag(d1，…，dm)．把正則圖G 映射到稀疏表示系數(shù)S，最小化函數(shù):

L=D -W 是拉普拉斯矩陣．那么，可以把稀疏編碼模型的目標(biāo)函數(shù)確定為:

參數(shù)α ≥0 ．函數(shù)中，第二項(xiàng)是保持正則圖G到系數(shù)S 的合理性，第三項(xiàng)是系數(shù)S 的稀疏性，衡量非零系數(shù)(或權(quán)重較大)的數(shù)量．把優(yōu)化目標(biāo)函數(shù)分為兩步:①固定基向量矩陣A 時(shí)學(xué)習(xí)稀疏編碼S;②固定系數(shù)矩陣S 時(shí)學(xué)習(xí)基向量矩陣A．

1．1．3 Gabor 小波基函數(shù)模型

在線性SC 模型中，視網(wǎng)膜細(xì)胞響應(yīng)是自然圖像及誤差的線性表示，可由Gabor 小波過濾器表示出來，稱為Gabor 小波基函數(shù)稀疏編碼． J．P． Jones 和L． A． Plamer 用二維Gabor 濾波器估計(jì)出最小均方誤差意義下簡(jiǎn)單細(xì)胞的響應(yīng)特性，證明二維Gabor 函數(shù)平移、旋轉(zhuǎn)得到的小波基函數(shù)同樣也具有V1 區(qū)神經(jīng)元感受野的結(jié)構(gòu)． 如果基函數(shù)集合是超完備的，稀疏編碼效率更高． Olshausen 等人［11］提出金字塔形稀疏編碼基的求解算法，假定基函數(shù)具有平移、尺度不變性，則一幅圖像的全部基函數(shù)可由少量的小波濾波器和不同尺度的基函數(shù)擴(kuò)展表示． L 級(jí)金字塔小波基函數(shù)模型為

利用少量的小波濾波器和不同尺度的基函數(shù)擴(kuò)展得到圖像的全部基函數(shù)，該算法在一定程度上提高編碼效率，但是編碼圖像重構(gòu)的精度受到影響．

1．1．4 超完備基稀疏編碼模型

把自然圖像X = (X1，X2，…，Xn)T表示為加上噪音的線性疊加基［12］:

X(b)= ［∑s(c)a(b，c)］+ N． (3)

其中:X(b)= {Xij}是刺激圖像的向量表示;Xij是一幅圖像中的像素;s(c)= {skl}是簡(jiǎn)單細(xì)胞編碼的向量表示;skl是位于某個(gè)空間坐標(biāo)上的編碼值，簡(jiǎn)單細(xì)胞的數(shù)量是(N1× M1)，a(b，c)={aijkl}是簡(jiǎn)單細(xì)胞感受野的空間結(jié)構(gòu)． Olshausen等人［13］把數(shù)學(xué)上的超完備基引入到稀疏編碼．當(dāng)引入超完備基的編碼空間時(shí)，對(duì)輸入圖像的表示可能不唯一． Hubel 等人及Michison［2］的實(shí)驗(yàn)表明，視皮層V1 區(qū)的細(xì)胞數(shù)量遠(yuǎn)大于LGN 上的神經(jīng)元數(shù)，視皮層V1 區(qū)對(duì)來自LGN 細(xì)胞刺激的響應(yīng)存在超定性，可用超定基線性表示．目前常用的SC 模型都假設(shè)編碼空間維數(shù)和輸入空間維數(shù)相等，即都屬于完備的SC 模型［14］．

1．1．5 神經(jīng)網(wǎng)絡(luò)稀疏編碼模型

Cornelius Webe 等［15］建立具有適應(yīng)性的SC模型，采用醒睡算法學(xué)習(xí)自下而上和自上而下雙向權(quán)重，通過隱性神經(jīng)元的轉(zhuǎn)移函數(shù)調(diào)節(jié)稀疏性．該模型把視覺系統(tǒng)分為三層，即輸入神經(jīng)元xj、靜輸入神經(jīng)元yi和隱性輸出神經(jīng)元zi，自下而上輸入神經(jīng)元到靜輸入神經(jīng)元之間聯(lián)結(jié)權(quán)重為Wbu，靜輸入神經(jīng)元到隱性輸出神經(jīng)元之間轉(zhuǎn)換函數(shù)設(shè)為z = ga，b(y)，稀疏先驗(yàn)指數(shù)密度函數(shù)設(shè)為函數(shù)fexp，u 為均值．由隱性輸出神經(jīng)元到輸入神經(jīng)元的自上而下重建權(quán)重是Wtd．對(duì)于靜輸入單元i和輸入單元j，靜輸入神經(jīng)元傳遞給神經(jīng)元輸出zi，

調(diào)節(jié)指數(shù)函數(shù)fexp使zi呈近似指數(shù)分布．這種隱性的內(nèi)在稀疏表示的調(diào)節(jié)機(jī)制適用于時(shí)間尺度快速變化的情形，對(duì)于參數(shù)a 來說，可以滿足變化速度在數(shù)十秒的量級(jí)，這能夠解釋視覺神經(jīng)的傾斜后效現(xiàn)象．參數(shù)b 的變化范圍較小，用它可以解釋傾斜后效寬于指數(shù)分布的原因．Ewaldo 等［16］提出一個(gè)無監(jiān)督的神經(jīng)網(wǎng)SC 模型．

1．1．6 分層稀疏編碼模型

研究者們還提出分級(jí)的SC 模型． Kai Yu［17］等提出一種兩級(jí)SC 模型． 第一級(jí)對(duì)圖像分塊進(jìn)行編碼，然后被傳遞到第二級(jí)編碼．該模型不同于傳統(tǒng)的各分塊相互獨(dú)立的稀疏編碼方法，各分塊之間具有一定的相關(guān)性．設(shè)x1，x2，…，xn∈Rd是一幅圖像的n 個(gè)分塊，設(shè)X = ［x1，x2，…，xn］∈Rd×n表示這些分塊的矩陣形式，A ∈Rd×p是第一級(jí)(分塊級(jí)，Patch-level)的稀疏表示基向量;第二級(jí)(集合級(jí)，Set-level)基向量Φ = (φ1，φ2，…，φq)∈Rd×p，這些Φ 用來對(duì)分塊x 之間統(tǒng)計(jì)相關(guān)性進(jìn)行建模，這樣可同時(shí)獲得分塊級(jí)和集合級(jí)的稀疏編碼，最優(yōu)化下述目標(biāo)函數(shù)，即可得兩級(jí)稀疏編碼模型:

S = (s1，s2，…，sn)∈Rp×n是分塊級(jí)稀疏表示系數(shù)，α ∈Rq是集合級(jí)稀疏表示系數(shù)．

該模型的特點(diǎn)是，考慮了不同分塊之間的空間位置相關(guān)性，但是計(jì)算量大． 此外，還有DAI Dengxin 等［18］提出了三層空間稀疏編碼模型(TSSC)．利用局部特征之間的相關(guān)性，用直方圖交叉描述局部特征之間的相似性，建立拉普拉斯矩陣，作為稀疏編碼目標(biāo)函數(shù)的一部分，保持相似局部特征的稀疏表示．

1．2 統(tǒng)計(jì)分析模型

利用信息的低維特征建立統(tǒng)計(jì)分析模型，主要有獨(dú)立元分析方法模型、非負(fù)矩陣分解算法模型、特定特征的稀疏編碼模型等．

1．2．1 獨(dú)立元分析方法

獨(dú)立元分析(ICA)是典型的稀疏編碼統(tǒng)計(jì)分析方法．在模擬視覺系統(tǒng)的SC 模型矩陣形式X=AS+N 中，如果不考慮高斯白噪聲N，則成為獨(dú)立元分析的標(biāo)準(zhǔn)數(shù)學(xué)模型X =AS．ICA 模型的條件是假定自然圖像S 中的各分量獨(dú)立． 大量研究表明，大多數(shù)自然圖像數(shù)據(jù)服從超高斯分布，矩陣A 可以作為對(duì)自然圖像稀疏表示的特征基函數(shù)的近似，ICA 算法和稀疏編碼以在減少冗余的目標(biāo)方面是一致的．因此，ICA 算法得到的特征基函數(shù)可作為模擬視覺系統(tǒng)對(duì)自然圖像的稀疏編碼基函數(shù)．有許多學(xué)者對(duì)獨(dú)立元方法進(jìn)行了改進(jìn)，拓?fù)洫?dú)立元分析方法，允許在一個(gè)小的領(lǐng)域內(nèi)各個(gè)基向量之間有相關(guān)性，獲取的自然圖像的基函數(shù)的性質(zhì)類似于拓?fù)鋱D的形式展示出來．

1．2．2 非負(fù)矩陣分解算法

非負(fù)矩陣分解算法用于提取圖像中有意義的特征．該算法是在矩陣中所有元素均為非負(fù)的條件下對(duì)其實(shí)現(xiàn)非負(fù)分解，由于非負(fù)性約束使得分解的基向量和組合系數(shù)中的大量元素為零或接近于零，因此這種表示方法被看作是一種稀疏編碼的統(tǒng)計(jì)算法．

對(duì)于自然圖像矩陣X，它的每一列是由一幅自然圖像的象素值組成，自然圖像的象素?cái)?shù)為n，有m 個(gè)自然圖像時(shí)，X ∈Rn×m．若X 是非負(fù)矩陣，那么可進(jìn)行矩陣分解:X ≈WH，其中W ∈Rn×r，H ∈Rr×m，各矩陣的元素Xi，j，Wi，u，Hu，j≥0 ，0 ≤i ≤n -1 ，0 ≤j ≤m -1 ，0 ≤u ＜r -1 ，通常r ＜nm/(n + m)，根據(jù)給出的迭代關(guān)系式進(jìn)行循環(huán)迭代．迭代開始前，需對(duì)X 歸一化，使得所有象素值在［0，1］內(nèi)，W，H 的初始值為［0，1］內(nèi)的隨機(jī)數(shù)．

在上述非負(fù)矩陣的分解中，W 是基矩陣，它表示圖像的局部特征，H 是編碼矩陣，在運(yùn)用基圖像和編碼進(jìn)行圖像重構(gòu)時(shí)，H 中的大多數(shù)元素為零．該計(jì)算模型的缺點(diǎn)在于X 的約束條件，即為非負(fù)矩陣．非負(fù)矩陣分解計(jì)算方法的收斂速度慢．國(guó)內(nèi)外學(xué)多學(xué)者對(duì)此方法進(jìn)行了改進(jìn)，尚麗等提出具有系數(shù)度約束的局部非負(fù)矩陣分解算法LNNSC［19］，對(duì)非負(fù)矩陣分解算法做出改進(jìn)．此外，國(guó)內(nèi)許多學(xué)者運(yùn)用非負(fù)矩陣分解算法提出了許多應(yīng)用［20］．

1．2．3 特定特征模型

Huang 等人［21］從統(tǒng)計(jì)學(xué)角度，研究信號(hào)的稀疏統(tǒng)計(jì)模型，證明在一定條件下統(tǒng)計(jì)模型具有更好的信號(hào)重構(gòu)性能．假定在線性表達(dá)式X =AS +N 中，基向量矩陣A 是固定的，在統(tǒng)計(jì)領(lǐng)域，可以用Lasso 算法對(duì)上述稀疏統(tǒng)計(jì)學(xué)習(xí)問題進(jìn)行求解．Huang 等人發(fā)現(xiàn)，在具有一定特征的同組數(shù)據(jù)的S 變量往往同時(shí)為零或同時(shí)非零． Zhang 等［22］從理論上證明基于組的稀疏特性的圖像標(biāo)注方法可提高準(zhǔn)確性和穩(wěn)定性．

2 模型分析和比較

將各種模型的主要特點(diǎn)列于表1．

3 稀疏編碼應(yīng)用與展望

以稀疏編碼為代表的生物視覺系統(tǒng)具有高性能的圖像編碼和表示能力，稀疏編碼在圖像、視頻壓縮方面具有驚人的壓縮能力，可去除大量的冗余數(shù)據(jù)，廣泛應(yīng)用于數(shù)據(jù)降維、提取圖像的關(guān)鍵特征和數(shù)據(jù)壓縮，如何訓(xùn)練稀疏系數(shù)和基，使自然圖像得到最短描述、降低原始數(shù)據(jù)的維數(shù)、提取關(guān)鍵特征，需要進(jìn)一步研究解決．

首先，利用生物視點(diǎn)統(tǒng)計(jì)分析及注意選擇機(jī)制建立稀疏編碼模型． 研究人員對(duì)生物視點(diǎn)進(jìn)行統(tǒng)計(jì)分析，在眼動(dòng)及選擇性注意方面取得很多研究成果，為模擬生物視覺系統(tǒng)的信息處理機(jī)制奠定基礎(chǔ)．視覺系統(tǒng)是人類獲取外部信息最重要的通道，眼動(dòng)及選擇性注意信息可以在細(xì)微方面反映信息提取和選擇方面的過程與規(guī)律．

表1 模擬視覺系統(tǒng)特征模型的分類和比較Tab． 1 Classification and comparison of the simulated visual system feature model

其次，模擬生物視覺系統(tǒng)對(duì)各種信息的處理，提高對(duì)各類信息的識(shí)別率及處理速度．例如，提取各種不良網(wǎng)頁(yè)信息的本質(zhì)特征，對(duì)不同信息進(jìn)行分類，進(jìn)行快速、準(zhǔn)確地識(shí)別和過濾．另外，隨著網(wǎng)絡(luò)和多媒體技術(shù)的發(fā)展，大量不良視頻在網(wǎng)絡(luò)上蔓延，需要客觀、有效地對(duì)視頻內(nèi)容進(jìn)行分類識(shí)別．借助人類視覺系統(tǒng)對(duì)視頻信息關(guān)鍵特征的提取和處理能力，結(jié)合認(rèn)知心理學(xué)、計(jì)算神經(jīng)科學(xué)、統(tǒng)計(jì)機(jī)器學(xué)習(xí)、模式識(shí)別等方法，通過機(jī)器學(xué)習(xí)挖掘出不良視頻的統(tǒng)計(jì)特性，提高視頻分類的準(zhǔn)確率．

第三，在視覺搜索方面上，往往采用分塊編碼表示圖像特征，進(jìn)而采用分塊編碼的融合，得到目標(biāo)整體的稀疏編碼，在獨(dú)立性假設(shè)前提下利用統(tǒng)計(jì)推斷，可應(yīng)用于自動(dòng)或輔助駕駛的學(xué)習(xí)和模擬．由于目前主動(dòng)視覺模型的限制，對(duì)實(shí)際快速變化場(chǎng)景及其中的物體或目標(biāo)還缺乏高效的信息抽取及編碼能力，因此，稀疏編碼的良好表達(dá)能力將有助于克服這些問題，使自動(dòng)或輔助駕駛成為可能．

［1］ VINJE W E，GALLANT J L． Sparse coding and decorrelation in primary visual cortex during natural vision［J］． Science，2000，287(18):1273 ～1276．

［2］ OLSHAUSER B A，F(xiàn)IELD D J． Emergence of simplecell receptive field properties by learning a sparse code for natural images［J］． Nature，1996，381:607-609．

［3］ HOYER P O． Modeling receptive fields with non-negative sparse coding［J］． Neuroscience，2003，52 ～54(1):547 -552．

［4］ SHANG Li，CAO Feng-wen． Adaptive denoising using a modified sparse coding shrinkage method［J］． Neural Processing Letters，2006，24(2):153 -162．

［5］ HOYER P O． Non-negative sparse coding［C］∥Proceedings of the 2002 12th IEEE Workshop on Neural Networks for Signal Processing． Martigny，Switzerland，2002:557 -565．

［6］ 尚麗． 稀疏編碼算法及其應(yīng)用研究［D］． 北京:中科院合肥智能機(jī)械研究所，2006．

［7］ HOYER P，HYRARIEN A． A Multi-layer sparse coding network learns contour coding from natural images［J］． Vision Research，2002，42(12):1593 -1605．

［8］ LI Q Y，SHI J，SHI Z Z． A model of attention-guided visual sparse coding［C］∥Proceedings of IEEE International Conference on Cognitive Informatics，2005:120 -125．

［9］ LI Q Y，CHENG D，SHI Z Z． Task-oriented sparse coding model for pattern classification［J］． Lecture Notes in Computer Science，2005，36 (10):903-914．

［10］ZHENG Miao，BU Jia-jun，CHEN Chun，et al． Graph regularized sparse coding for image representation［J］．IEEE Transactions on Image Processing，2011，20(5):1327 -1336．

［11］ OLSHAUSEN B A，SALLEE P，LEWICKI M S．Learning sparse image codes using a wavelet pyramid architecture［J］． Advances in Neural Information Processing Systems，2001，13:887 -893．

［12］羅四維． 視覺感知系統(tǒng)信息處理理論［M］． 北京:電子工業(yè)出版社，2006．

［13］OLSHAUSEN B A． Principles of image representation in visual cortex［M］． The Visual Neurosciences． In:CHALUPA L M，WERNER J S． eds． Cambridge，MA:MIT Press，2002．

［14］楊謙，齊翔林，汪云九． 視皮層V1 區(qū)簡(jiǎn)單細(xì)胞的稀疏編碼策略［J］． 計(jì)算物理，2001，18(2):136-143．

［15］WEBER C，TRIESCH J． A Sparse generative model of V1 simple cells with intrinsic plasticity［J］． Neural Computation，2008，20:1261 -1284．

［16］SANTANA E，PRINCEPE J C，BARROS A K，et al．Biologically inspired algorithm based on error minimization［C］// Proceedings of Brain Inspired Cognitive Systems(BICS)． Sao Luis，Brazil，2008:1 -4．

［17］YU Kai，LIN Yuan-qing，LAFFERTY J． Learning image representations from the pixel level via hierarchical sparse coding［C］∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，2011:1713 -1720．

［18］DAI Deng-xin，YANG Wen，WU Tian-fu． Three-layer spatial sparse coding for image classification［C］∥Proceedings of 20th International Conference on Pattern Recognition (ICPR)，2010:613 – 616．

［19］尚麗，蘇品剛，杜吉祥． 基于局部非負(fù)系數(shù)編碼的掌紋識(shí)別方法［J］． 計(jì)算機(jī)應(yīng)用，2011，31(6):1609 -1612．

［20］晁永國(guó)． 一種改進(jìn)的非負(fù)稀疏編碼圖像編碼方案［J］． 計(jì)算機(jī)工程與科學(xué)，2010，32(10):66 -68，69．

［21］ HUANG Jun-zhou，ZHANG Tong． The benefit of group sparsity annals of statistics［J］． Institute of Mathematical Statistics，2010，38:1978 -2004．

［22］ ZHANG Shao-ting，HUANG Jun-zhou，HUANG Yuchi，et al． Automatic image annotation using group sparsity［C］∥Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR)． San Francisco，USA:CVPR． 2010:3312 -3319．