基于壓縮感知的數(shù)字檔案信息存儲(chǔ)優(yōu)化策略研究

郭佳琪

(運(yùn)城廣播電視大學(xué),山西 運(yùn)城 044099)

1 數(shù)字檔案信息服務(wù)概述

隨著計(jì)算機(jī)數(shù)據(jù)處理技術(shù)與存儲(chǔ)技術(shù)的不斷發(fā)展,現(xiàn)代檔案信息的管理模式已逐步由紙質(zhì)檔案向數(shù)字化檔案過渡。在這個(gè)轉(zhuǎn)換過程中,大量的紙質(zhì)檔案信息將通過無線傳感、電子掃描、攝像等方式進(jìn)行信息的采集與存儲(chǔ)[1]。特別是在互聯(lián)網(wǎng)、云存儲(chǔ)、大數(shù)據(jù)等概念被廣泛應(yīng)用到各行各業(yè)中的今天,數(shù)字化信息呈井噴式爆發(fā),海量的數(shù)據(jù)充斥在網(wǎng)絡(luò)存儲(chǔ)空間中,這些都對(duì)數(shù)字化檔案信息服務(wù)系統(tǒng)的存儲(chǔ)性能提出了非常高的要求。壓縮感知理論將數(shù)字信息的采集與壓縮有效的結(jié)合在一起,將其應(yīng)用到數(shù)字檔案信息的管理策略當(dāng)中,不僅可以提高數(shù)字信息的采集質(zhì)量,還可以提升與優(yōu)化檔案系統(tǒng)存儲(chǔ)空間的有效利用率[2]。

1.1 數(shù)字檔案信息的采集

數(shù)字化檔案信息的采集是指利用計(jì)算機(jī)的數(shù)字處理技術(shù)對(duì)檔案信息進(jìn)行收集[3],可以用視頻、圖像、聲音、文字等多種形式表示信息,并以數(shù)字編碼的形式進(jìn)行存儲(chǔ)與管理。例如通過掃描技術(shù)將文本類信息轉(zhuǎn)換為數(shù)字檔案,通過攝像技術(shù)獲取視頻信息與圖像信息等?；跀?shù)字檔案信息采集的多樣性,在更加直觀和完整的反映信息內(nèi)容的同時(shí),也會(huì)引起一系列新的問題。例如信息采集過程中信號(hào)的傳輸問題、信息轉(zhuǎn)換時(shí)的圖像失真問題、視頻和圖像類信息的存儲(chǔ)開銷過大等問題,都會(huì)對(duì)數(shù)字檔案管理系統(tǒng)的工作效能產(chǎn)生很大的影響。

1.2 數(shù)字檔案信息的存儲(chǔ)策略研究

數(shù)字檔案中信息的構(gòu)成有很大一部分都屬于圖像類信息,這些信息的采集常常會(huì)受到外部環(huán)境的限制和影響。例如紙質(zhì)檔案的數(shù)字掃描,由于紙質(zhì)檔案大都會(huì)存放很久,長時(shí)間的放置使得檔案的紙質(zhì)老化,字跡、圖像等信息變得模糊不清,如果直接進(jìn)行掃描轉(zhuǎn)換,很多信息是很難準(zhǔn)確識(shí)別的。再比如視頻類信息的采集與采集設(shè)備的性能、光線環(huán)境等都有很大關(guān)系,如果光線不夠或采集設(shè)備分辨率較低的話,圖像就會(huì)出現(xiàn)很多噪聲。因此,數(shù)字檔案信息的采集還需要經(jīng)過校正、降噪、濾波、細(xì)節(jié)強(qiáng)化等多個(gè)處理細(xì)節(jié),才能得到一個(gè)較好的結(jié)果,同時(shí)這類信息的傳輸、存儲(chǔ)開銷較大也是常見問題,還需進(jìn)行文件的壓縮存儲(chǔ)以提高存儲(chǔ)空間與網(wǎng)絡(luò)帶寬資源的利用率。針對(duì)上述問題,數(shù)字檔案信息存儲(chǔ)策略的構(gòu)建主要涉及到兩個(gè)方面:一是信息質(zhì)量的優(yōu)化處理,包括掃描檔案后的成像處理、圖像的噪點(diǎn)處理等;二是信息長度的壓縮,包括信號(hào)的采樣、壓縮、數(shù)字編碼的簡化等。但這兩個(gè)方面的功能實(shí)現(xiàn)是相悖的,要提高檔案信息的圖像質(zhì)量,就會(huì)增加文件的信息量,壓縮文件又是以犧牲部分的圖像細(xì)節(jié)信息為代價(jià)的。如何能夠兼顧兩者,以達(dá)到最大限度的資源利用,這是數(shù)字檔案信息存儲(chǔ)策略研究的難點(diǎn)之一,為了能夠有效地解決這一難點(diǎn)問題,借助圖像處理技術(shù)當(dāng)中壓縮感知理論的存儲(chǔ)優(yōu)化算法,對(duì)檔案信息進(jìn)行采集、重構(gòu)和壓縮,在保證圖像質(zhì)量的基礎(chǔ)上最大限度地減少其在存儲(chǔ)與傳輸時(shí)的資源開銷。

2 壓縮感知理論概述

傳統(tǒng)的數(shù)字信息采集都是先進(jìn)行圖像信息的完整采集,再進(jìn)行壓縮。在采集時(shí)要求采樣頻率至少可以達(dá)到模擬信號(hào)最高頻率的兩倍以上,才能獲取到質(zhì)量較好的圖像信息。在采集完成之后,再通過去除冗余信號(hào),減少圖像細(xì)節(jié)處理的方式進(jìn)行長度壓縮,且這種壓縮是不可逆的,圖像損失的細(xì)節(jié)部分將無法再進(jìn)行還原。

相比傳統(tǒng)的數(shù)字信息處理方式,壓縮感知理論提出了一種全新的信息采集和壓縮的優(yōu)化方式,就是在信息采集的同時(shí)對(duì)信號(hào)進(jìn)行壓縮。該理論驗(yàn)證了信號(hào)處在稀疏域時(shí),可以采用不相關(guān)矩陣的表示方式將高緯度信號(hào)投影在低維度空間進(jìn)行壓縮傳輸,并且還可通過低緯度空間存儲(chǔ)的少量關(guān)鍵信息對(duì)圖像原信號(hào)進(jìn)行重構(gòu)和還原[4]。這一理論的實(shí)現(xiàn)主要包含三個(gè)步驟:圖像的信號(hào)的稀疏度判斷、稀疏信號(hào)的不相關(guān)觀測矩陣建立和圖像完整信號(hào)的重構(gòu)。

2.1 稀疏表示

圖像信號(hào)的稀疏表示主要是通過稀疏域字典的建立來實(shí)現(xiàn)[5]。首先要確定最佳的稀疏域，采用小波分析法將圖像信號(hào)數(shù)字化，并將具有相關(guān)性的一系列信號(hào)組合為基函數(shù)并記錄在字典當(dāng)中。每組基函數(shù)作為一個(gè)原子項(xiàng)進(jìn)行冗余信號(hào)的壓縮處理,然后在原子項(xiàng)之間進(jìn)行多種線性組合的比較,選擇出與原信號(hào)最為匹配的原子項(xiàng)組合投影在不相關(guān)觀測矩陣當(dāng)中。圖像信號(hào)的稀疏表示過程如圖1所示。

圖1 圖像信號(hào)的稀疏表示過程

假設(shè)圖像R中有一原始信號(hào)Y∈Fm,稀疏字典X中存在N個(gè)原子項(xiàng),稀疏系數(shù)為b,對(duì)圖像R進(jìn)行稀疏表示,可表示為:

b*=argmi‖b‖0s.t.R=Xb

(1)

其中稀疏字典的設(shè)計(jì)是否完備,決定了圖像的稀疏表示程度是否合理,稀疏字典中獲取的原子項(xiàng)與圖像原信號(hào)匹配度越高,對(duì)壓縮后圖像的還原度就越高,壓縮效率也就越高。采用單一的幾何分析方式無法對(duì)復(fù)雜結(jié)構(gòu)的自然圖像建立完備的字典表示信息,例如小波單節(jié)點(diǎn)變換字典雖然能夠很好的匹配圖像的紋理信息,卻不能有效匹配輪廓邊緣信息;雙正交疊式變換字典可以較好地匹配圖像邊緣輪廓信息,卻不能很好地表示震蕩紋理樣式。因此,稀疏字典的性能設(shè)計(jì)要充分考慮到圖像的各向同性與各向異性結(jié)構(gòu)的性能匹配。

2.2 投影矩陣的測量

由稀疏表示獲取到的最為匹配的原子項(xiàng)組合經(jīng)過壓縮和降維處理就可以得到相應(yīng)的測量值[6],該值會(huì)被存儲(chǔ)在投影矩陣當(dāng)中,用于實(shí)現(xiàn)對(duì)圖像原信號(hào)的重建。因此,測量矩陣的建立對(duì)之后圖像重建的質(zhì)量會(huì)有非常直接的影響。

投影矩陣是圖像完整信息經(jīng)過采樣與壓縮后再投影到低緯度空間當(dāng)中的測量值所構(gòu)成的。測量值保存了圖像中的關(guān)鍵信息,在對(duì)圖像進(jìn)行重構(gòu)時(shí),測量值所表示的關(guān)鍵信息可以用于還原圖像的完整信息。由于壓縮后的測量值大小要小于圖像原信號(hào)的大小,用測量值來還原圖像的完整信號(hào)。針對(duì)圖像信號(hào)特性,需符合一定的約束條件,才能夠?qū)崿F(xiàn)圖像的重構(gòu)。這些約束條件包括零空間約束、等距性約束、最小線性相關(guān)列數(shù)約束等條件。其中零空間約束與最小線性相關(guān)列數(shù)約束條件在不考慮噪聲的前提下所構(gòu)造的觀測矩陣可以較好地滿足圖像重構(gòu)所需的關(guān)鍵信息提取。在含有噪聲的情況下,等距性約束條件下所構(gòu)建的觀測矩陣可以較好地實(shí)現(xiàn)圖像信號(hào)重建。

2.3 圖像信號(hào)的重構(gòu)算法

圖像重構(gòu)是指通過投影在低緯度空間的觀測值所構(gòu)成的觀測矩陣對(duì)圖像的完整信號(hào)進(jìn)行近似還原的過程。稀疏表示為圖像信號(hào)的還原提供了必要的先驗(yàn)條件,重構(gòu)信號(hào)的計(jì)算模型較為復(fù)雜,并以此為代價(jià)以達(dá)到高度還原圖像信號(hào)的目的。圖像信號(hào)的重構(gòu)以求解欠定方程式為算法的核心思路,構(gòu)建了貪婪算法模型。假設(shè)觀測矩陣所提供的某一測量值為A,通過對(duì)A的稀疏逼近和反復(fù)迭代獲取到最為匹配的原子K,可用公式2表示:

argminK0s.t.A=ΦK

s.t.

(2)

其中ε為信號(hào)的還原誤差值。式中以窮舉法列出所有的非零原子項(xiàng),對(duì)所有的非零原子項(xiàng)近似求解、逼近匹配。經(jīng)過多次迭代收斂,獲取到最為近似的原子項(xiàng)。

采用該算法模型,可以得到較好的圖像還原效果,與原圖像信號(hào)的近似度可達(dá)90%以上,但多次的迭代運(yùn)算會(huì)造成較大的時(shí)間開銷。為了減少運(yùn)算的迭代次數(shù),有效降低運(yùn)算開銷,在圖像信號(hào)的追蹤匹配過程中進(jìn)一步引入了回退篩選思路。在迭代篩選前先建立預(yù)選集合,經(jīng)過簡單的預(yù)篩選后再進(jìn)行迭代,如此便可縮小追蹤匹配的運(yùn)算范圍,從而減少迭代次數(shù),同時(shí)預(yù)篩選的算法設(shè)計(jì)應(yīng)兼顧到復(fù)雜度與有效性兩個(gè)方面的訴求,才能達(dá)到算法更加優(yōu)化的目的。

3 基于壓縮感知理論的數(shù)字檔案信息優(yōu)化存儲(chǔ)策略

壓縮感知理論目前已在多個(gè)領(lǐng)域得到了良好的應(yīng)用與拓展,尤其是在醫(yī)療成像和無線傳感的數(shù)模轉(zhuǎn)換領(lǐng)域中的應(yīng)用都可以很好地借鑒到數(shù)字檔案的圖像信息處理技術(shù)當(dāng)中。基于上述研究,對(duì)于壓縮感知理論在數(shù)字檔案信息的優(yōu)化存儲(chǔ)策略中的應(yīng)用,可以從數(shù)字信息的成像、重構(gòu)和壓縮三個(gè)方面進(jìn)行研究與實(shí)現(xiàn)。

3.1 數(shù)字檔案信息的成像

數(shù)字檔案信息的成像采用壓縮感知技術(shù)進(jìn)行存儲(chǔ)優(yōu)化,主要有串行與并行兩種方式。串行方式是采用單孔徑成像方式獲取圖像信息,并對(duì)圖像進(jìn)行分塊壓縮。完整圖像的稀釋表示與觀測矩陣的構(gòu)建是一個(gè)非常復(fù)雜的計(jì)算過程,一個(gè)高分辨率的圖像其原子項(xiàng)數(shù)量甚至可以達(dá)到106,這大大增加了檔案管理系統(tǒng)的存儲(chǔ)負(fù)擔(dān)。為了簡化這個(gè)計(jì)算過程,將圖像按照一定的分塊原則進(jìn)行劃分,將劃分后的圖像塊作為獨(dú)立的數(shù)據(jù)塊串行完成信號(hào)的零空間壓縮與傳輸,這可以有效減輕系統(tǒng)的存儲(chǔ)負(fù)擔(dān),以及后期圖像重構(gòu)過程的運(yùn)算負(fù)擔(dān)。

假設(shè)圖像R的分辨率為B×B,劃分為j個(gè)等大小的圖像塊X,每個(gè)圖像塊的大小均為K×K。那么圖像塊的觀測矩陣可以表示

ΦK=M×K2

(3)

第Xj塊圖像的觀測值為:

Aj=ΦKXj

(4)

在對(duì)圖像進(jìn)行相似還原時(shí),只需按圖像塊進(jìn)行重構(gòu),并按照原圖的分塊順序進(jìn)行排序即可。

并行方式采用多孔徑成像方式,在焦平面上陣列多個(gè)相同的原圖像,原圖像帶有多通道模式下,一次即可對(duì)多個(gè)相同原圖像實(shí)現(xiàn)分塊壓縮與傳輸。兩種方式中,前者適用于靜態(tài)圖像,后者適用于的動(dòng)態(tài)圖像,例如視頻類圖像信息。但不論哪種方式,對(duì)圖像進(jìn)行分塊時(shí)都可能產(chǎn)生分塊重疊效應(yīng)如圖2所示。

圖2 檔案照原圖與塊重疊效應(yīng)圖像對(duì)比

為避免圖像的分塊重疊效應(yīng),先在圖像塊與相鄰圖像塊之間劃分出一個(gè)可能重疊的區(qū)域,并隔離這段區(qū)域,對(duì)各個(gè)圖像塊完成壓縮感知處理后,再對(duì)公共重疊區(qū)域采用均值分配的方式進(jìn)行處理。

3.2 數(shù)字檔案信息的圖像重構(gòu)

鑒于檔案信息的特殊性,數(shù)字檔案中的信息內(nèi)容顯示要足夠清晰和準(zhǔn)確,以確保檔案信息的有效性。由于大量圖像類檔案信息在存儲(chǔ)過程中都會(huì)經(jīng)過壓縮處理,為了不影響后期對(duì)檔案信息的準(zhǔn)確查詢,圖像信息的高度還原也是檔案管理系統(tǒng)中非常重要的一個(gè)處理環(huán)節(jié),也就是圖像的重構(gòu)。

圖像重構(gòu)的過程是通過觀測值與感知矩陣反向求解稀釋值的過程,這種信號(hào)的恢復(fù)不是100%的完全還原,而是盡可能近似的還原。重構(gòu)模型的設(shè)計(jì)思路如圖3所示。

圖3 基于逆向觀測矩陣的圖像重構(gòu)實(shí)現(xiàn)過程

從圖中可以看出,相比傳統(tǒng)的圖像重建過程,壓縮感知圖像的重建過程包括一個(gè)逆向觀測的過程,在這一過程中通過已知的觀測值、感知矩陣、稀釋度等條件求解與原子索引集合中相近的原子值,最終獲取到重構(gòu)信號(hào)并輸出。這一觀測過程將經(jīng)過反復(fù)迭代,直到對(duì)原子索引集合當(dāng)中所有的原子項(xiàng)匹配完成。

采用壓縮感知技術(shù)實(shí)現(xiàn)圖像重構(gòu),通過較少的稀疏表示即可獲得較好的視覺呈現(xiàn)效果,但是對(duì)于輪廓邊緣的過渡處理效果較差,如何能夠在迭代次數(shù)沒有明顯增加的情況下進(jìn)一步改善圖像信息的邊緣去模糊效果還有待進(jìn)一步的研究和實(shí)踐。

3.3 數(shù)字檔案信息的壓縮

數(shù)字檔案信息在存儲(chǔ)時(shí)會(huì)涉及到大量的圖像類信息,這類信息往往會(huì)占用更多的存儲(chǔ)資源,為系統(tǒng)管理造成較大的負(fù)擔(dān),特別是高緯度空間圖像從采樣到傳輸和存儲(chǔ),都需要占用極高的帶寬資源與存儲(chǔ)空間,因此通常會(huì)采用壓縮的方式對(duì)這類信息進(jìn)行存儲(chǔ)優(yōu)化。同時(shí)在高光譜圖像信號(hào)壓縮中,壓縮感知技術(shù)對(duì)于噪聲和圖像信號(hào)部分缺失的信息壓縮具有非常高的效率,能夠有效避免采樣資源的浪費(fèi),因此更加適用于高維度空間的圖像信息壓縮。

傳統(tǒng)的圖像壓縮技術(shù)主要包括三種經(jīng)典的壓縮變換模式:小波變換、DCT變換和LBT變換。這三種變換模式對(duì)于圖像塊的重疊效應(yīng)處理效果較好,但不能充分利用原信號(hào)的采樣資源,壓縮效率較低。

基于壓縮感知理論的優(yōu)化存儲(chǔ)策略,以二階錐優(yōu)化算法為數(shù)學(xué)基礎(chǔ)構(gòu)建了一種針對(duì)高維空間圖像壓縮的高維線框壓縮模型。通過二階錐優(yōu)化算法對(duì)稀釋字典中的原子進(jìn)行均衡優(yōu)化組合,所構(gòu)成的原子項(xiàng)可具有明顯的稀釋特性。在此基礎(chǔ)上通過隨機(jī)矩陣對(duì)三維線框中用于表示圖形邊界與外部輪廓的深度軸投影在低緯度空間中,并對(duì)其二維結(jié)構(gòu)完成抽樣壓縮。該種方式對(duì)高緯度圖像的壓縮處理效率高、速度快,缺點(diǎn)是會(huì)造成一定程度的圖像失真,為避免過渡的失真,對(duì)于圖像邊緣輪廓的觀測矩陣設(shè)計(jì)還有待進(jìn)一步的優(yōu)化研究。

4 總結(jié)

隨著數(shù)字化檔案信息系統(tǒng)的廣泛應(yīng)用,很多檔案信息都需要通過數(shù)字采集的方式進(jìn)行存儲(chǔ)和管理,這對(duì)數(shù)字檔案信息管理系統(tǒng)的海量數(shù)據(jù)處理帶來了極大的存儲(chǔ)負(fù)擔(dān)。針對(duì)數(shù)字檔案信息服務(wù)發(fā)展的這一現(xiàn)狀,本文對(duì)最新的圖像處理技術(shù)——壓縮感知進(jìn)行了深入的研究與分析,包括壓縮感知理論的基本實(shí)現(xiàn)原理、數(shù)學(xué)模型的構(gòu)成、核心算法的運(yùn)算思路等,探討了壓縮感知理論在數(shù)字化檔案信息優(yōu)化存儲(chǔ)策略中應(yīng)用的可行性，并在數(shù)字檔案信息的成像、重構(gòu)、壓縮三個(gè)方面的優(yōu)化存儲(chǔ)策略中依次提出了基于壓縮感知理論的圖像分塊、重構(gòu)圖像的逆向觀測、二階錐優(yōu)化高維線框壓縮等優(yōu)化設(shè)計(jì)思路,為大型數(shù)字檔案系統(tǒng)的設(shè)計(jì)與升級(jí)提供了有益的理論參考。