圖像分塊壓縮感知中的自適應測量率設定方法

李然，干宗良，崔子冠，武明虎，朱秀昌

(南京郵電大學 江蘇省圖像處理與圖像通信重點實驗室，江蘇 南京 210003)

1 引言

傳統(tǒng)的圖像采樣以奈奎斯特(Nyquist)采樣定理為理論基礎，要求采樣速率至少為圖像帶寬的2倍。高采樣率不僅導致了圖像采集設備需要集成大量的傳感器，而且也使采集數(shù)據(jù)所占用的存儲空間較大，不得不引入一定計算量去壓縮圖像數(shù)據(jù)。高成本、高能耗和高計算復雜度使傳統(tǒng)圖像采集設備十分不適合應用到要求“輕負擔”采集點的場合，如計算能力、內(nèi)存容量和耗電量都受限的無線傳感器網(wǎng)絡終端。近年來，壓縮感知(CS,compressed sensing)的出現(xiàn)突破了奈奎斯特采樣定理的瓶頸[1,2]，使以欠奈奎斯特速率采樣信號仍可無失真復原信號?；贑S的圖像采集即壓縮成像(CI,compressive imaging)也隨之出現(xiàn)[3～5]，實現(xiàn)了在模擬域中采集圖像的同時以降維的方式直接壓縮圖像，大大降低了采集圖像成本，使之獲得廣泛關注。

圖像壓縮感知目前面臨著若干難題，主要包括計算負擔大的重構過程和高存儲量的隨機測量矩陣。然而，在圖像壓縮感知的應用場合中，解碼端經(jīng)常是計算能力強大的基站，這使高計算復雜度的重構算法仍可“輕松”完成。但是，由于圖像規(guī)模較大(成百上千萬像素)，造成隨機測量矩陣的存儲量龐大，這不僅給圖像重構帶來困難，而且也使CI設備實現(xiàn)隨機測量耗費的代價過大(高延遲、高成本等[6])。為了減少隨機測量的代價，文獻[7]提出了分塊壓縮感知(BCS,block CS)，該框架運用相同的測量矩陣對每一個圖像塊進行測量。由于分塊尺寸較小，存儲測量矩陣所需空間和計算復雜度均會大大較低，這使基于分塊的 CI設備更符合工程實際且易于實現(xiàn)。但是分塊方法也存在很大缺陷，主要是因為每個圖像塊具有相同的測量率，這樣就忽略了各個塊具有不同特征的實際，即獲得相同的復原質(zhì)量，細節(jié)復雜的塊需要做較多的測量，細節(jié)簡單的塊則需要做較少的測量。為了克服該缺陷，文獻[8～10]均提出利用圖像塊方差度量細節(jié)復雜度為各塊設定不同的測量率，從而有效地捕獲圖像信息，改善圖像重構質(zhì)量。但是，為了計算圖像塊方差，需要首先獲得原始數(shù)字圖像，這嚴重背離了CS采集的同時直接壓縮圖像的基本精神，且實際的 CI設備是直接采集模擬圖像，所以在采集點獲得原始數(shù)字圖像是不現(xiàn)實的。那么，利用在采集端可得的CS測量值自適應地調(diào)整各塊的測量率，才是一種更為現(xiàn)實的方案。

針對圖像分塊壓縮感知中自適應設定各塊測量率需要利用原始數(shù)字圖像的缺陷，提出了一種更符合于工程實際的自適應測量率設定方法。該方法直接利用采集端可得的測量值計算各圖像塊方差，再根據(jù)各塊方差自適應地調(diào)整測量率。為了滿足預設的圖像總測量率，也提出了動態(tài)設定塊測量率的方案。仿真實驗結(jié)果表明，本文所提出方法能夠有效地消除塊效應，改善了重構圖像質(zhì)量，且優(yōu)于使用固定測量率的方法。

2 圖像的自適應分塊壓縮感知

在分塊壓縮感知的基礎上，文獻[8]提出了自適應分塊壓縮感知(ABCS,adaptive block CS)框架。在該框架下，首先將N=Ic×Ir個像素的圖像x分成n個大小為B×B的塊，第i個塊的列向量形式記為xi(i=1,…,n,n=N/B2)，然后，根據(jù)塊方差為每塊確定不同的測量次數(shù)Mi，生成相應的隨機測量矩陣ΦBi，按式(1)得到每塊的測量值yi

且定義各塊的測量率Ri如下

由于具有高方差的圖像塊往往包含的邊緣或紋理成份較大，所以它們需要更多的測量值才能較好地復原，然而，低方差塊一般是具有簡單細節(jié)的平滑塊，則需要較少的測量值。通過自適應分配各塊測量次數(shù)，可平衡各塊的復原水平，從而有效地減少塊效應，改善圖像重構質(zhì)量。對于隨機測量矩陣 ΦBi，一般使用理論上最優(yōu)的高斯隨機矩陣[11]，但其并不易通過硬件實現(xiàn)。為了增加測量矩陣的硬件友好度，文獻[12]所提出的結(jié)構化隨機哈達瑪矩陣(SRHM,structural random Hadamard matrix)也可被引入到ABCS框架中。

3 所提出的自適應測量率設定方法

在ABCS框架中，為了計算圖像塊方差，采集端需要獲得原始數(shù)字圖像，也就是首先利用傳統(tǒng)的圖像采集設備將模擬圖像轉(zhuǎn)化為數(shù)字圖像；接著在像素域中計算各塊方差，并根據(jù)方差自適應確定測量次數(shù)和生成相應的測量矩陣；最后，對各塊進行隨機下采樣完成壓縮。這一過程實際上仍是先采集后壓縮，并未體現(xiàn)CS采集的同時壓縮的特點。另外，在實際的工程應用中，采集端由CI設備構成，其直接將模擬圖像通過隨機下采樣得到已壓縮的測量值，所以原始數(shù)字圖像在采集端被利用是不現(xiàn)實的。最現(xiàn)實的做法是僅利用測量值判斷圖像塊的細節(jié)復雜度以自適應地設定各塊的測量率。在本文中，利用隨機測量矩陣的統(tǒng)計特性，圖像塊方差的計算由像素域轉(zhuǎn)移到測量域中進行，如此就避免了在采集端對原始數(shù)字圖像的依賴，從而使自適應設定測量率更易于與CI設備融合。

3.1 測量域中圖像塊方差的計算

在像素域中，圖像塊 xi的樣本均值可由式(3)計算

那么，其樣本方差為

為了理論推導方便，隨機測量矩陣選用大小為Mi×B2高斯隨機矩陣ΦBi，其中，每個分量φmj均相互獨立地服從均值為0和方差為1/Mi的高斯分布，則測量值向量yi中的每個分量可表示為

即 yim由B2個高斯變量 φmj線性組合而成，可知其仍服從高斯分布，且均值和方差分別為

結(jié)合式(3)、式(4)和式(7)，可得

那么，將測量值向量yi看作是一個服從均值為0和方差為D(yim)高斯分布的總體，yim(m=1,…,Mi)看作是該總體的Mi個隨機樣本，則D(yim)的無偏估計量為yi的樣本方差，即

因此，由式(9)可得圖像塊xi的樣本方差估計為

由式(10)可看出，圖像塊的樣本方差可用其相應的測量值和均值估計。由于在實際的CI設備中，圖像塊樣本均值可當作是一個CS測量值，那么圖像塊樣本方差的計算就完全能在測量域中進行。當然，在測量域中估計得到的塊樣本方差與真實的樣本方差仍然存在一定偏差，所以塊樣本方差估計很有可能出現(xiàn)負值，為了防止負值的出現(xiàn)，式(10)改進為

因為需要根據(jù)圖像中所有塊方差的大小進行測量次數(shù)分配，所以為了能夠突出體現(xiàn)各塊方差大小，對估計得到的圖像塊方差進行規(guī)范化如下

圖1顯示了對于分塊尺寸 B=32的 512×512 Lenna圖像，當每塊測量次數(shù)分別取512、64和16時，測量域計算的各塊樣本方差估計值與像素域計算的塊樣本方差真實值之間的誤差能量。由圖1(a)可看出測量次數(shù)較高時，在測量域計算出的各塊樣本方差與真實值之間的誤差基本為0，但隨著測量次數(shù)降低，由于樣本數(shù)急劇減少，塊樣本方差估計值與真實值的誤差逐漸明顯。因此，為了確保樣本方差估計值的準確性，應盡量取較大的測量次數(shù)。

在上述推導過程中，采用了高斯隨機矩陣作為測量矩陣。然而，高斯隨機矩陣的各分量取值是連續(xù)的，并不易通過硬件實現(xiàn)。SRHM矩陣的各分量取值僅有2種可能：?1和+1，所以十分容易通過硬件實現(xiàn)，且其與高斯隨機矩陣相似，與任意固定矩陣都高度不相干，同樣可實現(xiàn)接近理論最優(yōu)的重構性能。那么，當測量矩陣使用SRHM矩陣時，式(10)是否仍可用于去估計圖像塊樣本方差。選取5幅512×512 圖像：Lenna、Barbara、Peppers、Mandrill和Goldhill，采用SRHM矩陣對它們所有的圖像塊(分塊尺寸分別為32×32和16×16)進行隨機測量，生成測量值的統(tǒng)計分布如圖2所示，可看出在不同測量率下，測量值的統(tǒng)計分布均以0為中心近似對稱，那么可知測量值的均值E(yim)近似為0。

圖1 測量矩陣為高斯隨機矩陣時，不同測量率下512×512 Lenna圖像(B=32)的各塊樣本方差估計值與真實值之間的誤差能量

圖2 圖像塊的測量值統(tǒng)計分布

雖然對于測量值的方差是未知的，但根據(jù)SRHM 矩陣的受限等距性(RIP,restricted isometry property)，測量向量yi的能量應與相應的圖像塊xi的能量近似相等，所以可建立式(15)。

這里，也將圖像塊各像素取值看作是隨機變量。同樣，分別使用樣本均值和樣本方差代替統(tǒng)計均值和統(tǒng)計方差，得

其中，c1和c2為常數(shù)。需要說明的是，c1和c2的引入是為了補償一定能量，由于隨機下采樣總是會損失能量，所以可通過設置系數(shù)適當?shù)胤糯竽芰?，使?16)兩端盡量保持相等。根據(jù)經(jīng)驗，當 c1取(B2?1)/Mi，c2取 B2/Mi時，可獲得較好的效果。通過式(9)，也可看出c1、c2取上述經(jīng)驗值時，塊樣本方差估計值仍可使用式(10)計算。對于分塊尺寸B=32的512×512 Lenna圖像，測量矩陣采用SRHM矩陣，使用式(10)在測量域估計塊樣本方差，當每塊測量次數(shù)分別取512、64和16時，計算各塊樣本方差估計值與真實值之間的誤差能量，如圖3所示?？煽闯觯c高斯隨機矩陣相似，當測量次數(shù)較高時，在測量域中計算的塊樣本方差估計值十分逼近于真實值，但隨著測量次數(shù)的降低，它們之間的誤差逐漸地增大。因此，SRHM矩陣也需要取較大的測量次數(shù)，才能確保樣本方差估計值的準確性。

圖3 測量矩陣為SRHM矩陣時，不同測量率下512×512 Lenna圖像(B=32)的各塊樣本方差估計值與真實值之間的誤差能量

綜上可知，無論使用高斯隨機矩陣，還是使用硬件友好度高的SRHM矩陣，均可使用式(10)在測量域中估計各圖像塊方差。那么，利用該結(jié)論就可直接在測量域中根據(jù)圖像塊方差自適應地為各塊設定適當?shù)臏y量率。

3.2 基于圖像塊方差的自適應測量率設定法

盡管圖像塊方差的計算可轉(zhuǎn)移到測量域進行，但如何利用方差為各塊合理地設定測量率，也十分重要。自適應設定測量率的方案不僅要能夠容易通過 CI設備實現(xiàn)，而且也要盡量克服低測量率方差估計值偏差大的缺陷。另外，考慮到傳輸信道容量和圖像統(tǒng)計特性變化問題，該方案也應該較容易實現(xiàn)碼率控制，即可提前預設圖像總測量率，使總測量率不隨圖像的變化而變。假設預設的圖像總測量率為R，可知總測量次數(shù)M=RN，為各塊自適應設定測量率的步驟如下。

步驟1 首先對各圖像塊xi作預測量，得到Mpi個預測量值，再利用它們根據(jù)式(10)估計出規(guī)范化的圖像塊樣本方差di。由于測量次數(shù)較低將導致估計出的塊樣本方差值與真實值之間的誤差較大，所以應取較大的預測量次數(shù)Mpi。

步驟2 預先給每塊分配測量次數(shù)M0i

步驟3 利用每塊的樣本方差占所有塊樣本方差總和的比例，根據(jù)式(18)計算出每塊的測量次數(shù)Mi

步驟4 設定塊的測量次數(shù)上界為upper=0.9B2，找出超出上界的塊，將其測量次數(shù)限定為upper，隨后將剩余的測量次數(shù)均勻地分配給未越界的塊，再次分配后可能又會出現(xiàn)越界的塊，那么重復上述操作，直到所有塊均不越界為止。如此就可得到最終的各塊測量次數(shù)Mi。

步驟5 根據(jù)為各塊重新分配的測量次數(shù)，在由步驟1已獲得的預測量值的基礎上，對需要補充測量的塊，利用 CI設備再次進行測量以滿足該塊所需的測量次數(shù)；對有過多測量的塊，則直接刪去多余的測量值。

通過上述過程后，各塊的測量值將會傳輸?shù)浇獯a端，再利用適當?shù)?CS重構算法對圖像各塊進行重構。另外，本文所提出的自適應測量率設定方案的計算復雜度為O(nMpiB2+ nB2+2n)，其與預測量次數(shù) Mpi成正比關系。為了保證樣本方差的準確性，Mpi的取值往往較大，所以，較傳統(tǒng)的圖像分塊壓縮感知模型，本文方案會增加一定的計算復雜度。

4 實驗結(jié)果與分析

為了測試本文所提出的自適應測量率設定方法，使用以下2種方法與之相比較：(1)各圖像塊均作固定測量率的CS測量(非自適應)[7]；(2)用像素域中計算各塊樣本方差的真實值代替測量域中計算的估計值，再按照本文方案的步驟2至步驟5自適應地為每塊設定測量率(像素域自適應)。重構時使用GPSR算法[13]獨立地重構出各圖像塊，稀疏基底使用Daubechies-4正交小波。采用3幅512×512 灰度圖像(Lenna、Barbara和 Mandrill)測試上述3種方案，分塊尺寸B=32，預設的圖像總測量率分別取0.1到0.5。由于測量矩陣具有隨機性，每種方案下重構圖像的PSNR值均取5次測試的平均值。

表1顯示了測量矩陣為高斯隨機矩陣，且預測量次數(shù)Mpi取512時，各方案下重構圖像的PSNR值對比。從表中可看出，與非自適應測量相比，自適應設定測量率可有效地改善重構圖像的客觀質(zhì)量。然而，像素域自適應方案獲得PSNR值的增益是略高于本文方案的，這是因為測量域估計的塊樣本方差與真實值存在一些偏差，對各塊測量次數(shù)的分配造成了影響。對于細節(jié)紋理較簡單的Lenna圖，無論在低測量率還是高測量率下，本文方案獲得的PSNR增益均在1 dB左右，這是因為預設的圖像總測量次數(shù)經(jīng)過自適應調(diào)整后，各塊的測量次數(shù)均能保證良好的重構質(zhì)量；對于細節(jié)紋理較復雜的Barbara、Mandrill圖，PSNR增益將隨著預設的總測量率升高而升高，這是因為圖像的紋理越復雜，為了保證良好的重構質(zhì)量，各塊需要的測量次數(shù)也越多，總測量次數(shù)過低，即便經(jīng)過自適應分配，部分塊仍然無法獲得充足的測量次數(shù)，從而導致PSNR增益不顯著，但隨著總測量次數(shù)的升高，各塊逐漸均能確保充足的測量，因此PSNR增益也逐漸升高。圖4也展示了在測量率為0.3時，各方案重構出Lenna圖像的主觀視覺質(zhì)量對比，可看出與非自適應方案比較，像素域自適應方案與本文方案均可有效緩解塊效應現(xiàn)象，對于紋理較復雜的塊(如眼睛區(qū)域)，也能很好地消除模糊，獲得了良好的主觀視覺質(zhì)量。

表1 測量矩陣為高斯隨機矩陣且預測量次數(shù)Mpi取512時，各方案下重構圖像的PSNR值/dB

圖4 512×512 Lenna圖，測量矩陣為高斯隨機矩陣，測量率為0.3，各方案重構圖像的主觀視覺質(zhì)量對比

表2 測量矩陣為SRHM矩陣且預測量次數(shù)Mpi取512時，各方案下重構圖像的PSNR值/dB

圖5 512×512 Lenna圖，測量矩陣為SRHM矩陣，測量率為0.3，各方案重構圖像的主觀視覺質(zhì)量對比

表2顯示了測量矩陣為SRHM矩陣，且預測量次數(shù)Mpi取512時，各方案下重構圖像的PSNR值對比。與測量矩陣為高斯隨機矩陣相似，自適應方案重構圖像的客觀質(zhì)量明顯高于非自適應方案。在2種自適應方案中，像素域自適應方案由于使用塊方差真實值，所以其性能是高于本文方案的。對于細節(jié)紋理簡單的Lenna圖，圖像預設的總測量次數(shù)不會對本文方案的PSNR增益造成影響，PSNR增益均在1 dB左右；對于細節(jié)紋理較復雜的Barbara、Mandrill圖，總測量次數(shù)過低將導致個別塊無法進行充分多的測量，影響了重構質(zhì)量，但隨著總測量次數(shù)的升高，該問題可得到有效緩解。由圖 5可看出，在測量率為0.3時，本文方案重構出的Lenna圖像的主觀視覺質(zhì)量良好，可有效緩解塊效應與模糊現(xiàn)象，十分接近于像素域自適應方案重構出的圖像。

圖6展示了當預測量次數(shù) Mpi降低時，對Lenna圖的重構質(zhì)量所造成的影響?？煽闯觯S著Mpi取值降低，不同測量率下的重構圖像PSNR值也不斷降低：當Mpi取512時，本文方案的PSNR值基本與像素域自適應方案持平，明顯優(yōu)于非自適應方案；當Mpi取64時，本文方案的PSNR值降低，在低測量率下，略高于非自適應方案，而在高測量率下，略低于非自適應方案；當 Mpi取16時，在不同測量率下，本文方案的PSNR值均劣于非自適應方案。導致這一現(xiàn)象的原因是預測量次數(shù)過低導致估計出的塊樣本方差值與真實值之間的誤差較大，從而使本文方案無法準確依靠塊樣本方差值自適應調(diào)整測量率。因此，為了能夠確保本文方案的有效性，預測量次數(shù) Mpi取值應充分大，以減少塊樣本方差估計值與真實值之間的誤差。

表3顯示了傳統(tǒng)圖像分塊CS模型(即非自適應方案)與本文方案測量512×512 Lenna圖所消耗的時間，其中預測量次數(shù) Mpi取 512。實驗的硬件平臺為主頻3.20GHz的酷睿i5 CPU計算機，軟件平臺為Windows764位操作系統(tǒng)和Matlab 7.6仿真實驗軟件?？煽闯?，本文方案的測量圖像所消耗的時間高于傳統(tǒng)分塊方案，這是因為預測量環(huán)節(jié)和自適應測量率分配過程引入一定的計算量。因此，可知重構圖像時所獲得的PSNR增益是以在采集端增加計算量為代價的。

圖6 512×512 Lenna圖，預測量次數(shù)Mpi分別取512、64、16時，不同測量率下本文方案重構圖像的PSNR值比較

表3 傳統(tǒng)圖像分塊CS模型與本文方案測量512×512 Lenna圖所消耗的時間/ms

5 結(jié)束語

針對已有的圖像分塊壓縮感知自適應設定測量率方法的缺陷，提出了一種僅利用CS測量值為各圖像塊自適應分配測量率的方案。該方案并不需要在采集端獲得原始數(shù)字圖像，而是在測量域直接計算塊樣本方差，再根據(jù)各塊樣本方差作為依據(jù)，為每塊設定合適的測量率。除此之外，該方案也易于采用硬件實現(xiàn)，且能夠靈活地控制其輸出碼率。仿真實驗結(jié)果表明，本文方案重構圖像的質(zhì)量優(yōu)于非自適應方案，但由于測量域計算塊樣本方案存在偏差，使其與直接利用塊樣本方差真實值的自適應方案相比，仍具有一定差距。

對于本文所提出的自適應測量率設定法仍有 2方面不足：1)本文重構圖像時所獲得的PSNR增益是以在采集端增加計算量為代價的，且測量圖像所消耗時間顯著高于傳統(tǒng)分塊方案，如何改進所提出方案以縮短測量時間值得進一步的研究；2)塊樣本方差估計值與真實值之間的誤差會隨預測量次數(shù)降低而增大，分析預測量次數(shù)與誤差之間的關系以適當?shù)卦O置預測量次數(shù)也值得進一步的研究。

[1]CANDES E,TAO T. Robust uncertainty principle: exact signal reconstruction from highly incomplete frequency information[J]. IEEE Trans Inform Theory,2006,52(2): 489-509.

[2]DONOHO D L. Compressed sensing[J]. IEEE Trans Inform Theory,2006,52(4): 1289-1306.

[3]DUARTE M F,DAVENPORT M A,TAKHAR D,et al. Single-pixel imaging via compressive sampling[J]. IEEE Signal Processing Magazine,2008,25(2): 83-91.

[4]JACQUES L,VANDERGHEYNST P,BIBET A,et al. CMOS compressed imaging by random convolution[A]. Proceedings of the International Conference on Acoustics,Speech and Signal Processing[C].Taipei,China,2009. 1113-1116.

[5]ROBUCCI R,GRAY J D,CHIU L K,et al. Compressive sensing on a CMOS separable-transform image sensor[J]. Proceedings of the IEEE,2010,98(6): 1089-1101.

[6]FOWLER J E,MUN S,ERIC W T. Block-based compressed sensing of images and video[J]. Foudations and Trends in Signal Processing,2012,4(4): 297-416.

[7]GAN L. Block compressed sensing of natural images[A]. Proceedings of the International Conference on Digital Signal Processing[C]. Cardiff,UK,2007. 403-406.

[8]WANG A,LIU L,ZENG B,et al. Progressive image coding based on an adaptive block compressed sensing[J]. IEICE Electronics Express,2011,8(8): 575-581.

[9]SHE Q S,LUO Z Z,ZHU Y P,et al. Spatially adaptive image reconstruction via compressive sensing[A]. Proceedings of the 7th Asian Control Conference[C]. Hong Kong,China,2011.1571-1575.

[10]SUN L Q,WEN X B,LEI M,et al. Signal reconstruction based on block compressed sensing[J]. Artificial Intelligence and Computational Intelligence,2011,7003(1): 312-319.

[11]CANDES E,WAKIN M. An introduction to compressive sampling[J].IEEE Signal Processing Magazine,2008,25(2):21-30.

[12]DO T,GAN L,NGUYEN N,et al. Fast and efficient compressivesensing using structurally random matrices[J]. IEEE Transactions on Signal Processing,2012,60(1):139-154.

[13]FIGUEIREDO M A T,NOWAK R D,WRIGHT S J. Gradient projection for sparse reconstruction: application to compressed sensing and other inverse problems[J]. IEEE Journal Selected Topics in Signal Processing,2007,1(4):586-597.