基于壓縮感知的單像素成像技術研究進展

呂志強 陸 云,2 孔慶善 薛亞楠,2

1(中國科學院信息工程研究所 北京 100093)2 (中國科學院大學網絡空間安全學院 北京 100049)

(lvzhiqiang@iie.ac.cn)

隨著信息社會的發(fā)展和大數據時代的來臨，人們對信息的需求量越來越大，圖片信息量劇增，以傅里葉變換和奈奎斯特定律[1-2]為基礎的信號處理框架要求采樣的速度越來越快，保存的數據越來越多，這對傳感器和存儲器都提出了更高的要求.傳統的圖像采集技術如圖1所示，需要先用較高的頻率獲取圖像的像素值，每個像素采樣都需要一個傳感器，然后對數據進行壓縮變換，很多的數據又被拋棄，顯然這種圖像采樣模式浪費了大量的采樣資源.同時在一些光學領域，例如不可見光領域，傳感器不再是廉價的半導體硅，那么大量的傳感器將會導致設備的造價極為昂貴.

圖1 基于奈奎斯特采樣理論的信號處理框架

自2004年以來，文獻[3-8]提出了壓縮感知理論,該理論打破了奈奎斯特采樣定率，與傳統的“先采樣后壓縮”的方式不同，壓縮感知流程如圖2所示，采用“邊采樣邊壓縮”的方式進行，使得信號處理的壓力從傳感器轉移到數據處理上，也節(jié)省了大量的存儲資源.目前在壓縮感知的應用領域，最引人矚目的就是該理論用于圖像采集方面而研制的單像素成像系統[9]，與傳統的使用數百萬個像素傳感器的CCD或CMOS相機相比，該相機使用一個光子探測器對圖像進行少于像素點數的測量，進而恢復出原始圖像.在信息安全領域單像素成像技術展現了一種全新的數據保護方式,有效防范了數據在傳輸和存儲過程當中的信息泄露問題.

圖2 基于壓縮感知理論的信號處理框架

本文首先詳細介紹壓縮感知理論，繼而提出了單像素成像系統的組成原理、平臺搭建和衡量指標，然后分析了國內外在單像素成像方面的研究現狀，最后針對目前研究的不足提出了未來的發(fā)展和改進方向.

1 壓縮感知理論分析

壓縮感知是一種將“壓縮與采集”合二為一的數據采集方式，因此大大減少了數據采集量；同時“前端壓縮后端恢復”的特點也使其具有數據保護的優(yōu)點.壓縮感知理論的數學模型如圖3所示，如果一個長度為N的信號X在某組正交基或緊框架Ψ上的變換系數是稀疏的(即θ=ΨTX，圖中的向量θ是稀疏的)如果我們用一個與變換基Ψ不相關的觀測基Φ:M×N(M?N)對系數向量進行線性變換,并得到觀測向量Y:M×1，那么就可以利用優(yōu)化求解方法從觀測向量中精確或離概率地重構原始信號X[10].

圖3 壓縮感知理論的數學模型

由壓縮感知理論分析可知，基于壓縮感知理論進行信號處理的流程大致可以分為稀疏變換、利用觀測矩陣進行觀測測量和信號重構3部分.該方法從采集到的一小部分數據中高概率地恢復出原始信號，大大降低了對于信號采集設備的要求，減輕了信號存儲和傳輸的壓力.

1.1 信號的稀疏表示

(1)

其中X，θ是N×1的矩陣，Ψ是N×N矩陣，當信號X在某個基Ψ上僅有K個非零系數時(其中K?N)，稱X在Ψ上的系數向量θi是K稀疏的.目前信號的稀疏表示方法大致如下：一維信號通常采用傅里葉變換；圖像信號采用離散余弦變換、小波變換等；還有冗余字典下的稀疏分解等.

1.2 觀測矩陣的選擇

對于給定的觀測向量Y，若觀測矩陣Φ滿足有限等距性質(restricted isometry property，RIP)[11]理論,即滿足

(2)

其中δ表示大于0的常數，那么當觀測次數滿足M≥K×lg(NK)時，可以通過求解約束最優(yōu)化問題將N維信號穩(wěn)定地重構出來.由于約束等距性質是一個較強的條件，在實際使用中，只要保證觀測矩陣Φ和稀疏變換矩陣Ψ不相關即可[12].

1.3 圖像重構算法

信號重構就是從較少的M個采樣中恢復N維信號的過程，也是求解最優(yōu)化問題的過程：

min‖θ‖0s.t.Y=Φθ,

(3)

min‖θ‖1s.t.Y=Φθ.

(4)

圖4 單像素相機原理

基于上述問題，目前的信號重構算法大致可以分為4類：第1類是基于求解最小l0范數的貪婪算法，包括匹配追蹤算法(matching pursuit, MP)[13]、正交匹配追蹤算法(orthogonal matching pursuit, OMP)[14]、分段正交匹配追蹤算法(stagewise OMP, StOMP)[15]、正則化正交匹配追蹤算法(regularized OMP, ROMP)[16]等；第2類是基于求解最小l1范數的凸松弛算法，如基追蹤算法、梯度投影系數重建方法(gradient projection for sparse reconstruction, GPSR)[17]和迭代閾值法(iterative thresholding, IT)[18]等；第3類是統計優(yōu)化方法，該方法的思想類似于主成分或者獨立成分分析,利用典型信號的訓練集通過學習的方法找出最優(yōu)的線性投影集合，大致分為貝葉斯統計框架下的稀疏重建算法[19-21]和基于訓練集合學習的統計優(yōu)化方法[22]；第4類算法是組合算法，算法的本質思想是針對信號進行高度的結構化采樣,經由群測試來快速獲得信號支撐,主要包括稀疏傅里葉描述法[23]、鏈追蹤(chaining pursuit, CP)[24]以及HHSP(heavy hitters on steroids pursuit)追蹤[25-26]等.

1.4 小 結

總結以上壓縮感知的基礎理論，可以發(fā)現壓縮感知與傳統采樣信號的不同之處.

1) 傳統采樣理論考慮的是無限長度時間連續(xù)的信號，然而，壓縮感知測量的是有限維度信號；

2) 經典采樣會對信號在某個時間點上進行采樣，而壓縮感知通過內積的方式獲取測量，將高維信號投影到低維信號；

3) 2種框架在恢復信號時也不同：在經典采樣理論中，信號復原是通過插值的方式進行；在壓縮感知理論中，信號是通過非線性方法進行最優(yōu)化求解來復原；

4) 經典的采樣理論需要滿足一定采樣速率下完成精確重構，而壓縮感知理論是在滿足一定的觀測次數下能實現高概率重構.

2 單像素成像系統

壓縮感知理論提出之后，其應用研究也受到了廣大研究者的關注，下面本文將介紹壓縮感知在成像方面的一種應用——單像素成像系統.此部分主要介紹單像素成像的原理以及單像素成像系統的優(yōu)點與不足之處.

2.1 單像素成像系統原理

單像素成像系統是依據壓縮感知原理制成的，其原理圖如圖4所示[9]，其核心元件是具有向不同方向偏轉的空間光調制器數字微鏡陣列(DMD)，該微鏡陣列能變換出不同的圖像，每次的變換則表示觀測矩陣的1行.首先圖像通過透鏡恰好照滿微鏡陣列，微鏡的每一次變換相當于矩陣的每一行，將圖像與微鏡圖案的內積反射給單點傳感器，產生相加的效應，DMD翻轉M次即完成M次測量，將M次測量值通過數據采集到PC端進行圖像的恢復.

圖片信號為XN×1=(x1,x2,…,xn)T，觀測矩陣ΦM×N=[Φ1,Φ2,…,Φm]T,觀測值YM×1=ΦX=(y1,y2,…,yn)T，單像素成像技術的步驟如下：

首先圖像經過透鏡1恰好照滿DMD陣列，DMD尺寸為p×q，設N=p×q，此時DMD上的信號為原始信號XN×1=(x1,x2,…,xn)T.DMD上的反射鏡處于偽隨機狀態(tài)，構成了觀測矩陣ΦM×N的第1行Φ1(Φ1是一個1×N的行向量)，此時被反射回去的信號是X在Φ1反射下的值，也是X與Φ1的乘積值，反射信號在傳感器上重合，產生相加的效應，得到觀測值y1.DMD不斷改變狀態(tài)，共改變M次，構成了觀測矩陣Φ，即完成觀測矩陣的M次測量Y=ΦX.

2.2 單像素成像技術指標

單像素成像技術指標與普通數碼相機一樣，主要包括內存的大小(可供保存圖片數量的大小)、成像的精度、成像的速度、成像的頻譜范圍，以及由于其受到成像速度的影響是否可以完成視頻拍攝的功能.每個衡量指標的影響因素如表1所示：

表1 成像系統衡量指標的影響因素

在內存方面，由于單像素成像只是進行少于像素點數的觀測，因此其觀測次數受到觀測矩陣和重構算法的影響，但是相比于傳統相機，同等大小的照片所需的內存遠遠小于數碼相機需要的內存.

與傳統的數碼相機一經生產精度固定不同，單像素成像技術的成像精度是可調的.一方面成像精度受到觀測次數的影響，觀測次數越多，觀測精度越大；另一方面受到DMD的微鏡個數的影響，其最大分辨率是DMD的尺寸，通常使用的DMD的規(guī)格是1024×768，若要減小分辨率，只需要將若干個整個微鏡陣列分塊，使得1組微鏡陣列翻轉相同.

單像素成像系統的成像時間t由觀測時間和圖像恢復時間組成：

t=t觀測+t恢復，

(5)

(6)

其中n觀測表示觀測次數，f觀測表示觀測頻率，觀測頻率受到DMD硬件的限制，也受到數據傳輸速度的限制，由式(5)(6)，得

(7)

圖像恢復的時間是一個非線性函數，與恢復算法、數據量大小(觀測次數)有關，因此在圖像能夠重構而且在精度可接受的范圍內的前提下，選擇合適的恢復算法，減少觀測次數，提高觀測頻率，可以減少觀測時間，當成像速度能達到8 fs，就可以完成動畫的拍攝.

關于單像素成像的頻譜范圍是受到DMD的影響的，系統中DMD的頻譜感知范圍就是該系統的頻譜感知范圍.

2.3 單像素成像的優(yōu)勢與挑戰(zhàn)

單像素相機是一種依托于壓縮感知理論的產物.它是壓縮感知在壓縮成像方面的一大成功的應用，延續(xù)了壓縮感知在信號處理方面的優(yōu)點.

數碼相機利用電子傳感器把光學影像轉換成電子數據，傳感器主要利用電荷耦合器件(CCD)或互補金屬氧化物半導體(CMOS)，它在拍攝后能即時看到照片效果，也可以刪除不需要的照片，此種相機的拍攝質量取決于傳感器陣列感光元件的尺寸和像素的個數，而這些感光元件都是用半導體硅材料制成的，隨著工藝技術的不斷提高和硅材料成本的不斷下降，高像素的數碼相機已經走入千家萬戶，手機的照相功能也完全能夠應付日常的生活所需.但是在非可見光領域，硅材料無法感應，此時CCD或CMOS都無法作為傳感器，例如紅外光領域，其感光材料是銦鎵砷，是傳統硅材料成本的數十倍，如果依靠增加感光元件的尺寸和個數來提高相機的分辨率勢必會大大增加成本，因此如何在較少像素的基礎上獲得較高分辨率是值得探討的問題；同時數碼相機也存在傳統數據采集過程中對采集、存儲資源浪費的情況.總的來說，單像素成像有如下優(yōu)點：

1) 單像素成像技術是對場景進行少于像素點數次數的測量，大大減少了采集數據，降低了對相機內存的要求；

2) 單像素成像具有加密性，由于該技術具有前端采樣、終端重構的特點，重構需要測量矩陣，此時測量矩陣相當于密鑰，在不知道測量矩陣的情況下很難恢復圖像；

3) 我們在不同場景下或許對圖像的清晰度要求不同，數碼相機一經生產其分辨率已經固定，而單像素成像技術可以通過改變其觀測次數和觀測矩陣來改變獲得圖像的分辨率；

4) 在不可見光領域，單像素成像因為其只需要一個單點探測器，從而大大降低了相機的成本；同時不可見光領域的成像具有可見光領域無法達到的優(yōu)勢，例如紅外相機在光線不佳的情況甚至夜晚也能成像.

但目前單像素成像還只是利用在小部分圖像采集領域，并未走進千家萬戶，究其原因大概有以下幾個方面：

1) 家用(民用)的成本偏高.單像素成像的核心元件是可翻轉的微鏡陣列，而這種技術目前仍控制在少部分供應商手里，核心元件的成本偏高.

2) 設備的尺寸問題.目前單像素成像技術還在實驗室階段，設備的尺寸還沒有做到最大限度的集成.

3) 拍攝速度有待提高.拍攝速度影響了用戶體驗，而單像素成像技術的拍攝速度現在還未能達到數碼相機的拍攝速度，成像時間過長，視頻拍攝功能還未完善.

3 國內外研究現狀

國外在2006年提出了單像素成像的研究模型，國內的研究稍稍晚于國外，于2009年開始涉足該領域.本節(jié)主要分析單像素相機在10年以來國內外的研究現狀，在不同的研究方面(更寬光譜成像方面、彩色成像方面、應用方面)按照時間順序展開，以了解單像素相機的發(fā)展狀況和未來的研究趨勢.

2006年，美國Rice大學的研究人員依據壓縮傳感理論成功首次設計出了一款單像素成像系統[9]，如圖5所示.

圖5 第1個單像素成像系統

該系統中采用哈爾小波作為觀測矩陣，采用基追蹤恢復算法進行信號重構，能夠比較清晰地恢復出原始簡單圖像，經過單像素成像系統恢復出來的“R”字如圖6所示：

圖6 單像素成像系統拍攝的“R”字

此后國內外科研人員開始關注單像素相機的研究，在復現單像素相機的基礎上作了不同方向和程度上的改進.

在更寬光譜成像上，2008年，Chan，Charan，Takhar等人[27]提出了能夠在太赫茲波段成像的單像素成像系統(太赫茲波泛指頻率在0.1～10 THz波段內的頻率位于紅外和微波之間,具有空間分辨率很高、脈沖很短、時間分辨率很高、能量小、不會對物質產生破壞作用等獨特性能)，其裝置原理圖如圖7所示，克服了傳統太赫茲成像的速度慢、技術復雜、價格昂貴、體積龐大的缺點；該系統采用最小全變分的重建方法進行圖像的恢復，拍攝圖像的效果如圖8所示，圖8(a)(b)分別表示采樣率為30%和60%情況下(分別為300次觀測和600次觀測)的“光”字恢復圖像，該實驗中成像時間需要10 s左右.

圖7 太赫茲單像素成像系統

圖8 恢復后圖像

2009年，Fu等人[28]利用單像素成像技術生成紅外圖像獲得導彈制導的信息，該單像素紅外攝像能夠高分辨率實現多光譜成像、顯著地提高目標器的成像結果以及抗紅外偵探能力和降低背景光干涉等；2012年，McMackin等人[29]根據壓縮感知原理制成了具有百萬級像素的高精度的遠紅外單像素相機，該相機能夠達到0.3 fs的成像速度，但是該相機的圖像重構過程還得通過PC端進行處理，研究人員正在研究內置的數字處理軟硬件，這樣一個集成的單像素相機就指日可待了.

圖9 單像素彩色成像原理圖

在彩色成像上，2009年，Nagesh等人[30]提出將Bayer彩色濾波技術用于單像素相機以實現彩色成像，分別對彩色測試圖像的RGB 3個顏色通道進行重構，從而實現彩色圖像重構，這是單像素成像在彩色成像領域的一座豐碑，其原理圖如圖9所示.

文獻[30]僅提出了初步的設想和仿真驗證，但并未進行硬件平臺的搭建，因此彩色成像仍停留在理論階段.后來，2010年,Ward等人[31]將彩色圖像通道間的相關性融入到彩色圖像的重構中，重構質量有所提高.在國內，燕山大學練秋生等人[32]將壓縮編碼孔徑成像與彩色成像相結合，提出基于編碼孔徑的壓縮彩色成像技術，圍繞壓縮彩色成像系統、理論以及優(yōu)化恢復算法展開研究.在應用上，2011年，呂沛等人[33]提出了水下單像素成像系統，結合距離選通技術改善成像的質量.因為水下單像素成像系統是對系統隨機反射光線的總光強進行采樣，所以探測器探測獲得的能量較高，突破了由于吸收和微粒散射光源對成像距離的限制.2013年，Lawrie等人[34]提出基于單像素相機的實時量子成像,通過利用單像素成像技術獲得單空間模式與多空間模式的量子相關度，可以實現壓縮態(tài)光場對標準量子極限散粒噪聲極限的突破.這種設計可以應用于強度較低的光源環(huán)境中.2013年,Sun等人[35]提出用單像素探測器實現3D成像，其系統裝置原理圖如圖10所示：

圖10 3D單像素成像實驗裝置圖

其工作原理是當光線經過一個二進制散斑圖案照射到被拍攝的物體上，物體會反射光線，通過4個方向的單點傳感器接受反射回來的光線，對每一個傳感器觀測得到的數據進行重構，最后聯合生成三維圖像，成像效果如圖11所示，4幅圖分別表示4個方向上(上下左右)傳感器接受的數據所恢復出來的圖像.2016年，Sun等人[36]在3D成像的時間和精度上作出了改善.

圖11 3D單像素成像中不同方向上恢復的圖像

在單像素相機成像速度及精度的改善上，2012年，Sheng等人[37]在壓縮重構算法上提出了基于遺傳算法的一種圖像重構方式，通過多目標優(yōu)化的方式改善重構圖像的速度和精度;2013年，Herman等人[38]提出將鏡頭視角劃分為多個小區(qū)域，再對每個小區(qū)域同時進行采樣和重構，最后對其拼接成完整的圖像的設計想法，以此來減少單像素相機的成像時間(此時單點探測器將被光電二極管陣列取代)；2014年彭進業(yè)等人[39]提出了一種高速的單像素數據采集系統，以FPGA和FMC子板為基礎，性能可以達到分辨率為10 bit，采樣率達到5 GSs，實現了將DMD的采集時間降低到納秒級別的技術.

4 存在問題及發(fā)展趨勢

本文分析了單像素相機的國內外發(fā)展狀況，結合目前的應用前景，單像素相機還有不少需要解決的問題，主要集中在以下幾個方面：

1) 速度問題.目前單像素相機成像技術由于硬件翻轉速率以及軟件恢復算法的限制，還未能達到實時成像，距離實現視頻拍攝功能還有一段較長的路要走，這嚴重阻礙了單像素相機的實用化.

2) 精度問題.單像素成像技術在進行簡單場景的拍攝時圖像恢復效果較好，而在復雜實物圖像拍攝時效果不理想，這需要研究人員在拍攝過程中盡量排除外界光線的干擾，同時設計出具有魯棒性的圖像恢復算法.

3) 尺寸問題.單像素成像技術模型由于其需要在終端進行數據處理，目前的單像素成像技術模型是將數據采集到PC端去處理，想要制成一個集成便攜的單像素相機，就需要研究人員研制出尺寸小的數字處理芯片.

4) 成本問題.單像素成像技術因為其只需要一個單點傳感器可在成本上有巨大優(yōu)勢，但是因為目前數字微鏡陣列(DMD)的成本并不低廉，導致其在可見光成像領域并沒有太大優(yōu)勢.

根據以上分析可知，單像素成像技術在成像速度、成像精度、尺寸以及成本上仍然有著很多尚未解決的問題和很大的研究空間.這需要研究人員有強大的理論基礎，能夠在深入了解壓縮感知理論的前提下優(yōu)化單像素成像的恢復算法，以減少圖像恢復時間；同時還需要研究人員具備深厚的硬件基礎，能夠在搭建單像素成像硬件平臺的同時提出硬件方面的集成方法，以減少單像素成像系統的尺寸；在成本問題上，可以借助在不可見光領域的成像充分發(fā)揮單像素相機的成本優(yōu)勢，與數碼相機在成像領域發(fā)揮優(yōu)勢互補的作用.

5 結 語

壓縮感知理論是一種具有創(chuàng)新性的采樣理論，在信息時代的今天，具有廣闊的應用前景.單像素成像技術作為壓縮感知這樣一個具有發(fā)展前景的應用，需要多領域知識的融合進行研究和探索.本文介紹了基于壓縮感知的單像素成像技術原理，羅列了單像素相機自提出以來國內外的研究狀況并分析了現階段存在的問題，給出了單像素相機的未來研究方向和發(fā)展趨勢，希望對該領域感興趣的科研人員有所幫助.