基于CMOS圖像傳感器的壓縮感知成像算法

張淑芳，瞿廣財，徐江濤，李 凱

(天津大學電子信息工程學院，天津 300072)

壓縮感知(compressive sensing，CS)是近幾年提出的新研究領域，它以信號的稀疏表示和逼近理論為基礎，充分利用了信號結構的稀疏特性，通過低維空間、欠奈奎斯特采樣數據的非相關測量實現高維稀疏信號的感知[1-3]．它突破了奈奎斯特采樣定理的限制，將信號采樣和壓縮同時進行，使得低采樣高分辨率信號重構成為可能．壓縮傳感理論帶來了信號采集理論的變革，在壓縮成像、模擬信息轉換、醫(yī)學圖像處理、無線傳感網絡和生物傳感等領域具有廣闊的應用前景．

國內外學者對壓縮感知成像系統(tǒng)進行了大量研究．2006年Rice大學研制了一種單像素壓縮感知成像系統(tǒng)[4]，利用數字微鏡裝置(digital micromirror device，DMD)完成圖像在隨機二值模型上線性投影的光學計算．該系統(tǒng)為低像素相機拍攝高質量圖像提供了可能，但它需要時序上的多次測量才能采集到圖像重構所需的足夠數據，無法應用在實時場合．MIT的Fergus等[5]提出一種使用“隨機鏡頭”的相機，該相機將鏡頭用隨機反射鏡面替代，在使用前需對相機進行耗時且復雜的校準．Duke大學的 COMP-I小組提出采用多孔徑技術實現更薄的相機[6]，系統(tǒng)使用孔徑成像及金屬掩膜達到焦平面編碼的目的，最后運用重構算法得到重構圖像．該系統(tǒng)結構較為復雜，實現困難．2008年 Robucci等[7]提出了基于壓縮感知的CMOS圖像傳感器，在 A/D轉換之前應用壓縮感知理論對模擬信號進行壓縮計算，從而以較低的功耗獲得較高的圖像分辨率．它首先將圖像分成不重疊的塊，然后應用壓縮感知理論對每一圖像塊的模擬像素矩陣進行壓縮計算．該方法需要增加模擬寄存器來存儲隨機矩陣和其他的附加電路，實現復雜．2009年Jacques等[8]提出基于隨機卷積的CMOS壓縮成像方法，它通過控制移位寄存器來對光電轉換得到的模擬信號進行隨機卷積計算，從而實現對模擬信號的壓縮．該方法與 Robucci等提出的方法相比，具有實現電路簡單、抗噪性能良好和非線性等優(yōu)點，但它利用移位寄存器產生偽隨機碼，并在每一像素中放置一個一位的存儲單元，需要額外的工藝流程，并且需進行多次移位操作獲取測量值，降低了圖像獲取效率．

本文在上述研究的基礎上，提出了一種新的基于CMOS圖像傳感器的壓縮感知成像算法．該算法以壓縮感知理論為基礎，引入了并行處理的理念，對A/D轉換前的模擬像素矩陣以列為單位進行壓縮計算，可并行獲取多個測量值．該方法的實現電路簡單，并且運用并行處理的思想有效縮短了測量值的獲取時間，大大降低了CMOS圖像傳感器的功耗．

1 壓縮感知理論

如果信號在某變換域中大部分元素都為零，則信號在該變換域是稀疏的．一般來說時域內的自然信號都是非稀疏的，但在某些變換域中則可能是稀疏的．根據調和分析理論，一個長度為 N 的一維離散時間信號，是 RN空間N×1維的列向量，可以表示為

式中：Ψ為N×N維標準正交基；s是信號x在該正交基上展開的系數向量．iΨ為正交基Ψ中的列向量，維系數向量s中的元素，如果系數向量s中僅有K個元素不為零，信號x可用N個基向量中K個基向量的線性組合表示，則稱x是K階稀疏信號．

壓縮感知是建立在信號稀疏表示基礎上的信號采樣理論，可實現對稀疏信號的直接采樣．該理論指出，任意N維K階稀疏信號x的稀疏表示s可通過x在 RN空間的維隨機測量值y以很高的概率精確重建，隨機測量過程的數學表示為

式中：y為M維隨機測量值；Φ為M×N維隨機測量矩陣．當ΦΨ滿足約束等距特性(restricted isometry property，RIP)[9]時，通過求解 l1-范數約束最優(yōu)化問題，從欠定方程式(2)M 個測量數據中重構出信號 x的最優(yōu)稀疏解?s，即

文獻[9]從大量自然圖像的離散梯度都是稀疏的角度出發(fā)，提出了適合二維圖像壓縮重構的最小全變分法(total variation，TV)，其重構質量較好，但重構速度較慢，2009年Li[10]在此基礎上提出了基于最小全變分法的TVAL3算法，它將全變分法和增廣拉格朗日函數相結合來有效提高圖像重構的速度和質量.

壓縮感知由少量線性測量值通過求解最優(yōu)化問題直接得到信號的壓縮表示，降低了對傳感器件分辨率的要求，使得低采樣超高分辨率信號獲取成為可能.

2 基于壓縮感知的CMOS成像算法

2.1 傳統(tǒng)CMOS圖像傳感器信號采集和處理方法

目前常用的圖像傳感器分為 CCD和 CMOS兩種．盡管在相同像素下 CCD的成像通透性、明銳度都很好，但是 CCD制造工藝較復雜，功耗較高．CMOS圖像傳感器在標準 CMOS工藝制程下制造，可將讀出電路、模數轉換電路和圖像信號處理等全部集成到單芯片中，具有較高的集成度，其功耗和成本都得到了大幅度的下降．同時，CMOS 圖像傳感器通過采用影像光源自動增益補償技術、自動亮度控制、邊緣增強以及伽馬矯正等先進的影像控制技術，完全可以達到與 CCD圖像傳感器相媲美的效果，使得CMOS圖像傳感器的應用越來越廣泛．

CMOS圖像傳感器分為無源像素傳感器(PPS)和有源像素傳感器(APS)兩種．PPS的填充系數和量子效率都很高，但讀出噪聲和功耗較高．APS中每一像素內都有自己的放大器，在像素內引入緩沖器或放大器可以改善像素的性能，目前大量廣泛采用的是APS傳感器．傳統(tǒng)的 CMOS圖像傳感器信號采集處理流程如圖 1所示．對采集數據的壓縮是在 A/D轉換之后進行的，對于高分辨率高幀率圖像的獲取，需要高速率寬頻帶的 A/D轉換模塊，這不僅導致了功耗的提高并且會使制造成本增加；并且在壓縮編碼時僅對采樣數據變換(DCT或者小波)后少數絕對值較大的系數進行，而拋棄大量為零或者接近于零的系數，從而對采樣資源造成大量浪費．

圖1 傳統(tǒng)CMOS圖像傳感器信號采集處理流程Fig.1 Signal acquisition and processing flow of traditional CMOS image sensor

2.2 基于壓縮感知的CMOS成像算法

如果在 CMOS圖像傳感器中引入壓縮感知技術，在圖像光電轉換之后，直接對模擬信號進行壓縮感知采樣，將信號采集和壓縮并行進行，然后再對其進行A/D轉換，就可有效減少輸入A/D轉換模塊的數據量，提高 A/D轉換的速度，降低系統(tǒng)功耗．基于壓縮感知的 CMOS圖像傳感器信號采集處理流程如圖2所示．

圖2 基于壓縮感知的CMOS圖像傳感器信號采集處理流程Fig.2 Signal acquisition and processing flow of CMOS image sensor based on compressive sensing theory

文獻[7]和[8]基于上述思路提出了相應的實現方法，但文獻[7]的實現方法對電路改動較大，實現比較困難；文獻[8]對此進行了改進，通過采用隨機卷積來實現對模擬信號的壓縮感知，實現方法較前者容易，但移位寄存器的初始化過程比較耗時，因此獲取測量值的效率很低，功耗大且獲取時間長．

為了克服上述實現方法的缺點，本文采用了并行處理的理念，基于壓縮感知理論對 A/D轉換前的模擬像素矩陣以列為單位進行壓縮計算，可并行獲取多個測量值，大大縮短了測量值的獲取時間，降低了CMOS圖像傳感器的功耗．并且該方法的實現電路簡單，需要的附加電路較少，較容易實現．

2.2.1 壓縮采樣算法的實現

對于CMOS圖像傳感器A/D轉換前N×N的模擬像素矩陣，如果把該矩陣表示為長度為2N的一機測量矩陣，y表示 K( K ?N2)維測量值，一般在時可以較大的概率精確恢復原始圖像．

為了加快壓縮采樣速度，本文以列為單位對 N2個像素進行并行壓縮采樣，采樣時將每一列的 N個像素作為一個單位，對 N列進行并行處理，即對于每一個隨機向量，在壓縮采樣時 N列都同時乘以該隨機向量，一次就可得到 N個測量值，取 M 個隨機向量則可得到M×N個測量值．該過程可表示為

用矩陣的形式可表示為

式中：XN×N為 N×N 維的模擬像素矩陣；xi(i＝1，2，3，…，N)為X的 N 維列向量；YM×N為測量值矩陣；為Y的 M 維列向量；ΦM×N為隨機測量矩陣；jΦ(j＝1，2，3，…，M)為Φ的行向量．

從式(4)和式(5)可以看出，在進行壓縮采樣時，對于每一個隨機測量行向量jΦ，通過與X中每一個列向量xi相乘得到 N個測量值，將這些測量值進行A/D轉換得到最終的輸出值．對于M?N個隨機測量行向量，共可得到 M×N個測量值，這里取 M＝N/P，那么該方法重構圖像所需要的測量值的個數K＝M×N＝N2/P．但由于采用了并行計算的理念，在設計電路時，每一個jΦ與N個列向量xi相乘可并行進行，從而大大加快了計算速度．

2.2.2 電路實現

利用第2.2.1節(jié)中算法設計的基于列處理的壓縮感知成像電路結構示意圖如圖3所示．其中LFSR表示線性反饋移位寄存器，它可以由種子產生一個長度為M×N的偽隨機的0～1序列．單個像素結構如圖4所示[11]，采用了 5個晶體管來實現像素的光電轉換、存儲和行選擇，其中M1為復位晶體管，M2為傳輸晶體管，M3為放大晶體管，M4為輸出選擇晶體管，M5為全局復位晶體管．MPA作為模擬信號存儲節(jié)點，M4的控制信號SEL作為行選擇器的輸出控制信號，SEL為 1時表示該行像素被選擇，否則該行像素不被選擇．

圖3 壓縮感知成像電路結構示意Fig.3 Sketch of compressive sensing imaging circuitstructure

圖4 單個像素結構Fig.4 Single pixel structure diagram

圖 5為一個簡單的累加器實現電路，在 CMOS電路中模擬累加器可以通過開關電容積分器實現，此電路結構較為成熟，其中運放的信號建立精度和電容的匹配會直接影響積分器的線性度．

圖5 累加器實現電路Fig.5 Implementation circuit of the accumulator

不同于前面所提到的使用隨機卷積實現壓縮感知的 CMOS圖像傳感器，本文提出的結構不需要在每一像素的光電二極管附近放置一個 1,bit的存儲器，這不僅可以降低制造工藝的復雜度，減少工藝流程，并且該技術也是在A/D轉換之前應用壓縮感知，有效減少了需要傳輸的數據量，可以降低 A/D轉換模塊的帶寬，從而加快處理速度，降低功耗．

利用圖 3所示的電路結構獲取測量值的流程如圖6所示．其實現的步驟如下．

圖6 獲取測量值的流程Fig.6 Flow chart of acquiring measurements

步驟 1初始化．利用 LFSR，根據種子產生一個長度為M×N的偽隨機的0～1序列，令S＝1．

步驟 2取隨機向量．將產生的偽隨機序列壓入移位寄存器中，經過N個周期后在移位寄存器中產生一個長度為N的隨機向量．

步驟 3轉存．在控制信號作用下，將長度為N的序列轉存到行選擇器中．這個長度為N的序列即為 CMOS圖像傳感器的模擬像素矩陣每一列所要乘的隨機測量矩陣的行向量．

步驟 4并行壓縮感知．這里利用行選擇器來實現乘法器的功能，其中行選信號 SEL值為 1表示該行像素被選擇，值為 0表示該行像素不被選擇．在同一時間內各列并行運算，每一列中被選擇的模擬像素的電壓或電流值通過累加器進行相加得到一個觀測值，從而可并行獲取N列像素的N個測量值．

步驟 5輸出每一列的測量值．通過多路選擇器依次選擇各列，N列中各列的測量值經過模數轉換模塊A/D后依次輸出．并令S＝S＋1．

步驟6如果S≤M，取下一個隨機行向量，否則轉入步驟7．如果S≤M，轉入步驟2重新開始執(zhí)行，此時移位寄存器中的值已經移動了N位，在 LFSR產生的序列中取第 2個長度為N的隨機序列，并轉存到行選擇器中，獲取下一組測量值所需要的隨機向量．

步驟 7結束整個流程．依據上述步驟，經過M次循環(huán)后，獲得了最終的M×N個測量值．

本文設計的基于列處理的 CMOS圖像傳感器的壓縮感知成像電路結構，不僅具有采用壓縮感知成像系統(tǒng)的通用性、加密性、魯棒性和可伸縮性等特征，而且相比于采用隨機卷積的 CMOS成像系統(tǒng)，該結構可以縮短測量值的獲取時間，有效降低傳感器功耗，并且相比于其他采用壓縮感知的成像系統(tǒng)，結構簡單容易實現．

3 仿真結果與分析

進行稀疏重構．其重構圖像的 PSNR值分別為34.18,dB和 32.33,dB，其主觀效果如圖 8所示，其中圖8(a)為原始圖像，圖 8(b)和8(c)分別為文獻[8]所提算法和本文所提算法得到的重構圖像．從圖 8可以看出，兩種算法都能較好地恢復出原始圖像的基本信息，整體效果相差不大．但是本文所提方法應用并行壓縮采樣的思想，能有效縮短采樣值的獲取時間；

文獻[4-7]提出的壓縮成像系統(tǒng)在測量值獲取時間和系統(tǒng)結構上都存在一些不足，文獻[8]提出的基于隨機卷積的 CMOS壓縮成像方法在電路結構上較容易實現，但是在初始化時移位寄存器需要進行多次移位操作．本文所提算法采用并行化的思想進行電路實現，有效縮短了測量值的獲取時間，從而降低了系統(tǒng)功耗．圖 7為利用上述兩種方法分別對 CMOS圖像傳感器得到的N×N個模擬像素進行壓縮感知獲取測量值時所用成像周期的比較，其中T表示一個或者多個時鐘周期，M表示利用壓縮感知理論獲取測量值的個數(M＜N)．圖 7(a)為基于隨機卷積CMOS壓縮成像方法所用的成像周期，約為N2＋(N2＋1)N個T；圖 7(b)為本文所提并行壓縮感知算法的成像周期數，約為N＋(1＋N)M個T．從上述結果可以看出，本文所提算法能有效減少測量值的獲取時間，從而降低了功耗．

圖7 成像周期比較Fig.7 Comparison of image cycles

為了驗證重構圖像的主客觀質量，本文選用LENA 圖像作為測試圖像，并分別利用文獻[8]所提方法和本文所提并行算法對其進行50%的壓縮采樣，在獲取M個測量值后，利用目前重構質量較好的TVAL3算法進行原始圖像的重構．其中文獻[8]采用±1的 Rademacher偽隨機序列作為測量矩陣，以整幅圖像為單位進行原始圖像重構，本文選用 0～1的Bernoulli偽隨機序列作為測量矩陣，對圖像各列依次另外，在解碼端進行圖像重構時，文獻[8]所提算法需要等待所有的測量值獲取后才能進行，而本文所提并行算法只需要獲取一列測量數據就能進行重構，可有效減少內存空間，提高重構速度．

圖8 原圖像及重構圖像Fig.8 Original image and reconstructed images

4 結 語

本文以壓縮感知理論為基礎，提出了一種基于CMOS圖像傳感器的壓縮感知成像算法．該算法引入了并行處理的理念，對 A/D轉換前的模擬像素矩陣以列為單位進行壓縮計算，大大提高了采樣效率，降低了CMOS圖像傳感器的功耗．利用MATLAB語言進行仿真實現，結果表明該方法能快速有效地獲取測量值，且重構圖像質量較好．

［1］ Donoho D L. Compressed sensing[J].IEEE Transactions on Information Theory，2006，52(4)：1289-1306.

［2］ 石光明，劉丹華，高大化，等. 壓縮感知理論及其研究進展[J]. 電子學報，2009，37(5)：1070-1081.Shi Guangming，Liu Danhua，Gao Dahua，et al. Advances in theory and application of compressed sensing[J].Acta Electronica Sinica，2009，37(5)：1070-1081(in Chinese).

［3］ 李樹濤，魏 丹. 壓縮傳感綜述[J]. 自動化學報，2009，35(11)：1369-1377.Li Shutao，Wei Dan. A survey on compressive sensing[J].Acta Automatica Sinica，2009，35(11)：1369-1377(in Chinese).

［4］ Duarte M F，Davenport M A，Takbar D，et al. Singlepixel imaging via compressive sampling[J].IEEE SignalProcessing Magazine，2008，25(2)：83-91.

［5］ Fergus R，Torralba A，Freeman W T. Random Lens Imaging[R]. Cambridge，MA：MIT Computer Science and Artificial Intelligence Laboratory (MIT CSAIL)，2006.

［6］ Pitsianis N P，Brady D J，Portnoy A，et al. Compressive imaging sensors[C]//Proceedings of the SPIE，Intelligent Integrated Microsystems.Orlando，FL，2006：62320A-1-9.

［7］ Robucci R，Chiu L K，Gray J，et al. Compressive sensing on a CMOS separable transform image sensor[C]//Proceedings of the International Conference on Acoustics，Speech，and Signal Processing，ICASSP2008.Las Vegas，Nevada，2008：5125-5128.

［8］ Jacques L，Vandergheynst P，Bibet A，et al. CMOS compressed imaging by random convolution[C]//Proceedings of the2009IEEE International Conference on Acoustics，Speech and Signal Processing，ICASSP2009.Taipei，China，2009：2877-2880.

［9］ Candes E J，Romberg J K，Tao T. Stable signal recovery from incomplete and inaccurate measurements[J].Communications on Pure and Applied Mathematics，2006，59(8)：1207-1223.

［10］ Li Chengbo. An Efficient Algorithm for Total Variation Regularization with Applications to the Single Pixel Camera and Compressive Sensing[D]. Houston：Department of Computational and Applied Mathematics，Rice University，2009.

［11］ Li Binqiao，Sun Zhongyan，Xu Jiangtao. Wide dynamic range CMOS image sensor with in-pixel doubleexposure and synthesis[J].Journal of Semiconductors，2010，31(5)：0550021-0550025.