雙像素壓縮成像系統(tǒng)設計與實現(xiàn)

楊愛萍1，卜令勇1，郭巖松2，楊 揚3，侯正信1

(1. 天津大學電子信息工程學院，天津 300072；2. 清華大學微電子所，北京 100084；3. 展訊通信(天津)有限公司，天津 300457)

雙像素壓縮成像系統(tǒng)設計與實現(xiàn)

楊愛萍1，卜令勇1，郭巖松2，楊 揚3，侯正信1

(1. 天津大學電子信息工程學院，天津 300072；2. 清華大學微電子所，北京 100084；3. 展訊通信(天津)有限公司，天津 300457)

在深入研究單像素相機原理及結(jié)構(gòu)的基礎上，發(fā)現(xiàn)單像素相機存在固有的結(jié)構(gòu)缺陷，需要預先測量和補償操作，導致運算復雜、系統(tǒng)誤差增大等問題．針對這些問題，對單像素相機結(jié)構(gòu)進行改進，設計對稱信號通路收集數(shù)字微鏡器(DMD)陣列2個狀態(tài)的反射光，然后將2路測量結(jié)果相減直接得到測量值．該方案簡化了單像素相機的測量和計算過程，有效減少了系統(tǒng)誤差；更為重要的是，雙像素相機的測量矩陣相當于三值偽隨機測量矩陣，相對于單像素相機的二值偽隨機測量，可大大提高信號重建精度．基于雙像素壓縮成像系統(tǒng)方案，采用上海辛同公司開發(fā)的數(shù)字微鏡陣列，搭建了成像系統(tǒng)硬件平臺并進行測試，驗證了系統(tǒng)的有效性．

壓縮感知；單像素相機；雙像素壓縮成像

壓縮感知(compressed sensing，CS)理論[1-2]是當前國際信息處理領域的研究熱點，其理論研究在不斷完善，應用研究也逐漸深入到信息處理的各個方面．其中，壓縮成像是壓縮感知應用中最重要的研究內(nèi)容之一，但相對于壓縮感知理論研究進展，其硬件實現(xiàn)還處于起步階段，其中最成功的例子當屬美國Rice大學研制的單像素數(shù)碼相機[3-4]．圍繞單像素相機，2008年，Chan等[5]提出單像素太赫茲相機，克服了傳統(tǒng)太赫茲成像的不足；2009年，Ma[6-7]提出將單像素相機用于航天遙感，F(xiàn)u等[8]對單像素相機應用于導彈制導進行了研究，劉紅等[9]設計了一種基于數(shù)字微鏡陣列的單檢測器可壓縮成像系統(tǒng)；2011年，F(xiàn)ilipe等[10]對主動照明單像素相機進行了研究，呂沛等[11]基于 CS單像素相機，提出了一種水下成像方法；2012年，張琳昊等[12]利用單像素探測器和隨機掩膜板，提出了基于壓縮感知的單點太赫茲成像．

不難發(fā)現(xiàn)，以上研究及應用都是以單像素為基礎，對單像素相機結(jié)構(gòu)的改進研究卻很少．筆者在深入研究單像素相機原理及結(jié)構(gòu)的基礎上，發(fā)現(xiàn)單像素相機存在固有的結(jié)構(gòu)缺陷，從而導致運算復雜、系統(tǒng)誤差增大等問題．針對這些問題，筆者提出了更適于CS工作機理、成像效果更好的雙像素壓縮成像系統(tǒng)，搭建了成像系統(tǒng)硬件平臺并進行測試，驗證了本文系統(tǒng)的有效性．

1 壓縮感知理論

如果信號是 K-稀疏的，則可以選擇一個與基ΨN×N不相干的測量矩陣對信號x進行壓縮測量，即得到M個線性測量值yi( i=1,2,…,M)，其中M?N．這些少量的線性投影值包含了重構(gòu)信號x的重要信息．

對于給定的測量向量y，由 RIP理論[2]可知，只要Φ· Ψ滿足 RIP特性，則由Klg(N/ K)個測量值可將N維信號的K個最大值穩(wěn)定地重建出來，即通過求解l1范數(shù)約束最優(yōu)化問題

得到x的稀疏表示?θ．則進一步由變換基Ψ通過

精確重構(gòu)原始信號．

2 單像素相機

2.1 單像素相機原理和結(jié)構(gòu)

單像素相機利用單個光電探測器對信號進行多次非自適應線性全局采樣，最后通過求解如式(3)所示的最優(yōu)化問題，從獲得的少量采樣值中精確恢復原信號．單像素相機結(jié)構(gòu)如圖1所示．系統(tǒng)包括數(shù)字微鏡器(digital micromirror device，DMD)陣列、2個雙凸透鏡(lens)、1個單光子檢測器(photon detector，PD)以及模數(shù)轉(zhuǎn)換器(A/D)．DMD是一種反射性空間光調(diào)制器，包含一組靜電驅(qū)動的1024 768×的微鏡陣列，可以通過編程選擇性地改變部分微鏡陣列的偏轉(zhuǎn)方向，使其定位到 2個穩(wěn)定狀態(tài)(與水平方向成±12°)，從而選擇性地改變部分光束的方向．

圖1 單像素相機結(jié)構(gòu)Fig.1 Single-pixel camera structure

在單像素成像系統(tǒng)中，物體經(jīng)過一個雙凸透鏡的折射，在 DMD平面上形成預期圖像．將這幅圖像作為物體，通過第 2個透鏡聚焦在光電二極管上．落到DMD上的光沿著 2個方向(±12°)反射，12°狀態(tài)反射的光被收集起來，在光電二極管處相加產(chǎn)生用于生成系數(shù) ()y m的絕對電壓，光電二極管的輸出由運算放大器電路放大，并由模數(shù)轉(zhuǎn)換器數(shù)字化．

光電二極管的輸出電壓可以理解為圖像x與測量基向量Φm的內(nèi)積．特別地，令ρm代表第m個測量模式下微鏡的偏轉(zhuǎn)狀態(tài)，那么二極管電壓v可以寫成

式中η 為DC偏置．

每次測量實現(xiàn)微鏡的偽隨機 ±12°模式，相當于偽隨機0/1伯努利測量向量．

2.2 單像素相機缺陷

在壓縮感知中，觀測矩陣是雙極性的，因此正極性圖像的觀測值也是雙極性的，而成像系統(tǒng)DMD的發(fā)射光和光電轉(zhuǎn)換器的光輸入必須是正極性的，這就形成一個矛盾．為解決這個矛盾，單像素相機采用了一種可稱之為“偏置測量+計算矯正”的方案．

為了處理 DC偏置，首先將所有微鏡設置為-12°，得到一個測量值，然后將該值減掉，即

另一方面，還需要將正極性的y(m)轉(zhuǎn)變成雙極性的觀測值，即將所有微鏡取+12° 作為第 1個觀測矩陣，先測量得到y(tǒng)(1) ，然后執(zhí)行以下運算：

因此，單像素相機需要進行 2個預先測量：DC偏置測量和微鏡全反射測量．除了運算復雜之外，在測量和補償中會引入新的系統(tǒng)誤差，直接影響圖像的重構(gòu)質(zhì)量．

3 雙像素相機設計方案

針對單像素相機的缺點，提出新的雙像素成像方案，系統(tǒng)結(jié)構(gòu)如圖 2所示．雙像素相機微鏡陣列取相對于水平面 12°、0°和-12° 3個位置，分別對應于觀測矩陣的+1、0和-1這3種取值．12° 狀態(tài)和-12°狀態(tài)反射的光分別被2個光電二極管收集、光電轉(zhuǎn)換并A/D后相減，這樣可直接得到觀測值y(m)．因此，只要設計的2個信號通路對稱，通過相減可自然抵消DC偏置，而且得到的是雙極性觀測值，對噪聲具有更好的魯棒性．雙像素相機結(jié)構(gòu)簡化了單像素相機的測量和計算，避免了測量和補償誤差，提高了測量信號精度．同時，其通過單次檢測獲得 2路測量值，仍具有單檢測性．

圖2 雙像素相機結(jié)構(gòu)Fig.2 Proposed dual-pixel camera structure

更為重要的是，單像素相機采用二值偽隨機觀測矩陣，重建圖像質(zhì)量較差，突出表現(xiàn)是噪聲較大．提出的雙像素相機結(jié)構(gòu)相當于用三值偽隨機觀測矩陣代替二值偽隨機觀測矩陣．根據(jù)隨機信號理論，三值偽隨機序列在特性上比二值偽隨機序列更接近“高斯”，可取得更好的成像效果．

圖3為原始64 64ד津”字圖像，分別以 15%、30%采樣率進行壓縮采樣，利用最小變分法[13]實現(xiàn)重構(gòu)．圖 4(a)～(d)分別相當于收集微鏡 12° 和-12°狀態(tài)反射光作為測量值的重構(gòu)圖像，圖 4(e)、(f)為將兩方向采集到的數(shù)據(jù)相減作為觀測值的重構(gòu)圖像.表 1給出了不同采樣率下重構(gòu)圖像的峰值信噪比(peak signal to noise ratio，PSNR)值，由于采樣的隨機性，表1為5次獨立實驗的平均值．由表1及圖4結(jié)果可見，雙像素相機成像方案可顯著提高目標的成像質(zhì)量，且隨著采樣率升高，重構(gòu)圖像質(zhì)量得到顯著改善．

圖3 原始“津”字Fig.3 Original“Jin”word image

圖4 “津”字成像結(jié)果Fig.4 Reconstructed results of“Jin”word

表1 不同采樣率下PSNR比較Tab.1 PSNR under different sampling rates

4 雙像素壓縮成像系統(tǒng)硬件平臺搭建及測試

4.1 系統(tǒng)硬件組成

根據(jù)雙像素壓縮成像系統(tǒng)設計方案，搭建了硬件實驗平臺，如圖 5所示．DMD選擇了上海辛同公司開發(fā)的XD-D01系統(tǒng)，陣列大小為768×1,024(實際成像實驗時，用了768×768的陣列，將12×12的陣列看作一小塊，得到 64×64的圖像)；微鏡尺寸為13.68,μm×13.68,μm，適應的波段是 350～2,700,nm可見光，微鏡二進制翻轉(zhuǎn)頻率為全屏 160,Hz實時USB下載；光電二極管為TI公司的OPT101；單片機為宏晶科技生產(chǎn)的 STC90C52AD單片機；實驗光源為手電筒，成像物體為在硬紙板上挖出簡單圖案通過手電筒透光形成，如圖6所示．

圖5 本文硬件實驗平臺Fig.5 Experimental platform

圖6 實際成像物體及光源Fig.6 Imaging object and light source

4.2 系統(tǒng)平臺搭建

系統(tǒng)平臺搭建包括光路配置、數(shù)據(jù)采集、模數(shù)轉(zhuǎn)換器、減法器和圖像重構(gòu)．

4.2.1 光路配置

光路配置是搭建本系統(tǒng)的關(guān)鍵環(huán)節(jié)，需要先確定光源和 DMD的位置，然后調(diào)整入射透鏡、2個反射透鏡以及光電二極管的位置．本實驗中，光源處于與水平狀態(tài)微鏡平面垂直的 0°方向，且每個微鏡的偏轉(zhuǎn)以各自的某個對角線為軸，所以需要將該對角線調(diào)整到豎直方向，即傾斜放置DMD，如圖5所示．

首先，在 DMD不加電的情況下，用激光筆垂直照射DMD鏡片的中心位置，由于形成光斑的面積遠大于單個微鏡的面積，將有很多的亮點反射回來，其中最亮的中間亮點為直射光的反射光；調(diào)整激光筆的位置，使最亮點能反射回激光筆，則入射光垂直于DMD．

然后，給DMD加電，分別給DMD下載全0信號和全1信號，檢查DMD的偏轉(zhuǎn)是否到位．偏轉(zhuǎn)到位時，反射光將分別照射到 24°方向和-24°方向并在相應的方向上形成亮光斑，觀察反射光的偏轉(zhuǎn)方向和光斑的位置，即可確定 DMD是否偏轉(zhuǎn)到位．同時需要觀察 DMD鏡面上亮光斑和兩個方向反射回來的亮光斑是否在同一水平面上．

光源和DMD位置調(diào)整好后，使入射透鏡的位置在入射光線的光路上并且使成像物體在 DMD上形成清晰的像，反射透鏡分別在反射光線的光路上并且兩個反射透鏡距離DMD的距離相等，光電二極管處于反射透鏡的焦點處．

4.2.2 數(shù)據(jù)采集

與單像素相機不同，這里需要兩個光電二極管完成±12°兩個方向的數(shù)據(jù)采集．首先在計算機上產(chǎn)生0/1伯努利隨機數(shù)據(jù)，利用XD-01系統(tǒng)軟件進行數(shù)據(jù)轉(zhuǎn)換，新生成的數(shù)據(jù)可直接下載到 DMD上控制其偏轉(zhuǎn)．

4.2.3 模數(shù)轉(zhuǎn)換器和減法器

完成兩方向數(shù)據(jù)采集后，光電二極管將接收到的光信號轉(zhuǎn)換為電信號，由相連接的單片機進行模數(shù)轉(zhuǎn)換并完成相應的減法操作，相減后的測量數(shù)據(jù)經(jīng)串口傳回計算機．

4.2.4 圖像重構(gòu)

將計算機得到的測量數(shù)據(jù)，利用壓縮感知重構(gòu)算法重構(gòu)出目標圖像．到目前為止，出現(xiàn)了大量壓縮感知重構(gòu)算法，主要包括基追蹤算法[14]、貪婪算法[15]、迭代閾值算法[16]以及更適合二維圖像重構(gòu)的最小變分法[13]．本文采用最小變分法重構(gòu)圖像．

4.3 系統(tǒng)測試

系統(tǒng)成像測試在正常光照下進行．采用伯努利0/1隨機測量矩陣驅(qū)動DMD以相應的模式對光信號調(diào)制，后繼電路對調(diào)制后的光信號進行采集、轉(zhuǎn)換和減法運算．

將挖有“十”字圖案的紙板緊貼于手電筒出光處，透光圖案即為成像物體，如圖 6(a)所示．分別進行 614次、1,228次測量，即采樣率分別為 15%和30%．單獨接收微鏡 12°方向和-12°方向測量值，并傳回計算機進行重構(gòu)，64×64的重建圖像如圖 7(a)和(b)所示，即相當于單像素相機成像結(jié)果．另一方面，接收±12°兩方向測量相減后的結(jié)果，傳回計算機進行重構(gòu)，成像結(jié)果如圖 7(e)和(f)所示．需要說明的是，由于光源本身存在圓形暗區(qū)(如圖 6(b)所示)，成像物體在發(fā)光點周圍形成圓形暗區(qū)(見圖7)．

由實際系統(tǒng)的成像效果可以看出，雙像素成像系統(tǒng)對目標物體的成像質(zhì)量明顯優(yōu)于單像素相機，雙像素成像系統(tǒng)的重建圖像外圍噪聲明顯減少，成像物體的輪廓、細節(jié)更加清晰．雙像素壓縮成像系統(tǒng)有效克服了單像素相機存在的缺陷，更適于 CS工作機理．另外，可看出本實驗用的光源相對簡單，聚光性不好，通過透鏡在 DMD上聚集的光量較弱；同時光電二極管的靈敏度也有待提高，因此，系統(tǒng)的成像效果還有較大提升空間．

圖7 雙像素成像系統(tǒng)重建圖像Fig.7 Reconstructed images of dual-pixel imaging system

5 結(jié) 語

自 Rice大學成功研制單像素相機以來，國內(nèi)外學者基于“單像素”結(jié)構(gòu)，相繼提出了一系列壓縮成像方案及應用，而對單像素相機結(jié)構(gòu)改進的研究卻很少．本文在深入分析單像素成像系統(tǒng)局限性的基礎上，改進了單像素相機結(jié)構(gòu)，提出了雙像素成像系統(tǒng)設計方案，并基于XD-D01系統(tǒng)搭建了實際的雙像素成像系統(tǒng)硬件平臺．仿真實驗和實際系統(tǒng)測試結(jié)果表明，雙像素相機的成像質(zhì)量明顯優(yōu)于單像素相機，克服了單像素相機存在的缺陷，且保持了單像素相機的單檢測性、魯棒性、漸進性和可擴展性等優(yōu)點．

［1］ Donoho D L. Compressed sensing[J]. IEEE Transactions on Information Theory，2006，52(4)：1289-1306.

［2］ Candès E J，Romberg J，Tao T. Robust uncertainty principles：Exact signal reconstruction from highly incomplete frequency information[J]. IEEE Transactions on Information Theory，2006，52(2)：489-509.

［3］ Takhar D，Bansal V，Wakin M，et al. A compressed sensing camera：New theory and an implementation using digital micromirrors[C]//SPIE Electronic Imaging：Computational Imaging. San Jose，USA，2006.

［4］ Wakin M B，Laska J N，Duarte M F，et al. An architecture for compressive imaging[C]//Proceedings of IEEE International Conference on Image Processing. Atlanta，USA，2006：1273-1276.

［5］ Chan Wai Lam，Charan Kriti，Takhar Dharmpal，et al. A single-pixel terahertz imaging system based on compressed sensing[J]. Applied Physics Letters，2008，93(12)：121105.

［6］ Ma Jianwei. Single-pixel remote sensing[J]. IEEE Geoscience and Remote Sensing Letters，2009，6(2)：199-203.

［7］ Ma Jianwei. A single-pixel imaging system for remote sensing by two-step iterative curvelet thresholding[J]. IEEE Geoscience and Remote Sensing Letters，2009，6(4)：676-680.

［8］ Fu Wenxing，Zhu Supeng，Zhang Kai. Conceptual research on application of single pixel infrared imaging to missile guidance[C]// Asia-Pacific Conference on Information Processing. Xi’an，China，2009：185-188.

［9］ 劉 紅，李鵬飛，方 紅，等. 一種單檢測器可壓縮成像系統(tǒng)設計[J]. 計算機工程，2009，35(18)：278-279.

Liu Hong，Li Pengfei，F(xiàn)ang Hong，et al. Design of single detector compressed imaging system[J]. Computer Engineering，2009，35(18)：278-279(in Chinese).

［10］ Filipe M，F(xiàn)rancisco M A，Miguel V C，et al. Active illumination single-pixel camera based on compressive sensing[J]. Applied Optics，2011，50(4)：405-414.

［11］ 呂 沛，周仁魁，何俊華，等. 水下單像素成像系統(tǒng)研究[J]. 光電子?激光，2011，22(9)：1425-1430.

Lü Pei，Zhou Renkui，He Junhua，et al. Research on underwater single-pixel imaging system[J]. Journal of Optoelectronics·Laser，2011，22(9)：1425-1430(in Chinese).

［12］ 張琳昊，張亮亮，張存林. 基于壓縮傳感的單點太赫茲成像[J]. 首都師范大學學報：自然科學版，2012，33(6)：14-18.

Zhang Linhao，Zhang Liangliang，Zhang Cunlin. Single-pixel terahertz imaging via compressed sensing [J]. Journal of Capital Normal University：Natural Science Edition，2012，33(6)：14-18(in Chinese).

［13］ Candès E J，Romberg J K，Tao T. Stable signal recovery from incomplete and inaccurate measurements[J]. Communications on Pure and Applied Mathematics，2006，59(8)：1207-1223.

［14］ Chen S S，Donoho D L，Saunders M A. Atomic decomposition by basis pursuit [J]. SIAM Journal on Scientific Computing，2001，43(1)：129-159.

［15］ Mallat S G，Zhang Zhifeng. Matching pursuits with time frequency dictionaries [J]. IEEE Transactions on Signal Processing，1993，41(12)：3397-3415.

［16］ Fornasier M，Rauhut H. Iterative thresholding algorithms [J]. Appl Comput Harmon Anal，2008，25(2)：187-208.

(責任編輯：金順愛)

Design and Implementation of Dual-Pixel Compressed Imaging System

Yang Aiping1，Bu Lingyong1，Guo Yansong2，Yang Yang3，Hou Zhengxin1
(1. School of Electronic Information Engineering，Tianjin University，Tianjin 300072，China；2. Institute of Microelectronics，Tsinghua University，Beijing 100084，China；3. Spreadtrum(Tianjin)Communications Incorporated，Tianjin 300457，China)

In light of the thorough research on its principle and structure，it has been found that the single-pixel camera always needs beforehand measurements and compensated operations，leading to complex calculation and larger system error. To resolve the problems above and improve the performance of the single-pixel camera，the symmetrical signal pathway were designed to collect the reflecting light from the two states of digital micromirror device(DMD)array. Then one of the two measurement results subtracts the other to gain the final measurement value. The proposed design simplifies the measurement and calculation process of the single-pixel camera and reduces the system error effectively. More importantly，the measurement matrix of the proposed dual-pixel camera is equivalent to the ternary random matrix，which can considerably improve the reconstruction accuracy compared to the binary random matrix of the single-pixel compressed sensing. According to the scheme of the proposed dual-pixel compressed sensing，the hardware implementation platform was established using the DMD developed by the Xintong Company in Shanghai，and its effectiveness was verified by the imaging experiment.

compressed sensing；single pixel camera；dual-pixel compressed imaging

TP391；TN27

A

0493-2137(2014)12-1127-06

10.11784/tdxbz201305028

2013-05-13；

2013-08-18.

國家自然科學基金資助項目(61002027)．

楊愛萍（1976— ），女，博士，副教授.

楊愛萍，yangaiping@tju.edu.cn.

時間：2013-09-05. 網(wǎng)絡出版地址：http：//www.cnki.net/kcms/detail/12.1127.N.20130905.1416.001.html.