基于測量基優(yōu)化的低采樣率單像素成像

趙梓棟，楊照華*，李高亮

（1. 北京航空航天大學(xué)儀器科學(xué)與光電工程學(xué)院，北京100191；2. 北京華航無線電測量研究所，北京100010）

1 引 言

二維圖像是如今應(yīng)用最為廣泛的光電信息之一。傳統(tǒng)成像基于陣列探測器的透鏡成像原理。作為傳統(tǒng)成像方式的一種替代，單像素成像在時序上記錄每個測量基掩膜基的光強信息，在陣列探測器昂貴的非可見波段和極弱光探測下相較傳統(tǒng)成像方式優(yōu)勢明顯。然而，單像素成像需要投射大量的散斑并記錄光強信息，這無疑會造成存儲空間及時間的浪費，從而限制單像素成像的實際應(yīng)用。在已有的研究中，成像效率的提升主要體現(xiàn)在優(yōu)化重構(gòu)方法和優(yōu)化采樣散斑上。

在優(yōu)化重構(gòu)算法方面，傳統(tǒng)的計算關(guān)聯(lián)成像使用關(guān)聯(lián)算法來重構(gòu)物體圖像，之后在此基礎(chǔ)上提出了差分鬼成像和歸一鬼成像算法。隨著壓縮感知理論的提出，研究人員發(fā)現(xiàn)壓縮感知的線性測量模型與計算關(guān)聯(lián)成像的測量過程相同，并在此基礎(chǔ)上提出了單像素相機［1］。壓縮感知利用自然物體在某些測量基下的稀疏特性，以計算資源的代價換取在極低采樣率下的成像，目前已經(jīng)在核磁共振、天文觀測及顯微成像中有著極為重要的應(yīng)用。然而，對于中等分辨率的圖像，傳統(tǒng)的壓縮感知在采樣率低于30%下很難獲取高質(zhì)量的重構(gòu)圖片。因此，人們將壓縮感知和深度學(xué)習(xí)相結(jié)合，但這種方法明顯的缺點就是需要大量的訓(xùn)練時間和數(shù)據(jù)集，因此很難實現(xiàn)應(yīng)用。

在優(yōu)化采樣散斑方面，傳統(tǒng)的計算關(guān)聯(lián)成像使用的是隨機散斑，這種散斑的非正交性導(dǎo)致對一張分辨率為N的物體成像時投射的掩膜矩陣數(shù)量需要遠高于N。為提升成像效率，主流算法使用的掩膜矩陣為正交測量基，如傅里葉測量矩陣或哈達瑪測量矩陣。其中，哈達瑪矩陣構(gòu)造簡單，易于二值化，是最常使用的掩膜測量矩陣。在欠采樣條件下，測量基的選擇對成像的結(jié)果有著顯著的影響。因此，國內(nèi)外先后提出了針對哈達瑪矩陣的俄羅斯套娃排序（Russian Doll，RD）［2］、切蛋糕排序（Cake Cutting，CC）［3］、進化壓縮感知（Evolutionary Compressed Sensing，ECS）［4］和小波系數(shù)排序等排序方法［5］。采用這些方法排序的哈達瑪矩陣相對于未排序的哈達瑪矩陣，作為調(diào)制的掩膜矩陣在提升成像效率和減少測量次數(shù)上的優(yōu)勢明顯。但這些排序方法都是固定準(zhǔn)則，在某些條件下成像效果可能較差。本文提出一種基于訓(xùn)練集數(shù)據(jù)統(tǒng)計的哈達瑪散斑排序方法，在計算重構(gòu)時使用快速沃爾什哈達瑪變換［6］來代替?zhèn)鹘y(tǒng)運算中矩陣的乘法運算，不僅可以加速訓(xùn)練和重構(gòu)過程，在分辨率較大時還可以大幅減少存儲資源。

2 理論和方法

2.1 單像素成像理論

單像素成像光路如圖1 所示，其中數(shù)字微鏡陣列（Digital Micro-mirror Device，DMD）為核心器件。激光發(fā)出的光經(jīng)過成像透鏡到DMD 上后打到成像物體上，反射或者投射的光被單光子探測器接收。DMD 上有數(shù)百萬個可控制±12°偏轉(zhuǎn)的微鏡，每個微鏡的偏轉(zhuǎn)方向由加載到DMD上的調(diào)制矩陣決定，如矩陣元“1”對應(yīng)+12°方向偏轉(zhuǎn)，矩陣元“-1”對應(yīng)-12°方向偏轉(zhuǎn)。在實際成像過程中，調(diào)制矩陣序列不斷刷新，對應(yīng)著光強信號不斷變化，將光信號轉(zhuǎn)化成的數(shù)字信號并和加載在DMD 上的調(diào)制矩陣序列經(jīng)過相關(guān)算法計算，即可恢復(fù)出重構(gòu)圖像的信息。

圖1 單像素成像光路Fig.1 Optical path of single pixel imaging

在實際成像過程中，單像素成像常常受制于實時性的要求，因此壓縮感知被引入到單像素成像的重構(gòu)算法當(dāng)中。單像素成像的數(shù)學(xué)模型如下：

式中：x為1×M維向量，表示待測物體的二維圖像，而加載到DMD 中調(diào)制矩陣序列中的每個調(diào)制矩陣可以變?yōu)?×N維的向量；M個調(diào)制矩陣序列構(gòu)成了一個已知的M×N的測量矩陣A；觀測值對應(yīng)M個調(diào)制矩陣為1×N維的向量y；e代表成像過程中的隨機噪聲。從公式（1）中可以看出，每一個桶探測器信號理論上是每個掩膜和目標(biāo)圖像做內(nèi)積得到的。圖像重構(gòu)過程可以通過凸優(yōu)化的相關(guān)算法來求解。

在評價重構(gòu)圖像的質(zhì)量時，本文采用兩項評價指標(biāo)：均方根誤差（Root Mean Squared Error，RMSE）和峰值信噪比（Peak Signal to Noise Ratio，PSNR）。PSNR 是一種全參考的圖像質(zhì)量評價標(biāo)準(zhǔn)，是最大信號功率和噪聲功率的比值，其計算公式為：

RMSE 計算的是被污染重構(gòu)圖像和原圖的均方根誤差，假設(shè)I是原圖，K是重構(gòu)圖片。RMSE 的計算公式如下：

其中N是圖像的像素數(shù)。在衡量重構(gòu)質(zhì)量時，PSNR 越大，RMSE 越小，重構(gòu)圖片的質(zhì)量越好。

單像素成像中使用的重構(gòu)算法主要有兩種［7-12］：第一種是Li 等于2010 年提出的基于增廣拉格朗日和交替方向的TV 最小化方案（TV minimization scheme based on Augmented Lagrangian and alternating direction algorithms，TVAL3）；第二種是Czajkowski 等在2018 年提出的傅里葉正則化方案（Fourier Domain Regularization，F(xiàn)DRI）。兩種算法對lena 圖片的重構(gòu)結(jié)果比較如表1 所示。

從表1 中可以看出，F(xiàn)DRI 算法的成像效果在采樣率低于15%的情況下和TVAL3 算法的重構(gòu)效果相當(dāng)。而由于FDRI 算法中并沒有迭代運算，其重構(gòu)時間小于TVAL3 算法，因此本文采用FDRI 算法作為重構(gòu)算法。

表1 TVAL3 和FDRI 算法重構(gòu)效果的比較Tab.1 Comparison of reconstruction results of TVAL3 and FDRI

2.2 數(shù)據(jù)驅(qū)動的矩陣排序方案

為減少單像素成像過程中所需投射的散斑數(shù)目和重構(gòu)時間，在壓縮感知重構(gòu)算法下如何利用圖像本身的稀疏性來構(gòu)造出一組測量基，使成像物體的重建效果和效率在相同采樣率下達到最優(yōu)是關(guān)鍵。在單像素成像中，最常使用的測量基為Hadamard 矩陣測量基，其各個元素二值和完備正交測量基的屬性使它成為研究的重點。哈達瑪測量基的排序方案主要有切蛋糕排序、俄羅斯套娃排序和小波系數(shù)排序等，其核心在于分析特定哈達瑪矩陣測量基的幾何拓撲結(jié)構(gòu)，然后人工給出確定的排序準(zhǔn)則。這些準(zhǔn)則固然能反應(yīng)哈達瑪矩陣的一些性質(zhì)，但人工確定的準(zhǔn)則存在一定的誤差，且在排序指標(biāo)相同的情況下無法進行排序。因此，本文提出一種數(shù)據(jù)驅(qū)動的哈達瑪測量基排序方案，用測量基中各個矩陣對整個數(shù)據(jù)集的采樣效果進行評價。

圖2 不同排序在不同采樣率下的成像效果Fig.2 Reconstructed images in different orders at different sampling rates

在單像素成像的欠采樣成像過程中，選擇不同部分的桶探測器值參與最后的重構(gòu)運算對成像效果的影響很大。如圖2 所示，在低采樣率下自然序和隨機序下圖像的重構(gòu)效果極差，而進化壓縮感知方法將桶探測器值的絕對值從大到小排序，使用前部分桶探測器值進行重構(gòu)，其效果明顯優(yōu)于另外兩種方法。由此可知Hadmard 矩陣排序的任務(wù)是：找到一個和Hadamard 矩陣自然序（或者Walsh 序）對應(yīng)的索引，按此索引排序的Hadamard 基在實際問題中對一張未知物體采樣后的結(jié)果可以產(chǎn)生相對較大的桶探測器值，生成質(zhì)量相對較高的重構(gòu)圖像。由于事先沒有圖像信息，無法知道哪些散斑對重構(gòu)最為重要，因此最基本的想法是對物體全采樣后的桶探測器的絕對值進行降序排序，排序后再使用前m張散斑參與重構(gòu)。這種方法被稱為進化壓縮感知，這種Hadamard 基的順序被稱為power 序。該方法雖然可以利用較少的測量結(jié)果取得質(zhì)量較高的重構(gòu)圖像，但實質(zhì)上仍然是全采樣，只是減少了重構(gòu)的運算量，并沒有減少測量時間和重構(gòu)時間。

在此排序方法的基礎(chǔ)上，本文提出了基于數(shù)據(jù)集學(xué)習(xí)的Hadamard 矩陣的排序方法。其基本步驟如下：在訓(xùn)練之前確定輸入圖片采樣率r和圖片大小p×p。訓(xùn)練過程中使用CIFAR-10 數(shù)據(jù)集包含的10 類，10 000 張32×32 分辨率的圖片。訓(xùn)練的具體步驟如下：對訓(xùn)練集合中的每張圖片轉(zhuǎn)成p×p像素的圖片。用自然序哈達瑪基對圖片進行全采樣，得到該圖片的桶探測器值序列bi，對bi每個元素的絕對值進行降序排序，排序后可得到降序的，同時可以獲得相對于各位置元素改變的序列Ii，該序列是{1，2，…，p2}序列的重新排列。對數(shù)據(jù)集的n張圖片進行上述操作得到序列Ii，Ii的含義是對第i張圖片散斑序列投射的先后順序。將每個Ii作為新矩陣Iset的每一行，構(gòu)成索引矩陣整體流程如圖3所示。

圖3 數(shù)據(jù)驅(qū)動獲取哈達瑪矩陣部分測量序列的流程Fig.3 Pipeline of training order of Hadamard matrix in data driven

3 結(jié)果與討論

為驗證本文提出的排序方法的有效性，本文進行了仿真實驗和實物實驗。在仿真實驗中，選用20 張測試圖片進行測試。對測試集里每張圖片進行1%～15%極低采樣率下的成像，圖像尺寸為128×128 像素。實驗中，比較的排序規(guī)則有4 種：（1）哈達瑪矩陣自然序（natural），即按哈達瑪矩陣原始構(gòu)造公式下的順序；（2）切蛋糕排序（CC），按哈達瑪矩陣各測量矩陣連通域個數(shù)從小到大進行排序的結(jié)果；（3）俄羅斯套娃排序（RD），將整個哈達瑪測量基分為4 部分，再將第一部分進行遞歸式的切分，每一部分再按一定規(guī)則進行排序；（4）數(shù)據(jù)驅(qū)動訓(xùn)練排序，即本文提出的排序方案。

圖4 不同順序及采樣率下重構(gòu)圖片的PSNR 和RMSEFig.4 RSNR and RMSE of different orders and sampling rates

仿真結(jié)果如圖4 所示，不進行排序的自然序下的哈達瑪矩陣的成像效果最差，使用壓縮感知相關(guān)算法仍無法實現(xiàn)極低采樣率下的單像素成像；而在1%～6%更低的采樣率下數(shù)據(jù)訓(xùn)練的效果會明顯優(yōu)于另兩種人工確定準(zhǔn)則的排序方法，在5%～15%的采樣率下和其他方法的重構(gòu)結(jié)果相當(dāng)。而考慮到訓(xùn)練的圖片集合和重構(gòu)圖片像素并不相同（訓(xùn)練中將訓(xùn)練集圖片放大到測試圖片的尺寸），且訓(xùn)練圖片和測試集圖片完全不相關(guān)，因此該結(jié)果仍有提升空間，證明數(shù)據(jù)驅(qū)動的哈達瑪矩陣排序方法在原理上優(yōu)于人工確定準(zhǔn)則的哈達瑪矩陣排序方法。

選用分辨率板作為成像物體，實驗成像效果如圖5 所示。在仿真實驗的基礎(chǔ)上還加了幾種排序方法：（1）哈達瑪隨機序（random）：將哈達瑪矩陣每一行隨機排列；（2）進化壓縮感知（ECS）：進行全采樣，將桶探測器值從大到小進行排序，再選取其部分參與重構(gòu)。

從重構(gòu)結(jié)果中可以看出，ECS 的成像效果最優(yōu)，這是由于它采用了全采樣和排序的結(jié)果；而自然序和隨機序完全無法滿足低采樣率下的成像要求，本文提出的數(shù)據(jù)驅(qū)動排序方法和CC 排序和RD 排序的成像效果相差無幾，在成像細節(jié)上效果更優(yōu)。

圖5 分辨率板在不同順序及采樣率下的成像效果Fig.5 Reconstructed images of USAF resolution test chart with different orders and sampling rates

4 結(jié) 論

為解決實時成像中極低采樣率下的單像素成像問題，本文提出了基于數(shù)據(jù)集訓(xùn)練的Hadmard 矩陣排序方法，并在理論、數(shù)值仿真以及實際成像實驗上進行了研究及驗證。結(jié)果表明：在1%～5%的采樣率條件下，數(shù)據(jù)驅(qū)動的哈達瑪矩陣排序方法相較目前常用的RD 排序和CC 排序成像效果更優(yōu)。本文在理論上說明了利用數(shù)據(jù)學(xué)習(xí)訓(xùn)練的方法可以在非全采樣條件下對實際成像物體產(chǎn)生較大桶探測器值序列，并提出了一種研究單像素成像中最優(yōu)測量基選取問題的新思路，在非人工確定排序的情況下確定欠采樣條件下的散斑序列，具有實際應(yīng)用價值。