高空間分辨率關(guān)聯(lián)成像技術(shù)研究

李能菲,黃 見

(1安徽職業(yè)技術(shù)學(xué)院機電工程學(xué)院,安徽 合肥 230011;2中國科學(xué)院合肥物質(zhì)科學(xué)研究院安徽光學(xué)精密機械研究所,中國科學(xué)院大氣光學(xué)重點實驗室,安徽 合肥 230031;3先進激光技術(shù)安徽省實驗室,安徽 合肥 230031)

0 引言

關(guān)聯(lián)成像,或者稱之為單像素成像、鬼成像,是一種新型的計算成像技術(shù),其與傳統(tǒng)面陣成像最大的不同在于其成像器件為桶探測器或者單像素探測器(非面陣探測器),如光電倍增管(PMT)、雪崩二極管(APD)等,鑒于單像素探測器具有光譜選擇范圍大、量子效率高等優(yōu)勢,使得關(guān)聯(lián)成像技術(shù)在現(xiàn)有面陣探測器無法工作的波段具有潛在的成像優(yōu)勢,并成為前沿課題。

1995年,美國馬里蘭大學(xué)的科研人員首次基于糾纏光源方案實現(xiàn)了關(guān)聯(lián)成像實驗[1],因此,也有研究人員將關(guān)聯(lián)成像稱為量子成像,糾纏光源制備比較復(fù)雜,且對使用環(huán)境要求苛刻。而相對于糾纏光源,經(jīng)典光源易于產(chǎn)生且應(yīng)用廣泛,研究人員嘗試將經(jīng)典光源應(yīng)用于關(guān)聯(lián)成像。2002年,美國羅切斯特大學(xué)的研究人員成功實現(xiàn)了基于經(jīng)典光源的關(guān)聯(lián)成像實驗[2],研究證明經(jīng)典光源也可以實現(xiàn)關(guān)聯(lián)成像。傳統(tǒng)的關(guān)聯(lián)成像系統(tǒng)中,光源發(fā)出的光被分成兩束,一束稱為參考光路,一束稱為探測光路。其中,參考光路的光在傳播過程中不與成像物體接觸,直接被面陣探測器接收,獲取光強的分布;探測光路的激光與待成像的物體相互作用后被一桶探測器收集,獲得與成像物體關(guān)聯(lián)的信息。參考光路記錄的光強分布與探測光路記錄的信號經(jīng)關(guān)聯(lián)運算重建出目標(biāo)物體圖像。在此基礎(chǔ)上,進一步研究發(fā)現(xiàn)：使用空間光調(diào)制器產(chǎn)生光強空間分布預(yù)置的調(diào)制光源可以省略參考光路,進而簡化關(guān)聯(lián)成像系統(tǒng),推動了關(guān)聯(lián)成像技術(shù)進一步向?qū)嵱没较虬l(fā)展。目前,關(guān)聯(lián)成像技術(shù)在紅外氣體檢測[3]、太赫茲成像[4,5]、光譜成像[6,7]、目標(biāo)跟蹤[8?10]、三維成像[11?13]等領(lǐng)域都展現(xiàn)了其廣闊的應(yīng)用前景。

另一方面,關(guān)聯(lián)成像雖然具有眾多的優(yōu)勢,但在空間分辨率與成像效率方面,與傳統(tǒng)基于面陣探測器的成像技術(shù)相比仍有一定的差距。關(guān)聯(lián)成像的成像機制導(dǎo)致了其空間分辨率與成像效率相互制約,在不失真的前提下,空間分辨率越高,成像所需的調(diào)制散斑越多,造成采集時間過長,不利于實際應(yīng)用。因此,如何在低采樣數(shù)的情況下,在保持較高成像質(zhì)量的基礎(chǔ)上獲取更高的空間分辨率與幀頻成為關(guān)聯(lián)成像的研究熱點[14]。文獻[15,16]采用調(diào)制散斑編碼復(fù)用的方法實現(xiàn)了多光譜關(guān)聯(lián)成像,文獻[17]采用散斑編碼復(fù)用方法實現(xiàn)了同時對多個物體的成像與加密。本文將這種調(diào)制散斑編碼復(fù)用的技術(shù)應(yīng)用于高空間分辨率關(guān)聯(lián)成像,即將具有編碼信息的低空間分辨率散斑復(fù)用為高空間分辨率調(diào)制散斑,從而實現(xiàn)對高空間分辨率物體成像。

1 關(guān)聯(lián)成像簡介

常見的關(guān)聯(lián)成像系統(tǒng)有兩種基本結(jié)構(gòu),如圖1所示,系統(tǒng)主要由光源、空間光調(diào)制器、成像物體和單像素探測器等部分構(gòu)成。其中,圖1(a)為前向調(diào)制或者主動調(diào)制結(jié)構(gòu)的關(guān)聯(lián)成像,光源投影到空間光調(diào)制器上,空間光調(diào)制器對照明光進行調(diào)制,被調(diào)制后的結(jié)構(gòu)光與物體相互作用后,物體反射信號被單像素探測器收集;對于圖1(b),光源(可以是自然光)發(fā)出的光對成像物體進行照明,物體反射的信號被空間光調(diào)制器接收,此時空間光調(diào)制器對物體反射信號進行調(diào)制,調(diào)制后的物體信號被單像素探測器接收,這種結(jié)構(gòu)通常被稱為被動調(diào)制或后向調(diào)制結(jié)構(gòu)?？梢钥闯?主動調(diào)制是對光源發(fā)出的照明光進行調(diào)制,而被動調(diào)制是對物體信號進行調(diào)制,這是兩種結(jié)構(gòu)的最大不同。

圖1 關(guān)聯(lián)成像基本結(jié)構(gòu)示意圖。(a)主動調(diào)制;(b)被動調(diào)制Fig.1 Schematic diagram of basic structure of ghost imaging.(a)Active modulation;(b)Slave modulation

無論是主動調(diào)制還是被動調(diào)制結(jié)構(gòu),當(dāng)空間光調(diào)制器預(yù)置的調(diào)制信號為Si(x,y)時,單像素探測器接收的信號Ii可以表示為

式中f(x,y)表示待成像物體的圖像,可以表示為

式中L為調(diào)制次數(shù)。(2)式為關(guān)聯(lián)成像中常用的迭代復(fù)原算法,由(2)式可見,通常情況下,空間分辨率越高復(fù)原圖像所需的調(diào)制次數(shù)越多,相應(yīng)的采樣時間就越長。

2 基于低空間分辨率調(diào)制散斑的高空間分辨率關(guān)聯(lián)成像方法

一般情況下,在應(yīng)用關(guān)聯(lián)成像技術(shù)對空間分辨率為M×M的物體成像時,在不失真的前提下,至少需要M2個調(diào)制散斑,散斑數(shù)據(jù)量隨空間分辨率提高呈平方關(guān)系急劇增加。在此采用多個編碼的低空間分辨率調(diào)制散斑來實現(xiàn)M×M高空間分辨率的關(guān)聯(lián)成像,為便于表述,假設(shè)將M×M空間分辨率的物體圖像等分為4份,即P1:(1:N,1:N)、P2:(1:N,N+1:M)、P3:(N+1:M,1:M)和P4:(N+1:M,N+1:M),其中M=2N,通過獲取4個(1:N,1:N)低空間分辨率的物體圖像來重構(gòu)M×M高空間分辨率物體圖像。首先生成4個隨機分布的大小為N×N的掩膜矩陣,分別記為EA、EB、EC和ED,掩膜矩陣滿足

其中·表示點乘運算。從以上條件可以看出,4個掩膜矩陣為二值化正交矩陣,且在空間位置上不重合。計算機產(chǎn)生空間分辨率為N×N的二維調(diào)制散斑Si(x,y),調(diào)制散斑可以是隨機的,也可以是基于Hadamard基或者傅里葉基產(chǎn)生的正交散斑,進而可構(gòu)造出空間分辨率大小為N×N的4個調(diào)制散斑EA·Si(x,y)、EB·Si(x,y)、EC·Si(x,y)和ED·Si(x,y)。這4個調(diào)制散斑將分別對成像物體的P1、P2、P3和P4部分進行同時調(diào)制,單像素探測器接收成像物體的反射信號,表示為

式中:TA、TB、TC和TD分別對應(yīng)成像物體空間分辨率大小為N×N的4個子圖像。(5)式可簡化為

式中T表示空間分辨率為N×N成像物體的混疊圖像,可表示為

對于(6)式的求解,一般情況下,因散斑Si(x,y)模式不同,求解(6)式的方法也不同。如果Si(x,y)為隨機散斑,則一般通過壓縮感知算法對T進行求解;如果Si(x,y)為基于Hadamard基的正交散斑,則可以通過迭代運算對T進行求解;如果Si(x,y)為傅里葉基散斑,則可以通過逆傅里葉變換的方法對T進行求解。在獲取目標(biāo)物體N×N分辨率的混疊圖像T之后,根據(jù)掩膜矩陣EA、EB、EC和ED的正交性質(zhì),將掩膜矩陣分別與混疊圖像T做點乘運算,可以得出成像物體的4個子圖像fA、fB、fC和fD,即

得到的子圖像fA、fB、fC和fD可以認(rèn)為是TA、TB、TC和TD(待復(fù)原的全采樣子圖像)分別被掩膜矩陣EA、EB、EC和ED調(diào)制后的圖像,相對于TA、TB、TC和TD,這里將fA、fB、fC和fD稱為欠采樣圖像。這里應(yīng)用組稀疏壓縮感知圖像算法[18]對(8)式進行求解,重構(gòu)全采樣圖像TA、TB、TC和TD,即

式中:λ為規(guī)則化參數(shù),其根據(jù)欠采樣的子圖像質(zhì)量進行調(diào)整,DGA、DGB、DGC和DGD分別為自適應(yīng)學(xué)習(xí)得到的稀疏基,和為相應(yīng)的稀疏系數(shù),因此,全采樣子圖像分別通過和來重構(gòu),?表示稀疏基和稀疏系數(shù)相乘運算。通過對全采樣的低空間分辨率子圖像TA、TB、TC和TD進行拼接來獲得高空間分辨率成像物體圖像。

3 仿真研究

上節(jié)理論介紹了通過多個低空間分辨率調(diào)制散斑來實現(xiàn)高空間分辨率關(guān)聯(lián)成像的方法,本節(jié)將通過三個計算機仿真實驗來驗證此方法的有效性。仿真實驗一的成像對象為二值化的空間分辨率為256×512的物體,包含4個“HPST”字母,可以將其分成2個分辨率為256×256的子圖像,即P1:256×256的“HP”和P2:256×256的“ST”兩部分。仿真計算的流程如圖2所示:計算機生成65536個Hadamard基正交圖案,如圖2(a)所示;再同時構(gòu)造2個分辨率為256×256的掩膜矩陣EA和EB,分別如圖2(b)和2(c),且掩膜矩陣滿足第2節(jié)介紹的約束條件;Hadamard基圖案分別與掩膜矩陣點乘后生成2個256×256分辨率的調(diào)制散斑,如圖2(d)和2(e),其將同時對256×512分辨率的物體進行成像[圖2(f)];調(diào)制散斑對物體進行調(diào)制后,單像素探測器接收物體的信號并進行數(shù)字化,如圖2(g)。由Hadamard基正交圖案與探測信號經(jīng)迭代運算[(2)式]可獲得物體的混疊圖像,如圖2(h)?；殳B圖像與正交的掩膜矩陣進行點乘運算可分離出2個256×256分辨率的欠采樣物體圖像,如圖2(i)和2(j),最后通過組稀疏壓縮感知算法重構(gòu)物體全采樣圖像,進而復(fù)現(xiàn)物體256×512空間分辨率的圖像,如圖2(k)所示。

圖2 仿真計算流程圖。(a)Hadamard基圖案;(b),(c)掩膜矩陣;(d),(e)掩膜矩陣與Hadamard基圖案點乘后的散斑;(f)成像物體;(g)調(diào)制散斑與物體相互作用后的單像素探測器接收的信號;(h)物體的混疊圖像;(i),(j)欠采樣的低分辨率物體圖像;(k)重構(gòu)的高分辨率物體圖像Fig.2 Flow chart of simulation calculation.(a)Hadamard based patterns;(b),(c)Mask matrices;(d),(e)Results of dot product of mask matrix with Hadamard base pattern;(f)Imaging object;(g)The signal received by a single pixel detector from the modulated speckle interacting with the imaging object;(h)The mixed image of the imaging object;(i),(j)The undersampled low resolution images of the object;(k)The reconstructed high-resolution image of the imaging object

圖3為對空間分辨率為256×512的物體仿真成像的結(jié)果。復(fù)原時對探測的信號按照絕對值從大到小排序,選取前25%、50%、75%、100%探測信號(對應(yīng)散斑數(shù)分別為16384、32768、49152、65536)與其對應(yīng)的Hadamard基圖案進行計算。圖3(a)～(d)分別對應(yīng)25%、50%、75%和100%采樣下的復(fù)原結(jié)果。其中,圖3(a)中最左邊圖像為復(fù)原的分辨率為256×256的物體混疊圖像,其包含了成像物體的4個字母,但是無法區(qū)分開來,根據(jù)掩膜矩陣的正交性質(zhì),將掩膜矩陣與混疊圖像進行點乘運算可分離出2個分辨率為256×256的子圖像,如圖3(a)中間列的兩個圖像,再對其分別應(yīng)用組稀疏壓縮感知算法重構(gòu)全采樣物體子圖像,最后將其按照成像時調(diào)制散斑的排列方向進行拼接,從而復(fù)現(xiàn)成像物體高空間分辨率圖像,如圖3(a)最右列所示。

圖3 仿真一的結(jié)果。(a)～(d)分別對應(yīng)25%、50%、75%和100%采樣下的復(fù)原結(jié)果Fig.3 Results of the first simulation.(a)-(d)are the reconstructed results using 25%,50%,75%and 100%samples

為了定量評估所用方法重構(gòu)圖像的質(zhì)量,這里分別采用信噪比(SNR,RSN)[19]和均方根誤差(RMSE,ERMS)[20]來進行評估,可分別表示為

式中:N表示重構(gòu)圖像橫向和縱向上的像素數(shù);f(x,y)為空間位置(x,y)上的灰度值,f(x,y)max為圖像f(x,y)中所有灰度值的最大值;f0(x,y)表示仿真使用的原始圖像。RSN反應(yīng)了復(fù)原圖像的對比度,數(shù)值越大則表示圖像的對比度越高。ERMS反映了復(fù)原圖像與原始圖像之間的誤差,其值越小則復(fù)原圖像質(zhì)量越好,越接近原始圖像。對上述仿真實驗結(jié)果進行評價,計算的信噪比和均方根誤差如表1所示,可以看出隨著采樣次數(shù)的提高,信噪比逐漸增大,而均方根誤差逐漸降低,這種變化滿足傳統(tǒng)關(guān)聯(lián)成像的圖像復(fù)原規(guī)律。

表1 仿真一重構(gòu)圖像信噪比及均方根誤差與采樣數(shù)之間的關(guān)系Table 1 Relationship between the signal-to-noise ratio,root mean square error of reconstructed image with different measurements of the first simulation

下面開展對空間分辨率為512×512物體的仿真實驗,仿真物體包含8個“12345678”數(shù)字,分上下兩排,每排4個數(shù)字。采用所提出方法可以將其分成4個分辨率為256×256的子圖像進行處理,即P1:(1:256,1:256)、P2:(1:256,257:512)、P3:(257:512,1:256)和P4:(257:512,257:512)四個部分,計算的流程和仿真一相似。計算機生成Hadamard基正交圖案,同時構(gòu)造4個分辨率為256×256的掩膜矩陣EA、EB、EC和ED,其滿足第二節(jié)介紹的約束條件。掩膜矩陣分別與正交的Hadamard基圖案進行點乘運算后,同時對成像物體的四個部分進行調(diào)制,單像素探測器收集物體的信號并進行數(shù)字化、存儲。圖像重構(gòu)的方法與仿真一的處理方法相同,這里不再贅述。成像的結(jié)果如圖4所示,圖4(a)～(d)分別對應(yīng)25%、50%、75%(探測信號絕對值從大到小排序時的前16384、32768、49152個信號)和100%(全部信號)采樣下的復(fù)原結(jié)果。從結(jié)果上可以看出,通過4個256×256低空間分辨率散斑同時對512×512空間分辨率的物體進行調(diào)制,可以較好地實現(xiàn)高分辨率成像。表2給出了仿真二圖像重構(gòu)的信噪比與均方根誤差,相應(yīng)變化規(guī)律與仿真一的相同。

表2 仿真二重構(gòu)圖像信噪比及均方根誤差與采樣數(shù)之間的關(guān)系Table 2 Relationship between the signal-to-noise ratio,root mean square error of reconstructed image with different measurements of the second simulation

從圖3與圖4可以看出,通過多個低分辨率的調(diào)制散斑同時對高分辨率二值物體進行成像,可以獲得較好的成像結(jié)果。實際上,自然物體的圖像均是多灰度級的,因此評估所提出方法對灰度物體的成像效果更有意義。圖5給出了一組對512×512分辨率的灰度樓房仿真的結(jié)果,仿真使用的調(diào)制散斑、掩膜矩陣以及圖像的復(fù)原過程均與仿真二的均相同,這里不再贅述。圖5(a)～(d)分別對應(yīng)25%、50%、75%和100%采樣下的復(fù)原結(jié)果。可以看出,通過四個256×256低空間分辨率散斑同時對512×512分辨率的灰度物體圖像進行調(diào)制,也可以較好地實現(xiàn)高分辨率成像。表3給出了圖像重構(gòu)的信噪比與均方根誤差,相應(yīng)的變化規(guī)律與仿真實驗二的相同。不過,通過對比表2與表3可以發(fā)現(xiàn),在相同的采樣數(shù)下,所提方法對灰度物體成像的信噪比與均方根誤差較二值物體的差。

表3 仿真三重構(gòu)圖像信噪比及均方根誤差與采樣數(shù)之間的關(guān)系Table 3 Relationship between the signal-to-noise ratio,root mean square error of reconstructed image with different measurements of the third simulation

圖4 仿真二的結(jié)果。(a)～(d)分別對應(yīng)25%、50%、75%和100%采樣下的復(fù)原結(jié)果Fig.4 Results of the second simulation.(a)-(d)are the reconstructed results using 25%,50%,75%and 100%samples

圖5 仿真三的結(jié)果。(a)～(d)分別對應(yīng)25%、50%、75%和100%采樣下的復(fù)原結(jié)果Fig.5 Results of the third simulation.(a)-(d)are the reconstructed results using 25%,50%,75%and 100%samples

4 討論與結(jié)論

關(guān)聯(lián)成像機制決定了其成像空間分辨率與成像效率相互制約。通常情況下,橫向空間分辨率越高,成像所需的調(diào)制散斑越多,從而造成采集時間過長,不利于實際應(yīng)用。鑒于自然場景中圖像具有稀疏性的先驗知識,本文通過采用多個低空間分辨率的編碼散斑來實現(xiàn)對高空間分辨率物體成像。技術(shù)上,通過構(gòu)造多個低空間分辨率的掩膜矩陣與低空間分辨率的Hadamard基圖案復(fù)用來生成高空間分辨率調(diào)制散斑對物體進行調(diào)制,單像素探測器收集高空間分辨率物體被調(diào)制后的信息。圖像復(fù)原時,首先通過迭代算法復(fù)原出物體的混疊圖像,然后利用掩膜矩陣相互正交的性質(zhì),通過物體混疊圖像與掩膜矩陣點乘運算解調(diào)出相應(yīng)欠采樣的低分辨率圖像,然后對分離出的欠采樣圖像應(yīng)用組稀疏壓縮感知算法復(fù)原全采樣圖像,最后復(fù)現(xiàn)物體高空間分辨率圖像。計算機仿真驗證了此方法的有效性。所提方法在對物體進行高空間分辨率成像且對采樣時間要求比較苛刻的場合(X射線關(guān)聯(lián)成像)有著重要的應(yīng)用價值。

所提方法可以大幅降低調(diào)制散斑數(shù)量,進而減少在線采樣時間。如對空間分辨率為512×512的物體進行成像時,使用基于正交Hadamard基的調(diào)制散斑,100%采樣時需要散斑數(shù)量為262144(不考慮互補),在調(diào)制頻率為20 kHz時,僅采集時間需要約13 s,而采用所提方法在相同條件下對空間分辨率為512×512的物體進行成像時,如果使用4個低空間分辨率的256×256調(diào)制散斑來成像,采集時間約為3.3 s;如果使用8個低空間分辨率的128×128調(diào)制散斑來成像,采集時間約為0.8 s,可以看出所提方法可以大幅降低采樣時間。當(dāng)然,本方法雖然大幅降低了在線采樣時間,卻以犧牲離線圖像重構(gòu)復(fù)原時間為代價,后期擬采用如卷積神經(jīng)網(wǎng)絡(luò)等人工智能算法來代替壓縮感知算法,從而降低圖像復(fù)原時間。