透過散射介質(zhì)對直線運動目標的全光成像及追蹤技術(shù)

賈輝 羅秀娟 張羽蘭富洋 劉輝 陳明徠

1)(中國科學院西安光學精密機械研究所,西安 710119)

2)(中國科學院大學,北京 100049)

(2018年5月14日收到;2018年9月12日收到修改稿)

1 引 言

散射介質(zhì)固有的非均勻性導致光透過介質(zhì)后形成一個復雜的散斑,影響了光學成像系統(tǒng)的成像分辨率和穿透深度.透過散射介質(zhì)的全光場成像受到越來越多研究人員的關(guān)注,其在生物醫(yī)學、安防和許多工程領(lǐng)域具有重要的應用價值.例如:對生物組織內(nèi)部病變細胞的醫(yī)學成像以及透過云、霧、霾、雨、雪、濃煙等散射介質(zhì)的成像或遙感測繪等.近年來,研究人員利用記憶效應[1?5]、相位共軛[6?8]、傳輸矩陣測量[9?12]等技術(shù)對透過散射介質(zhì)的成像進行了研究,取得了一些重大進展.然而,這些技術(shù)通常要求散射介質(zhì)和(或)目標處于靜止狀態(tài),輕微的運動就會使成像質(zhì)量嚴重退化.本文基于散射介質(zhì)的光學記憶效應理論[13]并結(jié)合散斑相關(guān)[1,14]的方法,采用散斑差值自相關(guān)實現(xiàn)了透過散射介質(zhì)對運動目標的高分辨率全光成像;提出了一種采用散斑差值自相關(guān)對運動目標進行實時追蹤的技術(shù),成像過程中使用贗熱光照明目標.近期,Cua等[15]實現(xiàn)了采用空間光調(diào)制器對明視場中的運動目標成像.本文在贗熱光的產(chǎn)生方式中,沒有使用價格昂貴的空間光調(diào)制器,而是使用旋轉(zhuǎn)硫酸紙改變激光的相關(guān)性,使用方便且節(jié)約了成本.此外,基于手機相機拍攝散斑圖的思路,為研發(fā)應用于低成本的便攜式設備提供了參考.

2 基本原理

2.1 散斑相關(guān)

光束透過散射介質(zhì),出射光斑形成一個無規(guī)則的散斑,當入射光束偏轉(zhuǎn)一個小角度δθ時,偏轉(zhuǎn)前后兩幅散斑的相關(guān)度[13,16]表示為

L是散射介質(zhì)的有效厚度,q=2πδθ/λ,λ為波長,δθ為光束入射角.根據(jù)散斑相關(guān)函數(shù)C(q,L):δθ在一定范圍內(nèi)時,即光束入射角在一定范圍內(nèi)時,C值接近1,也就是出射散斑場近乎相同,散斑只是發(fā)生了一定的平移,平移量和入射角度有關(guān),該現(xiàn)象稱之為光學記憶效應.

根據(jù)光學記憶效應理論,散射成像的過程是點擴散函數(shù)(系統(tǒng)的響應函數(shù))與物體的卷積過程.若目標被窄帶寬非相干光照明,構(gòu)成強度的線性平移不變系統(tǒng)[2],如圖1(a)所示,目標信息經(jīng)過散射介質(zhì)散射,根據(jù)光學系統(tǒng)的卷積定理,經(jīng)過散射介質(zhì)出射的散斑光強可表示為

其中,?代表卷積運算,S(x)代表系統(tǒng)的光強擴散函數(shù)(PSF),I(x)和O(x)分別代表探測到的散斑光強和目標強度,x代表目標所處的位置.圖1(b)為經(jīng)過散射介質(zhì)出射的散斑光強圖,由(2)式可知,該圖像為攜帶目標信息的散斑圖.做散斑光強的自相關(guān):

其中,?代表相關(guān)運算,S?S近似為窄脈沖[1,17].也即光強自相關(guān)近似為目標物體的自相關(guān)[I?I](θ)≈[O ? O](θ),如圖1(c)和圖1(d)所示.

圖1 透過散射介質(zhì)的散斑相關(guān)成像 (a)原理示意圖;(b)散斑光強圖;(c)散斑光強的自相關(guān)圖;(d)原始目標的自相關(guān)圖;(e)重建目標圖像Fig.1.Imaging through scattering layers by speckle correlations:(a)Diagram of the principle;(b)raw camera image;(c)the autocorrelation of the raw camera image;(d)the autocorrelation of the original object;(e)reconstructed object.

由自相關(guān)定理,函數(shù)的自相關(guān)與其能譜密度構(gòu)成傅里葉變換對:

其中FT{}代表傅里葉變換運算,由此得到目標傅里葉頻譜的振幅信息,由傅里葉光學理論可知,得到目標頻譜的相位信息,即可實現(xiàn)目標的高分辨重建.利用Fienup等[18,19]的相位恢復算法,做如下四步迭代:

迭代初始值g1(x,y)任意賦值,gk(x,y)為第k次迭代,FT?1{}代表傅里葉逆變換運算,第k+1次迭代由第k次迭代結(jié)果得到,在此過程中對目標圖像進行物理約束,可以使用約束條件“誤差減小法”和“混合輸入-輸出法”.“誤差減小法”的約束條件為

“混合輸入-輸出法”的約束條件為

2.2 散斑差值自相關(guān)

當隱藏在散射介質(zhì)后的目標在激光束橫截面內(nèi)運動時,光學系統(tǒng)仍舊是強度的線性系統(tǒng),但由于目標的運動,造成散斑顆粒的模糊,使得背景噪聲增大,從散斑背景中提取出目標的信息[15,20],根據(jù)光學系統(tǒng)的卷積定理,將(2)式改寫為

其中,B表示由于目標運動產(chǎn)生的散斑背景噪聲.目標移動?x距離,相機接收的散斑光強為

將兩幀散斑相減,從散斑差值中提取目標信息,

然后對散斑差值做自相關(guān):

當采集的兩幀散斑在一個記憶效應角范圍內(nèi)時,S(x)和S(x+?x)近似相同,統(tǒng)一表示為S,將(11)式改寫為

上式包含四項相關(guān),其中前兩項為目標自相關(guān),位于輸出平面中心,提取目標自相關(guān)信息,利用(4)式和Fienup相位恢復算法對目標進行重建.根據(jù)成像系統(tǒng)放大率β=u0/u=y0/y,其中,u0是相機到毛玻璃的距離,u是目標到毛玻璃的距離,y0為系統(tǒng)最終重建出的目標大小,y為目標實際大小.在該成像系統(tǒng)中,重建目標大小可表示為

其中,y0=N0×A,N0為重建出的目標所占的像素數(shù),A為像元尺寸.(12)式后兩項為目標移動前后的互相關(guān),其中心分別位于目標自相關(guān)左右兩側(cè)?x處,?x=?P×A,?P為自相關(guān)和互相關(guān)之間偏移的像素數(shù).同理,當目標運動時,在一個記憶效應角度范圍內(nèi),根據(jù)散斑差值自相關(guān)圖中偏移的像素值,可計算出目標實際移動的距離為

隨著目標的運動,互相關(guān)信息將出現(xiàn)在散斑差值自相關(guān)圖的不同位置,根據(jù)互相關(guān)的位置可對目標進行追蹤.

當目標運動范圍較廣,采集的兩幀散斑在一個記憶效應角度范圍外時,S(x)和S(x+?x)不具有相關(guān)性,S(x)?S(x+?x)形成了一個彌散斑,如(11)式所示,噪聲加在了兩側(cè)的互相關(guān)中,導致散斑差值自相關(guān)圖中背景項增大.但這并不影響目標運動范圍,不論目標在任何位置,(11)式中目標自相關(guān)信息不變,均可成像;對于目標追蹤,目標的運動方向和距離是相對的,只要采集的相鄰兩幀散斑在一個記憶效應角度范圍內(nèi),均可利用(12)式做出目標的散斑差值自相關(guān)圖,從而求出目標相對運動距離.總之,采集的相鄰兩幀散斑需在同一個記憶效應角內(nèi),只有這樣,才能保證運動距離的計算精確度.其中,探測器的視場角及探測器前的小孔限制了系統(tǒng)的視場角,因此限制了目標運動范圍,贗熱光源的大小同樣也限制目標運動范圍.

3 實驗驗證方法及結(jié)果

本文對隱藏在散射介質(zhì)后的目標進行了兩組成像實驗,來對比驗證采用散斑差值自相關(guān)的方法對運動目標的成像能力.并給出了目標運動距離的計算公式,實現(xiàn)對運動目標的實時跟蹤.實驗中采用波長532 nm的Nd:YAG固體激光器,擴束為直徑2.5 cm的光束照射旋轉(zhuǎn)硫酸紙產(chǎn)生贗熱光照明目標.實驗中對透射式目標進行成像,采用毛玻璃作為散射介質(zhì),并用手機相機(榮耀9)拍攝散斑圖.

3.1 靜止目標成像

第一組實驗是對隱藏在散射介質(zhì)后的靜止目標成像,實驗裝置如圖2所示.經(jīng)過擴束的激光光束照射旋轉(zhuǎn)硫酸紙產(chǎn)生贗熱光照明目標,與傳統(tǒng)使用旋轉(zhuǎn)毛玻璃產(chǎn)生贗熱光的原理相同,硫酸紙的顆粒度改變了激光的空間相干性,使其旋轉(zhuǎn)用來改變光源的時間相干性.目標到毛玻璃的距離u在35—60 cm范圍內(nèi).相機到散射介質(zhì)的距離u0在3 cm范圍內(nèi).小孔直徑1 mm,用來控制相機接收的散斑大小和系統(tǒng)成像分辨率.目前手機相機的像素達到千萬量級,同時像元尺寸小,此實驗只需采集一幀散斑就可成像.因此,在實驗中使用手機相機(榮耀9黑白相機,像元尺寸為1μm)拍攝散斑圖.

透過毛玻璃對三個不同目標成像,如圖3所示.目標“2”的大小為1.2 mm,目標“F”的大小為0.9 mm,目標“E”的大小為1.1 mm.圖3(a),(e),(i)所示為相機拍攝到的包含目標信息的原始散斑圖像,雖然對不同的目標散斑顆粒度有所不同,但都與原目標形狀沒有明顯的關(guān)系.對散斑圖做(3)式的自相關(guān)運算,近似得到目標的自相關(guān)(圖3(b),(f),(j)),然后利用窗口函數(shù)取散斑自相關(guān)的中心部分,采用HIO相位恢復算法[16]重建出目標圖像(圖3(c),(g),(k)).與原始目標圖像(圖3(d),(h),(l))對比,目標被有效地重建,驗證了該實驗方法的正確性,可在此基礎(chǔ)上進一步對運動目標進行成像實驗.

圖2 透過散射介質(zhì)對靜止目標成像 (a)實驗光路示意圖;(b)實驗裝置實物圖Fig.2.Imaging the static object through the scattering medium:(a)Schematic diagram of experimental setup;(b)physical diagram of experimental device.

圖3 透過毛玻璃對靜止目標成像結(jié)果 (a)相機接收的散斑圖;(b)散斑圖的自相關(guān);(c)重建出的目標圖像;(d)原始目標;(e)—(h)和(i)—(l)為對不同目標成像結(jié)果,與(a)—(d)一致(比例尺:11個像素)Fig.3.Experimental results of imaging the static object through the ground glass:(a)Raw camera image;(b)the autocorrelation of the raw camera image;(c)reconstructed image;(d)the original object;(e)–(h),(i)–(l)as in(a)–(d)for different objects(scale bars:11 camera pixels).

3.2 運動目標成像

第二組實驗是透過散射介質(zhì)對運動目標成像,我們采用的實驗裝置(圖4(a)和圖4(b))與圖2中的一致,同樣使用旋轉(zhuǎn)硫酸紙改變激光的相干性,轉(zhuǎn)速達到3000 r/min,以減弱背景噪聲不一致帶來的影響. 選用目標“5”和“2”,目標“5”的大小為1 mm,“2”的大小為1.2 mm.目標在激光束橫截面內(nèi)做水平勻速直線運動,利用軟件控制搭載目標的電動平移臺在導軌上的運動速度(MC600 motion controller).在目標運動過程中,采集兩幀散斑(圖4(c)和圖4(i)),對散斑做差值運算(圖4(d)和圖4(j)),然后對散斑差值做(12)式的自相關(guān)運算.圖4(e)和圖4(k)為包含目標運動信息的散斑差值自相關(guān)圖,圖中顯示三個目標的相關(guān)信息,中間的自相關(guān)對應于(12)式的前兩項,分布在兩邊的是目標移動前后的互相關(guān),對應于(12)式的后兩項.取圖4(e)和圖4(k)的中心自相關(guān),如圖4(f)和圖4(l)所示,利用相位恢復算法,對目標進行重建,如圖4(g)和圖4(m)所示.與原目標圖像對比,有效地重建出了運動目標圖像,說明采用散斑差值自相關(guān)的方法可以有效減弱運動帶來的背景噪聲影響,實現(xiàn)對運動目標的清晰成像.

在拍攝目標時,探測器和目標之間發(fā)生不同方向或者不同程度的相對運動,得到的圖像就會變得模糊,也就是產(chǎn)生了運動模糊.目標的運動造成了散斑顆粒的模糊,在本實驗的驗證方式中,保持相機不動,曝光時間為1/17 s,系統(tǒng)放大率約為0.0144,目標以一定的速度運動,并允許微小的模糊,理論上,當運動速度約大于2 mm/s時,將產(chǎn)生運動模糊.在實驗上,設置不同的運動速度,拍攝運動過程中的兩幀散斑圖,分別采用散斑差值自相關(guān)和散斑相關(guān)的方法對運動目標成像.如圖5所示,其中,圖5(a)—(f)速度為1 mm/s,圖5(g)—(l)為2 mm/s,圖5(m)—(r)為3 mm/s.采用散斑差值自相關(guān)的方法重建目標圖像,如圖5(d),(j),(p)所示,峰值信噪比分別為15.8478,15.3669,14.7859 dB;采用散斑相關(guān)的方法重建的目標圖像,如圖5(e),(k),(q)所示,峰值信噪比分別為15.9009,15.2670,14.6746 dB.兩種方法所得圖像質(zhì)量差別不大,但隨著運動速度的增大,采用散斑差值自相關(guān)的方法可以較為有效地消除噪聲的影響,獲得成像質(zhì)量較高的重建圖像.信噪比隨著目標運動速度的增大而減小,當目標運動速度為3 mm/s時,散斑差值自相關(guān)圖中背景噪聲隨之增大,使得散斑場開始解相關(guān)[21],如圖5(n)和圖5(o)所示,散斑差值自相關(guān)圖變得模糊,成像效果變差,運動模糊使得成像能力退化.

圖4 透過毛玻璃對運動目標成像 (a)實驗光路示意圖;(b)實驗裝置實物圖;(c)目標運動過程中采集的兩幀散斑圖;(d)兩幀散斑的差值圖;(e)散斑差值自相關(guān);(f)取(e)圖的中心部分;(g)重建出的運動目標圖像;(h)原始目標圖像;(i)—(n)與(c)—(h)一致,為對不同目標的成像(比例尺:15個像素)Fig.4.Imaging the moving object through the ground glass:(a)Schematic diagram of experimental setup;(b)physical diagram of experimental device;(c)captured two frame speckle patterns in the process of motion;(d)difference image;(e)autocorrelation of the difference image;(f)the central part of(e);(g)reconstructed moving object;(h)the original object;(i)–(n)as in(c)–(h)for a different object(scale bars:15 camera pixels).

圖5 對不同運動速度的目標成像 (a)目標運動速度1 mm/s,運動過程中采集的兩幀散斑圖;(b)散斑差值自相關(guān);(c)取(b)圖的中心部分;(d)重建出的運動目標圖像;(e)采用散斑相關(guān)的方法重建出的運動目標圖像;(f)原始目標圖像;(g)—(l)與(a)—(f)一致,速度為2 mm/s;(m)—(r)與(a)—(f)一致,速度為3 mm/s(比例尺:15個像素)Fig.5.Imaging the moving object with different speeds:(a)Captured two frame speckle patterns with the speed of 1 mm/s in the process of motion;(b)autocorrelation of the difference image;(c)the central part of(c);(d)reconstructed moving object;(e)reconstructed moving object with the method of speckle correlation;(f)the original object;(g)–(l)as in(a)–(f)with the speed of 2 mm/s;(m)–(r)as in(a)–(f)with the speed of 3 mm/s(scale bars:15 camera pixels).

3.3 目標運動距離計算及跟蹤

第三組實驗為透過散射介質(zhì)對目標運動距離進行測量,實驗裝置如圖4(b)所示,選用目標“5”作為測量對象,u=520 mm,u0=7.6 mm,N0=15,A=1μm,代入(13)式計算得到目標大小y=1.026 mm,目標實際大小為1 mm.實驗中,采用MC600運動控制器,設置目標運動速度1 mm/s.每移動1 mm,拍攝一幀散斑圖,如表1所列,目標實際總移動3 mm,通過(14)式計算得到目標移動距離?x′=3.010 mm.誤差的存在是由于距離測量和像素數(shù)所引起的.

表1 目標“5”的實際運動距離和實驗測量結(jié)果Table 1.Actual moving distance and experimental results with object “5”.

隨著目標的運動,每隔1 mm采集的散斑,分別與第一幀散斑做差值,然后做自相關(guān),在散斑差值自相關(guān)圖中,目標互相關(guān)出現(xiàn)在不同位置,位于圖中的兩側(cè),如圖6(a)—(c)所示,第一行為散斑差值自相關(guān)圖,第二行分別對應散斑差值自相關(guān)圖中心虛線處的強度分布.根據(jù)(14)式計算移動后的目標到初始位置的距離,可以對目標進行實時追蹤,追蹤精度滿足A/β,此實驗中追蹤精度可達到68.42μm,通過增大放大率的方法可以提高追蹤精度,但增大放大率將會增大散斑顆粒的模糊程度而使成像效果變差.自相關(guān)和互相關(guān)中心處光斑能量最高,可根據(jù)中心亮斑的強度定位目標位置,互相關(guān)的峰值強度比自相關(guān)低,這是因為自相關(guān)信息是兩部分的疊加,如(12)式所表示.另外,由于散斑采集間隔的影響,導致系統(tǒng)PSF的相關(guān)性降低及拍攝的散斑圖強度存在差別,用(12)式對散斑做差值自相關(guān),理論與實際存在差別,如圖6第二行所示,隨著目標運動距離的增加,兩幀散斑圖能量差別較大,背景噪聲隨之增大.當采集的兩幀散斑在一個記憶效應角范圍外時,將導致互相關(guān)能量較低、背景噪聲太大而檢測不到強度對比信息,因此,應保證采集的相鄰散斑在一個記憶效應角度范圍內(nèi).

4 討 論

圖6 對目標實時追蹤 (a)—(c)上圖為目標運動過程中自相關(guān)和互相關(guān)的位置關(guān)系圖;下圖分別對應上圖中心處的強度分布(比例尺:15個像素)Fig.6.Tracking the moving target in real-time:(a)–(c)First row:position relationship of the autocorrelation and cross-correlation;second row:intensity value of horizontal direction across the central point of the first row(scale bars:15 camera pixels).

根據(jù)(1)式的散斑相關(guān)度公式,基于光學記憶效應的散斑相關(guān)成像方法的光學記憶效應角滿足δθ<λ/(πL),角度范圍與散射介質(zhì)的有效厚度成反比,該方法適用于薄散射介質(zhì),通常有效厚度遠小于1 mm.目標大小需要在記憶效應角度范圍內(nèi),δl?uλ/(πL),當目標運動范圍超過一個記憶效應角度,拍攝的兩幀散斑相關(guān)度降低,導致散斑差值自相關(guān)圖中背景項增大.因此,在實驗中,采用散斑差值自相關(guān)對運動目標成像及追蹤,采集的相鄰兩幀散斑需保證在一個記憶效應角范圍內(nèi),以便獲得高相關(guān)度的散斑,保證計算出的運動距離更精確.其中,目標運動范圍受限于激光束的的擴束直徑及能量分布;另外,相機的視場角及相機前的小孔同樣限制了目標運動范圍.

對于目標運動速度,當相機像元尺寸(A)一定,目標運動速度(v)和曝光時間(?t)滿足v×?t×β 6 A時,沒有運動模糊產(chǎn)生,可清晰成像.在實驗上,可允許一定的運動模糊,采用手機相機拍攝散斑圖,系統(tǒng)自動匹配曝光時間(1/17 s),最大可對速度為7 mm/s的目標成像及追蹤.若要對更高速度的運動目標成像及追蹤,需采用高幀頻的相機拍攝散斑圖來減小曝光時間,以便應對速度在cm/s量級的運動目標;另外,若對散斑圖做去模糊處理,甚至可對m/s量級的運動目標成像及追蹤.

5 結(jié) 論

基于散斑差值自相關(guān)方法,本文提出了一種透過散射介質(zhì)對運動目標的全光成像及實時追蹤技術(shù),用實驗驗證了其可行性,并給出了目標運動距離的計算公式.實現(xiàn)中,可用低價勻光片代替昂貴的空間光調(diào)制器產(chǎn)生贗熱光,根據(jù)應用需求對透射和反射式目標進行成像及追蹤,目標大小應滿足條件對于不同尺寸的目標,需調(diào)整散射介質(zhì)到目標的距離u以獲得清晰的像.若距離太近,系統(tǒng)放大率增大,會造成散斑顆粒的模糊,導致信噪比降低,成像質(zhì)量變差.為避免圖像產(chǎn)生運動模糊,目標運動速度應滿足v×?t×β 6 A條件.采取高幀頻的相機拍攝散斑圖并對散斑圖進行去模糊處理,可實現(xiàn)對m/s量級的運動目標的成像及追蹤,目標追蹤精度滿足A/β.此外,激光束擴束直徑及能量分布、相機的視場角等因素會限制目標運動范圍,設計成像系統(tǒng)時應加以考慮.影響成像質(zhì)量的因素有相機分辨率、系統(tǒng)放大率、散射介質(zhì)的有效厚度和圖像重構(gòu)算法等.相機處的每個散斑顆粒都應滿足奈奎斯特抽樣定理,同時還應采用高分辨相機,使在每個圖像中俘獲的散斑顆粒的數(shù)量最大化以便減小背景噪聲;為獲得高保真度的目標圖像,除了文中提及的Fienup基本相位恢復算法外,還可采用基于雙譜計算的散斑重建[5]等方法,來提高算法的魯棒性,得到更穩(wěn)定的圖像.如何對任意軌跡目標成像并提高成像質(zhì)量,將成為下一步的研究重點.

本文探討的透過散射介質(zhì)對直線運動目標全光成像及追蹤技術(shù),在視網(wǎng)膜白內(nèi)障診斷、在稀疏變薄的顱骨下可視化腦組織等生物醫(yī)學診療等領(lǐng)域具有廣闊應用前景.