太赫茲光場數(shù)據(jù)采集與數(shù)字重聚焦實驗研究

楊墨軒，趙源萌，左 劍，呂南方，張存林

太赫茲光場數(shù)據(jù)采集與數(shù)字重聚焦實驗研究

楊墨軒，趙源萌*，左 劍，呂南方，張存林

首都師范大學物理系；太赫茲光電子學教育部重點實驗室；太赫茲波譜與成像北京市重點實驗室；北京成像理論與技術高精尖創(chuàng)新中心，北京 100048

本文對太赫茲光場數(shù)據(jù)采集與數(shù)字重聚焦成像進行實驗研究。太赫茲成像因其穿透性、無損性等優(yōu)點，近年來備受國內(nèi)外研究者關注。太赫茲波段的光場成像技術有望增強圖像質量、改善應用效果。本文在分析光場成像基本原理、系統(tǒng)結構、重建方法的基礎上，應用太赫茲焦平面陣列相機進行太赫茲光場數(shù)據(jù)采集和數(shù)字重聚焦實驗。首先采集太赫茲光場原始數(shù)據(jù)，然后通過數(shù)字重聚焦進行計算成像，最后對重構圖像做增強處理，得到了深度、角度及目標物輪廓分辨力強的太赫茲圖像。實驗證明了太赫茲光場成像技術的可行性及其改善圖像質量、豐富復現(xiàn)效果的能力。

太赫茲；光場采集；數(shù)字重聚焦；圖像重構

1 引 言

多數(shù)傳統(tǒng)相機設備僅復現(xiàn)場景的二維信息，常規(guī)的成像技術在拍攝多目標物體時無法做到多點聚焦，會造成部分物體模糊等現(xiàn)象。與傳統(tǒng)成像技術不同，光場成像技術在采集數(shù)據(jù)時會記錄空間中光輻射強度、位置與方向等信息，其原始數(shù)據(jù)中增加的維度用于后續(xù)圖像重構與數(shù)字重聚焦等處理，可獲取更好的成像質量與復現(xiàn)效果[1-2]。1936年Gershun提出光場的概念并用光場描述光在三維空間中的輻射傳輸特性，他認為光輻射是一種連續(xù)且不斷變化的能量，為之后對光場的研究打下了基礎[3]。1948年，Gabor利用兩束相干光干涉，記錄下物體衍射未聚焦的波前，獲得第一張全息圖[4]，可稱為光場圖像的前身。1996年Levoy提出了用雙平面參數(shù)法來表示光場，并給出光場成像計算公式，為第一臺光場相機奠定基礎[5]。隨著可見光光場成像技術的完善和光場相機技術的成熟，其在軍事、航天、醫(yī)療等領域應用越來越多，正不斷向多元化、實用化發(fā)展。

太赫茲波通常指波長在30 μm~3000 μm的電磁波，它對很多介電材料和非極性物質有良好的穿透性，而金屬表面對太赫茲波有強反射特性。太赫茲波光譜能量很低，不會電離損傷生物組織。太赫茲成像技術利用太赫茲探測器采集太赫茲波進行成像，由于具有穿透性、安全性等優(yōu)勢，在國防軍事、公共安全、航天遙感、無損檢測等領域都有著很好的發(fā)展前景[6-9]。近年來，太赫茲成像技術與光場成像技術不斷發(fā)展，太赫茲輻射的光場采集與數(shù)字重聚焦作為太赫茲光場成像的關鍵技術，已引起國內(nèi)外研究者的關注。2016年，德國大學的Jain等研發(fā)了一種太赫茲光場成像系統(tǒng)[10]，該系統(tǒng)采用硅超半球透鏡集成32×32個相機作為太赫茲光場采集器，通過圖像平面掃描記錄完整的太赫茲靜態(tài)光場，經(jīng)過后續(xù)數(shù)據(jù)處理與重構獲得了太赫茲光場成像結果，目前太赫茲光場成像中的一些關鍵技術還有待進一步研究。本文首先闡述光場成像的基本原理，分析光場表征方法及數(shù)字重聚焦算法；基于太赫茲焦平面陣列相機進行太赫茲光場數(shù)據(jù)采集實驗，并用數(shù)字重聚焦技術得到不同深度上的重構圖像；最后對圖像做銳化和輪廓增強處理，以獲取可辨識性強的結果圖像。

2 光場成像基本原理

如圖1(a)所示，常規(guī)成像技術從幾何光學看是將從目標物發(fā)出的光線透過主透鏡匯聚到傳感器上，將記錄的光學信號轉化為電學信號再轉換為數(shù)字圖像，而圖1(b)中的陣列型相機每一個相機都記錄了不同角度的信息，再通過光場計算成像[11]。光場成像在采集數(shù)據(jù)過程中獲取了更多的信息，在重聚焦過程中能夠選擇聚焦面，當多個目標物不在同一平面時，可做到不同深度的重聚焦。

2.1 光場的表征與光場數(shù)據(jù)采集

在光場表征方面，目前最常用的方法是雙平面參數(shù)化法，該方法依據(jù)Levoy提出的光場渲染理論，分別在主透鏡與傳感器處建立兩個二維平面，設一條同時穿過兩個平面的光線，分別交兩個平面于(,)和(,)兩點，由(,)和(,)描述這條光線的二維位置信息與二維方向信息，光線與主透鏡平面和傳感器平面相交的兩坐標點共同構成了光場的四維函數(shù)(,,,)，函數(shù)值是光線的輻射通量，圖2是雙平面參數(shù)化法表征光場的示意圖[2]。本文采用這種方法表征太赫茲光場。

圖1 常規(guī)成像與光場成像的對比

在光場數(shù)據(jù)采集方面，目前有三種主流方法，它們采用的裝置分別是相機陣列、微透鏡陣列和非折射掩膜。1) 相機陣列法以斯坦福大學提出的128臺相機陣列為代表，相機采用不同的排列方式，獲得多種不同角度的子圖像陣列，同時利用相機陣列景深較小的特點，通過數(shù)字重聚焦技術與合成孔徑技術可實現(xiàn)類似“透視”的效果[12]。2) 微透鏡陣列法在常規(guī)成像的像面處增加由×個微透鏡組成的陣列，而且在每個微透鏡后面用×個傳感器采集信息。光線從場景目標物發(fā)出，通過主透鏡后形成聚焦的像點，再由微透鏡陣列散焦到每一個傳感器上，形成一個模糊的圖像作為采集到的原始光場數(shù)據(jù)[13-14]。3) 非折射掩膜法在結構上主要是在常規(guī)相機光路中增加一個掩膜，這種方法的優(yōu)點是易于搭建硬件和進行實驗操作[15]。在三種主流方法之外還有諸如環(huán)形孔徑相機等方法[16]，但因其結構復雜等缺點應用不多。

圖2 基于Levoy光場渲染理論用四維光場函數(shù)表征光場

2.2 圖像數(shù)字重聚焦

光場圖像的數(shù)字重聚焦實現(xiàn)不同場景不同位置對焦，可做到先拍攝后對焦，有利于降低成像的運動模糊、減少由光源強度等問題帶來的失焦，在多目標物快速標定、對不同目標物進行深度估計等方面有較為明顯的效果[17]。光場的數(shù)字重聚焦在光電測量、遙感、航天等領域有著重要的應用價值。如2.1節(jié)所述，這里將光場成像系統(tǒng)中的光線用四維光場函數(shù)(,,,)表征，其中面是光學系統(tǒng)主平面，面是探測器所在平面，L(,,,)代表給定光線的光輻射量，下標代表上述兩平面間的距離，像面上接受到的輻射量可表示為

其中：為光線(,,,)與面法線的夾角，(,)為光瞳函數(shù)。在此假設和是無窮大的平面，光瞳之外的光線(,,,)=0，引入近軸近似后可將公式簡化為

在此基礎上通過積分求解得到一幅數(shù)字圖像。

2.2 光場圖3 光場重聚焦算法與參數(shù)示意圖

3 太赫茲光場采集與數(shù)字重聚焦實驗研究

3.1 太赫茲光場成像系統(tǒng)及數(shù)據(jù)采集

本文基于第2節(jié)所述的基本原理，用INO公司的MICROXCAM-384I-THz型太赫茲焦平面陣列相機，通過二維掃描采集一系列特定視角的子圖像陣列，這些子圖像擁有不同方向、角度上的太赫茲輻射通量信息。在子圖像陣列所含原始太赫茲光場數(shù)據(jù)的基礎上進行光場表征、數(shù)字重聚焦和后續(xù)圖像處理。實驗中我們將成像目標物分別前后放置，在深度方向上成一定距離間隔。

圖4(a)為太赫茲光場相機采集的單張子圖像，圖4(b)為利用太赫茲相機分別采集不同位置不同角度的10×10子圖像進行排列形成子圖像陣列。圖5(a)為任意取光場子圖像陣列中的某一行或某一列的圖像疊加在一起，使用不同顏色的直線豎直穿過各圖像中深度不同但位置相同的點，而其它深度的圖像一一對應的直線應保持傾斜狀態(tài)[18]。若直線傾斜程度越大，其對應物體的失焦現(xiàn)象則越嚴重。如圖5(b)所示，當子圖像經(jīng)過聯(lián)合位移后，各條直線的狀態(tài)會有所不同，導致不同深度的聚焦圖像發(fā)生變化。針對圖像因為混疊而出現(xiàn)的模糊、馬賽克等，可借助石夢迪等[19]提出的基于雙引導濾波的光場去馬賽克算法進行圖像增強。

3.2 太赫茲圖像數(shù)字重聚焦

為了降低重構圖像的的噪聲，銳化圖中目標物的輪廓，本文采用八鄰域拉普拉斯算子進行圖像增強。拉普拉斯算子是維歐式空間的一個二階微分算子。它定義為兩個梯度向量算子的內(nèi)積：

處理后，像素值快速變化的區(qū)域突出，增強了輪廓線的可辨識性，如圖7所示。

圖4 太赫茲光場圖像。(a) 單張子圖像；(b) 不同位置與不同角度的子圖像陣列

圖5 子圖像陣列處理示意圖

圖6 重聚焦后的光場圖像

圖7 經(jīng)過增強后的光場圖像

4 結 語

光場成像獨特的數(shù)字重聚焦、深度分辨及角度分辨能力提高了圖像的復現(xiàn)效果。太赫茲成像因其具有的穿透性和安全無損等優(yōu)勢而備受重視。太赫茲光場成像近年來引起了國內(nèi)外研究者的關注，這項技術將有望實現(xiàn)更高質量的太赫茲圖像復現(xiàn)和辨識效果。本文分析了太赫茲光場的表征方法和數(shù)字重聚焦算法，通過實驗研究了應用焦平面陣列相機的太赫茲光場成像技術，并做了圖像重聚焦和輪廓增強處理，得到了分辨識別效果好的太赫茲圖像。

[1] Su J H, Jin Y T, Lu Y D,. Simulation of the algorithms for the light field image rendering[J]., 2017, 39(1): 31–40.

速晉輝, 金易弢, 陸藝丹, 等. 光場圖像重構算法仿真[J]. 光學儀器, 2017, 39(1): 31–40.

[2] Nie Y F, Xiang L B, Zhou Z L. Advances in light field photography technique[J]., 2011, 28(5): 563–572.

聶云峰, 相里斌, 周志良. 光場成像技術進展[J]. 中國科學院研究生院學報, 2011, 28(5): 563–572.

[3] Gershun A. The light field[J]., 1939, 18(1–4): 51–151.

[4] Gabor D. A new microscopic principle[J]., 1948, 161(4098): 777–778.

[5] Levoy M, Hanrahan P. Light field rendering[C]//, 1996: 31–42.

[6] Zhao G Z. Progress on terahertz science and technology[J]., 2014, 33(2): 1–6, 20.

趙國忠. 太赫茲科學技術研究的新進展[J]. 國外電子測量技術, 2014, 33(2): 1–6, 20.

[7] Hu B B, Nuss M C. Imaging with terahertz waves[J]., 1995, 20(16): 1716–1718.

[8] Xu J M, Chen L, Zang X F,. Triple-channel terahertz filter based on mode coupling of cavities resonance system[J]., 2013, 103(16): 161116.

[9] Yao J Q. Introduction of THz-wave and its applications[J]., 2010, 22(6): 703–707.

姚建銓. 太赫茲技術及其應用[J]. 重慶郵電大學學報(自然科學版), 2010, 22(6): 703–707.

[10] Jain R, Grzyb J, Pfeiffer U R. Terahertz light-field imaging[J]., 2016, 6(5): 649–657.

[11] Xiao Z L. Camera array based light field imaging and depth estimation[D]. Xi’an: Northwestern Polytechnical University, 2014.

肖照林. 基于相機陣列的光場成像與深度估計方法研究[D]. 西安: 西北工業(yè)大學, 2014.

[12] Wilburn B, Joshi N, Vaish V,. High performance imaging using large camera arrays[J]., 2005, 24(3): 765–776.

[13] Lumsdaine A, Georgiev T. The focused plenoptic camera[C]//, 2009: 1–8.

[14] Wang L J, Zhang J, Zhang X D,. Micro-lens array center calibration via local searching using Lytro cameras[J]., 2016, 43(11): 19–25.

王麗娟, 張駿, 張旭東, 等. 局部搜索式的Lytro相機微透鏡陣列中心標定[J]. 光電工程, 2016, 43(11): 19–25.

[15] Veeraraghavan A, Raskar R, Agrawal A,. Dappled photography: mask enhanced cameras for heterodyned light fields and coded aperture refocusing[J]., 2007, 26(3): 69.

[16] Green P, Sun W Y, Matusik W,. Multi-aperture photography[J]., 2007, 26(3): 68.

[17] Zhang C P, Wang Q. Survey on imaging model and calibration of light field camera[J]., 2016, 43(6): 0609004.

張春萍, 王慶. 光場相機成像模型及參數(shù)標定方法綜述[J]. 中國激光, 2016, 43(6): 0609004.

[18] Wang Y Q, Yang J G, Guo Y L,. Selective light field refocusing for camera arrays using bokeh rendering and superresolution[J]., 2019, 26(1): 204–208.

[19] Shi M D, Zhang X D, Dong Y L,. A light field demosaicing method with double guided filtering[J]., 2019, 46(12): 180539.

石夢迪, 張旭東, 董運流, 等. 一種雙引導濾波的光場去馬賽克方法[J]. 光電工程, 2019, 46(12): 180539.

An experimental study on terahertz light field data acquisition and digital refocusing

Yang Moxuan, Zhao Yuanmeng*, Zuo Jian, Lv Nanfang, Zhang Cunlin

Key Laboratory of Terahertz Optoelectronics, Ministry of Education; Beijing Key Laboratory for Terahertz Spectroscopy and Imaging; Beijing Advanced Innovation Center for Imaging Theory and Technology; Department of Physics, Capital Normal University, Beijing 100048, China

Terahertz camera array imaging model

Overview:As a highly versatile computational imaging method, light field imaging has attracted great attention and has rapidly developed in the past 20 years. Light field imaging with visible light has been widely applied. Terahertz radiation has many advantages such as good penetrability and effective bandwidth. The combination of light field imaging and terahertz radiation will enrich the concept of light field imaging.

Firstly, this article introduced the characteristics of terahertz waves, summarized the historical development of light field photography, and analyzed the basic principle of terahertz light field imaging. Based on the method of capturing, 4D light field, the typical light field photography devices are categorized into single scanning imaging camera, camera array imaging, integral imaging, aperture coded, optical mask, etc. The terahertz light field imaging technology, a kind of computational imaging method within the terahertz band, takes advantage of terahertz focal plane array camera to collect a series of target sub-image arrays from different directions and angles, then, uses the digital refocusing to get the computed imaging and image reconstruction technology to obtain image. However, the reconstructed image appears blurry with unclear boundary. In order to reduce adverse effects, the image edge feature was combined with Laplace operator to enhance images, thus obtaining the refocusing images of light field with higher depth resolution, angle resolution, and object contour resolution at different depths.

Experimental results showed the feasibility and ability of terahertz light field imaging to improve image quality and enrich retrieval effects. The successful combination of terahertz radiation and light field imaging technology provides unique characteristics for future research. For example, it overcomes the limitation of traditional visible light imaging by optical lens and sensor or the size of the aperture. Terahertz light filed imaging technology can take advantage of the characteristics of the wave to achieve image in the dark environment. In a word, the light field imaging quality is effectively improved by the above method. It lays a foundation for establish a three-dimensional reconstruction and synthetic aperture imaging algorithm by removing the foreground of terahertz light field imaging.

Citation: Yang M X, Zhao Y M, Zuo J,. An experimental study on terahertz light field data acquisition and digital refocusing[J]., 2020,47(5): 190670

An experimental study on terahertz light field data acquisition and digital refocusing

Yang Moxuan, Zhao Yuanmeng*, Zuo Jian, Lv Nanfang, Zhang Cunlin

Key Laboratory of Terahertz Optoelectronics, Ministry of Education; Beijing Key Laboratory for Terahertz Spectroscopy and Imaging; Beijing Advanced Innovation Center for Imaging Theory and Technology; Department of Physics, Capital Normal University, Beijing 100048, China

In recent years, terahertz imaging has attracted great attention due to its advantages including penetrability and nondestructive property. The field imaging technology within the terahertz range is expected to enhance the terahertz image quality and improve its application effect. In this paper, an experiment on the data acquisition and digital refocusing of the terahertz light field was conducted. Firstly, the basic principle, system structure, and the method of reconstructing light field imaging were analyzed. Secondly, the terahertz focal plane array camera was used to collect the data about light field and digital refocusing was used to get the computed imaging. Finally, the reconstructed image was enhanced to obtain higher depth resolution, angle resolution, and object contour resolution. Experimental results showed the feasibility and ability of terahertz light field imaging to improve image quality and enrich retrieval effects.

terahertz; light field acquisition; digital refocusing; image reconstruction

“the 2020 Connotation Development Funds for Interdisciplinary Academic Construction” of Graduate School of Capital Normal University

* E-mail: zhao.yuanmeng@cnu.edu.cn

TN391.4；TN29

A

楊墨軒，趙源萌，左劍，等. 太赫茲光場數(shù)據(jù)采集與數(shù)字重聚焦實驗研究[J]. 光電工程，2020，47(5): 190670

10.12086/oee.2020.190670

: Yang M X, Zhao Y M, Zuo J,An experimental study on terahertz light field data acquisition and digital refocusing[J]., 2020, 47(5): 190670

2019-11-02；

2020-04-14

首都師范大學研究生學院“2020年內(nèi)涵發(fā)展跨學科學術建設基金”資助

楊墨軒(1999-)，男，主要從事圖像處理，光場成像方向的研究。E-mail: yang.ymx@qq.com

趙源萌(1981-)，男，博士，講師，主要從事光電成像、太赫茲成像、圖像處理的研究。-mail: zhao.yuanmeng@cnu.edu.cn

版權所有?2020中國科學院光電技術研究所