基于顯著性物體檢測(cè)和S-PCG算法的彩色全息顯示系統(tǒng)

趙 宇, 卜靜雯, 陳舒涵, 張 濤

(揚(yáng)州大學(xué)信息工程學(xué)院, 江蘇 揚(yáng)州 225127)

計(jì)算全息技術(shù)可通過(guò)全息算法和空間光調(diào)制器(spatial light modulators, SLM)實(shí)現(xiàn)波前記錄及波前重建, 被認(rèn)為是具有變革潛力的光顯示技術(shù), 在醫(yī)療、教育、科研和軍事等諸多領(lǐng)域具有廣闊的應(yīng)用前景[1-3]．與傳統(tǒng)的光學(xué)全息相比, 計(jì)算全息具有制作成本低、 成像速度快、 記錄再現(xiàn)靈活以及信息存儲(chǔ)和傳輸便捷等顯著優(yōu)點(diǎn)[3-4], 但也存在諸多缺陷,如數(shù)據(jù)采集實(shí)時(shí)性差, 計(jì)算全息圖(computer generated hologram, CGH)生成速度慢且重建精度低, 以及波前調(diào)制器件和全息顯示系統(tǒng)性能受限等．針對(duì)計(jì)算全息圖生成過(guò)程的簡(jiǎn)化和全息顯示系統(tǒng)性能的提升, 國(guó)內(nèi)外學(xué)者開(kāi)展了大量研究．Islam等[5]提出了一種深度測(cè)距型波前平面加速算法, 僅計(jì)算波前記錄平面(wavefront recording plane, WRP)小區(qū)域的復(fù)振幅, 提高了點(diǎn)云全息圖的生成速度, 減少了生成計(jì)算全息圖的時(shí)間, 但須進(jìn)行預(yù)計(jì)算以確定波前平面的光場(chǎng), 導(dǎo)致全息圖計(jì)算耗時(shí)較長(zhǎng); Yasuki等[6]利用分塊徑向和擴(kuò)散函數(shù)計(jì)算三維全息圖, 提高了固定視點(diǎn)下的全息圖計(jì)算速度, 但空間帶寬積偏小, 不適用于寬視角下的裸眼顯示; 筆者[7-10]提出了基于層次深度預(yù)測(cè)的加權(quán)算法, 包括點(diǎn)云網(wǎng)格化(point cloud gridding, PCG)算法和分段點(diǎn)云網(wǎng)格化算法, 并構(gòu)建了基于多深度相機(jī)的全息顯示系統(tǒng), 一定程度上提高了計(jì)算全息圖的生成速度及重建精度, 但仍難以滿(mǎn)足實(shí)時(shí)顯示的需求; 因此, 本文擬采用顯著性檢測(cè)和分割型網(wǎng)格化(segmented point cloud gridding, S-PCG)算法構(gòu)建面向真實(shí)物體的彩色全息三維實(shí)時(shí)顯示系統(tǒng), 以期提高全息系統(tǒng)在采集端圖像處理的實(shí)時(shí)性與準(zhǔn)確性．

1 彩色全息三維顯示系統(tǒng)

本文提出的彩色全息三維顯示系統(tǒng)主要由信息采集與預(yù)處理、 全息圖生成和彩色重建3個(gè)模塊組成, 具體框架結(jié)構(gòu)如圖1所示．通過(guò)引入三維顯著物體檢測(cè)模型、 眼動(dòng)點(diǎn)預(yù)測(cè)模型、 分割型點(diǎn)云網(wǎng)格化算法、 GPU并行算法和虛擬透鏡等, 構(gòu)建面向真實(shí)物體的彩色全息三維實(shí)時(shí)顯示系統(tǒng)．

圖1 系統(tǒng)結(jié)構(gòu)示意圖Fig.1 Schematic of the proposed system

1.1 信息采集與預(yù)處理

利用基于飛行時(shí)間的Kinect v2.0深度相機(jī)采集真實(shí)物體的三維信息, 設(shè)計(jì)三維顯著物體檢測(cè)模型進(jìn)行圖像預(yù)處理,采用基于深度學(xué)習(xí)的深度網(wǎng)格對(duì)圖中顯著性目標(biāo)進(jìn)行提取和重建, 濾除冗余背景信息, 降低三維圖像處理的復(fù)雜度, 同時(shí)結(jié)合眼動(dòng)點(diǎn)預(yù)測(cè)模型提升顯著性目標(biāo)的檢測(cè)性能．本文在整體嵌套邊緣檢測(cè)(holistically-nested edge detection, HED)架構(gòu)和反向注意力(reverse attention residual network, RAS)算法[11-12]的基礎(chǔ)上建立三維顯著物體檢測(cè)網(wǎng)絡(luò), 網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示．

圖2 三維顯著物體檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.2 Schematic of 3D salient object detection network structure

首先, 將深度相機(jī)采集到的彩色圖和深度圖通過(guò)反向注意塊從側(cè)面輸出特征中刪除當(dāng)前預(yù)測(cè)的顯著性區(qū)域, 引導(dǎo)網(wǎng)絡(luò)發(fā)現(xiàn)互補(bǔ)對(duì)象區(qū)域和細(xì)節(jié), 將粗略或低分辨率的預(yù)測(cè)區(qū)域細(xì)化為高分辨率顯著圖, 進(jìn)而逐步擴(kuò)展目標(biāo)區(qū)域．通過(guò)特征圖的反向注意權(quán)重Az和側(cè)輸出特征Tz, c的元素級(jí)乘法得到輸出特征Fz,c=Az·Tz,c, 其中z和c分別為特征圖空間位置和特征通道的索引．

再次, 結(jié)合物體的彩色圖和深度圖生成點(diǎn)云圖, 并采用深度信息將點(diǎn)云分為多個(gè)子層,分類(lèi)后點(diǎn)云模型可重新采樣并轉(zhuǎn)化為深度網(wǎng)格．

最后,將網(wǎng)格化的點(diǎn)云模型和Sigmoid層輸出的預(yù)測(cè)結(jié)果相乘, 得到三維顯著物體的點(diǎn)云模型．

1.2 全息圖生成

1.3 彩色重建

依據(jù)全息顯示技術(shù)的衍射原理,采用與原始記錄相同參數(shù)的參考光能夠準(zhǔn)確地重建原始物體．當(dāng)參考光不一致時(shí),在原始物體圖像的基礎(chǔ)上乘以一個(gè)相位因子也可得到重建圖像,但參考光波長(zhǎng)變化所造成的誤差將導(dǎo)致重建圖像的尺寸或位置發(fā)生改變．全息圖作為一種衍射光柵,不具備波長(zhǎng)選擇性, 即使重建時(shí)采用的參考光波長(zhǎng)不等于記錄時(shí)的參考光波長(zhǎng),原始物體的圖像也可被重建．基于此, 本文通過(guò)調(diào)節(jié)虛擬透鏡的焦距對(duì)軸向色差進(jìn)行補(bǔ)償,保證3種顏色重建圖像的焦點(diǎn)位置重合,并且每個(gè)子全息圖重建的對(duì)應(yīng)顏色的圖像重疊,進(jìn)而形成高質(zhì)量的彩色重建圖像．

2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)硬件環(huán)境為Intel Core i7-12700H, 16 GB內(nèi)存,RTX3070顯卡,8 GB顯存;軟件環(huán)境為MATLAB 2021b, Windows 10和Ubuntu 22.0系統(tǒng)．

為檢驗(yàn)本文所提方法的全息圖重建質(zhì)量, 基于深度相機(jī)采集的彩色圖和深度圖, 比較了顯著物體檢測(cè)擴(kuò)張殘差網(wǎng)絡(luò)(dilated residual networks, DRN)算法[11]和本文算法的目標(biāo)檢測(cè)效果, 感興趣區(qū)域(region of interest, ROI)算法與本文算法的冗余背景濾除效果, 以及不同焦距f的圖像重建效果, 結(jié)果如圖3～5所示．由圖3～5可知: 與傳統(tǒng)DRN和ROI算法相比, 本文方法能夠更有效地去除冗余背景, 檢測(cè)出的目標(biāo)更完整, 輪廓更清晰, 且不同焦距的圖像均可重建出清晰的三維物體．綜上, 基于RGB-D顯著性物體檢測(cè)的彩色全息三維顯示系統(tǒng)具有較好的圖像重建效果．

A. 彩色圖; B. 深度圖; C. DRN算法; D. 本文方法.圖3 不同算法對(duì)輸入圖像的目標(biāo)檢測(cè)效果Fig.3 Object detection effects of different algorithms on input images

A. ROI算法; B. 本文算法; C. 全息重建像.圖4 不同算法對(duì)輸入圖像的冗余背景濾除效果Fig.4 Redundant background filtering effect of different algorithms on input images

A. 紅通道; B. 綠通道; C. 藍(lán)通道; D. 彩色圖.圖5 不同焦距下的重建圖Fig.5 Reconstruction with different focal distances

表1 全息圖分辨率為1 024×1 024時(shí)的計(jì)算時(shí)間

表2 全息圖分辨率為2 048×2 048時(shí)的計(jì)算時(shí)間