基于深度圖繪制3D圖像的水印技術(shù)

崔晨，王莘，李瓊

?

基于深度圖繪制3D圖像的水印技術(shù)

崔晨，王莘，李瓊

（哈爾濱工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，黑龍江哈爾濱150001）

由于基于深度圖繪制的虛擬視點(diǎn)技術(shù)具有的獨(dú)特優(yōu)勢(shì)，越來越多的3D產(chǎn)品版權(quán)保護(hù)問題受到極大的關(guān)注。不同于傳統(tǒng)2D圖像的水印技術(shù)，在基于深度圖繪制的3D圖像里，不僅需要通過嵌入水印來保護(hù)中間圖像，而且需要保護(hù)左右眼虛擬圖像。通過對(duì)中間圖像進(jìn)行3層小波變換后，利用奇偶量化方式來修改每個(gè)子分塊的小波系數(shù)，實(shí)現(xiàn)了中間圖像的水印信息嵌入。嵌入的水印可以從中間圖像以及左右眼虛擬圖像中提取出來。實(shí)驗(yàn)表明，所提水印算法對(duì)常見的信號(hào)失真攻擊具有良好的頑健性。

基于深度圖繪制；3D圖像水?。徽`比特率；奇偶量化

1 引言

基于深度圖像的虛擬視點(diǎn)繪制技術(shù)[1~3]主要用3D變換（3D warping）作為繪制原理，根據(jù)源圖像中各個(gè)像素對(duì)應(yīng)于三維空間點(diǎn)的深度信息，把像素點(diǎn)變換到新視點(diǎn)下的圖像平面中。在實(shí)際應(yīng)用過程中，僅需要傳輸中間圖像及與其對(duì)應(yīng)的深度圖像即可，當(dāng)接收到中間圖像及深度圖像時(shí)，則可以繪制出左右眼虛擬圖像從而達(dá)到三維觀看效果。深度圖是一張256色灰度圖，存儲(chǔ)所需占用的空間有限。由此可見，僅需要中間圖像及深度圖像就可以簡(jiǎn)單地達(dá)到三維立體的觀看效果，而不需要其他的輔助信息來實(shí)現(xiàn)三維效果。由于DIBR 技術(shù)在三維立體顯示方面具有天然的優(yōu)勢(shì)，這大大推動(dòng)三維產(chǎn)業(yè)的發(fā)展，并使三維產(chǎn)品迅速普及。然而，隨著該技術(shù)的迅速發(fā)展，帶來了種種三維產(chǎn)品的版權(quán)保護(hù)問題。

在傳統(tǒng)的2D圖像領(lǐng)域，已經(jīng)提出了幾種能夠抵御信號(hào)失真及幾何失真攻擊的水印算法[4~10]。然而，對(duì)于基于深度圖繪制的3D圖像來說，繪制所產(chǎn)生的左右眼虛擬圖像同樣需要水印技術(shù)的保護(hù)?？紤]到此類媒體的特殊性，一些傳統(tǒng)2D的水印技術(shù)不能直接應(yīng)用。文獻(xiàn)[11,12]提出一種基于DIBR繪制立體圖像的水印算法，然而，該水印算法需要原始圖像的參與。在文獻(xiàn)[13]中，一種基于3D視頻的抵抗無損壓縮以及高斯噪聲的水印技術(shù)被提出。Lin等[14]提出一種基于DCT域的DIBR水印技術(shù)，他們考慮左右眼虛擬圖像與中間圖像中圖像子塊的對(duì)應(yīng)關(guān)系，利用擴(kuò)頻技術(shù)進(jìn)行3次水印嵌入，從而保證中間圖像及虛擬圖像都可以提取出水印信息。在文獻(xiàn)[15]中，Kim利用雙樹復(fù)數(shù)小波變換的平移保持特性設(shè)計(jì)了一種適合于3D圖像的水印技術(shù)，在該水印提取過程中不需要任何原始圖像的信息輔助。

本文中提出一種基于DIBR繪制3D圖像的水印技術(shù)，水印信息通過小波系數(shù)奇偶量化的方法嵌入到中間圖像的每個(gè)子分塊中。水印信息不但可以從含水印的中間圖像提取出來，也可以從由含水印信息中間圖像生成的左右眼虛擬圖像中提取出來，整個(gè)水印的提取操作不需要任何原始圖像信息的輔助。實(shí)驗(yàn)表明，本文提出的算法對(duì)常見的信號(hào)失真攻擊，如JPEG壓縮、噪聲添加以及濾波等具有良好的頑健性。

2 基于深度圖繪制3D圖像相關(guān)介紹

根據(jù)人眼的雙目視覺原理，如果能通過某種途徑得到物體的深度信息，那么，在三維視頻的顯示過程中就可以呈現(xiàn)出立體效果?；谏疃葓D繪制3D圖像正是利用這一原理，通過中間圖像結(jié)合與其對(duì)應(yīng)的深度圖就可以產(chǎn)生虛擬的左右眼圖像，而通過計(jì)算虛擬左右眼虛擬圖像中物體的位移信息可以得出該物體的深度信息，從而得到三維效果。

2.1 深度圖

中間圖像結(jié)合深度圖中各個(gè)點(diǎn)的深度信息就可以簡(jiǎn)單地繪制出虛擬的左右眼虛擬圖像。深度圖是一張256色的灰度圖，每個(gè)像素的灰度值代表中間圖像中該像素的深度信息[16]。其中，灰度值為255對(duì)應(yīng)的中間圖像的像素，表示該像素的成像點(diǎn)距離攝像機(jī)的距離最遠(yuǎn)；相反，灰度值為0對(duì)應(yīng)的中間圖像的像素距離攝像機(jī)的距離最近，如圖1所示。

(b) 與(a)對(duì)應(yīng)的深度圖像

圖1 中間圖像及深度圖像

2.2 三維坐標(biāo)映射

文獻(xiàn)[17]提出一種利用中間圖像及其對(duì)應(yīng)的每個(gè)像素的深度信息來繪制左右眼虛擬圖像的方法。如圖2所示，是空間中任一點(diǎn)；表示點(diǎn)的深度信息；是焦距；和分別表示虛擬的左右眼視點(diǎn)；為基線距離（baseline），表示2個(gè)虛擬視點(diǎn)間的距離。在中間圖像中，表示點(diǎn)投影到成像平面上的點(diǎn)，而和則分別表示該點(diǎn)在虛擬圖像中的成像點(diǎn)。由圖2中的幾何關(guān)系，可以得到

由式(1)和式(2)得

2.3 空洞填補(bǔ)

在由中間圖像結(jié)合深度圖像產(chǎn)生左右眼虛擬圖像的過程中，通過之前所描述的方法，利用式(1)和式(2)就可以通過中間視圖來生成虛擬的左眼或者右眼視圖。根據(jù)之前介紹的三維坐標(biāo)映射關(guān)系可知，每個(gè)像素左右平移的單位是由該像素所對(duì)應(yīng)的深度信息決定的，由于每個(gè)像素對(duì)應(yīng)的深度信息不盡相同，因此，在繪制產(chǎn)生左右眼虛擬圖像時(shí)，像素的平移是不均勻的，而這種不均勻平移會(huì)導(dǎo)致一些空洞像素的產(chǎn)生[16,17]。為了使產(chǎn)生的左右眼虛擬圖像不會(huì)影響到觀看者的視覺質(zhì)量，通常會(huì)采用一些空洞填補(bǔ)技術(shù)來彌補(bǔ)繪制過程中產(chǎn)生的空洞對(duì)視覺質(zhì)量的影響，文本則采用相鄰像素插值的方式進(jìn)行空洞的信息填補(bǔ)[16,17]。

3 水印算法

本文采用小波系數(shù)奇偶量化的方法，將水印信息嵌入到中間圖像當(dāng)中。同時(shí)，嵌入到中間圖像中的水印可以從中間圖像及其生成的左右眼虛擬圖像中提取出來。

3.1 算法設(shè)計(jì)思路

不同于傳統(tǒng)2D圖像的水印算法，需要在中間圖像中嵌入水印信息，從而在中間圖像及由其產(chǎn)生的左右眼虛擬圖像中提取水印信息。圖3為圖1(a)的中間圖像產(chǎn)生的左眼虛擬圖像。為了體現(xiàn)像素不均勻的平移效果，左眼虛擬圖像并未進(jìn)行空洞修補(bǔ)。由式(3)可知，像素最大的平移量為。

可見，DIBR繪制產(chǎn)生左右眼虛擬圖像的過程類似于平移操作這種幾何攻擊。因此，需要將水印信息嵌入到中間圖像以使中間圖像具有某種統(tǒng)計(jì)特征，而這種統(tǒng)計(jì)特征在左右眼虛擬圖像中可以體現(xiàn)出來。

3.2 水印嵌入

然后，采用奇偶量化的方式[18]，根據(jù)所要嵌入的水印比特信息對(duì)每個(gè)分塊內(nèi)的系數(shù)進(jìn)行修改。假設(shè)需要將第個(gè)水印信息嵌入到第個(gè)子分塊的系數(shù)中，首先，利用量化函數(shù)，根據(jù)量化步長(zhǎng)來判斷每個(gè)系數(shù)所屬區(qū)間，從而將分塊中的每個(gè)系數(shù)進(jìn)行0或1的標(biāo)記，具體方式為

對(duì)每個(gè)子分塊內(nèi)的所有系數(shù)按照式(5)的變化進(jìn)行系數(shù)量化，就可以完成水印信息的嵌入。最后，利用已嵌入水印的系數(shù)進(jìn)行3層小波逆變換就可以得到嵌入水印的圖像。

3.3 水印提取

4 實(shí)驗(yàn)結(jié)果

本節(jié)給出本文提出的水印嵌入算法的實(shí)驗(yàn)結(jié)果，同時(shí)對(duì)多種受攻擊圖像進(jìn)行水印提取，進(jìn)行水印算法頑健性效果展示，并同文獻(xiàn)[14]與文獻(xiàn)[15]的算法進(jìn)行比較。

4.1 實(shí)驗(yàn)數(shù)據(jù)集

為了對(duì)本文算法進(jìn)行測(cè)試，從Middlebury Stereo Datasets[19~21]以及Microsoft Research 3D Video Datasets[22]中選取12幅中間圖像及深度圖像用于測(cè)試。其中，這些中間圖像的分辨率從450375到1 3901 110各不相同。

4.2 實(shí)驗(yàn)參數(shù)設(shè)定

4.3 圖像質(zhì)量評(píng)價(jià)

為了評(píng)價(jià)嵌入水印的圖像的視覺質(zhì)量，這里采用峰值信噪比（PSNR）與SSIM（structure similarity）[23]進(jìn)行衡量。圖5為圖1(a)的原始中間圖像在嵌入水印后的中間圖像。從圖5可以看出含水印圖像在視覺質(zhì)量上并沒有發(fā)生明顯的變化，嵌入水印圖像的峰值信噪比為40.90 dB。如表1所示，在本文所采用的測(cè)試數(shù)據(jù)集中，含水印圖像的平均峰值信噪比為41.70 dB，為0.994，客觀上表明，本文所提水印算法可以提供較好的視覺質(zhì)量。

表1 不同算法圖像質(zhì)量評(píng)價(jià)對(duì)比

4.4 水印頑健性

基于DIBR繪制3D圖像的水印要求嵌入到中間圖像中的水印不但能從中間圖像中提取出來，還應(yīng)該從虛擬圖像中提取出來，從而實(shí)現(xiàn)對(duì)三者的保護(hù)。如表2所示，采用本文算法提取到水印信息的錯(cuò)誤率要遠(yuǎn)低于文獻(xiàn)[14]算法和文獻(xiàn)[15]算法的方法所提取到水印信息的錯(cuò)誤率。

表2 不同算法水印提取錯(cuò)誤率對(duì)比

由表2可以看出，雖然虛擬圖像是由中間圖像中的像素進(jìn)行平移產(chǎn)生的，分塊內(nèi)的像素平移可能導(dǎo)致水印信息提取的失敗，但是通過選擇合適的分塊大小，以及利用量化函數(shù)對(duì)小波系數(shù)進(jìn)行0或1的標(biāo)記使這種像素平移對(duì)水印信息的提取影響變得很小，因此，在虛擬圖像中依然可以較為準(zhǔn)確地提取到水印信息。

本文采用Stirmark Benchmark Tool[24]對(duì)加水印的左眼圖像分別進(jìn)行常見的信號(hào)失真攻擊處理，如JPEG壓縮、中值濾波以及不同水平的噪聲添加等。由表3可以看出，本文算法能抵御常見的信號(hào)失真攻擊操作。

表3 不同算法頑健性對(duì)比

5 結(jié)束語(yǔ)

本文提出了一種針對(duì)基于深度圖繪制技術(shù)產(chǎn)生的3D圖像的水印嵌入方案，在中間圖像及左右眼虛擬視圖的水印提取過程中，采用的是盲水印技術(shù)，即不需要原始圖像的參與。實(shí)驗(yàn)結(jié)果表明，該水印嵌入方案不僅能夠保證嵌入到中間圖像中的水印信息可以準(zhǔn)確地從中間圖像以及左右眼虛擬圖像中提取出來，而且對(duì)JPEG壓縮、噪聲添加、中值濾波等信號(hào)失真具有良好的頑健性。

[1] CHAN S C, SHUM H Y, NG K T. Image-based rendering and synthesis[J]. IEEE Signal Processing Magazine, 2007, 24(6):22-33.

[2] FUJII T, TANIMOTO M. Free-viewpoint TV system based on ray-space representation[J]. Proceedings of SPIE, 2002, 4864: 175-189.

[3] FEHN C, PASTOOR S. Interactive 3-DTV-concepts and key technologies[J]. Proceedings of the IEEE, 2006, 94(3):524-538.

[4] ALGHONIEMY M, TEWFIK A. Geometric invariance in image watermarking[J]. IEEE Transactions on Image Processing, 2010, 13(2):145-153.

[5] BAS P, CHASSERY J M, MACQ B. Geometrically invariant watermarking using feature points[J]. IEEE Transactions on Image Processing, 2002, 11(9):1014-1028.

[6] LOUKHAOUKHA K, CHOUINARD J Y, TSAI M H. Optimal image watermarking algorithm based on LWT-SVD via multi-objective ant colony optimization[J]. Journal of Information Hiding and Multimedia Signal Processing, 2011, 4(2): 303-319.

[7] DUGELAY J L, ROCHE S, REY C, et al. Still-image watermarking robust to local geometric distortions[J]. IEEE Transactions on Image Processing, 2006, 15(9):2831-2842.

[8] XIANG S, KIM H J, HUANG J. Invariant image watermarking based on statistical features in the low-frequency domain[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2008, 18(6): 777-790.

[9] ZHENG D, WANG S ZHAO J. RST invariant image watermarking algorithm with mathematical modeling and analysis of the watermarking processes[J]. IEEE Transactions on Image Processing, 2009, 18(5):1055-1068.

[10] DENG C, GAO X, LI X, et al. A local tchebichef moments-based robust image watermarking[J]. Signal Processing, 2009, 89(8): 1531-1539.

[11] HALICI E, ALATAN A A. Watermarking for depth-image-based rendering[C]//The 16th IEEE international conference on Image processing. c2009:4217-4220.

[12] BAE K H, KIM E S. Stereo image watermarking scheme based on discrete wavelet transform and adaptive disparity estimation[C]// International Society for Optical Engineering. c2004:196-205.

[13] LEE M J, LEE J W, LEE H K. Perceptual watermarking for 3D stereoscopic video using depth information[C]//International Conference on Intelligent Information Hiding & Multimedia Signal Processing, IEEE. c2011:81-84.

[14] LIN Y H, WU J L. A digital blind watermarking for depth-image- based rendering 3D images[J]. IEEE Transactions on Broadcasting, 2011, 57(2):602-611.

[15] KIM H D, LEE J W, OH T W, et al. Robust DT-CWT watermarking for DIBR 3D images[J]. IEEE Transactions on Broadcasting, 2012, 58(4):533-543.

[16] FEHN C. Depth-image-based rendering (DIBR), compression and transmission for a new approach on 3D-TV[C]//SPIE - The International Society for Optical Engineering. c2004:93-104.

[17] ZHANG L, TAM W J. Stereoscopic image generation based on depth images for 3D TV[J]. IEEE Transactions on Broadcasting, 51(2):191-199.

[18] LI L D. Spatial domain image watermarking scheme robust to geometric attacks based on odd-even quantization[J]. Journal of Electronics & Information Technology, 2009, 31(1):134-138.

[19] SCHARSTEIN D, PAL C. Learning conditional random fields for stereo[C]//IEEE Conference on Computer Vision & Pattern Recognition.c2007:1-8.

[20] SCHARSTEIN D, SZELISKI R. High-accuracy stereo depth maps using structured light[C]//IEEE Conference on Computer Vision & Pattern Recognition. c2003:195-202.

[21] HIRSCHMULLER H, SCHARSTEIN D. Evaluation of cost functions for stereo matching[C]//IEEE Computer Society Conference on Computer Vision & Pattern Recognition. c2007:1-8.

[22] ZITNICK C L, KANG S B, UYTTENDAELE M, et al. High-quality video view interpolation using a layered representation[J]. ACM Transactions on Graphics, 2004, 23(3):600-608.

[23] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4):600-612.

[24] Stirmark benchmark 4.0 may 2004[EB/OL]. http://www.petitcolas. net/fabien/watermarking/stirmark/.

Novel watermarking based on DIBR 3D image

CUI Chen, WANG Shen, LI Qiong

(School of Computer Science and Technology, Harbin Institute of Technology, Harbin 150001, China)

Depth-image-based rendering (DIBR) has become an important technology in 3D displaying with its great advantages. As a result, more and more 3D products copyright problems turn out. Since either the center view with depth image or the synthesized virtual views could be illegally distributed, not only the center views but also the synthesized virtual views need to be protected. A watermarking method for DIBR 3D images was proposed. After applying three-level DWT to the center image, odd-even quantization was utilized to modify the coefficients of the sub-blocks of the center image, by this way the proposed method was made robust to typical signal distortions, such as JPEG compression, noise addition and median filter. As the experimental results shown, the proposed method is much more robust to the common signal distortion attacks with lower BER (bit error rate) compared with existing methods.

DIBR, 3D image watermarking, bit error rate, odd-even quantization

The National Natural Science Foundation of China (No.61100187, No.61301099)

TP393

A

10.11959/j.issn.2096-109x.2016.00052

2016-03-17；

2016-04-27。

崔晨，394874486@qq.com

國(guó)家自然科學(xué)基金資助項(xiàng)目（No.61100187, No.61301099）

崔晨（1983-），男，黑龍江牡丹江人，哈爾濱工業(yè)大學(xué)博士生，主要研究方向?yàn)樾畔踩?、信息隱藏、感知散列。

王莘（1980-），男，黑龍江哈爾濱人，博士，哈爾濱工業(yè)大學(xué)講師，主要研究方向?yàn)樾畔?duì)抗、量子計(jì)算、多媒體安全。

李瓊（1976-），女，湖南桂陽(yáng)人，博士，哈爾濱工業(yè)大學(xué)副教授、博士生導(dǎo)師，主要研究方向?yàn)榱孔颖Ｃ芡ㄐ藕筇幚?、生物信息識(shí)別及安全、多媒體安全。