載體獨(dú)立的深度光照水印算法

陳浩，王鋒，張衛(wèi)明，俞能海

載體獨(dú)立的深度光照水印算法

陳浩1,2，王鋒1,2，張衛(wèi)明1,2，俞能海1,2

（1. 中國科學(xué)技術(shù)大學(xué)網(wǎng)絡(luò)空間安全學(xué)院，安徽 合肥 230001；2. 中國科學(xué)技術(shù)大學(xué)中國科學(xué)院電磁空間信息重點(diǎn)實(shí)驗(yàn)室，安徽 合肥 230001）

隨著多媒體技術(shù)的發(fā)展與完善，數(shù)字產(chǎn)品的版權(quán)保護(hù)需求逐步增大。數(shù)字水印是一種保護(hù)數(shù)字產(chǎn)品版權(quán)的有效手段，它一般是通過在數(shù)字載體（如文本、圖像等）中添加重要標(biāo)識信息（即數(shù)字水?。?，使載體帶有標(biāo)識信息，但又不影響載體的正常使用。常見的數(shù)字水印嵌入方案是通過采用特定算法對載體進(jìn)行修改來嵌入水印信息的。而在實(shí)際的應(yīng)用場景中，有很多待保護(hù)的圖像或物件（如藝術(shù)畫作等）是不允許修改的?；诖吮尘埃岢隽艘环N新的載體獨(dú)立的深度光照水印算法，在嵌入端通過可見光調(diào)制的方法來表達(dá)水印信息，從而實(shí)現(xiàn)在不對原始載體進(jìn)行修改的前提下進(jìn)行水印信息嵌入，并達(dá)到版權(quán)保護(hù)的目的。通過對人眼視覺系統(tǒng)進(jìn)行分析，提出了基于交替式投影的水印模板圖案來嵌入水印信息，使嵌入過程既不需要對原始載體進(jìn)行修改，也不會影響人眼的視覺感官。而在提取端，設(shè)計了基于殘差連接的水印提取網(wǎng)絡(luò)，對采集的水印圖像經(jīng)透視變換后送入該網(wǎng)絡(luò)來進(jìn)行水印信息提取。實(shí)驗(yàn)在多種條件下進(jìn)行，并與3種基準(zhǔn)算法進(jìn)行了對比。實(shí)驗(yàn)結(jié)果表明，所提算法生成的水印圖像具有較小的視覺失真，且對“投影?拍攝”過程具有很強(qiáng)的魯棒性。在不同距離、角度、光照等條件下，水印提取網(wǎng)絡(luò)具有很高的水印信息提取準(zhǔn)確率，且相比其他通用網(wǎng)絡(luò)具有一定的優(yōu)越性。

數(shù)字水印；人眼視覺系統(tǒng)；光照水??；深度神經(jīng)網(wǎng)絡(luò)

0 引言

網(wǎng)絡(luò)技術(shù)的快速發(fā)展加快了圖像、音視頻等數(shù)字產(chǎn)品的傳播效率，但同時引起了非法復(fù)制的版權(quán)糾紛問題。因此，在這些環(huán)境中數(shù)字產(chǎn)品的產(chǎn)權(quán)保護(hù)成為緊迫問題，而應(yīng)用于數(shù)字圖像產(chǎn)權(quán)保護(hù)的數(shù)字水印技術(shù)被廣泛研究[1-12]。數(shù)字水印技術(shù)一般是通過對數(shù)字載體進(jìn)行修改，實(shí)現(xiàn)水印信息的嵌入。而為了實(shí)現(xiàn)對不同傳輸信道失真的魯棒性，往往會有不同的嵌入方式。但這些方案的共同缺點(diǎn)在于嵌入過程本身需要對載體進(jìn)行修改。當(dāng)面臨無法修改載體的水印需求時，這些方案的用處往往受限。例如，當(dāng)需要保護(hù)博物館中的藝術(shù)畫作時，無法對藝術(shù)畫作本身進(jìn)行修改，實(shí)現(xiàn)一種與載體獨(dú)立的數(shù)字水印方案尤為重要。

本文著眼于“載體獨(dú)立”的應(yīng)用需求，旨在提供一種無須修改載體的數(shù)字水印方案來保護(hù)數(shù)字媒體的版權(quán)，即基于光照水印的技術(shù)[13-21]。光照水印指的是將含水印信息的光照投射到目標(biāo)區(qū)域，當(dāng)有光照的載體被相機(jī)拍攝時，能從采集到的圖像中提取出嵌入的水印信息。該方法通常用一些特殊設(shè)計的光照模式表示水印信息，并將這些模式投射到目標(biāo)圖像上，實(shí)現(xiàn)水印的嵌入過程。而在提取端，通過一定的圖像處理過程，將投影的水印模式從拍攝的圖像中提取出來，從而實(shí)現(xiàn)水印信息解碼。

理想的光照水印應(yīng)該同時滿足3個特性：高視覺質(zhì)量、高嵌入效率和傳輸魯棒性。對于視覺質(zhì)量的需求，光照投影的前后不應(yīng)有明顯的視覺失真，要達(dá)到足夠的透明性。而嵌入效率的需求指的是水印嵌入端應(yīng)盡可能地避免過多的計算，從而滿足高效的嵌入過程。傳輸魯棒性指的是對算法解碼端的要求，水印在嵌入過后還經(jīng)過了投影?拍攝信道，需要保證在經(jīng)歷了失真后仍然能夠進(jìn)行提取。

傳統(tǒng)的光照水印方案主要是基于頻域信息變換來實(shí)現(xiàn)的，不能同時滿足上述3個特性。手機(jī)拍攝信道較為復(fù)雜，傳統(tǒng)的圖像處理操作不能很好地模擬傳輸信道的失真，這導(dǎo)致如果想要得到較高的提取準(zhǔn)確率，就得保證較大的嵌入強(qiáng)度，但這樣又會引起較差的視覺質(zhì)量。因此，算法的關(guān)鍵在于如何更好地兼顧視覺質(zhì)量和傳輸魯棒性。

為了滿足視覺質(zhì)量的需求，本文設(shè)計了一種基于人眼視覺模型（HVS，human visual system）的水印嵌入方案，當(dāng)以較高的頻率觀察顏色互補(bǔ)的彩色區(qū)域時，人眼會出現(xiàn)視覺疲勞，在大腦中自動對彩色區(qū)域進(jìn)行加工，使整體區(qū)域看起來趨于一致。因此，本文設(shè)計了一種基于顏色分解的新編碼方案，該方案通過創(chuàng)建兩個互補(bǔ)顏色的水印圖案來編碼“0/1”比特。為了從錯綜復(fù)雜的信道失真中恢復(fù)出嵌入的水印信號，本文選擇使用深度神經(jīng)網(wǎng)絡(luò)作為水印的提取端。利用深度學(xué)習(xí)強(qiáng)大的特征提取能力，通過卷積神經(jīng)網(wǎng)絡(luò)的輸出分析水印模板類別，從而實(shí)現(xiàn)消息的準(zhǔn)確提取。

為了展示所提方法的有效性和優(yōu)越性，本文在不同的拍攝環(huán)境（如不同的距離、不同角度和不同光照強(qiáng)度）下進(jìn)行了大量的實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，該方法在保證視覺質(zhì)量的同時，始終可以實(shí)現(xiàn)出色的魯棒性。

綜上所述，本文的主要貢獻(xiàn)有以下3個方面。

1) 提出了一種基于深度學(xué)習(xí)的光照水印方案，該方案能有效地實(shí)現(xiàn)載體無關(guān)的水印嵌入過程，并應(yīng)用于藝術(shù)作品的版權(quán)保護(hù)。

2) 結(jié)合BCH（Bose-Chaudhuri-Hocquenghem）編碼，設(shè)計了一種高效的水印疊加嵌入方案，并設(shè)計了基于深度神經(jīng)網(wǎng)絡(luò)的提取方案，兩者結(jié)合能有效地兼顧水印的魯棒性與透明性。

3) 大量實(shí)驗(yàn)表明，本文提出的算法在魯棒性和視覺質(zhì)量上優(yōu)于已有算法。

1 相關(guān)工作

其中

此后，Ishikawa[16]等提出不同的光照水印模板，利用沃爾什?哈達(dá)瑪變換（WHT，Walsh- Hadmard transform）反變換生成對應(yīng)的水印空域模板，如式(5)所示。

其中，wh(,)表示沃爾什?哈達(dá)瑪矩陣分量。

Uehira[17]等提出了視覺質(zhì)量更好、水印提取誤碼率更低的色差調(diào)制方案。在頻域模板經(jīng)過DCT反變換后并沒有直接進(jìn)行投射，而是將變換后的圖像當(dāng)作YCbCr色彩空間中的Cb通道，與固定數(shù)值的Y、Cr通道組合后變換成RGB圖像，最后通過投影儀投射到目標(biāo)圖像上。

前述方法僅考慮提取信息的準(zhǔn)確性，這使嵌入的視覺質(zhì)量較差，而降低嵌入強(qiáng)度時，頻域的嵌入方式又不能很好地抵抗拍照失真，無法滿足光照水印的需求。

2 基于深度學(xué)習(xí)的光照水印方法

光照水印系統(tǒng)框架如圖1所示，該框架包含兩個部分（水印嵌入過程和水印提取過程），左上方為水印信息編碼排布過程，右側(cè)為水印提取網(wǎng)絡(luò)，其主要結(jié)構(gòu)為ResNet殘差網(wǎng)絡(luò)。首先使用BCH[22]編碼和循環(huán)冗余校驗(yàn)[23]（CRC，cyclical redundancy check）對消息序列進(jìn)行編碼，然后對編碼后的消息序列重新排列以生成要嵌入的消息矩陣。根據(jù)消息矩陣生成光照模板并對光源進(jìn)行調(diào)制，最后照射到目標(biāo)圖像上。在提取方面，首先對拍攝圖像進(jìn)行透視變換矯正，然后將矯正的圖像輸入殘差神經(jīng)網(wǎng)絡(luò)進(jìn)行提取以恢復(fù)消息矩陣，之后對提取的消息矩陣進(jìn)行BCH解碼和CRC校驗(yàn)。若未檢測到CRC錯誤，則為最終消息序列。若出現(xiàn)CRC錯誤，則重新選擇消息序列并進(jìn)行相同的解碼過程，直到未檢測到錯誤或嘗試了所有組合。

圖1 光照水印系統(tǒng)框架

Figure 1 Optical watermarking system framework

2.1 消息矩陣生成

2.2 基于疊加的水印嵌入

Figure 2 Watermark pattern generation process

其中

由于只對單通道進(jìn)行調(diào)制，所以不同數(shù)據(jù)生成的塊色度差距會很小，這樣“0/1”比特對應(yīng)模板圖案之間的差距幾乎不可見，反映到透射光源中也幾乎與普通單色光沒有差別。當(dāng)使用足夠頻率的光源交替播放互補(bǔ)水印圖案時，嵌入的水印圖像很難被人類視覺系統(tǒng)察覺到，同時它可以很容易地被神經(jīng)網(wǎng)絡(luò)提取出來。

2.3 水印提取

當(dāng)使用手機(jī)拍攝含水印的圖像時，水印圖像隨著圖像載體本身被手機(jī)的攝像頭記錄下來。而在拍攝過程中，由于拍攝角度不同，圖像會產(chǎn)生不同的透視畸變，所以在水印提取之前，需要對失真圖像進(jìn)行透視變換。透視變換公式為

2.4 信息解碼

圖3 水印提取網(wǎng)絡(luò)

3 實(shí)驗(yàn)與分析

從拍攝圖像數(shù)據(jù)中裁剪出比周圍區(qū)域更亮的水印嵌入?yún)^(qū)域，將裁減區(qū)域修正成大小為512×512像素的正方形后切割成16×16個圖像塊，每塊大小為32×32像素。100張圖片共切割成25 600個圖像塊，即25 600個二進(jìn)制水印數(shù)據(jù)，隨機(jī)選擇其中90%（23 040塊）作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集，剩余10%作為驗(yàn)證集。選擇與本文算法最相關(guān)的DCTCode[15]、WHTCode[16]、Color-Difference[17]這3種水印算法作為對比算法。

3.1 視覺質(zhì)量比較

為了衡量嵌入水印圖像的視覺質(zhì)量，采用平均主觀意見分（MOS）來進(jìn)行測試。具體來說，為每種光照水印嵌入方案準(zhǔn)備16幅隨機(jī)圖像，然后要求50位觀察者從1（視覺質(zhì)量差）到5（視覺質(zhì)量好）進(jìn)行打分。從表1中可以發(fā)現(xiàn)本文所提算法的MOS遠(yuǎn)高于其他算法。圖4展示了視覺質(zhì)量的對比效果。

圖4 視覺質(zhì)量的對比效果

Figure 4 Visual quality comparison

表1 不同算法視覺質(zhì)量比較

從圖5可以看出，對比算法的效果圖中可以清晰地看到一些水印圖案形成的條紋，非常影響視覺效果。而本文算法充分利用人眼視覺的特性，將原本互補(bǔ)的水印圖案進(jìn)行抵消，從而達(dá)到更好的視覺效果。

3.2 魯棒性測試

為了測試算法在不同拍攝條件下的魯棒性，在不同的光照強(qiáng)度、拍攝距離、拍攝角度以及JPEG質(zhì)量因子的前提下進(jìn)行了拍照和提取實(shí)驗(yàn)。同時，在相同條件下將提取出的水印與原始水印進(jìn)行誤碼率計算，得到的實(shí)驗(yàn)結(jié)果如表2～表5所示。

對于光照強(qiáng)度實(shí)驗(yàn)，本文選擇的光照強(qiáng)度為50～200 cd/m2（坎德拉/平方米），其中，數(shù)值越大，代表光照強(qiáng)度越強(qiáng)。將不同強(qiáng)度的光照射在載體圖片中，再使用手機(jī)拍攝后進(jìn)行提取水印，不同光照強(qiáng)度下的誤碼率如表2所示。由表2可知，隨著光照強(qiáng)度的增強(qiáng)，算法的誤碼率逐漸降低，在光照強(qiáng)度為200 cd/m2時誤碼率僅有3.24%，且對于50～200 cd/m2的光照強(qiáng)度，算法的誤碼率均小于10%。這意味著提取出的水印能被糾錯碼進(jìn)行糾錯。與此同時，在相同的光照強(qiáng)度下，本文算法相比其他算法有明顯的優(yōu)勢。對于不同拍攝距離下的實(shí)驗(yàn)，本文選擇的距離為30～70 cm。由表3可知，隨著拍攝距離增加，其他算法的誤碼率明顯上升，本文所提算法雖然也有上升，但仍在10%以內(nèi)，性能優(yōu)勢顯而易見。

表2 不同光照強(qiáng)度下的誤碼率

表3 不同拍攝距離下的誤碼率

對于拍攝角度實(shí)驗(yàn)，本文選擇在目標(biāo)圖片中心的上、下、左、右以15°、30°、40°的角度進(jìn)行拍攝。不同拍攝角度下的誤碼率如表4所示，在各個方向上都是角度越大，誤碼率越高，且本文算法誤碼率均低于其他算法。其中，拍攝角度大于15°時誤碼率上升明顯，一方面是由于水印模板失真嚴(yán)重，另一方面是提取網(wǎng)絡(luò)沒有以大角度拍攝下的數(shù)據(jù)集進(jìn)行訓(xùn)練。因此要使其對大角度拍攝更加魯棒，還需添加更多樣的訓(xùn)練數(shù)據(jù)集。

表4 不同拍攝角度下的誤碼率

表5 不同JPEG壓縮質(zhì)量因子下的誤碼率

3.3 提取網(wǎng)絡(luò)比較

為了凸顯本文提取網(wǎng)絡(luò)的優(yōu)勢，對本文網(wǎng)絡(luò)和現(xiàn)存流行的分類網(wǎng)絡(luò)（GoogLeNet[27]、MobileNet[28]、LeNet[29]、PNASNet[30]、VGGNet[31]、EfficientNet[32]、DenseNet[33]、DPN[34]）進(jìn)行了提取實(shí)驗(yàn)，并進(jìn)行對比。為了公平比較，對所有網(wǎng)絡(luò)結(jié)構(gòu)用相同的數(shù)據(jù)集進(jìn)行訓(xùn)練，得到的水印信息提取誤碼率如表6所示。

表6 不同網(wǎng)絡(luò)下水印信息提取誤碼率

由表6可知，本文提出的提取網(wǎng)絡(luò)誤碼率低于其他網(wǎng)絡(luò)，由于殘差網(wǎng)絡(luò)的跳連結(jié)構(gòu)能很好地保證特征的連續(xù)性，本文的提取網(wǎng)絡(luò)能有效提取出設(shè)計模板的特征。

5 結(jié)束語

本文提出了一種新的載體獨(dú)立的深度光照水印算法，以滿足載體無關(guān)條件下的水印嵌入和提取過程，從而能有效保護(hù)如博物館藝術(shù)畫作等載體的版權(quán)。出于對HVS的研究和嵌入效率的考慮，本文提出了一種基于空域疊加的水印表達(dá)和嵌入方案。利用光照模板表達(dá)水印信息投影到圖片上實(shí)現(xiàn)水印的嵌入過程。在提取端，為了抵抗拍攝過程產(chǎn)生的失真，本文設(shè)計了基于殘差模塊的神經(jīng)網(wǎng)絡(luò)來進(jìn)行模板的分類，即消息的提取。實(shí)驗(yàn)表明，所提算法比現(xiàn)存的流行算法有較高的魯棒性，且在水印的不可見性上有較大的優(yōu)勢。

[1] COX I J, KILIAN J, LEIGHTON F T, et al. Secure spread spectrum watermarking for multimedia[J]. IEEE Transactions on Image Processing, 1997, 6(12): 1673-1687.

[2] SWANSON M D, KOBAYASHI M, TEWFIK A H. Multimedia data-embedding and watermarking technologies[J]. Proceedings of the IEEE, 1998, 86(6): 1064-1087.

[3] HARTUNG F, KUTTER M. Multimedia watermarking techniques[J]. Proceedings of the IEEE, 1999, 87(7): 1079-1107.

[4] LANGELAAR G C, SETYAWAN I, LAGENDIJK R L. Watermarking digital image and video data. A state-of-the-art overview[J]. IEEE Signal Processing Magazine, 2000, 17(5): 20-46.

[5] LIU Z. New trends and challenges in digital watermarking technology: applications for printed materials[M]//Multimedia Watermarking Techniques and Applications. Auerbach Publications. 2006: 257-305.

[6] HAITSMA J, KALKER T. A watermarking scheme for digital cinema[C]//Proceedings of Proceedings 2001 International Conference on Image Processing (Cat. No.01CH37205). 2001: 487-489.

[7] Digital Cinema Initiatives. Digital Cinema System specificationv1.2[R]. 2008.

[8] 常玉紅, 黃惠芬, 王志紅. 檢測圖像篡改的脆弱水印技術(shù)[J]. 網(wǎng)絡(luò)與信息安全學(xué)報, 2017, 3(7): 47-52.

CHANG Y H, HUANG H F, WANG Z H. Fragile watermarking technique for detecting image[J]. Chinese Journal of Network and Information Security, 2017, 3(7): 47-52.

[9] 劉文星, 陳偉, 劉淵. 圖像四叉樹剖分下的自適應(yīng)數(shù)字水印算法[J].網(wǎng)絡(luò)與信息安全學(xué)報, 2017, 3(12): 40-47.

LIU W X, CHEN W, LIU Y. Adaptive digital watermarking algorithm under image quad-tree partition[J]. Chinese Journal of Network and Information Security, 2017, 3(12): 40-47.

[10] 王志紅, 黃惠芬, 常玉紅. 基于SVD分解和Hadamard變換的圖像半脆弱水印技術(shù)[J]. 網(wǎng)絡(luò)與信息安全學(xué)報, 2017, 3(5): 26-31.

WANG Z H, HUANG H F, CHANG Y H. Semi-fragile watermarking technology based on SVD decomposition and Hadamard transform[J]. Chinese Journal of Network and Information Security, 2017, 3(5): 26-31.

[11] GOHSHI S, NAKAMURA H, ITO H, et al. A new watermark surviving after re-shooting the images displayed on a screen[C]// Knowledge-Based Intelligent Information and Engineering Systems, 2005: 1099-1107.

[12] OKIHARA K, INAZUMI Y, KINOSHITA H. A watermarking method that improves the relationship between of the number of embedded bits and image degradation[J]. The Journal of the Institute of Image Information and Television Engineers, 2004, 58(10): 1465-1467.

[13] UEHIRA K, SUZUKI K, IKEDA H. Does optoelectronic watermark technology migrate into business and industry in the near Future? Applications of optoelectronic watermarking technology to new business and industry systems utilizing flat-panel displays and smart devices[J]. IEEE Transactions on Industry Applications, 2016, 52(1): 511-520.

[14] UEHIRA K, SUZUKI K, IKEDA H. Applications of optoelectronic watermarking technique to new business and industry systems utilizing flat-panel displays and smart devices[C]//Proceedings of 2014 IEEE Industry Application Society Annual Meeting. 2014: 1-9.

[15] UEHIRA K, SUZUKI M. Digital watermarking technique using brightness-modulated light[C]//Proceedings of 2008 IEEE International Conference on Multimedia and Expo. 2008: 257-260.

[16] ISHIKAWA Y, UEHIRA K, YANAKA K. Practical evaluation of illumination watermarking technique using orthogonal transforms[J]. Journal of Display Technology, 2010, 6(9): 351-358.

[17] UEHIRA K, UNNO H. Effects of JPEG compression on reading optical watermarking embedded by using color-difference modulation[J]. Journal of Computer and Communications, 2018, 6(1): 56-64.

[18] OSHITA K, UNNO H, UEHIRA K. Optically written watermarking technology using temporally and spatially luminance-modulated light[J]. Electronic Imaging, 2016, 28(8): 1-6.

[19] UNNO H, UEHIRA K. Lighting technique for attaching invisible information onto real objects using temporally and spatially color-intensity modulated light[J]. IEEE Transactions on Industry Applications, 2020, 56(6): 7202-7207.

[20] UNNO H, YAMKUM R, BUNPORN C, et al. A new displaying technology for information hiding using temporally brightness modulated pattern[J]. IEEE Transactions on Industry Applications, 2017, 53(1): 596-601.

[21] UNNO H, UEHIRA K. Display technique for embedding information in real object images using temporally and spatially luminance-modulated light[J]. IEEE Transactions on Industry Applications, 2017, 53(6): 5966-5971.

[22] BOSE R C, RAY-CHAUDHURI D K. On a class of error correcting binary group codes[J]. Information and Control, 1960, 3(1): 68-79.

[23] PETERSON W W, BROWN D T. Cyclic codes for error detection[J]. Proceedings of the IRE, 1961, 49(1): 228-235.

[24] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. 2016: 770-778.

[25] LIN T Y, MAIRE M, BELONGIE S, et al. Microsoft COCO: common objects in context[C]//Computer Vision – ECCV 2014. 2014: 740-755.

[26] The USC-SIPI Image Database[EB].

[27] SZEGEDY C, LIU W, JIA Y Q, et al. Going deeper with convolutions[C]//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. 2015: 1-9.

[28] YANG T J, CHEN Y H, SZE V. Designing energy-efficient convolutional neural networks using energy-aware pruning[C]//Pro- ceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. 2017 : 6071-6079.

[29] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[30] LIU C, ZOPH B, NEUMANN M. Progressive neural architecture search[J]. Computer Vision and Pattern Recognition, 2017.

[31] SIMONYAN K, ZISSERMAN A. Very Deep convolutional networks for large-scale visual recognition[J]. Computer Vision and Pattern Recognition, 2014.

[32] TAN M, LE Q. EfficientNet: rethinking model scaling for convolutional neural networks[C]// ICML. 2019.

[33] HUANG G, LIU Z, VAN DER MAATEN L, et al. Densely connected convolutional networks[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. 2017: 2261-2269.

[34] GALLA T. Theory of neural information processing systems[J]. Journal of Physics A, 2006, 39: 3849.

Carrier-independent deepopticalwatermarking algorithm

CHEN Hao1,2, WANG Feng1,2, ZHANG Weiming1,2, YU Nenghai1,2

1. School of Cyber Science and Technology, University of Science and Technology of China, Hefei 230001, China 2. CAS Key Laboratory of Electromagnetic Space Information, University of Science and Technology of China, Hefei 230001, China

With the development of multimedia techniques, the demand for copyright protection of digital products has also gradually risen. Digital watermarking is an effective means to protect the copyright of digital products. It is generally made by adding important identification information (i.e., digital watermark) to a digital carrier (e.g., text, image, etc.), so that the carrier carries the identification information but does not affect the normal use of the carrier. The common digital watermark embedding scheme is to embed the watermark information by modifying the carrier via specific algorithms. In the actual application scenarios, there are many images or objects to be protected (such as art paintings, etc.) that are not allowed to be modified. Based on this background, a new carrier-independent deep optical watermarking algorithm was proposed, which can realize watermark information embedding without modifying the original carrier and achieve the purpose of copyright protection. Specifically, a new watermark template expression scheme at the embedding end was proposed, which expressed the watermark information by visible light modulation. By analyzing the visual system of human eyes, a watermark template pattern based on alternating projection was proposed to embed the watermark information, which made the embedding process neither require modification of the original carrier nor affect the visual senses of human eyes. At the extraction end, a watermark extraction network based on residual connection was designed, and the captured watermarked images were fed into this network after perspective transformation to extract the watermark information. The experiments were conducted under various conditions and comparisons with three baseline algorithms were made. The experimental results show that the proposed algorithm generates watermarked images with less visual distortion and is robust to the "projecting-shooting" process. The watermark extraction network has high accuracy in extracting watermark information at different distances, angles and illumination conditions, and has certain advantages over other general networks.

digital watermarking, human visual system, optical watermarking, deep neural network

The National Natural Science Foundation of China(U20B2047, 62121002)

陳浩, 王峰, 張衛(wèi)明, 等. 載體獨(dú)立的深度光照水印算法[J]. 網(wǎng)絡(luò)與信息安全學(xué)報, 2022, 8(4): 110-118.

TP309.2

A

10.11959/j.issn.2096?109x.2022056

陳浩（1993? ），男，遼寧本溪人，中國科學(xué)技術(shù)大學(xué)碩士生，主要研究方向?yàn)樾畔㈦[藏。

王鋒（1996? ），男，安徽潛山人，中國科學(xué)技術(shù)大學(xué)碩士生，主要研究方向?yàn)閿?shù)字水印和深度學(xué)習(xí)。

張衛(wèi)明（1976? ），男，河北定州人，博士，中國科學(xué)技術(shù)大學(xué)教授、博士生導(dǎo)師，主要研究方向?yàn)樾畔㈦[藏、密碼學(xué)、媒體內(nèi)容安全和人工智能安全。

俞能海（1964? ），男，安徽無為人，博士，中國科學(xué)技術(shù)大學(xué)教授、博士生導(dǎo)師，主要研究方向?yàn)閳D像視頻處理與分析、計算機(jī)視覺與模式識別、信息隱藏與媒體內(nèi)容安全、信息檢索與數(shù)據(jù)挖掘。

2022?02?08；

2022?05?19

俞能海，ynh@ustc.edu.cn

國家自然科學(xué)基金(U20B2047, 62121002)

CHEN H, WANG F, ZHANG W M, et al. Carrier-independent deep optical watermarking algorithm[J]. Chinese Journal of Network and Information Security, 2022, 8(4): 110-118.