空頻域結(jié)合的多尺度擴(kuò)張卷積注意力數(shù)字水印

孫劉杰，劉磊

空頻域結(jié)合的多尺度擴(kuò)張卷積注意力數(shù)字水印

孫劉杰，劉磊

（上海理工大學(xué)，上海 200125）

將深度學(xué)習(xí)應(yīng)用于數(shù)字水印，在隱藏信息的同時，不斷提高圖像的不可見性和魯棒性，提出一種結(jié)合空間域和頻率域的多尺度擴(kuò)張卷積注意力數(shù)字水印算法（SF-ACA）。SF-ACA算法的網(wǎng)絡(luò)框架包含由ACA和SFE構(gòu)成的生成器、解碼器2個部分組成。其中，ACA網(wǎng)絡(luò)中的MCA模塊將3個不同擴(kuò)張率的擴(kuò)張卷積對載體圖像以多尺度融合的方式進(jìn)行特征提取，使載體圖像能更有效地隱藏水印信息；SFE結(jié)合快速傅里葉卷積塊，在空域和頻域中通過不同大小的感受野捕獲互補(bǔ)信息，更精準(zhǔn)地獲取水印的特征信息，增強(qiáng)了秘密信息的不可見性和魯棒性。本文提出的水印方法在隱藏與載體圖像尺寸相等的三通道彩色圖像時，PSNR值為38.81 dB，較UDH方法的PSNR值提高了7.78%。水印圖像的隱藏容量是4 096比特，該算法與UDH方法在Dropout、Gaussian噪聲、JPEG攻擊下，提取精度分別提升了5.38%、10.5%、1.65%，滿足不可見性要求的同時實(shí)現(xiàn)了強(qiáng)魯棒性。本文方法在隱藏容量較大時，不可見性和魯棒性都達(dá)到了較好的性能。

深度學(xué)習(xí)；水?。蛔⒁饬C(jī)制；擴(kuò)張卷積；傅里葉變換

隨著大數(shù)據(jù)時代的來臨，數(shù)字通信和多媒體數(shù)據(jù)日益普及，數(shù)字水印在媒體通信安全、解決數(shù)字作品的版權(quán)糾紛[1]和識別數(shù)字作品的真?zhèn)畏矫鎇2]發(fā)揮了巨大作用。數(shù)字水印[3]技術(shù)是將信息嵌入圖片、音頻、視頻等數(shù)字載體中，且不影響原載體的使用價值，同時難以被發(fā)現(xiàn)和篡改。即使圖像被第三方截獲，除了發(fā)送者和接收者之外，沒有人能夠正確識別隱藏信息。出于安全考慮，數(shù)字水印通常要求與原始圖像無法進(jìn)行區(qū)分。近年來，數(shù)字水印技術(shù)在包裝印刷防偽[4]、信息傳輸[5]、版權(quán)保護(hù)[6]等領(lǐng)域具有重要的應(yīng)用價值。基于深度學(xué)習(xí)的數(shù)字水印技術(shù)已經(jīng)成為水印技術(shù)領(lǐng)域的研究熱點(diǎn)。Zhu等[7]于2018提出了基于深度學(xué)習(xí)的端對端盲水印方法HiDDeN，該篇論文在頂級會議ECCV上發(fā)表。在HiDDeN中，基于深度學(xué)習(xí)的數(shù)字水印網(wǎng)絡(luò)框架有編碼層、解碼層和噪聲層，該算法相較于傳統(tǒng)水印方法在魯棒性方面有了巨大提升。2020年，Tancik等[8]提出了一種的新的基于深度學(xué)習(xí)的數(shù)字水印算法StegaStamp，該方法實(shí)現(xiàn)了更真實(shí)的圖像攻擊下（例如圖像打印或者攝屏攻擊下）的水印魯棒性?？梢?，將深度學(xué)習(xí)應(yīng)用于數(shù)字水印技術(shù)中在魯棒性方面有大大的提升。

目前，數(shù)字水印技術(shù)存在的問題是如何做到較高容量的同時，能夠抵抗范圍更廣的攻擊，擁有強(qiáng)魯棒性[9]和更好的不可見性。本文基于空頻兩域的數(shù)字水印技術(shù)研究，能將一幅彩色圖像隱藏在另一幅同等大小的彩色圖像中，是一種更高效、更高容量、更好的不可見性、魯棒性更強(qiáng)的數(shù)字水印方法。在數(shù)字水印領(lǐng)域，深度學(xué)習(xí)模型提供了適應(yīng)性強(qiáng)的通用框架。深度學(xué)習(xí)可以增強(qiáng)使用數(shù)字水印技術(shù)嵌入信息的安全性。由于深層神經(jīng)模型的高度非線性，嵌入的信息很難被檢索到。本文提出的空頻域結(jié)合的多尺度擴(kuò)張卷積注意力數(shù)字水印方法不僅更安全，應(yīng)用范圍更廣，而且針對對抗性攻擊和失真具有更強(qiáng)的魯棒性，還能夠?qū)?shù)據(jù)更隱蔽地嵌入進(jìn)圖像中?；谏疃葘W(xué)習(xí)的數(shù)字水印模型的持續(xù)發(fā)展將極大地提高數(shù)字IP保護(hù)的有效性和安全性，以及安全保密通信，具有重要的理論意義及應(yīng)用價值。

1 相關(guān)工作

注意力機(jī)制通過對特征圖中的可用信息進(jìn)行提取，然后按照得分對特征加權(quán)，以突出重要特征對下游模型或模塊的影響，抑制無用信息，這種優(yōu)化模型性能的做法已經(jīng)廣泛應(yīng)用于圖像處理領(lǐng)域。2020年Yu等[10]提出了基于注意力的CNN模型的數(shù)字水印方法ABDH。注意力機(jī)制有助于生成模型感知載體圖像的顯眼和不顯眼的區(qū)域，注意力機(jī)制可以感知更多不明顯的像素，以提高魯棒性。

通常情況下，為了使數(shù)字水印有更好的魯棒性，會在一定程度上導(dǎo)致水印圖像的質(zhì)量下降。采取在頻域[11]中進(jìn)行數(shù)據(jù)隱藏的方式來實(shí)現(xiàn)魯棒性和不可見性之間的平衡。將秘密信息隱藏到載體圖像經(jīng)過頻域變換的低頻系數(shù)部分，可以提高魯棒性；或者將秘密信息隱藏到載體圖像經(jīng)過離散余弦變換的高頻系數(shù)部分，提高不可見性。2021年Jing等提出HiNet[12]，這是一種在小波域隱藏秘密信息的深度學(xué)習(xí)數(shù)字水印方法，這種方法的安全性很好，但魯棒性待提高。在魯棒性方面與傳統(tǒng)水印方法相比有了很大提高，但隱藏信息受限于二進(jìn)制信息，且隱藏容量小。Zhang等[13]在2020年提出的一種基于深度學(xué)習(xí)的端對端的通用型數(shù)字水印模型，將完整的彩色圖像隱藏在另一幅彩色圖像中。在迭代時使用分割策略，從而加快收斂速度并顯著提高性能，在訓(xùn)練階段主動加入噪聲攻擊來解決魯棒性這個問題。即便如此，UDH在均勻隨機(jī)噪聲干擾下魯棒性依然較差。

綜上可以看出，現(xiàn)有的數(shù)字水印方法具有抗攻擊能力弱和無法兼顧水印容量與不可見性的問題，為了更高效、更高容量地實(shí)現(xiàn)水印加密的不可見性和強(qiáng)魯棒性。本文提出的網(wǎng)絡(luò)框架是一種探索深度學(xué)習(xí)的數(shù)字水印方法，本方法可以進(jìn)行水印嵌入和提取。通過結(jié)合擴(kuò)張卷積、注意力機(jī)制以及編碼過程結(jié)合頻域和空域?qū)D像進(jìn)行處理，實(shí)現(xiàn)了更好的魯棒性和不可感知性。

2 算法設(shè)計

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

圖1 本文提出的SF-ACA水印框架的框圖

2.1.1 擴(kuò)張卷積注意網(wǎng)絡(luò)

注意力模塊有助于生成模型感知載體圖像的顯眼和不顯眼的區(qū)域。注意力模塊在深度學(xué)習(xí)中，使網(wǎng)絡(luò)學(xué)習(xí)中的重要特征被強(qiáng)調(diào)，不重要特征被忽略。在不使用注意力模型時，提取到的信息流以相同的權(quán)重向前傳遞，但如果有已知的先驗(yàn)信息，根據(jù)先驗(yàn)信息可以做到抑制某些無效信息的流動，以及關(guān)注某些關(guān)鍵信息。同時，通過多尺度的擴(kuò)張卷積，來使卷積核更加密集并擴(kuò)大感受野，從而達(dá)到提升水印圖像質(zhì)量和增強(qiáng)魯棒性的作用。

圖2 多尺度擴(kuò)張卷積模塊

Fig.2 Multi-scale dilation convolution block

注：=1、2、5表示3個擴(kuò)張卷積塊的擴(kuò)張率分別是1、2、5。

2.1.2 編碼網(wǎng)絡(luò)

本文提出的編碼網(wǎng)絡(luò)是一種空域與頻域相結(jié)合的網(wǎng)絡(luò)，使秘密圖像在被處理的過程中，輸入進(jìn)網(wǎng)絡(luò)并進(jìn)行一系列的卷積與反卷積。由于普通卷積感受野有限，不能捕獲到全局信息，本文在網(wǎng)絡(luò)的第5層和第6層利用了快速傅里葉卷積塊（FFC）。FFC的架構(gòu)如圖3所示。從理論上講，相互連接的2條路徑組成FFC，空間路徑在部分輸入特征信道上進(jìn)行普通卷積，光譜路徑在光譜域中運(yùn)行。每條路徑捕獲具有不同感受野的互補(bǔ)信息。被捕獲的信息在內(nèi)部進(jìn)行交換。在卷積過程中不斷交換全局和局部分支信息流，擴(kuò)大感受野，提高捕獲全局信息的能力。

將經(jīng)過FFC的張量的輸入通道和輸出通道設(shè)置為相同的數(shù)量，參數(shù)∈[0, 1]控制全局分支與局部分支在模塊中使用的通道比率。將FFC用傅里葉變換到頻域，在頻域內(nèi)做卷積，然后再通過傅里葉逆變換進(jìn)行處理。FFC包含4個部分：局部到局部，局部到全局，全局到局部，全局到全局。前3部分都是使用3×3的標(biāo)準(zhǔn)卷積實(shí)現(xiàn)的，只有最后一部分是使用頻域變換。通過路徑間轉(zhuǎn)換獲得信息，以充分利用多尺度感受野。

2.1.3 解碼網(wǎng)絡(luò)

2.2 損失函數(shù)

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)部分介紹了實(shí)驗(yàn)裝置、參數(shù)設(shè)置、評估性能指標(biāo)。另外，為了驗(yàn)證多尺度擴(kuò)張卷積注意模塊以及快速傅里葉卷積對SF-ACA水印算法所提供的有效性，還完成了相關(guān)消融實(shí)驗(yàn)和泛化能力實(shí)驗(yàn)，并進(jìn)行了分析。在對比實(shí)驗(yàn)中，本文的水印算法與現(xiàn)有的數(shù)字水印算法HiDDeN、UDH、CDWT[16]和IDEAS[17]進(jìn)行了對比分析。選擇這些水印算法進(jìn)行對比的原因是在端對端的深度學(xué)習(xí)數(shù)字水印技術(shù)研究中，這些算法獲得了較好的不可見性、魯棒性和大容量嵌入等性能。

3.1 實(shí)驗(yàn)設(shè)置

將SF-ACA網(wǎng)絡(luò)搭建在Pytorch平臺上。模型分別在數(shù)據(jù)集ImageNet[18]和MIRFLICKR[19]上進(jìn)行訓(xùn)練，用2 000張圖像進(jìn)行驗(yàn)證。在2 000幅圖像的測試集上評估了具有最佳驗(yàn)證性能的圖像。訓(xùn)練數(shù)據(jù)集中的圖像被隨機(jī)裁剪，然后被縮放到128×128的大小，再進(jìn)行隨機(jī)翻轉(zhuǎn)之后將其傳遞給編碼器，設(shè)計這些轉(zhuǎn)換是為了增強(qiáng)模型的魯棒性。用來測試的圖像尺寸也是128×128，且在測試時經(jīng)過隨機(jī)變換或裁切，以驗(yàn)證其抗攻擊能力。用來測試的圖像大小為128×128，且在測試時經(jīng)過隨即變換或裁切，以驗(yàn)證其魯棒性。Adam[20]優(yōu)化器使用默認(rèn)超參數(shù)，學(xué)習(xí)速率lr為0.001，F(xiàn)FC的通道比率=0.75。實(shí)驗(yàn)硬件方面，采用實(shí)驗(yàn)室工作站，配置如下：Intel? Core? i7-10700K CPU，8 G內(nèi)存，NVIDIA GeForce RTX 2070 SUPER/PCIe/SSE2顯卡。

3.2 評估性能指標(biāo)

從以下4個方面對SF-ACA數(shù)字水印算法進(jìn)行了評價與分析：不可見性，即載體圖像CI和水印圖像WI之間的相似性，使用峰值信噪比（PSNR）[21]、結(jié)構(gòu)相似性（SSIM）[22]、感知損失（LPIPS）和平均像素差異（APD）進(jìn)行評價，PSNR值和SSIM值與圖像質(zhì)量呈正相關(guān)，LPIPS[23]和APD則與圖像質(zhì)量呈負(fù)相關(guān)；提取準(zhǔn)確性，即秘密圖像SI和解碼圖像DI之間的相似性，使用提取準(zhǔn)確率進(jìn)行評價；容量，即載體圖像中能夠隱藏的數(shù)據(jù)量。

提取準(zhǔn)確率：

3.3 魯棒性實(shí)驗(yàn)

訓(xùn)練和測試在同一配置的硬件設(shè)備和同一數(shù)據(jù)集上進(jìn)行。從表1中可以看出，在JPEG噪聲攻擊下，SF-ACA在隱藏256位的信息量時的解碼準(zhǔn)確率是92.8%，UDH和CDWT在隱藏256位的信息時解碼準(zhǔn)確率分別是91.19%、89.35%，HiDDeN隱藏信息量為30位時的解碼準(zhǔn)確率是63%。在隱藏1 024位的信息時，IDEAS解碼準(zhǔn)確率是57.81%，遠(yuǎn)低于SF-ACA的解碼準(zhǔn)確率74.18%。顯而易見，由表1可知，控制變量下SF-ACA的提取準(zhǔn)確率要明顯優(yōu)于HiDDeN、UDH、IDEAS和CDWT。

表1 HiDDeN、UDH、IDEAS、CDWT與SF-ACA解碼精度實(shí)驗(yàn)結(jié)果對比

Tab.1 Experimental result comparison of decoding accuracy of HiDDeN, UDH, IDEAS, and CDWT and SF-ACA

3.4 不可見性實(shí)驗(yàn)

SF-ACA是一種十分靈活的數(shù)字水印方法，載體圖像和秘密圖像不要求保持相同數(shù)量的通道。由于IDEAS和CDWT隱藏的是字符串內(nèi)容，本文的隱藏內(nèi)容是彩色圖像，前2個方法與本文隱藏內(nèi)容的類型不一致，因此并沒有在定性分析中對他們的實(shí)驗(yàn)結(jié)果進(jìn)行展示。SF-ACA和UDH的不可見性結(jié)果對比如圖4所示。不難看出，UDH的CI和WI之間的差異明顯，該方法的水印圖像質(zhì)量與SF-ACA之間存在較大差距，SF-ACA的CI和WI的PSNR值要優(yōu)于UDH，SF-ACA有著較好的圖像不可見性。圖4中，PSNRc表示CI與WI之間的峰值信噪比值，PSNRs表示SI與DI之間的峰值信噪比值。UDH方法下，PSNRc和PSNRs的值分別為36.36 dB和35.19 dB，SF-ACA的PSNRc和PSNRs的值分別為38.85 dB和35.95 dB。UDH的SI和DI之間的差值明顯大于SF-ACA的，說明SF-ACA的解碼精度要優(yōu)于UDH的解碼精度。圖5展示的是SF-ACA隱藏單幅圖像的不可見性，CI和WI之間的差異或SI和DI之間的差異被放大，以便更好地可視化?？梢钥闯鯟I和WI、SI和DI之間的差異都很小，難以被人眼察覺。在沒有顯著性能下降的情況下，SF-ACA可以在一個CI中可以隱藏多個SI。

圖4 UDH、SF-ACA的不可見性實(shí)驗(yàn)結(jié)果展示

圖5 SF-ACA隱藏單幅圖像時的不可見性

3.5 對不同數(shù)據(jù)集的泛化能力

實(shí)際應(yīng)用中，被使用的圖片可能來自各個行業(yè)和各個領(lǐng)域。因此，在使用數(shù)字水印的模型時，為了充分驗(yàn)證SF-ACA對新數(shù)據(jù)的泛化能力，本文除了在MIRFLICKR數(shù)據(jù)集上對SF-ACA進(jìn)行訓(xùn)練、驗(yàn)證和測試以外，還在大數(shù)據(jù)集ImageNet中對其進(jìn)行評估。同時，當(dāng)訓(xùn)練和驗(yàn)證所使用的圖片來自不同的數(shù)據(jù)集時，SF-ACA的網(wǎng)絡(luò)精度不受影響。這種模擬更接近實(shí)際的通信環(huán)境，數(shù)字水印模型無法在其實(shí)際應(yīng)用的圖像集上進(jìn)行檢測器模型的訓(xùn)練。圖6展示的是SF-ACA在MIRFLICKR數(shù)據(jù)集上進(jìn)行訓(xùn)練和SF-ACA在ImageNet數(shù)據(jù)集上進(jìn)行測試的圖片，顯而易見，即使訓(xùn)練和測試時使用不同的數(shù)據(jù)集，水印圖像和解碼圖像仍然有很好的表現(xiàn)，證明SF-ACA具有很好的泛化性。

圖6 SF-ACA在不同數(shù)據(jù)集上進(jìn)行訓(xùn)練時的表現(xiàn)

3.6 消融實(shí)驗(yàn)

SF-ACA網(wǎng)絡(luò)中用到了多尺度擴(kuò)張卷積注意力網(wǎng)絡(luò)（ACA）和快速傅里葉卷積。為了驗(yàn)證ACA和快速傅里葉卷積對SF-ACA網(wǎng)絡(luò)的有效性，本小節(jié)中通過改變所提出的SF-ACA網(wǎng)絡(luò)中的配置，以UDH為基線進(jìn)行了消融研究。定義2種變體：變體1，不使用多尺度擴(kuò)張卷積注意力網(wǎng)絡(luò)，僅使用快速傅里葉卷積；變體2，刪除快速傅里葉卷積，僅使用多尺度擴(kuò)張卷積注意力網(wǎng)絡(luò)。在相同的環(huán)境下訓(xùn)練了SF-ACA和2種變體，通過將他們的實(shí)驗(yàn)結(jié)果進(jìn)行對比，并分析了它們在不可見性和提取準(zhǔn)確性方面的性能。消融實(shí)驗(yàn)結(jié)果詳見表2，C、S分別表示表示CI與WI、SI與DI之間的實(shí)驗(yàn)結(jié)果，SF-ACA方法在圖像質(zhì)量方面的優(yōu)勢很明顯。

表2 SF-ACA 網(wǎng)絡(luò)、變體1、變體2的消融實(shí)驗(yàn)結(jié)果

Tab.2 Results of ablation experiments for SF-ACA network, variant 1, and variant 2

4 結(jié)語

本文提出了一個多尺度擴(kuò)張卷積注意力模塊ACA，通過多尺度擴(kuò)張卷積注意力對載體圖像進(jìn)行處理，部分無效信息的流動受到合理抑制，關(guān)鍵信息受到關(guān)注，有利于載體圖像獲得更有效的隱藏空間；在U-Net網(wǎng)絡(luò)上結(jié)合快速傅里葉卷積層搭建SFE編碼網(wǎng)絡(luò)，使秘密圖像在空間域和頻率域都可以通過不同感受野獲取互補(bǔ)信息，實(shí)現(xiàn)秘密圖像特征的跨尺度融合，有利于提高水印圖像的魯棒性和透明性。本文對所提出的算法進(jìn)行了嚴(yán)格評估，證明了它在現(xiàn)實(shí)場景中的實(shí)用性，并通過消融實(shí)驗(yàn)來證實(shí)了SF-ACA中結(jié)合多尺度擴(kuò)張卷積注意力模塊和傅里葉卷積的關(guān)鍵作用。實(shí)驗(yàn)結(jié)果顯示，SF-ACA在嵌入階段可以實(shí)現(xiàn)與載體圖像同等大小的大容量信息隱藏，其中APD值達(dá)到了2.49，相較于UDH方法降低了54.62%，LPIPS值為0.000 22，與UDH相比較降低了86.16%，SSIM、PSNR的值分別是0.979 1和38.81，與UDH方法相比分別提高了2.97%、7.78%，得到的水印圖像具有高度不可感知性。同時SF-ACA的解碼精度有優(yōu)越的表現(xiàn)，當(dāng)隱藏容量為4 096時進(jìn)行Gaussian噪聲攻擊，水印的提取準(zhǔn)確率仍然達(dá)到93.02%，足以證明本文方法有優(yōu)秀的魯棒性。SF-ACA在實(shí)現(xiàn)了較高的隱藏容量的同時，水印圖像還具有較好的不可見性及魯棒性。此外，SF-ACA能夠做到在單幅載體圖像中隱藏幅秘密圖像，并取得良好的圖像質(zhì)量。

[1] CHENG B, ZHANG B. Application of Robust Digital Watermarking Technology in Image Copyright Disputes[J]. Journal of Physics Conference Series, 2021, 1883(1): 012124.

[2] XU X D, YU X. A Network Digital Works Protection Method Based on Digital Watermarking and Intrusion Detection[C]// Proceedings of the 2020 International Conference on Cyberspace Innovation of Advanced Technologies, 2020: 582-586.

[3] COX I, MILLER M, BLOOM J, et al. Digital Watermarking[J]. Journal of Electronic Imaging, 2002, 11(3): 414-414.

[4] NGUYEN H, RETRAINT F, MORAIN-NICOLIER F, et al. A Watermarking Technique to Secure Printed Matrix Barcode—Application for Anti-Counterfeit Packaging[J]. IEEE Access, 2019, 7: 131839-131850.

[5] SAYAH M, MOHAMED REDOUANE K, KHALDI A. A Wavelet Based Medical Image Watermarking Scheme for Secure Transmission in Telemedicine Applications[J]. Microprocessors and Microsystems, 2022, 90(4): 104490.

[6] WANG B W, SHI J W, WANG W S, et al. Image Copyright Protection Based on Blockchain and Zero-Watermark[J]. IEEE Transactions on Network Science and Engineering, 2022, 9(4): 1.

[7] ZHU J, KAPLAN R, JOHNSON J, et al. Hidden: Hiding Data with Deep Networks[C]// Proceedings of the European Conference on Computer Vision (ECCV), 2018: 657-672.

[8] TANCIK M, MILDENHALL B, NG R. Stegastamp: Invisible Hyperlinks in Physical Photographs[C]// Proceedings of the IEEE/CVF Conference On Computer Vision and Pattern Recognition, 2020: 2117-2126.

[9] 劉盼, 袁影影, 趙蒙蒙. 數(shù)字水印技術(shù)及其攻擊防御方法研究[J]. 軟件導(dǎo)刊, 2016, 15(6): 198-199.

LIU P, YUAN Y Y, ZHAO M M. Research on Digital Watermarking Technology and Its Attack Defense Method[J]. Software Guide, 2016, 15(6): 198-199.

[10] YU C. Attention Based Data Hiding with Generative Adversarial Networks[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(1): 1120-1128.

[11] 陳青, 高賀. 基于IWT-SVD和BRISK的魯棒圖像水印算法[J]. 包裝工程, 2020, 41(17): 213-220.

CHEN Q, GAO H. Robust Image Watermarking Algorithm Based on IWT-SVD and BRISK[J]. Packaging Engineering, 2020, 41(17): 213-220.

[12] JING J P, DENG X, XU M, et al. HiNet: Deep Image Hiding by Invertible Network[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 4733-4742.

[13] ZHANG C N, BENZ P, KARJAUV A, et al. Udh: Universal Deep Hiding for Steganography, Watermarking, and Light Field Messaging[J]. Advances in Neural Information Processing Systems, 2020, 33: 10223-10234.

[14] WANG P Q, CHEN P G, YUAN Y, et al. Understanding Convolution for Semantic Segmentation[C]// 2018 IEEE Winter Conference on Applications of Computer Vision (WACV), IEEE, 2018: 1451-1460.

[15] RONNEBERGER O, FISCHER P, BROX T. U-net: Convolutional Networks for Biomedical Image Segmentation[C]// Medical Image Computing and Computer-Assisted Intervention–MICCAI 2015: 18th International Conference, Munich, Germany, Springer International Publishing, 2015: 234-241.

[16] TAVAKOLI A, HONJANI Z, SAJEDI H. Convolutional Neural Network-Based Image Watermarking Using Discrete Wavelet Transform[J]. International Journal of Information Technology, 2023, 15(4): 2021-2029.

[17] MAWGOUD A A, TAHA M H N, ABU-TALLEB A, et al. A Deep Learning Based Steganography Integration Framework for Ad-Hoc Cloud Computing Data Security Augmentation Using the V-BOINC System[J]. Journal of Cloud Computing, 2022, 11(1): 97.

[18] DENG J, DONG W, SOCHER R, et al. Imagenet: A Large-Scale Hierarchical Image Database[C]// 2009 IEEE Conference On Computer Vision and Pattern Recognition, IEEE, 2009: 248-255.

[19] JAIN R. Multimedia Information Retrieval: Watershed Events[C]// Proceedings of the 1st ACM International Conference on Multimedia Information Retrieval, 2008: 229-236.

[20] KINGMA D P, BA J. Adam: A Method for Stochastic Optimization[J]. Computer Science, 2014, 4: 1-15.

[21] ALMOHAMMAD A, GHINEA G. Stego Image Quality and the Reliability of PSNR[C]// 2010 2nd International Conference on Image Processing Theory, Tools and Applications, IEEE, 2010: 215-220.

[22] WANG Z, BOVIK A C, SHEIKH H R, et al. Image Quality Assessment: From Error Visibility to Structural Similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[23] ZHANG R, ISOLA P, EFROS A A, et al. The Unreasonable Effectiveness of Deep Features as a Perceptual Metric[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 586-595.

Digital Watermarking Combining Spatial Domain and Frequency Domain Based on Multi-scale Expanded Convolutional Attention

SUN Liujie, LIU Lei

(University of Shanghai for Science and Technology, Shanghai 200125, China)

The work aims to apply the deep learning to the digital watermarking and propose a digital watermarking algorithm combining spatial domain and frequency domain based on multi-scale expanded convolutional attention (SF-ACA), so as to improve the invisibility and robustness of images while concealing information. The network framework of this algorithm consisted of two parts: a generator composed of ACA and SFE and a decoder. Among them, the MCA module in the ACA network combined three dilation convolutions with varying atrous rates for feature extraction of carrier images with multi-scale fusion, so that the carrier images could conceal the watermark information more effectively. The SFE combined fast Fourier convolution blocks to capture complementary information in the spatial and frequency domains with varied widths of perceptual fields to collect the feature information of the watermark more effectively and enhance the invisibility of the secret information and robustness. According to experimental findings, the PSNR value of the proposed watermarking method was 38.81 dB which was improved by 7.78% in comparison to the UDH method while concealing a color image of equal size to the carrier image. The watermarked image had a hiding capacity of 4 096 bits, and the method improved the extraction accuracy under Dropout, Gaussian noise, and JPEG attacks by 5.38%, 10.5%, and 1.65%, respectively, meeting the requirement of invisibility and achieving strong robustness. When the hiding capacity is high, the method described in this study performs better in terms of robustness and invisibility.

deep learning; watermarking; attention mechanism; expanded convolution; Fourier transformation

TB486；TP391

A

1001-3563(2024)03-0193-08

10.19554/j.cnki.1001-3563.2024.03.022

2023-04-26

上海市科學(xué)技術(shù)委員會科研計劃（18060502500）；上海市自然科學(xué)基金面上項(xiàng)目（19ZR1435900）