基于注意力機(jī)制的深度學(xué)習(xí)圖像壓縮

李玉峰 劉倩宇 林鵬

摘 ?要：圖像壓縮是一個(gè)基礎(chǔ)性的研究領(lǐng)域，許多壓縮標(biāo)準(zhǔn)已經(jīng)發(fā)展了幾十年。最近，基于卷積神經(jīng)網(wǎng)絡(luò)的圖像有損壓縮逐漸取得一系列顯著的進(jìn)展。目前，最有效的基于學(xué)習(xí)的圖像編解碼器采用自動(dòng)編碼器的形式，采用了通道調(diào)節(jié)（CC）和潛在殘差預(yù)測（LRP）來提高壓縮性能，但圖像仍然存在空間上的冗余，從而影響到率失真性能。為了使這一問題得到改善，文章提出使用RBAM注意力模塊融入網(wǎng)絡(luò)體系結(jié)構(gòu)中，以提高性能。實(shí)驗(yàn)結(jié)果表明，用峰值信噪比（PSNR）作為評(píng)價(jià)指標(biāo)，文章所提出的網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)于傳統(tǒng)方法，達(dá)到了更好的率失真性能。

關(guān)鍵詞：圖像壓縮；卷積神經(jīng)網(wǎng)絡(luò)；注意力機(jī)制；潛在殘差預(yù)測

中圖分類號(hào)：TP391.4；TP18 文獻(xiàn)標(biāo)識(shí)碼：A ? 文章編號(hào)：2096-4706（2023）16-0049-05

Deep Learning Image Compression Based on Attention Mechanism

LI Yufeng， LIU Qianyu， LIN Peng

（College of Electronic and Information Engineering， Shenyang Aerospace University， Shenyang ?110136， China）

Abstract： Image compression is a fundamental research field， and many compression standards have been developed for decades. Recently， image lossy compression based on Convolutional Neural Networks has made a series of remarkable progress. At present， the most effective image codec based on learning uses the form of automatic encoders， which uses Channel Conditioning （CC） and Latent Residual Prediction （LRP） to improve compression performance， but the image still has spatial redundancy and the rate-distortion performance is affected. To remedy this problem， this paper proposes to integrate the RBAM attention module into the network architecture to improve performance. The experimental results show that the proposed network structure is superior to the traditional method by using the Peak Signal-to-Noise Ratio （PSNR） as the evaluation index， and it achieves better rate-distortion performance.

Keywords： image compression; Convolutional Neural Networks; attention mechanism; potential residual prediction

0 ?引 ?言

幾十年來，圖像壓縮一直是信號(hào)處理中實(shí)現(xiàn)高質(zhì)量圖像傳輸和存儲(chǔ)的重要基礎(chǔ)性研究課題。隨著視覺應(yīng)用的不斷增加，有損圖像壓縮在有限的硬件資源中對(duì)高效存儲(chǔ)圖像和視頻至關(guān)重要。經(jīng)典有損圖像壓縮標(biāo)準(zhǔn)包括JPEG[1]、JPEG2000[2]、BPG[3]和VVC[4]遵循類似的編碼方案：變換、量化和熵編碼。然而，數(shù)字時(shí)代多媒體內(nèi)容的爆炸性增長，對(duì)圖像壓縮編碼的有效性和高效性提出了越來越高的要求，廣泛使用的傳統(tǒng)混合圖像編解碼器有其局限性。首先，這些方法都是基于圖像的分塊，引入了分塊效應(yīng)。其次，編解碼器的每個(gè)模塊都與其他模塊有復(fù)雜的依賴關(guān)系。因此，很難對(duì)整個(gè)編解碼器進(jìn)行聯(lián)合優(yōu)化。第三，由于模型不能整體優(yōu)化，一個(gè)模塊的局部改進(jìn)可能不會(huì)帶來整體性能的提升，使得復(fù)雜的框架難以進(jìn)一步改進(jìn)。

近年來，隨著深度學(xué)習(xí)的快速發(fā)展，已經(jīng)有許多工作探索了人工神經(jīng)網(wǎng)絡(luò)的潛力，以形成端到端的優(yōu)化圖像壓縮框架。這些基于深度學(xué)習(xí)的方法的發(fā)展與傳統(tǒng)方法有很大的不同?；谧兎肿詣?dòng)編碼器（VAE）[5]的學(xué)習(xí)型圖像壓縮在信噪比（PSNR）和多尺度結(jié)構(gòu)相似性指數(shù)（MS-SSIM）[6]等指標(biāo)上取得了比傳統(tǒng)有損圖像壓縮方法更好的率失真[7]性能，顯示出巨大的實(shí)際壓縮應(yīng)用潛力。Toderici等人的開創(chuàng)性工作[8]提出了一種端到端的學(xué)習(xí)圖像壓縮方法，它通過應(yīng)用遞歸神經(jīng)網(wǎng)絡(luò)（RNN）來重建圖像。同時(shí)，Ballé等人提出了廣義分裂歸一化方法[9]，用密度模型對(duì)圖像內(nèi)容進(jìn)行建模，顯示出了不錯(cuò)的圖像壓縮能力。

為了開發(fā)一種能夠與上下文自適應(yīng)模型的率失真（RD）性能相匹配的圖像壓縮體系結(jié)構(gòu)，同時(shí)最大限度地減少可能導(dǎo)致解碼速度變慢的串行處理，Minnen等人提出了兩種架構(gòu)增強(qiáng)：通道調(diào)節(jié)（Channel Conditioning， CC）和潛在殘差預(yù)測（Latent Residual Prediction， LRP）[10]。然而，潛在變量的估計(jì)分布與真實(shí)的邊際分布之間仍有差距。在學(xué)習(xí)圖像壓縮任務(wù)中，很少有研究探討參數(shù)分布模型的影響。針對(duì)文獻(xiàn)[11]提出的想法，本文引入簡化版本的注意力機(jī)制，使用殘差塊來增加更大的接受場，改善率失真性能，并且使學(xué)習(xí)模型更多的關(guān)注復(fù)雜區(qū)域，以適度的訓(xùn)練復(fù)雜度來提高編碼性能。

1 ?基于注意力的端到端圖像壓縮框架

1.1 ? 簡約注意力模塊

文獻(xiàn)[12]和文獻(xiàn)[13]分別將全局上下文注意力和通道注意力集成在網(wǎng)絡(luò)架構(gòu)中；Li和Mentzer等人在文獻(xiàn)[14]和文獻(xiàn)[15]中采用了重要性圖，自適應(yīng)地將信息分配給量化的潛在特征。例如，可以通過給紋理區(qū)域更多的比特，而給其他地方更少的比特，從而在相似的比特率下獲得更好的視覺質(zhì)量。這種自適應(yīng)分配可以通過使用顯式掩碼來實(shí)現(xiàn)，必須使用額外的位來指定掩碼。如前所述，文獻(xiàn)[14]和文獻(xiàn)[15]中現(xiàn)有的掩碼生成方法過于簡單，無法處理具有更復(fù)雜內(nèi)容特征的區(qū)域。受文獻(xiàn)[16]的啟發(fā)，在文獻(xiàn)[17]中提出使用非局部模塊和正則卷積層的級(jí)聯(lián)來生成注意力掩模如圖1所示。

最近的工作使用注意力模塊來提高圖像恢復(fù)[16]和壓縮[17]的性能，但其所提出的注意力模塊訓(xùn)練起來非常耗時(shí)。本文通過去除非局部塊來簡化這個(gè)模塊，該模塊可以用來提高圖像的復(fù)原和壓縮性能，也可以在復(fù)雜度適中的情況下降低損失。注意力模塊可以幫助網(wǎng)絡(luò)更加關(guān)注具有挑戰(zhàn)性的部分，減少簡單部分的比特?cái)?shù)。本文所提出的簡約注意力模塊如圖2所示，然后將其插入到編解碼器網(wǎng)絡(luò)中如圖3所示。

簡約注意力模塊由兩個(gè)分支組成：第一分支與第二分支。3個(gè)殘差卷積塊組成了第一個(gè)分支，作用是用來生成特征圖；3個(gè)殘差卷積塊，1個(gè)1×1卷積層和1個(gè)Sigmoid激活函數(shù)組成了第二個(gè)分支，作用是用來生成注意力掩膜。

FAM （X ） = Conv （RB （3） （X ）） ? ? ? ? ? ? （1）

M = Sigmoid （FAM （X ）） ? ? ? ? ? ? ? ? （2）

Y = M ? RB （3） （X ） ? ? ? ? ? ? ? ? ? ? （3）

其中，F(xiàn)AM表示對(duì)X執(zhí)行相關(guān)操作：即由掩膜分支中的3個(gè)殘差卷積和1×1卷積級(jí)聯(lián)構(gòu)成的操作，RB （3） 為3個(gè)殘差卷積操作，Conv為1×1卷積，通過1×1的卷積核增強(qiáng)通道間的信息交流，?操作為兩個(gè)特征圖對(duì)應(yīng)的位置每個(gè)像素對(duì)應(yīng)相乘，通過Sigmoid激活函數(shù)生成重要性掩膜，使學(xué)習(xí)的模型更加關(guān)注復(fù)雜區(qū)域，從而提高編碼性能。M為實(shí)數(shù)，在0～1之間取值，當(dāng)實(shí)數(shù)M與第一個(gè)分支中的特征圖每個(gè)像素按順序相乘可以得到Y(jié)，再利用一個(gè)殘差結(jié)構(gòu)讓網(wǎng)絡(luò)在訓(xùn)練過程中能以更高的速度進(jìn)行收斂。

1.2 ?超先驗(yàn)圖像自編碼器

本文基于CNN的端到端圖像壓縮框架中引入了超先驗(yàn)的編解碼模塊。在原有傳統(tǒng)的基于CNN的圖像壓縮中，輸入圖像x經(jīng)過了主編碼器ga后得到了具有空間變化的標(biāo)準(zhǔn)偏差響應(yīng)y，即通過編碼器得到的潛在表示，通過量化器對(duì)其進(jìn)行量化編碼后得到輸出 ，用量化后的數(shù)據(jù)概率模型對(duì)圖像進(jìn)行熵編碼，該概率模型一般為一個(gè)已知的聯(lián)合分布，但是由于實(shí)際的分布是未知的，所以該概率模型與實(shí)際分布存在差異。為了盡可能地降低概率模型與實(shí)際模型的不匹配，我們引入一個(gè)新的變量z，然后將z量化、壓縮并作為輔助信息傳輸，用來實(shí)現(xiàn)概率模型的精確估計(jì)。本文實(shí)現(xiàn)概率模型的精確估計(jì)由主編解碼模型、超先驗(yàn)編解碼模型、量化模塊、算術(shù)模塊和通道自回歸熵模型等共同實(shí)現(xiàn)的。在超先驗(yàn)的模型中，引入超先驗(yàn)作為邊信息導(dǎo)入碼流，可以很好地對(duì)潛在特征點(diǎn)進(jìn)行結(jié)構(gòu)層次的信息捕獲，感知潛在點(diǎn)的結(jié)構(gòu)信息，為潛在表示建立更精確的熵模型。超先驗(yàn)圖像自編碼器框架如圖4所示。

在圖像的壓縮變換中，編碼器ga將給定圖像x映射到潛在圖像y，經(jīng)過量化器Q后，得到潛在圖像y的離散表示 ，然后使用解碼器gs根據(jù) ?生成重構(gòu)圖像 ，主要過程如下式：

（4）

（5）

（6）

φ和θ表示優(yōu)化參數(shù)。在超先驗(yàn)的方法中，通過引入新的變量z來解決y之間的依賴關(guān)系：

（7）

（8）

（9）

其中ha和hs表示自編碼器中的分析和合成變換，其中φh和θh表示優(yōu)化參數(shù)。 是基于z的估計(jì)分布。再將熵解碼結(jié)果 ?輸入到主解碼器gs端，重建源圖像 。最后計(jì)算源圖像與重建圖像的失真，構(gòu)建損失函數(shù)進(jìn)行端到端的整體優(yōu)化函數(shù)：

（10）

式中L包含兩項(xiàng)，其中D表示重建圖像與原圖的失真度，R表示整體框架的壓縮碼率，系數(shù)λ表示控制速率和失真之間的平衡。

2 ?通道自回歸熵模型

2.1 ?通道調(diào)節(jié)熵模型

通道調(diào)節(jié)模型首先建立在超先驗(yàn)體系結(jié)構(gòu)[18]之上，超先驗(yàn)?zāi)Ｐ屯ǔＪ褂梅讲罨蚍讲詈途祬?shù)化的條件高斯模型，最有效的模型在預(yù)測熵參數(shù)μ和σ [19-21]之前，將來自超先驗(yàn)（前向適應(yīng)）的信息與空間自回歸模型（后向適應(yīng)）結(jié)合起來。對(duì)因果上下文進(jìn)行條件調(diào)節(jié)可以更好地建?？臻g相關(guān)性，通常用于標(biāo)準(zhǔn)圖像編解碼器[22，23]，和視頻編解碼器[24-26]中的幀內(nèi)預(yù)測。在基于學(xué)習(xí)的編解碼器中，模型必須估計(jì)空間自回歸（AR）模型的參數(shù)，會(huì)增加解碼時(shí)間。所以整體架構(gòu)通過對(duì)主編碼器生成的潛在表示y進(jìn)行通道層次的分離，該模型沿通道維度將潛在圖像分成N個(gè)大致相等的切片，并在先前解碼的切片上調(diào)節(jié)每個(gè)切片的熵參數(shù)，以此來提高框架的并行能力。

2.2 ?潛在殘差預(yù)測

自編碼器將輸入圖像x轉(zhuǎn)換為潛在表示y，這些潛在表示在被無損壓縮之前會(huì)被量化成 ?以便于熵編碼。在這個(gè)過程中不可避免地導(dǎo)致量化誤差r = y - ?，這部分損失導(dǎo)致解碼圖片的額外失真問題。

潛在殘差預(yù)測LRP通過基于超先驗(yàn)?zāi)K和先前解碼的切片預(yù)測殘差來減少量化誤差，預(yù)測殘差被逐個(gè)切片地添加到量化后的潛在片段，這允許LRP通過減少失真和減少熵來改善結(jié)果，因?yàn)橛糜诰幋a后面的切片的熵參數(shù)是以包含LRP前面的切片為條件的。

3 ? 實(shí)驗(yàn)與分析

3.1 ?評(píng)價(jià)指標(biāo)

本文中使用的評(píng)價(jià)指標(biāo)是峰值信噪比（Peak Signal to Noise Ratio， PSNR）[27]，PSNR是最普遍，最廣泛使用的評(píng)鑒畫質(zhì)的客觀量測法，PSNR值與圖像質(zhì)量成正比，是一種客觀的評(píng)價(jià)指標(biāo)，是兩個(gè)圖像峰值誤差的度量，如式（11）所示，R表示輸入圖像的最大值。

（11）

3.2 ?實(shí)驗(yàn)配置

本文實(shí)驗(yàn)在配置為NVIDIA GeForce RTX 2080 SUPER、Xeon Silver 4208處理器、2.1 GHz主頻、32 GB內(nèi)存、8 GB顯存的實(shí)驗(yàn)平臺(tái)進(jìn)行訓(xùn)練，實(shí)現(xiàn)了本文提出的基于CNN的架構(gòu)。相關(guān)實(shí)驗(yàn)設(shè)置如下：模型訓(xùn)練批量大小設(shè)置為8，模型通道數(shù)N設(shè)置為192，學(xué)習(xí)率設(shè)置為1×10-4，模型使用Adam優(yōu)化器。

3.3 ?方法對(duì)比

對(duì)于訓(xùn)練，本文從Open Images數(shù)據(jù)集[28]中隨機(jī)選擇圖像，并隨機(jī)將它們裁剪成256×256的大小。本文通過計(jì)算常用Kodak數(shù)據(jù)集和CLIC專業(yè)驗(yàn)證集上的平均RD性能，以此來評(píng)估本文的基于注意力機(jī)制的圖像壓縮模型。在訓(xùn)練之后，我們將本文所提出的方法與知名的壓縮標(biāo)準(zhǔn)以及最近的基于卷積神經(jīng)網(wǎng)絡(luò)圖像壓縮模型分別在Kodak和CLIC數(shù)據(jù)集上做了對(duì)比，例如JPEG、JPEG2000、BPG、ballé2018、cheng2020、Minnen2020。

圖5為在柯達(dá)數(shù)據(jù)集上的比較結(jié)果，可以看出本文基于簡約注意力的模型優(yōu)于其他學(xué)習(xí)的壓縮方法，并獲得了比以前基于深度學(xué)習(xí)的方法更好的編碼性能。注意機(jī)制更多地關(guān)注高對(duì)比度區(qū)域，從而在其上分配更多比特。如圖6所示，在CLIC專業(yè)驗(yàn)證數(shù)據(jù)集上的比較結(jié)果表明了相同的結(jié)論，這表明了我們基于簡約注意力模型的魯棒性。

4 ?結(jié) ?論

本文通過結(jié)合簡約注意力、通道調(diào)節(jié)模型和潛在殘差預(yù)測開發(fā)了一種于深度卷積神經(jīng)網(wǎng)絡(luò)的端到端圖像壓縮架構(gòu)，它優(yōu)于相應(yīng)的上下文自適應(yīng)模型，同時(shí)最大限度地減少串行處理。由實(shí)驗(yàn)結(jié)果證實(shí)，嵌入了簡約注意力模塊的網(wǎng)絡(luò)結(jié)構(gòu)，其率失真性能會(huì)有一定程度的提升。在未來的研究中，我們計(jì)劃在本文的基礎(chǔ)上深入探索影響圖像壓縮中局部細(xì)節(jié)重建的其他因素，例如熵參數(shù)模塊，從而更好優(yōu)化圖像壓縮算法的率失真性能。

參考文獻(xiàn)：

[1] WALLACE G K. The JPEG still picture compression standard [J].Communications of the ACM，1991，34（4）：30-44.

[2] TAUBMAN D S，MARCELLIN M W. JPEG2000 Image Compression Fundamentals，Standards and Practice [M].Kluwer Academic Publishers，2002.

[3] BELLARD F. BPG image format （2014） [EB/OL].（2016-08-05）.http：//bellard.org/bpg/.

[4] BROSS B，CHEN J，LIU S，et al. Versatile video coding （draft 5） [J].Joint Video Experts Team （JVET） of Itu-T Sg，2019，16：3-12.

[5] KINGMA D P，WELLING M. Auto-encoding variational bayes [J/OL].arXiv：1312.6114 [stat.ML].（2013-12-20）.https：//arxiv.org/abs/1312.6114.

[6] WANG Z，SIMONCELLI E P，BOVIK A C. Multiscale structural similarity for image quality assessment [C]//The Thrity-Seventh Asilomar Conference on Signals，Systems & Computers，2003.Pacific Grove：IEEE，2003：1398-1402.

[7] SHANNON C E. A mathematical theory of communication [J].ACM SIGMOBILE mobile computing and communications review，2001，5（1）：3-55.

[8] TODERICI G，O'MALLEY S M，HWANG S J，et al. Variable rate image compression with recurrent neural networks [J/OL].arXiv：1511.06085 [cs.CV].（2015-11-19）. https：//arxiv.org/abs/1511.06085v5.

[9] BALL? J，LAPARRA V，SIMONCELLI E P. Density modeling of images using a generalized normalization transformation [J/OL].arXiv：1511.06281 [cs.LG].（2015-11-19）.https：//arxiv.org/abs/1511.06281.

[10] MINNEN D，SINGH S. Channel-wise autoregressive entropy models for learned image compression [C]//2020 IEEE International Conference on Image Processing （ICIP）.Abu Dhabi：IEEE，2020：3339-3343.

[11] CHENG Z，SUN H，TAKEUCHI M，et al. Learned image compression with discretized gaussian mixture likelihoods and attention modules [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.Seattle：IEEE，2020：7939-7948.

[12] 朱俊，高陳強(qiáng)，陳志乾，等.基于注意力機(jī)制和離散高斯混合模型的端到端圖像壓縮方法 [J].重慶郵電大學(xué)學(xué)報(bào)：自然科學(xué)版，2020，32（5）：769-778.

[13] 祝啟斌，夏巧橋，張青林，等.基于通道注意力的全注意力端到端壓縮方法 [J].激光雜志，2022，43（6）：96-104.

[14] LI M，ZUO W，GU S，et al. Learning convolutional networks for content-weighted image compression [C]//Proceedings of the IEEE conference on computer vision and pattern recognition.Salt Lake City：IEEE，2018：3214-3223.

[15] MENTZER F，AGUSTSSON E，TSCHANNEN M，et al. Conditional probability models for deep image compression [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：4394-4402.

[16] ZHANG Y，LI K，LI K，et al. Residual non-local attention networks for image restoration [J].arXiv：1903.10082 [cs.CV].（2019-05-24）.https：//arxiv.org/abs/1903.10082

[17] LIU H，CHEN T，GUO P，et al. Non-local attention optimized deep image compression [J/OL].arXiv：1904.09757 [eess.IV].（2019-04-22）.https：//arxiv.org/abs/1904.09757.

[18] BALL? J，MINNEN D，SINGH S，et al. Variational image compression with a scale hyperprior [J/OL].arXiv：1802.01436 [eess.IV].（2018-02-01）.https：//arxiv.org/abs/1802.01436

[19] KLOPP J，WANG Y C F，CHIEN S Y，et al. Learning a Code-Space Predictor by Exploiting Intra-Image-Dependencies [C]//British Machine Vision Conference 2018.Newcastle：BMVA Press，2018：124.

[20] MINNEN D，BALL? J，TODERICI G D. Joint autoregressive and hierarchical priors for learned image compression [J].Advances in neural information processing systems，2018，31：10794-10803.

[21] LEE J，CHO S，BEACK S K. Context-adaptive entropy model for end-to-end optimized image compression [J].arXiv：1809.10452 [eess.IV].（2018-08-27）.https：//arxiv.org/abs/1809.10452.

[22] Google. WebP：Compression techniques [EB/OL].（2017-01-30）.http：//developers.google.com/speed/webp/docs/compression.

[23] BOLIEK M，CHRISTOPOULOS C，MAJANI E. Information technology - JPEG 2000 image coding system - Part 1：Core coding system （Fourth Edition）：ISO/IEC 15444-1-2019 [S/OL].（2019-10-01）.https：//www.nssi.org.cn/nssi/front/112033336.html.

[24] REC I. H. High efficiency video coding：265 and ISO/IEC 23008-2 [S].ITU-T and ISO/IEC JTC，2013：20.

[25] CHEN Y，MUKHERJEE D，HAN J，et al. An Overview of Coding Tools in AV1：the First Video Codec from the Alliance for Open Media [J/OL].APSIPA Transactions on Signal and Information Processing，2020，9（1）：（2020-02-24）http：//dx.doi.org/10.1017/ATSIP.2020.

[26] RICHARDSON I E. The H.264 Advanced Video Compression Standard [M].Wiley Publishing，2010.

[27] TANCHENKO A. Visual-PSNR measure of image quality [J].Journal of Visual Communication and Image Representation，2014，25（5）：874-878.

[28] KRASIN I，DUERIG T，ALLDRIN N，et al. Openimages：A public dataset for large-scale multi-label and multi-class image classification [EB/OL].[2023-01-16].https：//github. com/openimages.

作者簡介：李玉峰（1969—），男，漢族，遼寧沈陽人，博士，教授，研究方向：圖像處理與傳輸技術(shù)；劉倩宇（1998—），女，漢族，遼寧丹東人，碩士研究生，研究方向：圖像處理與傳輸技術(shù)；林鵬（1996—），男，滿族，遼寧丹東人，碩士研究生，研究方向：信息獲取與處理技術(shù)。