基于熵掩蔽的DCT域恰可察覺(jué)失真模型

駱瓊?cè)A，王鴻奎，殷海兵，邢亞芬

基于熵掩蔽的DCT域恰可察覺(jué)失真模型

駱瓊?cè)A，王鴻奎，殷海兵，邢亞芬

（杭州電子科技大學(xué)通信工程學(xué)院，浙江 杭州 310018）

為提高離散余弦變換（discrete cosine transform，DCT）域恰可察覺(jué)失真（just noticeable distortion，JND）模型閾值精度并避免跨域操作，將熵掩蔽效應(yīng)引入DCT域JND模型。首先，從自由能理論和貝葉斯推理出發(fā)，設(shè)計(jì)基于DCT域紋理能量相似性的自回歸模型模擬視覺(jué)感知過(guò)程中的自發(fā)預(yù)測(cè)行為；其次，探索視覺(jué)感知與預(yù)測(cè)殘差的映射關(guān)系得到塊級(jí)無(wú)序度，并將熵掩蔽效應(yīng)建模為關(guān)于無(wú)序度的JND閾值調(diào)節(jié)因子；最后，結(jié)合空間對(duì)比敏感度函數(shù)、亮度自適應(yīng)掩蔽以及對(duì)比度掩蔽，提出基于熵掩蔽的DCT域JND模型。與現(xiàn)有DCT域JND模型相比，所提模型所有運(yùn)算均在DCT域執(zhí)行，更高效簡(jiǎn)潔。主觀、客觀實(shí)驗(yàn)結(jié)果表明，所提模型在感知質(zhì)量相同或更好的情況下，噪聲污染圖的平均峰值信噪比（peak signal-to-noise ratio，PSNR）值比其他4個(gè)JND對(duì)比模型低2.04 dB，更符合人眼視覺(jué)系統(tǒng)的感知特性。

恰可察覺(jué)失真；人眼視覺(jué)系統(tǒng)；熵掩蔽效應(yīng)；自由能理論；貝葉斯推理

0 引言

人類(lèi)視覺(jué)系統(tǒng)（human visual system，HVS）由于其潛在的生理和心理機(jī)制無(wú)法感知一定閾值以下的圖像失真，這一閾值被稱(chēng)為恰可察覺(jué)失真（just noticeable distortion，JND）閾值[1]。JND模型揭示了人類(lèi)視覺(jué)系統(tǒng)對(duì)圖像失真的感知特性，被廣泛應(yīng)用于圖像和視頻處理中，如圖像和視頻壓縮/編碼[2]、質(zhì)量評(píng)價(jià)[3]、數(shù)字水印[4]和圖像增強(qiáng)[5]等。

過(guò)去二十年里，JND閾值估計(jì)取得了巨大進(jìn)展。現(xiàn)有JND估計(jì)模型根據(jù)計(jì)算域可分為兩類(lèi)：像素域JND模型和子帶域JND模型。其中，像素域JND模型直接計(jì)算圖像和視頻中每個(gè)像素的JND閾值[6]；子帶域JND模型主要在壓縮域中估計(jì)JND閾值，如小波域和DCT域[7]。本文重點(diǎn)關(guān)注基于DCT域的JND閾值估計(jì)，因?yàn)镈CT域JND模型可直接應(yīng)用于基于DCT變換的圖像/視頻壓縮領(lǐng)域[2]。

DCT域JND模型主要由對(duì)比敏感度函數(shù)（contrast sensitivity function，CSF）、亮度自適應(yīng)（luminance adaptive，LA）掩蔽效應(yīng)和對(duì)比度掩蔽（contrast masking，CM）效應(yīng)構(gòu)成[7]?？v觀現(xiàn)有JND模型，其核心問(wèn)題是如何準(zhǔn)確高效地估計(jì)CM模型。DCT域CM模型通常將圖像塊分為3種類(lèi)型（即平面、邊緣和紋理），并為這3種類(lèi)型設(shè)置3個(gè)不同的權(quán)重以突出紋理區(qū)域[7]。然而內(nèi)部生成機(jī)制（internal generation mechanism，IGM）對(duì)有序紋理內(nèi)容是自適應(yīng)的，因此這些有序紋理區(qū)域會(huì)被高估。

實(shí)際上，HVS并非逐字翻譯輸入場(chǎng)景，而是通過(guò)IGM主動(dòng)推斷輸入場(chǎng)景[8]。自由能理論為人類(lèi)的行為、感知和學(xué)習(xí)提供了統(tǒng)一的解釋?zhuān)浠舅枷胧撬械倪m應(yīng)性生物制劑都能抵抗紊亂的自然趨勢(shì)[9]。HVS在自由能理論的指導(dǎo)下試圖處理盡可能多的結(jié)構(gòu)信息而避免不確定信息。這一特性揭示了HVS的感知局限性，包含大量不確定信息的無(wú)序紋理區(qū)域的JND閾值往往相對(duì)較高。近年來(lái)，自由能理論已被引入像素域JND模型中進(jìn)行有意義的探索[10]。Wu等[10]通過(guò)貝葉斯預(yù)測(cè)模擬視覺(jué)系統(tǒng)自發(fā)的預(yù)測(cè)行為，將圖像分為有序成分和無(wú)序成分進(jìn)行獨(dú)立處理，以熵掩蔽（entropy masking，EM）的形式引入像素域JND閾值估計(jì)。在此基礎(chǔ)上，Wu等[11]引入模式掩蔽取代熵掩蔽和對(duì)比度掩蔽，并提出一個(gè)增強(qiáng)型的像素域JND模型。Zeng等[12]利用相對(duì)全變分模型和方向復(fù)雜度，將圖像分成結(jié)構(gòu)圖像、有序紋理圖像和無(wú)序紋理圖像，并結(jié)合視覺(jué)顯著性構(gòu)建像素域JND模型。Liu等[13]將屏幕內(nèi)容圖像分解為屏幕內(nèi)容集和非屏幕內(nèi)容集進(jìn)行處理，并研究了邊緣掩蔽和模式掩蔽的組合掩蔽效應(yīng)。Wang等[14]根據(jù)分層預(yù)測(cè)編碼理論將視覺(jué)感知分為3個(gè)階段，并結(jié)合正負(fù)感知效應(yīng)提出一個(gè)新的像素域JND模型。

基于上述自由能理論在像素域JND閾值估計(jì)中的探索，本文認(rèn)為在DCT域JND閾值估計(jì)中合理引入自由能理論與熵掩蔽效應(yīng)將有助于提高DCT域JND模型的準(zhǔn)確性。由于大多數(shù)圖像/視頻資源以壓縮形式進(jìn)行有效存儲(chǔ)和傳輸，直接對(duì)壓縮數(shù)據(jù)而非其解壓縮版本進(jìn)行操作變得非常重要。本文擬在避免跨域運(yùn)算的前提下，引入熵掩蔽效應(yīng)并提出DCT域JND建模方法。

1 DCT域JND模型概述

1.1 DCT域JND模型框架

本文主要研究基于DCT域的JND閾值估計(jì)。對(duì)于×大小的DCT塊，第(,)個(gè)DCT系數(shù)計(jì)算式如下。

通常，DCT域JND模型被表示為多個(gè)調(diào)節(jié)因子的乘積，這源于Watson[15]的DCTune模型。本文提出的JND模型主要考慮4種掩蔽效應(yīng)，計(jì)算如下。

1.2 CM模型改進(jìn)

其中，是頻率線性函數(shù)梯度，計(jì)算同Bae[7]的模型。引入抑制因子前后對(duì)比如圖2所示，截取邊緣區(qū)域（即黑色方框區(qū)域）進(jìn)行更清晰的對(duì)比，通過(guò)引入抑制因子，邊緣塊的對(duì)比度強(qiáng)度被有效抑制，邊緣區(qū)域的圖像質(zhì)量也得到明顯改善。

圖2 引入抑制因子前后對(duì)比

2 基于熵掩蔽的JND閾值調(diào)節(jié)因子

2.1 貝葉斯預(yù)測(cè)模型

HVS在自由能理論的指導(dǎo)下可以準(zhǔn)確預(yù)測(cè)并充分理解有序內(nèi)容，同時(shí)粗略感知無(wú)序內(nèi)容[9]。顯然，與無(wú)序區(qū)域相比，HVS對(duì)有序區(qū)域更敏感，其JND閾值更小。由于貝葉斯推理是信息預(yù)測(cè)的有力工具，本文采用貝葉斯大腦理論[19]模擬人腦中的IGM進(jìn)行有序信息預(yù)測(cè)，并建立DCT域自回歸預(yù)測(cè)模型。貝葉斯大腦理論的基本原理是，大腦有一個(gè)試圖以最小誤差概率表示傳感器信息的模型[19]。對(duì)于圖像而言，貝葉斯大腦系統(tǒng)以最大化條件概率表示像素值。

圖3 DCT域貝葉斯預(yù)測(cè)示例

圖4 8×8 DCT塊能量分布

對(duì)于邊緣區(qū)域，HVS應(yīng)能自適應(yīng)地進(jìn)行預(yù)測(cè)。如圖3（b）所示，中心塊位于平坦區(qū)域的一條直線（即邊緣區(qū)域）上時(shí)，應(yīng)當(dāng)只由同處邊緣區(qū)域的周?chē)鷫K進(jìn)行預(yù)測(cè)。因此，本文采用DCT域的TE塊分類(lèi)法[18]將圖像分為邊緣塊和非邊緣塊進(jìn)行預(yù)測(cè)。當(dāng)中心塊為邊緣塊時(shí)，僅由同為邊緣塊的周?chē)鷫K進(jìn)行相似度加權(quán)預(yù)測(cè)；當(dāng)中心塊為非邊緣塊時(shí)，僅由非邊緣塊進(jìn)行相似度加權(quán)預(yù)測(cè)；而當(dāng)中心塊為邊緣塊（非邊緣塊）且其周?chē)鷫K均為非邊緣塊（邊緣塊）時(shí)，中心塊由周?chē)?個(gè)塊共同預(yù)測(cè)得到。

DCT域貝葉斯預(yù)測(cè)結(jié)果如圖5所示，本文獲得的預(yù)測(cè)圖像和殘差圖像存在明顯的塊效應(yīng)，這是由8×8的DCT所引起的。為證明本文預(yù)測(cè)模型的準(zhǔn)確性，采用多尺度結(jié)構(gòu)相似性（multi-scale structural similarity，MS-SSIM）指數(shù)度量預(yù)測(cè)圖像與原始圖像之間的相關(guān)性，高于0.5的MS-SSIM指數(shù)值表明圖像間具有很強(qiáng)的相似性[20]。從圖5（b）及其對(duì)應(yīng)的MS-SSIM指數(shù)值可以看到，本文提出的DCT域貝葉斯預(yù)測(cè)模型能較為準(zhǔn)確地預(yù)測(cè)圖像內(nèi)容。

圖5 DCT域貝葉斯預(yù)測(cè)結(jié)果

2.2 熵掩蔽模型

由于DCT后絕大部分能量都集中在左上角的低頻系數(shù)中，DCT系數(shù)之間幅度相差很大。而DCT系數(shù)幅度越大，其預(yù)測(cè)殘差往往越大。因此這里將DCT系數(shù)殘差與原始系數(shù)值相除，并對(duì)其相除結(jié)果進(jìn)行歸一化處理得到無(wú)序度塊。第個(gè)DCT塊的無(wú)序度由其無(wú)序度塊求平均得到，計(jì)算如下。

其中，是比例因子，根據(jù)主觀觀看結(jié)果，按照經(jīng)驗(yàn)將其設(shè)為0.15。這里選取“IVC”數(shù)據(jù)集[22]中的一幅圖像，給出主觀質(zhì)量對(duì)比的例子，不同值得到的主觀質(zhì)量對(duì)比如圖6所示。從主觀質(zhì)量的角度可以看到，當(dāng)在取0.1和0.15時(shí)圖像主觀質(zhì)量相近，而時(shí)主觀質(zhì)量明顯受損；從噪聲隱藏能力的角度，可以看到依次取0.15和0.2時(shí)，PSNR值分別降低0.71 dB和0.27 dB。綜上所述，取0.15時(shí)可以在不影響圖像質(zhì)量的情況下降低較多的PSNR值。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 對(duì)比實(shí)驗(yàn)

本文提出的JND估計(jì)模型是在DCT域中結(jié)合EM效應(yīng)而構(gòu)建的。因此為驗(yàn)證本文DCT域JND模型的有效性，這里選擇研究工作相近的3個(gè)JND模型進(jìn)行對(duì)比實(shí)驗(yàn)，分別命名為Zeng2019[12]、Liu2020[13]以及Li2022[25]。其中，Zeng2019和Liu2020是考慮自由能理論的兩種像素域JND模型，而Li2022是融合邊緣掩蔽與中心凹掩蔽的像素域JND模型。

通常在更精確JND模型的指導(dǎo)下，圖像能保持感知質(zhì)量不變并隱藏更多噪聲。在基于DCT域的JND估計(jì)中，噪聲被添加到圖像中的每個(gè)DCT系數(shù)[24]，如式（13）所示。

JND模型的噪聲容忍能力是用峰值信噪比（peak signal-to-noise ratio，PSNR）衡量的，即相同感知質(zhì)量下PSNR越低，JND模型估計(jì)越準(zhǔn)確。8位灰度圖像的PSNR由原始圖像和噪聲注入圖像之間的均方誤差（mean squared error，MSE）計(jì)算得到，如式（14）所示。

由于圖像的最終接收者為人眼，僅以PSNR評(píng)估JND模型性能不夠準(zhǔn)確，因此采用MS-SSIM指數(shù)和平均意見(jiàn)分?jǐn)?shù)（mean opinion score，MOS）評(píng)價(jià)圖像的主觀質(zhì)量。其中，MS-SSIM指數(shù)通過(guò)圖像間結(jié)構(gòu)相似性評(píng)估圖像質(zhì)量，是一種更適合HVS的感知質(zhì)量評(píng)價(jià)指標(biāo)[26]。本文根據(jù)ITU-R BT.500-11標(biāo)準(zhǔn)展開(kāi)主觀質(zhì)量評(píng)估（subjective quality assessment，SQA）實(shí)驗(yàn)[24]，該實(shí)驗(yàn)用于測(cè)量原始圖像和噪聲注入圖像間的主觀質(zhì)量差異。每次測(cè)試中，為了更好地比較主觀質(zhì)量，將原始圖像作為標(biāo)準(zhǔn)放在左邊，4個(gè)注入噪聲的圖像（本文模型和用于對(duì)比的3個(gè)模型）以隨機(jī)順序在右邊并列顯示。主觀評(píng)價(jià)標(biāo)準(zhǔn)和分?jǐn)?shù)被分為4個(gè)等級(jí)，以指示噪聲注入圖像相對(duì)于原始圖像的失真程度。評(píng)價(jià)標(biāo)準(zhǔn)具體為：“0”表示右邊圖像質(zhì)量沒(méi)有下降，“-1”表示輕微下降，“-2”表示下降較多，“-3”表示下降嚴(yán)重。25位視力正?；虺C正視力正常的受試者被邀請(qǐng)?jiān)u估噪聲注入圖像的感知質(zhì)量，個(gè)人評(píng)價(jià)分?jǐn)?shù)以MOS的形式提供。在SQA實(shí)驗(yàn)中，顯示器的分辨率為1 920 dpi×1 080 dpi，并將觀看距離設(shè)置為顯示屏高度的4倍[24]。

3.2 性能評(píng)估

JND模型的性能是以PSNR、MS-SSIM指數(shù)和MOS衡量的。被測(cè)JND模型的良好性能意味著由JND模型注入噪聲的圖像與其他模型相比具有更低的PSNR值以及更高的MS-SSIM指數(shù)值和MOS值。表1～表3展示了注入相同噪聲后本文模型與其他3個(gè)模型在不同圖像數(shù)據(jù)集上的PSNR、MS-SSIM指數(shù)和MOS值，其中由于MS-SSIM指數(shù)值相差較小，在這里保留3位小數(shù)。為了更直觀地對(duì)比JND模型性能，采用柱狀圖的形式描述不同JND模型在3個(gè)數(shù)據(jù)集上主客觀評(píng)價(jià)指標(biāo)的平均值，如圖7所示。本文以PSNR測(cè)量JND模型隱藏噪聲的能力。由表1～表3可知，本文模型在3個(gè)分辨率不同的數(shù)據(jù)集上均具有最低的PSNR值。具體而言，本文模型在3個(gè)數(shù)據(jù)集上獲得的平均PSNR值為26.75 dB，分別比其他模型低2.52 dB、2.12 dB和1.47 dB，如圖7（a）所示。此外，本文以MS-SSIM指數(shù)和MOS測(cè)量噪聲注入圖像的感知質(zhì)量。由表1～表3可知，本文模型在3個(gè)數(shù)據(jù)集上均獲得最高的MS-SSIM指數(shù)值和MOS值。具體來(lái)說(shuō)，本文在3個(gè)數(shù)據(jù)集上獲得的平均MS-SSIM指數(shù)值為0.963，分別比其他3個(gè)模型高0.020、0.018和0.023，如圖7（b）所示；而平均MOS值為-0.29，比其他模型高出0.17、0.13和0.16，如圖7（c）所示。由此可見(jiàn)，與其他3個(gè)模型相比，本文提出的DCT域JND模型更精確，能隱藏更多噪聲，獲得更好的圖像感知質(zhì)量。

表1 不同JND模型在“IVC”數(shù)據(jù)集上的性能對(duì)比

表2 不同JND模型在“TID2013”數(shù)據(jù)集上的性能對(duì)比

表3 不同JND模型在“LabelMe”數(shù)據(jù)集上的性能對(duì)比

注：加粗字體為最優(yōu)結(jié)果。

圖7 不同JND模型在3個(gè)數(shù)據(jù)集上的主客觀指標(biāo)平均值對(duì)比

圖8 不同JND模型在“”圖像上的對(duì)比

圖9 不同JND模型在“”圖像上的對(duì)比

圖10 不同JND模型在“”圖像上的對(duì)比

以上主觀、客觀實(shí)驗(yàn)證明，本文提出的JND模型能充分考慮人眼視覺(jué)特性，在平坦、有序紋理、無(wú)序紋理區(qū)域分別注入少量、適量、大量噪聲，實(shí)現(xiàn)噪聲的合理分配。綜上所述，本文模型能在注入相同噪聲的情況下獲得最好的感知質(zhì)量和最低的PSNR值，性能優(yōu)于其他3個(gè)JND模型。

4 結(jié)束語(yǔ)

本文通過(guò)探索HVS主動(dòng)預(yù)測(cè)輸入信號(hào)的特性，提出基于熵掩蔽的DCT域JND模型。算法充分考慮DCT塊間的相關(guān)性，設(shè)計(jì)基于紋理能量相似性的DCT域貝葉斯預(yù)測(cè)模型，利用預(yù)測(cè)殘差計(jì)算塊級(jí)無(wú)序度描述圖像內(nèi)容的不確定性；最終將熵掩蔽效應(yīng)構(gòu)建為關(guān)于無(wú)序度的調(diào)節(jié)因子，以指示更多噪聲分配到包含大量不確定信息的無(wú)序紋理區(qū)域。主觀、客觀實(shí)驗(yàn)結(jié)果表明，所提模型能在避免跨域操作的同時(shí)去除更多感知冗余，性能優(yōu)于現(xiàn)有JND模型。

[1] JAYANT N, JOHNSTON J, SAFRANEK R. Signal compression based on models of human perception[J]. Proceedings of the IEEE, 1993, 81(10): 1385-1422.

[2] KI S, DO J, KIM M. Learning-based JND-directed HDR video preprocessing for perceptually lossless compression with HEVC[J]. IEEE Access, 2020(8): 228605-228618.

[3] 崔帥南, 彭宗舉, 鄒文輝, 等. 多特征融合的合成視點(diǎn)立體圖像質(zhì)量評(píng)價(jià)[J]. 電信科學(xué), 2019, 35(5): 104-112.

CUI S N, PENG Z J, ZOU W H, et al. Quality assessment of synthetic viewpoint stereo image with multi-feature fusion[J]. Telecommunications Science, 2019, 35(5): 104-112.

[4] LI J, ZHANG H, WANG J, et al. Orientation-aware saliency guided JND model for robust image watermarking[J]. IEEE Access, 2019(7):41261-41272.

[5] XU Y F, ZHANG N, LI L, et al. Joint learning of super-resolution and perceptual image enhancement for single image[J]. IEEE Access, 2021(9):48446-48461.

[6] 邢亞芬, 殷海兵, 王鴻奎, 等. 基于視頻時(shí)域感知特性的恰可察覺(jué)失真模型[J]. 電信科學(xué), 2022, 38(2): 92-102.

XING Y F, YIN H B, WANG H K, et al. Video temporal perception characteristics based just noticeable difference model[J]. Telecommunications Science, 2022, 38(2): 92-102.

[7] BAE S H, KIM M. A novel generalized DCT-based JND profile based on an elaborate CM-JND model for variable block-sized transforms in monochrome images[J]. IEEE Transactions on Image Processing, 2014, 23(8): 3227-3240.

[8] FRISTON K J, DAUNIZEAU J, KIEBEL S J. Reinforcement learning or active inference?[J]. PloS one, 2009, 4(7): e6421.

[9] FRISTON K. The free-energy principle: a unified brain theory?[J]. Nature Reviews Neuroscience, 2010, 11(2): 127-138.

[10] WU J J, SHI G M, LIN W S, et al. Just noticeable difference estimation for images with free-energy principle[J]. IEEE Transactions on Multimedia, 2013, 15(7): 1705-1710.

[11] WU J J, LI L D, DONG W S, et al. Enhanced just noticeable difference model for images with pattern complexity[J]. IEEE Transactions on Image Processing, 2017, 26(6): 2682-2693.

[12] ZENG Z P, ZENG H Q, CHEN J, et al. Visual attention guide dpixel-wise just noticeable difference model[J]. IEEE Access, 2019(7): 132111-132119.

[13] LIU X Q, ZHAN X N, WANG M H. A novel edge-pattern-based just noticeable difference model for screen content images[C]//2020 IEEE 5th International Conference on Signal and Image Processing (ICSIP). Piscataway: IEEE Press, 2020: 386-390.

[14] WANG H K, YU L, LIANG J H, et al. Hierarchical predictive coding-based JND estimation for image compression[J]. IEEE Transactions on Image Processing, 2020(30): 487-500.

[15] WATSON A B. DC Tune: A technique for visual optimization of DCT quantization matrices for individual images[C]//Sid International Symposium Digest of Technical Papers, Society for Information Display, 1993(24): 946-946.

[16] WEI Z Y, NGAN K N. Spatio-temporal just noticeable distortion profile for grey scale image/video in DCT domain[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2009, 19(3): 337-346.

[17] ECKERT M P, BRADLEY A P. Perceptual quality metrics applied to still image compression[J]. Signal processing, 1998, 70(3): 177-200.

[18] ZHANG X H, LIN W S, XUE P. Improved estimation for just-noticeable visual distortion[J]. Signal Processing, 2005, 85(4): 795-808.

[19] KNILL D C, POUGET A. The Bayesian brain: the role of uncertainty in neural coding and computation[J]. TRENDS in Neurosciences, 2004, 27(12): 712-719.

[20] EASTTOM C. On the use of the SSIM algorithm for detecting intellectual property copying in web design[C]//2021 IEEE 11th Annual Computing and Communication Workshop and Conference (CCWC). Piscataway: IEEE Press: 2021: 0860-0864.

[21] Le C P, Autrusseau F. Subjective quality assessment IRCCyN/IVC database[EB]. 2005.

[22] Ponomarenko N, Jin L, Ieremeiev O, et al. Image database TID2013: peculiarities, results and perspectives[J]. Signal Processing: Image Communication, 2015, 30: 57-77.

[23] JUDD T, EHINGER K, DURAND F, et al. Learning to predict where humans look[C]//2009 IEEE 12th International Conference on Computer Vision. Piscataway: IEEE Press, 2009: 2106-2113.

[24] WANG H K, YU L, YIN H B, et al. An improved DCT-based JND estimation model considering multiple masking effects[J]. Journal of Visual Communication and Image Representation, 2020(71): 102850.

[25] LI J L, YU L, WANG H K. Perceptual redundancy model for compression of screen content videos[J]. IET Image Processing, 2022, 16(6): 1724-1741.

[26] WANG J, LIU Y, WEI P, et al. Fractal image coding using SSIM[C]//2011 18th IEEE International Conference on Image Processing. Piscataway: IEEE Press, 2011: 241-244.

Just noticeable distortion model based on entropy masking in DCT domain

LUO Qionghua, WANG Hongkui, YIN Haibing, XING Yafen

College of Communication Engineering, Hangzhou Dianzi University, Hangzhou 310018, China

In order to improve the threshold accuracy of JND (just noticeable distortion) model in DCT (discrete cosine transform) domain and avoid cross-domain operation, entropy masking effect was introduced into DCT-based JND model. Firstly, starting from the free-energy theory and the Bayesian inference, an autoregressive model based on texture-energy similarity in DCT domain was designed to simulate the spontaneous prediction behavior of visual perception. Secondly, the mapping relationship between visual perception and prediction residuals were explored to obtain the disorder intensity in block level. Thirdly, the entropy masking effect was modeled as a JND threshold modulation factor of disorder intensity. Finally, the JND model in DCT domain for the entropy masking was proposed by fusing the contrast sensitivity function, the luminance adaptive masking, the contrast masking. Compared with the existing JND model in DCT domain, the proposed model performed all operations in DCT domain, which was more efficient and concise. The subjective and objective experimental results indicate that the proposed JND model shows greater tolerance to distortion with better perceptual quality.

JND, human visual system, entropy masking effect, free-energy theory, Bayesian inference

TN91

A

10.11959/j.issn.1000–0801.2023014

駱瓊?cè)A（1998-），女，杭州電子科技大學(xué)通信工程學(xué)院碩士生，主要研究方向?yàn)橐曨l感知編碼。

王鴻奎（1990-），男，博士，杭州電子科技大學(xué)通信工程學(xué)院講師，主要研究方向?yàn)橐曈X(jué)感知理論、視頻感知編碼以及視頻智能編碼。

殷海兵（1974-），男，博士，杭州電子科技大學(xué)通信工程學(xué)院教授，主要研究方向?yàn)閿?shù)字視頻編解碼、圖像和視頻處理以及VLSI結(jié)構(gòu)設(shè)計(jì)。

邢亞芬（1997-），女，杭州電子科技大學(xué)通信工程學(xué)院碩士生，主要研究方向?yàn)橐曨l感知編碼。

The National Natural Science Foundation of China (No.62202134, No.61972123, No.61931008, No.62031009), Zhejiang Provincial “Pioneer” and “Leading Goose”Research and Development Project (No.2023C01149, No.2022C01068)

2022-08-03；

2023-01-09

國(guó)家自然科學(xué)基金資助項(xiàng)目（No.62202134，No.61972123，No.61931008，No.62031009）；浙江省“尖兵”“領(lǐng)雁”研發(fā)攻關(guān)計(jì)劃項(xiàng)目（No.2023C01149，No.2022C01068）