張?jiān)蒲芯繄F(tuán)隊(duì)提出一種基于深度學(xué)習(xí)的圖像級(jí) JND 預(yù)測(cè)模型

中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院高性能計(jì)算技術(shù)研究中心張?jiān)蒲芯繄F(tuán)隊(duì)在圖像級(jí) JND 預(yù)測(cè)的研究取得進(jìn)展。相應(yīng)成果為“Liu HH, Zhang Y,Zhang H, et al.Deep learning based picture wise just noticeable distortion prediction for image compress[J].IEEE Transactions on Image Processing, 2020,29(1): 641-656(基于深度學(xué)習(xí)的圖像級(jí) JND 預(yù)測(cè)與圖像壓縮應(yīng)用)”。

人眼不能察覺(jué)圖像中處于一定閾值以下的圖像像素細(xì)微的變化，該閾值就是人眼的恰可感知失真(Just Noticeable Distortion，JND)閾值，代表著圖像中的視覺(jué)冗余度。JND 閾值描述了人眼能感知的圖像最小失真，反映了人類(lèi)視覺(jué)系統(tǒng)的感知能力及敏感度，被廣泛應(yīng)用于圖像/視頻編碼、流媒體應(yīng)用和水印技術(shù)中。傳統(tǒng)的像素域和頻率域 JND 模型，只針對(duì)單個(gè)像素/頻率的 JND閾值進(jìn)行估計(jì)，難以準(zhǔn)確估計(jì)整幅圖像的 JND閾值，而人眼是對(duì)整幅圖像的質(zhì)量進(jìn)行感知。為此，該研究提出一種基于深度學(xué)習(xí)的圖像級(jí) JND預(yù)測(cè)模型。

該模型首先訓(xùn)練出二分類(lèi)感知失真判別器，其能對(duì)壓縮圖像的失真能否被人眼感知進(jìn)行預(yù)測(cè)；其次，通過(guò)訓(xùn)練好的判別器對(duì)待測(cè)圖像和與待測(cè)圖像對(duì)應(yīng)的壓縮圖像進(jìn)行感知失真判別，得到判別結(jié)果集合；最后，通過(guò) JND 搜索策略對(duì)感知失真判別結(jié)果集合進(jìn)行容錯(cuò)處理，從而降低JND 閾值的預(yù)測(cè)偏差，預(yù)測(cè)得到待測(cè)圖像的 JND閾值。

以美國(guó)南加州大學(xué) Kuo 教授等人提出的MCL-JCI 公開(kāi)數(shù)據(jù)集為例，對(duì)所提方法的有效性進(jìn)行對(duì)比驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，所提出的 JND模型預(yù)測(cè)偏差，即 ΔPSNR 約為 0.7 dB，優(yōu)于傳統(tǒng)像素域以及頻率域的 JND 模型。應(yīng)用到 JPEG圖像壓縮中，可在相同視覺(jué)質(zhì)量下節(jié)省約 88%的比特率。

該研究首次提出圖像級(jí) JND 預(yù)測(cè)模型的建模方法，有助于揭示人眼視覺(jué)系統(tǒng)視覺(jué)質(zhì)量感知過(guò)程，可服務(wù)于圖像/視頻編解碼、流媒體應(yīng)用。

傳統(tǒng)失真模型與基于 JND 的失真模型