提高SSIM-Map分辨率的研究

林佳楠

（集美大學(xué)誠(chéng)毅學(xué)院，福建廈門 361021）

提高SSIM-Map分辨率的研究

林佳楠

（集美大學(xué)誠(chéng)毅學(xué)院，福建廈門 361021）

圖像質(zhì)量的客觀評(píng)測(cè)對(duì)很多圖像處理應(yīng)用都很重要。和其他現(xiàn)有的算法相比，結(jié)構(gòu)相似度（SSIM）模型最大的優(yōu)勢(shì)在于它是基于圖像結(jié)構(gòu)失真，并且它與人類感知高度符合。通過(guò)對(duì)SSIM算法的深入研究，發(fā)現(xiàn)SSIM由于固有缺陷，很難清楚地找出圖像失真的詳細(xì)部分。提出了一種新的SSIM算法的改進(jìn)，采用循環(huán)改變分區(qū)的方法，以此提高SSIM-Map索引圖的分辨率。試驗(yàn)結(jié)果證明改進(jìn)的新SSIM比SSIM更加符合人類視覺(jué)系統(tǒng)，對(duì)于紋理失真準(zhǔn)確度更高。

圖像質(zhì)量；結(jié)構(gòu)相似度；客觀評(píng)測(cè)

德州大學(xué)Austin分校提出的結(jié)構(gòu)相似度（SSIM，Structural Similarity Image Metric）理論〔1〕是當(dāng)前影響力較廣的評(píng)測(cè)方法之一。它的原理是圖像的各個(gè)像素點(diǎn)之間的結(jié)構(gòu)相關(guān)性隨著這些像素點(diǎn)空間距離的接近而變強(qiáng)。它是一種基于數(shù)理統(tǒng)計(jì)的客觀評(píng)價(jià)方法，原理清晰易懂，比較符合人眼的視覺(jué)感受。然而通過(guò)對(duì)SSIM算法的深入研究，我們發(fā)現(xiàn)SSIM由于固有缺陷，很難清楚地找出圖像失真的詳細(xì)部分。SSIM算法把整個(gè)空間區(qū)域分塊（典型8×8），一個(gè)SSIM值反映了單個(gè)區(qū)域塊中所有像素的質(zhì)量，所有SSIM值組成了結(jié)構(gòu)相似索引圖SSIM-Map，反映圖像的整體質(zhì)量。簡(jiǎn)單的使用分區(qū)，會(huì)引起同一個(gè)塊中的N×N個(gè)像素有相同的SSIM值，極大地降低了結(jié)構(gòu)相似索引圖SSIM-Map的分辨率，很難評(píng)測(cè)圖像的具體失真形態(tài)。國(guó)內(nèi)外對(duì)于SSIM算法的改進(jìn)多數(shù)是將其應(yīng)用于各種圖像或視頻質(zhì)量的評(píng)價(jià)算法中，未見(jiàn)相關(guān)的提高結(jié)構(gòu)相似索引圖SSIM-Map的分辨率的研究。本論文提出了一種新的SSIM算法的改進(jìn)，采用循環(huán)改變分區(qū)的方法，以此提高SSIM-Map索引圖的分辨率。并通過(guò)例圖試驗(yàn)證明改進(jìn)的效果。

1 SSIM算法概述

SSIM稱為結(jié)構(gòu)相似性或結(jié)構(gòu)相似度，其值越大越好，最大為1。與傳統(tǒng)基于誤差敏感度的質(zhì)量評(píng)測(cè)方法不同，SSIM是基于圖像信號(hào)的結(jié)構(gòu)失真。SSIM最大的優(yōu)點(diǎn)是和人類主觀性高度一致并對(duì)圖像亮度空間結(jié)構(gòu)的失真很敏感〔2〕。

SSIM算法需要兩個(gè)圖像的像素信息x和y?？梢杂孟蛄縳，y分別定義源圖像和失真圖像的像素值。SSIM算法主要由亮度比較l（x，y），對(duì)比度比較c（x，y），和結(jié)構(gòu)性比較s（x，y）組成。在固定的N×N（典型的是8×8）區(qū)域塊中計(jì)算，每一個(gè)分量定義〔3〕如下：

以向量x為例，ux是x的平均值，表示x的平均亮度，σx是x的標(biāo)準(zhǔn)差，表示x的平均對(duì)比度，σxy是x和y的協(xié)方差，表示x和y的相互關(guān)系。它們是源圖像和失真圖像最重要的特征參數(shù)。參數(shù)可以定義如下：

一般C1=(K1L)2,C2=(K2L)2,C3=C2/2，L是圖像的動(dòng)態(tài)范圍，且有K1?1，K2?1，K1，K2都是極小的常量。在單獨(dú)的區(qū)域塊中結(jié)構(gòu)相似度的計(jì)算式如下所示：

SSIM(x,y)=[l(x,y)]α×[c(x,y)]β×[s(x,y)]γ，

α、β、γ是用來(lái)定義3個(gè)分量相關(guān)重要性的參數(shù)。最后整個(gè)空間的SSIM值可定義如下所示：

2 SSIM缺點(diǎn)分析

正如我們了解的，SSIM算法把整個(gè)空間區(qū)域分塊，每個(gè)區(qū)域塊大小為N×N（典型8×8），并考慮到所有N×N個(gè)像素，重點(diǎn)關(guān)注亮度，對(duì)比度和結(jié)構(gòu)性。特別是亮度，因?yàn)槿搜蹖?duì)圖像的亮度失真最為敏感。在這個(gè)算法中要分別從每個(gè)區(qū)域塊中提取這3個(gè)參數(shù)，還要獲得一個(gè)小于1的正相關(guān)系數(shù)。因此，一個(gè)SSIM值反映了單個(gè)區(qū)域塊中所有像素的質(zhì)量，所有SSIM值組成了結(jié)構(gòu)相似索引圖SSIM-Map，反映圖像的整體質(zhì)量。平均的MSSIM是失真圖像的最后評(píng)估結(jié)果，它與人類的視覺(jué)特征相符合。然而簡(jiǎn)單的使用分區(qū)，會(huì)引起同一個(gè)塊中的N×N個(gè)像素有相同的SSIM值，極大地降低了結(jié)構(gòu)相似索引圖SSIM-Map的分辨率，很難評(píng)測(cè)圖像的具體失真形態(tài)。

然而由于SSIM算法的數(shù)學(xué)基礎(chǔ)是基于均值和標(biāo)準(zhǔn)差這些統(tǒng)計(jì)特征參數(shù)，要反映圖像真實(shí)狀況準(zhǔn)確必須有較大的分區(qū)。這與提高結(jié)構(gòu)相似索引圖SSIM-Map的分辨率是一對(duì)天然的矛盾。見(jiàn)圖1～3。

圖1 源圖像

圖2 加椒鹽噪聲后的圖像

圖3 結(jié)構(gòu)相似索引圖

3 對(duì)SSIM的改進(jìn)

在SSIM算法中將空間區(qū)域分成N×N的區(qū)域塊是必要的。但是如果這個(gè)區(qū)域塊固定在特定的位置，每個(gè)像素僅和固定在本區(qū)域塊的其他像素相關(guān)。最差的情況發(fā)生在區(qū)域邊緣的像素上，這些像素被定義與其他相鄰區(qū)域的像素沒(méi)有相互關(guān)系。另外，從一個(gè)區(qū)域塊提取的普通參數(shù)不能精確的代表所有N×N個(gè)像素。為了解決上面提到的限制，我們改進(jìn)了SSIM算法。

假定這個(gè)區(qū)域塊是移動(dòng)的，由于區(qū)域塊改變了方向，一個(gè)特定的像素就會(huì)被放在這個(gè)區(qū)域塊的不同位置。結(jié)果這個(gè)像素總共被放在了這個(gè)區(qū)域塊的N×N個(gè)位置。也就是說(shuō)每個(gè)像素將有N×N個(gè)不同的位置，每個(gè)位置產(chǎn)生一個(gè)SSIM。新SSIM的詳細(xì)處理過(guò)程如下所示。

首先，找到圖像的有效區(qū)域，并精確的裁剪圖像的邊界。研究發(fā)現(xiàn)，人眼對(duì)圖像邊界的失真不是很敏感。我們建議有效區(qū)域的寬和高應(yīng)比起始圖像少N個(gè)像素。

其次，在每個(gè)區(qū)域中，估算每個(gè)區(qū)域塊的SSIM值。每當(dāng)區(qū)域塊的方向改變時(shí)，區(qū)域塊中的像素就會(huì)改變。由此，一個(gè)單獨(dú)的像素將會(huì)和多個(gè)區(qū)域塊有關(guān)，這對(duì)在不同情況下估算和分析SSIM值是很重要的。詳細(xì)的處理過(guò)程如下：

第1步：把圖像的有效區(qū)域分塊，塊的大小為N×N（典型的為8×8）。

第2步：在有效區(qū)域的每個(gè)塊中算出前面提到的平均亮度和平均對(duì)比度。估算失真圖像每個(gè)塊的SSIM值，所有SSIM值組成SSIM索引圖。

第3步：以ω∕pixel（每次ω個(gè)像素）的速度，向下或向其他方向轉(zhuǎn)動(dòng)區(qū)域塊，這樣就得到了一個(gè)新的區(qū)域塊，里面的像素也發(fā)生了變化。

第4步：如第2步所示重新估算每個(gè)區(qū)域塊的SSIM值。這樣就得到了一個(gè)新的SSIM圖譜，而且每個(gè)像素有多個(gè)SSIM值。

第5步：重復(fù)2～4的操作。一個(gè)區(qū)域塊需要轉(zhuǎn)動(dòng)N2∕ω次。每轉(zhuǎn)動(dòng)一次就得到一個(gè)新的SSIM圖譜。

第6步：如前面所述，我們用N2∕ω個(gè)SSIM來(lái)估算失真圖像。換句話說(shuō)，有效區(qū)域里的每個(gè)像素會(huì)得到N2∕ω個(gè)不同的SSIM。因?yàn)橐粋€(gè)像素在區(qū)域塊中的位置發(fā)生了改變，每個(gè)SSIM值的相關(guān)性就不同。為了提高估算的精確性，引入了每個(gè)SSIM值的相關(guān)系數(shù)。事實(shí)上，像素和區(qū)域塊中心的距離越遠(yuǎn)，它的相關(guān)系數(shù)就越小。該系數(shù)可以用wpj（j=1， 2，….，N2∕ω）來(lái)表示。具體到我們的實(shí)驗(yàn)中，具體為wpj=w/t，w、t的具體計(jì)算如下面代碼所示：

其中w_block是空間區(qū)域的水平分塊尺寸，一般取8；h_block是空間區(qū)域的垂直分塊尺寸，一般也取8。該計(jì)算的原理就是根據(jù)離區(qū)域塊中心的距離來(lái)定系數(shù)大小，距離越近系數(shù)越大。

最后，新-SSIM，SSIM的加權(quán)平均值可以用來(lái)評(píng)估像素的失真情況。

第7步：每個(gè)像素的新-SSIM值組成了新SSIMMap索引圖。由于人眼對(duì)中心區(qū)域的失真比其他區(qū)域的失真更敏感，就像wpj（j=1，2，….，N2/ω），也要引入新-SSIM的相關(guān)系數(shù)。假設(shè)，新-SSIM被16個(gè)平方窗分成16個(gè)部分，我們可以用windi（i=1，2，…16）表示，從圖的中心開(kāi)始，窗分布在每個(gè)方向上，就像許多不同大小的同心矩形。假設(shè)新-SSIM圖的大小為704×576，中心窗的大小就是41×36。第二個(gè)窗為82×72，最后一個(gè)窗為704×576，那么相關(guān)系數(shù)表示為：wmi（i=1，2，…，16），wm1＞wm2＞…..＞wm16，每個(gè)wmi是每個(gè)新-SSIM窗windi的相關(guān)系數(shù)，和第6步相似，用M新-SSIM，新-SSIM的加權(quán)平均值來(lái)表示整個(gè)失真圖像的情況。

實(shí)際上，新SSIM-Map通過(guò)由區(qū)域塊轉(zhuǎn)動(dòng)產(chǎn)生的N×N的SSIM-Map的平均值加權(quán)獲得。為了提高評(píng)估的精確度，我們建立如下模型：N=8，ω=1。因此，區(qū)域塊將被轉(zhuǎn)動(dòng)64次，每旋轉(zhuǎn)一次一個(gè)特定的像素就會(huì)得到一個(gè)SSIM值。最后，每個(gè)像素一共得到了64個(gè)不同的SSIM值。一個(gè)像素的新-SSIM就是由64個(gè)SSIM的平均值加權(quán)得到的，最后的新SSIM-Map就是64個(gè)SSIM-Map的平均值。總之，新-SSIM的結(jié)構(gòu)相似索引圖新SSIM-Map的分辨率要比SSIM-Map的分辨率高很多。采用改進(jìn)的新-SSIM同樣對(duì)上節(jié)的圖1、圖2進(jìn)行運(yùn)算，如圖4所示，分辨率得到了相當(dāng)大的提高。

圖4 新SSIM-Map

4 結(jié)果與分析

取參考圖像見(jiàn)圖5。

圖5 實(shí)驗(yàn)的參考圖像

這個(gè)實(shí)驗(yàn)使用了以下不同失真類型的失真圖像：JPEG壓縮圖像，引入高斯噪聲的圖像，引入椒鹽噪聲的圖像以及模糊圖像。在SSIM-Map和新SSIM-Map中，像素越亮，圖像質(zhì)量就越高。因此，在像素暗的區(qū)域很容易發(fā)現(xiàn)失真。

在圖6中：（a）JPEG壓縮圖像。（d）高斯噪聲圖像。（g）椒鹽噪聲圖像。（j）模糊圖像。圖（b），（e），（h），（k）分別是圖（a），（d），（g），（j）的SSIM-Map。圖（c），（f），（i），（l）分別是圖（a），（d），（g），（j）的新-SSIM-Map。（m）是SSIM值的灰度等級(jí)。在兩種圖中，像素越亮，SSIM值就越接近于1，圖像的質(zhì)量就越好。相反，失真發(fā)生在圖像的暗區(qū)域。

理論上，經(jīng)過(guò)JPEG壓縮的圖像會(huì)有方形效應(yīng)〔4〕。在圖6的新-SSIM-Map（c）中，我們可以看到圖像的背景和輪廓都有不同程度的失真，尤其是背景，方形效應(yīng)會(huì)比較嚴(yán)重。

高斯噪聲，存在整幅圖像的亮度失真，尤其是背景。在上圖的新-SSIM-Map（f）中，我們可以看到背景失真很嚴(yán)重，輪廓相對(duì)好些。

圖6 5種失真類型圖像的SSIM，新-SSIM效果比較

與高斯噪聲不同，椒鹽噪聲是黑白像素，背景像素有很大的顏色對(duì)比。因而，正如圖6的新-SSIMMap（i）所示，失真主要發(fā)生在背景。

模糊圖像的特征是邊緣像素向下平滑，這就意味著輪廓失真將會(huì)很嚴(yán)重。在圖6的新-SSIM-Map（l）中邊緣的相似性要比背景低。

5 結(jié)論

本文深入分析討論了經(jīng)典SSIM算法的固有缺陷，SSIM算法簡(jiǎn)單的使用分區(qū)，會(huì)引起同一個(gè)塊中的N×N個(gè)像素有相同的SSIM值，極大地降低了結(jié)構(gòu)相似索引圖SSIM-Map的分辨率，很難評(píng)測(cè)圖像的具體失真形態(tài)。針對(duì)這個(gè)問(wèn)題，本論文提出了一種新的SSIM算法的改進(jìn)，采用循環(huán)改變分區(qū)的方法，以此提高SSIM-Map索引圖的分辨率。試驗(yàn)結(jié)果證明改進(jìn)的新SSIM算法比原SSIM算法極大提高了評(píng)測(cè)結(jié)果SSIM-Map索引圖的分辨率，更加符合人類視覺(jué)系統(tǒng)，對(duì)于紋理失真準(zhǔn)確度更高。

〔1〕HORE A，ZIOU D.Image Quality Metrics：PSNR vs.SSIM〔EB∕OL〕.〔2016-02-05〕.https：∕∕www.researchgate.net∕publication∕220931731_Image_quality_metrics_PSNR_vs _SSIM.

〔2〕FANG Y，ZENG K，WANG Z，et al.Objective Quality Assessment for Image Retargeting Based on Structural Similarity〔J〕.IEEE Journal on Emerging&Selected Topics in Circuits&Systems，2014，4（1）：95-105.

〔3〕MENDI E.Image quality assessment metrics combining structural similarity and image fidelity with visual attention〔J〕.Journal of Intelligent&Fuzzy Systems，2015，28（3）：1039-1046.

〔4〕王蒙，王雅潔，楊丕仁，等.基于獨(dú)立成分分析的自適應(yīng)圖像濾波算法〔J〕.大理學(xué)院學(xué)報(bào)，2010，9（4）：30-33.

Research on Improving the Resolution of SSIM-Map

Lin Jianan
（Chengyi College,Jimei University,Xiamen,Fujian 361021,China）

The objective evaluation of image quality is very important for many image processing applications.Compared with other existing algorithms,the biggest advantage of structural similarity model（SSIM）is that it is based on image structure distortion,and it is highly consistent with human perception.Through in-depth study of the SSIM algorithm,it is found that it is difficult to clearly identify the details of the image distortion with SSIM's defects.In this paper,a new SSIM algorithm is proposed to improve the resolution of SSIM index map.The image resolution of SSIM-Map's index plan can be elevated with the method of changing portion circularly.The experimental results show that the improved SSIM is more consistent with human visual system than original one,and the accuracy of texture distortion is higher.

image quality;structural similarity;objective evaluation

TN919.85

A

2096-2266（2016）12-0021-05

10.3969∕j.issn.2096-2266.2016.12.005

（責(zé)任編輯 袁 霞）

福建省中青年教師教育科研基金資助項(xiàng)目（JA15606）

2016-10-10

2016-11-01

林佳楠，講師，主要從事通信技術(shù)、圖像視頻質(zhì)量評(píng)測(cè)研究.