基于邊緣結(jié)構(gòu)相似性的視頻質(zhì)量客觀評價

鄒 鈞，姜秀華，楊 爽

（中國傳媒大學 信息工程學院，北京 100024）

0 引言

視頻圖像質(zhì)量評價方法可以分為主觀評價方法和客觀評價方法。前者憑感知者主觀感受評價圖像的質(zhì)量，后者依據(jù)模型給出的量化指標或參數(shù)衡量圖像質(zhì)量[1]。目前，國際上公認一個評價視頻圖像質(zhì)量最可靠的方法是主觀評價方法，因為在應用過程中，人是最終的接受者，但是這種評價受觀察者的知識背景、觀測目的、觀測環(huán)境和人的視覺心理的影響，在工程應用中不但成本高、費時費力，而且很多情況下無法采用?？陀^評價方法采用數(shù)學模型計算失真圖像和原始圖像的相似度得到評價結(jié)果，因而具有簡單，便于內(nèi)置于圖像處理系統(tǒng)中等優(yōu)點，是目前圖像質(zhì)量評價領(lǐng)域的研究重點。

圖像質(zhì)量客觀評價方法研究的目的是使評價結(jié)果與人的主觀感覺相符。傳統(tǒng)的圖像質(zhì)量客觀評價方法，例如均方誤差（Mean Square Error，MSE）和峰值信噪比（Peak Signal Noise Ratio，PSNR）都是基于對應像素點間的誤差進行圖像質(zhì)量評價。采用這種方法，當參考圖像與受損圖像的像素位置發(fā)生偏移時，將會帶來較大的評價誤差，因此無法對經(jīng)過變換后的圖像進行質(zhì)量評價，并且由于未考慮到人眼的視覺特性，評價結(jié)果與人的主觀感覺相關(guān)性也不高。

研究表明，人眼視覺系統(tǒng)的主要功能是提取圖像和視頻中的結(jié)構(gòu)信息[2]。由于結(jié)構(gòu)相似度（SSIM）模型算法具有對像素偏移不敏感、計算簡單、評價性能優(yōu)于PSNR與MSE等特點，應用較為廣泛，但是SSIM算法不能較好地評價嚴重模糊圖像的質(zhì)量，因此，本文提出了一種基于邊緣提取的結(jié)構(gòu)相似度（ESSIM）的視頻圖像質(zhì)量評價方法。

1 結(jié)構(gòu)相似度方法

方法的基本理論是[3]：人眼的主要功能是從視覺區(qū)域提取圖像的結(jié)構(gòu)化信息，模型框圖如圖1所示。

在圖1中，設(shè)原始圖像和失真圖像分別為x和y，分成不重疊的子塊。從結(jié)構(gòu)信息出發(fā)計算塊的結(jié)構(gòu)相似度，其計算公式為

式中：μx和μy表示原始子塊和受損子塊的均值，C1=(K1L)2，C2=(K2L)2，σx和σy表示原始子塊和受損子塊的標準差，σx=，σxy表示子塊的協(xié)方差，C3=，K1=0.01，K2=0.03，L=255，C1，C2和C3是為了保證分式的分母不為零而添加的常數(shù)。式（1）表示子塊的結(jié)構(gòu)相似度，整幅圖像的結(jié)構(gòu)相似度為

式中：N是整幅圖像的分塊數(shù)。實驗表明，相對于傳統(tǒng)的PSNR和MSE方法，SSIM算法所得結(jié)果能夠更好地與人的主觀評價相符合，但對嚴重模糊圖像的評價效果較差。

2 邊緣結(jié)構(gòu)檢測算法改進結(jié)構(gòu)相似度

邊緣就是指圖像局部亮度變化最顯著的部分[4]，如灰度、顏色、紋理結(jié)構(gòu)的突變，是人眼提取視覺信息的重要依據(jù)。人眼對邊緣或輪廓信息更加敏感，特別是在觀看運動序列時。邊緣是圖像的重要信息，也是視覺感知的重要線索，不僅能夠傳遞圖像的大部分信息，而且能夠勾勒出物體的基本輪廓，尤其是當圖像的邊緣信息損傷時人眼特別容易察覺，因此邊緣信息一直是國內(nèi)外研究的熱點。

ESSIM算法的核心思想是[5]：首先計算色調(diào)、飽和度、亮度等三個分量的邊緣信息，然后對三個分量進行邊緣提取合成得到總邊緣信息，最后通過非極大值抑制，得到視頻圖像的邊緣。ESSIM算法模型框圖如圖2所示。

為了保證檢測到所有的邊緣，采用改進的4方向的Sobel邊緣檢測算子，分別為水平方向、垂直方向、45°方向和135°方向。4個邊緣檢測算子為

分別對色調(diào)、飽和度、亮度按照式（6）的梯度算子進行4個方向的邊緣提取[6]，定義合成的G為4個方向的邊緣強度值，同時也作為該圖像的邊緣信息。圖3為原始圖像，圖4～圖8分別是經(jīng)過4個方向邊緣提取后所得的圖像。

3 實驗結(jié)果分析

實驗中共用了3個經(jīng)過H.264壓縮的高清序列（花、港口、秋葉），其中每個序列包含了（原始，8 Mbit/s，10 Mbit/s，12 Mbit/s，14 Mbit/s，16 Mbit/s，18 Mbit/s，20 Mbit/s，25 Mbit/s）等8個碼率；高清序列幀頻均為25 f/s，色度格式為4∶2∶0，GoP長度為12，GoP結(jié)構(gòu)均采用廣播電視系統(tǒng)常用的IBBPBBPBBPBB結(jié)構(gòu)。

在實驗中，對未經(jīng)過邊緣提取的結(jié)構(gòu)相似度客觀值與經(jīng)過邊緣提取后得出的結(jié)構(gòu)相似度客觀值進行主客觀相關(guān)性計算，其結(jié)果如表1所示。

表1 SSIM，ESSIM與主觀評價的相關(guān)性比較

SSIM與主觀評價值的擬合如圖9所示，ESSIM與主觀評價值的擬合如圖10所示。

從實驗數(shù)據(jù)中可分析出，經(jīng)過邊緣提取后的ESSIM模型得出的客觀值與主客觀評價值具有更高的相關(guān)性，能更好地反映視頻圖像的質(zhì)量。

4 小結(jié)

本文從人眼的視覺模型出發(fā)，深入研究了SSIM模型算法，分析其優(yōu)缺點。并在此基礎(chǔ)上加入了邊緣檢測算法，綜合利用了梯度的幅度和方向信息，很好地反映了圖像的邊緣紋理結(jié)構(gòu)特征，得到更好的評價結(jié)果。在實驗中，ESSIM算法的仿真效果優(yōu)于SSIM算法，能更好地評價圖像質(zhì)量，更符合人眼視覺系統(tǒng)的特性，具有廣泛的應用價值。

[1]袁飛，黃聯(lián)芬，姚彥.視頻質(zhì)量客觀評價技術(shù)研究[J].電視技術(shù)，2007，31（3）：91-94.

[2]張文俊，王興國，陳國斌.一種基于視覺感知的視頻質(zhì)量客觀評價方法[J].電視技術(shù)，2004，28（8）：57-59.

[3]朱里，李喬亮，張婷，等.基于結(jié)構(gòu)相似性的圖像質(zhì)量評價方法[J].光電工程，2007，34（11）：108-113.

[4]WANG Zhou，BOVIK A C，SHEIKH H R，et al.Image quality assessment：from error visibility to structural similarity[J].IEEE Trans.Image Processing，2004，13（4）：600-612.

[5]FAN Jianping，AREF W G，HACID M S ，et al.An improved automatic isotropic color edge detection technique[J].Pattern Recognition Letters，2001，22（3）：1419-1429.

[6]WANG Z，BOVIK A C，SHEIKH H R.Image quality assessment：from error visibility to structural similarity[J].IEEE Trans.Image Processing，2004，13（4）：600-612.