基于SSIM算法的全參考視頻自動評價(jià)系統(tǒng)

一、引言

視頻質(zhì)量評價(jià)是對視頻解碼器等設(shè)備質(zhì)量分析評價(jià)中最為重要的步驟。將視頻解碼設(shè)備輸出的視頻與原始視頻進(jìn)行比對，即全參考視頻質(zhì)量評價(jià)，是目前應(yīng)用最為廣泛的視頻質(zhì)量評價(jià)方法之一。全參考視頻質(zhì)量評價(jià)中往往采用專家人工觀察對比待評價(jià)視頻和原始視頻的方法。但是這種方法具有顯著的缺點(diǎn)：

（1）依賴專家經(jīng)驗(yàn)，比對人員專業(yè)技能要求較高；

（2）比對結(jié)果受主觀影響較大；

（3）比對工作耗時(shí)較長，期間可能多次反復(fù)。

為解決傳統(tǒng)人工比對的缺點(diǎn)，已有大量的研究提出了基于計(jì)算機(jī)自動比對的視頻質(zhì)量評價(jià)算法[1]。其中最為著名的包括峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）算法[2]和結(jié)構(gòu)相似性（Structural SIMilarity,SSIM）算法[3]。這些算法可以將對應(yīng)的一對被測圖像與參考圖像進(jìn)行自動比對，計(jì)算出其定義的指標(biāo)作為被測圖像質(zhì)量的評價(jià)。

在利用上述算法對視頻質(zhì)量進(jìn)行評價(jià)時(shí)，理論上只需要將被測視頻與原始視頻逐幀進(jìn)行比較，就可以獲得被測視頻每一幀圖像的質(zhì)量評價(jià)，然后以各個視頻圖像得分的統(tǒng)計(jì)值，例如平均值，作為整個視頻的質(zhì)量評價(jià)。然而，在實(shí)際視頻質(zhì)量評價(jià)中，高效、可靠地獲得被測視頻的逐幀圖像，并獲得其與原始視頻圖像逐幀對應(yīng)關(guān)系十分困難，從而造成了PSNR、SSIM等算法應(yīng)用前提要求過高，難以在實(shí)際視頻評價(jià)工作中使用的問題。造成這些困難的主要原因包括：

（1）被測視頻的輸出形式差別較大，既有數(shù)字信號輸出的，也有模擬信號輸出的。為了具備通用的視頻質(zhì)量評價(jià)功能，只能采用具有多種輸入方式的視頻采集卡對被測視頻進(jìn)行采集。而視頻采集卡采集的幀率往往與原始視頻不同，逐幀圖像的完整性也不能保證，因此采用哪些采集到的視頻幀與原始視頻進(jìn)行比較需要研究。

（2）在被測視頻采集中，一般不能保證準(zhǔn)確地從視頻的開頭進(jìn)行采集。并且為了保證整個視頻能被采集完整，需要采集相當(dāng)于原始視頻兩遍甚至更多的被測視頻。在這種情況下，找到對應(yīng)原始視頻開頭（第一幀）和結(jié)尾（最后一幀）在被測視頻幀中的位置就十分困難。找到起始點(diǎn)就不容易。

（3）由于被測視頻在采集時(shí)使用的幀率與原始視頻不同，即使在知道原始視頻開頭結(jié)尾在被測視頻中對應(yīng)位置之后，也需要為原始視頻中的每一幀找到其對應(yīng)的被測視頻幀。由于采集的幀率一般大于原始視頻的幀率，那么原始視頻中的一幀可能會對應(yīng)被測視頻中多個幀。選擇哪一幀作為質(zhì)量評價(jià)算法的輸入值得考慮。

綜上所述，盡管已有算法能夠評價(jià)視頻幀的質(zhì)量，但是在實(shí)際的視頻自動評價(jià)系統(tǒng)中，還需要解決高效、可靠地獲得被測視頻的逐幀圖像，并給出其與原始視頻圖像逐幀對應(yīng)關(guān)系的問題。如果使用人工來找到原始視頻開頭結(jié)尾在被測視頻中的位置，并把其中的各個幀與原始視頻逐幀一一對應(yīng)，將非常的耗時(shí)費(fèi)力。在本文中，研究了獲取被測視頻逐幀圖像的方法，提出了自動判定被測視頻逐幀圖像與原始視頻幀對應(yīng)關(guān)系的算法，并在此基礎(chǔ)上實(shí)現(xiàn)了基于SSIM的視頻質(zhì)量評價(jià)，進(jìn)一步提高了視頻質(zhì)量評價(jià)系統(tǒng)的自動化程度和實(shí)用性。

二、視頻質(zhì)量評價(jià)算法描述與比較

1.視頻比對算法描述

視頻是由若干幀大小相同的圖像組成，因此視頻比對可以等價(jià)轉(zhuǎn)化為逐幀進(jìn)行圖像比對，最后綜合組成視頻的所有圖像幀對比結(jié)果，形成最終的視頻比對結(jié)果。

計(jì)算機(jī)視覺研究領(lǐng)域已經(jīng)提出兩種相對成熟可靠的圖像質(zhì)量比對算法：PSNR算法和SSIM算法。

2.PSNR算法

PSNR（Peak Signal-to-Noise Ratio，峰值信噪比）是一個表示信號最大可能功率和影響它的表示精度的破壞性噪聲功率的比值的工程術(shù)語。通過計(jì)算均方差（Mean Squared Error，MSE），進(jìn)一步得到原始圖像和被測圖像的PSNR值。假設(shè)原始圖像和被測圖像大小為m×n，I（i,j）和K（i,j）分別表示原始圖像和被測圖像位置為（i,j）的像素點(diǎn)的信息，則PSNR指標(biāo)計(jì)算方式如下：

其中MAXI是表示圖像點(diǎn)顏色的最大數(shù)值，如果每個采樣點(diǎn)用 8 位表示，那么就是 255。PSNR值越大，表示被測圖像與原始圖像越接近。

3.SSIM算法

SSIM（Structural SIMilarity，結(jié)構(gòu)相似性）指標(biāo)由美國得克薩斯州立大學(xué)奧斯丁分校的圖像和視頻工程實(shí)驗(yàn)室首先提出。SSIM算法的基本觀念為自然影像是高度結(jié)構(gòu)化的，亦即在自然影像中相鄰像素之間有很強(qiáng)的關(guān)聯(lián)性，而這樣的關(guān)聯(lián)性承載了場景中物體的結(jié)構(gòu)資訊。人類視覺系統(tǒng)在觀看影像時(shí)已經(jīng)很習(xí)慣抽取這樣的結(jié)構(gòu)性資訊。因此SSIM指標(biāo)可以衡量原始圖像與被測圖像的相似程度。假設(shè)原始圖像和被測圖像分別為x和y，則SSIM指標(biāo)計(jì)算方式如下：

4.PSNR算法和SSIM算法的比較及項(xiàng)目中的應(yīng)用

圖1和圖2是針對圖像比對算法與人工主觀比對差異的研究結(jié)果。根據(jù)分析大量測試圖片數(shù)據(jù)，PSNR算法給出的結(jié)論與人眼主觀分析結(jié)論存在較大的差異，而SSIM算法的結(jié)論與人眼主觀分析結(jié)果相似度較高。兩種算法相比，SSIM算法能更好的反應(yīng)人眼的主觀感受。

圖1 PSNR算法與人工主觀比對的差異

圖2 SSIM算法與人工主觀比對的差異

綜合上述討論，兩種圖像比對算法的特點(diǎn)參見表1。本研究中利用兩種算法不同的特點(diǎn)，在采集視頻預(yù)處理階段使用PSNR算法，在視頻比對打分階段使用SSIM算法。

5.視頻壓縮算法描述

表1 PSNR算法與SSIM算法對比

比對工具開發(fā)過程中需要對視頻的圖像幀進(jìn)行縮放。為取得較好的縮放結(jié)果，盡可能避免縮放帶來的圖像失真，研究中采用了“雙線性插值（Bilinear Interpolation）”算法。其核心思想是在兩個方向分別進(jìn)行一次線性插值，圖3給出了算法的示意圖，計(jì)算公式如下：

圖3 雙線性插值算法原理

三、視頻自動評價(jià)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

為了進(jìn)一步提高視頻質(zhì)量評價(jià)系統(tǒng)的自動化程度和實(shí)用性，本文提出了一種新型的全參考視頻質(zhì)量自動評價(jià)系統(tǒng)，如圖4所示。在本系統(tǒng)中，被測設(shè)備為面向SVAC、H.265等標(biāo)準(zhǔn)的軟硬件解碼設(shè)備,通過比特流發(fā)送工具向被測設(shè)備輸入測試測試比特流,測試比特流為原始視頻經(jīng)參考編碼器編碼形成。系統(tǒng)采用視頻采集卡來統(tǒng)一地收集被測設(shè)備輸出的視頻，其中既包括了數(shù)字格式的DVI、HDMI等輸出方式，也包括了傳統(tǒng)的VGA等模擬輸出方式。本系統(tǒng)然后將采集到的待評價(jià)視頻保存為YUV視頻文件。然后系統(tǒng)對待評價(jià)視頻進(jìn)行自動化處理，包括對待評價(jià)視頻的裁剪和縮放，待評價(jià)視頻與原始視頻的逐幀對齊。接下來將處理好的待評價(jià)視頻和原始視頻作為SSIM算法的輸入，對視頻逐幀進(jìn)行質(zhì)量評價(jià)。最后，將每幀視頻圖像的得分綜合得到對整個視頻質(zhì)量的評價(jià)。

其中本文主要的貢獻(xiàn)在于對采集得到的待評價(jià)視頻進(jìn)行全自動化處理及評分的算法。該算法流程如圖5所示。以下將在3.1節(jié)至3.4節(jié)詳細(xì)描述這一算法各部分的設(shè)計(jì)與實(shí)現(xiàn)。

圖4 全參考視頻質(zhì)量評價(jià)系統(tǒng)結(jié)構(gòu)圖

1.采集到待評價(jià)視頻的剪裁和縮放

圖5 待評價(jià)視頻全自動處理流程

視頻圖像幀對比的基礎(chǔ)是原始圖像幀和被測圖像幀具有相同的大小。然而實(shí)際過程中采集視頻的大小與原始視頻并不相同。此外某些采集設(shè)備對應(yīng)的采集軟件帶有寬度不定的邊框，也會影響最終的比對結(jié)果。因此在開始視頻比對之前，首先應(yīng)對采集視頻進(jìn)行剪裁和壓縮。選擇采集視頻后，軟件工具提示用戶輸入邊框?qū)挾龋ㄈ绻杉浖淮嬖谶吙騽t輸入0即可），然后根據(jù)給定的邊框?qū)挾群驮家曨l的大小，進(jìn)行剪裁和縮放。

在計(jì)算機(jī)中，圖像被轉(zhuǎn)化為數(shù)值的矩陣，因此圖像的剪裁和縮放的操作也轉(zhuǎn)化為對應(yīng)的矩陣操作，如圖6所示。其中縮放操作使用節(jié)描述雙線性插值算法，盡可能減小圖像縮放引起的失真，避免過度影響最終的視頻比對結(jié)果。

2.待評價(jià)視頻與參考視頻的逐幀對齊

被測視頻的采集過程為播放原始視頻的同時(shí)通過采集設(shè)備進(jìn)行抓取。因啟動播放和采集很難做到同步開始，因此采集視頻的第一幀為黑屏（采集先于播放原始視頻）或原始視頻中間幀（播放原始視頻先于采集）。為解決該問題，視頻采集過程中通常需要循環(huán)播放原始視頻，保證至少完整采集一次原始視頻，然后進(jìn)行原始視頻和被測視頻的頭部幀對齊。具體的流程為：

（1）讀取原始視頻的第一幀（頭部幀）；

（2）依次讀取被測視頻的圖像幀，使用PSNR算法快速分析與原始視頻頭部幀的相似性；

（3）找到第一次出現(xiàn)與原始視頻頭部幀高度相似的圖像幀，以該幀為被測視頻比對的頭部幀；

（4）刪除被測視頻比對頭部幀之前的圖像幀，完成原始視頻與被測視頻的頭部幀對齊；

除了頭部幀對齊之外，還需進(jìn)行原始視頻和被測視頻的幀率對齊。被測視頻的幀率與顯示設(shè)備的刷新頻率一致，而顯示設(shè)備刷新頻率通常要大于原始視頻的幀率。在研究中，原始視頻的幀率為24或30，而采集視頻的幀率接近60。幀率不相等導(dǎo)致存在以下兩個嚴(yán)重問題：

（1）視頻比對依賴于原始視頻和采集視頻相對應(yīng)的圖像幀間的比對，幀率不一致則相同時(shí)間內(nèi)原始視頻和被測視頻的圖像幀數(shù)目不一致，難以選擇使用SSIM算法比對的幀；

（2）顯示設(shè)備的刷新頻率大于原始視頻幀率，很可能出現(xiàn)采集設(shè)備抓取到顯示設(shè)備正在進(jìn)行原始視頻前后兩幀間切換的情況，即呈現(xiàn)出錯位的效果，如圖7所示。這種采集到的圖像幀嚴(yán)重影響視頻比對的結(jié)果，必須在正式使用SSIM算法比對前刪去。

圖6 圖像剪裁邊框和縮放

圖7 被測視頻出現(xiàn)錯位情況的示意

因此，為解決原始視頻和被測視頻幀率對齊，本研究實(shí)現(xiàn)了一種“步進(jìn)式”抽取被測視頻的圖像幀，實(shí)現(xiàn)幀率對齊的算法。該算法的示意圖如圖8所示，核心思想如下：

圖8 步進(jìn)式幀率對齊算法

（1）假設(shè)被測視頻的第N幀與原始視頻的第M幀對應(yīng)；

（2）原始視頻的幀率為fpsorigin，采集視頻的幀率為fpstester，因則原始視頻第M+1幀在被測視頻中對應(yīng)的幀在下述范圍內(nèi)：

（3）因被測視頻與原始視頻的頭部幀已經(jīng)對齊，以

頭部幀為起點(diǎn)，步進(jìn)式搜索并對齊被測視頻；

（4）遞歸對齊至原始視頻的最后一幀，此時(shí)被測視頻幀率與原始視頻完全一致，可以利用SSIM算法進(jìn)行比對得分。

3.全參考視頻比對算法實(shí)現(xiàn)

PSNR算法和SSIM算法的核心思想相對較為成熟，研究中采用運(yùn)算高效的矩陣結(jié)構(gòu)表示圖像，依據(jù)已經(jīng)公開發(fā)表論文作為算法實(shí)現(xiàn)基礎(chǔ)，并根據(jù)測試結(jié)果進(jìn)行參數(shù)調(diào)優(yōu)，使得自動視頻比對軟件工具更加適用于分析采集設(shè)備的質(zhì)量。

本文中實(shí)現(xiàn)的PSNR算法和SSIM算法均以輸入的圖像矩陣為參數(shù)，輸出的值為原始圖像和被測圖像的相似程度。

PSNR算法的部分實(shí)現(xiàn)程序示例如圖9所示：

SSIM算法的主要流程如圖10所示：

圖9 PNSR算法流程圖

圖10 SSIM算法流程圖

可以看出，SSIM算法遠(yuǎn)比PSNR算法復(fù)雜，SSIM算法執(zhí)行的時(shí)間更長，但取得與人眼主觀感受更加接近的結(jié)果。

4.系統(tǒng)人機(jī)交互界面設(shè)計(jì)

為實(shí)現(xiàn)可視化操作和比對效果，本研究開發(fā)了交互程度較高的圖形界面。軟件工具原型示意圖如圖11所示。

軟件工具分為視頻播放區(qū)、參數(shù)輸入?yún)^(qū)、結(jié)果展示區(qū)。視頻播放區(qū)循環(huán)播放原始視頻和被測的采集視頻，可以進(jìn)行人工比對；結(jié)果展示區(qū)用圖形化的方式逐幀展示比對結(jié)果，并提供被測視頻的綜合得分。

圖11 系統(tǒng)人機(jī)交互圖形界面

四、測試實(shí)驗(yàn)

為測試驗(yàn)證本研究的效果，研究中使用實(shí)際驗(yàn)證采集設(shè)備質(zhì)量的測試用例對軟件工具進(jìn)行測試，并與人工比對測評評分進(jìn)行了比較。

人工比對測試評分辦法參考行業(yè)通用主觀刺激法。

評價(jià)人員可以是專業(yè)人員，也可以是非專業(yè)人員，應(yīng)有正常的視力和彩色視覺，人數(shù)至少7人。

將測試比特流分別送入標(biāo)準(zhǔn)解碼軟件和被測設(shè)備，在顯示設(shè)備上同時(shí)顯示標(biāo)準(zhǔn)解碼軟件和被測設(shè)備的輸出圖像，由觀看員通過主觀判斷可察覺的差別的存在做出比較性評分。比較評分的分級如下：

5分：被測解碼輸出圖像與標(biāo)準(zhǔn)解碼軟件輸出圖像相同

4分：稍有差異

3分：有差異

2分：差異較大

1分：差異很大

對所有參加主觀評價(jià)的觀看員對某測試編碼比特流的評分進(jìn)行算術(shù)平均，結(jié)果即為該項(xiàng)評價(jià)指標(biāo)的平均得分的計(jì)算公式為：

式中：

測試視頻流為公安部檢測中心用于日常SVAC標(biāo)準(zhǔn)符合性測試的標(biāo)準(zhǔn)測試碼流，已通過第三方評審。

對A廠家生產(chǎn)的SVAC硬件解碼器的測試結(jié)果如表2所示。

表2 A廠商解碼器主客觀測試評分

對B廠家生產(chǎn)的SVAC硬件解碼器的測試結(jié)果如表3所示。

表3 B廠商解碼器主客觀測試評分

五、結(jié)論

SSIM算法作為一種兼顧執(zhí)行效率和準(zhǔn)確程度的圖像比對算法，在計(jì)算機(jī)圖形學(xué)的各個領(lǐng)域獲得了應(yīng)用。本文創(chuàng)造性地將SSIM算法及PSNR算法用于采集設(shè)備質(zhì)量分析中，將過去主要依賴人工比對原始視頻和被測視頻的方式轉(zhuǎn)化為一種可視化的自動視頻比對工具。通過一系列的測試用例，證明本文提出的軟件工具不僅執(zhí)行效率較高，同時(shí)與人工比對的主觀結(jié)果較為接近，可以適用于視頻采集設(shè)備的質(zhì)量分析過程中。

然而視頻比對工具仍然有較大的研究和發(fā)展空間，后續(xù)將從以下三個方面進(jìn)一步展開深入的研究工作：

（1）目前視頻的采集與比對過程是分離的，自動化程度不高。將繼續(xù)開發(fā)將視頻的采集和比對過程相集成，提高視頻比對軟件工具的自動化程度和易用性；

（2）SSIM算法只是圖像比對眾多算法中的一種，一方面將繼續(xù)發(fā)掘計(jì)算機(jī)圖形學(xué)中的其他圖像比對算法，探索將其他算法應(yīng)用于視頻采集設(shè)備質(zhì)量分析領(lǐng)域，另一方面將繼續(xù)對SSIM算法調(diào)優(yōu)，使得更加接近人眼主觀感受，提高視頻比對軟件工具的可用性；

（3）可以看出SSIM算法包含大量復(fù)雜的矩陣運(yùn)算，執(zhí)行速率相對較慢。為提升視頻比對軟件工具的效率，將研究加速SSIM算法的策略，例如并發(fā)計(jì)算、GPU加速等。

通過持續(xù)研究和優(yōu)化，可視化的自動視頻比對軟件工具將能夠逐步替代人工比對，以高效和可靠的特點(diǎn)廣泛應(yīng)用于視頻采集設(shè)備的質(zhì)量分析之中。

[1]Chikkerur, S., et al., Objective video quality assessment methods: A classification, review, and performance comparison. IEEE transactions on broadcasting, 2011. 57(2): p. 165--

[2]182.Huynh-Thu, Q. and M. Ghanbari, Scope of validity of PSNR in image/video quality assessment. Electronics

[3]letters, 2008. 44(13): p. 800--801.Wang, Z., et al., Image quality assessment: from error visibility to structural similarity. IEEE