上下變換對視頻圖像質(zhì)量的影響*

楊躍華，孟 放，姜秀華

（中國傳媒大學(xué) 信息工程學(xué)院，北京 100024）

1 引言

上下變換是實現(xiàn)高標(biāo)清素材格式轉(zhuǎn)換的主要方法之一，而這種變換不可避免地會引起圖像質(zhì)量的下降。目前，常用的圖像質(zhì)量評價方法可分為主觀評價和客觀評價兩大類：1）主觀評價結(jié)果具有較高的可靠性，但該評價體系對環(huán)境因素、觀看條件以及觀看人員等要求較嚴(yán)格，且試驗的可重復(fù)性較差；2）客觀評價算法的測量指標(biāo)具有客觀性，同時具有操作過程可重復(fù)等諸多優(yōu)點。但客觀評價算法至今仍處于研發(fā)階段，其評價結(jié)果與人眼視覺感知也還存在一定的差異[1]。

在電視節(jié)目制播過程中，有時需要進行一次或多次上下變換來完成對指定素材的處理。對于這種變換所引起的圖像質(zhì)量下降，筆者提出從圖像信息熵和邊緣能量兩個角度對損傷情況進行客觀評價，并通過試驗測量多次變換下的視頻圖像質(zhì)量損傷來驗證算法的可靠性。

2 高標(biāo)清圖像的上下變換

本次試驗所需的素材是通過蘋果非編軟件Final Cut Pro 6及AJA采集卡獲取的。高標(biāo)清上下變換信號簡易流程圖如圖1所示[2]。

2.1 上變換模式

圖1 上下變換信號簡易流程圖

標(biāo)清SD上變換到HD主要有3種變換模式[3]（如圖2所示）：1）鑲邊模式中，畫面左右兩邊鑲上了兩條黑邊（見圖2b）；2）信箱模式中，畫面上下兩邊會丟失一部分內(nèi)容（見圖2c）；3）拉伸模式中，畫面橫向被拉伸，產(chǎn)生變形，但原畫面內(nèi)容被完整保留（見圖2d）。

2.2 下變換模式

高清HD下變換到SD主要也有3種變換模式[3]（如圖3所示）：1）切邊模式中，畫面左右兩邊丟失一部分內(nèi)容（見圖3b）；2）信箱模式中，畫面上下兩邊加黑邊，但內(nèi)容完整，比例正常（見圖3c）；3）壓縮模式中，畫面橫向被壓縮，產(chǎn)生變形，但內(nèi)容完整（見圖3d）。

2.3 多次變換模式

上下變換過程中所采用的拉伸模式（圖2d）和壓縮模式（圖3d）會造成圖像內(nèi)容的明顯變形，因此在實際電視節(jié)目制播過程中一般很少采用這兩種模式。

在原始素材為高清或標(biāo)清格式下，兩次變換后，高清經(jīng)切邊模式下變換再經(jīng)鑲邊模式上變換（見圖4a）或者標(biāo)清經(jīng)鑲邊模式上變換再經(jīng)切邊模式下變換 （見圖4b）后的圖像對畫面的破壞最小，是筆者所考慮的多次變換模式。圖4中的邊框確定了畫面在變換前后內(nèi)容基本相似的部分，也是本文第4節(jié)算法設(shè)計中所定義的“有效區(qū)域”。

3 圖像質(zhì)量客觀評價指標(biāo)

在進行上下變換處理的過程中，濾波、采樣、顏色空間變換等處理會對圖像質(zhì)量造成一定的損傷。圖像模糊是高標(biāo)清上下變換過程中最常見的現(xiàn)象之一，表明圖像邊緣細(xì)節(jié)減少，丟失了一些圖像內(nèi)容信息，在客觀指標(biāo)上可用亮度熵、色度熵及圖像邊緣能量等參數(shù)來衡量。

3.1 圖像信息熵

對于一幀圖像，亮度熵和色度熵代表該幀圖像所含亮度、色度的平均信息量。其值越大，說明圖像各亮度級、色度級出現(xiàn)概率相近，圖像亮度、顏色層次豐富。

在計算圖像信息熵時，考慮了亮度熵和色度熵這兩個信息，旨在減少對亮度熵或色度熵單個指標(biāo)的依賴

式中：p（x）代表亮度值或者色度值為x時出現(xiàn)的概率大小。信息熵定義為

U熵（HU）和V熵（HV）統(tǒng)稱為色度熵。對一幅圖像而言，影響圖像信息熵最大的因素為亮度熵（HL），其集中反映出圖像灰度的豐富程度，即灰度層次越豐富，則圖像的信息熵越大。色度熵反映出圖像顏色的豐富程度，圖像顏色層次越豐富，則圖像的信息熵就越大。U熵、V熵和亮度熵對評價結(jié)果的影響并不相同，試驗中以0.25，0.25，0.5分別對其加權(quán)得到信息熵。

3.2 圖像邊緣能量

邊緣能量[4]反映了圖像所含細(xì)節(jié)的多少，是衡量圖像品質(zhì)優(yōu)劣的標(biāo)準(zhǔn)之一。在上下變換過程中，會因高頻信息的丟失而造成圖像邊緣模糊、清晰度下降等。通過比較變換前后圖像邊緣能量的差異，可分析上下變換對圖像質(zhì)量的影響。試驗中，采用Sobel算子提取圖像邊緣信息，圖像及對應(yīng)的邊緣圖如圖5所示。性，能更好地反映出一幅圖像的特征。熵定義為

對于圖像邊緣的提取，首先定義2個正交方向上的邊緣能量提取模板

式（3）和式（4）分別表示 0°和 90°方向的邊緣能量提取模板。用E1和E2這兩個模板，分別對一幅圖像進行卷積處理，圖像上每點像素對應(yīng)的邊緣值e（x，y）如

圖像的平均邊緣能量記為E，即

式中：H，W分別代表圖像的寬和高。圖像邊緣能量反映邊緣的豐富程度。圖像質(zhì)量越好、邊緣越清晰、信息越豐富，則邊緣信號能量值越大；反之，圖像質(zhì)量較差、邊緣較模糊、所包含的信息少，則其邊緣能量值較小。樹枝序列在經(jīng)兩次變換后，其邊緣信息減少，如圖5所示。

4 試驗結(jié)果及分析

在試驗中選取樹枝（Branch）、花（Flower）兩個高清序列以及樹枝（Branch）、花（Flower）兩個標(biāo)清序列，原始序列內(nèi)容如圖6所示。

依據(jù)從信息熵和邊緣能量角度對多次變換后的高標(biāo)清圖像質(zhì)量損傷進行評價的整體性思路，試驗過程設(shè)計如圖7所示。

圖7 試驗流程圖

為保證參數(shù)對比的一致性，剔除了圖像的黑邊部分，選取其相同區(qū)域（即“有效區(qū)域”，如圖4所示的邊框內(nèi)的畫面部分）進行比較和分析。圖像變換前后信息熵的試驗結(jié)果見表1及表2。

表1 高清兩次變換前后信息熵的試驗結(jié)果

表2 標(biāo)清兩次變換前后信息熵的試驗結(jié)果

高清序列經(jīng)兩次變換（切邊_鑲邊）后，F(xiàn)lower序列信息熵的下降程度大，而Branch序列的下降程度??；標(biāo)清序列經(jīng)兩次變換（鑲邊_切邊）后，Branch序列信息熵的下降程度大，而Flower序列下降程度小。

試驗結(jié)果表明，雖然高標(biāo)清序列經(jīng)兩次變換后圖像的信息熵發(fā)生了變化，但是變化比較小。在評價高標(biāo)清圖像上下變換后的質(zhì)量損傷時，信息熵的測量并不能清晰劃分圖像的損傷程度。

圖像變換前后的圖像邊緣能量試驗數(shù)據(jù)結(jié)果如表3和表4所示。

表3 高清兩次變換前后邊緣能量的試驗結(jié)果

表4 標(biāo)清兩次變換前后邊緣能量的試驗結(jié)果

由表3、表4可知，高清圖像經(jīng)“切邊_鑲邊”模式變換后，Branch序列邊緣能量的下降程度大，達(dá)到70.72%，而Flower序列下降程度小，只有29.71%；標(biāo)清圖像經(jīng)“鑲邊_切邊”模式變換后，Branch序列邊緣能量的下降程度大，達(dá)到27.49%，而Flower序列下降程度小，只有6.70%。

在原始序列中，Branch序列的細(xì)節(jié)豐富，F(xiàn)lower序列所包含的細(xì)節(jié)少。試驗結(jié)果表明，原始序列細(xì)節(jié)越豐富，經(jīng)兩次變換后，邊緣能量下降的程度也就越大，反之，下降的程度就越小，這與人的主觀感知相一致。

5 小結(jié)

筆者從圖像信息熵和邊緣能量的角度，對上下變換過程帶來的圖像損傷進行了試驗和分析。結(jié)果表明，高標(biāo)清圖像經(jīng)多次變換處理之后，其信息熵的損傷效果不太

明顯，而邊緣能量損傷較為明顯。也就是說，圖像邊緣能量比圖像信息熵更適合用來測量上下變換所引起的圖像損傷。如果進一步考慮人眼視覺感知特性，則對于高標(biāo)清上下變換過程的測量，將會獲得與主觀評價結(jié)果更為一致的客觀評價結(jié)果，這也是下一步將要開展的工作。

[1] 蒲翠翠，孟放，姜秀華.一種基于人臉區(qū)域的圖像質(zhì)量客觀評價算法[J].電視技術(shù)，2008，32（2）：94-96.

[2] 傅靜琴，李顯輝.高清節(jié)目制播的挑戰(zhàn)與應(yīng)對[J].影視制作，2009（5）：48-52.

[3] 楊勇強.對高清上、下變換使用的思考[J].視頻基地，2009（3）：58-61.

[4] 胡曄.圖像邊緣信號能量與MTF的相關(guān)研究[J].航天返回與遙感，2005，26（4）：20-24.

楊躍華（1985-），碩士生，主研數(shù)字電視技術(shù)；

孟 放（1972-），工學(xué)博士，副教授，碩士生導(dǎo)師，主要研究方向為視頻圖像質(zhì)量分析和計算機視覺；

姜秀華（1955-），教授，博導(dǎo)，主要研究方向為數(shù)字電視技術(shù)、數(shù)字視頻信號處理和數(shù)字視頻壓縮編碼等。