基于HVS的視頻會(huì)議畫面對比度無參考質(zhì)量評價(jià)

張洪英，張杰良，蔣未芳，趙 亮，張向陽

(1.中國人民解放軍61416部隊(duì)，北京 100036；2.中國電子科技集團(tuán)公司第三研究所，北京 100015)

基于HVS的視頻會(huì)議畫面對比度無參考質(zhì)量評價(jià)

張洪英1，張杰良1，蔣未芳1，趙 亮1，張向陽2

(1.中國人民解放軍61416部隊(duì)，北京 100036；2.中國電子科技集團(tuán)公司第三研究所，北京 100015)

對比度是衡量視頻會(huì)議畫面質(zhì)量的一個(gè)重要指標(biāo)，結(jié)合人眼視覺系統(tǒng)特性，引入視覺感興趣人物畫面的加權(quán)因子和非視覺感興趣背景畫面的加權(quán)因子，提出一種基于人眼視覺特性的視頻會(huì)議畫面對比度無參考質(zhì)量評價(jià)方法。實(shí)驗(yàn)表明,該方法是一種行之有效的視頻會(huì)議畫面質(zhì)量評價(jià)方法，測試結(jié)果與TID2013圖像庫中主觀評價(jià)結(jié)果的符合度較好。

畫面質(zhì)量評價(jià)；對比度；無參考；視頻會(huì)議

ElectronicsTechnologyGroupCorporation，Beijing100015，China)

在視頻會(huì)議中，視頻會(huì)議畫面質(zhì)量是各級用戶的直接關(guān)注點(diǎn)，嚴(yán)重影響著與會(huì)人員的感觀和信息獲取量。人眼是視頻會(huì)議畫面的最終觀察者，人眼觀察的效果是對視頻會(huì)議畫面質(zhì)量的最終評價(jià)，視頻會(huì)議畫面質(zhì)量的評價(jià)需要同時(shí)滿足客觀標(biāo)準(zhǔn)和人眼的視覺效果。傳統(tǒng)的視頻會(huì)議畫面質(zhì)量評價(jià)包括主觀評價(jià)和客觀評價(jià)，主觀評價(jià)方法以人作為畫面的觀察者，對視頻會(huì)議畫面的優(yōu)劣做出主觀評定，但主觀評價(jià)過程比較煩瑣，而且還不可重復(fù)，不適合于實(shí)時(shí)系統(tǒng)；客觀評價(jià)方法依據(jù)一系列影響視頻會(huì)議畫面質(zhì)量的因素來建立數(shù)學(xué)計(jì)算模型，自動(dòng)感知視頻會(huì)議畫面質(zhì)量，根據(jù)評價(jià)模型對原始畫面的依賴程度，客觀評價(jià)方法可分為全參考(Full Reference，F(xiàn)R)、無參考(No Reference，NR)和半?yún)⒖?Reduced Reference，RR)，但客觀評價(jià)結(jié)果存在與人眼觀測結(jié)果不相吻合甚至相互矛盾等情況[1-4]。在視頻會(huì)議畫面質(zhì)量評價(jià)中引入人眼視覺特性，把傳統(tǒng)的客觀評價(jià)方法與主觀評價(jià)方法結(jié)合起來，可以有效地解決客觀結(jié)果與視覺效果的有機(jī)結(jié)合與統(tǒng)一，這也是視頻會(huì)議畫面質(zhì)量評價(jià)的發(fā)展方向，由于在大多數(shù)應(yīng)用系統(tǒng)中，通常無法獲取到原始的無失真參考畫面，所以需要針對畫面設(shè)計(jì)無參考評價(jià)方法。

對比度是視頻會(huì)議畫面的基本特征之一，對人眼視覺效果的影響比較大，是評價(jià)視頻會(huì)議畫面質(zhì)量的一個(gè)重要指標(biāo)。對比度指同一幅畫面中最亮的白與最暗的黑之間的亮度之比，比值大代表對比度高，比值小代表對比度低。在實(shí)際應(yīng)用中，受攝像設(shè)備、存儲(chǔ)裝置、傳輸系統(tǒng)性能、燈光環(huán)境條件或操作人員水平等因素的影響，視頻會(huì)議畫面的對比度可能過高或過低，無法滿足人類主觀視覺的要求。

本文基于人眼視覺系統(tǒng)，通過人眼視覺系統(tǒng)機(jī)制以及與圖像相關(guān)的視覺感知特性，針對人眼視覺感興趣性的作用原理，引入視覺感興趣人物畫面的加權(quán)因子和非視覺感興趣背景畫面的加權(quán)因子，提出了一種基于HVS的視頻會(huì)議畫面對比度無參考質(zhì)量評價(jià)方法，實(shí)現(xiàn)了視頻會(huì)議畫面質(zhì)量的客觀評價(jià)，并在TID2013圖像數(shù)據(jù)庫上進(jìn)行測試驗(yàn)證，結(jié)果與TID2013圖像庫的主觀評價(jià)結(jié)果一致，驗(yàn)證了評價(jià)方法的可行性。

1 人眼視覺系統(tǒng)(HVS)模型

人眼視覺系統(tǒng)模型指基于人眼視覺系統(tǒng)建立起來的模型，通過模擬人類眼睛的神經(jīng)系統(tǒng)活動(dòng)和生理特性，作為評價(jià)或處理視頻會(huì)議畫面的理論依據(jù)。人眼視覺系統(tǒng)是一個(gè)龐大復(fù)雜的系統(tǒng)，其主要特性包括視覺幅度非線性、對比度敏感度帶通、多通道與掩蓋效應(yīng)[5]，這些特性直接反映了人眼在評價(jià)畫面質(zhì)量過程中的響應(yīng)情況，是無參考畫面質(zhì)量評測技術(shù)的關(guān)鍵所在，簡化的人眼視覺特性模型如圖1所示。

圖1 人眼視覺系統(tǒng)(HVS)模型

1.1 視覺幅度非線性特性

人眼視覺分辨細(xì)節(jié)的能力一般采用分辨相鄰兩點(diǎn)視角的倒數(shù)來表示，其值與視網(wǎng)膜上這兩點(diǎn)的成像位置有關(guān)，以眼睛的黃斑區(qū)為中心，向四周作非線性下降，它與亮度的關(guān)系和整幅畫面的基底亮度無關(guān)，而是取決于相對亮度的變化。也就是說隨著刺激光強(qiáng)增大，最初人眼感覺不到，只有增大到一定程度時(shí)人眼才會(huì)感覺到。

1.2 對比度敏感度帶通

人眼視覺實(shí)際分辨受視覺激勵(lì)的顏色、時(shí)間頻率和空間頻率的影響。帶通特性僅針對于空間頻率，人眼對不同空間細(xì)節(jié)的分辨能力并不是固定不變的，人眼視覺的空間頻率響應(yīng)具有帶通濾波器的性質(zhì)，高頻區(qū)域的靈敏度低于低頻區(qū)域的靈敏度，對高頻區(qū)域的噪聲或失真不太敏感，因此可以把人眼模擬成一個(gè)二維低通濾波器。

1.3 多通道與掩蓋效應(yīng)

對于不同的視覺信息，視覺皮層細(xì)胞擁有不同的敏感性，在人的視覺系統(tǒng)中，所有這些特征都是分通道處理的。掩蓋效應(yīng)指的是由于一個(gè)激勵(lì)的存在而導(dǎo)致另一個(gè)激勵(lì)不能或不容易被檢測到，也就是被掩蓋了。常見的掩蓋效應(yīng)有：對圖像邊緣和輪廓信息失真非常敏感；對圖像紋理細(xì)節(jié)的敏感度與所處的背景亮度有關(guān)，在低亮度背景中敏感度就比較低，而在中高亮度背景中敏感度就比較高；水平和垂直方向上的敏感度要大于其他方向的敏感度；低頻端的敏感度要高于高頻端。

2 基于HVS的視頻會(huì)議畫面對比度無參考客觀質(zhì)量評價(jià)

大部分評價(jià)體系中畫面亮度評價(jià)方法是通過對比畫面的平均灰度值與指定灰度值之間的差值來評價(jià)畫面的亮度，但這種方法會(huì)出現(xiàn)偏差，因?yàn)橹付ǖ幕叶戎挡豢赡軐Σ煌囊曨l會(huì)議畫面都適用。

研究表明，人眼的主觀亮度感覺和亮度的對數(shù)為線性關(guān)系，因此為了更加符合人眼視覺系統(tǒng)的特性，需要對畫面的亮度進(jìn)行對數(shù)化處理。也就是說，人眼對于較低的亮度具有較高的敏感度，而對于較高的亮度則敏感度降低[6-7]。采用直方圖規(guī)定化的方法首先將畫面進(jìn)行直方圖均衡處理，將待評價(jià)畫面的直方圖概率密度函數(shù)首先轉(zhuǎn)換為負(fù)指數(shù)函數(shù)形式，用較多的灰度級表示較低的亮度范圍，用較少的灰度級表示較高的亮度范圍，從而得到一種符合人眼的主觀亮度感覺的亮度評價(jià)算法。

2.1 基于HVS特性的對比度模型建立

適用于電視跟蹤條件下的目標(biāo)相對于背景之間的圖像對比度定義為[8]

(1)

式中：CT為目標(biāo)與背景之間的對比度；VT為目標(biāo)電平；VB為背景電平；VBL為視頻信號消隱電平；VW為峰值白電平。結(jié)合對比度的定義可推導(dǎo)出對比度模型，即

(2)

通過對人眼視覺系統(tǒng)特性的研究發(fā)現(xiàn)，在觀察畫面時(shí)人眼僅關(guān)注畫面的一部分，即人眼感興趣的只是畫面的部分區(qū)域，對其他區(qū)域只是做部分參考[9]。在視頻會(huì)議中，視頻會(huì)議畫面通常是發(fā)言人近景，人們通常只對會(huì)議發(fā)言人感興趣，而對會(huì)場背景不太感興趣。因此在評價(jià)視頻會(huì)議畫面質(zhì)量時(shí)，可以對視頻會(huì)議畫面進(jìn)行區(qū)分，將人眼感興趣的區(qū)域即發(fā)言人稱為人物畫面，而將不感興趣的其他區(qū)域即會(huì)場稱為背景畫面，在進(jìn)行視頻會(huì)議畫面質(zhì)量評價(jià)時(shí)，可以區(qū)別對待人物畫面和背景畫面。

設(shè)視頻會(huì)議畫面的人物畫面和背景畫面分別為T和B，人物畫面和背景畫面的加權(quán)因子分別為pτ和pb，則對比度模型可修改為

(3)

2.2 加權(quán)因子確定

2.2.1 人物畫面加權(quán)因子

在視頻會(huì)議畫面中，受燈光系統(tǒng)的限制，人物畫面和背景畫面區(qū)分明顯，灰度變化較大，因此人物畫面的加權(quán)因子需要同時(shí)考慮畫面的面積和灰度方向的影響。根據(jù)人眼視覺系統(tǒng)的特性，當(dāng)光刺激強(qiáng)度一定時(shí)，人眼的主觀感受與所受刺激面積的平方根做相應(yīng)變化。因此，定義人物畫面面積方面的加權(quán)因子pτ1為

(4)

式中：S為視頻會(huì)議畫面的面積；ST為視頻會(huì)議畫面中人物畫面的面積。

另外，在視頻會(huì)議近景畫面中，受照明系統(tǒng)的影響，人物畫面在紋理和亮度方面都和背景畫面存在明顯的區(qū)別。因此，定義人物畫面灰度方面的加權(quán)因子pτ2為

(5)

式中：f為人物畫面的平均灰度值；b為背景畫面的平均灰度值。

2.2.2 背景畫面加權(quán)因子

(6)

式中:S為視頻會(huì)議畫面的面積；SB為視頻會(huì)議畫面中背景畫面的面積。

(7)

3 實(shí)驗(yàn)與結(jié)果

在驗(yàn)證客觀評價(jià)方法與主觀評價(jià)之間一致性方面，視頻質(zhì)量專家組(VQEG)[10]提出了4個(gè)主要指標(biāo)，這4個(gè)指標(biāo)是用來驗(yàn)證主客觀評價(jià)結(jié)果之間的緊密程度，分別是斯皮爾曼等級次序相關(guān)系數(shù)(SROCC)、肯德爾等級次序相關(guān)系數(shù)(KROCC)、皮爾遜線性相關(guān)系數(shù)(PLCC)以及均方根誤差(RMSE)。SROCC指標(biāo)和KROCC指標(biāo)值表征了評價(jià)方法性能的好壞，指標(biāo)值越接近于1說明評價(jià)方法的致性越強(qiáng)，值為1時(shí)表示客觀評價(jià)結(jié)果與主觀評價(jià)結(jié)果完全一致；PLCC指標(biāo)的值表征評價(jià)方法性能的優(yōu)劣，指標(biāo)值越接近于1說明評價(jià)方法的準(zhǔn)確性越高；而RMSE指標(biāo)的值要小，越小說明評價(jià)指標(biāo)的誤差越小，誤差越小說明評價(jià)指標(biāo)性能越準(zhǔn)。

實(shí)驗(yàn)圖像采用TID2013(TAMPERE IMAGE DATABASE 2013)[11]圖像數(shù)據(jù)庫，無論是在測試圖像還是在測試科目上，TID2013都是當(dāng)前公開領(lǐng)域可用的最大圖像質(zhì)量評價(jià)數(shù)據(jù)庫。TID2013圖像數(shù)據(jù)庫具有非常高的權(quán)威性和可靠性，其優(yōu)勢在于圖像數(shù)量多，參與應(yīng)用的人員和范圍廣泛。

在本實(shí)驗(yàn)中，首先采用前文所提出的方法對圖像庫中的待評價(jià)圖像進(jìn)行視覺質(zhì)量評價(jià)，然后將獲取的圖像客觀質(zhì)量結(jié)果與數(shù)據(jù)庫中圖像的主觀評價(jià)分?jǐn)?shù)(MOS)進(jìn)行比較，再根據(jù)比較結(jié)果，采用數(shù)學(xué)方法進(jìn)行一致性計(jì)算，證明本實(shí)驗(yàn)中提出的評價(jià)方法具有較強(qiáng)的一致性。本實(shí)驗(yàn)中，測試了TID2013圖像庫中全部25原始幅圖像的對比度和飽和度失真圖像，共計(jì)240幅圖像，一致性評價(jià)指標(biāo)結(jié)果如表1所示，客觀評測結(jié)果與主觀評價(jià)分?jǐn)?shù)的散點(diǎn)關(guān)系圖如圖2所示。

表1 TID2013圖像庫上圖像對比度性能測試結(jié)果

圖2 圖像對比度性能測試散點(diǎn)圖

從表1可以看出，SROCC,KROCC和PLCC接近1，表明本文所提評價(jià)方法具有一定的單調(diào)性和準(zhǔn)確性，而RMSE值比較小，表明本文所提出的評價(jià)方法與主觀評價(jià)的結(jié)果具有較高的一致性，根據(jù)所提出的評價(jià)方法實(shí)現(xiàn)的評測結(jié)果誤差相對較小，實(shí)用性較強(qiáng)。

圖2中橫坐標(biāo)為本文所提評價(jià)方法的客觀評價(jià)值，縱坐標(biāo)為主觀評價(jià)分?jǐn)?shù)。根據(jù)大部分研究成果可以認(rèn)為，散點(diǎn)距離擬合曲線的相對距離越緊湊、越平滑，其所提出的評價(jià)方法一致性越好。從圖中可以看出，本文所提方法的測試結(jié)果隨著主觀評價(jià)分?jǐn)?shù)MOS值的增大而增大，評價(jià)方法具有較好的線性關(guān)系。

4 結(jié)論

通過人眼視覺系統(tǒng)機(jī)制以及與圖像相關(guān)的視覺感知特性，引入視覺感興趣人物畫面的加權(quán)因子和非視覺感興趣背景畫面的加權(quán)因子，提出了一種基于HVS的視頻會(huì)議畫面對比度無參考質(zhì)量評價(jià)方法來評價(jià)視頻會(huì)議畫面的質(zhì)量，實(shí)驗(yàn)結(jié)果與TID2013圖像數(shù)據(jù)庫中的主觀評價(jià)分?jǐn)?shù)(MOS)符合較好。實(shí)驗(yàn)結(jié)果表明，所提出的無參考質(zhì)量評價(jià)方法是一種有效的視頻會(huì)議畫面質(zhì)量評價(jià)方法，不僅實(shí)現(xiàn)了視頻會(huì)議畫面對比度客觀的分析統(tǒng)計(jì)，同時(shí)還考慮了人眼視覺的主觀感受，提高了客觀統(tǒng)計(jì)結(jié)果與主觀評價(jià)結(jié)果的一致性。另一方面，從實(shí)驗(yàn)結(jié)果上看，客觀統(tǒng)計(jì)和主觀評價(jià)之間還有一定的差異，主要原因在于目前人們還沒有充分掌握人眼視覺系統(tǒng)的特性，難以采取定量的方法來描述人眼視覺系統(tǒng)，因此對視頻會(huì)議畫面質(zhì)量評價(jià)的研究還有待進(jìn)一步深入。

[1] 褚江，陳強(qiáng)，楊曦晨.全參考圖像質(zhì)量評價(jià)綜述[J].計(jì)算機(jī)應(yīng)用研究，2014，31(1)：13-22.

[2] 姚軍財(cái).基于人眼對比度敏感視覺特性的圖像質(zhì)量評價(jià)方法[J].液晶與顯示，2011，26(3)：390-396.

[3] 孔繁鏘.結(jié)合HVS和相似性度量的圖像質(zhì)量評價(jià)測度[J].中國圖象圖形學(xué)報(bào)，2011，16(7)：1184-1191.

[4] 白永強(qiáng)，朱仲杰，段智勇，等.結(jié)合HVS特性的視頻圖像質(zhì)量評價(jià)[J].計(jì)算機(jī)工程與應(yīng)用，2009，45(27)：181-183.

[5] 李文娟.基于視覺特性的彩色圖像質(zhì)量評價(jià)研究[D].長春：吉林大學(xué)，2006.

[6] 劉文耀.光電圖像處理[M].北京：電子工業(yè)出版社，2002.

[7] 張曉，白廷柱，羅霄，等.基于人眼視覺灰階特性的紅外圖像映射顯示研究[J].紅外技術(shù)，2008，30(4)：225-229.

[8] GJB—1993，電視跟蹤器通用規(guī)范[S].1993.

[9] 祁鈺.適于全視覺圖像感興趣區(qū)域的信道編碼研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2008.

[10] VQEG.Final report from the video quality experts group on the validation of objective models of video quality assessment[EB/OL].[2015-01-12].ftp：//vqeq.its.bldrdoc.gov/Documents/Meetings/Hillsboro-VQEG-Mar-03/VQEGII-DraftReport^v2a.pdf.

[11] PONOMARENKO N.Image database TID2013： Peculiarities， results and perspectives[EB/OL].[2015-01-12]. http：//dx.doi.org/10.1016/j.image.2014.10.009i.

張杰良(1975— )，高級工程師，主研計(jì)算機(jī)技術(shù)、圖像通信；

蔣未芳(1975— )，工程師，主研圖像通信；

趙 亮(1974— )，工程師，主研會(huì)議電視技術(shù)；

張向陽(1979— )，高級工程師，主研電視技術(shù)。

責(zé)任編輯：閆雯雯

Contrast Method of No-reference Quality Assessment for Video Conference Image Based on HVS

ZHANG Hongying1， ZHANG Jieliang1， JIANG Weifang1， ZHAO Liang1， ZHANG Xiangyang2

(1.Unit61416ofPLA，Beijing100036，China；2.TheThirdResearchInstituteofChina

Contrast is an important index of video conference’s image quality， the human visual system is analyzed， a weighting factor for the visual interest’s figure image and a weighting factor for the non-visual interest’s background image are introduced， then a contrast method of no reference quality assessment for video conference image based on human visual system is proposed. Experimental results show that the method is an effective method for video conference image’s quality assessment， whose objective quality scores have better consistency with the subjective quality scores in the TID2013 image database.

image quality assessment； contrast； no reference；video conference

【本文獻(xiàn)信息】張洪英，張杰良，蔣未芳,等.基于HVS的視頻會(huì)議畫面對比度無參考質(zhì)量評價(jià)[J].電視技術(shù),2015，39(11).

TN919.8

A

10.16280/j.videoe.2015.11.018

張洪英(1974— )，女，高級工程師，主研光纖通信、廣播電視技術(shù)；

2015-01-13