3D電視主觀評價方法研究

阮衛(wèi)泓，溫 娜，武曉光，潘 榕，吳蔚華，謝于迪，李 強

（1.國家廣播電視質(zhì)量監(jiān)督檢驗中心，北京 100015；2.北京牡丹視源電子有限責(zé)任公司，北京 100083）

3D電視主觀評價方法研究

阮衛(wèi)泓1，溫 娜1，武曉光2，潘 榕1，吳蔚華1，謝于迪1，李 強1

（1.國家廣播電視質(zhì)量監(jiān)督檢驗中心，北京 100015；2.北京牡丹視源電子有限責(zé)任公司，北京 100083）

通過對國際3D電視主觀評價標(biāo)準(zhǔn)的分析，介紹了依據(jù)國際標(biāo)準(zhǔn)開展的3D電視主觀評價測試過程。并針對評價方法的選擇、評價素材的制作、評價對象和目的的確定等方面等提出了建設(shè)性意見，通過實踐得出了有益的結(jié)論和經(jīng)驗，希望為3D電視研發(fā)和生產(chǎn)的相關(guān)人員提供參考。

3D電視；主觀評價；單刺激法

近幾年，立體顯示技術(shù)發(fā)展迅猛，電視機配備3D顯示功能已經(jīng)成為普遍現(xiàn)象。然而，普通消費者真正使用電視3D功能的并不多，3D電視技術(shù)的發(fā)展還有很多問題亟待解決，3D電視的顯示質(zhì)量評價就是問題之一。針對傳統(tǒng)的2D電視主觀評價方法已經(jīng)不完全適用于3D電視，結(jié)合3D電視實際使用場景，并考慮人眼立體視覺感受，開展3D電視的主觀評價測試研究有助于加深業(yè)內(nèi)技術(shù)人員對3D電視顯示特性的了解，積累相關(guān)經(jīng)驗，盡快建立我國統(tǒng)一的3D電視顯示質(zhì)量主觀評價標(biāo)準(zhǔn)。

本文圍繞3D電視主觀評價方法[1]，首先分析了3D電視主觀評價標(biāo)準(zhǔn)，詳細闡述了4種評價方法的差異。應(yīng)用單刺激法開展了3D主觀評價實驗，包括評價素材的選擇和節(jié)目制作、主觀評價的實施、數(shù)據(jù)處理和統(tǒng)計分析，最后進行實驗結(jié)果分析，總結(jié)并提出了開展3D電視主觀評價工作的經(jīng)驗教訓(xùn)，具有實際指導(dǎo)意義。

1 3D電視主觀評價標(biāo)準(zhǔn)分析

目前，國內(nèi)還沒有3D電視主觀評價標(biāo)準(zhǔn)。國外ITU組織開展了相關(guān)研究，制定了標(biāo)準(zhǔn)，包括3D電視圖像主觀評價標(biāo)準(zhǔn)ITU-R BT.1438[2]和3D電視系統(tǒng)的主觀評價標(biāo)準(zhǔn)ITU-R BT.2021[3]。兩個標(biāo)準(zhǔn)都基于2D主觀評價標(biāo)準(zhǔn)ITU-R BT.500[4]，規(guī)定了主觀評價的要素、觀看條件等內(nèi)容。

通常，評估3D電視的顯示質(zhì)量采用ITU-R BT.2021建議書。該建議書提出了單刺激（SS）法、雙刺激連續(xù)質(zhì)量量表（DSCQS）法、刺激比較法、單刺激連續(xù)質(zhì)量評價（SSCQE）法等4種評價方法。下面通過分析，研究上述4種方法的區(qū)別及主要應(yīng)用場景。

1.1 單刺激（SS）法

單刺激（SS）法主要用于得出某一條件的某種數(shù)值分布，分析要判斷的類別和所需的信息（例如等級、主要趨勢、心理“距離”）。評價時顯示單一的圖像或一個圖像序列，并為評價者提供一份整個演示的索引，圖1為典型SS法試驗結(jié)構(gòu)。

對于圖像質(zhì)量評估和深度質(zhì)量評估可使用兩種有質(zhì)量標(biāo)示的量表，即非連續(xù)五級量表和國際電聯(lián)標(biāo)準(zhǔn)的連續(xù)質(zhì)量量表。質(zhì)量標(biāo)示為“優(yōu)”、“良”、“中”、“差”、“劣”。在這種情況下，對于視覺舒適度的評估，可使用兩種舒適度標(biāo)示的量表，即非連續(xù)五級量表和連續(xù)舒適度量表。舒適度標(biāo)示包括：“非常舒適”、“舒適”、“輕度不舒適”、“不舒適”和“非常不舒適”。

圖1 典型SS法試驗結(jié)構(gòu)

評價員對每個序列的評分稱為“意見分”。通常針對每個被研究系統(tǒng)計算這些分數(shù)的平均值，稱為平均意見分（MOS）?！皡⒖肌币曨l序列是測試序列未經(jīng)任何處理的版本，可包含在序列集中。將“參考”視頻序列納入序列集，就可計算“意見分差值”，即研究中每個序列的“測試”和“參考”版所得評分之間的算數(shù)差。針對每個被測試系統(tǒng)得到的意見分差值平均數(shù)稱為平均意見分差值（DMOS）。

1.2 雙刺激連續(xù)質(zhì)量量表（DSCQS）法

雙刺激連續(xù)質(zhì)量量表（DSCQS）法（圖2）主要用于測量系統(tǒng)相對于某一基準(zhǔn)的質(zhì)量和測量立體圖像編碼的質(zhì)量。評價員觀看來自同一信號源的一對圖像，一個經(jīng)過要評價的系統(tǒng)，另一個是原始信號。要求評價者評價二者的質(zhì)量，對于圖像質(zhì)量和深度質(zhì)量評估，可使用國際電聯(lián)標(biāo)準(zhǔn)的連續(xù)質(zhì)量量表。對于視覺舒適度評估，應(yīng)使用舒適度標(biāo)示為“非常舒適”、“舒適”、“輕度不舒適”、“不舒適”和“非常不舒適”的連續(xù)舒適度量表。

圖2 DSCQS法測試系統(tǒng)的一般性安排

1）方法I：評價員是單獨一個人，可以在A和B兩種條件之間切換，直到對每一種條件的評分都感到滿意為止。A線路和B線路都提供了直達參考圖像，或通過被測系統(tǒng)提供圖像。但哪條線路得到哪個圖像在一個測試條件和下一個測試條件之間是隨機變化的，它們由實驗者注明，但不公布。

2）方法II：來自A線路和B線路的圖像連續(xù)顯示給評價員，供評價員對每一圖像進行打分，見圖3。

圖3 雙刺激連續(xù)質(zhì)量量表法試驗結(jié)構(gòu)

用每個序列“測試”和“參考”版的評分計算意見分差值，再計算每個被研究系統(tǒng)的平均意見分差值（DMOS）。

1.3 刺激比較法

刺激比較法（圖4）主要用于比較兩個系統(tǒng)的性能，要求評價員對經(jīng)不同系統(tǒng)（如不同的比特率、不同的算法等）處理過的序列進行比較，以判斷兩個系統(tǒng)質(zhì)量的優(yōu)劣。

圖4 刺激比較法試驗結(jié)構(gòu)

評價實驗使用1個監(jiān)視器或2個匹配良好的監(jiān)視器，如果使用1個監(jiān)視器，一對中的兩個組成部分在第一個位置和第二個位置上出現(xiàn)的頻度相同。如果使用2個監(jiān)視器，則激勵場要同時顯示。評價員用一個二進制量表（如A是首選）提供一個簡單的偏好判斷，或提供一個分級偏好。圖像質(zhì)量、深度質(zhì)量和視覺舒適度可使用相同的量表。

1.4 單刺激連續(xù)質(zhì)量評價（SSCQE）法

刺激連續(xù)質(zhì)量評價（SSCQE）法主要用于連續(xù)衡量數(shù)字編碼視頻的主觀質(zhì)量。在3D節(jié)目播放過程中，圖像質(zhì)量、深度質(zhì)量和視覺舒適度也會隨時間出現(xiàn)很大變化，這種波動可能取決于場景內(nèi)容和影響上述3個基本角度的偽影的持續(xù)時間（如短期或長期）。SSCQE法的目的就是分析這些動態(tài)變化的影響。在SSCQE法中，對立體視頻序列的圖像質(zhì)量、深度質(zhì)量和視覺舒適度進行連續(xù)評估（即按照評價指標(biāo)隨時間的變化進行評估）。這種方法被廣泛認為更能體現(xiàn)實際的家庭觀看模式。

在SSCQE法應(yīng)使用連接至計算機的電子記錄手持設(shè)備來記錄被試得出的質(zhì)量評價。這種設(shè)備應(yīng)是不帶彈簧復(fù)位的滑塊機構(gòu)，具有10 cm的直線移動范圍，位置固定或能安裝在桌面上，且每秒可記錄兩個樣本。打分原則與單刺激法相同，實驗結(jié)束后收集整理所有測試階段的數(shù)據(jù)，計算平均質(zhì)量評分，作為時間的函數(shù)q（t）。結(jié)果可以每個節(jié)目段、視頻內(nèi)容或測試階段所有觀察者的質(zhì)量評分的平均值表示，圖5所示為SSCQE法的典型測試階段輸出結(jié)果。

圖5 SSCQE法典型測試階段輸出結(jié)果

因為單刺激連續(xù)質(zhì)量評價（SSCQE）法由每個評價員單獨進行，所以允許評價員控制節(jié)目源的播放，可根據(jù)自己的需求對節(jié)目進行反復(fù)觀看。觀看時根據(jù)觀感實時用滑塊打分，真實反應(yīng)評價員每個時刻的感受。這種評價方法的評價結(jié)果信息真實、直觀，難度在于打分系統(tǒng)成本較高、對評價員的培訓(xùn)要求較高、節(jié)目時間軸上的要素要清晰。

1.5 標(biāo)準(zhǔn)分析

上述4種評價方法，可用于3D電視節(jié)目源的制作、傳輸和顯示等全方位主觀評價，所有方法都是進行一系列的評判試驗，評價員評估研究對象顯示視頻序列集時的立體效果。在每次試驗中，評價員被要求用規(guī)定的量表評估視頻序列的特性（如圖像質(zhì)量）。這些方法各不相同，主要差異在于演示模式（即向觀看者播放視頻序列的方式）和評價員用來對這些序列進行評分的量表不同，評價方法的選擇見表1。

評價員針對圖像質(zhì)量、深度質(zhì)量和視覺舒適度這3個參數(shù)對測試圖像進行處理的系統(tǒng)以及顯示器進行評估。主觀評價涉及因素多、耗時長、費用高、不確定性強，因此要明確評價試驗的目的和對象，選擇合適的方法。

表1 評價方法選擇

2 3D主觀評價實驗

為探索了解3D顯示主觀評價的一些特性，國家廣播電視產(chǎn)品質(zhì)量監(jiān)督檢驗中心組織開展了3D電視主觀評價實驗。研究人員選擇長安街和奧林匹克森林公園進行了實景拍攝，依據(jù)ITU-R BT.1438和ITU-R BT.2021的標(biāo)準(zhǔn)要求制作用于主觀評價的素材，并聘請有關(guān)專家進行了3D主觀評價打分。主觀評價方法系統(tǒng)搭建上，考慮到觀看距離、觀看角度、樣機與眼鏡的配對關(guān)系等因素，合理的方法是對單臺電視進行觀看。由于目前評價人員對3D電視的評價經(jīng)驗偏少，評價結(jié)果信息量是否適中和對同一3D節(jié)目主觀感受的差異等問題尚不明確，因此，單刺激（SS）法成為優(yōu)選。

2.1 評價素材選擇和節(jié)目制作

評價素材包括視力檢查素材和主觀評價素材。實驗組依據(jù)ITU-R BT.1438和ITU-R BT.2021的標(biāo)準(zhǔn)要求制作視力檢查素材，包括同時視、雙眼融像、粗略立體視、精確立體視和雙目銳度。而主觀評價素材制作主要圍繞感知角度的3個方面：圖像質(zhì)量、深度質(zhì)量和舒適度，可分為靜態(tài)圖片和活動序列兩類。

靜態(tài)圖片采用單機雙機位拍攝方法，對靜物分別拍攝左眼通道和右眼通道圖片，經(jīng)過后期加工后，將素材圖片制作成左右拼接格式（SBS），其圖片像素分辨率為1 920×1 080。主要考察電視顯示的畫面，在不同亮度背景下物體的立體感、物體的質(zhì)感以及深度細膩、清晰程度等?；顒有蛄械呐臄z設(shè)備為松下AG-3DA1MC廣播級集成式3D數(shù)字攝錄一體機。采用雙路HD-SDI無壓縮采集設(shè)備錄制，攝錄一體機的雙通道HD-SDI輸出，從而生成無壓縮左通道和右通道的AVI活動序列作為基礎(chǔ)素材。測試素材序列采用左右拼接格式（SBS），視頻格式為1 920×1 080/50i，拍攝時選取光圈值基本定為5.6。部分測試序列的簡要說明如下：

1）聚焦面和匯聚面在岸邊蘆葦處；畫面上部邊緣的樹葉略微帶有邊框效應(yīng)；游船勻速緩慢的由畫面左側(cè)運動到右側(cè)，之后改變方向向遠處行駛。素材側(cè)重于考察立體顯示器深度運動連續(xù)性，深度層次的展現(xiàn)，以及邊框效應(yīng)帶來的舒適度影響，見圖6a。

2）街道上車輛、行人由遠及近地快速運動，考察顯示快速深度運動中現(xiàn)實的連續(xù)性，以及舒適度影響，見圖6b。

3）用于評價焦平面與匯聚面不重合時對舒適度影響的素材。焦平面固定在第3輛車處，匯聚面由第1輛車至第5輛車變化，調(diào)節(jié)深度范圍約為10 m，見圖6c。

4）用于評價焦平面與匯聚面不重合時對舒適度影響的素材。該素材匯聚面固定而焦平面變化，其匯聚面位于近處樹葉，距離約為2m，焦平面由2～20m緩慢變化，見圖6d。

圖6 測試序列的素材圖示

本次評價共計11段節(jié)目，每段節(jié)目均對應(yīng)不同的評價要素，如表3所示。

2.2 主觀評價實施

本次試驗共計3臺樣機，包括2臺液晶電視和1臺等離子電視。3D實現(xiàn)方式分別為偏光式和偏振式。每個評價員每次只觀看1臺樣機。節(jié)目播放環(huán)節(jié)選用靜態(tài)節(jié)目2段、動態(tài)節(jié)目9段，節(jié)目間用灰場隔開。節(jié)目可重復(fù)播放，每段節(jié)目的觀看次數(shù)由評價員在觀看時自行決定。評價員認為結(jié)果確定后進行打分，并簡要總結(jié)該段節(jié)目的觀看感受，再進行下一段節(jié)目的觀看。

表3 評價要素

評估人員使用非連續(xù)五級量表分別進行圖像質(zhì)量、深度質(zhì)量和視覺舒適度打分。質(zhì)量標(biāo)示為“優(yōu)”、“良”、“中”、“差”、“劣”。舒適度標(biāo)示包括：“非常舒適”，“舒適”，“輕度不舒適”，“不舒適”和“非常不舒適”。

2.3 數(shù)據(jù)處理和統(tǒng)計

針對每臺樣機的評價結(jié)果按“圖像質(zhì)量”、“深度質(zhì)量”和“舒適度”分別進行統(tǒng)計，計算每臺樣機每個節(jié)目的平均分、標(biāo)準(zhǔn)偏差及95%置信區(qū)間。圖像質(zhì)量平均分、深度質(zhì)量平均分和舒適度平均分分別見表4、表5和表6。

表4 圖像質(zhì)量平均分

表5 深度質(zhì)量平均分

表6 舒適度平均分

2.4 結(jié)果分析

從評價結(jié)果可以看出，樣機1和樣機2的圖像質(zhì)量基本相當(dāng)，樣機3的圖像質(zhì)量較差。因此，采用適當(dāng)?shù)脑u價方法可以比較出不同樣機3D圖像質(zhì)量的差異。

在制作評價節(jié)目時，對評價要素進行了充分考慮，不同節(jié)目的評價要素分配有所側(cè)重，試驗中針對深度質(zhì)量、舒適度和圖像質(zhì)量分別進行打分。評價結(jié)果表明圖像質(zhì)量結(jié)果與深度質(zhì)量及舒適度結(jié)果有很強相關(guān)性。

評價員對3D圖像評價的經(jīng)驗偏少，對同一節(jié)目中同一要素的反應(yīng)有較大差別，打分差別較明顯，95%置信區(qū)間較寬。樣機的顯示質(zhì)量對評價員的影響很大，顯示質(zhì)量差的樣機打分偏差更明顯?！皩裹c變化”主要用于評價舒適度，3臺樣機該節(jié)目平均分數(shù)均最低，分數(shù)離散度也最大，說明評價員對焦點變化最敏感，但個體感覺上的差別很大。

15，16，17號評價員年齡均在70歲以上，有多年從事電視產(chǎn)品主觀評價的經(jīng)驗，但他們對3臺3D電視不同節(jié)目的打分幾乎無差別，表明年齡越大對3D圖像的差別越不敏感。

3 結(jié)論與展望

根據(jù)此次主觀評價實驗結(jié)果分析可以得到一些有意義的結(jié)論：

1）盡管當(dāng)前我國還沒有正式頒布的3D主觀評價標(biāo)準(zhǔn)作為測試依據(jù)，相關(guān)人員仍可采用科學(xué)的評價標(biāo)準(zhǔn)，針對各種立體顯示設(shè)備開展主觀評價，從而得到其顯示質(zhì)量優(yōu)劣的結(jié)論。

2）圖像顯示深度的質(zhì)量和人眼舒適度感受對總體評價結(jié)果有決定性影響，電視機生產(chǎn)企業(yè)應(yīng)從這兩方面入手改善顯示質(zhì)量，提高消費者滿意度。

3）為確保3D主觀評價工作科學(xué)、公平、公正地開展，檢測機構(gòu)應(yīng)先通過大量實驗，嚴(yán)格篩選符合個人視力、年齡、健康等條件的評價員參與測試，提高評價員的技術(shù)水平，降低由于個人經(jīng)驗不足導(dǎo)致的結(jié)果偏差。

3D電視雖然經(jīng)過多年發(fā)展，真正大量觀賞3D電視節(jié)目的消費者并不多，廣大觀眾對3D圖像質(zhì)量的認識并不完整，用于3D電視主觀評價用的節(jié)目源有限，目前國內(nèi)依據(jù)標(biāo)準(zhǔn)開展的3D電視主觀評價還不多，評價員經(jīng)驗偏少，評價結(jié)果的準(zhǔn)確性受到多方面影響。因此，雖然經(jīng)過實踐發(fā)現(xiàn)應(yīng)用適當(dāng)?shù)姆椒梢詫?D電視產(chǎn)品的圖像質(zhì)量進行比較，但是實驗室間進行數(shù)據(jù)交換為時尚早。

[1] 杜祥坤，姜秀華，王彩虹.立體電視視頻質(zhì)量主觀評價方法研究[J].電視技術(shù)，2013，37（23）:241-245.

[2] Recommendation ITU-R BT.1438，Subjective assessment of ste?reoscopic television pictures[S].2000.

[3] Recommendation ITU-R BT.2021，Subjective methods for the as?sessment of stereoscopic 3DTV systems[S].2012.

[4] Recommendation ITU-R BT.500-13，Methodology for the subjec?tive assessment of the quality of television pictures[S].2012

Research on Subjective Evaluation of 3D TV

RUAN Weihong1,WEN Na1,WU Xiaoguang2,PAN Rong1,WU Weihua1,XIE Yudi1,LI Qiang1
（1.National Testing and Inspection Center for Radio and TV Products,Beijing 100015,China; 2.Beijing Peony Digital Video Electronics Co.,Ltd.,Beijing 100083,China）

Analysis of the international 3D TV subjective assessment standards is given.A subjective evaluation process is introduced based on those international standards,and constructive ideas are put forward for selecting evaluation methods, producing evaluation material,and determining evaluation objects and purposes.Useful conclusions and experiences that can be referenced by 3D TV development and production researchers are drawn through practices.

3D TV;subjective assessment;single-stimulus method

TN949.61；TN949.13

A

?? 薇

2014-10-22

【本文獻信息】阮衛(wèi)泓，溫娜，武曉光，等.3D電視主觀評價方法研究[J].電視技術(shù)，2014，38（24）.

國家自然科學(xué)基金青年基金項目（61101059）