活態(tài)文化資源雙目立體視頻采集處理技術(shù)標準規(guī)范研究

任慧，蘇志斌，李華

(中國傳媒大學自動化系，北京100024)

1 概述

文化資源[1]是人類在社會發(fā)展過程中創(chuàng)造并借以進一步從事文化生產(chǎn)和文化活動的各種精神產(chǎn)品的總和。它具有作為人的行為活動的動態(tài)性和傳承性，作為藝術(shù)、文化表達形式的創(chuàng)造性和獨特性，作為民間文化的群體性和地域性。從文化資源的展現(xiàn)形式上，可以將其分為靜態(tài)的物質(zhì)文化資源和動態(tài)的非物質(zhì)文化資源，即活態(tài)文化資源。受地域、影響力等因素的限制，很多寶貴的文化資源正逐步消逝，文化資源保護面臨緊迫形勢。結(jié)合數(shù)字化手段，利用雙目立體視頻采集處理技術(shù)，對文化的保護和傳承具有重要意義。但該技術(shù)在文化資源領(lǐng)域中，目前沒有統(tǒng)一的標準規(guī)范可參考，制定標準規(guī)范能對種類數(shù)量繁多的文化資源規(guī)范化數(shù)字處理帶來很大的便利，并能有效推動文化領(lǐng)域核心技術(shù)發(fā)展。為了更好的保存和再現(xiàn)活態(tài)文化的內(nèi)容，本文采用基于雙目立體視覺的立體視頻技術(shù)，對活態(tài)文化資源對象采集中涉及的關(guān)鍵技術(shù)進行深入研究，并針對標準化的要求進行相關(guān)規(guī)范的分析和說明。

2 雙目立體視頻采集對象及其采集要素

2.1 采集對象

根據(jù)文化資源自身的特點和雙目立體視頻采集處理技術(shù)要求，為了充分利用立體視頻的層次和立體感，展現(xiàn)資源對象的動態(tài)效果和文化形態(tài)，該技術(shù)應(yīng)更多的應(yīng)用于普通二維視頻所難以生動展現(xiàn)的場景。經(jīng)分析，雙目立體視頻采集對象需具備以下特點：(1)具有空間層次的場景。立體視頻能更好的展現(xiàn)空間關(guān)系，給觀眾臨場的視覺感受。(2)具有運動的主體。立體視頻能對運動主體進行更生動的記錄和重放。

因此，適合用雙目立體視頻進行采集記錄的文化資源包括以下幾類：(1)傳統(tǒng)音樂；(2)民間舞蹈；(3)傳統(tǒng)戲??；(4)民間體育和雜技；(5)民俗活動；(6)傳統(tǒng)手工藝制作。

2.2 采集要素

采集要素是指能夠完整表現(xiàn)文化資源價值的構(gòu)成元素，如演出劇情、制作流程、關(guān)鍵動作、歷史價值性等。明確采集要素能夠更完善的表現(xiàn)資源價值，對資源對象的立體視頻采集有重要的指導意義。根據(jù)對象的不同采集要素略有差異，具體分類如表1所示：

表1 文化資源立體視頻采集要素

3 雙目立體視頻采集處理系統(tǒng)

雙目立體拍攝的基本原理是利用同型號同性能的雙攝像機或者雙鏡頭模擬人的雙眼，在一定條件下同時進行拍攝記錄，經(jīng)處理后，在顯示端通過3D顯示技術(shù)控制左右眼分別接收各自圖像，從而得到立體效果[2]。系統(tǒng)構(gòu)成如圖1所示。

3.1 采集系統(tǒng)

立體視頻可采用水平支架式、垂直支架式、雙目一體式系統(tǒng)采集，性能比較如表2所示。

攝像機應(yīng)能夠以高清及以上分辨率方式對文化資源進行真實的記錄，可根據(jù)需要和現(xiàn)場條件選擇其中一種或多種方式進行。

立體視頻拍攝方法分為：兩攝像單元光軸平行拍攝的平行法和光軸交叉會聚的方法[3]。對于文化資源的采集，利用會聚法進行拍攝，并在后期針對失真進行校正更為合適[4]。

為了使立體圖像正確、可用，理論上應(yīng)使左右圖像不存在除了水平視差之外的任何誤差，但實際操作中很難完全消除誤差。但將其控制在一定范圍內(nèi)，設(shè)置合理的誤差容限，對雙目立體視頻的采集和處理有重要的指導意義。系統(tǒng)誤差應(yīng)滿足表3要求[5]。

圖1 雙目立體視頻采集處理系統(tǒng)構(gòu)成

圖2 出入屏視差角示意圖

3.2 監(jiān)控系統(tǒng)

現(xiàn)場監(jiān)控系統(tǒng)對于立體視頻的采集處理是十分必要的?？刹捎镁哂辛Ⅲw顯示功能的顯示器，如分光式顯示器，通過監(jiān)視器反饋數(shù)據(jù)和現(xiàn)場主觀評價來調(diào)整攝像機參數(shù)，從而獲得良好的立體視頻。技術(shù)要求如下：(1)立體顯示器應(yīng)支持高清及以上屏幕分辨率；(2)顯示器分離得到的左右眼圖像應(yīng)在亮度、對比度、色度上保持一致；(3)需佩戴相應(yīng)的分光式或快門式3D眼鏡，觀看距離為3倍顯示器屏幕高度；(4)顯示器閃爍頻率應(yīng)確保觀看時無閃爍；要求[6]：分光式240Hz，快門式120Hz。

3.3 后期系統(tǒng)

非線性編輯系統(tǒng)是專為音、視頻設(shè)計的數(shù)字視頻編輯器。由于立體視頻后期制作的特殊性，后期設(shè)備需選用具有3D立體功能的非線性編輯器(包括安裝3D立體插件的2D編輯系統(tǒng))，一方面能夠方便對雙路視頻進行同步剪輯，一方面能夠?qū)σ暡?、誤差、匹配失調(diào)等影響3D效果的因素進行調(diào)整，并完成3D字幕、特效的制作，輸出相應(yīng)格式的立體視頻文件。如：Sony Vegas Pro(11.0及以上版本)、EDIUS、Apple Final Cut Pro(加3D插件)等。

4 雙目立體視頻采集制作關(guān)鍵技術(shù)

4.1 機位設(shè)置和拍攝方式

在進行立體視頻拍攝時，為充分表現(xiàn)空間層次和立體效果，并完整細致地捕獲文化資源采集要素，對不同資源對象，需對機位設(shè)置和相應(yīng)的攝像機組進行詳細分類，如表4所示。

4.2 采集拍攝技術(shù)

采集技術(shù)總則是以主體為基準進行調(diào)焦，突出主體，合理組合景別，結(jié)合推、拉、搖、移、跟等拍攝技巧，保持鏡頭的畫框?qū)什杉瘜ο螅鎸?、完整地對采集對象及其采集要素進行記錄。具體包括：場景設(shè)計、景別要求、立體拍攝用光和立體視頻采集技術(shù)要點等方面。

表2 立體視頻采集系統(tǒng)比較

表3 3D視頻拍攝誤差控制容限范圍

4.2.1 場景設(shè)計

立體視頻適合對有層次感的場景進行記錄，避免拍攝如下場景：1、平板的背景，如天空，墻體，LED屏幕等；2、重復紋理的場景，如格子，柵欄等；3、光線不良的場景，如夜景，亮度不足較暗的環(huán)境；4、只能單眼看到圖像的場景，如從樹葉空隙中透過的陽光、光暈、鏡頭眩光、燈光的偏振、畫框邊緣主體等；5、被攝主體距離鏡頭過遠的場景，如遠處的山川，航拍鏡頭等；6、前景近而后景遠等容易超視差的場景。

4.2.2 景別要求

遠景，不適合進行立體拍攝，無法表現(xiàn)出良好的空間層次感，但可作為背景；全景，應(yīng)合理利用以展現(xiàn)場景層次和完整的活動或者表演內(nèi)容；中景，可更好地表現(xiàn)人物身份、動作以及人物之間的相互關(guān)系，并且表現(xiàn)出出色的立體空間感；近景，可對資源文化要素中關(guān)鍵動作等細節(jié)進行詳細記錄；特寫，易使對象扁平化，但可適當使用以更細致的表現(xiàn)資源對象的關(guān)鍵動作。

表4 不同活態(tài)文化資源對象的機位設(shè)置及攝像機組的選擇

4.2.3 立體拍攝用光

立體視頻采集的用光原則是：使照明充足，畫面明亮，增加拍攝對象的輪廓光，柔化前景和后景的燈光，畫框邊緣少布點光，盡量減少拍攝過程中的光線變化。

4.2.4 立體視頻采集技術(shù)要點

1.立體視頻一般采集技術(shù)要點：

1)機位應(yīng)盡量靠近被攝主體。

2)攝像機運動要保持良好的穩(wěn)定性，操作要慢，給予充分的視覺深度適應(yīng)時間。

3)拍攝角度應(yīng)在平攝的基礎(chǔ)上，對于全景、中景可適當放低機位，表現(xiàn)視覺層次。

4)取景框四周應(yīng)留出一定的富余量供后期處理。

5)攝像機多采用廣角鏡頭，畫面大部分物體清晰，強化空間感。

6)避免大范圍推拉變焦，可采用拉鏡頭變焦，少用推鏡頭變焦。

7)攝像機焦點平面應(yīng)與會聚面盡量保持一致。當需要通過焦點平面變化突出主體時，應(yīng)盡量使會聚面同時變化，或者對焦點變化的主體進行入屏處理。

2.視差安全準則

為了獲得舒適的立體圖像，需對立體圖像的視差進行控制。Valyu研究認為多數(shù)人能夠容忍的輻輳角，即圖2中|α-β|，|β-θ|，應(yīng)不大于1.6°，最大允許視差為人眼到屏幕距離的0.03倍[7]。3D國際財團對視差安全規(guī)定：入屏時的縱深視差即S不能超過瞳孔間距65mm[8]，以小于50mm為佳，出屏時輻輳角不大于1°，大場面飛出時輻輳角不大于2°。

3.機位設(shè)置及深度信息表：

針對不同的采集對象、場景和機位分布，可通過編寫基于活態(tài)文化資源采集的機位設(shè)置及深度信息表，按該表對特定資源對象采集時的深度信息進行記錄，便于拍攝時的統(tǒng)籌安排及后期的剪輯和調(diào)整。具體內(nèi)容如表5所示。

4.3 后期制作技術(shù)

基于圖像安全性和內(nèi)容完整性方面的考慮，活態(tài)文化資源立體視頻后期制作重點包括視頻剪輯、視差調(diào)整、誤差調(diào)整、畫面過渡、字幕制作幾個方面。

1.素材導入。通過添加命名等方式區(qū)分左右視頻軌道，避免出現(xiàn)左右混淆等情況。

2.素材剪輯。對素材進行完整剪輯，注意時間軸的對齊，對于無法調(diào)整的畫面和冗余的畫面，在不影響對象內(nèi)容完整性的情況下，可適當刪除。

3.視差調(diào)整。利用3D后期編輯器校正左右眼圖像的水平相關(guān)參數(shù)來調(diào)整視差。只對少數(shù)不合理的畫面進行調(diào)整，且謹慎使用圖像的放大、平移、剪裁等手段。

4.誤差調(diào)整?？梢砸宦穲D像為基準，對另一路圖像進行位移、旋轉(zhuǎn)、縮放操作以及調(diào)整亮度、色度等參數(shù)來減少誤差。

5.畫面過渡。以立體舒適為原則，切換節(jié)奏要慢，每個鏡頭片段至少持續(xù)5-10秒；以硬切為主，兼用閃黑、漸隱等方式，保證一定的畫面過度時間；避免前后景別落差過大，避免前后鏡頭主體視差變化過大。

表5 立體深度表

6.字幕制作。疊加的字幕在位置上應(yīng)處屏幕中部或下方，在立體效果上應(yīng)處于畫面的最前方，但視差需在安全范圍內(nèi)。字幕可采用外掛的方式，或僅將其用于發(fā)布展示的片段。

7.配合立體顯示器，通過實時的主觀質(zhì)量評價反饋來控制視頻質(zhì)量，輔助素材制作。

5 雙目立體視頻數(shù)據(jù)處理

5.1 視頻元數(shù)據(jù)

文化資源數(shù)字化管理需考慮數(shù)據(jù)長期保存、發(fā)布服務(wù)和搜索需求。因此需要對視頻文件添加元數(shù)據(jù)描述信息便于數(shù)據(jù)管理。具體描述項和數(shù)據(jù)類型如表6所示。

5.2 視頻編碼和存儲

5.2.1 立體視頻編碼方式

本節(jié)對雙目立體視頻的編碼方式進行了分析研究。目前常用的立體編碼方式有：基于幀兼容的編碼方式和基于多視點信源編碼方式。

1.基于幀兼容的編碼方式研究

幀兼容的原理是在立體視頻編碼前對其先進行預處理操作，將兩路視頻拼接成一路符合2D高清電視標準格式的視頻。如表7所示。

表6 立體視頻基本元數(shù)據(jù)項

表7 幀兼容編碼方式及相關(guān)說明

該方法目前被廣泛應(yīng)用于國內(nèi)外開播運行的3D電視系統(tǒng)中。而我國高清視頻格式采用隔行掃描制式，場頻為50Hz，幅型比為16：9，故宜采用Side-by-side(half)的拼接方式。

2.基于多視點信源編碼方式研究

基于視點相關(guān)性的信源編碼方式能提高壓縮效率。主要方式有[9]：1)Simulcast兩路視頻信號各自采用同方式編碼、存儲、傳輸，互不干擾；2)MRSC利用雙目抑制理論，大幅降低單視點分辨率，獲得良好立體效果；3)H.264 stereo SEI message基于H.264/AVC標準，將幀數(shù)據(jù)和兩視點關(guān)系數(shù)據(jù)一起壓縮并傳輸；4)MVP方法同H.264 stereo SEI message，但基于MPEG-2標準；5)SVC基于H.264/AVC，利用低質(zhì)量的子比特流視頻數(shù)據(jù)輔助預測高質(zhì)量數(shù)據(jù)；6)MVC基于H.264/AVC，利用相鄰視點圖像作為參考幀進行視點間預測，視點數(shù)目可設(shè)為2[10]；7)V + D利用雙視點獲得深度信息，再壓縮傳送深度信息和單視點數(shù)據(jù)信息。

研究表明，Simulcast方式較符合活態(tài)文化資源雙目立體視頻壓縮存儲的需求[11]。

Side-by-side(half)方式和Simulcast方式兼容現(xiàn)有的二維視頻編碼技術(shù)。目前國際上主流的高清視頻壓縮編碼格式主要有MPEG-2、MPEG-4、H.264/AVC三種，應(yīng)根據(jù)數(shù)據(jù)的存儲要求選擇合適的編碼方式。

5.2.2 數(shù)據(jù)存儲方式

建立合理的數(shù)據(jù)存儲分類體系，對文化資源的存儲和管理有重要意義。根據(jù)數(shù)據(jù)應(yīng)用需求，將數(shù)據(jù)存儲分為兩個級別：1.長期保存級，要求視頻保持原始質(zhì)量或制作后輸出最高質(zhì)量，便于對象的長期存儲和再利用?？刹捎肧imulcast方式對兩路視頻數(shù)據(jù)獨立編解碼，每路數(shù)據(jù)采用MPEG-2壓縮的AVI或MXF格式。2.發(fā)布展示級，要求視頻圖像質(zhì)量滿足電視播出、制作發(fā)行和網(wǎng)絡(luò)共享等需求。當用于節(jié)目制作或者監(jiān)看時，采用Simulcast方式下MPEG-2編碼的AVI、MXF、WMV或MOV格式；當用于電視播出時，可采用Side-by-side(half)方式下H.264編碼的AVI、MXF、WMV或MOV格式；當用于網(wǎng)絡(luò)共享時，可采用Side-by-side(half)方式下H.264或MPEG-4編碼的WMV或MOV格式。

6 總結(jié)

本文對活態(tài)文化資源的雙目立體視頻采集處理技術(shù)進行研究。根據(jù)文化資源的特點對采集對象、采集要素進行了詳細的分類，對采集處理系統(tǒng)構(gòu)成、采集技術(shù)、數(shù)據(jù)處理等方面進行標準化研究，并提出了活態(tài)文化資源雙目立體視頻采集處理技術(shù)標準規(guī)范方案。本文的研究有助于相關(guān)標準規(guī)范的制定，能夠更好的對我國寶貴的文化資源進行記錄和保存，有利于推動文化資源數(shù)字化領(lǐng)域核心技術(shù)的發(fā)展。

[1]牛淑萍.文化資源學[M].福州：福建人民出版社，2012.

[2]Ozaktas H M，Onural L. Three-dimensional television capture，transmission，display[M].USA：Springer，2007.

[3]韓偉.3D圖像技術(shù)基礎(chǔ)與應(yīng)用(4)：兩眼式3D攝像機[J].有線電視技術(shù)，2012，(4).

[4]蘇志斌，李華，呂朝輝，任慧.活態(tài)文化資源雙目立體視頻采集系統(tǒng)研究[J].中國傳媒大學學報(自然科學版)，2012，19(4)：46-53.

[5]廣電總局科技司.3D電視技術(shù)指導意見—節(jié)目制作播出[Z].2011.

[6]范科峰，路程，張素兵.3D顯示技術(shù)、標準與應(yīng)用[M].北京：電子工業(yè)出版社，2013.

[7]劉然.基于計算機立體視覺的雙目立體成像研究[D].重慶：重慶大學，2007.

[8]韓偉.3D立體圖像與立體攝像的基理[J].有線電視技術(shù)，2010，(9)：50-56.

[9]Minoli D.3DTV Content Capture，Encoding and Transmission：Building the Transport Infrastructure for Commercial Services [M].Hoboken，New Jersey：John Wiley & Sons Inc，2010：47-69.

[10]Vetro A，Pandit P，Kimata H ，et al. Joint draft 8 of multiview video coding[R].Hannover，Germany：Joint Video Team(JVT)，2008.

[11]李華，蘇志斌，任慧. 活態(tài)文化資源雙目立體視頻存儲技術(shù)研究[J]. 中國傳媒大學學報(自然科學版)，2013，20(4)：66-70.