基于XYNC全紅外跟蹤技術(shù)的高清虛擬演播室構(gòu)建

單 聰，張 斌

（解放軍電視宣傳中心 技術(shù)部，北京 100011）

0 引言

虛擬演播室以其獨有的優(yōu)勢，一直備受矚目，目前幾乎各省市電視臺都有了自己的虛擬演播室。隨著科技的不斷發(fā)展，虛擬演播室技術(shù)也在不斷進(jìn)步。解放軍電視宣傳中心的三訊道全紅外高清虛擬演播室采用了目前最前沿的虛擬演播室技術(shù)。下面具體闡述一下虛擬演播室的構(gòu)建過程。

1 系統(tǒng)整體架構(gòu)的設(shè)計

1.1 整體架構(gòu)的設(shè)計思路

虛擬演播室系統(tǒng)大體是由傳統(tǒng)演播室系統(tǒng)、傳感跟蹤系統(tǒng)、渲染引擎及色鍵摳像合成系統(tǒng)組成的，然而對于不同的需求又采用了不同的設(shè)計方案來構(gòu)建虛擬演播室系統(tǒng)。虛擬演播室的整體架構(gòu)基本分兩種，一種是獨立通道化系統(tǒng)結(jié)構(gòu)，另一種是共用式系統(tǒng)結(jié)構(gòu)，獨立通道結(jié)構(gòu)即每個訊道都使用一套虛擬設(shè)備。這種系統(tǒng)可以有獨立的預(yù)監(jiān)和攝像機(jī)返送，系統(tǒng)設(shè)計跟傳統(tǒng)演播室系統(tǒng)類似，但是每個訊道使用一套虛擬設(shè)備，勢必會增加建設(shè)成本，性價比較低，因此，選擇了共用式系統(tǒng)結(jié)構(gòu)。共用式結(jié)構(gòu)即所有訊道共用一套虛擬設(shè)備，通過切換臺的AUX輸出選擇一個機(jī)位的信號送入公用的設(shè)備通道中。這種結(jié)構(gòu)具有較高的性價比，系統(tǒng)安裝升級方便，增加訊道不用再額外增加虛擬設(shè)備，出現(xiàn)問題也便于查找。但是共用式架構(gòu)沒有獨立的攝像機(jī)預(yù)監(jiān)信號，針對此問題，對色鍵器及渲染引擎等關(guān)鍵部位的設(shè)備都采取了雙機(jī)備份，這樣既可以保證播出的安全，在一套系統(tǒng)出問題之后立刻切換到備份系統(tǒng)使用，也可以在需要的時候，使用備份系統(tǒng)作為獨立的預(yù)監(jiān)通道使用，這樣，攝像師、導(dǎo)演及技術(shù)人員就可以在切換到下一機(jī)位之前看到合成好的圖像，也可以完成2個機(jī)位合成信號的疊化特技，極大增強了系統(tǒng)的實用性和性價比。

1.2 系統(tǒng)信號流程

該虛擬演播室采用了3訊道的設(shè)計，2個固定機(jī)位，1個搖臂機(jī)位（圖1），使用索尼公司最新的HDC-1580R高清攝像機(jī)系統(tǒng)，由于采用的是共用式的系統(tǒng)結(jié)構(gòu)，因此3路攝像機(jī)的視頻信號首先要通過1個VDI設(shè)備。VDI設(shè)備的主要功能是分別在3路視頻信號的場消隱行中加入系統(tǒng)可以識別的標(biāo)志，這樣渲染引擎才可以根據(jù)標(biāo)志選擇對應(yīng)的攝像機(jī)跟蹤信號來生成背景信號。經(jīng)過VDI之后，3路信號輸入索尼MVS-6000切換臺，切換臺通過其AUX2和AUX5輸出口選擇適當(dāng)?shù)臄z像機(jī)信號分別輸出給渲染引擎，通過渲染引擎的延時后與引擎根據(jù)跟蹤數(shù)據(jù)所生成的背景信號同時輸入到色鍵器中合成完整的節(jié)目信號。在這里之所以要對前景信號進(jìn)行延時，是因為系統(tǒng)要對攝像機(jī)跟蹤數(shù)據(jù)以及背景數(shù)據(jù)進(jìn)行處理，這個時間大概需要300 ms左右，因此需要對前景信號進(jìn)行相應(yīng)的延時，以確保前景與背景的同步。

圖1 演播室全景圖

2 攝像機(jī)跟蹤系統(tǒng)的設(shè)計

演播室系統(tǒng)中的每臺攝像機(jī)在三維空間中可以在8個不同方向上自由運動，其中平搖、俯仰、滾動以及三維空間中任意移動（X，Y，Z）是指攝像機(jī)整體的運動，變焦和聚焦是攝像機(jī)鏡頭的運動。這些運動參數(shù)的改變會引起拍攝圖像視角與透視關(guān)系的改變，在虛擬演播室中，為了模擬人物所在的三維環(huán)境，圖形工作站必須根據(jù)這些參數(shù)不斷調(diào)整三維視圖。而攝像機(jī)跟蹤部分的作用正是用來拾取攝像機(jī)的位置信息和運動數(shù)據(jù)，實時地跟蹤真實攝像機(jī)，將跟蹤數(shù)據(jù)傳輸給虛擬背景渲染設(shè)備，以保證前景與計算機(jī)背景“聯(lián)動”。

國內(nèi)外不同視頻公司的虛擬演播室產(chǎn)品采用的傳感跟蹤方式也不盡相同，目前較為常用的跟蹤方式大體可以分機(jī)械傳感跟蹤系統(tǒng)、圖像識別跟蹤系統(tǒng)和紅外跟蹤系統(tǒng)。

機(jī)械式的傳感跟蹤系統(tǒng)是通過安裝在云臺上的平遙及俯仰傳感器以及安裝在鏡頭上的變聚焦傳感器來測量攝像機(jī)的運動，并將運動數(shù)據(jù)通過串行接口（RS-422或RS-232）傳送給計算機(jī)。這種傳感方式的跟蹤精度較低，由于齒輪之間的縫隙會造成誤差的積累，使用一段時間就要進(jìn)行校準(zhǔn)，每次機(jī)位的變動也需要重新的定位校準(zhǔn)，使用維護(hù)較為復(fù)雜。對于攝像機(jī)的空間位置參數(shù)，需要配置專門的高端云臺，造價較高，且無法獲取攝像機(jī)的滾動參數(shù)。

圖像識別跟蹤系統(tǒng)目前使用比較普遍的是傲威公司的網(wǎng)格識別跟蹤系統(tǒng)，這種跟蹤方式是在藍(lán)色背景墻上使用較淺的藍(lán)色繪制網(wǎng)格，位于主持人的身后，然后通過圖像識別軟件根據(jù)變化的網(wǎng)格信息準(zhǔn)確地計算攝像機(jī)運動的方向和位置信息，同時也包括變聚焦的信息。這種跟蹤方式雖然初始定位比較方便，但是一旦攝像機(jī)搖出了網(wǎng)格范圍或者畫面中攝取的網(wǎng)格較少（如拍攝大的特寫鏡頭時），跟蹤就會丟失，而且這種跟蹤方式對于鏡頭要求較高，對于不同型號的鏡頭需使用不同的鏡頭文件來校準(zhǔn)跟蹤數(shù)據(jù)，在使用廣角鏡頭時，由于邊緣的變形過大，往往會引起跟蹤的誤差。

此外還有一種被稱為CamTrack的紅外跟蹤方式，但是這種紅外跟蹤方式并不是完全意義上的紅外跟蹤，它無法對攝像機(jī)進(jìn)行空間位置初始定位，需要借助于網(wǎng)格跟蹤系統(tǒng)來對攝像機(jī)定位，然后再切換成紅外跟蹤的方式，無法獨立使用。

從上面的分析可以看出，各種跟蹤系統(tǒng)都有自己的缺陷，所以目前大多數(shù)的虛擬演播室都采用了兩種跟蹤系統(tǒng)相互配合的方式來確保更高的攝像機(jī)跟蹤精度。但這樣做無疑也增加了系統(tǒng)的復(fù)雜程度。

解放軍電視宣傳中心的虛擬演播室所采用的XYNC全紅外攝像機(jī)跟蹤系統(tǒng)是目前市場上可用到的較高端的攝像機(jī)跟蹤技術(shù)。在演播室攝像機(jī)計劃運動的范圍空間上設(shè)置若干個紅外攝像頭（機(jī)位見圖2），以確保在攝像機(jī)活動的任何區(qū)域都被3臺以上的攝像頭覆蓋。攝像機(jī)的上部裝有紅外發(fā)射器，紅外發(fā)射器主要分環(huán)形反射器和星型發(fā)射器兩種，環(huán)形發(fā)射器主要用于固定機(jī)位，星型發(fā)射器用于移動機(jī)位如搖臂或者肩扛時使用，發(fā)射器所發(fā)射的紅外信號被紅外攝像頭接收，傳送到相應(yīng)的Im?age Unit單元進(jìn)行計算，由此得到攝像機(jī)的俯仰、平搖、滾動及空間位置信息。紅外攝像頭拍攝的紅外發(fā)射器的信號，可以在控制PC上實時顯示（見圖3），方便對于影響紅外跟蹤的干擾信號及時的發(fā)現(xiàn)與排除。鏡頭的跟蹤數(shù)據(jù)通過在攝像機(jī)鏡頭上的數(shù)據(jù)獲取裝置X-HALO BOX傳送。所有數(shù)據(jù)傳送到XYNC系統(tǒng)主機(jī)Main Unit，Main Unit是整個跟蹤系統(tǒng)的中心，通過網(wǎng)絡(luò)將最后的攝像機(jī)參數(shù)數(shù)據(jù)傳送到渲染單元及控制單元，渲染單元按照相應(yīng)的數(shù)據(jù)進(jìn)行圖形渲染。

圖2 紅外攝像機(jī)機(jī)位圖（截圖）

圖3 紅外攝像機(jī)拍攝的攝像機(jī)紅外發(fā)射器圖像（截圖）

采用全紅外跟蹤方式的攝像機(jī)可以在已覆蓋紅外攝像頭的區(qū)域進(jìn)行自由移動拍攝，最大限度地體現(xiàn)攝像機(jī)的自由度，可以使用搖臂軌道拍攝，也可以肩扛拍攝，讓攝像人員感覺自己正在進(jìn)行的拍攝和實景方式完全相同。此外，全紅外跟蹤方式定位方便，系統(tǒng)開機(jī)便自動定位，操作使用簡單。

一般認(rèn)為，采用紅外技術(shù)的跟蹤方式往往對于使用熱光源有一定的限制，當(dāng)虛擬演播室燈光布置全部使用熱光光源時，有可能被誤認(rèn)為紅外發(fā)射器信號而影響數(shù)據(jù)計算。但在實際的應(yīng)用中，通常虛擬演播室多使用冷光光源給藍(lán)箱布光，熱光光源僅僅用于打主持人面光和實景道具的布光，因此光源對于紅外跟蹤方式的影響并不大，本中心在使用中也沒有因為光源而影響跟蹤精度的問題出現(xiàn)。在使用中比較經(jīng)常出現(xiàn)的致使跟蹤丟失的原因是由于兩機(jī)位距離過近或者機(jī)位移動到了紅外跟蹤區(qū)域以外導(dǎo)致的，這些都是可以人為避免的。

3 視頻圖形工作站的選型與設(shè)計

3.1 圖形工作站的選型

虛擬演播室的背景要求是根據(jù)攝像機(jī)的運動實時渲染對應(yīng)的虛擬場景，也就是攝像機(jī)每做一個運動，圖形工作站會根據(jù)攝像機(jī)的運動實時渲染對應(yīng)的三維背景，每秒實時渲染25幀畫面。如果圖形工作站的渲染能力達(dá)不到要求，在處理一些較為復(fù)雜的背景時，就會出現(xiàn)不實時的現(xiàn)象（每秒不能實時渲染25幀畫面，背景出現(xiàn)動畫效果）。在這種情況下只能犧牲畫面效果，縮減虛擬場景的模型數(shù)、光效、貼圖的材質(zhì)等，這樣會極大地影響到畫面質(zhì)量，因此一臺好的圖形工作站是實現(xiàn)精美畫面效果的關(guān)鍵，可以說圖形工作站是整個虛擬演播室的核心設(shè)備。

本中心選擇的圖形工作站是以色列傲威公司第四代硬件產(chǎn)品HDVG。HDVG是一款強大的高標(biāo)清兼容三維渲染硬件，配合Linux平臺和高性能的圖形卡，達(dá)到了最佳的渲染性能，并具有VGA顯示轉(zhuǎn)化為視頻輸出的功能，可以實現(xiàn)“所見及所得”的效果，方便了設(shè)計和技術(shù)人員的使用。支持最多6路HD-SDI視頻插入以及多種格式的視頻文件播放（包括 AVI，Quick Time，DV，DVC25，MPEG）。超強的運算能力、穩(wěn)定的性能以及靈活便捷的使用方式是選擇HDVG產(chǎn)品的主要原因。

3.2 圖形工作站集連技術(shù)

在軍事節(jié)目的應(yīng)用中，對圖形工作站的要求非常高，例如，在講解一個飛機(jī)的功能時，要求根據(jù)專家或者主持人的講解，實時展現(xiàn)飛機(jī)的各個功能模塊，這就要求工作站的實時渲染能力足夠強才能夠完成復(fù)雜模型的實時渲染。在這種情況下，可能單個圖形工作站就不夠了，HDVG具有集連技術(shù)，就是多個HDVG可以集連起來使用，渲染能力是單個HDVG的數(shù)倍。因此在本系統(tǒng)中除了1主1備2個圖形工作站外，還加入了1個復(fù)雜圖形處理工作站（HDVG-Graphics），通過與2個圖形工作站的集連實現(xiàn)單個HDVG的2倍的運算能力，實現(xiàn)對與復(fù)雜三維模型的渲染。在實際應(yīng)用中還可以將此工作站作為圖形包裝工作站來使用，通過索尼DVS-6000切換臺的下游鍵來實現(xiàn)對節(jié)目的實時包裝，豐富了節(jié)目的制作形式。

4 色鍵器的選擇

色鍵器是虛擬演播室系統(tǒng)中不可或缺的重要環(huán)節(jié)，色鍵技術(shù)的優(yōu)劣會直接影響最終的合成效果，色鍵器的摳像效果目前比較被大家認(rèn)可的是美國的Ultimatte色鍵摳像設(shè)備，Ultimatte已經(jīng)成為高質(zhì)量色鍵器的工業(yè)標(biāo)準(zhǔn)，本中心的虛擬演播室選用了1主1備高標(biāo)清兼容的Ulti?matte 11色鍵器。

5 音頻系統(tǒng)設(shè)計

在虛擬演播室系統(tǒng)中，XYNC全紅外攝像機(jī)跟蹤系統(tǒng)會產(chǎn)生300 ms左右的延時，此外，系統(tǒng)中使用的上下變換器及幀同步器的也會產(chǎn)生2幀的延時。因此必須給音頻通道加相應(yīng)的音頻延時，但是對于不同的視頻信號，其產(chǎn)生的延時時間也不相同，如攝像機(jī)的信號必須經(jīng)過延時器與跟蹤數(shù)據(jù)相匹配，但是作為插入視頻的放機(jī)信號就沒有經(jīng)過延時器，而如果是從外來接口輸入的信號，由于經(jīng)過了幀同步器又會多產(chǎn)生1幀的延時。因此在虛擬演播室中，不能單純對調(diào)音臺的輸出信號進(jìn)行延時，而是要對每個音頻通道設(shè)置不同的延時時間。本中心使用的雅馬哈DM1000數(shù)字調(diào)音臺具有單獨對各路信號設(shè)置延時的功能。通過調(diào)試，最終確定在錄制標(biāo)清節(jié)目時對于前景信號的音源，一般是對胸麥的信號做450 ms的延時，對于插入視頻的信號做300 ms的延時，以確保聲畫同步，錄制高清節(jié)目時，相應(yīng)減少1幀的時間。

延時給聲音的監(jiān)控也帶來了一些小問題，通常導(dǎo)播間的PGM監(jiān)視器監(jiān)看的是已經(jīng)延時的視頻信號，所以導(dǎo)播間的聲音監(jiān)聽也應(yīng)該是延時后的音頻信號，而對于反送到通話系統(tǒng)的節(jié)目監(jiān)聽聲，一定是沒有經(jīng)過延時處理的，否則在通話系統(tǒng)中產(chǎn)生不必要的回音效果而對主持人產(chǎn)生干擾。因此調(diào)音臺需輸出2路信號，一路延時信號用于導(dǎo)播間監(jiān)聽以及節(jié)目錄制，另一路未加延時的信號用于通話系統(tǒng)中的節(jié)目聲監(jiān)聽。

6 結(jié)語

該演播室于2010年4月竣工使用，承擔(dān)著央視7套《防務(wù)新觀察》、《軍旅文化大視野》、《超級戰(zhàn)士》以及央視3套《文化正午》、央視8套《第八頻道》等節(jié)目的錄制任務(wù)。建成以來，該演播室一直處于滿負(fù)荷運轉(zhuǎn)狀態(tài)，在該演播室的設(shè)計過程中，始終把獲得高質(zhì)量的視頻圖像放在首位，在系統(tǒng)的關(guān)鍵部位，都選用了最高端的設(shè)備，并且配置了主控級的技術(shù)監(jiān)視器以及視頻示波器對視頻質(zhì)量進(jìn)行實時監(jiān)控。在此基礎(chǔ)上考慮了系統(tǒng)的經(jīng)濟(jì)性、安全性以及實用性，通過靈活的系統(tǒng)設(shè)計，既節(jié)約了成本、保證了播出安全，又保證了系統(tǒng)能可以實現(xiàn)導(dǎo)演的各種需求，實現(xiàn)了其價值的最大化。