基于機電傳感的虛擬課堂演播室系統(tǒng)的研究

沈 淵，何成芊，洪 亮

（揚州市職業(yè)大學 信息工程學院，江蘇 揚州 225009）

基于機電傳感的虛擬課堂演播室系統(tǒng)的研究

沈 淵，何成芊，洪 亮

（揚州市職業(yè)大學 信息工程學院，江蘇 揚州 225009）

作為虛擬課堂演播室系統(tǒng)的核心技術，攝像機定位與跟蹤技術是目前研究的熱點。針對圖形識別方式的攝像機定位跟蹤系統(tǒng)存在著數(shù)據(jù)處理時間長、視頻延時量較大等缺點，提出虛擬課堂應采用機電傳感方式實現(xiàn)攝像機的定位與跟蹤。分析攝像機鏡頭校準的方法，給出了機電傳感跟蹤流程和精度依據(jù)，并對系統(tǒng)主機獲取運動參數(shù)方式給出設計思路。該方案具有攝像機的定位跟蹤幾乎沒有延遲、參數(shù)精確可靠等優(yōu)勢，是虛擬課堂演播室較為合適的定位跟蹤方式。

虛擬課堂；機電傳感；定位；跟蹤；演播室

近些年來，虛擬課堂演播室系統(tǒng)在各類學校虛擬課堂建設中得到了更多的關注與重視。究其原因，是目前大多數(shù)虛擬課堂的學生看到的教學視覺信息多為老師的頭肩像且很少發(fā)生變化，不能形象、具體地展示所要講述的教學內(nèi)容。隨著計算機技術與虛擬現(xiàn)實技術的發(fā)展，虛擬演播室技術在廣播電視領域真正走向了實用。它的實質(zhì)是將電視攝像機現(xiàn)場拍攝的人物活動圖像與計算機制作的虛擬三維場景進行實時數(shù)字化的合成，使人物與虛擬背景能夠同步變化，以實現(xiàn)兩者天衣無縫的融合，從而獲得完美的畫面合成。在虛擬課堂的建設中引入這項技術，不僅可以節(jié)約巨額的場地硬件投入，而且能輕而易舉地實現(xiàn)學習者在虛擬課堂中足不出戶即能置身于各種特殊的現(xiàn)場和情景中，提高了教學內(nèi)容制作效率。

1 虛擬課堂演播室定位跟蹤方式的選擇

虛擬課堂演播室系統(tǒng)在各類學校虛擬課堂建設中得到了更多的關注與重視，實現(xiàn)攝像機拍攝的內(nèi)容和虛擬場景能夠無縫融合。攝像機定位與跟蹤技術的選擇在很大程度上決定了虛擬課堂演播室系統(tǒng)的建設方式和功能特點。目前大多數(shù)學校虛擬課堂演播室攝像機跟蹤定位系統(tǒng)主要采用圖形識別方式。圖形識別定位跟蹤方式無需在攝像機上安裝附加裝置，安裝方便，成本較低。但因為要對每幅畫面進行較大數(shù)據(jù)量分析和計算，數(shù)據(jù)處理時間長，視頻延時量較大。同時，拍攝過程中教學人員的活動范圍受到一定的限制，也無法拍攝特寫鏡頭，還對燈光布置要求比較嚴格。根據(jù)虛擬課堂建設的特點和教與學活動的要求，筆者認為機電傳感定位跟蹤方式有著無需特別復雜計算就能實現(xiàn)攝像機的定位跟蹤。數(shù)據(jù)幾乎沒有延遲，參數(shù)精確可靠等優(yōu)勢，更加適合虛擬課堂演播室的需求。

2 虛擬課堂演播室攝像機初始定位與校準

初始化定位與校準是為保證虛擬場景準確接受實際攝像機機位參數(shù)，使其與實際攝像機的機位參數(shù)和鏡頭參數(shù)完全一致，以便實際攝像機作機動變化時虛擬場景的動作與實際攝像機的動作完全同步[1]。

2.1 安裝定位與校準

虛擬課堂演播室系統(tǒng)設備安裝調(diào)試時，要進行首次定位與校準。其主要目的是讓系統(tǒng)感知演播室的大小和位置并數(shù)據(jù)化，并將其坐標與虛擬場景坐標進行鎖定，使它們工作達到一致[2]。首次定位與校準先通過選取樣點獲得相對坐標，再經(jīng)位置測量得出攝像機機位與虛擬場景的對應關系，完成系統(tǒng)定位。

2.2 日常定位與校準

日常定位與校準是系統(tǒng)為保證虛擬場景每次準確獲知攝像機機位參數(shù)而設置的工作機制。完成安裝定位和校準工作獲得準確位置關系后，虛擬課堂演播室系統(tǒng)每次使用時就依據(jù)這個位置坐標關系準確計算出初始位置，從而完成每次工作的初始化。

3 虛擬課堂演播室攝像機鏡頭的校準

攝像機的校準是基于機電傳感的虛擬課堂演播室系統(tǒng)中三維重建的關鍵一步，目的是要獲取攝像機及鏡頭的光學與幾何特性，主要用于真實攝像機與虛擬攝像機視域的匹配。

3.1 鏡頭校準的原因

在機電傳感定位與跟蹤方式中，系統(tǒng)通過安裝在攝像機鏡頭上的運動參數(shù)編碼器感知碼盤刻度變化從而獲取攝像機的運動參數(shù)。因為攝像機鏡頭的焦點在變焦和聚焦時的移動是非線性的，故需通過攝像機校準獲得變焦透鏡組的焦距隨變焦和聚焦碼盤刻度變化的非線性關系，并相應的獲得虛擬場景中虛擬攝像機的視角與真實攝像機變焦和聚焦變化的非線性關系[3]。當真實攝像機鏡頭推拉、變焦時，虛擬場景根據(jù)非線性曲線獲得精確的變化參數(shù)，完成同步運動。

3.2 鏡頭校準的方法

攝像機的校準的過程就是獲得攝像機幾何模型參數(shù)的過程。這些準確參數(shù)一般必須通過實驗與計算才能得到，這個過程也稱為攝像機標定[4]。針對不同的攝像機模型，經(jīng)典的校準算法主要有線性算法（DLT）和非線性算法。Roger Tsai提出Tsai兩步標定方法[5]，利用徑向一致約束來求解攝像機鏡頭外參數(shù)，根據(jù)外參數(shù)進而求解攝像機的其他參數(shù)，是一個易于實現(xiàn)且精度能滿足要求的算法。

3.2.1 制作標定板獲取標定圖像序列

標定板是貼在玻璃板上的一張8×8格的國際象棋棋盤格（如圖1所示），在棋盤格的6×6處的4個點設置校準點（如圖2所示）。攝像機從不同的角度拍攝若干張標定板灰度圖像。為了盡可能地減小相機鏡頭成像畸變對標定精度的影響，應盡量使標定板與相機立面平行，并使標定板位于成像的中心位置。對每個拍攝角度獲得的圖像進行編號并存儲至計算機。

圖1 標定板圖案Fig.1 Calibration board pattern

圖2 標注校準點的選擇Fig.2 Mark calibration point selection

3.2.2 兩步實現(xiàn)準確標定

在取得標注特征點的坐標后，與其三維坐標對應[6]，用最小二乘法求解線性方程組解得攝像機外參數(shù)和平移量。由于線性標定沒有考慮鏡頭變形，存在誤差大和結(jié)果不穩(wěn)定的缺陷，因此要進行非線性優(yōu)化[4]。根據(jù)上一步求得的攝像機外參數(shù)數(shù)據(jù)，求解攝像機內(nèi)部參數(shù)。如果攝像機無透鏡畸變，則可由一個線性方程直接求出。這個過程所求解的內(nèi)外部參數(shù)分別為焦距不徑向畸變因子k，旋轉(zhuǎn)矩陣R和平移向量t。

4 虛擬課堂演播室攝像機機電傳感跟蹤

跟蹤效果是評價虛擬課堂攝像機調(diào)控能力的重要指標之一。如果不能高質(zhì)量的即時跟蹤，前景與背景就會產(chǎn)生脫節(jié)或停頓，甚至出現(xiàn)明顯的失真影像。虛擬課堂演播室機電傳感跟蹤系統(tǒng)依靠安裝在攝像機鏡頭上的變焦鏡頭傳感器獲取攝像機鏡頭運動參數(shù)，依靠安裝在三腳架上的機電搖擺和俯仰碼盤獲取攝像機的方向及機身運動參數(shù)。

4.1 虛擬課堂攝像機的運動類型

虛擬課堂演播室中的攝像機一般因為考慮拍攝質(zhì)量是架設在固定或移動云臺之上，其運動可以有攝像機鏡頭的運動、攝像機機頭方向的運動和攝像機機身的運動3種類型。攝像機鏡頭的運動主要包括光圈、變焦和聚焦的變化。攝像機機頭方向的運動主要包括機頭的橫搖、俯仰。攝像機機身的運動主要包括攝像機的移動、升降和旋轉(zhuǎn)。這3種類型的運動都可以通過機電傳感設備獲取運動參數(shù)，實現(xiàn)運動跟蹤，保證拍攝內(nèi)容和虛擬場景的融合。

4.2 機電傳感技術的跟蹤應用

4.2.1 機電傳感跟蹤流程

當攝像機有鏡頭運動和機頭方向運動時，安裝在攝像機運動位置的咬合齒輪作用于傳感器。這種傳感器實質(zhì)上是一種光電編碼器，將以上配件的機械運動信息傳遞至編碼器的轉(zhuǎn)軸[7]上。再經(jīng)FPGA芯片對光電編碼器輸出的信號進行采集計算，可實現(xiàn)設備小型化、集成化，還能進行較高頻率的數(shù)據(jù)處理[8]。編碼數(shù)據(jù)通過RS232或RS422接口傳送到虛擬課堂演播室主機。虛擬課堂演播室主機根據(jù)推拉變焦信息確定畫面景別，聚焦信息協(xié)助糾正畫面范圍，搖攝俯仰角度變化數(shù)據(jù)確定虛擬場景的空間透視。當攝像機機身發(fā)生運動的時，可以通過安裝在云臺腳輪及升降支柱的傳感器測得攝像機云臺的移動和旋轉(zhuǎn)變化，從而推算出攝像機機身位置變化參數(shù)。（如圖3所示）攝像機最終運動變化參數(shù)是兩方面運動參數(shù)的疊加。

圖3 攝像機運動參數(shù)采集編碼流程Fig.3 Camera motion parameters acquisition and encoding process

4.2.2 機電傳感跟蹤精度

虛擬課堂為保證教學活動的連續(xù)性和排除干擾的需求，對攝像機的跟蹤精度提出了較高的要求。跟蹤精度要求任意軸向?qū)嶋H旋轉(zhuǎn)角度和位移與采集處理得到的旋轉(zhuǎn)角度和位移要精確一致，虛擬場景攝像機的變焦值要與實際攝像機變焦值一致。

依目前的機電傳感技術水平，虛擬課堂機電傳感跟蹤方式可獲得很高的精度，完全可以滿足虛擬課堂的需求。我們以虛擬課堂常用拍攝鏡頭——搖鏡頭為例。假若攝像機提供的橫向分辨率為800，傳感器精度要想達到不降低分辨率，則其分辨出的最小視角應達到5/1 000度左右。而目前使用的一般傳感器的精度早已達到1/1 000度，完全可以滿足虛擬課堂演播室的跟蹤精度要求，而且其設備投入也不大。

4.2.3 虛擬課堂系統(tǒng)對跟蹤數(shù)據(jù)的處理

虛擬課堂演播室跟蹤系統(tǒng)由編碼器送出數(shù)字脈沖信號。虛擬課堂系統(tǒng)如何完成這一信號的采集也是一個工程技術難點。因為在電視工程領域，所有電視設備信號都是由同步信號鎖定的。演播室跟蹤系統(tǒng)送來的攝像機運動參數(shù)也不例外，必須確定在每場時間里面攝像機運動的相對量，否則背景移動的畫面將不會和攝像機前景運動的畫面同步，出現(xiàn)背景畫面抖動、撕裂等現(xiàn)象。虛擬課堂可以將編碼器送出的數(shù)字脈沖信號直接輸送至脈沖采集電路，脈沖采集電路按同步信號頻率采集需要的脈沖。這樣就不需要對編碼器的信號進行同步調(diào)制，整個傳感跟蹤系統(tǒng)無需延時，降低了整個系統(tǒng)的延時時間[7]。同時也不需要采集處于行、場逆程時段的無用脈沖信號，提高了采集效率。虛擬課堂主機從而準確獲知攝像機運動的相對位移，然后與虛擬場景合成，人物與虛擬背景能夠同步變化[9]。最終通過渲染控制計算機將畫面與虛擬場景融合。

5 結(jié)束語

虛擬課堂是目前學?，F(xiàn)代遠程教育建設的熱點。合理選擇攝像機定位跟蹤形式?jīng)Q定了虛擬課堂演播室系統(tǒng)的運行效果，也決定了虛擬課堂信號源的質(zhì)量。文中從系統(tǒng)安裝定位與校準入手，分析攝像機鏡頭校準方法，給出機電傳感跟蹤流程和精度依據(jù)。但對虛擬課堂演播室的研究和設計還存在著諸多不足，如關于攝像機運動參數(shù)的數(shù)據(jù)采集系統(tǒng)沒有深入研究和探討，未能給出全面的解決方案。這些問題還有待以后的工作中深入研究，向同仁請教。

[1]成海民.數(shù)字化三維虛擬演播室系統(tǒng) [J].電影文學，2007（20）:62-63.

CHENG Hai-ming.Digital 3D virtual studio system[J].Movie Literature， 2007（20）:62-63.

[2]許艷，張宗印.虛擬演播室的定位與校準[J].現(xiàn)代電視技術， 2010（2）:125-126.

XU Yang，ZHANG Zong-yin.The positioning and calibration of virtual studio[J].Advanced Television Engineering，2010（2）:125-126.

[3]魯敏，郁文賢，鮑虎軍，等.基于機電跟蹤的三維虛擬演播室系統(tǒng)[J].電子學報， 2003，31（12）:2035-2039.

LU Min，YU Wen-xian，BAO Hu-jun，et al.3D Virtual Studio System Based on Electromechanical Tracking [J].Acta Electronica Sinica， 2003，31（12）:2035-2039.

[4]王靖韜，侯振杰.傳統(tǒng)相機標定方式的自動標定方法[J].計算機工程與應用，2010，46（35）:205-208.

WANG Jing-tao，HOU Zhen-jie.Camera self-calibration method based on traditional calibration method[J].Computer Engineering and Applications， 2010，46（35）:205-208.

[5]Tsai R Y.AVersatile camera calibration technique for highaccuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses [J].IEEE Journal of Robotics Automation， 1987，RA-3（4）:324-334.

[6]魯敏，匡綱要，郁文賢.基于機械跟蹤的虛擬演播室系統(tǒng)中攝像機校準和定位算法 [J].國防科技大學學報，2004，26（3）:68-73.

LU Min，KUANG Gang-yao，YU Wen-xian. Camera calibration and initial alignment in virtual studio based on electromechanical tracking[J].Journal of National University of Defense Technology， 2004，26（3）:68-73.

[7]陳藝騰.虛擬演播室傳感跟蹤系統(tǒng)的技術比較和分析[J].中國有線電視， 2010（7）：845-847.

CHEN Yi-teng.Virtual studio technology sensing system comparison and analysis[J].China Digital Cable TV，2010，（7）：845-847.

[8]唐虹，石峰，懷時衛(wèi)，等.基于FPGA的虛擬演播室數(shù)據(jù)采集系統(tǒng)設計[J].中國制造業(yè)信息化，2011，40（1）:42-45.

TANG Hong，SHI Feng，HUAI Shi-wei，et al.The design of data acquisition system of virtual studio based on FPGA[J].Manufacture Information Engineering of China，2011，40（1）:42-45.

[9]楊健，蔡潮潮.虛擬演播室技術在電視節(jié)目制作中的應用[J].電腦知識與技術， 2011，7（19）:4708-4709.

YANG Jian，CAI Chao-chao.Virtual studio technology in the production of television programs[J].Computer Knowledge and Technology，2011，7（19）:4708-4709.

Research of virtual class studio system based on the electromechanical sensing

SHEN Yuan，HE Cheng-qian，HONG Liang
（Information Engineering Institute，Yangzhou Polytechnic College，Yangzhou225009，China）

As the virtual class studio system core technology，camera positioning and tracking technology is a hot topic at present.Graphics identification camera positioning and tracking system has data processing time is long，a large amount of video delay.Virtual class should be used for electromechanical sensing mode to realize the camera positioning and tracking.Analysis of the camera calibration method，gives the electrical sensor tracking process and precision based on.The scheme has the camera positioning and tracking with little delay，parameter precise and reliable advantage.This is a virtual class studio more appropriate positioning and tracking method.

virtual class； electromechanical sensing； positioning； tracking； studio

TP391

A

1674－6236（2011）23-0001-03

2011-10-09 稿件編號：201110022

揚州市職業(yè)大學科教研項目（11j01）

沈 淵（1978—），男，安徽天長人，碩士，講師。 研究方向：多媒體、人工智能 。