一種多通道同步顯示技術(shù)的研究與實(shí)現(xiàn)

摘要：本文重點(diǎn)討論了平板幕和環(huán)形幕兩種多通道系統(tǒng)的拼接技術(shù)，給出了實(shí)現(xiàn)方法。選用TCP協(xié)議建立了分布式通信環(huán)境，在Master端和Slave端的通信過程中通過添加最大相關(guān)等待時(shí)間機(jī)制對(duì)多通道系統(tǒng)進(jìn)行優(yōu)化，實(shí)現(xiàn)了大屏幕的多通道立體顯示系統(tǒng)，給出了一個(gè)被動(dòng)式多通道立體顯示系統(tǒng)的硬件解決方案。實(shí)驗(yàn)結(jié)果表明，本系統(tǒng)在實(shí)時(shí)性、一致性以及顯示效果上都有良好的表現(xiàn)。

關(guān)鍵字：多通道；同步；顯示技術(shù)

視景系統(tǒng)是駕駛模擬器最重要的組成部分之一，視景系統(tǒng)設(shè)計(jì)的好壞是評(píng)判一個(gè)駕駛模擬器系統(tǒng)性能的重要指標(biāo)之一。為了獲得更逼真，更加身臨其境的視覺效果，我們將立體顯示技術(shù)與多通道技術(shù)緊密的結(jié)合在一起，應(yīng)用于駕駛模擬器的視景顯示系統(tǒng)中。立體顯示給了駕駛者真實(shí)的深度感，多通道大屏幕投影則從環(huán)境的真實(shí)大小尺寸上給了駕駛者更真實(shí)的現(xiàn)場(chǎng)感受。

1 多通道投影的組成與拼接

多通道三維投影顯示系統(tǒng)是一種具有高度沉浸感的視景仿真顯示系統(tǒng)，該系統(tǒng)以多通道視景同步技術(shù)、數(shù)字圖像邊緣融合、多通道亮度和色彩平衡技術(shù)為支撐，將三維圖形計(jì)算機(jī)生成的三維數(shù)字圖像實(shí)時(shí)地輸出并顯示在一個(gè)超大幅面的投影幕墻上，使觀看者和參與者獲得一種身臨其境的虛擬仿真視覺感受。一個(gè)典型的多通道投影系統(tǒng)主要由圖形渲染子系統(tǒng)、融合矯正子系統(tǒng)、投影顯示子系統(tǒng)、分布式網(wǎng)絡(luò)通信子系統(tǒng)等四個(gè)部分組成。

OSG中，我們研究的多通道拼接主要分為平板幕拼接和環(huán)形幕拼接二大類型。對(duì)于平板幕，其對(duì)應(yīng)的投影視錐類型為非對(duì)稱視錐。對(duì)于環(huán)形幕，其對(duì)應(yīng)的投影視錐類型為對(duì)稱視錐。OSG中的Producer::Camera類封裝了OpenGL的視點(diǎn)變換、投影變換等功能，通過對(duì)該類進(jìn)行矩陣設(shè)置，我們可以得到想要的投影變換。根據(jù)兩種投影幕拼接的數(shù)學(xué)模型，在OSG實(shí)現(xiàn)多通道拼接的核心代碼如下：

//ar為投影面寬高比

double ar = m_pCamera->getLensAspectRatio();

//通過視錐水平張角m_DisFovX（由用戶給定）得到垂直張角

double vfov = RadiansToDegrees(

2.0 * atan( tan(osg::DegreesToRadians(m_DisFovX*0.5))/ar ) );

//設(shè)置視錐

m_pCamera ->setLensPerspective(m_DisFovX，vfov，1.0，1e6);

if (m_bSymmetric)

{

//對(duì)稱視錐（對(duì)應(yīng)環(huán)形幕）

double hfov = m_pCamera ->getLensHorizontalFov();

double vfov = m_pCamera ->getLensVerticalFov();

//設(shè)置偏移矩陣，m_OverlapX、m_OverlapY為融合區(qū)大小

Matrix mat = Matrix::rotate(

osg::inDegrees(m_OffsetX*(1-m_OverlapX)*hfov)，Y_AXIS) ;

mat *=Matrix::rotate(

osg::inDegrees(-m_OffsetY*(1-m_OverlapY)*vfov)，X_AXIS);

//偏移視錐

m_pCamera ->setOffset(mat.ptr()，0.0，0.0);

}

else

{

//非對(duì)稱視錐（對(duì)應(yīng)平板幕）

//設(shè)置偏移量

float xshear = -2.0*m_OffsetX*(1-m_OverlapX);

float yshear = -2.0*m_OffsetY*(1-m_OverlapY);

//偏移視錐

m_pCamera ->setOffset(osg::Matrix::identity().ptr()，xshear，yshear);

}

代碼中，m_OffsetX 、m_OffsetY分別為沿X、Y軸偏移量，其值由通道所在的位置計(jì)算得出。對(duì)于水平的三通道來說，不管是平板幕還是環(huán)形幕，視錐在Y軸方向的偏移量均為0，而對(duì)于一個(gè)3×3的九通道來說，其中的某些通道不僅存在X軸方向的偏移，還存在Y軸方向的偏移。

２ 多通道的同步技術(shù)

視景同步技術(shù)是多通道投影系統(tǒng)的關(guān)鍵技術(shù)之一，關(guān)系到不同通道的同步顯示與多通道顯示的畫面質(zhì)量。多通道的同步是本系統(tǒng)分布式通信模塊的工作之一，也屬于分布式系統(tǒng)仿真同步范疇[1]。實(shí)時(shí)性和一致性是衡量DVR系統(tǒng)好壞的重要標(biāo)準(zhǔn)，而因?yàn)镈VR系統(tǒng)異構(gòu)性的特點(diǎn)，二者在一定意義上存在著對(duì)立和矛盾，在二者之間尋求一個(gè)合適的折衷點(diǎn)亦是DVR系統(tǒng)目前研究的熱點(diǎn)問題之一。一般DVR系統(tǒng)常用的同步方法有：樂觀（Optimistic）算法[2]和保守（Conservative）算法[3]兩種。

２.1 通信協(xié)議選擇

對(duì)于本駕駛模擬器系統(tǒng)，有兩種網(wǎng)絡(luò)通信協(xié)議可供選擇：UDP（User Datagram Protocol）協(xié)議和TCP（Transmission Control Protocol）協(xié)議。UDP協(xié)議一般使用數(shù)據(jù)報(bào)式SOCKET，是一種是面向無(wú)連接的、不可靠的、無(wú)序的、無(wú)流量控制的傳輸層協(xié)議。TCP協(xié)議一般使用流式SOCKET，是一種面向連接的、可靠的、有序的、擁有流量控制的傳輸層協(xié)議。UDP協(xié)議的優(yōu)勢(shì)在于速度快，占用系統(tǒng)資源少，能滿足DVR系統(tǒng)實(shí)時(shí)性的要求；其缺點(diǎn)在于不可靠性，有可能產(chǎn)生丟包現(xiàn)象，造成顯示畫面的不連續(xù)性。TCP協(xié)議優(yōu)勢(shì)在于可靠，保障了數(shù)據(jù)傳輸?shù)臏?zhǔn)確性，能滿足DVR系統(tǒng)一致性即同步的要求；其缺點(diǎn)在于以增加通信負(fù)載為代價(jià)換取可靠性，降低了系統(tǒng)的實(shí)時(shí)性。

對(duì)于本駕駛模擬器的多通道顯示系統(tǒng)，筆者選用TCP協(xié)議，在保證各通道一致性的基礎(chǔ)上通過使用最大相關(guān)等待時(shí)間機(jī)制來控制每?jī)蓭瑘D像顯示的間隔時(shí)間，較大程度上提高了系統(tǒng)的實(shí)時(shí)性。

２.2 多通道同步流程設(shè)計(jì)

系統(tǒng)的同步過程由控制主機(jī)和顯示從機(jī)之間的通信來完成，本駕駛模擬器系統(tǒng)將控制主機(jī)也作為顯示通道之一，稱為Master通道，其它顯示從機(jī)均為Slave通道。圖１描述了系統(tǒng)的同步過程。

系統(tǒng)顯示場(chǎng)景經(jīng)歷三個(gè)階段：讀取數(shù)據(jù)、渲染場(chǎng)景、顯示場(chǎng)景[4]。一般情況下，計(jì)算機(jī)在渲染場(chǎng)景所花的時(shí)間要比另兩個(gè)階段所花的時(shí)間加起來還多很多，因此，要達(dá)到多個(gè)通道的同步顯示，重點(diǎn)在對(duì)渲染時(shí)間的控制把握上。為此，設(shè)計(jì)了下面的流程算法。

通過對(duì)Master端通道等待時(shí)間T的控制，避免了因?yàn)樯贁?shù)通道某一幀渲染時(shí)間過長(zhǎng)而導(dǎo)致整個(gè)多通道系統(tǒng)顯示頻率降低的情況出現(xiàn)；而通過超時(shí)標(biāo)記flag的設(shè)置又避免了Slave端通道連續(xù)兩幀無(wú)法完成渲染的可能性。這樣，在提高了整個(gè)多通道系統(tǒng)顯示幀速的前提下，雖然可能出現(xiàn)某一幀不連續(xù)的現(xiàn)象，但這種情況，人眼視覺幾乎感覺不到，因此，不會(huì)影響到整個(gè)系統(tǒng)的一致性。

２.3 多通道通用數(shù)據(jù)包設(shè)計(jì)

多通道通信所要傳輸?shù)臄?shù)據(jù)包括：視點(diǎn)信息、幀數(shù)信息、命令信息（開啟特效，切換天空背景等）等等，為了方便傳輸處理這些信息，筆者設(shè)計(jì)了一個(gè)通用數(shù)據(jù)包結(jié)構(gòu)，在滿足通用性的前提下，盡量減少了傳輸數(shù)據(jù)的大小。

typedef struct {

Producer::Matrixm_Matrix;//相機(jī)矩陣（包含視點(diǎn)信息）

FrameStamp m_FrameStamp;//幀數(shù)信息

floatm_EyeDistance;//雙眼視差

FusionDistanceMode m_FusionDistanceMode;//立體顯示模式

float m_FusionDistance;//立體顯示參數(shù)

COMMANDTYPEm_CommandType;//命令類型

CCommandParamm_CommandParam;//命令參數(shù)

} trans_packet;//傳輸數(shù)據(jù)包

如果是立體顯示，則需要加上立體顯示的相關(guān)參數(shù)。對(duì)于Master端通道的命令消息，定義了一系列的枚舉變量（COMMANDTYPE）來設(shè)置各種命令類型，Slave端通過handleCameraPacket()函數(shù)來對(duì)數(shù)據(jù)包進(jìn)行解析。

２.4 多通道立體顯示系統(tǒng)的實(shí)現(xiàn)

在單機(jī)立體顯示的基礎(chǔ)上，將該技術(shù)運(yùn)用到多通道系統(tǒng)中的每一個(gè)通道上，通過Master通道主機(jī)來控制所有通道的視差等參數(shù)以達(dá)到所有通道位差同步，這樣便在軟件上實(shí)現(xiàn)了多通道同步立體顯示，即實(shí)現(xiàn)了多通道投影系統(tǒng)的分布式通信子系統(tǒng)。

此外，渲染子系統(tǒng)可以采用配備了能輸出多路信號(hào)的專業(yè)圖形卡的工作站。投影顯示子系統(tǒng)中，因?yàn)槊恳粋€(gè)通道都要顯示左右眼兩幅圖像，對(duì)一個(gè)三通道系統(tǒng)來說需要3組6臺(tái)投影儀，擺放位置如圖２所示。融合矯正子系統(tǒng)采用硬件方法來實(shí)現(xiàn)，整體硬件具體配置方案如表1所示。這樣，便在軟、硬件上實(shí)現(xiàn)了一個(gè)完整的被動(dòng)式三通道立體投影顯示系統(tǒng)。

２.５ 實(shí)驗(yàn)結(jié)果

為了提高系統(tǒng)的實(shí)時(shí)性，我們引入了最大相關(guān)等待時(shí)間機(jī)制（等待時(shí)間和Master端當(dāng)前幀渲染時(shí)間相關(guān)）。Master端主機(jī)在渲染完成后會(huì)等待所有Slave端的渲染完成反饋信息，為了避免因?yàn)樯贁?shù)通道渲染時(shí)間過長(zhǎng)而使得整個(gè)多通道系統(tǒng)渲染效率降，可以將等待時(shí)間T限制在一個(gè)可以接受的范圍內(nèi)，本系統(tǒng)中設(shè)定 （ 為Master端當(dāng)前幀渲染時(shí)間）。這樣，當(dāng)?shù)却龝r(shí)間超過限制時(shí)，Master端會(huì)根據(jù)超時(shí)標(biāo)記flag的值強(qiáng)行發(fā)出顯示命令，而未完成渲染的Slave端將顯示前一幀的渲染結(jié)果。

實(shí)驗(yàn)環(huán)境：P4 2.8GHz 處理器、512M內(nèi)存、128M GeForce4 TI4200顯卡、100M 集成網(wǎng)卡、WindowsXP操作系統(tǒng)、模型A、B都是利用osgconv應(yīng)用程序優(yōu)化過后的.ive格式文件，大小分別為65.4M、102.5M使用最大相關(guān)等待時(shí)間機(jī)制前后，實(shí)驗(yàn)結(jié)果如表2所示。

可見，在沒有破壞系統(tǒng)同步狀況的前提下，通過添加最大相關(guān)時(shí)間等待機(jī)制，顯著提高了整個(gè)系統(tǒng)的幀速，增強(qiáng)了系統(tǒng)的實(shí)時(shí)性。

為了測(cè)試本駕駛模擬器系統(tǒng)多通道立體顯示的性能，筆者在表3所提供的硬件環(huán)境上對(duì)本系統(tǒng)進(jìn)行了測(cè)試，對(duì)比軟件為Multigen VEGA。Multigen VEGA是MultiGen-Paradigm公司開發(fā)的一款用于實(shí)時(shí)視覺模擬、虛擬現(xiàn)實(shí)和普通視覺應(yīng)用的多功能軟件，現(xiàn)今已廣泛的運(yùn)用于虛擬現(xiàn)實(shí)仿真領(lǐng)域。使用其用戶界面Lynx可以很方便的實(shí)現(xiàn)多通道立體顯示功能。測(cè)試場(chǎng)景模型均由MultiGen Creator建模，在三維實(shí)時(shí)視景仿真領(lǐng)域，MutiGen Creator以其無(wú)與倫比的強(qiáng)大的三維實(shí)體建模工具及三維地形生成功能，被公認(rèn)為是當(dāng)今最優(yōu)秀的建模軟件之一。不同的是本駕駛模擬器系統(tǒng)需要使用osgconv應(yīng)用程序?qū)⒔ê玫哪Ｐ娃D(zhuǎn)換為osg自用格式（.ive）文件，模型總面數(shù)60.1萬(wàn)，轉(zhuǎn)換格式前后文件大小分別為345.5M（.flt模型加紋理貼圖）、327.4M（.ive單一文件）立體模式選用四緩沖（Quad Buffer）模式，對(duì)比數(shù)據(jù)如表3。

實(shí)驗(yàn)結(jié)果表明本系統(tǒng)相比常用的虛擬現(xiàn)實(shí)軟件VEGA，在多通道顯示速率上提高了22%-28%，具有良好的實(shí)時(shí)性和一致性。

３ 小結(jié)

本文通過對(duì)組成多通道系統(tǒng)的四個(gè)部分進(jìn)行了簡(jiǎn)要介紹，重點(diǎn)論述了平板幕和環(huán)形幕兩種多通道系統(tǒng)的拼接技術(shù)，并給出了實(shí)現(xiàn)方法。選用TCP協(xié)議建立了分布式通信環(huán)境，在Master端和Slave端的通信過程中通過添加最大相關(guān)等待時(shí)間機(jī)制對(duì)多通道系統(tǒng)進(jìn)行優(yōu)化。實(shí)現(xiàn)了大屏幕的多通道立體顯示系統(tǒng)，給出了一個(gè)被動(dòng)式多通道立體顯示系統(tǒng)的硬件解決方案。實(shí)驗(yàn)結(jié)果表明本系統(tǒng)在實(shí)時(shí)性、一致性以及顯示效果上都有良好的表現(xiàn)。

參考文獻(xiàn)

[1]喬彩麗，戴樹嶺.多通道顯示系統(tǒng)同步技術(shù)研究[J]. 系統(tǒng)仿真學(xué)報(bào)，2007，19(15): 3437-3440.

[2]Som T K， Sargent R G. A probabilistic event scheduling policy for optimistic parallel discrete event simulation [C]Proc.12th Workshop on Parallel and Distributed Simulation. 445 Hoes Lane， Piscataway: IEEE Intellectual， 1998: 56-63.

[3]Hiller J B， Hartrum T C. Conservative synchronization in object-oriented paralleled battlefield discrete event simulation [C]Proc.11th Workshop on Parallel and Distributed Simulation. 445 Hoes Lane， Piscataway: IEEE Intellectual， 1997: 12-19.

[4]MA Ji-feng， PENG Xiao-yuan， FENG Qin， et al. Research and Realization of Visual System in Virtual Battlefield [J]. Journal of System Simulation， 2004， 16(8): 1735-1741.

作者簡(jiǎn)介：李勛祥，1966 - ，男，福建省清流縣人，黃石理工學(xué)院藝術(shù)學(xué)院副教授，主要從事虛擬現(xiàn)實(shí)與可視化、三維動(dòng)畫技術(shù)研究；陳定方，1946 - ，男，湖北省武漢市人，武漢理工大學(xué)物流工程學(xué)院教授，主要從事虛擬現(xiàn)實(shí)及系統(tǒng)仿真研究。