滿足8K球幕節(jié)目播放的球幕播放系統(tǒng)開發(fā)與集成技術

陳琨+陳亮

摘 要 隨著文化娛樂需求以及數(shù)字影像技術的快速發(fā)展，對高清晰度影像制作與保存、再現(xiàn)要求越來越高，在球幕上播放8K數(shù)字影像技術的市場需求隨之擴大。文章重點分析了8K球幕的系統(tǒng)集成研發(fā)過程，如在播放軟件算法研究中完成了多視點統(tǒng)一、畫面融合技術、軟同步、音視頻同步以及圖像壓縮解壓等難點，在硬件集成方面主要解決存儲體系快速穩(wěn)定讀寫、同步幀鎖相、刷新率同步以及光纖傳輸?shù)葐栴}。實驗效果良好，并付諸市場應用。

關鍵詞 8K影片；球幕播放；系統(tǒng)開發(fā)；系統(tǒng)集成

中圖分類號 G2 文獻標識碼 A 文章編號 2096-0360（2017）01-0027-06

1 球幕播放系統(tǒng)發(fā)展簡況

幕的形狀和投影方式，是數(shù)字球幕影院和膠片數(shù)字電影的最大區(qū)別。球幕是個反扣的半球體，一般由多臺投影儀共同投影到這個半球體的內(nèi)部，進行畫面拼接融合后，完成整幅畫面的播放。球幕的投射面積和投影機的個數(shù)決定了球幕影片的分辨率。本次研究選擇的分辨率定為標準8K，即8192×8192。

分辨率如此之高的影片，從片源上能夠保證影片展示的每個細節(jié)都能夠清晰展示，其次就要取決于播放系統(tǒng)的技術質(zhì)量如何。國外公司憑借其領先技術一直在球幕電影在原創(chuàng)與制作方面占據(jù)主導地位。但是這個情況正在逐漸被打破。北京莫高絲路公司在2012年通過自主創(chuàng)新，取得了全球超高清8K球幕節(jié)目“首創(chuàng)”。隨后，成功測試3D立體8K超高清球幕影片。這不僅在特種影視制作技術上填補了國際空白，更標志著國人掌握了超高清特種影視特效的創(chuàng)作能力，打破了國外技術壟斷。

2 系統(tǒng)實現(xiàn)的技術步驟：理論與實踐

2.1 算法及軟件研究

2.1.1 多通道投射的視點統(tǒng)一技術算法研究

步驟一：建立仿真模型

建立仿真模型，向該仿真模塊輸入已知參數(shù)值。其中，所述已知參數(shù)值包括以下參數(shù)：投影機所處位置的三維空間坐標、投影機左右轉(zhuǎn)動角度、投影機上下傾斜角度、投影機投影比和投影機長寬比。

步驟二：仿真計算

使用仿真模型進行仿真計算。

1）對于球幕多通道投影的場景，設任意一個投影機i對應投影通道i，在投影通道i的投射畫面上建立m×n的均勻二維頂點陣列。

2）投影機i發(fā)出的光線將二維頂點陣列投射到球幕上，計算二維頂點陣列在球幕上投射點的位置坐標。

3）進一步計算球幕上投射點在紋理畫面上的紋理位置坐標。

4）判斷紋理畫面上的紋理坐標是否為所需要的紋理位置坐標，如果判斷結(jié)果為否，則調(diào)整S1中的所述已知參數(shù)值，然后使所述仿真模型重新進行仿真計算，直到使紋理畫面上的紋理坐標滿足

要求。

步驟三：解決“2”球幕多通道投影仿真問題（球幕坐標）

根據(jù)步驟小項“2”所述的球幕多通道投影仿真方法，具體為：

1）讀取用戶輸入的投影機i所處位置的三維空間坐標，令其為坐標原點O（0，0，0），同時建立空間坐標系xyz和球坐標系（r，θ，φ），設所建立的m×n的均勻二維頂點陣列為矩形LMKI，設矩形LMKI的IK邊與平面xoy平行。

2）取LMKI的幾何中心為點A（xA，yA，zA），

長LI和寬IK的中點分別為C（xC，yC，zC）、D（xD，yD，zD），則⊥，⊥，⊥，⊥；對于二維頂點陣列上任一頂點B，光線在球幕上的交點為T，即T點即為頂點B在球幕上的投射點。

3）依次計算向量、向量、向量、向量，然后計算出向量。

4）設光線的起點為S，則方向d為，則求出頂點B在球幕上的投射點T為S+t；其中，

其中r代表半徑；V≡S–C，C為球幕的球心。

步驟四：解決“3”所述球幕多通道投影仿真問題（紋理坐標）

1）設球幕上投射點T直角坐標為T（x，y，z），且，點T這樣用三個有次序的數(shù)（r，θ，φ）確定，其中r為原點O與點T間的距離，θ為有向線段OT與z軸正向的夾角；φ為從正z軸來看自x軸按逆時針方向轉(zhuǎn)到OM所轉(zhuǎn)過的角，這里M為點T在xoy面上的投影。

2）設點P（x1，y1）為點T（x，y，z）在紋理坐標上對應的點，則點P（x1，y1）的極坐標用兩個有次序的數(shù)（r1，φ1）確定，其中r1為原點O與點P間的距離，φ1為有向線段OP與x軸正向的夾角。根據(jù)等距投影的原理，r1，φ1與r，θ，φ具有以下關系：

r1=kθ，其中，k為常數(shù)。

φ1=φ。

根據(jù)上述公式，求出球幕上投射點在紋理畫面上的紋理位置坐標。

本算法實現(xiàn)的軟件如圖2所示。

2.1.2 融合算法研究

1）對于多臺投影機通過多通道投射畫面的應用場景，對于每一臺投影機，均定義一張與其投射畫面大小相等的純白色紋理畫面。

2）對所述純白色紋理畫面的像素點亮度進行調(diào)整，得到處理后的紋理畫面。

3）在所述投影機的原紋理圖上疊加覆蓋所述處理后的紋理畫面，得到新的紋理圖。

4）各臺投影機均投射各自新的紋理圖，各張所述新的紋理圖的融合帶進行邊緣融合，得到最終投射到球幕上的投影畫面。

根據(jù)步驟1）所述的邊緣融合方法，具體為：

對于一張所述純白色紋理畫面，該純白色紋理畫面歸一化為矩形，以純白色紋理畫面的左下角頂點為原點，以純白色紋理畫面底邊長的方向為x軸方向，以純白色紋理畫面左邊長所在的方向為y軸方向，建立平面直角坐標系。

以x為自變量，在所述純白色紋理畫面上，繪制四條融合曲線，分別為：左邊融合曲線、右邊融合曲線、上邊融合曲線和下邊融合曲線，對于每一條融合曲線，分別定義一個常量d，以該常量d代表融合帶寬度，再繪制與該融合曲線平行的另一條融合曲線，兩條融合曲線之間的區(qū)域即為融合帶，進而得到四條融合帶，如圖3所示。

分別調(diào)整四條融合帶的亮度，即得到處理后的紋理畫面。

本算法實現(xiàn)的軟件如圖4所示。

2.1.3 軟件同步算法研究

1）理論概述。

相關的操作人員可以運用互聯(lián)網(wǎng)接口來發(fā)送一定的命令并發(fā)送給計算結(jié)果操作的界面，進而實現(xiàn)控制服務器的目的，場景服務器必須要連接控制服務器以及客戶端，并且能夠及時的發(fā)送相應的場景渲染數(shù)據(jù)，將自身所接到的數(shù)據(jù)及時發(fā)送到各個客戶端，并且做好協(xié)調(diào)控制工作，完成實時渲染工作，同時應該將控制和渲染工作及時分開，通過TCP協(xié)議通信才能夠保障數(shù)據(jù)傳輸?shù)募皶r性以及準確性，其主要目的就是提高狀態(tài)幀包發(fā)送的實時性。

為了能夠提高反饋確認同步算法傳輸?shù)膶崟r性，往往會需要通過組播方式來進行場景幀包的發(fā)送，并且能夠?qū)讉€客戶端連為一組，通過控制服務器向場景服務器發(fā)送控制幀包，并且可以通過渲染信息重組的方式來向客戶端進行傳送。反饋確認機制主要指的是運用多種渠道實行渲染，其渲染的節(jié)點負載以及時間都不一致，從而會導致顯示畫面不同步。解決這個問題唯一的方法就是需要使用反饋確認機制的方式來進行渲染，使得在每一個渲染點對渲染任務完成后，可以實現(xiàn)及時的反饋給場景服務器，全部客戶端收到命令之后，及時通知客戶端，從而能夠有效地解決畫面顯示不同步的問題，另一方面，主要的渲染時間最大值選擇使用最大的等待時間，出現(xiàn)實際某一個渲染點的工作速度相對慢的問題進行解決，其他的渲染節(jié)點等待造成的幀速大幅下降，影響顯示效果的問題。

推算定位機制，因為視覺服務器和相應的視景客戶端兩者的通信工作，是通過兩者UPD協(xié)議的方式來進行的，所以，在進行傳輸?shù)臅r候會出現(xiàn)數(shù)據(jù)包丟失的問題，沒有辦法及時解析相關的狀態(tài)幀包，這樣就會導致實際呈現(xiàn)的畫面不同步的情況，為了判斷實際丟包現(xiàn)象是否屬實，需要對系統(tǒng)的時間進行及時劃分，每個狀態(tài)都應該關聯(lián)相應的時間戳。

2）算法概述。

如果總節(jié)點數(shù)量的一半比渲染時間中最大等待時間節(jié)點的數(shù)量要大得多，這樣最終輸出的主要圖像就會是渲染節(jié)點上的某一個幀紋理。

如果最大的等待時間比渲染的時間要短得多，并且其節(jié)點個數(shù)超過總節(jié)點個數(shù)一半的時候，就會導致其等待時間延長，如果沒有渲染完畢，就會導致其他節(jié)點等待，如果相應的時間截止總節(jié)點數(shù)量的一半還是比未完成渲染的節(jié)點數(shù)量多，這就需要按照2）去執(zhí)行；如果不按照此方式進行，就可能導致最大等待時間為原來的3倍以上，將以上的過程重復進行。

如果發(fā)生狀態(tài)幀包丟失的問題，那么就需要依據(jù)推算定位機制方式來實現(xiàn)該時刻物體的預測，并且得到相應的狀態(tài)信息。

軟件實現(xiàn)如圖6所示。

2.1.4 音視同步算法研究

1）在發(fā)送方。

對于相同時刻的音頻/視頻幀，打上相同的時間戳（系統(tǒng)時間）。

2）接收方。

比較常見的接收方就是保存兩個隊列，其主要就是存放還沒有播放的音頻和視頻。每當收到音頻幀的時候，會通過video隊列將其進行比較，如果音頻幀時間在視頻幀之前，就會先進播放。如果音頻跟視頻的時間戳相差在某個可以接受的誤差內(nèi)，則同時播放該音頻/視頻（并將視頻幀從video隊列中刪除）。

如果視頻時間比較靠前的時候，就會先播放視頻幀，并且將其從video隊列刪除，如果video隊列內(nèi)的最后一幀都在audio之前，就需要等video全部播放完成之后才能夠?qū)⑵浞诺絘udio隊列。

3）對接收到視頻幀的時候，也做類似的處理。

2.1.5 H.264視頻壓縮算法介紹

對于8K球幕視頻采用的多通道球幕拼接方式實現(xiàn)，因此對于每一通道采用H.264編解碼方式。由于H.264會把每一個視頻幀變成一定的塊，這些塊是由像素組成的，所以視頻幀編碼的實際處理的過程中的標準可以實現(xiàn)塊的編碼。如果是連續(xù)幀，往往會選擇不同塊對其進行臨時存放，從而對其進行部分編碼就行。H.264往往都會選擇冗余的方法對視頻幀的原始模塊進行空間預測、優(yōu)化等工作，并且通過剩余空間冗余技術能夠?qū)ζ溥M行編碼，最終保障H.264相對于其他編碼的方式具有一定的特點和優(yōu)勢。

視頻編碼層的根本工作的原理：首先需要運用MPEG2的來實現(xiàn)編碼的變換，然后再運用時間和空間的混合編碼來保障圖像能夠得到及時的劃分，進而在一定的程度上來保證每一個序列能夠與相應的圖像產(chǎn)生一定的對應關系，也就是隨機存取點，對于幀中的每一個采樣預測的工作都需要通過編碼來實現(xiàn)，要想對其實行預測工作，就需要把使用解碼器對一定的附加信息進行一定并且及時的分析處理，隨機存取點相互之間的圖像大部分還是通過幀間編碼方式實現(xiàn)的，要想達到對下一個相關的圖形能夠及時準確的預測，這就對編碼器有了一定的要求，需要其擁有相應的編碼器，通過對編碼器以及變化系數(shù)實現(xiàn)反變換和反量化的過程，最后就能夠得出編碼預測的相關殘余部門，將其與預測實行一定的有機結(jié)合，并且將得到的結(jié)果傳送到效應濾波器，整個過程就實現(xiàn)了視頻的輸出效果。

1）圖像、幀和場。

連續(xù)的編碼圖像組合就形成了一個編碼視頻序列，整個一幀的圖像或者是一場圖像都可以表現(xiàn)為編碼圖像。

2）YcbCr色度空間和4︰2︰0采樣。

H.264/AVC目前采用與MPEG-2主類相同的

4︰2︰0采樣結(jié)構(gòu)、8比特精度。

3）宏塊劃分。

每個視頻圖像幀可以對其進行劃分，宏塊是解碼的基礎條件，往往是由16×16兩度像素以及兩個8×8彩色分量像素的長方型區(qū)域，能夠?qū)ζ淞炼群蜕蔬M行空間和時間上的預測，并且及時的做好相應的編碼工作。

4）像條和像條組。

支持5種像條編碼種類：

I像條：其中相對比較容易的編碼種類，其中所有宏塊都不會以視頻序列中的圖像作為參考

依據(jù)。

P像條：I像條編碼種類除外，P像條的一部分宏塊能夠?qū)崿F(xiàn)幀間的預測工作，每個預測塊至多可使用一個運動補償預測信號。

B像條：除了P像條編碼類型外，B像條的部分宏塊可以利用幀間預測，每個預測塊可使用兩個運動補償預測信號。

SP像條：稱作切換P像條，能在不同編碼圖像之間有效地切換。

SI像條：稱作切換I像條，允許SP像條的宏塊完全匹配，達到隨機讀取數(shù)據(jù)進行解碼和恢復錯誤的目的。

5）宏塊的編解碼過程。

宏塊的亮度以及色度采樣主要就是通過空間和時間進行預測，從而能夠?qū)堄噙M行編碼工作，為了能夠順利的進行編碼工作，必須要對每個預測殘余進行細致的劃分，才能夠保障其實現(xiàn)進一步的量化工作。

6）幀內(nèi)預測。

按照像條編碼的種類來看，每一個宏塊都可對編碼的類型進行合適的選擇。所有像條類型支持兩級幀內(nèi)編碼，稱為INTRA-4×4和INTRA-16×16。

7）幀間預測。

（1）P像條幀間預測。

除了幀內(nèi)宏塊編碼之外，還具有諸多編碼，比如P像宏塊具有諸多預測類型，目前比較常用的就是運動補償編碼，其主要就是指每個P型宏塊都會制定相應的宏塊，其亮度必須要符合相關規(guī)定和標準，語法會允許其存在最大運動矢量，并且主要選擇的推算方法就是參考幀采樣。主預測工作可以通過臨近塊的相應值別說平均值的方式來及時進行，這樣就可以運用編碼來計算出運動的矢量。相應的語法方面可能會對各運動補償?shù)念A測提供支持的依據(jù)，本質(zhì)上就是運用很多個編碼圖形來表示運動補償?shù)囊罁?jù)，每一個運動補償還是需要依據(jù)參考圖像實現(xiàn)嚴格的索引工作，除了這種模式以外，P宏塊可使用P_Skip模式，P_Skip模式的適用范圍要是沒有相應的改變或者是固定運動，具有很高的壓縮率，實際中比如搖鏡頭等。

（2）B像條的幀間預測。

B像條與P像條的實際概念對比，跟之前的標準相類似，還是存在一定的差別，其中可以作為運動補償預測的判斷圖像的是B像條，并且在一定程度上還能夠?qū)崿F(xiàn)兩個運動補償預測實際值的加權

運算。

8）變換和量化。

與傳統(tǒng)的視頻編碼變準相比，其具有較大的差異性，其主要利用了預測殘余變換編碼，選擇與離散余弦相類似的整數(shù)變換，從而才能夠保障反變換沒有誤差，符合相關規(guī)定和標準的要求，提高其準確性。

9）熵編碼。

H.264/AVC對兩類熵編碼的方法都持支持的態(tài)度，其中相對比較容易的熵編碼的方法：針對除量化系數(shù)以外的基本全部的語法元素，都運用單一無限并且可擴展的碼字表。運用這樣的熵編碼的方法就不用對每一個語法元素都進行VLC表的制定了，簡單的使用數(shù)據(jù)的相關統(tǒng)計特征，就能實現(xiàn)客戶化影射到單一的碼字表。

為了實現(xiàn)對量化的變換系數(shù)進行傳輸?shù)墓ぷ?，選擇CAVLC的方法是具有很高的效率。在這個方案中，運用已經(jīng)傳送的語法元素都能夠?qū)崿F(xiàn)每一種語法元素的VLC碼表的自由切換。另一方面，VLC表的統(tǒng)計對熵編碼的基本性能實現(xiàn)了一定的改善，因為VLC表設計相對應的條件統(tǒng)計。

2.2 硬件集成技術研究

硬件集成技術研究主要方向在存儲體系建立、硬件同步技術研究、與視頻信號傳輸三個問題上。其中存儲體系建立是為了解決8K球幕視頻的巨大存儲量以及數(shù)據(jù)吞吐速率的問題，而硬件同步技術是為了配合軟件同步而使得節(jié)目播放過程中硬件設備信號的同步問題，視頻信號傳輸技術則是為了更有效的進行遠距離傳輸高質(zhì)量高分辨率視頻信號。

2.2.1 存儲體系建立

為了保證傳輸效率，節(jié)約存儲空間，在視頻編碼過程中，采用了H.264編碼。無論采用何種編碼，對視頻來說都是一種畫質(zhì)損失。最優(yōu)的情況下是采用YUV的無損壓縮方式，甚至是直接播放單幀序列。

本系統(tǒng)的體系技術指標就確定為以無損單幀播放為標準。

存儲體系的關鍵硬件就是硬盤，硬盤的質(zhì)量、穩(wěn)定性、傳輸速度決定著數(shù)據(jù)是否及時的、穩(wěn)定的進行傳輸。經(jīng)過計算與實際測試，課題組選用SAS硬盤作為存儲體系的存儲介質(zhì)。SAS硬盤理論傳輸速度為300 MB/S～600 MB/S。

相對于每個通道而言，單通道的數(shù)據(jù)吞吐量大約在500 M/s左右。8K分辨率的數(shù)據(jù)幀24位TGA格式為240 M，7 G/S左右。因此選用最先進的SAS固態(tài)硬盤組合模式。利用陣列技術，將多臺SAS硬盤組合起來，共用傳輸通道，即保證存儲的容量，也保證存儲數(shù)據(jù)的吞吐量。

2.2.2 硬件同步技術

不同通道的視頻服務器是獨立工作的，也就是說每個視頻服務器的顯卡是獨立工作的。即使在軟件播放端進行了時間戳同步等一系列同步手段，相對于其他視頻輸入、輸出設備，它們的工作時鐘信號都未必同步。

為了解決本問題，課題組在整個系統(tǒng)中引入同步鎖相、鎖幀技術，利用Genlock鎖幀/相卡，確保所有設備的信號是同步的。

課題組通過測試，發(fā)現(xiàn)AMD公司生產(chǎn)的ATI FirePro? S400鎖相卡為市場最成熟和穩(wěn)定的產(chǎn)品。該卡有如下功能。

1）通過視頻信號同步鎖相Genlock功能，可使不同裝置的影片于圖像訊號同步化。

2）ATI FirePro? S400是一款單卡式解決方案，內(nèi)含一顆專用處理器，能同步各繪圖處理引擎。

3）影像同步幀鎖相功能（Framelock）是將多張顯示卡或多臺主機之間協(xié)力完成的畫面輸出屏幕同步化。

4）ATI FirePro? S400解決方案可提供影像同步功能，結(jié)合屏幕輸出以及同時執(zhí)行的顯示緩沖虛擬記憶空間，協(xié)助系統(tǒng)間連接的ATI FirePro?繪圖單元，能在鎖定同步狀態(tài)下呈現(xiàn)完美輸出內(nèi)容。

5）ATI FirePro?首發(fā)同步模組，單機便可支持4張ATI FirePro?繪圖卡，并能和幾乎所有影片輸入訊號進行同步化，其中包括PAL與NTSC標清影片黑場信號，HDTV的Tri-level信號，TTL以及SDI同步信號。

通過該卡的應用，課題組不僅實現(xiàn)了各視頻輸出設備的刷新信號同步，同時也實現(xiàn)了視頻輸入設備的同步。在山東臨沂市科技館，利用該技術，課題組成功的將天文望遠鏡的視頻輸入信號，與投影機的視頻輸出信號同步，進行播放。

這就使得該系統(tǒng)不僅擁有回放式信號輸出功能，還具有實時信號同步輸入再輸出的功能。

2.2.3 視頻信號傳輸技術中光纖作為傳輸介質(zhì)的特點

1）頻帶寬。

目前單個光源的帶寬只占了其中很小的一部分（多模光纖的頻帶約幾百兆赫，好的單模光纖可達10 GHz以上），采用先進的相干光通信可以在30 000 GHz范圍內(nèi)安排2 000個光載波，實現(xiàn)波分復用，并且能夠容納上百萬個頻道。

2）損耗低。

光纖的損耗小，傳輸1.31 um的光，每千米損耗在0.35 dB以下；傳輸1.55 um的光，每千米損耗0.2 dB以下。此外，不需要引入均衡器進行均衡；其損耗幾乎不隨溫度而變。

3）重量輕。

因為光纖非常細，加上防水層、加強筋、護套等，也具有直徑小、重量輕的特點，安裝十分方便。

4）抗干擾能力強。

光纖傳輸對電磁干擾、工業(yè)干擾有很強的抵御能力。8K分辨率的數(shù)字節(jié)目，由于數(shù)據(jù)量巨大，因此選擇光纖作為8K超高分辨率節(jié)目的傳輸介質(zhì)。

3 結(jié)論與成果

通過對多通道投射的視點統(tǒng)一技術算法的研究解決了普通投影儀投射球幕影像的預變形的問題，通過軟件的投影仿真實現(xiàn)了投影機預裝的位置以及角度等參數(shù)。在多通道無縫軟融合技術研究中，實現(xiàn)多投影重疊區(qū)域的無縫軟融合的算法，解決了投影機融合帶亮度以及色度平滑過渡的問題。多通道投影播放同步技術的研究探索過程中，解決了多通道投影機播放不同步造成視頻畫面撕裂的問題，實現(xiàn)了在多通道投影情況下視頻同步播放的功能。在對音視頻同步算法研究中，解決了在投影播放情況下音頻和視頻不同步的問題，實現(xiàn)了在投影播放中音視頻自動同步播放的功能。在8K球幕播放條件下高分辨率圖像的壓縮實現(xiàn)過程中，采用了多通道投影技術以及H.264壓縮編碼方式，解決了高分辨率圖像下的投影播放問題，實現(xiàn)了8K球幕播放功能。

同時在硬件集成技術中，選用固態(tài)SAS硬盤陣列解決存儲以及數(shù)據(jù)吞吐量巨大的問題；利用鎖相卡解決了視頻輸入、輸出設備的信號同步問題、并采用光纖作為視頻傳輸介質(zhì)，保證了整個系統(tǒng)視頻信號傳輸?shù)目焖倥c高保真。

參考文獻

[1]朱毅.數(shù)字球幕電影技術體系及關鍵技術研究[D].南京：南京理工大學，2007.

[2]陳振宇.插值算法在圖像放大中的應用及數(shù)字球幕電影的制作[D].南京：南京理工大學，2007.

[3]李堅，文紅光，賈寶羅.一種360度數(shù)字球幕電影的制作方法：中國，201110029458.6[P].2011-01-27.