一種多目成像序列的編解碼算法

孫聞+金韜+王陽(yáng)+胡躍輝+方勇+楊良勇+郭學(xué)文

摘要：針對(duì)現(xiàn)有的立體顯示圖像存儲(chǔ)技術(shù)存在兼容性不足、立體圖像常常缺少必要的光電信息等問(wèn)題，文章提出了一種多目成像序列的編解碼算法：首先將采集到的多目成像序列數(shù)據(jù)首尾相連拼接成復(fù)合數(shù)據(jù)，接著按照常用圖像存儲(chǔ)格式將復(fù)合數(shù)據(jù)進(jìn)行編碼存儲(chǔ)為一幅復(fù)合圖像文件，最后將光電信息參數(shù)編碼插入到對(duì)應(yīng)的復(fù)合圖像編碼數(shù)據(jù)的特定位置中。該算法實(shí)現(xiàn)了多目成像序列與光電參數(shù)的同時(shí)存儲(chǔ)，存儲(chǔ)結(jié)構(gòu)緊湊、存儲(chǔ)方便，避免造成光電參數(shù)和多目成像序列的混亂及數(shù)據(jù)丟失。該算法能夠兼容多種圖像存儲(chǔ)格式，具有很好的兼容性和靈活性。

關(guān)鍵詞：立體成像；立體圖像編碼；裸眼立體顯示；多目成像序列

中圖分類號(hào)：TN27 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2017）35-0244-03

An Encoding and Decoding Algorithm for Multi-Channel Imaging Sequence

SUN Wen1，JIN Tao2，3，WANG Yang2，3，HU Yao-hui2，F(xiàn)ANG Yong2，YANG Liang-yong1，GUO Xue-wen2，3

（1. Anhui Huadong Photoelectric Technology Institute，Key Lab of Special Display Technology （Ministry of Education），National Engineering Lab of Special Display Technology，National Key Lab of Advanced Display Technology，Wuhu 241000，China；2. Academy of Photoelectric Technology，Hefei University of Technology，Hefei 230009，China；3. School of Computer and Information，Hefei University of Technology，Hefei 230009，China）

Abstract： There is insufficient compatibility and often lack of necessary photoelectric information in the stereopicture for existing stereoscopic display image storage technologies. In this paper， an encoding and decoding algorithm for multi-channel imaging sequence is proposed： First of all， the multi-channel imaging sequence data is connected together into a composite data. Then， the composite data is encoded and stored as a composite image file according to the commonly used image storage format. Finally， the photoelectric information parameters are encoded and inserted into the specific position of the corresponding composite image coded data. The algorithm can realize the simultaneous storage of multi-channel imaging sequence and photoelectric parameters. The storage structure is compact and the storage is convenient. It can avoid confusion and data loss caused by photoelectric parameters and multi-channel imaging sequence. The algorithm can be compatible with a variety of image storage formats， and it has good compatibility and flexibility.

Key words： stereoscopic imaging； stereoscopic image coding； nakedness-eye stereoscopic display； Multi-channel imaging sequence

2009年以來(lái)，3D影視熱潮的再次興起標(biāo)志著立體顯示技術(shù)日趨成熟。大量立體顯示技術(shù)被引入用于制作優(yōu)質(zhì)的3D作品，但是3D影視熱潮選擇的立體顯示技術(shù)都是立體眼鏡式顯示技術(shù)。通過(guò)立體眼鏡式顯示技術(shù)，可以給觀看者帶來(lái)良好的3D視覺(jué)體驗(yàn)，但是長(zhǎng)時(shí)間佩戴眼鏡觀看會(huì)導(dǎo)致觀看者出現(xiàn)頭暈，惡心等不適感[1]。針對(duì)這個(gè)問(wèn)題，提出了裸眼立體顯示技術(shù)，讓人們無(wú)需佩戴立體眼鏡，即可獲得立體觀感。隨著近年來(lái)光柵制作工藝、平板顯示技術(shù)、存儲(chǔ)設(shè)備等關(guān)鍵技術(shù)的突破，克服了顯示串?dāng)_問(wèn)題和2D/3D兼容問(wèn)題[2]，基于柱透鏡光柵的裸眼立體顯示技術(shù)取得了長(zhǎng)足的進(jìn)步，有望替代眼鏡式立體顯示技術(shù)在市場(chǎng)中占據(jù)主流地位。但是目前在市場(chǎng)上，仍缺乏對(duì)裸眼顯示技術(shù)的生態(tài)環(huán)境支撐，比如現(xiàn)在立體顯示視頻制作的高成本，長(zhǎng)周期使得3D片源不能滿足市場(chǎng)發(fā)展的需求，以及3D播放設(shè)備還比較少等問(wèn)題[3]。這些問(wèn)題促使我們開(kāi)展對(duì)基于裸眼顯示技術(shù)中的實(shí)時(shí)立體視頻相關(guān)領(lǐng)域的研究。endprint

裸眼顯示技術(shù)中立體視頻的制作是整個(gè)裸眼立體領(lǐng)域中的核心關(guān)鍵，立體視頻的質(zhì)量好壞直接影響著觀看者的視覺(jué)感受。多視點(diǎn)立體視頻源制作技術(shù)的關(guān)鍵部分之一是視點(diǎn)圖像信息的轉(zhuǎn)儲(chǔ)技術(shù)。在裸眼立體顯示器上重現(xiàn)多目成像序列時(shí)候，為了得到最好的播放效果，需要按照成像時(shí)的光電信息參數(shù)（包括相機(jī)陣列參數(shù)）和結(jié)合所使用的裸眼立體顯示器的光電參數(shù)進(jìn)行立體圖像合成。因此在存儲(chǔ)編碼多目成像序列時(shí)，最好能夠包括這些光電信息參數(shù)，同時(shí)能夠兼容多種格式。這樣就有更多的視頻源來(lái)支持裸眼立體顯示市場(chǎng)的發(fā)展，市場(chǎng)同時(shí)也會(huì)更支持裸眼立體技術(shù)的研究，兩者相互促進(jìn)，相互發(fā)展?；诖吮疚耐ㄟ^(guò)對(duì)通用圖像存儲(chǔ)格式的研究提出了一種多目成像序列的編解碼算法：利用常見(jiàn)的圖像格式（如BMP、JPEG、GIF、PNG、TIFF等）的文件結(jié)構(gòu)特征，將多目成像系統(tǒng)中的光電信息參數(shù)存放在特定的位置空間中，用于子視點(diǎn)圖像序列的處理。本算法能兼容上述常見(jiàn)圖像存儲(chǔ)格式，具有很好的兼容性和靈活性。

1 編解碼算法

1.1 編解碼算法流程

本文提出的算法主要包括壓縮編碼算法和解碼算法[4]，其中壓縮編碼算法主要過(guò)程如下：

1） 將多目成像序列數(shù)據(jù)首尾相連拼接成復(fù)合數(shù)據(jù)，拼接方式如圖2（b）所示。

2） 根據(jù)需要，選擇一種上述圖像格式完成對(duì)復(fù)合數(shù)據(jù)的編碼，存儲(chǔ)得到復(fù)合圖像文件。

3） 將多目成像序列的光電信息參數(shù)編碼插入到復(fù)合圖像編碼數(shù)據(jù)的特定位置中。對(duì)于不同圖像格式，光電信息參數(shù)插入的位置也不同，因此首先需要確定光電信息參數(shù)在復(fù)合圖像編碼數(shù)據(jù)中的可能插入位置，接著判斷插入位置的存儲(chǔ)空間是否滿足光電信息參數(shù)的數(shù)據(jù)量；如果是，則直接將光電信息參數(shù)插入到第一個(gè)可能位置中；如果否，調(diào)整文件頭和圖像數(shù)據(jù)之間的位置以及修改偏移量大小，最后將光電信息參數(shù)插入到復(fù)合圖像編碼數(shù)據(jù)中。

基于該壓縮編碼方法，能夠?qū)崿F(xiàn)多目成像序列與光電信息的同時(shí)存儲(chǔ)，其中步驟2確保能兼容通用圖像格式，步驟3根據(jù)常用圖像格式的文件結(jié)構(gòu)的特征，完成光電信息的插入。

如同時(shí)本文提出的解碼算法的主要過(guò)程下：

1） 獲取內(nèi)含光電信息參數(shù)的復(fù)合圖像文件，利用與圖像格式對(duì)應(yīng)的解碼器對(duì)目標(biāo)圖像文件進(jìn)行解碼獲得文件頭信息和圖像數(shù)據(jù)。

2） 由表1可知，目標(biāo)文件的圖像格式不同，光電信息參數(shù)插入的位置也不同，因此需要根據(jù)其圖像格式確定在復(fù)合圖像數(shù)據(jù)中存儲(chǔ)光電信息參數(shù)數(shù)據(jù)塊的位置，從解碼后的復(fù)合圖像圖像數(shù)據(jù)的插入位置讀取光電信息參數(shù)標(biāo)志位。

3） 判斷獲取的光電信息參數(shù)標(biāo)識(shí)位是否與預(yù)設(shè)標(biāo)識(shí)位一致；如果是，則表明完成光電信息參數(shù)的讀取操作，接著讀取后面的光電信息參數(shù)；如果否，則表明光電信息參數(shù)讀取出錯(cuò)，重新從解碼后的復(fù)合圖像數(shù)據(jù)的特定位置中獲取光電信息參數(shù)。

4） 驗(yàn)證光電信息參數(shù)是否正確，將光電信息參數(shù)和校驗(yàn)位[5]構(gòu)成的數(shù)據(jù)幀進(jìn)行校驗(yàn)。如果正確，則表明光電信息數(shù)據(jù)正確，如果錯(cuò)誤，則表明光電信息數(shù)據(jù)中存在錯(cuò)誤。

通過(guò)上述方式，可以根據(jù)復(fù)合圖像的圖像格式讀取出存儲(chǔ)其中的光電信息參數(shù)并判斷光電信息參數(shù)的準(zhǔn)確。

1.2 光電信息參數(shù)塊定義

本文把立體圖像合成所需要的光電信息參數(shù)用一個(gè)結(jié)構(gòu)體Info定義見(jiàn)圖1。

同時(shí)本文給出在上述兼容圖像格式中插入光電信息參數(shù)數(shù)據(jù)塊的方法和位置見(jiàn)表1。

2 算法測(cè)試和驗(yàn)證

2.1 測(cè)試環(huán)境與方法

本文對(duì)上述算法在Windows7操作環(huán)境下進(jìn)行驗(yàn)證：首先使用Photoshop完成多目成像序列圖像數(shù)據(jù)的拼接存儲(chǔ)，接著使用UltraEdit以2進(jìn)制形式打開(kāi)圖像文件來(lái)完成光電信息信息的插入存儲(chǔ)以及進(jìn)行文件數(shù)據(jù)的查看，最后再次使用Photoshop查看含有光電信息的復(fù)合圖像文件。在測(cè)試中，光電信息標(biāo)志位設(shè)為：GDXXBZ，采用相機(jī)陣列來(lái)完成圖像序列的采集，相機(jī)個(gè)數(shù)為4。多目成像系統(tǒng)中的相機(jī)陣列參數(shù)見(jiàn)表2。

2.2 測(cè)試和驗(yàn)證

對(duì)于多種常用圖像存儲(chǔ)格式，限于篇幅，在這里以BMP和JPEG格式為例應(yīng)用編解碼算法分別進(jìn)行驗(yàn)證。

1） .當(dāng)圖像存儲(chǔ)格式為BMP時(shí)，采集到的多目成像序列如圖2（a）所示，按照壓縮編碼算法的步驟一對(duì)多目成像序列數(shù)據(jù)拼接成復(fù)合數(shù)據(jù)如圖2（c）所示，按照步驟二對(duì)復(fù)合數(shù)據(jù)進(jìn)行以BMP格式進(jìn)行編碼存儲(chǔ)得到復(fù)合圖像文件。此時(shí)在復(fù)合圖像編碼數(shù)據(jù)中沒(méi)有光電信息參數(shù)，需要將光電信息參數(shù)編碼插入。其中根據(jù)表1可知，光電信息參數(shù)插入位置為復(fù)合圖像文件信息頭后面，根據(jù)BMP圖像文件結(jié)構(gòu)，需要修改這個(gè)文件頭到位圖數(shù)據(jù)間字節(jié)的偏移量的值，以便在實(shí)際圖像數(shù)據(jù)之前插入光電信息參數(shù)數(shù)據(jù)塊。通過(guò)計(jì)算光電信息參數(shù)數(shù)據(jù)塊一共188字節(jié)，再加上BMP格式中BMP文件頭和位圖信息頭的大小，我們應(yīng)修改其偏移量為000000F2h=242，接著將光電信息數(shù)據(jù)塊編碼利用UltraEdit插入到位圖信息頭后，并存儲(chǔ)為新的復(fù)合圖像文件，將其用Photoshop打開(kāi)查看，能正常顯示。

通過(guò)UltraEdit對(duì)含有光電信息參數(shù)的復(fù)合圖像文件以二進(jìn)制形式打開(kāi)，下圖為將光電信息編碼插入后的圖像數(shù)據(jù)文件如圖2（d）所示。下面對(duì)于該圖像數(shù)據(jù)文件進(jìn)行簡(jiǎn)單分析：

00-0Dh：這是BMP文件頭的內(nèi)容，其中包含文件類型、文件大小、以及文件頭到位圖數(shù)據(jù)間字節(jié)的偏移量的大小，這邊可以看出偏移量大小為000000F2h=242字節(jié)，以經(jīng)修改過(guò)其偏移量。

0E-25h：這是位圖信息頭的內(nèi)容，其中包含位圖信息頭大小，圖像寬度，圖像高度等。

對(duì)于36-3D：47445858425A0000h=“GDXXBZ”，光電信息參數(shù)標(biāo)志位，表明由此開(kāi)始存儲(chǔ)了光電信息參數(shù)塊。

3E-3F：0004h=4，表明相機(jī)陣列由4個(gè)相機(jī)組成。endprint