可解決深度沖突的3D字幕的添加方法

熊 俊，周 軍，湯 毅

(1.上海交通大學(xué)圖像通信與網(wǎng)絡(luò)工程研究所，上海 200240;2.上海文廣科技集團(tuán)，上海 200072)

隨著3D顯示技術(shù)的飛速發(fā)展與日益進(jìn)步，市場(chǎng)上出現(xiàn)了越來(lái)越多的3D電視、3D顯示器、3D投影機(jī)等3D顯示設(shè)備［1］，而3D照片、3D游戲、3D視頻的漸漸普及也體現(xiàn)了3D顯示技術(shù)已成為現(xiàn)代顯示技術(shù)的必然趨勢(shì)。

在3D圖像顯示技術(shù)不斷發(fā)展和成熟的同時(shí)，3D內(nèi)容插入技術(shù)也迫切需要革新。這里的插入的內(nèi)容［2］是指為了豐富觀看者需要在圖像中插入的字幕、選單、圖標(biāo)［3］等。拿字幕來(lái)說(shuō)，傳統(tǒng)的2D字幕只是將字幕覆蓋在圖像上，而對(duì)于3D圖像，在3D視頻的播放過(guò)程中，立體圖像會(huì)不斷的有景深的變化，如果像2D視頻一樣直接將字幕顯示在銀屏上，那么隨著視頻的播放，觀看者在觀看時(shí)往往會(huì)很難同時(shí)看清圖像和字幕，因?yàn)槿搜垡曈X(jué)的雙目會(huì)聚與焦點(diǎn)會(huì)產(chǎn)生不一致［4］，并且長(zhǎng)時(shí)間觀看會(huì)產(chǎn)生視覺(jué)疲勞問(wèn)題，所以在插入3D字幕時(shí)一定要考慮立體圖像的深度變化。考慮到觀看者觀看字幕的習(xí)慣與圖像深度變化等因素，本文提出了一種3D字幕的混合插入技術(shù)，將字幕以3D的顯示效果添加到立體圖像中，并根據(jù)場(chǎng)景的情況來(lái)確認(rèn)景物與3D字幕的遮擋關(guān)系，解決3D圖像中字幕與圖像深度混亂的問(wèn)題，能達(dá)到更好的立體觀看效果。

1 3D字幕添加技術(shù)分析

在二維視頻上插入字幕，只是簡(jiǎn)單地將其覆蓋到圖像上，已添加的字幕在視覺(jué)上遮擋住了原始圖像中的物體，所以字幕會(huì)相對(duì)于圖像上的其他物體顯得隔觀看者更近。而3D視頻是基于立體視覺(jué)系統(tǒng)的，為人的雙眼提供了一個(gè)立體圖像對(duì)，這個(gè)立體圖像對(duì)中相同物體位置的視差會(huì)在人腦中產(chǎn)生一定的深度。在這種情況下，僅僅在左圖和右圖上疊加字幕是不夠的，因?yàn)檫@時(shí)的立體圖像具有深度信息，它們的深度不僅通過(guò)視覺(jué)遮擋來(lái)反映，而且與左右圖像的視差有關(guān)。因此，當(dāng)在3D圖像上插入字幕時(shí)，要確認(rèn)字幕和景物的遮擋關(guān)系來(lái)保證視差和遮擋關(guān)系的一致性。為了達(dá)到這個(gè)目標(biāo)，有必要知道圖像中不同景物的深度。當(dāng)字幕的深度小于圖像的深度時(shí)，字幕隔觀看者更近，這時(shí)字幕會(huì)遮擋住圖像;當(dāng)字幕的深度小于圖像的深度時(shí)，圖像隔觀看者更近，這時(shí)字幕會(huì)被圖像遮擋住。因此，為了得到一個(gè)合適插入的3D字幕，必須要知道圖像的深度信息。

現(xiàn)有的立體字幕主要是將字幕直接放置在立體圖像的最前面，字幕自始至終浮現(xiàn)在銀幕前，并沒(méi)有考慮到立體圖像內(nèi)容的景深變化，會(huì)形成位于屏幕上的字幕遮擋住了浮現(xiàn)在屏幕之前圖像的情況，觀眾很難同時(shí)看到字幕和內(nèi)容，并且觀眾同時(shí)觀看立體圖像和字幕時(shí)，眼睛聚焦不斷改變，會(huì)感到累甚至頭昏眼花，沒(méi)有解決視覺(jué)疲勞問(wèn)題，所以立體圖像強(qiáng)烈的縱深感是添加3D字幕時(shí)必須考慮的因素。

文獻(xiàn)［5］提出了一種3D視頻中立體字幕疊加技術(shù)，該方法將3D字幕以立體圖像對(duì)最大的負(fù)視差添加到立體視頻中，使得字幕一直遮擋住圖像，浮現(xiàn)在圖像之前，相對(duì)于圖像離人眼最近。這樣即能將字幕以3D的形式顯示在屏幕之前，同時(shí)也解決了3D字幕會(huì)對(duì)立體圖像的內(nèi)容造成干擾的問(wèn)題。但是考慮到在播放過(guò)程中圖像會(huì)出現(xiàn)浮現(xiàn)在眼前的特效，如果此時(shí)字幕依然出現(xiàn)在圖像之前，將會(huì)非常嚴(yán)重的影響觀眾的觀看;另外字幕的深度隨著場(chǎng)景深度的變化不斷變化，會(huì)容易出現(xiàn)字幕變化不連貫的現(xiàn)象;最后，人們習(xí)慣了觀看大小和位置固定的字幕，如果字幕在視頻中有太多的變化，會(huì)有喧賓奪主的感覺(jué)，所以這種3D字幕的添加方法也有很多弊端。

本文在3D視頻中插入3D字幕是立體實(shí)現(xiàn)和增強(qiáng)實(shí)現(xiàn)兩個(gè)過(guò)程。在立體實(shí)現(xiàn)中，將字幕以一個(gè)確定的負(fù)視差插入到左右視圖中，以前景的立體效果顯示在觀看者的眼前;在增強(qiáng)實(shí)現(xiàn)中，將字幕融入到場(chǎng)景中，字幕與景物的遮擋關(guān)系會(huì)根據(jù)場(chǎng)景的深度變化，從而解除字幕與場(chǎng)景深度混亂的問(wèn)題，達(dá)到字幕與場(chǎng)景虛實(shí)結(jié)合的效果。

2 實(shí)現(xiàn)過(guò)程

本文在3D視頻中插入3D字幕的方法可以理解成是立體實(shí)現(xiàn)和增強(qiáng)實(shí)現(xiàn)兩個(gè)過(guò)程，如圖1所示。立體實(shí)現(xiàn)是將字幕以3D形式顯示在觀看者眼前，字幕會(huì)立體地浮現(xiàn)在屏幕之外;增強(qiáng)實(shí)現(xiàn)是為了將虛擬的3D字幕融入到真實(shí)的場(chǎng)景中，考慮到場(chǎng)景的深度不斷的變化，通過(guò)比較場(chǎng)景與字幕的深度，來(lái)得出字幕與場(chǎng)景相互遮擋的關(guān)系，然后根據(jù)這個(gè)遮擋關(guān)系對(duì)圖像進(jìn)行修復(fù)，從而解決字幕和場(chǎng)景深度混亂的問(wèn)題。

圖1 3D字幕的實(shí)現(xiàn)流程

2.1 立體實(shí)現(xiàn)

所謂3D字幕，就是在播放3D視頻的過(guò)程中，字幕也以立體的形式顯示出來(lái)，與傳統(tǒng)的2D字幕不同，2D字幕只是將字幕覆蓋在圖像上面，這樣字幕自始自終都固定在屏幕上，因此為了實(shí)現(xiàn)3D字幕，不只是將字幕簡(jiǎn)單的覆蓋在圖像上，而需要考慮字幕浮出屏幕的深度問(wèn)題。3D圖像的深度由立體圖像對(duì)中同一物體的視差所決定，所以為了讓字幕以立體的形式浮現(xiàn)在顯示屏上，需要將字幕以一定的視差添加到立體圖像對(duì)上。

公式(1)、(2)以相似三角形的關(guān)系顯示了圖2a中正視差與深度的關(guān)系;公式(3)、(4)顯示了圖2b中負(fù)視差與深度的關(guān)系。圖中的紅色圓形為物體在人眼中顯示的實(shí)際深度位置。式中:b為左右眼的距離，d為左右兩幅圖的視差值大小，R為每個(gè)單位距離上像素的個(gè)數(shù)，h為人眼與顯示屏的距離，x為物體會(huì)出現(xiàn)在顯示屏之外深度的距離。

圖2 正視差和負(fù)視差時(shí)的深度情況

由公式(1)～(4)以及圖2可以看出，左右立體視圖上具有正視差的場(chǎng)景會(huì)以遠(yuǎn)景的形式出現(xiàn)，在人眼觀看時(shí)會(huì)呈現(xiàn)在屏幕后方，而左右立體視圖上具有負(fù)視差的場(chǎng)景會(huì)以近景的形式出現(xiàn)，在人眼觀看時(shí)呈現(xiàn)在屏幕前方，而零視差的場(chǎng)景就會(huì)直接顯示在顯示屏上面。因此，添加3D字幕時(shí)，為了讓字幕能夠浮現(xiàn)在屏幕之前，需要將同樣的字幕以一定的負(fù)視差分別添加到立體圖像對(duì)中，即左圖中的字幕相對(duì)于右圖中的字幕會(huì)在水平方向偏右。不過(guò)視差管理要求考慮長(zhǎng)時(shí)間觀看3D可能引發(fā)人體不良反應(yīng)，因此視差的容許范圍很小，比如好萊塢的3D電影負(fù)視差時(shí)畫(huà)面水平方向的2%以內(nèi)［6］。所以將字幕以一定負(fù)視差添加到左右立體視圖上去能夠得到浮現(xiàn)在屏幕之外的3D字幕。

圖3為3D字幕立體實(shí)現(xiàn)后的效果圖和視差圖，當(dāng)字幕以一定的負(fù)視差添加時(shí)，字幕會(huì)以前景的效果顯示出來(lái)，如圖3a所示。但是由圖3b可以看出，在字幕區(qū)域里，灰度值較小的字幕遮擋住了灰度值較大的景物，這種不正常的遮擋現(xiàn)象會(huì)造成觀看時(shí)本來(lái)位于景物后面的字幕會(huì)到圖像前面來(lái)，造成觀看時(shí)視覺(jué)混淆，戴上立體眼鏡看圖3a，就會(huì)發(fā)現(xiàn)本該位于木柱和蜻蜓翅膀后面的字幕反而遮擋住了這些景物，所以為了達(dá)到更好的觀看效果，僅僅對(duì)字幕進(jìn)行立體實(shí)現(xiàn)是不夠的，還需要正確地處理字幕和場(chǎng)景的相互遮擋關(guān)系。

圖3 3D字幕的立體實(shí)現(xiàn)圖與視差圖

2.2 增強(qiáng)實(shí)現(xiàn)

增強(qiáng)實(shí)現(xiàn)是將虛擬的物體疊加到真實(shí)的場(chǎng)景中，讓虛擬的物體與真實(shí)的場(chǎng)景共同存在。在3D字幕的增強(qiáng)實(shí)現(xiàn)中，虛擬的3D字幕將會(huì)被插入到圖像的場(chǎng)景中。文獻(xiàn)［7］闡述了遮擋和視差的關(guān)聯(lián)性，以及觀看者在獲得場(chǎng)景的深度信息時(shí)怎樣防止它們的不一致性。融合虛擬和真實(shí)的物體需要一個(gè)理想的環(huán)境，文獻(xiàn)［8］的研究表明了視覺(jué)的效果與物體的相對(duì)深度有關(guān)，觀看者往往對(duì)在顯示屏附近的深度很敏感，而這種敏感隨著物體在重建在顯示屏前或后而減少。所以要想將3D字幕融入到立體圖像中，需要解決字幕與圖像場(chǎng)景相互遮擋的問(wèn)題。

圖4為結(jié)合公式(2)、(4)所得的視差與深度的關(guān)系圖?？梢?jiàn)，視差與深度成正相關(guān)關(guān)系，當(dāng)字幕的深度小于圖像的深度，離人眼更近時(shí)，字幕會(huì)遮擋住圖像，而反過(guò)來(lái)，當(dāng)字幕的深度大于圖像，圖像離人眼更近時(shí)，圖像會(huì)遮擋住字幕。再結(jié)合公式(2)、(4)與圖4，當(dāng)左右視圖同一場(chǎng)景具有正視差時(shí)，深度大小與正視差大小呈正相關(guān)關(guān)系，而當(dāng)左右立體視圖中的同一場(chǎng)景為負(fù)視差時(shí)，深度大小與負(fù)視差的大小呈反相關(guān)關(guān)系，所以字幕與圖像場(chǎng)景的相互遮擋問(wèn)題可以由比較它們的深度問(wèn)題歸結(jié)為比較它們的視差問(wèn)題。因?yàn)閷⒆笥易帜灰载?fù)視差分別添加到左右視圖上，所以負(fù)視差比字幕視差寬的場(chǎng)景會(huì)遮擋住字幕，負(fù)視差比字幕視差窄的場(chǎng)景會(huì)被字幕遮擋。

圖4 與深度的關(guān)系圖

2.2.1 基于SAD算法的立體匹配獲得校準(zhǔn)的視差圖

本文在添加3D字幕時(shí)，以一個(gè)確定的值來(lái)作為負(fù)視差，所以需要得到左右視圖中場(chǎng)景的視差值來(lái)與字幕的視差值進(jìn)行對(duì)比。這里利用SAD算法來(lái)得到立體圖像對(duì)的視差圖。SAD算法是以左目圖像的源匹配點(diǎn)為中心，定義一個(gè)窗口，統(tǒng)計(jì)其窗口的灰度值的和，然后在右目圖像中逐步計(jì)算其左右窗口的灰度和的差值，最后搜索到的差值最小的區(qū)域的中心像素，即為匹配點(diǎn)。

由SAD匹配算法得到的視差圖可能含有一些需要被消除的孤立噪聲，如圖5b中的白點(diǎn)。可以用中值濾波來(lái)處理這些噪聲。圖5為未進(jìn)行濾波和進(jìn)行了濾波的視差圖的比較。在使用中值濾波時(shí)，相對(duì)大的窗口選擇會(huì)使圖像內(nèi)容變得更連貫，所以對(duì)于插入的3D字幕來(lái)說(shuō)，為了使字幕在場(chǎng)景中的遮擋關(guān)系具有連貫性，往往選擇比較大的窗口進(jìn)行中值濾波。

圖5 測(cè)試圖、視差圖與濾波后的視差圖

圖5a，5b，5c分別為原始的測(cè)試圖、由SAD算法的到的視差圖、經(jīng)過(guò)中值濾波后的視差圖。經(jīng)過(guò)濾波后的視差圖中景物的灰度值變化連貫，適合添加3D字幕，保證字幕與景物遮擋關(guān)系的連貫性。

2.2.2 去除被遮擋字幕的圖像修復(fù)

圖像修復(fù)是指對(duì)受到損壞的圖像進(jìn)行修復(fù)或者去除圖像中的多余物體［9］。圖像修復(fù)者需要采取最恰當(dāng)?shù)姆椒ɑ謴?fù)圖像的原始狀態(tài)，同時(shí)保證圖像達(dá)到最理想的藝術(shù)效果。本文根據(jù)上面得到的濾波后的視差圖，將場(chǎng)景視差值與字幕的視差值進(jìn)行對(duì)比，然后對(duì)已添加立體字幕的左右圖像對(duì)進(jìn)行圖像修復(fù)。結(jié)合公式(2)、(4)與圖4，可以得到視差與深度的關(guān)系，字幕會(huì)遮擋住深度大于它的場(chǎng)景，也就是字幕會(huì)遮擋住視差值大于字幕視差的場(chǎng)景。對(duì)已經(jīng)進(jìn)行字幕立體實(shí)現(xiàn)的圖像以原始視差圖為基準(zhǔn)進(jìn)行視差值的搜索，對(duì)于景物遮擋住字幕的區(qū)域需要進(jìn)行圖像修復(fù)，以讓景物遮擋住字幕。這里本文將所需修復(fù)的區(qū)域用原圖的像素點(diǎn)來(lái)替代，得到結(jié)果圖。

圖6為去字幕后的紅藍(lán)效果圖與它的視差圖，圖6a為對(duì)圖3a進(jìn)行增強(qiáng)實(shí)現(xiàn)的效果，在圖中，部分字幕被場(chǎng)景中蜻蜓的翅膀和木柱所遮擋住，而在它的視差圖圖6b中，蜻蜓翅膀和木柱的灰度值較大，它們遮擋住了字幕，而字幕遮擋住了灰度值最小的背景。經(jīng)過(guò)去除遮擋字幕的圖像修復(fù)，在圖中字幕區(qū)域里，字幕與場(chǎng)景的灰度值都呈現(xiàn)了正常的遮擋關(guān)系，沒(méi)有錯(cuò)誤遮擋的現(xiàn)象。

3 實(shí)驗(yàn)結(jié)果

圖7是通過(guò)本文介紹的方法添加3D字幕的的實(shí)驗(yàn)結(jié)果左右雙目圖。圖6a為圖7的紅藍(lán)立體圖。圖中蜻蜓的翅膀和木樁的負(fù)視差絕對(duì)值大于字幕的負(fù)視差絕對(duì)值，據(jù)圖4可得它們相對(duì)于字幕隔觀看者更近，所以翅膀和木樁會(huì)遮擋住字幕。戴上3D眼鏡觀看圖6a，除了會(huì)看到字幕的立體效果外，還能看到蜻蜓和木樁遮擋住字幕，位于字幕前的立體效果。

4 總結(jié)

圖7 本實(shí)驗(yàn)的左右雙目圖

本文提出了一種在3D圖像中插入立體字幕的新的方法。首先將字幕以一定的負(fù)視差添加到左右視圖上，使字幕產(chǎn)生立體效果，然后考慮到遮擋和視差的關(guān)系是避免視覺(jué)不適的關(guān)鍵因素，通過(guò)對(duì)比3D字幕的視差與景物的視差，確定字幕與景物的遮擋關(guān)系，并進(jìn)行圖像修復(fù)，將3D字幕融入到圖像的場(chǎng)景中，得到字幕與場(chǎng)景虛實(shí)結(jié)合的圖像。這種插入3D字幕的技術(shù)還可以用于在3D電視中插入圖標(biāo)、選單等內(nèi)容，能夠有利于觀眾更真實(shí)地觀看顯示的3D效果。

［1］中關(guān)村在線.未來(lái)是3D時(shí)代?細(xì)數(shù)3D技術(shù)的發(fā)展［EB/OL］.［2012－01－01］.http://vga.zol.com.cn/175/1759743.html.

［2］BLONDE L，DOYEN D，BOREL T.3D stereo rendering challenges and techniques［C］//Proc.44th Conference on Information Sciences and Systems.Princeton:IEEE Press，2010:1－6.

［3］RODRIGO J A，JIMENEZ D，MENENDEZ J M.Real－time 3－D HDTV depth cue conflict optimizatio［C］//Proc.IEEE 2011 International Conference on Consumer Electronics.Berlin:IEEE Press，2011:5－9.

［4］王愛(ài)華，王瓊?cè)A.光柵式自由立體顯示器概述［J］.現(xiàn)代顯示，2009(10):14－17.

［5］梁麗，禇晶輝，張小佩，等.一種3D視頻中立體字幕疊加技術(shù)［J］.電視技術(shù)，2011，35(20):32－34.

［6］奕悅.3D 電視踏上征途［EB/OL］.［2012－04－01］.http://www.zongyiweekly.com/list0215576.html.

［7］DRASCIC D，MILGRAM P.Perceptual issues in augmented reality［C］//Proc.SPIE，Stereoscopic Displays VII and Virtual Systems III:vol 2653.California:SPIE Press，1996:123－143.

［8］DE SILVA V，F(xiàn)ERNANDO A，WORRALL S，et al.Sensitivity analysis of the human visual system for depth cues in stereoscopic 3－D displays［J］.IEEE Trans.Multimedia，2011，13(3):498－506.

［9］ANUPAM，GOYAL P，DIWAKAR S.Fast and enhanced algorithm for exemplar based image inpainting［C］//Proc.Fourth Pacific－Rim Symposium on Image and Video Technology.［S.l.］:IEEE Press，2011:325－330.