基于多角度分割的360全景圖的顯著性檢測(cè)

蘇 群，林春雨，趙 耀，李雅茹，劉美琴

?

基于多角度分割的360全景圖的顯著性檢測(cè)

蘇 群1,2，林春雨1,2，趙 耀1,2，李雅茹1,2，劉美琴1,2

(1. 北京交通大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院信息所，北京 100044； 2. 現(xiàn)代信息科學(xué)與網(wǎng)絡(luò)技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100044)

與常規(guī)2D圖像不同，360全景圖包含當(dāng)前空間的全部視覺信息，因而在視頻監(jiān)控和虛擬現(xiàn)實(shí)等領(lǐng)域有著廣泛的應(yīng)用，然而用戶在某一時(shí)刻只能觀看到一定的視角，因此，360全景圖的顯著性區(qū)域檢測(cè)對(duì)于視角預(yù)測(cè)至關(guān)重要。為此，提出了多角度分割的360全景圖的顯著性檢測(cè)。首先將全景圖進(jìn)行多角度分割，將分割結(jié)果分別投影到立方體上以去除一定畸變；然后對(duì)每個(gè)立方體面通過稠密稀疏重建進(jìn)行顯著性計(jì)算；最后再將每個(gè)面的顯著圖投影到經(jīng)緯映射方式的矩形上，進(jìn)行多角度融合以獲得最終的顯著圖。通過人工標(biāo)注的全景圖顯著區(qū)域進(jìn)行實(shí)驗(yàn)對(duì)比，結(jié)果表明該算法可以準(zhǔn)確檢測(cè)出360全景圖的顯著區(qū)域，并優(yōu)于當(dāng)前先進(jìn)算法。

360全景圖；顯著性檢測(cè)；多角度分割；稠密重構(gòu)誤差；稀疏重構(gòu)誤差

視覺顯著性與生物系統(tǒng)獨(dú)特的感知機(jī)制有關(guān)，使場(chǎng)景中的某個(gè)區(qū)域脫穎而出，引起人們的注意。而人眼所固有的強(qiáng)大能力是迅速捕捉場(chǎng)景中最明顯的區(qū)域，并將其傳遞到高層次的視覺皮層，這種注意選擇機(jī)制大大降低了視覺分析的復(fù)雜性，從而使人類視覺系統(tǒng)在復(fù)雜場(chǎng)景中識(shí)別物體的效率顯著提高。許多生物學(xué)上的模型已經(jīng)用來解釋人類和動(dòng)物的認(rèn)知過程。高效顯著性檢測(cè)在許多計(jì)算機(jī)視覺任務(wù)中起著重要的預(yù)處理作用，包括圖像分割、圖像分類、目標(biāo)識(shí)別與檢測(cè)、圖像壓縮等。

以往關(guān)于顯著性檢測(cè)的研究主要集中在傳統(tǒng)圖像上?，F(xiàn)有的顯著性大多采用對(duì)比機(jī)制，主要分為全局對(duì)比和局部對(duì)比。局部對(duì)比度的算法有ITTI等[1]模擬和預(yù)測(cè)人類對(duì)圖像的視覺定位研究；RAHTU等[2]通過測(cè)量整個(gè)圖像上的滑動(dòng)窗口的中心-周圍對(duì)比度進(jìn)行顯著性檢測(cè)。全局對(duì)比的算法有CHENG等[3]提出的基于空間加權(quán)特征差異的全局對(duì)比度顯著性算法；BORJI和ITTI[4]提出全局顯著性計(jì)算與整個(gè)場(chǎng)景中出現(xiàn)的區(qū)域概率成反比。ACHANATA等[5]的頻譜殘差法基于全局對(duì)比度，通過分析頻域中顯著區(qū)域的特征建立一幅顯著圖。文獻(xiàn)[6]則用稠密稀疏重構(gòu)(dense and sparse reconstruction，DSR)進(jìn)行顯著性檢測(cè)，首先利用簡(jiǎn)單線性迭代聚類(simple linear iterative clustering，SLIC)算法對(duì)彩色圖像進(jìn)行多尺度分割，并取圖像邊界的超像素作為背景集；接著對(duì)每個(gè)超像素計(jì)算稠密、稀疏重構(gòu)誤差；然后，對(duì)上述兩個(gè)重構(gòu)誤差利用均值聚類的方法進(jìn)行了基于上下文的平滑處理；最后，用貝葉斯準(zhǔn)則和高斯模型進(jìn)行多尺度融合，得到了一個(gè)全分辨率的顯著圖。

上述顯著性算法主要針對(duì)傳統(tǒng)圖像，但隨著VR技術(shù)的快速發(fā)展，360全景圖廣泛應(yīng)用在各個(gè)領(lǐng)域。比如，旅游景區(qū)的360全景展示，用戶足不出戶，帶上頭戴設(shè)備HMD (head mount display)可觀看整個(gè)場(chǎng)景空間的所有圖像信息，身臨其境。但通過HMD觀看360全景圖時(shí)，如何能快速定位到感興趣區(qū)域呢？因此，獲取全景圖的視覺注意力機(jī)制變得越來越重要。與傳統(tǒng)圖像相比，全景圖的分辨率更高，寬度是高度的2倍；一個(gè)典型的全景圖像包括天空、山、水、地面等幾個(gè)均勻的背景區(qū)域且分布水平細(xì)長(zhǎng)，以及多個(gè)不同特征和尺寸的前景物體，并任意分布在圖像中[7]。目前大多數(shù)全景圖是以2:1的平面矩形圖[8](equi-rectangular projection，ERP)存儲(chǔ)和展現(xiàn)的(圖1)，其本質(zhì)是將球面圖的上下兩極拉伸成圓柱體，然后展開成平面矩形，但這種投影方式使全景圖上下兩邊發(fā)生畸變，用普通的顯著性算法并不能準(zhǔn)確的檢測(cè)出360全景圖的顯著性。另一種常見的立方體投影(cube)方式，是通過把球面上的點(diǎn)徑向投影到外切球體的立方體的6個(gè)面上(圖2)，然后展開6個(gè)面而獲得的，可有效地去除上下兩邊畸變的影響[9]。綜上，本文提出了一種基于多角度分割的360全景圖的顯著性算法?？紤]到360全景圖沒有邊界，先將360全景圖進(jìn)行多角度切割；并改用立方體映射的方法將全景圖映射到6個(gè)面上，分別對(duì)每個(gè)面處理；DSR采用邊界上的區(qū)域作為背景，但是在全景圖中沒有邊界，本文采支持向量機(jī)(support vector machine，SVM)分類器訓(xùn)練模型來獲取背景集；然后用稠密稀疏重建誤差來計(jì)算顯著性；最后將6個(gè)面的顯著圖重新映射到矩形圖上并進(jìn)行多角度融合獲得最終的顯著圖。

圖1 矩形平面投影示意圖

圖2 立方體投影示意圖

1 方法

本文由以下部分組成：

(1) 360全景圖的多角度分割及立方體映射；

(2) 用SVM分類器訓(xùn)練模型獲取背景集；

(3) 用稠密稀疏重建誤差計(jì)算顯著圖，并多角度融合得到最終的顯著圖；

(4) 為了驗(yàn)證顯著性的準(zhǔn)確性，人工標(biāo)注了20個(gè)真值圖供對(duì)比參考。

1.1 多角度分割及立方體映射

與普通圖像不同，360全景圖通常包括多個(gè)不同特征、不同尺寸的前景目標(biāo)，且分布在圖像的不同區(qū)域。ERP格式的全景圖，其上下邊界有嚴(yán)重畸變，通過立方體映射可以去除畸變的影響；使用多角度切割是因?yàn)槿皥D沒有邊界，對(duì)于一幅ERP格式的全景圖，沿著經(jīng)線切開后，左邊圖像移到右邊，重新拼接形成同一幅全景圖。圖3顯示了多角度分割以及立方體映射的過程。本文將圖3(a)中ERP格式的全景圖從不同角度(如：－90°，90°，180°，0°)切開重組成4種同一場(chǎng)景下的全景圖 (圖3(b))，再將其分別映射到立方體6個(gè)面上。以從180°切開為例(圖3(c))，顯示了立方體的6個(gè)面。

圖3 多角度切割及立方體映射

1.2 背景模型

1.3 重構(gòu)誤差的顯著性度量

本文的顯著性檢測(cè)是基于上述背景模型的稠密稀疏重構(gòu)誤差估計(jì)的過程。稀疏表示在過去近20年來主要應(yīng)用于信號(hào)處理方面，其本質(zhì)是構(gòu)建一個(gè)超完備字典，用字典中的基函數(shù)來線性表示信號(hào)樣本，目的是盡可能用較少的元素來獲取信號(hào)中包含的信息。近年來，其在計(jì)算機(jī)視覺中也有廣泛應(yīng)用，在圖像處理中，可以理解為任何圖像都能被有限個(gè)自然圖像塊線性表示。但稀疏表示在計(jì)算顯著性時(shí)存在一些不足[3]。例如，部分前景會(huì)被分割到背景集中，是因?yàn)榍熬澳繕?biāo)出現(xiàn)在了圖像的邊界處，而此時(shí)，若用該背景集對(duì)前景目標(biāo)進(jìn)行稀疏表示，會(huì)由于已經(jīng)包含了部分前景，從而使得重構(gòu)誤差變小，顯著性接近于0，將該前景誤檢測(cè)成背景；同樣，其他部分的顯著精度也會(huì)降低；如圖4(b)的第二行第一個(gè)圖，部分前景目標(biāo)未能檢測(cè)出來；而稠密表示是在特征空間中對(duì)背景集建模，從而計(jì)算重構(gòu)誤差，但由于背景集有限，在進(jìn)行顯著性計(jì)算時(shí)會(huì)產(chǎn)生較大的誤差，如圖4(b)第一行第一個(gè)圖，受背景影響較大，但能很好地處理位于圖像邊界處的前景目標(biāo)?？偟膩碚f，稀疏重構(gòu)誤差對(duì)于處理復(fù)雜的背景更加魯棒，而稠密重建誤差能更精確地處理圖像邊界處的分塊，稠密稀疏重建誤差在測(cè)量顯著性方面是相輔相成的。因此，本文用稠密稀疏表示來重建誤差。

首先根據(jù)上述的背景集構(gòu)造背景字典，基于背景字典重建所有圖像區(qū)域，分別用稠密和稀疏表示，將各個(gè)圖像分塊投影在背景字典上，并獲得重建系數(shù)，然后計(jì)算該系數(shù)下的重構(gòu)誤差，最后將重建誤差歸一化到[0，1]的范圍。

對(duì)于稠密重構(gòu)誤差的計(jì)算，基于背景模型的重建誤差較大的分塊更有可能為前景。本文用主成份分析(principal component analysis，PCA)對(duì)背景模型= [1,2,3,···,b]，R×進(jìn)行降維提取主要特征，計(jì)算其特征向量=[1,2,3,···,U]，稠密重構(gòu)誤差為

稀疏重構(gòu)誤差，則利用基于稀疏表達(dá)的分類(sparse representation based classifier，SRC)的基本原理，以背景樣本集為字典對(duì)超像素進(jìn)行稀疏重構(gòu)，其重構(gòu)公式為

在已獲得2個(gè)重構(gòu)誤差的基礎(chǔ)上，采取第一步的處理，如圖4(b)所示，用均值聚類算法對(duì)所得的顯著圖進(jìn)行基于上下文的誤差傳播機(jī)制處理，然后對(duì)特征空間中的相鄰區(qū)域加權(quán)均值處理，采用多尺度分割超像素及重建誤差，通過高斯模型來獲得像素級(jí)的顯著性，最后得到6個(gè)面的全分辨率的顯著圖，如圖4(c)所示。接下來第二步處理，由于用戶觀看全景視頻時(shí)，每個(gè)面被看到的概率不一樣，因此，本文先對(duì)每個(gè)面的顯著圖通過顯著部分在該面上的的面積占比與該顯著圖的最大最小值的差的歸一化加權(quán)求權(quán)重。具體如下：

(2) 得到每個(gè)面的權(quán)重后，把每幅圖的6個(gè)面按權(quán)重比例重新映射成ERP格式的全景圖，最后，將同一場(chǎng)景的4種顯著圖重組成從0°切開的圖像顯示，并求平均得到最終的顯著圖(圖5)。觀看全景圖時(shí)，圖片內(nèi)容一定程度上決定了用戶的觀看視角，即每個(gè)區(qū)域被看到的概率不相等，在不同分割情況下的觀看情況也不一樣，若有歷史的頭部運(yùn)動(dòng)數(shù)據(jù)，則可根據(jù)歷史數(shù)據(jù)建立模型得出每種分割情況的觀看權(quán)重，然后根據(jù)各自的權(quán)重去融合，本文方法和數(shù)據(jù)集中沒有歷史頭部數(shù)據(jù)問題，此時(shí)平均法是最簡(jiǎn)單有效的方案。現(xiàn)有的顯著性算法大多認(rèn)為前景目標(biāo)位于圖像中間，用傳統(tǒng)的顯著性算法處理全景圖的6個(gè)面，通過立方體投影到全景圖后會(huì)產(chǎn)生明顯的邊界效應(yīng)，而通過多角度融合，可以較好地平滑邊界處的灰度值。

圖4 顯著性檢測(cè)過程圖

2 實(shí)驗(yàn)結(jié)果

2.1 實(shí)驗(yàn)細(xì)節(jié)

為了尋求一個(gè)最優(yōu)的多角度分割，本文對(duì)20張全景圖在不同分割次數(shù)下進(jìn)行實(shí)驗(yàn)，其中，分割次數(shù)分別為=1、2、4、6、8、10，得到的顯著圖為Sal(=1，2，4，6，8，10)，然后計(jì)算出人工標(biāo)注的真實(shí)值與實(shí)驗(yàn)結(jié)果的差值并求出每個(gè)像素的平均差值。差值越小，說明顯著圖與人工標(biāo)注越接近，則該分割次數(shù)下得到的結(jié)果更精確。統(tǒng)計(jì)結(jié)果如圖6所示，分割次數(shù)為4的時(shí)候差值最小，約為26.2，可以計(jì)算出平均每個(gè)像素的準(zhǔn)確率為0.897 (1–26.2/255=0.897)，因此，本文將全景圖從4種不同角度分割。

圖5 合成顯著圖

圖6 分割尺度統(tǒng)計(jì)結(jié)果圖

將立方體映射后的6個(gè)面對(duì)應(yīng)到2:1的平面圖上后，大概位置如圖7所示。圖中的U(up)、D(down)、L(left)、F(front)、R(right)、B(back)分別對(duì)應(yīng)立方體的上、下、左、前、右和后邊。藍(lán)色邊界及藍(lán)色字體表示分割前；紅色邊界及紅色字體表示分割重組后?？梢杂^察到，當(dāng)進(jìn)行4種不同角度分割時(shí)，沿著第一條虛線切開后，重新拼到圖像的右邊，位于原來邊界上的目標(biāo)A經(jīng)過分割重組后位于R面的中央，因此，通過顯著性檢測(cè)后的多角度融合可以有效去除邊界的影響。若分割次數(shù)過多，會(huì)造成過多的冗余，而且計(jì)算成本大。綜合來看，從4種不同角度分割最適宜。

圖7 分割前后對(duì)比圖

2.2 評(píng)價(jià)指標(biāo)

顯著性的實(shí)驗(yàn)結(jié)果評(píng)估，包括正確率(Precision)-召回率(Recall)以及值(-measure)。其中，Precision的值表示檢測(cè)出的正確顯著像素占提取出的所有區(qū)域的像素的比例，Recall的值表示檢測(cè)出的正確顯著像素占標(biāo)準(zhǔn)顯著圖中所有應(yīng)被檢測(cè)出的像素的比例，PR曲線表明，對(duì)于不同的二值顯著性閾值(0-255)，該實(shí)際顯著圖與標(biāo)注數(shù)據(jù)(Ground Truth)的吻合程度如何。正確率(Precision)- 召回率(Recall)定義為

2.3 比較

本文從網(wǎng)上搜集了20張360全景圖，并進(jìn)行了人工標(biāo)注。為了驗(yàn)證本文算法的有效性，把本文的方法與FT[5]、SR[12]、SIM[13]、CA[14]、HC[3]、GC[15]、SDSP[16]和DSR[6]等算法做了比較。圖8是PR曲線圖，最上邊紅色的曲線是本文的方法，可以看出，本文的方法對(duì)360全景圖顯著性檢測(cè)的優(yōu)越性，比現(xiàn)有的顯著性檢測(cè)方法具有更高的正確率和召回率。圖9顯示了以上方法的-measure對(duì)比，可以看出，本文提出的方法比其他方法有更高的-measure值，說明本文算法的精度最高。圖10是主觀的展示了以上方法的視覺對(duì)比效果，可以直觀的看出本文的顯著性算法更有效。

圖8 PR曲線

圖9 F-measure對(duì)比圖

圖10 顯著性圖的視覺對(duì)比效果

3 結(jié) 論

本文主要貢獻(xiàn)有：①引入多角度分割和立方體映射；②利用SVM分類器建立背景集，同時(shí)引入新的顏色特征，采用Lab和RGB的平均顏色特征以及最大、最小、平均灰度值表示每個(gè)超像素，即={,,,,,,,,}；③進(jìn)行立方體逆映射及多角度融合。

本文提出了一種基于多角度分割的360全景圖的顯著性檢測(cè)算法。首先將360全景圖進(jìn)行多角度切割，將其分別投影到立方體上，去除畸變；再對(duì)每個(gè)面通過稠密稀疏重建計(jì)算顯著性，最后再將每個(gè)面的圖片投影到矩形上，進(jìn)行多角度融合。實(shí)驗(yàn)結(jié)果表明，本文提出的顯著性檢測(cè)算法更適用于360全景圖，與現(xiàn)有的顯著性方法相比較，本文算法有更高的正確率、召回率以及F-measure值。

[1] ITTI L, KOCH C, NIEBYR E. A model of saliency- based visual attention for rapid scene analysis [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11): 1254-1259.

[2] RAHTU E, KANNAL J, SALO M, et al. Segmenting salient objects from images and videos [C]//European Conference on Computer Vision. Berlin: Springer, 2010: 366-379.

[3] CHENG M M, ZHANG G X，MITRA N J, et al. Global contrast based salient region detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 569-582.

[4] BORJI A, ITTI L. Exploiting local and global patch rarities for saliency detection[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2012: 478-485.

[5] ACHANATA R, HEMAMI S, ESTRADA F, et al. Frequency-turned salient region detection [C]//IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2009: 1597-1604.

[6] LI X H, LU H C, ZHANG L H, et al. Saliency detection via dense and sparse reconstruction[C]//IEEE International Conference on Computer Vision (ICCV). New York: IEEE Press, 2013: 2976-2983.

[7] ZHU C B, HUANG K, LI T H. Automatic salient object detection for panoramic images using region growing and fixation prediction model[EP/OL]. [2018-02-10]. http://cn.arxiv.org/abs/1710.04071.

[8] VISHWANATH B, NANJUNDASWANY T, ROSE K. Rotational motion model for temporal prediction in 360 video coding [C]//IEEE 19th International Workshop on Multimedia Signal Processing (MMSP). New York: IEEE Press, 2017: 1-6.

[9] 董振江, 張東卓, 黃成, 等. 虛擬現(xiàn)實(shí)視頻處理與傳輸技術(shù)[J]. 電信科學(xué), 2017, 33(8): 45-52.

[10] LI Z H, TANG J H. Weakly supervised deep matrix factorization for social image under- standing [J]. IEEE Transactions on Image Processing, 2017, 26(1): 276-288.

[11] LI Z C, TANG J H. Unsupervised feature selection via nonnegative spectral analysis and redundancy control [J]. IEEE Transactions on Image Processing, 2015, 24(12): 5343-5355.

[12] HOU X D, ZHANG L Q. Saliency detection: a spectral residual approach [C]//IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2007: 1-8.

[13] RUBINSTEIN M, JOULIN A, KOPF J, et al. Unsupervised joint discovery and segmentation in internet images [C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2013: 1939-1946.

[14] GOFERMAN S, ZELNIK-MANOR L, TAIL A. Context-aware saliency detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(10): 1915-1926.

[15] CHENG M M, WARRELLJ, LIN W Y, et al. Efficient salient region detection with soft image abstraction [C]// IEEE International Conference on Computer Vision (ICCV). New York: IEEE Press, 2013: 1529-1536.

[16] SEO H J, MILANFAR P. Static and space-time visual saliency detection by self-resemblance [J]. Journal of Vision, 2009, 9(12): 15-15.

Salient Detection of 360 Panorama Based on Multi - Angle Segmentation

SU Qun1,2, LIN Chunyu1,2, ZHAO Yao1,2, LI Yaru1,2, LIU Meiqin1,2

(1. Institute of Information Science, Beijing Jiaotong University, Beijing 100044, China; 2. Beijing Key Laboratory of Advanced Information Science and Network, Beijing 100044, China)

Unlike conventional 2D images, 360 panorama contains all the visual information of the current space, so it has a wide range of applications in video surveillance and virtual reality. However, a certain angle is available at a certain time. Therefore, the significant region detection of the 360 panorama is very important to visual angle prediction. To solve this problem, we propose a multi-angle segmentation based 360 panoramic image saliency detection. Firstly, the panoramic images are cut at multiple angles, and the segmentation results are projected to the cube to remove certain distortion. Then, the salient calculation is conducted for each cube surface through dense and sparse reconstruction. Finally, the saliency images of each surface are projected to the rectangular of the warp and weft mapping, and multi-angle fusion is made to obtain the final salient figure. The results of the 360 panorama test by manual annotation show that the algorithm can accurately detect the saliency and is better than the other methods for the saliency detection of the 360 panorama.

360 panorama; saliency detection;multi-angle segmentation; dense reconstruction error; sparse reconstruction error

TN919.81

10.11996/JG.j.2095-302X.2018061055

A

2095-302X(2018)06-1055-07

2018-04-16；

2018-07-24

國(guó)家自然科學(xué)基金項(xiàng)目(61772066)；中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金項(xiàng)目(2018JBM011)

蘇 群(1993-)，女，山西運(yùn)城人，碩士研究生。主要研究方向?yàn)槎嗝襟w處理。E-mail：16125146@bjtu.edu.cn

林春雨(1979-)，男，遼寧綏中人，副教授，博士。主要研究方向?yàn)槎嗝襟w信息處理。E-mail：16125146@bjtu.edu.cn