觀看經(jīng)度聯(lián)合加權(quán)全景圖顯著性檢測算法

孫耀，陳純毅，胡小娟，李凌，邢琦瑋

長春理工大學計算機科學技術(shù)學院，長春 130022

0 引 言

人類視覺系統(tǒng)(human vision system，HVS)的注意機制具有選擇性，即面對一個場景時，HVS會自動選擇在視覺上顯著的區(qū)域，而忽略不顯著的區(qū)域。在進行圖像壓縮時，對顯著性不高的圖像區(qū)域使用更高壓縮比不會對HVS感知到的圖像質(zhì)量造成明顯影響。全景圖像能提供“水平360°+豎直180°”視場范圍內(nèi)的視覺畫面，在沉浸感虛擬現(xiàn)實(virtual reality，VR)領(lǐng)域得到大量應用。與傳統(tǒng)的圖像相比，全景圖像具有一些獨特的特征，例如極高的分辨率，某些全景圖像的分辨率高達18 000×9 000像素，這使得全景VR畫面內(nèi)容的存儲和傳輸成為一個難題(Zhu等，2018)。通過對全景圖像進行顯著性檢測，確定不同圖像區(qū)域被HVS關(guān)注到的可能性大小，并據(jù)此在確保全景畫面視覺感知質(zhì)量的基礎(chǔ)上進一步提高壓縮效果成為當前的一個研究熱點。

針對全景圖像的顯著性檢測，現(xiàn)有研究主要分為以下兩個方向：1)針對全景圖改進的傳統(tǒng)顯著性檢測算法，主要方法為先改變投影方式，再進行顯著性檢測；2)針對深度學習的全景圖顯著性檢測算法，使用神經(jīng)網(wǎng)絡(luò)提取圖像特征，進行顯著性檢測。

目前針對全景圖顯著性檢測的研究已經(jīng)取得了一定成果(Carrasco，2011)。在改進的傳統(tǒng)算法中，Lebreton和Raake(2018)首先提取圖像中的相關(guān)特征，再進行激活，處理特征中的新穎性，然后進行標準化，加入赤道先驗，最后聚合所有歸一化的激活特征匯總在一起，獲得最終顯著性圖。Ding等人(2018)通過提取視口域中的空間頻率信息并計算整個全景圖像的空間中心信息，獲得顯著性檢測的視覺頻率特征，再將用戶觀看行為的上下文與視覺頻率功能集成在一起，最后融合用戶觀看模式來預測最終的顯著性圖。Ling等人(2018)提出一種基于稀疏表示和人類敏感度加權(quán)的中央周邊差的顯著性預測模型，首先使用自然彩色圖像訓練出顏色字典，然后將圖像分塊，計算圖像塊之間的顏色差異并用人類視覺敏感度加權(quán)，再加入赤道偏倚，計算得到顯著性。赤道偏倚如圖1所示。Battisti等人(2018)從全景圖像中抽取視口，然后通過分析視口中的低級語義特征估計視覺注意力，再使用加權(quán)窗口模擬觀看行為，權(quán)重在赤道部分設(shè)為1，靠近兩極時逐漸減小，最終變?yōu)?.25，最后使用低通濾波并歸一化。De等人(2017)通過使用眼動儀收集視口中心軌跡，將收集的數(shù)據(jù)轉(zhuǎn)換為顯著性圖，再加入赤道偏置，采用融合顯著性圖(fused saliency maps，F(xiàn)SM)后處理方法，得到顯著性圖像。在深度學習算法中，Chao等人(2018)提出基于SalGAN(saliency generative adversarial networks)的SalGAN360網(wǎng)絡(luò)，估計并融合全景圖像的局部和全局顯著性分布，引入考慮更多評估指標的新?lián)p失函數(shù)，以微調(diào)網(wǎng)絡(luò)中的圖層，優(yōu)化其在全景圖像中的性能。Martin等人(2020)提出一種類似生物醫(yī)學圖像分割的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)體系結(jié)構(gòu)U-Net，該網(wǎng)絡(luò)包括編碼器和解碼器。編碼器層由兩個卷積塊組成，解碼器層由3個卷積塊組成。每個卷積塊均由卷積層、批處理歸一化層和ReLU激活函數(shù)組成。每個編碼器和解碼器相似層都包括跳過連接，以加速顯著性預測過程。

圖1 赤道偏倚分布Fig.1 Equator bias distribution

在各種算法中，對于全景圖像的位置特性問題，都只研究了緯度對全景圖顯著性檢測的影響，例如加入赤道偏倚。然而，當人觀看全景圖像時，視場角有限，只能看到位于當前視口內(nèi)的畫面，使得不同經(jīng)度位置的顯著性有很大差異，這一重要特性并沒有得到重點關(guān)注，導致預測出的顯著區(qū)域往往不夠準確。為解決上述問題，本文以全景圖的經(jīng)度位置特性為出發(fā)點，提出觀看經(jīng)度聯(lián)合加權(quán)全景圖顯著性檢測方法。首先，使用空間顯著性預測網(wǎng)絡(luò)(Zhang和Chen，2019)與赤道偏倚得到初步預測的顯著性圖像。然后，利用數(shù)據(jù)集(Gutiérrez等，2018；Rai等，2017)中的顯著性參考圖像(主觀試驗測得)計算注視點經(jīng)度權(quán)重，用于模擬人觀察全景圖時的行為習慣。最后，通過提取全景圖的亮度與深度特征，計算不同視口觀看概率與每個經(jīng)度的注視權(quán)重，得到不同視口經(jīng)度權(quán)重，將其應用于顯著性圖像預測，得到最終的顯著性檢測結(jié)果。

1 算法原理與實現(xiàn)

使用空間顯著性預測網(wǎng)絡(luò)和赤道偏倚得到初步的顯著性圖像，然后使用觀看經(jīng)度聯(lián)合加權(quán)算法改善經(jīng)度上的權(quán)重。觀看經(jīng)度聯(lián)合加權(quán)算法的核心包括注視點經(jīng)度加權(quán)和不同視口經(jīng)度加權(quán)兩部分。注視點經(jīng)度加權(quán)首先使用數(shù)據(jù)集中的顯著性參考圖像得到注視點經(jīng)度權(quán)重，然后用該權(quán)重通過初始注視點經(jīng)度加權(quán)和注視轉(zhuǎn)移經(jīng)度加權(quán)，將觀察者觀看全景圖的行為習慣與全景圖顯著性圖像結(jié)合。不同視口經(jīng)度加權(quán)首先將全景圖重新投影，按經(jīng)度劃分為4個視口，再以深度和亮度為特征計算不同視口的觀看概率與每個經(jīng)度的觀看概率，并將二者結(jié)合得到不同視口經(jīng)度權(quán)重。最后通過兩次加權(quán)得到最終預測的顯著性圖像。本文算法流程如圖2所示。

圖2 算法流程示意圖Fig.2 Flowchart of our algorithm

1.1 注視點經(jīng)度加權(quán)

與赤道偏倚相似，由于人類的觀察習慣并非全景圖圖像本身，因此全景圖的顯著性在經(jīng)度上也存在位置特征引起的顯著性差異，本文將其稱為注視點經(jīng)度加權(quán)。

1.1.1 注視點經(jīng)度加權(quán)

查看數(shù)據(jù)集可以發(fā)現(xiàn)，絕大多數(shù)圖像中不同經(jīng)度位置的顯著性都大不相同。受此啟發(fā)，本文分析了全景圖像中人眼注視的權(quán)重。使用法國南特大學提供的Salient360!數(shù)據(jù)集的訓練圖像，首先將原始全景圖像與顯著性參考圖像對比，發(fā)現(xiàn)人眼注視分布在不同經(jīng)度上存在很大差異。然后讓觀察者在佩戴頭戴式頭盔觀看數(shù)據(jù)集中的全景圖，發(fā)現(xiàn)觀察者傾向于先觀察眼前的圖像一段時間，然后再觀看其他部分。如果眼前的圖像中有顯著區(qū)域，觀看時間則容易變得非常長。圖3展示了數(shù)據(jù)集中的兩個樣本，為使效果清晰，將初始觀看區(qū)域的中心平移到了圖像的中間位置，同時給出了這些全景圖經(jīng)度上的人眼注視權(quán)重曲線。可以發(fā)現(xiàn)，顯著性在經(jīng)度上存在類似高斯分布的分布現(xiàn)象。

圖3 全景圖及對應的顯著性參考圖像與注視經(jīng)度權(quán)重曲線Fig.3 Panoramic images and reference saliency maps and fixation weight graphs((a)panoramic images；(b)reference saliency images；(c)fixation weight graphs)

因此，可以得出以下結(jié)論：注視點經(jīng)度加權(quán)產(chǎn)生的原因是觀看一幅全景圖時，最先看到的位置最容易受到更多的注視。這一位置是全景圖像的制作者確定的，本文稱為初始觀察區(qū)域。在初始觀察區(qū)域附近的經(jīng)度范圍受到注視的傾向比較大，越遠離初始觀察區(qū)域，受到的注視越少。

1.1.2 初始注視點經(jīng)度加權(quán)

為了得到注視點經(jīng)度權(quán)重分布，對數(shù)據(jù)集中的顯著性參考圖像的每個經(jīng)度的顯著性值相加，再求平均值并規(guī)范化到[0,1]范圍。初始注視點經(jīng)度權(quán)重分布如圖4所示。

圖4 初始注視點經(jīng)度權(quán)重分布Fig.4 Prime attention longitude weight map

圖5 經(jīng)度差示意圖Fig.5 Image of longitude deviation

為了將注視點經(jīng)度權(quán)重與顯著性圖像相結(jié)合，首先平移注視點經(jīng)度權(quán)重，將注視點經(jīng)度權(quán)重中經(jīng)度的中心與全景圖的初始觀看區(qū)域的中心對齊，如圖6所示。然后對顯著性圖像進行初始注視點經(jīng)度加權(quán)，即初始注視點經(jīng)度權(quán)重與顯著性圖像的顯著性值相乘，即

圖6 初始注視點經(jīng)度加權(quán)Fig.6 Prime attention longitude weighting

s1=s0×Wl

(1)

式中，s1為加權(quán)后所得顯著性，s0為神經(jīng)網(wǎng)絡(luò)算法結(jié)合赤道偏倚得到的初始顯著性，Wl為對應像素點的初始注視點經(jīng)度權(quán)重。最后通過實驗，將Wl的范圍設(shè)置為不同值并預測顯著性，統(tǒng)計得到最佳范圍。

1.1.3 注視轉(zhuǎn)移經(jīng)度加權(quán)

在制作初始注視點經(jīng)度加權(quán)中的權(quán)重分布圖時，使用了數(shù)據(jù)集中全部顯著性參考圖像的平均值，這可以更好地擬合數(shù)據(jù)集。而第2次加權(quán)時，本文更改了策略，使之更加接近人的觀看行為。為此，刪除了數(shù)據(jù)集中不符合人類觀看習慣的圖像，重新統(tǒng)計出注視轉(zhuǎn)移經(jīng)度權(quán)重分布，如圖7所示。

圖7 注視轉(zhuǎn)移經(jīng)度權(quán)重分布Fig.7 Converted attention longitude weight distribution

圖7中，Δθ′表示像素點所處的經(jīng)度lp與轉(zhuǎn)移后觀看中心所處經(jīng)度lc′的經(jīng)度差。

將轉(zhuǎn)移后的觀察中心與注視轉(zhuǎn)移經(jīng)度權(quán)重分布圖對齊后，對顯著圖像進行注視轉(zhuǎn)移經(jīng)度加權(quán)。計算時鎖定原觀看區(qū)域附近的顯著性，因為這一部分主要由初次加權(quán)決定，幾乎不受二次加權(quán)的影響。操作流程如圖8所示。

圖8 注視轉(zhuǎn)移經(jīng)度加權(quán)Fig.8 Converted attention longitude weighting

具體操作如下：1)找出圖像初始觀看視口外的顯著性最大值。2)如果這個最大值大于閾值λ，則該位置成為新的觀看中心。3)鎖定原觀看區(qū)域處的顯著性。其他部分重新歸一化，進行注視轉(zhuǎn)移經(jīng)度加權(quán)，即

s2=s1×Wl′

(2)

式中，s2為二次加權(quán)后的顯著性，Wl′為對應的注視轉(zhuǎn)移經(jīng)度權(quán)重。由于已經(jīng)經(jīng)歷了初次加權(quán)，二次加權(quán)強度已經(jīng)大幅減弱。因此，調(diào)整注視轉(zhuǎn)移經(jīng)度加權(quán)的范圍即可得到最優(yōu)結(jié)果。

1.2 不同視口經(jīng)度加權(quán)

1.2.1 立方體投影與多角度分割

觀察者觀察全景圖時，看到的是頭戴式頭盔顯示出的一個畫面，本文稱之為一個視口。不同視口之間也必然存在著觀看概率差異(蘇群 等，2018)。

首先，按照一定的方式將全景圖重新投影并分割。本文算法選擇立方體投影方式，如圖9所示。因為立方體投影可以解決EPR(equirectangular projection)格式的全景圖由拉伸導致的嚴重失真問題，而且相較于球面投影等方法，立方體投影的計算量更小(丁穎 等，2019)。

圖9 立方體投影示意圖Fig.9 Cube projection

圖10 視口分割示意圖Fig.10 Viewport segmentation

在經(jīng)度上，截取90°為一個視口，即每個視口的范圍是90° × 60°，共4個視口。多數(shù)可用的360°圖像設(shè)備都將這種大小的視口用做默認選項。

全景圖的一個部分在不同的觀察角度觀看是不同的，只用一種投影方法進行顯著性計算勢必會丟掉許多信息，而圖11所示的雙立方體投影(Maugey等，2017)可以很好地解決這個問題。如圖11所示，從經(jīng)度上的0°開始第1種立方體投影，經(jīng)度平移45°后開始第2種立方體投影。

圖11 雙立方體投影示意圖Fig.11 Double-cube projection

雙立方體投影效果如圖12所示，圖12(a)中的物體斜向于觀察者，表現(xiàn)的是物體處于視口邊緣的情況，圖12(b)中的物體正向于觀察者，對應物體處于視口中心的情況。

圖12 雙立方體投影圖Fig.12 Image of double-cube projection((a)image before translate；(b)image after translate)

1.2.2 特征提取

本文選擇亮度與深度兩種特征作為確定全景圖不同視口經(jīng)度加權(quán)的參數(shù)。實際觀看全景圖并觀察數(shù)據(jù)集的顯著性標注結(jié)果可以發(fā)現(xiàn)，很多圖像中亮度與其他區(qū)域差距大的區(qū)域更吸引人，如圖13中標記出的兩個燈光玩具。

圖13 由亮度特征主導的顯著性圖像Fig.13 A saliency image dominated by brightness((a)panoramic image；(b)reference saliency image)

為求出亮度特征值，首先根據(jù)Ebner(2007)提出的方法將圖像由RGB空間轉(zhuǎn)換到LAB間，相應的轉(zhuǎn)換公式為

(3)

(4)

(5)

式中，r、g、b分別表示圖像RGB通道中R、G、B通道的值。L*為求出的亮度值，A*為由紅色到藍色的顏色值，B*為藍色到綠色的顏色值。將L*歸一化，每個像素點的L*與圖像全部像素點的L*的平均值做差，得到結(jié)果稱為亮度刺激L，即

(6)

傳統(tǒng)2D圖像的顯著性與深度關(guān)系并不緊密，但全景圖像的深度與其顯著性有著密切聯(lián)系。觀察數(shù)據(jù)集可以發(fā)現(xiàn)，很多時候觀察者傾向于將更多的注意力集中在場景較深的部分，或在場景比較廣闊時觀察離自己較接近的部分，如圖14所示，紅色區(qū)域中的汽車離觀察者較遠，其位置集中了大量的注視，而離觀察者較近的，黃色區(qū)域中的汽車卻沒有得到較多注視。此外，深度與顯著性結(jié)合，能夠更好地保持邊界(Shafieyan等，2014)。

圖14 由深度特征主導的顯著性圖像Fig.14 A saliency image dominated by deepness((a)panoramic image；(b)reference saliency image)

對于所需要的圖像深度，使用mrharicot-monodepth2(Godard等，2019)求得。該模型使用深度估計與姿態(tài)估計網(wǎng)絡(luò)的組合預測單幀圖像中的深度，將圖像中某個像素點的深度值與圖像所有像素點的深度的平均值做差，并求絕對值，再歸一化得到深度刺激值D。效果如圖15所示。

圖15 深度圖像Fig.15 Deep image

1.2.3 不同視口觀看概率

由于全景圖顯著性檢測存在赤道偏倚現(xiàn)象，當人觀察全景圖時，傾向于將注意力集中在畫面中間緯度部分，即使是相同的刺激，在不同緯度上給人的感覺也存在差異。因此對處于不同緯度位置的像素點，分配不同的權(quán)重Wb，這里使用數(shù)據(jù)集中顯著性標注參考結(jié)果，統(tǒng)計得出權(quán)重曲線，如圖16所示。

圖16 緯度-30°30°區(qū)間的注視權(quán)重分布Fig.16 Fixation weight distribution in latitude -30°30°

處于不同緯度的像素點，將其刺激值與其對應的注視權(quán)重相乘，即

Fb=Wb×F

(7)

式中，F(xiàn)b為加權(quán)后的亮度或深度刺激值，Wb為該像素所處位置的注視權(quán)重，F(xiàn)為深度或亮度刺激值，具體使用哪種特征由后面的特征選擇決定。

將Fb歸一化到[0，1]范圍，Si為視口i的所有像素點的Fb之和。Pi為視口i的觀看概率。

每個視口觀看概率的計算公式為

(8)

每種視口由雙立方體投影得到兩種不同投影方式，將兩種投影方法所得刺激圖像重新對齊后，將視口中像素點Fb之和較大的投影方式作為該視口顯著性計算時的投影方式，因為這種情況下更多的刺激處于視口中間，刺激被壓縮的情況最少，即Si取兩次投影中結(jié)果較大的一個。

1.2.4 不同視口經(jīng)度加權(quán)

首先求出每一列所有像素點的刺激之和，記為CF，作為該列所在經(jīng)度的人眼注視權(quán)重。

用該權(quán)重與該經(jīng)度所在的視口的觀看概率相乘，得到最終的不同視口經(jīng)度權(quán)重，即

WF=CF×P

(9)

式中，P為該列所在視口的觀看概率，CF為該列所在經(jīng)度的權(quán)重，WF為不同視口經(jīng)度權(quán)重。之后可以計算最終的顯著性，為了保證原結(jié)果的比重，將不同視口經(jīng)度權(quán)重加1。最后進行加權(quán)得到最終結(jié)果，具體計算為

S=s×(1+WF)

(10)

式中，S為最終求出的顯著性結(jié)果，s為注視點經(jīng)度加權(quán)后的結(jié)果，若僅使用初始注視點經(jīng)度加權(quán)，則s=s1。若使用了注視轉(zhuǎn)移經(jīng)度加權(quán)，則s=s2。

1.2.5 特征的選擇

通過使用神經(jīng)網(wǎng)絡(luò)，可以判斷計算不同視口經(jīng)度權(quán)重時使用的最合適的特征。

以全景圖像為輸入數(shù)據(jù)，以T為輸出，具體計算為

(11)

M=max(Lr,Dr,r)

(12)

Syn=NSS+CC+SIM-KLD

(13)

式中，Syn由多種評價指標綜合所得，包括標準化掃描路徑顯著性(NSS)(Peters等，2005)、相關(guān)系數(shù)(CC)(Jost等，2005)、相似度(SIM)(Azam等，2016)以及KL相對熵(KLD)(Tatler等，2005)。Lr和Dr分別為以亮度特征和深度特征進行不同視口經(jīng)度加權(quán)結(jié)合注視點經(jīng)度加權(quán)得到的顯著性圖像的Syn值、r為單獨注視點經(jīng)度加權(quán)得到的顯著性圖像的Syn值，M為三者中的最大值。訓練集輸入為數(shù)據(jù)集中隨機挑選的全景圖像，T為對應的結(jié)果標簽。使用的網(wǎng)絡(luò)為改進的VGG16(Visual Geometry Group network 16-layer)(Simonyan和Zisserman，2014)神經(jīng)網(wǎng)絡(luò)，將訓練輪次設(shè)置為20，如果驗證損失在5個輪次內(nèi)沒有減少，則立即停止訓練。

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)集

數(shù)據(jù)集使用國際多媒體會議暨博覽會2017年Salient360！大型挑戰(zhàn)賽提供的數(shù)據(jù)庫，其中的全景圖像使用相機捕獲，以自由觀看任務(wù)的形式呈現(xiàn)給40位參與者。使用Oculus-DK2作為頭戴式顯示器(head-mounted displays，HMD)，刷新率為75 Hz，每只眼睛的分辨率為960 × 1 080像素，視野為100°。該HMD安裝了眼動儀，可以捕獲60 Hz的眼動數(shù)據(jù)，每幅圖像顯示25 s，呈現(xiàn)圖像之前和之后均顯示5 s的灰色屏幕。實驗中控制初始位置，參加者坐在椅子上，能夠旋轉(zhuǎn)360°自由觀看。實驗使用的數(shù)據(jù)為該實驗結(jié)果中提供的全景圖和與其對應的頭部運動顯著性圖像以及眼球注視點的掃描路徑。

2.2 評價指標

評估指標使用用于眼球注視預測的各種評估指標，包括NSS、CC、SIM和KLD。NSS表示顯著性圖像與掃描路徑的一致性，其值越大表示顯著性結(jié)果越精確；CC的結(jié)果在[0,1]區(qū)間，結(jié)果越趨近于1，與顯著性參考圖像越一致；SIM表示顯著性預測圖像與顯著性參考圖像的相似性，結(jié)果在[0,1]區(qū)間，結(jié)果越趨近于1，與顯著性參考圖像越相似；KLD表示顯著性預測圖像與顯著性參考圖像的差異，其值越小，表示顯著性預測圖像與顯著性參考圖像的差異越小。

2.3 實驗過程與分析

使用空間顯著性網(wǎng)絡(luò)計算出初步的顯著性圖像，加入赤道偏倚進行預處理，得到

s0=s×we

(14)

式中，s為空間顯著性網(wǎng)絡(luò)預測結(jié)果，we為赤道偏倚值，s0為加入赤道偏倚后的結(jié)果。實驗從[0,1]區(qū)間開始，以0.05為單位不斷調(diào)整區(qū)間的最小值，經(jīng)過多次調(diào)整赤道偏倚的范圍，最終得出當赤道偏倚規(guī)范化到[0.2,1]時，可得到最佳結(jié)果。預處理結(jié)束后，逐步進行實驗并進行分析。

2.3.1 消融對比實驗

為了證明注視點經(jīng)度加權(quán)與不同視口經(jīng)度加權(quán)對結(jié)果的影響，設(shè)置了兩組消融對比實驗，分別為：1)未使用注視點經(jīng)度加權(quán)與使用注視點經(jīng)度加權(quán)后的結(jié)果對比；2)未使用不同視口經(jīng)度加權(quán)與使用不同視口經(jīng)度加權(quán)后的結(jié)果對比。

為了方便觀察比較，本文后續(xù)部分將顯著性參考圖像由彩色替換成黑白圖像。注意此時圖像未經(jīng)過平移，初始觀看區(qū)域并不在圖像正中央，而在靠右側(cè)1/4處。

注視點經(jīng)度加權(quán)效果圖如圖17所示?？梢钥闯?，在圖17第2行圖像里，原圖像中都是相似的車輛，圖像的內(nèi)容非常均勻，導致加權(quán)前預測的顯著性圖像也非常均勻。但從顯著性參考圖像可以發(fā)現(xiàn)，實際上顯著性非常集中。這是因為圖像中沒有特別顯著的區(qū)域，觀察者在觀察這幅均勻的圖像時，習慣性地注視了最先看到的位置更長時間。注視點經(jīng)度加權(quán)將這種行為習慣擬合到了顯著圖像上，所以準確度得到了較大提升。由于初始觀察視口外沒有足夠顯著的部分，僅進行了初始注視點經(jīng)度加權(quán)。圖17第1行圖像中的原圖是左右完全對稱的，導致左右兩側(cè)預測的顯著性非常相似。初始注視點經(jīng)度加權(quán)提高了初始觀察區(qū)域位置的顯著性，而注視轉(zhuǎn)移經(jīng)度加權(quán)找到了初始觀察區(qū)域以外的第2個顯著區(qū)域：圖像的中心位置，并對其顯著性進行了提升，而圖像左側(cè)區(qū)域的顯著性在兩次注視點經(jīng)度加權(quán)時都得到了抑制，最終得到了較好的結(jié)果。注視點經(jīng)度加權(quán)在評價指標上的表現(xiàn)如表1所示。

表1 注視點經(jīng)度加權(quán)前后性能對比Table 1 Performance comparison of saliency images before weighting and after weighting

圖17 注視點經(jīng)度加權(quán)效果圖Fig.17 The effect of prime meridian weighting((a)panoramic images;(b)saliency maps before weighting;(c)saliency maps after weighting;(d)reference saliency images)

不同視口經(jīng)度加權(quán)效果圖如圖18所示。可以看出，在圖18第2行圖像中，不同視口經(jīng)度加權(quán)之前預測圖像的顯著性集中在初始觀察區(qū)域附近，忽略了圖像中亮度的作用，除了初始觀察區(qū)域附近，靠中心的小路上和圖像邊緣陽光透過的區(qū)域也有一定的顯著性。而加權(quán)后的顯著性預測得到了以亮度為特征的不同視口經(jīng)度加權(quán)，使這兩個區(qū)域的顯著性得到了提高，最終結(jié)果得到了很好改善。對于圖18中第1行圖像，加權(quán)前已經(jīng)得到了較好結(jié)果，但是經(jīng)過以深度為特征進行不同視口經(jīng)度加權(quán)后，結(jié)果變得更加精確，這是因為顯著區(qū)域的深度較深，該處的顯著性得到了提高，歸一化過程中又削弱了其余位置的顯著性。不同視口經(jīng)度加權(quán)在評價指標上的結(jié)果如表2所示。

表2 不同視口經(jīng)度加權(quán)前后性能對比Table 2 Performance comparison before and after weighting of different viewpoint longtitudes

圖18 不同視口經(jīng)度加權(quán)效果圖Fig.18 The effect of the weighting of different viewports and longitude((a)panoramic images;(b)saliency maps before weighting;(c)saliency maps after weighting;(d)reference saliency images)

2.3.2 算法對比與分析

為了驗證本文算法的有效性，與其他全景圖顯著性算法進行了兩組對比實驗。

第1組實驗挑選了室內(nèi)、室外、廣闊、狹小等不同類型場景的全景圖像，其中還包括同一展覽館內(nèi)遠近不同的圖像。使用本文算法對這些圖像進行顯著性檢測，與Ling等人(2018)提出的基于稀疏表示和人類視力加權(quán)的中心—周圍差異顯著性預測算法(saliency prediction model based on sparse representation and the human acuity weighted center-surround differences，CDSR)、Lebreton和Raake(2018)提出的GBVS360(graph-based visual saliency)和BMS360(boolean map based saliency)模型、Xia等人(2016)提出的基于深度自動編碼器的重構(gòu)網(wǎng)絡(luò)(deepautoencoder-based reconstruction network，AER)和Martin等人(2020)提出的PC3S(panoramic-CNN-360-saliency)進行對比。其中，CSDR、GBVS360與BMS360為改進的傳統(tǒng)算法，AER與PC3S為深度學習算法。對比結(jié)果如圖19所示?？梢钥闯?，在各種環(huán)境下，相較于其他算法，本文算法預測的顯著性圖像都更加準確。在緯度特性上，其他算法也可以處理得很好，如PC3S算法很好地將顯著性集中在了赤道區(qū)域。但是其他算法沒有對經(jīng)度進行專門處理，預測的顯著性圖像在不同經(jīng)度上差異較小。而從顯著性參考圖像可知，不同經(jīng)度區(qū)域的顯著性有著較大差異。本文算法對顯著性圖像進行了觀看經(jīng)度聯(lián)合加權(quán)，預測出的圖像在不同經(jīng)度位置的顯著性差異較大，且具有較高的準確性。上述各算法對圖19中圖像進行顯著性檢測所得的各項指標平均值如表3所示?？梢钥闯觯疚乃惴ńY(jié)果在各個指標上均優(yōu)于其他算法。

圖19 不同算法的顯著性檢測實驗結(jié)果對比Fig.19 Comparison of saliency detection experimental results for different algorithms((a)panoramic images;(b)reference saliency images;(c)CDSR;(d)AER;(e)PC3S;(f)GBVS360;(g)BMS360;(h)ours)

表3 不同類型場景圖像性能對比Table 3 Performance comparison of images in different environments

第2組實驗是為了測試本文算法的通用性能。實驗不再挑選特定圖像，而是從數(shù)據(jù)集中隨機選取20幅圖像，使用本文算法與其他全景圖顯著性算法進行對比，各項指標結(jié)果為20幅圖像平均值，如表4所示。可以看出，本文算法在標準化掃描路徑顯著性(NSS)、相關(guān)系數(shù)(CC)等各項指標的結(jié)果均優(yōu)于對比算法，尤其是不同經(jīng)度顯著性差異問題得到了改善，使得KLD指標結(jié)果十分突出。

表4 隨機多幅圖像性能對比Table 4 Performance comparison of random images

3 結(jié) 論

本文研究了全景圖像經(jīng)度特征導致的顯著性的差異問題，提出了兩個關(guān)鍵處理操作。第1個處理操作是注視點經(jīng)度加權(quán)，從初始觀察區(qū)域中心開始，給顯著性圖像一個基于人類觀察習慣的注視點經(jīng)度加權(quán)，此后如果存在其他顯著性突出的區(qū)域，則以新的顯著性最強的部分為觀看中心，再一次進行注視點經(jīng)度加權(quán)。第2個處理操作是不同視口經(jīng)度加權(quán)，以深度與亮度為特征，使用雙立方體投影方式，計算不同視口觀看概率與不同經(jīng)度觀看權(quán)重，并結(jié)合二者得到不同視口經(jīng)度權(quán)重。實驗結(jié)果表明，本文算法一定程度上解決了全景圖顯著性檢測中不同經(jīng)度觀看概率不同的問題，而且在精確度上優(yōu)于已有同類算法。

本文算法中，進行全景圖顯著性檢測時對所有圖像使用了統(tǒng)一的赤道偏倚，在接下來的研究中將嘗試對每幅圖像使用單獨的自適應赤道偏倚,以進一步提高準確性。

致 謝本研究使用的數(shù)據(jù)集來自國際多媒體會議暨博覽會2017年舉辦的Salient360！大型挑戰(zhàn)賽，在此表示感謝。