時(shí)空對(duì)比度引導(dǎo)的視頻顯著目標(biāo)提取模型

李春華　郝娜娜　劉玉坤

摘要：針對(duì)經(jīng)典視頻顯著目標(biāo)提取模型沒有充分利用時(shí)域顯著性線索，易受背景噪聲干擾，提取的顯著目標(biāo)不完整等問題，提出了一種在時(shí)空對(duì)比度指導(dǎo)下的視頻顯著目標(biāo)提取模型。首先，自適應(yīng)融合RGB顏色空間對(duì)比度和運(yùn)動(dòng)對(duì)比度，確定顯著目標(biāo)的先驗(yàn)信息;然后，利用當(dāng)前幀的前景提取項(xiàng)和鄰近幀位置約束項(xiàng)組成能量函數(shù)，指導(dǎo)時(shí)空顯著性線索融合;最后，通過超像素級(jí)平滑優(yōu)化處理，提取完整的視頻顯著目標(biāo)。實(shí)驗(yàn)結(jié)果表明，模型在Visal，SegTrack V2和DAVIS數(shù)據(jù)集上進(jìn)行測(cè)試，MAE值分別達(dá)到了0.030，0.024和0.032，F(xiàn)-measure值分別達(dá)到了0.772，0.781和0.812，具有良好的準(zhǔn)確性和魯棒性。因此，所提算法能夠有效檢測(cè)出視頻中的顯著目標(biāo)，可為監(jiān)控系統(tǒng)以及目標(biāo)跟蹤提供理論參考與方法依據(jù)。

關(guān)鍵詞：信息處理技術(shù)其他學(xué)科;能量函數(shù);自適應(yīng)融合;降級(jí)優(yōu)化;時(shí)空先驗(yàn)

中圖分類號(hào)：TN958.98文獻(xiàn)標(biāo)識(shí)碼：Adoi：10.7535/hbkd.2022yx02004

Abstract：The classical video salient object extraction model does not make full use of time-domain saliency cues，and is susceptible to the background noise interference.The extracted salient objects are incomplete.This paper proposed a video salient object extraction model under the guidance of spatio-temporal contrast.Firstly，adaptive fusion of RGB color space contrast and motion contrast was used to determine the prior information of prominent targets.Then，the energy function was composed of the foreground extraction item of the current frame and the position constraint item of the adjacent frames，which was used to guide the spatio-temporal saliency cue fusion.Finally，the complete video salient target was extracted by super-pixel smoothing optimization.The experimental results show that the model is tested on Visal，SegTrack V2 and DAVIS data sets.The MAE values in Visal，SegTrack V2 and DAVIS data sets are 0.030，0.024 and 0.032，respectively，and the F-measure values are 0.772，0.781 and 0.812，respectively，with good accuracy and robustness.This algorithm can effectively detect the visible targets in the video，thus providing theoretical reference and method basis for the monitoring system and target tracking.

Keywords：other discipline of information processing technology;energy function;adaptive fusion;degradation optimization;spatio-temporal prior

人類視覺系統(tǒng)能夠在復(fù)雜場(chǎng)景中迅速鎖定關(guān)注目標(biāo)，顯著性檢測(cè)技術(shù)可以模仿人類這一視覺機(jī)能，檢測(cè)圖像中被關(guān)注的區(qū)域。作為圖像壓縮[1-2]、圖像分割[3]和目標(biāo)識(shí)別檢測(cè)[4]等應(yīng)用的重要處理環(huán)節(jié)，顯著性檢測(cè)技術(shù)廣泛應(yīng)用于監(jiān)控系統(tǒng)[5]、行為檢測(cè)[6]和目標(biāo)跟蹤[7]等技術(shù)領(lǐng)域。近年來，綜合利用時(shí)間和空間維度的視覺目標(biāo)檢測(cè)已成為視頻顯著目標(biāo)檢測(cè)的研究熱點(diǎn)。視頻目標(biāo)運(yùn)動(dòng)模式的多樣性、視頻場(chǎng)景的多變性、相機(jī)運(yùn)動(dòng)等因素增加了視頻顯著性檢測(cè)的難度，因此視頻顯著目標(biāo)的準(zhǔn)確檢測(cè)具有較大的挑戰(zhàn)性。

河北科技大學(xué)學(xué)報(bào)2022年第2期李春華，等：時(shí)空對(duì)比度引導(dǎo)的視頻顯著目標(biāo)提取模型視頻顯著性檢測(cè)算法可分為3類：基于空間算法、基于時(shí)間算法和基于時(shí)空算法?；诳臻g算法直接將圖像顯著性檢測(cè)方法應(yīng)用于視頻顯著目標(biāo)的提取。Itti[8]、背景先驗(yàn)[9]、深度特征[10]、中心先驗(yàn)[11]和貝葉斯推理[12]等方法，雖然在圖像檢測(cè)中具有較好的性能，但是直接用于視頻檢測(cè)時(shí)卻無法有效處理目標(biāo)遮擋、運(yùn)動(dòng)模糊、時(shí)間抖動(dòng)等問題。基于時(shí)間算法包括幀差法、背景差分法和光流法。幀差法[13]通過對(duì)相鄰幀中對(duì)應(yīng)像素進(jìn)行差分處理，檢測(cè)運(yùn)動(dòng)對(duì)象的邊緣信息，提取的目標(biāo)通常不完整。背景差分法[14]對(duì)背景進(jìn)行建模，利用輸入視頻幀與背景之間的差異獲知運(yùn)動(dòng)區(qū)域。背景建模的精度直接影響運(yùn)動(dòng)目標(biāo)檢測(cè)的準(zhǔn)確性。光流法[15-16]通過估計(jì)像素的運(yùn)動(dòng)場(chǎng)，將具有相似運(yùn)動(dòng)矢量的像素歸并為顯著性目標(biāo)。光流法不依賴于場(chǎng)景的任何先驗(yàn)信息，具有廣泛的適應(yīng)性，但其計(jì)算復(fù)雜度較高，如果沒有高性能硬件的輔助，很難保證實(shí)時(shí)完成檢測(cè)任務(wù)?；跁r(shí)空算法通過將運(yùn)動(dòng)信息與空間域的低層特征相融合，得到顯著性圖。文獻(xiàn)[17]借助中心環(huán)繞對(duì)比度將運(yùn)動(dòng)特征集成到Itti模型框架中。LIU等[18]利用自適應(yīng)融合運(yùn)動(dòng)直方圖和空間顯著性提取視頻的顯著目標(biāo)。文獻(xiàn)[19]和文獻(xiàn)[20]采用動(dòng)態(tài)加權(quán)的方式綜合時(shí)間和空間線索，確定顯著目標(biāo)。

雖然大量視頻檢測(cè)模型逐步改善了視頻顯著目標(biāo)的提取效果，但其準(zhǔn)確性和魯棒性仍不盡如人意。因此本文提出了一種基于時(shí)空對(duì)比度指導(dǎo)的視頻顯著目標(biāo)提取模型，以提高視頻顯著目標(biāo)檢測(cè)的準(zhǔn)確性。

1算法描述

經(jīng)典顯著運(yùn)動(dòng)目標(biāo)檢測(cè)算法對(duì)顯著目標(biāo)的局部運(yùn)動(dòng)、運(yùn)動(dòng)場(chǎng)變化不明顯或在有遮擋的情況下處理效果不理想。針對(duì)以上問題，本文提出的視頻顯著目標(biāo)檢測(cè)模型將顏色對(duì)比度和運(yùn)動(dòng)對(duì)比度作為先驗(yàn)條件，構(gòu)造外觀模型和動(dòng)態(tài)位置模型，保證視頻序列的一致性，減弱顯著目標(biāo)由局部運(yùn)動(dòng)或遮擋情況所帶來的影響。算法框架圖如圖1所示。首先，自適應(yīng)融合RGB顏色空間對(duì)比度和運(yùn)動(dòng)對(duì)比度，形成顯著目標(biāo)的時(shí)空先驗(yàn)信息;然后，利用當(dāng)前幀的前景提取項(xiàng)和鄰近幀位置約束項(xiàng)組成能量函數(shù)，優(yōu)化時(shí)空顯著性線索融合;最后，通過超像素級(jí)平滑處理，提取完整的視頻顯著目標(biāo)。

1.1基于對(duì)比度的先驗(yàn)信息

在視頻播放過程中，不連續(xù)視頻幀的顏色差異和相鄰幀間的運(yùn)動(dòng)變化都能夠吸引觀眾的注意。因此，本文所提模型把顏色變化和位置變化作為視頻顯著性檢測(cè)的重要線索，在RGB顏色空間內(nèi)計(jì)算幀內(nèi)全局顏色對(duì)比度，利用光流法[21]計(jì)算目標(biāo)的運(yùn)動(dòng)速度，進(jìn)而轉(zhuǎn)化為運(yùn)動(dòng)對(duì)比度，最后將運(yùn)動(dòng)對(duì)比度和全局顏色對(duì)比度自適應(yīng)融合為先驗(yàn)顯著性圖。

1.1.1運(yùn)動(dòng)對(duì)比度

為了克服像素級(jí)上計(jì)算光流的復(fù)雜性和時(shí)間成本高的問題，運(yùn)用超像素分割技術(shù)[22]將視頻幀序列I={I1，I2，…，Ik，…}中的各幀劃分為超像素集Pk={Pk1，Pk2，…}，通過光流法計(jì)算各幀超像素的光流矢量?；诔袼毓烙?jì)光流場(chǎng)，可以減少計(jì)算負(fù)擔(dān)。由于運(yùn)動(dòng)梯度比運(yùn)動(dòng)顯著線索更可靠[23]，本文通過將運(yùn)動(dòng)梯度與顏色梯度相結(jié)合生成時(shí)空梯度，指導(dǎo)低水平對(duì)比度的計(jì)算。時(shí)空梯度Mk的表達(dá)式為

2 實(shí)驗(yàn)結(jié)果與分析

將本文算法在Visal[23]，SegTrack V2[27]和DAVIS[28]公共視頻數(shù)據(jù)集上進(jìn)行測(cè)試，并與經(jīng)典的10種視頻顯著性檢測(cè)算法進(jìn)行比對(duì)，其中包含8種傳統(tǒng)算法和2種深度學(xué)習(xí)模型，包括RWRV[29]（隨機(jī)游走）、MST[30]（最小成樹）、GF[23]（梯度流）、SGSP[31]（超像素級(jí)）、SAG[24]（測(cè)地線時(shí)空先驗(yàn)）、STBP[32]（SIFT流的時(shí)空背景先驗(yàn)）、SFLR[25]（低秩相干時(shí)空融合）、SGAF[33]（時(shí)空一致性）、SCOM[34]（深度時(shí)空約束優(yōu)化模型）、DLVS[35]（全卷積網(wǎng)絡(luò)訓(xùn)練模型）。

2.1 主觀結(jié)果對(duì)比

ViSal數(shù)據(jù)集包含17個(gè)具有挑戰(zhàn)性的視頻序列：背景高度雜亂的hores等;快速運(yùn)動(dòng)的car等;慢速運(yùn)動(dòng)的boat等;前景背景顏色差異小的motorbike等;移動(dòng)攝像機(jī)的gokart等。這些視頻的長(zhǎng)度從30幀到100幀不等。

由圖5可知，由于RWRV算法簡(jiǎn)單地將時(shí)間顯著性作為隨機(jī)游走器重新分布估計(jì)時(shí)空顯著性，得到顯著目標(biāo)的粗略位置信息，不能精確地提取目標(biāo)。SGSP和STBP模型在超像素基礎(chǔ)上加入運(yùn)動(dòng)場(chǎng)的因素，檢測(cè)效果有所提升，但是當(dāng)前景目標(biāo)與背景顏色接近時(shí)，例如圖5 中g(shù)okart視頻，不能精準(zhǔn)地突出顯著性邊緣。MST算法與以上3種方法相比，能夠更加精準(zhǔn)地定位檢測(cè)目標(biāo)，但抑制背景噪聲的能力一般，例如圖5的horse視頻。本文模型、GF，SAG，SGAF，SFLR和深度學(xué)習(xí)方法SCOM，DLVS都是利用光流結(jié)合空間特征表現(xiàn)視頻序列的顯著性，但在減弱噪聲影響方面本文算法優(yōu)于GF，SAG和SCOM算法;圖5的horse 2視頻中的遠(yuǎn)處目標(biāo)時(shí)，SFLR，SGAF和DLVS當(dāng)作背景處理，只有本文模型能夠完整的檢測(cè)出顯著目標(biāo)，證明該模型在抑制背景噪聲和目標(biāo)邊緣細(xì)節(jié)特征方面均優(yōu)于其他算法，始終最接近真值圖。

SegTrack V2數(shù)據(jù)集包括14個(gè)視頻序列，其中大部分視頻序列的時(shí)間周期都非常短（不超過100幀），背景雜亂且變化不大，每一幀都通過前景微妙的局部變化表現(xiàn)目標(biāo)運(yùn)動(dòng)，并且目標(biāo)的顏色接近背景顏色，使得目標(biāo)的顯著性難以被檢測(cè)。

由圖6可知，對(duì)于快速運(yùn)動(dòng)的cheetah視頻序列出現(xiàn)模糊現(xiàn)象，本文算法在目標(biāo)完整性和抑制背景的能力上優(yōu)于其他算法。處理只有胳膊和腿局部運(yùn)動(dòng)的girl視頻序列，其他算法檢測(cè)結(jié)果大致分為2類：一是頭部附近帶有背景噪聲（MST，STBP），不能清晰檢測(cè)小女孩的輪廓（RWRV，SGSP）;二是將小女孩的手部作為背景抑制，對(duì)目標(biāo)的完整性造成影響。本文所提算法能夠較好地抑制復(fù)雜背景影響，完整地檢測(cè)顯著區(qū)域，整體檢測(cè)性能優(yōu)于其他算法。

DAVIS數(shù)據(jù)集包含50個(gè)高分辨率的視頻，該數(shù)據(jù)集中的場(chǎng)景包含大量遮擋（bus等）、外觀變化（mallard-fly等）和形狀扭曲（breakdance-flare等），使得顯著目標(biāo)的提取面臨挑戰(zhàn)。

由圖7可知，當(dāng)處理背景復(fù)雜且與前景顏色接近的視頻時(shí)，本文算法抑制噪聲能力優(yōu)于其他算法;當(dāng)處理外觀不明顯的視頻時(shí)，本文算法、SCOM和SFLR表現(xiàn)出相似的檢測(cè)能力;但是當(dāng)處理顯著目標(biāo)出現(xiàn)部分被遮擋的情況時(shí)，本文算法通過預(yù)測(cè)下一幀的運(yùn)動(dòng)梯度和當(dāng)前幀的顯著外觀模型調(diào)整檢測(cè)結(jié)果，使得其最接近地面真值圖，實(shí)驗(yàn)結(jié)果再次驗(yàn)證了對(duì)復(fù)雜場(chǎng)景、運(yùn)動(dòng)模糊等具有挑戰(zhàn)性的的情況，本文算法模型能夠更加準(zhǔn)確地檢測(cè)出顯著目標(biāo)。

雖然所提算法能夠完整地檢測(cè)出大部分顯著目標(biāo)，但是當(dāng)視頻中出現(xiàn)顯著目標(biāo)的陰影或者視頻亮度發(fā)生明顯變化時(shí)，檢測(cè)結(jié)果則不盡如人意。圖8為本文算法的部分失敗案例，原因在于當(dāng)視頻中出現(xiàn)目標(biāo)物陰影或亮度發(fā)生明顯變化時(shí)，很難實(shí)現(xiàn)亮度恒定，陰影部分的顯著值高于閾值，在基于對(duì)比度的先驗(yàn)信息中直接被認(rèn)定為前景對(duì)象，導(dǎo)致檢測(cè)結(jié)果不準(zhǔn)確，魯棒性降低。

2.2 客觀結(jié)果對(duì)比

為了更客觀地評(píng)估本文算法，采用標(biāo)準(zhǔn)的PR曲線、平均絕對(duì)誤差（MAE）以及F-measure（Fβ）和S-measure（Sm）值定量分析算法的性能。

在Visal，SegTrack V2和DAVIS數(shù)據(jù)集上分別選用6段復(fù)雜的視頻進(jìn)行實(shí)驗(yàn)分析，得到平均PR曲線、MAE值圖和Fβ和Sm客觀評(píng)價(jià)指標(biāo)如圖9所示。由圖9 a）可以看出，本文算法的PR曲線略高于DLVS，SGAF，SFLR等算法，說明在相同召回率的情況下，本文算法的準(zhǔn)確率高于其他算法，提取的顯著目標(biāo)更加準(zhǔn)確。[HJ2.3mm]隨著召回率的增加，分割閾值逐漸減小，使得更多區(qū)域被判斷為顯著區(qū)域，所以各個(gè)算法對(duì)應(yīng)的準(zhǔn)確率下降。由圖9 b）算法顯著圖與真值圖的像素級(jí)直接比較的結(jié)果可以看出，本文算法的平均絕對(duì)誤差更小，與真值圖更接近，表明在視頻數(shù)據(jù)復(fù)雜度變高時(shí)，本文算法檢測(cè)結(jié)果具有更高的準(zhǔn)確性。圖9 c）為Fβ和Sm客觀評(píng)價(jià)指標(biāo)數(shù)據(jù)，從圖中可以看出在數(shù)據(jù)集SegTrack V2和DAVIS中，本文算法的數(shù)據(jù)分別略遜于DLVS，SCOM算法，這是因?yàn)榻?jīng)過全卷積網(wǎng)絡(luò)訓(xùn)練的DLVS模型對(duì)于運(yùn)動(dòng)變化明顯的顯著對(duì)象更敏感，能夠較好地考慮區(qū)域與對(duì)象結(jié)構(gòu)的相似性，而在運(yùn)動(dòng)緩慢、遮擋或者顯著目標(biāo)變形的情況下，DLVS算法的性能下降;SOCOM算法通過背景勢(shì)、前景勢(shì)以及平滑勢(shì)的統(tǒng)一處理，使其在背景復(fù)雜的場(chǎng)景中更穩(wěn)定地檢測(cè)目標(biāo)，但其顯著目標(biāo)的細(xì)節(jié)檢測(cè)沒有通過約束優(yōu)化處理。因此，通過圖9的結(jié)果可以得出本文算法具有更加穩(wěn)定的準(zhǔn)確性和魯棒性，驗(yàn)證了本文算法的優(yōu)越性。該算法是通過多種技術(shù)的融合，引入時(shí)域線索而有效提取視頻圖像的顯著目標(biāo)，雖然在提取精準(zhǔn)性方面有所提高，但是多種技術(shù)的融合增加了視頻檢測(cè)的復(fù)雜性，通過算法運(yùn)行時(shí)間反映算法效率，時(shí)間對(duì)比結(jié)果如表1所示，從平均運(yùn)行時(shí)間上可以明顯看出，所提算法耗時(shí)最長(zhǎng)，是以犧牲檢測(cè)效率保證了模型更加穩(wěn)定的準(zhǔn)確性和魯棒性。

3 結(jié) 論

本文提出了基于時(shí)空對(duì)比度的視頻顯著目標(biāo)提取模型，有效改善了提取視頻顯著目標(biāo)不完整的問題，提高了檢測(cè)準(zhǔn)確性。首先，自適應(yīng)融合RGB顏色空間對(duì)比度和運(yùn)動(dòng)對(duì)比度，確定了顯著目標(biāo)的先驗(yàn)信息;然后，將基于對(duì)比度融合后的時(shí)空先驗(yàn)估計(jì)作為線索指導(dǎo)能量函數(shù)中外觀模型和運(yùn)動(dòng)模型的形成，并在優(yōu)化過程中去除視頻中確定的背景區(qū)域;最后，通過超像素級(jí)平滑處理，提取了完整的視頻顯著目標(biāo)。本文算法采用多次降噪優(yōu)化篩選，具有良好的完整性、準(zhǔn)確性和魯棒性。實(shí)驗(yàn)結(jié)果表明，所提算法對(duì)視頻復(fù)雜場(chǎng)景中快速運(yùn)動(dòng)、遮擋和局部運(yùn)動(dòng)的顯著目標(biāo)，表現(xiàn)出相對(duì)穩(wěn)定的檢測(cè)性能，為監(jiān)控系統(tǒng)鎖定視頻顯著對(duì)象和目標(biāo)跟蹤提供了理論基礎(chǔ)和方法依據(jù)。但是，本文算法對(duì)于視頻中出現(xiàn)目標(biāo)陰影和視頻亮度發(fā)生明顯變化的情況，檢測(cè)效果不夠理想，未來將繼續(xù)研究如何提高帶有陰影視頻的顯著目標(biāo)檢測(cè)結(jié)果的準(zhǔn)確性。

參考文獻(xiàn)/References：

[1] ZHENG B W，ZHANG J P，SUN G L，et al.Fully learnable model for task-driven image compressed sensing[J].Sensors，2021，21（14）：4662.DOI：org/10.3390/S21144662.

[2] 劉向增，范立佳，徐雪靈，等.星載JPEG-LS圖像壓縮質(zhì)量評(píng)價(jià)研究[J].微電子學(xué)與計(jì)算機(jī)，2021，38（9）：45-53.

LIU Xiangzeng，F(xiàn)AN Lijia，XU Xueling，et al.Research on quality evaluation of spaceborne JPEG-LS image compression algorithm[J].Microelectronics & Computer，2021，38（9）：45-53.

[3] WANG K，WU K，WANG C L，et al.Identification of NOx hotspots from oversampled TROPOMI NO2 column based on image segmentation method[J].Science of the Total Environment，2022，803.DOI：10.1016/J.scitotenv.2021.150007.

[4] 薛培林，吳愿，殷國(guó)棟，等.基于信息融合的城市自主車輛實(shí)時(shí)目標(biāo)識(shí)別[J].機(jī)械工程學(xué)報(bào)，2020，56（12）：165-173.

XUE Peilin，WU Yuan，YIN Guodong，et al.Real-time target recognition for urban autonomous vehicles based on information fusion[J].Journal of Mechanical Engineering，2020，56（12）：165-173.

[5] SULTAN S，JENSEN C D.Metadata based need-to-know view in large-scale video surveillance systems[J].Computers & Security，2021，111.DOI：10.1016/j.cose.2021.102452.

[6] LAHOULI I，KARAKASIS E，HAELTERMAN R，et al.Hot spot method for pedestrian detection using saliency maps，discrete Chebyshev moments and support vector machine[J].IET Image Processing，2018，12（7）：1284-1291.

[7] LI SN，QIN Z，SONG H B.A temporal-spatial method for group detection，locating and tracking[J].IEEE Access，2016，4：4484-4494.

[8] ITTI L，DHAVALE N，PIGHIN F.Realistic avatar eye and head animation using a neurobiological model of visual attention[C]//Optical Science and Technology，SPIE's 48th Annual Meeting.San Diego，California，United States：[s.n.]，2003.DOI：10.1117/12.512618.

[9] LI CY，YUAN Y C，CAI W D，et al.Robust saliency detection via regularized random walks ranking[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Boston，MA，USA：IEEE，2015：2710-2717.

[10]CONG R M，LEI J J，ZHANG C Q，et al.Saliency detection for stereoscopic images based on depth confidence analysis and multiple cues fusion[J].IEEE Signal Processing Letters，2016，23（6）：819-823.

[11]ZHU C B，LI G，WANG W M，et al.An innovative salient object detection using center-dark channel prior[C]// 2017 IEEE International Conference on Computer Vision Workshops （ICCVW）.Venice，Italy：IEEE，2017：1509-1515.

[12]LI X H，LU H C，ZHANG L H，et al.Saliency detection via dense and sparse reconstruction[C]//2013 IEEE International Conference on Computer Vision.Sydney，NSW，Australia：IEEE，2013：2976-2983.

[13]MECH R，WOLLBORN M.A noise robust method for segmentation of moving objects in video sequences[C]//1997 IEEE International Conference on Acoustics，Speech，and Signal Processing.Munich，Germany：IEEE，1997：2657-2660.

[14]BOUWMANS T，BAF F E，VACHON B.Background modeling using mixture of Gaussians for foreground detection-a survey[J].Recent Patents on Computer Science，2008，1（3）：219-237.

[15]HORN B K P，SCHUNCK B G.Determining optical flow[J].Artificial Intelligence，1981，17（1/2/3）：185-203.

[16]TSUI K C，LIU J M.Evolutionary diffusion optimization（I）：Description of the algorithm[C]//Proceedings of the 2002 Congress on Evolutionary Computation CEC'02（Cat.No.02TH8600）.Honolulu，HI，USA：IEEE，2002：169-174.

[17]SCHLKOPF B，PLATT J，HOFMANN T.Graph-based visual saliency[C]//Advances in Neural Information Processing Systems 19：Proceedings of the 2006 Conference.[S.l.]：MIT Press，2007：545-552.

[18]LIU Z，ZHANG X，LUO S H，et al.Superpixel-based spatiotemporal saliency detection[J].IEEE Transactions on Circuits and Systems for Video Technology，2014，24（9）：1522-1540.

[19]AHSAN S M M，NAFEW A N M，AMIT R H.A saliency based approach for foreground extraction from a video[C]//2017 3rd International Conference on Electrical Information and Communication Technology （EICT）.Khulna，Bangladesh：IEEE，2017：1-6.

[20]ZHANG J H，CHEN J B，WANG Q C，et al.Spatiotemporal saliency detection based on maximum consistency superpixels merging for video analysis[J].IEEE Transactions on Industrial Informatics，2020，16（1）：606-614.

[21]BROX T，MALIK J.Large displacement optical flow：Descriptor matching in variational motion estimation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（3）：500-513.

[22]SHEN J B，DU Y F，WANG W G，et al.Lazy random walks for superpixel segmentation[J].IEEE Transactions on Image Processing，2014，23（4）：1451-1462.

[23]WANG W G，SHEN J B，SHAO L.Consistent video saliency using local gradient flow optimization and global refinement[J].IEEE Transactions on Image Processing，2015，24（11）：4185-4196.

[24]WANG W G，SHEN J B，YANG R G，et al.Saliency-aware video object segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（1）：20-33.

[25]CHEN C，LI S，WANG Y G，et al.Video saliency detection via spatial-temporal fusion and low-rank coherency diffusion[J].IEEE Transactions on Image Processing，2017，26（7）：3156-3170.

[26]ZENG Z N，CHAN T H，JIA K，et al.Finding correspondence from [JP2]multiple images via sparse and low-rank decomposition[C]// Computer[JP] Vision-ECCV 2012.Berlin Heidelberg：Springer-Verlag Berlin Heidelberg，2012：325-339.

[27]PERAZZI F，PONT-TUSET J，MCWILLIAMS B，et al.A benchmark dataset and evaluation methodology for video object segmentation[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas，NV，USA：IEEE，2016：724-732.

[28]LI F X，KIM T，HUMAYUN A，et al.Video segmentation by tracking many figure-ground segments[C]//2013 IEEE International Conference on Computer Vision.Sydney，NSW，Australia：IEEE，2013：2192-2199.

[29]KIM H，KIM Y，SIM J Y，et al.Spatiotemporal saliency detection for video sequences based on random walk with restart[J].IEEE Transactions on Image Processing，2015，24（8）：2552-2564.

[30]TU W C，HE S F，YANG Q X，et al.Real-time salient object detection with a minimum spanning tree[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas，NV，USA：IEEE，2016：2334-2342.

[31]LIU Z，LI J H，YE L W，et al.Saliency detection for unconstrained videos using superpixel-level graph and spatiotemporal propagation[J].IEEE Transactions on Circuits and Systems for Video Technology，2017，27（12）：2527-2542.

[32]XI T，ZHAO W，WANG H，et al.Salient object detection with spatiotemporal background priors for video[J].IEEE Transactions on Image Processing，2017，26（7）：3425-3436.

[33]GUO Y C，LI Z，LIU Y，et al.Video object extraction based on spatiotemporal consistency saliency detection[J].IEEE Access，2018，6：35171-35181.

[34]CHEN Y H，ZOU W B，TANG Y，et al.SCOM：Spatiotemporal constrained optimization for salient object detection[J].IEEE Transactions on Image Processing，2018，27（7）：3345-3357.

[35]WANG W G，SHEN J B，SHAO L.Video salient object detection via fully convolutional networks[J].IEEE Transactions on Image Processing，2018，27（1）：38-49