• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      一種整合語(yǔ)義對(duì)象特征的視覺(jué)注意力模型

      2020-02-24 09:32:50趙歆波
      關(guān)鍵詞:注視點(diǎn)人眼眼動(dòng)

      李 娜, 趙歆波

      (1.西北工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院,西安 710129; 2.陜西省語(yǔ)音與圖像信息處理重點(diǎn)實(shí)驗(yàn)室,西安 710129)

      視覺(jué)注意力機(jī)制是人類視覺(jué)快速掃描場(chǎng)景后獲取高度相關(guān)信息的大腦信號(hào)處理機(jī)制.視覺(jué)注意力模型是指計(jì)算機(jī)利用視覺(jué)搜索得到的各種特征,估計(jì)人類注意力顯著信息的技術(shù).對(duì)于許多計(jì)算機(jī)視覺(jué)任務(wù),人類視覺(jué)注意力建模是重要的科學(xué)問(wèn)題.例如,對(duì)于視頻壓縮,人眼感興趣區(qū)域(Region of Interesting, RoI)是需要重點(diǎn)保留的關(guān)鍵信息.對(duì)人機(jī)交互和廣告設(shè)計(jì)來(lái)講,準(zhǔn)確了解人眼在場(chǎng)景中哪些信息感興趣,可以更好設(shè)計(jì)出滿足用戶需求的產(chǎn)品.生物認(rèn)知學(xué)為人類視覺(jué)注意機(jī)制研究提供了生物學(xué)基礎(chǔ)[1].當(dāng)人眼觀察視覺(jué)信息時(shí),經(jīng)大腦特定部位選擇性地感知的信息會(huì)在人眼視網(wǎng)膜的黃斑上成像.例如,功能磁共振成像(Functional Magnetic Resonance Imaging, FMRI)顯示人類大腦的梭形面部區(qū)域感知面部信息[2],大腦的旁海馬區(qū)感知地方和建筑物[3-4]信息.受認(rèn)知研究啟發(fā),本文記錄并分析了人眼在觀察場(chǎng)景時(shí)的眼動(dòng)數(shù)據(jù),得出語(yǔ)義對(duì)象區(qū)域?yàn)槿祟愱P(guān)注的高意識(shí)區(qū)域,這些語(yǔ)義對(duì)象特征會(huì)更吸引視覺(jué)注意力.

      近年來(lái),眾多科研工作者對(duì)人眼運(yùn)動(dòng)進(jìn)行了研究,涌現(xiàn)出大量基于不同理論的視覺(jué)注意力模型.一些研究人員在低級(jí)注意力模型上取得了進(jìn)展.其中最有影響力的是由Itti[5]等提出的基于特征整合理論[6]的自下而上注意力模型.該理論利用顏色,方向和強(qiáng)度等低級(jí)特征預(yù)測(cè)圖像中吸引人眼注意的顯著區(qū)域.基于神經(jīng)反應(yīng)去相關(guān)的思想,Diaz等[7]提出了自適應(yīng)白化顯著性模型(Adaptive Whitening Saliency, AWS).Zhang等[8]提出了自然統(tǒng)計(jì)顯著模型(Saliency Using Natural statistics, SUN),該模型將視覺(jué)特征的自身信息作為自下而上的顯著性.Torralba[9]提出了一種用于視覺(jué)搜索的貝葉斯框架用于顯著性計(jì)算.Harel[10]等提出了基于圖論的顯著模型(Graph Based Visual Saliency, GBVS).Vig等[11]利用機(jī)器學(xué)習(xí)方法計(jì)算圖像區(qū)域的顯著性.Tavakoli等[12]利用無(wú)監(jiān)督模型提取的特征用于顯著性計(jì)算.盡管這些模型表現(xiàn)良好,但卻忽略了語(yǔ)義對(duì)象特征對(duì)人類視覺(jué)注意力的吸引.

      Judd等[13]和趙等[14]將低級(jí)特征和語(yǔ)義特征整合到了學(xué)習(xí)框架中.Kummerer等[15]和Mahdi等[16]利用預(yù)訓(xùn)練的深度學(xué)習(xí)模型提取低級(jí)特征及語(yǔ)義特征用于顯著性預(yù)測(cè).但是,這些模型使用的語(yǔ)義特征比較有限,而實(shí)驗(yàn)結(jié)果表明,視覺(jué)注意力模型的性能通過(guò)語(yǔ)義特征的引入獲得了極大地提高.雖然這些模型使用了語(yǔ)義特征作為自上而下的指導(dǎo)信息,但提取的語(yǔ)義信息類別很有限.

      人類感知語(yǔ)義信息的過(guò)程涉及了大量大腦感知神經(jīng),其過(guò)程極其復(fù)雜.然而,深度學(xué)習(xí)在圖像語(yǔ)義分割領(lǐng)域成果斐然,涌現(xiàn)了各種性能優(yōu)良的網(wǎng)絡(luò),如(FCN[17], DeepLab系列等[18-19]),深度學(xué)習(xí)網(wǎng)絡(luò)本質(zhì)就是人腦的仿生結(jié)構(gòu),而圖像語(yǔ)義分割就是計(jì)算機(jī)自動(dòng)從圖像中識(shí)別并分割出對(duì)象區(qū)域,這與本文提取出在人眼觀察場(chǎng)景時(shí)人腦感知的語(yǔ)義對(duì)象特征的目的不謀而合,因此,本文將性能優(yōu)異的語(yǔ)義分割網(wǎng)絡(luò)遷移到視覺(jué)注意力模型中,來(lái)提取語(yǔ)義對(duì)象特征,大大增多了語(yǔ)義信息的類別數(shù)量.

      此外,除了由人類認(rèn)知控制的自上而下的視覺(jué)注意外,還有一種潛意識(shí)的機(jī)制,即自下而上的視覺(jué)注意力,吸引人眼注意一些低級(jí)特征[6].因此,本文經(jīng)過(guò)分析,提取了28個(gè)吸引人眼的低級(jí)特征,除RGB顏色,亮度,強(qiáng)度等常見(jiàn)的低級(jí)特征之外,由于Lab顏色模型是基于人對(duì)顏色的感覺(jué),所以本文同時(shí)提取了Lab顏色空間的顯著性特征.

      本文利用深度學(xué)習(xí)網(wǎng)絡(luò)提取語(yǔ)義對(duì)象特征,將其與刺激人眼的低級(jí)特征通過(guò)支持向量機(jī)(Support Vector Machine, SVM)進(jìn)行整合,訓(xùn)練這些特征與眼動(dòng)跟蹤技術(shù)獲取的真實(shí)注視點(diǎn)之間的映射關(guān)系,得到能預(yù)測(cè)人眼注視點(diǎn)的視覺(jué)注意力模型.

      1 眼動(dòng)數(shù)據(jù)采集與分析

      為了研究普通人在觀看場(chǎng)景時(shí)的視覺(jué)行為,本文從用于語(yǔ)義分割的VOC2012數(shù)據(jù)庫(kù)[20]里帶有語(yǔ)義分割標(biāo)簽的2 913張圖像里挑選出研究用的圖像.圖像選取時(shí)最主要的原則是圖像中語(yǔ)義對(duì)象尺寸不能過(guò)大,因?yàn)楫?dāng)語(yǔ)義對(duì)象尺寸占了圖像絕大部分面積時(shí),統(tǒng)計(jì)出的眼動(dòng)注視點(diǎn)落入語(yǔ)義對(duì)象區(qū)域的數(shù)量是沒(méi)有意義的.同時(shí),兼顧數(shù)據(jù)庫(kù)語(yǔ)義對(duì)象的多樣性,盡可能地均衡了各類語(yǔ)義對(duì)象的數(shù)量,最終選擇了2 000張圖像進(jìn)行研究.然后記錄人眼觀察這2 000張圖像時(shí)的眼動(dòng)跟蹤數(shù)據(jù),形成新的數(shù)據(jù)庫(kù)VOC2012-E.該數(shù)據(jù)庫(kù)用于對(duì)注視點(diǎn)的定量分析,并為顯著性模型的研究提供基準(zhǔn)圖像.與其他公開(kāi)語(yǔ)義對(duì)象分割的數(shù)據(jù)集相比,本文建立新數(shù)據(jù)集的主要?jiǎng)訖C(jī)是分析注視點(diǎn)信息.

      本文利用Tobii TX300眼動(dòng)儀記錄受試者的眼球運(yùn)動(dòng),其可以進(jìn)行高精度和高準(zhǔn)確性的眼動(dòng)追蹤.實(shí)驗(yàn)中,為保證數(shù)據(jù)的有效性,每次只播放100張圖像,每張圖像播放5s,在播放下一張圖像前自動(dòng)進(jìn)行快速校準(zhǔn),每次采集大致進(jìn)行10~15 min,共有10名受試者參與實(shí)驗(yàn).

      如表1所示,本文統(tǒng)計(jì)了每張圖像的眼動(dòng)注視點(diǎn)落入語(yǔ)義對(duì)象區(qū)域的總數(shù),然后計(jì)算出落入語(yǔ)義對(duì)象區(qū)域的注視點(diǎn)占全部注視點(diǎn)的平均占比,數(shù)值超過(guò)83.53%,這表明語(yǔ)義對(duì)象特征吸引了受試者大部分的注意力.因此,為了提高視覺(jué)注意力模型預(yù)測(cè)的準(zhǔn)確性,語(yǔ)義對(duì)象特征的引入意義重大.

      表1 眼動(dòng)注視點(diǎn)統(tǒng)計(jì)

      如圖1(b)所示,匯總實(shí)驗(yàn)中記錄的所有受試者的真實(shí)眼動(dòng)注視點(diǎn),疊加到原圖1(a)上,得到眼動(dòng)點(diǎn)的分布情況.圖1(c)重點(diǎn)突出語(yǔ)義對(duì)象與眼動(dòng)點(diǎn)分布的關(guān)系,經(jīng)過(guò)進(jìn)一步分析,無(wú)論目標(biāo)較大的圖像(第8列圖像牛),還是目標(biāo)較小的圖像(第9列圖像羊),語(yǔ)義對(duì)象都吸引了受試者大部分的注意力.圖d為將真實(shí)眼動(dòng)注視點(diǎn)進(jìn)行高斯濾波得到的基準(zhǔn)圖像,用于第4節(jié)的注意力模型的訓(xùn)練.

      圖1 眼動(dòng)跟蹤實(shí)驗(yàn)

      2 語(yǔ)義對(duì)象特征的提取

      根據(jù)實(shí)驗(yàn)分析得出的語(yǔ)義特征提取的必要性,利用FCN網(wǎng)絡(luò)從圖像語(yǔ)義分割的角度出發(fā)提取圖像的語(yǔ)義對(duì)象特征.與語(yǔ)義分割任務(wù)不同,本文提取的語(yǔ)義對(duì)象特征是否具有精確邊緣,并不影響視覺(jué)注意力模型的預(yù)測(cè)人的注視點(diǎn),但特征提取的時(shí)間和硬件成本卻對(duì)視覺(jué)注意力模型的訓(xùn)練至關(guān)重要.因此,綜合比較了常見(jiàn)語(yǔ)義分割模型,本文利用綜合性能最好的FCN-8s網(wǎng)絡(luò)提取語(yǔ)義特征,同時(shí)為了保證特征提取的魯棒性和有效性,對(duì)其進(jìn)行了改進(jìn):采用了參數(shù)線性整流(Parametric Rectified Linear Unit, PReLu)函數(shù)取代了線性整流函數(shù)(Rectified Linear Unit, Relu);使用適應(yīng)性矩估計(jì)(Adaptive monent estimation, Adam)優(yōu)化網(wǎng)絡(luò)的學(xué)習(xí)率.

      圖2為本文利用的FCN-8s的網(wǎng)絡(luò)結(jié)構(gòu).在本文使用的網(wǎng)絡(luò)結(jié)構(gòu)中,在卷積之后不再使用Relu激活函數(shù).雖然Relu激活函數(shù)由于自身只有線性關(guān)系,收斂速度很快,但是當(dāng)輸入為負(fù)數(shù)時(shí),Relu的輸出被設(shè)為0,導(dǎo)致對(duì)應(yīng)權(quán)重?zé)o法更新,即該神經(jīng)元壞死,將會(huì)對(duì)任何數(shù)據(jù)都無(wú)法響應(yīng).為解決這一問(wèn)題,本文采用PReLu激活函數(shù),其計(jì)算公式如下

      (1)

      式中:a的取值是在0~1之間變化的數(shù),i為不同的通道.如式(1)所示,與Relu函數(shù)不同的是,當(dāng)PReLu的輸入為負(fù)數(shù)時(shí),它的輸出非0,從而避免了神經(jīng)元壞死,而且PReLu只增加了很少的參數(shù),所以只增加了很少的網(wǎng)絡(luò)的計(jì)算量.

      圖2 本文使用的FCN-8s網(wǎng)絡(luò)結(jié)構(gòu)

      此外,在網(wǎng)絡(luò)的訓(xùn)練過(guò)程中,本文不再采用梯度下降優(yōu)化算法,而是利用Adam優(yōu)化算法調(diào)整網(wǎng)絡(luò)更新權(quán)重和偏差參數(shù).梯度下降法雖然是最常用的優(yōu)化算法,但是為其選擇合適的學(xué)習(xí)率比較難,學(xué)習(xí)率太小會(huì)導(dǎo)致網(wǎng)絡(luò)收斂過(guò)于緩慢,而學(xué)習(xí)率太大可能會(huì)影響網(wǎng)絡(luò)收斂.而且不同特征應(yīng)采用不同的更新率,比如,出現(xiàn)頻率較小的特征,應(yīng)有更大的更新率,但是梯度下降法的學(xué)習(xí)率是固定的.而Adam優(yōu)化算法可以為每個(gè)特征計(jì)算自適應(yīng)學(xué)習(xí)率,同時(shí)改進(jìn)了梯度下降法的缺點(diǎn),如學(xué)習(xí)率消失、收斂過(guò)慢等.在本文提取語(yǔ)義特征的實(shí)際過(guò)程中,Adam優(yōu)化算法效果良好,收斂速度比梯度下降法更快,使特征提取更為有效.圖3為本文改進(jìn)后的FCN-8s架構(gòu)提取的語(yǔ)義對(duì)象特征FS示例.圖3(a)為原圖,圖3(b)為提取的語(yǔ)義對(duì)象特征,圖3(c)為人工標(biāo)記的語(yǔ)義對(duì)象.

      3 低級(jí)特征的提取

      人類的早期視覺(jué)通路會(huì)利用視網(wǎng)膜及初級(jí)視覺(jué)皮層提取如強(qiáng)度,顏色和方向等若干低級(jí)特征.因此為提高視覺(jué)注意力模型的性能,本節(jié)經(jīng)過(guò)反復(fù)實(shí)驗(yàn)及結(jié)果比較,選取了包含了28個(gè)低層特征的特征集FL={f1,f2,…,f28}:圖4中(1)~(13)圖為13個(gè)亮度特征,其通過(guò)金字塔濾波器對(duì)3尺度的多分辨率亮度圖像進(jìn)行4方向的濾波得到;圖4中(14)~(16)圖為利用ITTI[5]模型計(jì)算得到的顏色,強(qiáng)度,方向3個(gè)特征;由于Lab顏色模型是基于人對(duì)顏色

      圖3 本文利用改進(jìn)的FCN-8s提取的語(yǔ)義對(duì)象特征

      圖4 28個(gè)低級(jí)特征

      的感覺(jué),因此本文利用FT[21]模型提取Lab色彩空間特征(圖4中(17)圖);圖4中(18)~(23)圖為計(jì)算紅、綠、藍(lán)三顏色通道值及概率值,分別得到的3個(gè)色度特征及3個(gè)色度概率特征;圖4中(24)~(28)圖為利用中值濾波器對(duì)6尺度的彩色圖像進(jìn)行濾波,并計(jì)算三維色度直方圖而得到的5個(gè)色度直方圖特征.

      圖5 視覺(jué)注意力模型訓(xùn)練過(guò)程

      4 視覺(jué)注意力模型的訓(xùn)練

      提取語(yǔ)義對(duì)象特征FS和低級(jí)特征集合FL之后,得到本文提取的特征集合F={FS,FL}.為獲取提取的特征集F與本文構(gòu)建的VOC2012-E數(shù)據(jù)庫(kù)里記錄的眼動(dòng)追蹤數(shù)據(jù)的映射關(guān)系,本文引入機(jī)器學(xué)習(xí)理論,利用非線性分類器模擬人腦神經(jīng)系統(tǒng)的非線性映射.在統(tǒng)計(jì)學(xué)習(xí)理論中發(fā)展起來(lái)的SVM方法是一種通用學(xué)習(xí)方法,其在非線性分類應(yīng)用中有非常好的表現(xiàn).因此,本文利用SVM理論,訓(xùn)練得到每個(gè)特征與視覺(jué)注意力之間的關(guān)系,并在訓(xùn)練過(guò)程中,本文基于特征整合理論對(duì)特征集合F里的特征進(jìn)行并行處理[5],最后利用訓(xùn)練得到的映射關(guān)系生成視覺(jué)顯著圖.

      具體地,訓(xùn)練過(guò)程中,取樣本集S?T,T為基準(zhǔn)圖像的訓(xùn)練集.樣本s∈S.令

      設(shè)P為基準(zhǔn)圖像的像素集,P={p1,p2,…,pN},N為基準(zhǔn)圖像中像素的個(gè)數(shù).O(pi)表示像素的顯著度,i=1,2,…,N. 對(duì)像素集P進(jìn)行排序得到有序集合Po={po1,po2,…,poN},其中O(po1)≥O(po2)≥…≥O(poN).在利用SVM模型進(jìn)行訓(xùn)練時(shí),本文選擇Sp?S作為正樣本,Sn?S作為負(fù)樣本,其中Sp={po1,po2,…,pom},m=0.05N,Sn={pol,pol,…,poN},N-l=0.3N,最終預(yù)測(cè)出顯著圖,訓(xùn)練過(guò)程的流程圖如圖5所示.

      5 實(shí)驗(yàn)及結(jié)果分析

      為評(píng)測(cè)本文視覺(jué)注意力模型的性能,將其與8種經(jīng)典的視覺(jué)注意力模型在VOC2012-E數(shù)據(jù)庫(kù)上進(jìn)行比較,這8種模型分別是AIM[22],AWS[7],Judd[13],ITTI[5],GBVS[10],SUN[8],STB[23]和Torralba[9],然后在MIT300測(cè)試數(shù)據(jù)集上在線測(cè)試性能, 除以上8種模型之外,本文模型同時(shí)與4種先進(jìn)的視覺(jué)注意力模型在MIT300數(shù)據(jù)庫(kù)上相比較,這4種模型分別是eDN[11],UID[12], Deep Gaze2[15], DeepFeat[16].評(píng)價(jià)函數(shù)選取受試者工作特征曲線下面積(Area Uner Curve, AUC),線性相關(guān)系數(shù)(Correlation Coefficient, CC)及歸一化掃描路徑顯著性(Normalized Scan Path Saliency,NSS). AUC是度量視覺(jué)注意力模型預(yù)測(cè)出的顯著圖與基準(zhǔn)圖像的差異的一個(gè)評(píng)價(jià)函數(shù),通常,AUC的值介于0.5~1.0之間,AUC越大,模型的表現(xiàn)與基準(zhǔn)圖像更相近.CC用來(lái)衡量視覺(jué)注意力模型預(yù)測(cè)的顯著圖與基準(zhǔn)圖像的線性相關(guān)性. NSS為人眼凝視位置在模型輸出顯著圖上的歸一化顯著值為

      (2)

      (3)

      式中:S為模型的輸出顯著圖,σs和μs為模型輸出顯著圖上的均值與標(biāo)準(zhǔn)差.

      圖6為9種模型預(yù)測(cè)顯著圖的實(shí)驗(yàn)結(jié)果圖的示例,輸入圖片來(lái)自于VOC2012-E數(shù)據(jù)庫(kù).從實(shí)驗(yàn)結(jié)果可以看出,與其他8種模型相比,本文預(yù)測(cè)的顯著圖中語(yǔ)義對(duì)象特征是高顯著性的,這說(shuō)明本文提出的視覺(jué)注意力模型顯然更接近于人類視覺(jué)認(rèn)知.

      圖6 視覺(jué)注意力模型預(yù)測(cè)的顯著圖對(duì)比

      表2為9種模型在VOC2012-E數(shù)據(jù)庫(kù)上的評(píng)價(jià)函數(shù)結(jié)果比較.從表2可以明顯看出,三種評(píng)價(jià)函數(shù)AUC,NSS和CC評(píng)價(jià)結(jié)果都表明本文模型性能優(yōu)于其他模型.本文模型的AUC值最高(0.823),其次是Judd(0.822)和GBVS(0.810),而ITTI模型的AUC值僅為0.531,這意味著本文算法與其他模型相比,更接近于基準(zhǔn)圖像.本文模型的NSS值為1.360,其次是GBVS (1.263)和Judd (1.242),而STB模型的NSS值只有0.399,在9種模型中最低,僅為本文模型的1/4.本文模型的CC值(0.557)也最大,而CC值越高,注意力模型預(yù)測(cè)的顯著圖與注視點(diǎn)之間的相關(guān)性越高.因此,本文模型預(yù)測(cè)的顯著圖更接近于人眼注視點(diǎn),這是因?yàn)楸疚哪P偷奶岢鍪鞘苋祟愖杂捎^察自然場(chǎng)景的感知過(guò)程的啟發(fā),在模型訓(xùn)練過(guò)程中融合了語(yǔ)義對(duì)象特征和典型的低級(jí)特征.

      此外,為了進(jìn)一步評(píng)估本文提出的模型,本文在公開(kāi)數(shù)據(jù)庫(kù)MIT300進(jìn)行評(píng)測(cè),該數(shù)據(jù)庫(kù)包含了9個(gè)受試者觀察300張自然圖像時(shí)人眼注視點(diǎn)的基準(zhǔn)數(shù)據(jù),評(píng)測(cè)結(jié)果如表3所示,除了前文比較的8種模型之外,同時(shí)比較了4種先進(jìn)的模型:Deep Gaze2及Deep feat同樣整合了高級(jí)特征與低級(jí)特征;eDN同樣利用SVM整合特征;及無(wú)監(jiān)督模型UID.

      根據(jù)表3結(jié)果,AUC最高值為Deep Gaze2模型(0.84),而本文模型的AUC值與GBVS,Judd, eDN及DeepFeat模型的AUC值相近,但是本文模型的NSS值(1.27)在12種模型中最高,而且本文模型的CC值與DeepFeat模型的CC值并列最高(0.49).其中,整合了同樣高級(jí)特征與低級(jí)特征的Deep Gaze2模型與Deep feat模型與本文模型總體表現(xiàn)最優(yōu),而本文模型略勝一籌,這說(shuō)明了本文整合語(yǔ)義特征的先進(jìn)性.雖然同樣利用SVM整合特征的eDN模型的NSS值較低(1.14),但其AUC值與本文相同,CC值也較高,說(shuō)明了本文利用SVM整合特征的有效性.因此本文模型在MIT300數(shù)據(jù)庫(kù)上性能表現(xiàn)良好,可以有效地預(yù)測(cè)人眼注視點(diǎn).

      表2 9種模型在VOC2012-E數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果比較

      表3 12種模型在MIT300數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果比較

      6 結(jié) 論

      本文提出了一種整合了語(yǔ)義對(duì)象特征的視覺(jué)注意力模型.通過(guò)建立眼動(dòng)跟蹤數(shù)據(jù)庫(kù)VOC2012-E,研究并記錄普通人在觀察自然場(chǎng)景時(shí)的眼動(dòng)數(shù)據(jù),經(jīng)過(guò)分析得出語(yǔ)義對(duì)象特征在吸引人們的注意力時(shí)有重要作用.然后,受語(yǔ)義分割啟發(fā),利用深度學(xué)習(xí)網(wǎng)絡(luò)FCN-8s提取語(yǔ)義對(duì)象特征,同時(shí)用激活函數(shù)PReLu,優(yōu)化函數(shù)Adam改進(jìn)網(wǎng)絡(luò)使其更有效地提取的語(yǔ)義對(duì)象特征.接著,提取在人類潛意識(shí)層吸引人注意力的如方向,顏色,強(qiáng)度特征等28個(gè)低級(jí)特征.最后訓(xùn)練機(jī)器學(xué)習(xí)分類器SVM將之前提取的語(yǔ)義對(duì)象特征及低級(jí)特征映射到人類視覺(jué)空間,訓(xùn)練后的模型可以預(yù)測(cè)自然場(chǎng)景的人眼視覺(jué)顯著圖.經(jīng)過(guò)在VOC2012-E及MIT300數(shù)據(jù)庫(kù)的測(cè)試,與其他8種經(jīng)典模型及4種先進(jìn)模型相比,本文提出的視覺(jué)注意力模型性能更好,更符合人類觀察圖像時(shí)的視覺(jué)習(xí)慣,即語(yǔ)義對(duì)象高顯著.

      猜你喜歡
      注視點(diǎn)人眼眼動(dòng)
      眼動(dòng)儀技術(shù)在里院建筑特色分析中的應(yīng)用
      基于眼動(dòng)的駕駛員危險(xiǎn)認(rèn)知
      基于ssVEP與眼動(dòng)追蹤的混合型并行腦機(jī)接口研究
      載人航天(2021年5期)2021-11-20 06:04:32
      基于超復(fù)數(shù)小波和圖像空域的卷積網(wǎng)絡(luò)融合注視點(diǎn)預(yù)測(cè)算法
      人眼X光
      人眼為什么能看到虛像
      射擊運(yùn)動(dòng)員的反向眼跳研究
      閃瞎人眼的,還有唇
      優(yōu)雅(2016年12期)2017-02-28 21:32:58
      基于中央凹圖像顯著性和掃視傾向的注視點(diǎn)轉(zhuǎn)移預(yù)測(cè)模型
      看人,星光璀璨繚人眼
      電影故事(2016年5期)2016-06-15 20:27:30
      临夏市| 新泰市| 乐清市| 榆中县| 和平县| 仙桃市| 全南县| 台北县| 昭通市| 天镇县| 呼图壁县| 仪陇县| 吐鲁番市| 德格县| 临邑县| 出国| 大关县| 且末县| 株洲县| 吉木萨尔县| 大名县| 大渡口区| 新宁县| 定南县| 望都县| 夏津县| 轮台县| 北票市| 汾阳市| 清苑县| 延寿县| 体育| 西宁市| 泸溪县| 鄂托克前旗| 广丰县| 鄂温| 丽水市| 聂拉木县| 黄石市| 宣威市|