污染修復(fù)場地中基于顯著性的目標(biāo)檢測方法

張寶峰，曹珍珍，朱均超*，劉 娜

（天津理工大學(xué)a.天津市復(fù)雜系統(tǒng)控制理論及應(yīng)用重點(diǎn)實(shí)驗(yàn)室，b.電氣電子工程學(xué)院，天津300384）

顯著性檢測是指人們在復(fù)雜、宏大的動(dòng)態(tài)、靜態(tài)場景中可以快速定位感興趣物體、事件的能力。顯著性檢測的目的是經(jīng)過視覺系統(tǒng)排除場景中冗余無用的信息，快速找出圖片、視頻等視覺數(shù)據(jù)中最吸引人注意的區(qū)域，減少大腦的決策負(fù)擔(dān)，從而使身體對外部刺激的反應(yīng)更加迅速[1]。

顯著性檢測的經(jīng)典模型主要有以下4種：1）認(rèn)知模型。對于圖像，模型提取基本視覺特征：顏色（RBGY）、亮度和方向，在多種尺度下使用中央-邊緣操作體現(xiàn)顯著性度量的特征圖，將這些特征圖組合得到最終的顯著性圖后，利用生物學(xué)中的贏家取全競爭機(jī)制，得到圖像中最顯著的區(qū)域，它用于指導(dǎo)注意位置的選擇，之后通過返回抑制的方式完成注意焦點(diǎn)的移動(dòng)[2]。該模型已變成自下而上視覺注意模型的標(biāo)準(zhǔn)。然而，該模型中顯著圖的生成通常由不同的初級特征圖在相應(yīng)的合并策略下生成，有時(shí)會導(dǎo)致合成的顯著圖的大小和位置與目標(biāo)存在一定的差異。2）決策論模型。從決策論的角度看，進(jìn)化感知系統(tǒng)可以在決策論意義中產(chǎn)生對周圍環(huán)境的最優(yōu)決策。決策理論中的注意模型既能表達(dá)自下而上的注意，又能表達(dá)自上而下的注意。它已成功地應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域，如分類、視覺位置預(yù)測等，取得了很高的精度。但該模型忽略了數(shù)據(jù)間的相關(guān)性，容易發(fā)生過擬合[3]。3）圖論模型?；趫D論的顯著性模型以眼動(dòng)數(shù)據(jù)為時(shí)間序列，采用隱馬爾可夫模型、動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)和條件隨機(jī)場等方法，它可以對復(fù)雜的注意機(jī)制進(jìn)行建模，從而獲得更好的預(yù)測能力。但是，當(dāng)模型涉及訓(xùn)練和可讀性時(shí)，它是高度復(fù)雜的[4]。4）頻域模型?；陬l域的顯著性模型，形式簡潔、易于實(shí)現(xiàn)，并在注意焦點(diǎn)預(yù)測和顯著區(qū)域檢測方面取得了很大的成功，但其生物合理性不是非常清楚。

在污染修復(fù)場地中，部分工作區(qū)域的有毒氣體含量過高且環(huán)境復(fù)雜，若未佩戴高級防毒面具的工作人員誤入這些危險(xiǎn)的區(qū)域?qū)ぷ魅藛T的人身安全造成威脅，因此對于施工人員的實(shí)時(shí)防護(hù)在污染修復(fù)場地中是非常重要的。其中對施工人員的檢測結(jié)果，是決定實(shí)時(shí)防護(hù)是否能有效進(jìn)行的根本。由于現(xiàn)場背景通常與4個(gè)圖像邊界中每一個(gè)局部或全局呈現(xiàn)外觀連通性，且前景呈外觀一致。本文將采用基于流形排序的自下而上顯著性檢測模型，同時(shí)考慮局部信息和全局信息，綜合利用圖像中背景、前景的先驗(yàn)位置分布[5]及連通性通過流形排序方法得到最終顯著圖，以提高工作區(qū)域中人員檢測的精準(zhǔn)度。

1 基于流形排序的顯著性檢測

流形排序指利用數(shù)據(jù)（如圖像）的內(nèi)在流形結(jié)構(gòu)進(jìn)行圖形標(biāo)注的排序方法。經(jīng)典的基于流形排序顯著性檢測算法[6]是將超像素分割后構(gòu)建的圖形，進(jìn)行兩階段的流形排序算法。具體算法流程如圖1所示。

圖1 基于流行排序的顯著性檢測算法流程圖Fig.1 Flow chart of significance detection algorithm based on popular sorting

1.1 圖形構(gòu)建

基于流形排序顯著性檢測的經(jīng)典算法采用超像素分割的方法[7]，即在圖模型G中以超像素為節(jié)點(diǎn)E構(gòu)造k-正則圖。使每個(gè)節(jié)點(diǎn)不僅連接到其相鄰節(jié)點(diǎn)，而且還連接到與其相鄰節(jié)點(diǎn)共享同一超像素邊界的節(jié)點(diǎn)。并且圖中4個(gè)邊界處的節(jié)點(diǎn)強(qiáng)制兩兩相連，構(gòu)成封閉圖。

兩個(gè)節(jié)點(diǎn)之間的邊權(quán)重為：

其中，ci、cj表示CIELAB顏色空間中相鄰節(jié)點(diǎn)的超像素平均值；δ為控制邊權(quán)重的常數(shù)；V為由數(shù)據(jù)集X={x1，x2，…，xn}?Rm×n（m為特征維數(shù)）組成的節(jié)點(diǎn)。

1.2 第一階段的顯著性檢測

第一階段為背景先驗(yàn)的流形排序算法[8]，將圖像各邊界節(jié)點(diǎn)作背景種子點(diǎn)，利用其他節(jié)點(diǎn)與背景種子點(diǎn)的相似度排序代替顯著性，由此得到第一階段的顯著圖。

以圖像的上邊界為例。將邊界上的節(jié)點(diǎn)設(shè)為背景種子點(diǎn)，其他為未被標(biāo)記的節(jié)點(diǎn)，可以得出指示向量y。定義指示向量y=[y1，…，yn]T，當(dāng)xi為種子點(diǎn)時(shí)yi=1，否則yi=0。

根據(jù)公式（2）可以計(jì)算出所有節(jié)點(diǎn)的排序向量f*（f*是N維向量，每一元素均為節(jié)點(diǎn)與背景種子點(diǎn)的相關(guān)性）。

其中，D為圖的度矩陣D=diag{d11，…，dnn}，參數(shù)α=1/（1+μ）實(shí)驗(yàn)時(shí)設(shè)為0.99；W為關(guān)聯(lián)矩陣W=[wij]n×n。

將向量f*歸一化至[0，1]，則超像素節(jié)點(diǎn)i的顯著性為：

其中，N為圖像的節(jié)點(diǎn)總數(shù)；f*（i）為超像素節(jié)點(diǎn)i的歸一化向量。

由此可以得到使用上邊界先驗(yàn)的顯著圖St。同樣，通過計(jì)算不同的指示向量y，可以使下、左、右邊界的超像素節(jié)點(diǎn)作為背景種子點(diǎn)來計(jì)算顯著圖Sb、Sl、Sr。將4個(gè)得到的顯著圖融合，即為第一階段顯著圖Sbq：

1.3 第二階段的顯著性檢測

第二階段為前景上的流形排序算法[9]，先利用自適應(yīng)閾值分割處理第一階段的顯著圖，得出前景種子點(diǎn)。由此可得指示向量y，經(jīng)公式（2）可計(jì)算出排序向量f*，將其歸一化后再利用流形排序方法加強(qiáng)，即為最終的顯著圖Sfq：

其中，N為圖像的節(jié)點(diǎn)總數(shù)，f*（i）為超像素節(jié)點(diǎn)i的歸一化向量。

基于流形排序問題的模型如圖2所示。

圖2 基于流行排序問題的模型示意圖Fig.2 Model diagram based on popular ranking problem

2 本文算法

雖然經(jīng)典的基于流形排序的顯著性檢測方法在一些數(shù)據(jù)集上對其準(zhǔn)確率以及運(yùn)行速度進(jìn)行了驗(yàn)證，并得到了較好的結(jié)果。但在本課題的研究背景下，最終得到的人員檢測顯著圖由于環(huán)境的影響其結(jié)果并不是十分滿意。因此，本文在經(jīng)典算法的基礎(chǔ)上進(jìn)行了相應(yīng)的改進(jìn)。

2.1 調(diào)整權(quán)重

由于連接區(qū)域中的超像素很可能同屬于前景目標(biāo)或背景。在保留流形排序方法構(gòu)造的正則圖基礎(chǔ)上，本文將屬于同一連通區(qū)域的超像素連接起來。將公式（1）定義的邊權(quán)重重新定義為

其中，Ci和Cj是CIELab顏色空間中節(jié)點(diǎn)i和j的連接區(qū)域取值，包含所有超級像素的平均顏色；λ是平衡系數(shù)，取值為0.50；實(shí)驗(yàn)時(shí)，

根據(jù)公式（6）調(diào)整邊權(quán)重，使屬于同一連接區(qū)域的節(jié)點(diǎn)之間的連接更強(qiáng)。與公式（1）中邊緣權(quán)重的設(shè)置相比，它更容易區(qū)分，更符合人類視覺的直觀感受[10]。

2.2 調(diào)整參數(shù)

經(jīng)典的基于流形排序顯著性檢測算法在設(shè)置超像素塊時(shí)，一般將圖片劃分為200個(gè)超像素塊。通過實(shí)驗(yàn)，本文對效率和精度進(jìn)行了綜合測試，認(rèn)為使用300個(gè)超像素塊可以獲得更精確的結(jié)果，而在時(shí)間成本方面，它與劃分200個(gè)超級像素塊所需的時(shí)間略有不同。

分割的超像素塊愈精細(xì)，控制節(jié)點(diǎn)間權(quán)重強(qiáng)度的δ也應(yīng)適當(dāng)變大，補(bǔ)償像素塊增多引起的權(quán)重衰減。本文通過實(shí)驗(yàn)，將δ12=δ22設(shè)為0.20。然后根據(jù)δ2的值，找到最佳的α值為0.90。

3 實(shí)驗(yàn)與驗(yàn)證

本文的實(shí)驗(yàn)平臺系統(tǒng)為Windows10，軟件為Matlab R2017b Win 64版本，處理器為Intel（R）Core（TM）i5-3210M，主頻為2.50 GHz，內(nèi)存為4.00 GB。

本文在實(shí)驗(yàn)時(shí)，設(shè)置超像素的數(shù)量N=300；算法中的參數(shù)α、δ根據(jù)經(jīng)驗(yàn)設(shè)為α=0.90，δ12=δ22=0.20；經(jīng)典算法參數(shù)設(shè)置為δ2=0.10、α=0.99[11]。本文改進(jìn)方法與經(jīng)典算法的實(shí)驗(yàn)結(jié)果對比如圖3。

圖3 經(jīng)典算法與本文算法視覺結(jié)果對比圖Fig.3 Comparison of the visual results between the classical algorithm and the algorithm in this paper

3.1 數(shù)據(jù)集

顯著性檢測算法至今發(fā)展為兩個(gè)分支，與此對應(yīng)提出了兩種類型的數(shù)據(jù)集。一類為顯著性檢測評估提供了眼動(dòng)數(shù)據(jù)標(biāo)注，記錄人眼的注意位置及停留時(shí)長；一類為顯著性檢測提供像素級的顯著物體精確標(biāo)注，利于顯著性物體的檢測結(jié)果對比，代表性數(shù)據(jù)集為MSRA10、MSRA10K和ECSSD。此外，數(shù)據(jù)集DUT-OMRON，同時(shí)提供上述兩種性能。由于不同數(shù)據(jù)集中所含圖像數(shù)量及分辨率均有差異，因此，大多數(shù)顯著性檢測的結(jié)果需在多個(gè)數(shù)據(jù)集中進(jìn)行測試以反映顯著性檢測方法的性能。針對本文對目標(biāo)進(jìn)行顯著性檢測的研究目的，選定MSRA10K、DUT-OMRON兩個(gè)數(shù)據(jù)集為本文所用數(shù)據(jù)集。

3.2 評價(jià)方法

為了對實(shí)驗(yàn)結(jié)果進(jìn)行定量對比，本文采用準(zhǔn)確率-召回率曲線（PR曲線）、接收器操作特性曲線（ROC曲線）下的面積（AUC）、F值（F-measure）3種評價(jià)指標(biāo)[12]，將本文算法與經(jīng)典算法在MSRA10K、DUT-OMRON兩個(gè)數(shù)據(jù)集上進(jìn)行對比驗(yàn)證。

PR曲線可以體現(xiàn)由閾值T把顯著圖V轉(zhuǎn)化成的二制圖M與給定標(biāo)注G之間的關(guān)系，如公式（7）所示。在保證準(zhǔn)確率P的前提下，召回率R越高則說明顯著圖V越準(zhǔn)確。

與PR曲線類似，ROC也有多組點(diǎn)對組成，其中橫坐標(biāo)為假陽性率FPR、縱坐標(biāo)為真陽性率TPR。

曲線假陽性率越低，真陽性率越高，則說明顯著性圖V越準(zhǔn)確。本文利用ROC曲線求出其下方面積AUC。該面積越大，代表FPR越小，同時(shí)TPR越大，相比于ROC曲線，AUC更能直觀的反映優(yōu)劣。

F-measure只計(jì)算某個(gè)閾值T得到的PR點(diǎn)對，然后根據(jù)公式（9）得到的標(biāo)量來衡量算法的優(yōu)劣。本文在實(shí)驗(yàn)時(shí)設(shè)置β2=0.30來強(qiáng)調(diào)精度。

兩種算法在MSRA10K、DUT-OMRON數(shù)據(jù)集上的對比結(jié)果如圖4、圖5所示。

圖4 兩算法在MSRA10K數(shù)據(jù)集上不同評價(jià)方法的結(jié)果Fig.4 The results of different evaluation methods of the two algorithms on MSRA10K data set

圖5 兩算法在DUT-OMRON數(shù)據(jù)集上不同評價(jià)方法的結(jié)果Fig.5 The results of different evaluation methods of two algorithms on DUT-OMRON data set

4 結(jié)論

本文通過對經(jīng)典的基于流形排序顯著性檢測方法中權(quán)重以及相關(guān)參數(shù)的調(diào)整，對該算法進(jìn)行了相應(yīng)的改善。解決了原有算法在本文研究背景下檢測結(jié)果準(zhǔn)確度低的問題。通過對兩種算法的最終顯著圖進(jìn)行視覺對比，可以發(fā)現(xiàn)本文算法相較于原有算法在視覺效果上有一定的改進(jìn)。同時(shí)，根據(jù)在MSRA10K、DUT-OMRON兩個(gè)數(shù)據(jù)集上進(jìn)行的相應(yīng)評估可以得出，本文算法在準(zhǔn)確率、召回率等方面也得到了一定的改善。