基于超像素的感知哈希交通場(chǎng)景圖像去重方法

崔文飛，邊東巖，王會(huì)峰，武澤鍵，楊文光

(1.長(zhǎng)安大學(xué)電子與控制工程學(xué)院，陜西 西安 710064；2.濮陽市高級(jí)技工學(xué)校，河南 濮陽 457000)

0 引言

建立交通場(chǎng)景樣本庫對(duì)無人車進(jìn)行駕駛場(chǎng)景測(cè)試，是測(cè)試無人車信息感知系統(tǒng)靜態(tài)穩(wěn)定性與安全性的基礎(chǔ)環(huán)節(jié)之一。建立交通場(chǎng)景樣本庫，需要對(duì)不同的交通情況分類，而采集圖像數(shù)據(jù)過程中不可避免地存在車輛靜止(等待交通信號(hào)燈、交通擁堵等情況)和車速較低(車輛起步)時(shí)采集到的大量相似圖像。龐大的冗余圖像數(shù)據(jù)沒有很高的價(jià)值，故應(yīng)在場(chǎng)景分類前對(duì)現(xiàn)有交通場(chǎng)景庫進(jìn)行去重操作。

圖像去重算法可以分為2類：一類基于傳統(tǒng)密碼學(xué)的圖像去重;另一類基于感知哈希的圖像去重[1]。文獻(xiàn)[2-8]通過不同的方法提取整幅圖像的特征，生成不同序列實(shí)現(xiàn)圖像去重。文獻(xiàn)[9]通過對(duì)圖像分塊計(jì)算每塊圖像DCT系數(shù)，最終量化為哈希序列。

基于以上研究，本文針對(duì)交通場(chǎng)景下的相似圖像去重問題，提出了一種基于超像素分割下感知哈希的交通場(chǎng)景圖像去重算法。

1 圖像超像素分割

圖像的超像素分割是一種將圖像分割為多個(gè)超像素區(qū)域，每個(gè)區(qū)域內(nèi)顏色、紋理等特征相似，在圖像視覺方面廣泛應(yīng)用的預(yù)處理步驟[10]。這些圖像區(qū)域保留了該區(qū)域的有效信息，不會(huì)對(duì)整個(gè)圖像的視覺表達(dá)產(chǎn)生影響。

相關(guān)的計(jì)算公式為

(1)

dc為顏色距離，是圖像Lab顏色空間下的像素點(diǎn)間的距離；l,a,b分別為圖像Lab顏色空間下的各個(gè)分量；ds為空間距離；x,y分別為圖像空間坐標(biāo)系下的坐標(biāo)分量;D為最終的距離度量;Nc為最大顏色距離，這里取Nc=10。

圖1和圖2分別為交通場(chǎng)景原圖像和取超像素個(gè)數(shù)K為200的圖像。

圖1 原圖像

圖2 超像素分割后的圖像

2 提取圖像特征

由于超像素的性質(zhì)是把一些具有相似特性的像素“聚合”起來，形成一個(gè)更具有代表性的大“元素”[13]，在計(jì)算得到超像素分割后的圖像后，對(duì)圖像灰度化[14]。計(jì)算每個(gè)超像素塊的像素均值序列化后作為圖像的像素特征；選擇其中1個(gè)像素作為超像素塊的描述，所有像素描述組合作為整幅圖像的描述。在此基礎(chǔ)上進(jìn)行DCT變換，按照特定的順序?qū)ο禂?shù)編碼生成圖像的感知哈希序列，并作為圖像DCT特征。圖像感知哈希算法如圖3所示。

圖3 圖像感知哈希算法

2.1 提取圖像像素均值特征

經(jīng)過超像素分割后，計(jì)算出每個(gè)超像素區(qū)域的均值，從而獲得區(qū)域圖像像素的均值特征矩陣。從矩陣左上角開始，按照從左到右、從上到下的順序依次排列，進(jìn)而將矩陣轉(zhuǎn)化為一個(gè)特征向量MPix，稱為均值特征向量。整個(gè)圖像的像素均值記為MAPix，以此對(duì)均值向量量化為M。公式為

(2)

2.2 提取圖像DCT特征

對(duì)經(jīng)過預(yù)處理的圖像描述集合進(jìn)行DCT變換，獲得圖像的DCT系數(shù)矩陣Ceof。在圖像信號(hào)變換中，DCT變換是一種準(zhǔn)最佳變換[15]。其變換矩陣的基向量能很好地描述圖像信號(hào)的相關(guān)特征。

交通圖像原圖像和DCT譜系數(shù)如圖4所示。由圖4b可知，集中在圖像左上角的點(diǎn)亮，而右下角的點(diǎn)暗，圖中的點(diǎn)越亮代表有效信息占據(jù)越大。因此，可認(rèn)為與圖像有關(guān)的重要可感知信息都集中在DCT變換后系數(shù)的左上角部分，而且呈往右下角擴(kuò)散的順序遞減[16]。

這里包含的控制變量有人口總量，實(shí)際GDP總量，人均實(shí)際GDP和貿(mào)易量。需要注意的是，由于金融發(fā)展水平的內(nèi)生性，我們不排除經(jīng)濟(jì)增長(zhǎng)對(duì)金融發(fā)展的潛在反饋機(jī)制，同時(shí)已有文獻(xiàn)提出通貨膨脹與金融發(fā)展具有一定聯(lián)系[17]，所以經(jīng)濟(jì)增長(zhǎng)率(GDP growth)和通貨膨脹(Inflation)也作為控制變量加入模型。

圖4 原圖像與DCT譜系數(shù)圖像

選取系數(shù)矩陣Ceof中從左上角開始，按Zigzag模式[17]順序如圖5所示掃描整個(gè)圖像描述集，得到特征系數(shù)序列F，通過特征系數(shù)矩陣表達(dá)整幅圖像，以代表圖像的信息。

圖5 Zigzag 模式

計(jì)算系數(shù)矩陣Ceof的均值gAvg，即

(3)

將整個(gè)系數(shù)矩陣中大于等于gAvg的記為1，小于gAvg的記為0，最終得到圖像的DCT特征感知哈希H為

(4)

3 圖像的相似性度量

采用Jaccard距離[18]作為比較2個(gè)感知哈希序列值之間相似性的一種度量。用D(x,y)表示2副圖像的感知哈希序列x(x1,x2,…,xn)和y(y1,y2,…,yn)的Jaccard距離。統(tǒng)計(jì)序列x和y中同為0的個(gè)數(shù)記為M00；統(tǒng)計(jì)序列x為1，序列y為0的個(gè)數(shù)記為M10；統(tǒng)計(jì)序列x為0，序列y為1的個(gè)數(shù)記為M01；統(tǒng)計(jì)序列x和y中同為1的個(gè)數(shù)記為M11，則有

(5)

通過上述公式分別計(jì)算圖像均值特征M和DCT系數(shù)特征H的Jaccard距離，并記為D1和D2。根據(jù)權(quán)重確定2種特征對(duì)圖像相似度做的貢獻(xiàn)，則有

D(x,y)=θ1×D1+θ2×D2

(6)

其中，θ1+θ2=1，計(jì)算出2幅圖像間的D(x,y)越大，表示它們的相似度越小。通過設(shè)置合理的閾值T來區(qū)別相同及相似圖像：當(dāng)D(x,y)≥T，則表示2幅圖像不同；當(dāng)D(x,y)

圖6 圖像去重過程

4 實(shí)驗(yàn)分析

測(cè)試機(jī)器的CPU為2.6 GHz Intel Core i5，內(nèi)存為6 GB，采用Windows10系統(tǒng)和MATLAB 2019?；诮煌▓?chǎng)景的相似圖像去重算法流程主要包括2個(gè)部分：

a.感知哈希的構(gòu)造過程。在實(shí)際去重過程中先提取歸一化后圖像的超像素，計(jì)算圖像像素均值特征，構(gòu)建基于超像素的圖像集，在構(gòu)建的圖像描述基礎(chǔ)上進(jìn)行DCT變換，提取變換后的系數(shù)特征，最終將計(jì)算獲得的2部分二值序列保存在文本文件中，方便下一步計(jì)算和查找。

b.相似圖像檢測(cè)過程。首先計(jì)算現(xiàn)有交通場(chǎng)景圖像的感知哈希序列，并存儲(chǔ)在哈希序列庫中。當(dāng)有待檢測(cè)圖像傳來時(shí)，計(jì)算待檢測(cè)圖像的感知哈希序列。通過相似性度量，若計(jì)算所得結(jié)果大于等于設(shè)定的閾值，檢測(cè)結(jié)果場(chǎng)景庫中不存在相似圖像，并將此圖像入庫；反之刪除圖像。

4.1 算法準(zhǔn)確性

選取KITTI、DeepTesla、Cityscapes數(shù)據(jù)集中共1 000張圖像構(gòu)建初始數(shù)據(jù)庫，針對(duì)圖像的DCT特征向量使其兩兩組合計(jì)算不同的圖像間的距離。一共產(chǎn)生500 500組感知距離。最終特征感知距離頻數(shù)分布統(tǒng)計(jì)直方圖如圖7所示。

圖7 感知距離頻數(shù)分布統(tǒng)計(jì)直方圖

由圖7可知，向量間感知距離頻數(shù)的均值為55.7，方差為8.5，表明由部分?jǐn)?shù)據(jù)集組成的測(cè)試數(shù)據(jù)庫抗沖突性強(qiáng)，延展性高。能保證場(chǎng)景庫多樣性，為測(cè)試實(shí)驗(yàn)提供了數(shù)據(jù)保證。

在實(shí)驗(yàn)中，隨機(jī)從建立的數(shù)據(jù)庫中選擇250張相同的圖像作為算法準(zhǔn)確性的測(cè)試數(shù)據(jù)，計(jì)算選取圖像的像素特征和DCT特征的感知序列分別與存儲(chǔ)在特征序列數(shù)據(jù)庫中的圖像感知序列的距離，在θ1=θ2=0.5的條件下，計(jì)算它們的相似度，測(cè)試在不同閾值下的去重效果，結(jié)果如表1所示。

表1 不同閾值下去重效果

由表1不同閾值下去重準(zhǔn)確率與錯(cuò)誤率可知，在相同圖像去重方面，取不同的閾值均有去重效果，但隨著閾值增大，去重錯(cuò)誤率也隨之增大。當(dāng)閾值T=0.15時(shí)，去重效果最好，錯(cuò)誤最低，最能保證能完全剔除相同圖像。

4.2 算法高效性

以KITTI、DeepTesla、Cityscapes 數(shù)據(jù)集中的圖像作為實(shí)驗(yàn)對(duì)象。選取有代表性的相同場(chǎng)景的圖像，包括連續(xù)圖像幀、不同相機(jī)視角拍攝的場(chǎng)景圖像，并對(duì)交通場(chǎng)景做了一些調(diào)整，如亮度調(diào)整、伽瑪校正、加水印等操作來構(gòu)成測(cè)試的數(shù)據(jù)集，每一類選取500張圖像。選取的部分圖像如圖8所示。

圖8 圖像調(diào)整

為了更進(jìn)一步說明本文算法的效果，通過與其他算法,如文獻(xiàn)[6]中的像素域平均值感知哈希算法AVG-hash、文獻(xiàn)[7]中DCT感知哈希算法D-phash和文獻(xiàn)[9]中分塊DCT感知哈希去重算法BDCT-hash進(jìn)行對(duì)比實(shí)驗(yàn)，計(jì)算不同算法下去重準(zhǔn)確率。實(shí)驗(yàn)結(jié)果如表2所示。

表2 不同算法的去重準(zhǔn)確率比較 %

由表2可知，本文算法在對(duì)圖像執(zhí)行不同操作的去重準(zhǔn)確率平均為98.55%。實(shí)驗(yàn)結(jié)果表明，針對(duì)圖像本身做調(diào)整，這幾個(gè)算法都有比較好的處理效果，但針對(duì)連續(xù)圖像等的操作本文去重效果更好。這也更符合實(shí)際應(yīng)用的條件。本文算法可準(zhǔn)確識(shí)別相同圖像，提高了相同圖像的識(shí)別率。

4.3 算法魯棒性

為了進(jìn)一步說明本文算法的魯棒性，采用ROC曲線進(jìn)行對(duì)比分析。ROC曲線是以二分類問題的真陽性率為縱坐標(biāo)，以假陽性率為橫坐標(biāo)繪制的曲線。計(jì)算公式為：

RTPR=NTP/(NTP+NFN)

(7)

RFPR=NFP/(NFP+NTN)

(8)

NTP為實(shí)際相似的2幅圖像被認(rèn)定為相似的數(shù)目；NFN為實(shí)際相似的2幅圖像被認(rèn)定為不同的數(shù)目；NFP為實(shí)際不同的2幅圖像被認(rèn)定為相似的數(shù)目；NTN為實(shí)際不同的2幅圖像被認(rèn)定為不同的數(shù)目；RTPR為真陽性率；RFPR為假陽性率。

由此繪制ROC曲線如圖9所示。

圖9 ROC曲線

由圖9可知，本文算法的魯棒性要略優(yōu)于文獻(xiàn)[7]和文獻(xiàn)[9]的算法。在RFPR>0.1時(shí)，本文算法有較高的RTPR，在RTPR<0.7時(shí)，本文算法有較低的RFPR。故本文算法魯棒性好，能更好地實(shí)現(xiàn)交通場(chǎng)景預(yù)處理。

5 結(jié)束語

交通場(chǎng)景樣本庫是無人車虛擬測(cè)試中很重要的部分，建立樣本庫的過程中會(huì)收集大量的樣本來保證場(chǎng)景樣本多樣化，但這會(huì)造成樣本庫中存在大量的重復(fù)及相似的樣本，這種重復(fù)及相似樣本增大了后續(xù)處理的復(fù)雜度。本文在現(xiàn)有的感知哈希算法基礎(chǔ)上提出了提取超像素的感知哈希算法。經(jīng)對(duì)比實(shí)驗(yàn)表明，該方案具有較高的準(zhǔn)確性和魯棒性。相比較其他算法，本文算法準(zhǔn)確率平均為98.55%，滿足交通場(chǎng)景圖像去重的要求。可準(zhǔn)確識(shí)別出相似圖像，為構(gòu)建典型交通場(chǎng)景樣本庫提供了有利條件。