無線電環(huán)境地圖的冗余感知數(shù)據(jù)刪除技術(shù)研究

劉媛妮，黎北河，蘇 飛，趙國鋒,3，關(guān) 鑫，段 潔

(1.重慶郵電大學(xué) 未來網(wǎng)絡(luò)研究中心 , 重慶 400065；2.中國聯(lián)通 網(wǎng)絡(luò)技術(shù)研究院，北京 100080；3.重慶市高校光通信與網(wǎng)絡(luò)重點(diǎn)實(shí)驗(yàn)室，重慶 400065；4.重慶市渝中區(qū)公安局分局，重慶 400010)

0 引 言

隨著無線通信技術(shù)的快速發(fā)展，人們對無線頻譜資源的需求日益增加，因此無線電頻譜資源也越來越寶貴。為了準(zhǔn)確、實(shí)時地展現(xiàn)人們周圍無線電頻譜資源的使用情況，以便對無線電資源的有效管理，無線電環(huán)境地圖(radio environment map，REM)系統(tǒng)應(yīng)運(yùn)而生。在REM數(shù)據(jù)收集技術(shù)的研究中，相對于傳統(tǒng)的數(shù)據(jù)收集技術(shù)，移動群智感知[1](mobile crowd sensing，MCS)利用移動設(shè)備內(nèi)置的感知模塊進(jìn)行信息收集，具有網(wǎng)絡(luò)部署成本低、維護(hù)簡單、系統(tǒng)可擴(kuò)展性強(qiáng)以及采集數(shù)據(jù)類型廣泛等優(yōu)勢，并且能夠滿足構(gòu)建無線電環(huán)境地圖系統(tǒng)的基本要求?；谝苿尤褐歉兄臒o線電環(huán)境地圖數(shù)據(jù)收集系統(tǒng)采用人們隨身攜帶的移動智能終端進(jìn)行無線電數(shù)據(jù)采集，如在智能手機(jī)上安裝具有無線電數(shù)據(jù)采集功能的APP進(jìn)行周圍無線電數(shù)據(jù)的采集，為REM系統(tǒng)的構(gòu)建提供基礎(chǔ)數(shù)據(jù)。由于移動群智感知技術(shù)具有時空相關(guān)性特點(diǎn)，導(dǎo)致REM系統(tǒng)的感知數(shù)據(jù)中存在大量相似的冗余數(shù)據(jù)，給REM整個系統(tǒng)帶來了一些問題：①存儲系統(tǒng)的磁盤空間消耗大，存儲效率低；②數(shù)據(jù)傳輸?shù)臄?shù)據(jù)量大，網(wǎng)絡(luò)帶寬的冗余消耗。

針對這些問題，提出了一種基于感知數(shù)據(jù)綜合差異度的無線電環(huán)境地圖冗余數(shù)據(jù)刪除技術(shù)。一方面，利用冗余數(shù)據(jù)刪除技術(shù)可以對無線電環(huán)境地圖數(shù)據(jù)收集系統(tǒng)的存儲空間利用率進(jìn)行優(yōu)化，以消除分布在存儲系統(tǒng)中的重復(fù)或相似數(shù)據(jù)，即在保證感知數(shù)據(jù)完整性的前提下，進(jìn)行冗余數(shù)據(jù)的檢測及刪除，降低數(shù)據(jù)冗余度。另一方面，利用冗余數(shù)據(jù)刪除技術(shù)可以減少在網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)量，進(jìn)而降低能量消耗和網(wǎng)絡(luò)成本，并為數(shù)據(jù)的傳輸節(jié)省網(wǎng)絡(luò)帶寬。

1 相關(guān)研究

1.1 無線電環(huán)境地圖

目前，隨著無線通信技術(shù)的發(fā)展，無線電頻譜資源的應(yīng)用領(lǐng)域越來越廣，人們對無線頻譜資源日益增加的需求，造成了無線頻譜擁塞。為了準(zhǔn)確、實(shí)時地展現(xiàn)人們周圍無線電頻譜的使用情況，以便對無線電資源的有效管理，REM系統(tǒng)應(yīng)運(yùn)而生。REM的提出是為認(rèn)知無線電設(shè)備或認(rèn)知無線電網(wǎng)絡(luò)的工作提供精準(zhǔn)的信息支撐，從而使得認(rèn)知無線電或認(rèn)知無線電網(wǎng)絡(luò)的實(shí)現(xiàn)更加簡單。REM本質(zhì)上就是一個基于位置和頻譜使用情況的動態(tài)頻譜接入數(shù)據(jù)庫[2]，可以用來支持認(rèn)知功能，如環(huán)境的感知、分析、學(xué)習(xí)以及計劃[3]。因此REM 還可以被視為認(rèn)知無線電網(wǎng)絡(luò)中實(shí)時更新的可用資源圖的擴(kuò)展，用于幫助認(rèn)知無線電網(wǎng)絡(luò)辨認(rèn)具體的無線場景，并指導(dǎo)其做出決定或使其自適應(yīng)執(zhí)行相關(guān)任務(wù)。REM 中存儲的信息是數(shù)字化的無線環(huán)境數(shù)據(jù)，刻畫了無線電環(huán)境，認(rèn)知無線電系統(tǒng)通過訪問和查詢REM，能夠迅速獲得所需的環(huán)境信息。同樣，REM也支持系統(tǒng)層的一些問題，如情景識別、隱藏和暴露節(jié)點(diǎn)問題，網(wǎng)絡(luò)的負(fù)載均衡以及動態(tài)頻譜管理、政策制訂、網(wǎng)絡(luò)結(jié)構(gòu)規(guī)劃、系統(tǒng)設(shè)計以及認(rèn)知無線電的操作和管理。

1.2 移動群智感知

移動群智感知的概念最早由Raghu K. Ganti等人提出[1]，它利用普通用戶自己貢獻(xiàn)的感知數(shù)據(jù)或直接從其移動設(shè)備獲取的數(shù)據(jù)，并在云端對這些數(shù)據(jù)進(jìn)行匯集及融合，最終用于群智提取以及以人為中心服務(wù)(people-centric service)的數(shù)據(jù)交付。移動群智感知網(wǎng)絡(luò)成為新型的重要感知手段，可利用普適的移動感知設(shè)備完成那些通常很難實(shí)現(xiàn)的大規(guī)模、復(fù)雜的社會感知任務(wù)。目前，MCS相關(guān)的應(yīng)用涉及多個方面，如環(huán)境監(jiān)測[4]、社交網(wǎng)絡(luò)[5]、道路交通[6]等。

1.3 REM數(shù)據(jù)收集系統(tǒng)

要構(gòu)建一個完整的REM系統(tǒng)，首先需要收集無線電頻譜資源的數(shù)據(jù)，而在數(shù)據(jù)收集時面臨以下問題：所需收集的數(shù)據(jù)包括感知區(qū)域的信號場強(qiáng)、GPS信息、WiFi熱點(diǎn)數(shù)據(jù)等，而每一類又涉及多個屬性，因此需要收集的數(shù)據(jù)維數(shù)很高；并且無線電波是無處不在的，由此在構(gòu)建REM 的過程中還面臨著數(shù)據(jù)收集空間范圍廣的問題。因此，建立REM的首要工作是構(gòu)建一個合適的無線電環(huán)境地圖數(shù)據(jù)收集系統(tǒng)，數(shù)據(jù)收集系統(tǒng)需達(dá)到收集地域廣、數(shù)據(jù)規(guī)模大、數(shù)據(jù)維數(shù)高的要求。

現(xiàn)有的無線電環(huán)境地圖數(shù)據(jù)收集系統(tǒng)的基本組成架構(gòu)分為3個部分：數(shù)據(jù)采集設(shè)備、數(shù)據(jù)庫和無線電監(jiān)測。文獻(xiàn)[7]提出了一種利用發(fā)射機(jī)、接收機(jī)、信號采集和數(shù)字化設(shè)備等組成的無線電數(shù)據(jù)收集系統(tǒng)。文獻(xiàn)[8]提出了一種利用大量無線電監(jiān)測傳感器、數(shù)據(jù)中繼節(jié)點(diǎn)以及接收器組成的數(shù)據(jù)采集系統(tǒng)，進(jìn)行無線電環(huán)境信息收集。以上無線電數(shù)據(jù)收集系統(tǒng)所使用的采集設(shè)備硬件成本高，并不適用于構(gòu)建大型的無線電環(huán)境地圖?？傮w而言，目前針對無線電環(huán)境地圖的構(gòu)建重點(diǎn)在于針對特定范圍的特定應(yīng)用，存在一定的局限性。

MCS利用普通用戶的移動設(shè)備內(nèi)置的各種感知模塊進(jìn)行信息收集，相對于傳統(tǒng)的數(shù)據(jù)收集技術(shù)，MCS技術(shù)具有網(wǎng)絡(luò)部署成本低、維護(hù)簡單、系統(tǒng)可擴(kuò)展性強(qiáng)以及感知數(shù)據(jù)類型廣泛等優(yōu)勢，它提供了一種面向大范圍、海量數(shù)據(jù)、高動態(tài)性且可以向上層多種應(yīng)用提供服務(wù)的數(shù)據(jù)收集技術(shù)，能夠滿足無線電環(huán)境地圖構(gòu)建的基本需求，因此，采用MCS技術(shù)進(jìn)行無線電環(huán)境地圖數(shù)據(jù)的收集?；谝苿尤褐歉兄臒o線電環(huán)境地圖數(shù)據(jù)收集系統(tǒng)的框架如圖1所示。

圖1 基于移動群智感知的無線電環(huán)境地圖數(shù)據(jù)收集系統(tǒng)框架Fig.1 Framework of radio environment map data collection system based on mobile crowd sensing

如圖1所示，在基于移動群智感知的無線電環(huán)境地圖數(shù)據(jù)收集過程中，感知用戶首先接收Web服務(wù)器下發(fā)的感知任務(wù)，然后感知用戶根據(jù)任務(wù)要求(任務(wù)時間、地點(diǎn)等)結(jié)合自己的具體情況決定是否參與感知任務(wù)，若參與，則打開無線電數(shù)據(jù)采集APP在任務(wù)指定的時間、感知區(qū)域完成感知任務(wù)，然后將感知數(shù)據(jù)發(fā)送到Web服務(wù)器，最后，Web服務(wù)器將感知數(shù)據(jù)傳輸至數(shù)據(jù)中心進(jìn)行數(shù)據(jù)處理及存儲。

1.4 問題描述及分析

通過大量數(shù)據(jù)采集實(shí)驗(yàn)發(fā)現(xiàn)基于移動群智感知的無線電環(huán)境地圖數(shù)據(jù)收集系統(tǒng)中的感知數(shù)據(jù)之間呈現(xiàn)出高度時空相關(guān)性[9]的特點(diǎn)，造成無線電環(huán)境地圖的感知數(shù)據(jù)出現(xiàn)以下冗余的情況：①時間相關(guān)性數(shù)據(jù)冗余主要針對相鄰時間段內(nèi)單個采集節(jié)點(diǎn)的感知數(shù)據(jù)存在數(shù)據(jù)冗余的情況，數(shù)據(jù)采集節(jié)點(diǎn)是以一定的采集頻率連續(xù)地進(jìn)行數(shù)據(jù)采集，但無線電環(huán)境的變化通常是非常緩慢的，因此，相鄰時間段內(nèi)的感知數(shù)據(jù)是非常相似的(這被稱為時間相關(guān)性，感知數(shù)據(jù)的相似程度取決于采集的時間間隔)；②空間相關(guān)性數(shù)據(jù)冗余主要針對感知區(qū)域內(nèi)距離相近的多個采集節(jié)點(diǎn)感知數(shù)據(jù)存在數(shù)據(jù)冗余的情況，REM系統(tǒng)需要在感知區(qū)域部署密集的數(shù)據(jù)采集節(jié)點(diǎn)才能達(dá)到滿意的覆蓋效果，距離較近的采集節(jié)點(diǎn)之間所處的無線電環(huán)境通常差距很小，因此，來自鄰近采集節(jié)點(diǎn)的感知數(shù)據(jù)是非常相似的(這被稱為空間相關(guān)性，感知數(shù)據(jù)的相似程度取決于采集節(jié)點(diǎn)之間的距離)?；谝苿尤褐歉兄臒o線電環(huán)境地圖數(shù)據(jù)收集系統(tǒng)，由于感知用戶移動的隨機(jī)性，如某段時間移動距離非常短，導(dǎo)致采集的周圍無線電數(shù)據(jù)在時空上非常相關(guān)。

在數(shù)據(jù)感知節(jié)點(diǎn)采集的數(shù)據(jù)已經(jīng)能夠反映某時間范圍內(nèi)周圍無線電環(huán)境主要特征的情況下，卻又采集了大量的相似數(shù)據(jù)，感知數(shù)據(jù)之間的差異非常小，實(shí)際上這些數(shù)據(jù)是冗余的，刪除這些冗余感知數(shù)據(jù)不影響REM系統(tǒng)對周圍無線電環(huán)境主要特征的反映，而這些冗余感知數(shù)據(jù)給REM的整個系統(tǒng)帶來了一些問題：①存儲系統(tǒng)的磁盤空間消耗大，存儲效率低；②數(shù)據(jù)傳輸?shù)臄?shù)據(jù)量大，網(wǎng)絡(luò)帶寬的冗余消耗。

目前，在提高數(shù)據(jù)存儲系統(tǒng)的存儲效率方面，關(guān)于重復(fù)數(shù)據(jù)刪除技術(shù)的研究比較多[10-11]。重復(fù)數(shù)據(jù)刪除技術(shù)將文件按照特定的分塊算法劃分為數(shù)據(jù)塊，從而檢測及刪除文件中完全相同的數(shù)據(jù)塊，分塊算法包括固定長度分塊算法與可變長度分塊算法等。重復(fù)數(shù)據(jù)刪除技術(shù)著重于檢測及刪除存儲系統(tǒng)中完全相同的冗余數(shù)據(jù)以節(jié)省磁盤的存儲空間，而沒有考慮到存儲系統(tǒng)中存在的大量相似的冗余數(shù)據(jù)。

本文從應(yīng)用角度出發(fā)，在文獻(xiàn)[12]提出的基于屬性與對象關(guān)系信息的綜合差異度計算的基礎(chǔ)上，針對基于移動群智感知的無線電環(huán)境地圖數(shù)據(jù)收集系統(tǒng)中存在大量相似的冗余數(shù)據(jù)問題，提出了一種基于感知數(shù)據(jù)綜合差異度的無線電環(huán)境地圖冗余數(shù)據(jù)刪除技術(shù)。

2 基于綜合差異度的冗余感知數(shù)據(jù)刪除技術(shù)

基于數(shù)據(jù)相似度檢測的數(shù)據(jù)傳輸技術(shù)中，由于密集部署，不同傳感器的感知數(shù)據(jù)之間呈現(xiàn)出高度的空間相關(guān)性，在文獻(xiàn)[13]中，通過利用空間相關(guān)性和引入相似度測量，減少無線傳感網(wǎng)絡(luò)中冗余數(shù)據(jù)的傳輸以節(jié)約能源并延長傳感器的使用壽命。在此基礎(chǔ)上，結(jié)合文獻(xiàn)[12]提出的基于屬性與對象關(guān)系信息的綜合差異度計算，針對基于移動群智感知的無線電環(huán)境地圖數(shù)據(jù)收集系統(tǒng)中感知數(shù)據(jù)存在大量冗余數(shù)據(jù)的特點(diǎn)，本文設(shè)計了一種基于感知數(shù)據(jù)綜合差異度的無線電環(huán)境地圖冗余數(shù)據(jù)刪除技術(shù)，其示意圖如圖2所示。

圖2 基于綜合差異度的冗余數(shù)據(jù)刪除技術(shù)示意圖Fig.2 Schematic diagram of redundant data deletion technology based on synthesized difference degree

圖2為本文提出的基于感知數(shù)據(jù)綜合差異度的無線電環(huán)境地圖冗余數(shù)據(jù)刪除技術(shù)的示意圖，可以分為以下3個步驟：

1)根據(jù)感知數(shù)據(jù)之間具有時空相關(guān)性的特點(diǎn)，將感知文件中屬于同一時空范圍內(nèi)的感知數(shù)據(jù)分為一組；

2)對組內(nèi)各感知數(shù)據(jù)相互進(jìn)行綜合差異度計算；

3)通過綜合差異度的大小，判斷感知數(shù)據(jù)是否存在冗余，以實(shí)現(xiàn)冗余數(shù)據(jù)刪除。

2.1 感知數(shù)據(jù)分組

基于移動群智感知的無線電環(huán)境地圖數(shù)據(jù)收集系統(tǒng)，利用移動智能終端進(jìn)行數(shù)據(jù)采集，這些智能終端采集的周圍無線電數(shù)據(jù)之間具有高度時空相關(guān)性的特點(diǎn)。因此，通過對每次感知數(shù)據(jù)的時間與GPS信息進(jìn)行初步分析，將屬于同一時空范圍內(nèi)的感知數(shù)據(jù)劃分為一組，同一組中的感知數(shù)據(jù)相似度較高，而綜合差異度較低。

2.2 感知數(shù)據(jù)的綜合差異度計算

無線電環(huán)境地圖數(shù)據(jù)收集系統(tǒng)的數(shù)據(jù)采集節(jié)點(diǎn)每次采集的數(shù)據(jù)字段是相同的，假設(shè)包括M個字段，第1次到第n次采集的數(shù)據(jù)分別為：v1,v2,v3,…,vn。

1)將所有字段的數(shù)值轉(zhuǎn)化為規(guī)范化區(qū)間變量。

區(qū)間變量是一種連續(xù)變量，一般取值為線性度量值，感知數(shù)據(jù)各字段的數(shù)值就是區(qū)間變量。假設(shè)無線電環(huán)境數(shù)據(jù)總共采集了n次，v1,v2,v3,…,vn，對于任一字段j的區(qū)間變量，其變量值分別為v1j,v2j,…,vij,…,vnj，對任意字段的數(shù)值vij，通過(1)式規(guī)范化為

(1)

2)計算2次感知數(shù)據(jù)間的綜合差異度。

(2)

(3)

由于在無線電環(huán)境數(shù)據(jù)采集中，M個字段可能具有不同的差異靈敏性，考慮到不同字段的數(shù)值差異對綜合差異度影響程度不同，故需要為每種字段設(shè)置權(quán)重，記為：w1,w2,…,wk,…,wM，因此在計算2次采集數(shù)據(jù)之間的綜合差異度時引入權(quán)重

(4)

(4)式中，

(5)

在綜合指標(biāo)評估體系中，權(quán)重反映了相應(yīng)指標(biāo)對評估的重要性。目前，確定指標(biāo)權(quán)重的方法分為主觀賦權(quán)法與客觀賦權(quán)法[14]。主觀賦權(quán)法根據(jù)決策者(或?qū)＜?主觀上對各屬性的重要程度來確定屬性權(quán)重，如專家意見調(diào)查法、主觀經(jīng)驗(yàn)法和層次分析法(analytic hierarchy process,AHP)[15]等?？陀^賦權(quán)法是從實(shí)際數(shù)據(jù)出發(fā)，利用各指標(biāo)值所反映的客觀信息確定權(quán)重的一種方法，如熵權(quán)法[16]，它根據(jù)屬性的變化程度來確定屬性權(quán)重。

本文考慮到權(quán)重反映了無線電環(huán)境地圖的感知數(shù)據(jù)中相應(yīng)字段數(shù)據(jù)值的差異對綜合差異度的影響程度，這主要由字段的類型等本身因素決定，權(quán)重跟實(shí)際數(shù)據(jù)無關(guān)，不隨數(shù)據(jù)的變化而變化，故本文通過調(diào)查大量相關(guān)資料結(jié)合專家意見調(diào)查法確定綜合差異度中各字段的權(quán)重。

2.3 感知數(shù)據(jù)的冗余檢測

感知數(shù)據(jù)中第i次采集的數(shù)據(jù)與第j次采集的數(shù)據(jù)之間的綜合差異度d(i,j)越小，則說明這2次感知數(shù)據(jù)的相似度越高，d(i,j)越大，2次感知數(shù)據(jù)的相似度越低。在感知數(shù)據(jù)的冗余檢測中，需要為冗余數(shù)據(jù)判決設(shè)置一個閾值δ(0<δ<1)，當(dāng)d(i,j)≤δ時，表示這2次采集的數(shù)據(jù)差異度較低，相似度較高，數(shù)據(jù)值沒有明顯的差異，可以認(rèn)為其中一次感知數(shù)據(jù)是冗余的，故刪除其中一次感知數(shù)據(jù)；反之，當(dāng)d(i,j)>δ時，表示這2次采集的數(shù)據(jù)差異度較高，相似度較低，不存在冗余數(shù)據(jù)，此次比較不進(jìn)行數(shù)據(jù)刪除。

理論上，冗余數(shù)據(jù)判決閾值δ的大小影響著冗余數(shù)據(jù)刪除技術(shù)的性能及感知數(shù)據(jù)的完整性，當(dāng)閾值δ設(shè)置較小時，冗余數(shù)據(jù)刪除技術(shù)的性能較差，數(shù)據(jù)的完整性較好；反之，當(dāng)閾值δ設(shè)置較大時，冗余數(shù)據(jù)刪除技術(shù)的性能較好，但容易造成數(shù)據(jù)缺失，數(shù)據(jù)誤差較大，去冗余后的數(shù)據(jù)不能準(zhǔn)確反映無線電環(huán)境的主要特征。所以在設(shè)置閾值δ時，需要根據(jù)無線電環(huán)境地圖系統(tǒng)的需求權(quán)衡好冗余數(shù)據(jù)刪除技術(shù)的性能與數(shù)據(jù)完整性之間的關(guān)系，設(shè)置適當(dāng)?shù)娜哂鄶?shù)據(jù)判決閾值。

3 實(shí)驗(yàn)結(jié)果及分析

下面將通過實(shí)驗(yàn)來驗(yàn)證提出的基于感知數(shù)據(jù)綜合差異度的無線電環(huán)境地圖冗余數(shù)據(jù)刪除技術(shù)的有效性。

3.1 實(shí)驗(yàn)方法

從無線電環(huán)境地圖的文件存儲系統(tǒng)中隨機(jī)選取200個感知文件，將這些文件分別通過本文設(shè)計的基于感知數(shù)據(jù)綜合差異度的無線電環(huán)境地圖冗余數(shù)據(jù)刪除技術(shù)與文獻(xiàn)[11]提出的重復(fù)數(shù)據(jù)刪除技術(shù)進(jìn)行處理。

其中，本文提出的冗余數(shù)據(jù)刪除技術(shù)中的冗余數(shù)據(jù)判決閾值δ從0.01取至0.08，每次取值間隔為0.01；重復(fù)數(shù)據(jù)刪除技術(shù)中文件采用固定長度分塊算法進(jìn)行分塊，長度為一次感知數(shù)據(jù)的長度。將各次處理后的數(shù)據(jù)與原始數(shù)據(jù)進(jìn)行對比，評估的主要指標(biāo)包括磁盤空間的消耗和數(shù)據(jù)的保真度。

3.2 磁盤空間消耗

使用傳統(tǒng)的重復(fù)數(shù)據(jù)刪除技術(shù)處理后磁盤需要存儲的數(shù)據(jù)占原始數(shù)據(jù)的百分比，以及在不同閾值δ的條件下，使用本文提出的冗余數(shù)據(jù)刪除技術(shù)處理后磁盤需要存儲的數(shù)據(jù)占原始數(shù)據(jù)的百分比，實(shí)驗(yàn)結(jié)果如圖3所示。

圖3說明經(jīng)過傳統(tǒng)的重復(fù)數(shù)據(jù)刪除技術(shù)處理后的數(shù)據(jù)占原始數(shù)據(jù)的73.36%，刪除的重復(fù)數(shù)據(jù)占原始數(shù)據(jù)的26.64%。而本文提出的冗余數(shù)據(jù)刪除技術(shù)在閾值δ不小于0.01時，相比于傳統(tǒng)的重復(fù)數(shù)據(jù)刪除技術(shù)，在系統(tǒng)磁盤存儲效率方面的提升非常大(15%以上)。

另外，在本文提出的冗余數(shù)據(jù)刪除技術(shù)中，閾值δ越小，刪除的相似數(shù)據(jù)越少，閾值δ越大，刪除的相似數(shù)據(jù)越多。當(dāng)δ取值從0.01至0.08時，刪除的冗余數(shù)據(jù)達(dá)到原始數(shù)據(jù)的42%以上；當(dāng)δ取值從0.01至0.05時，冗余數(shù)據(jù)刪除技術(shù)的性能變化較大；當(dāng)δ取到0.05時，系統(tǒng)獲得了較好的冗余數(shù)據(jù)刪除性能，存儲系統(tǒng)需要存儲的數(shù)據(jù)僅為原始數(shù)據(jù)的43.87%，刪除的重復(fù)數(shù)據(jù)達(dá)到原始數(shù)據(jù)的56.13%，相比傳統(tǒng)的重復(fù)數(shù)據(jù)刪除技術(shù)，磁盤的存儲效率提升了約29%，且進(jìn)入較穩(wěn)定的狀態(tài)。

3.3 數(shù)據(jù)保真度

保真度是指經(jīng)過本文提出的冗余數(shù)據(jù)刪除技術(shù)或傳統(tǒng)的重復(fù)數(shù)據(jù)刪除技術(shù)處理后，相應(yīng)字段的數(shù)據(jù)均值接近原始數(shù)據(jù)均值的程度(Pro)。保真度將數(shù)據(jù)失真這一抽象的概念通過數(shù)值直觀地表達(dá)了出來。數(shù)學(xué)含義為

(6)

圖4 4G信號強(qiáng)度均值保真度Fig.4 Fidelity of 4G signal strength mean

圖5 連接WiFi熱點(diǎn)信號強(qiáng)度均值保真度Fig.5 Fidelity of connect WiFi hotspot signal strength mean

圖4、圖5說明經(jīng)過本文提出的冗余數(shù)據(jù)刪除技術(shù)處理后的數(shù)據(jù)(4G信號強(qiáng)度均值、連接WiFi熱點(diǎn)信號強(qiáng)度均值)保真度相比傳統(tǒng)的重復(fù)數(shù)據(jù)刪除技術(shù)要略低(差距較小)；當(dāng)閾值δ從0.01至0.08增大時，本文提出的冗余數(shù)據(jù)刪除技術(shù)處理后的數(shù)據(jù)保真度總體呈下降趨勢，但依然保持著較高的保真度(0.99以上)，故本文提出的冗余數(shù)據(jù)刪除技術(shù)未對原始數(shù)據(jù)的整體產(chǎn)生破壞，去冗余后的數(shù)據(jù)與原始數(shù)據(jù)呈現(xiàn)出高度一致性，數(shù)據(jù)保持著較好的完整性。

以上實(shí)驗(yàn)結(jié)果驗(yàn)證了本文提出的基于感知數(shù)據(jù)綜合差異度的無線電環(huán)境地圖冗余數(shù)據(jù)刪除技術(shù)能在保證感知數(shù)據(jù)完整性的前提下，刪除無線電環(huán)境地圖感知數(shù)據(jù)中的冗余數(shù)據(jù)，相比于傳統(tǒng)的重復(fù)數(shù)據(jù)刪除技術(shù)，在磁盤的存儲效率方面提升非常大。

4 結(jié)束語

基于移動群智感知的無線電環(huán)境地圖數(shù)據(jù)收集系統(tǒng)中存在大量重復(fù)或相似的冗余感知數(shù)據(jù)，導(dǎo)致磁盤的存儲效率低，以及數(shù)據(jù)傳輸時網(wǎng)絡(luò)帶寬的冗余消耗。本文以文獻(xiàn)[12]提出的基于屬性與對象關(guān)系信息的綜合差異度計算為基礎(chǔ)，設(shè)計了基于感知數(shù)據(jù)綜合差異度的無線電環(huán)境地圖冗余數(shù)據(jù)刪除技術(shù)，通過此技術(shù)，不僅能刪除感知數(shù)據(jù)中的重復(fù)數(shù)據(jù)，而且能夠刪除其中相似的冗余數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明，本文提出的冗余數(shù)據(jù)刪除技術(shù)能在保證數(shù)據(jù)完整性的前提下，對無線電環(huán)境地圖存儲系統(tǒng)中的感知數(shù)據(jù)進(jìn)行冗余數(shù)據(jù)刪除，相比于傳統(tǒng)的重復(fù)數(shù)據(jù)刪除技術(shù)，極大地提高了磁盤的存儲效率以及降低了數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)成本。

[1] GANTI R K, YE Fan, LEI Hui. Mobile crowdsensing: current state and future challenges[J]. IEEE Communications Magazine, 2011, 49(11):32-39.

[2] WEI Zhiqing, ZHANG Qixun, FENG Zhiyong, et al. On the construction of radio environment maps for cognitive radio networks[C]//Wireless Communications and Networking Conference(WCNC). shanghai,China:IEEE press, 2013: 4504-4509.

[3] ALFATTANI S. Indirect Methods for Constructing Radio Environment Map[D].Canada:University of Ottawa,2017.

[4] ZAPPATORE M, LONGO A，BOCHICCHIO M A. Using mobile crowd sensing for noise monitoring in smart cities[C]//2016 International Multidisciplinary Conference on Computer and Energy Science (SpliTech). Split, Croatia: IEEE Press, 2016: 1-6.

[5] GIUSEPPE C, ANDREA C, ANTONIO C, et al. The participact mobile crowd sensing living lab: the testbed for smart cities [J]. IEEE Communications Magazine ,2014,52(10):78-85.

[6] FRANK R, WEITZ H, CASTIGNANI G, ENGEL T. Collaborative traffic sensing: a case study of a mobile phone based traffic management system[C]//2014 IEEE 11th Consumer Communications and Networking Conference (CCNC). Las Vegas, NV, USA: IEEE Press, 2014: 579-584.

[7] WALKER K, STRASSEL S. The RATS radio traffic collection system[C]//Odyssey 2012-The Speaker and Language Recognition Workshop. Singapore: Odyssey, 2012: 291-297.

[8] WU Yueshi, CARDEI M. A cognitive radio approach for data collection in border surveillance[C]//2016 IEEE 35th International Performance Computing and Communications Conference (IPCCC). Las Vegas, NV, USA: IEEE Press, 2016: 1-8.

[9] KANDUKURI S, LEBRETON J, LORION R, et al.Energy-efficient data aggregation techniques for exploiting spatio-temporal correlations in wireless sensor networks[C]//2016 Wireless Telecommunications Symposium (WTS). London, UK: IEEE Press, 2016: 1-6.

[10] VENISH A, SANKAR K S. Study of Chunking Algorithm in Data Deduplication[C]//Proceedings of the International Conference on Soft Computing Systems. New Delhi: Springer, 2016: 13-20.

[11] MA Jingwei, WANG Gang, LIU Xiaoguang. Dedupeswift: object-oriented storage system based on data deduplication[C]//IEEE 2016 Trustcom/BigDataSE/ISPA, Tianjin, China: IEEE Press, 2016: 1069-1076.

[12] 高學(xué)東,吳玲玉,武森,等.基于屬性與對象關(guān)系信息的綜合差異度計算[J].計算機(jī)工程,2011(22):35-38.

GAO Xuedong, WU Lingyu, WU Sen, et al. Synthesized difference degree calculation based on the relation information of attribute and object[J]. Computer Engineering, 2011 (22): 35-38.

[13] GHADDAR A, RAZAFINDRALAMBO T, SIMPLOT-RYL I, et al. Algorithm for data similarity measurements to reduce data redundancy in wireless sensor networks[C]//IEEE 2010 International Symposium on “A World of Wireless, Mobile and Multimedia Networks”(WoWMoM). Montreal, QC, Canada:IEEE Press, 2010:1-6.

[14] WU Zhibin, ZHONG Lin. Weight determination for MAGDM with linguistic information based on IT2 fuzzy sets[C]//IEEE 2016 International Conference on Fuzzy Systems (FUZZ-IEEE). Vancouver, BC:IEEE Press, 2016: 880-887.

[15] XIAO Lingfang. Risk assessment of enterprise accounting information system based on analytic hierarchy process[C]//2015 Seventh International Conference on Measuring Technology and Mechatronics Automation. Nanchang, China: IEEE Press, 2015: 954-958.

[16] WEI Le, YUAN Zhaoxiong, YAN Yuanyuan, et al. Evaluation of energy saving and emission reduction effect in thermal power plants based on entropy weight and PROMETHEE method[C]//2016 Chinese Control and Decision Conference (CCDC). Yinchuan, China: IEEE Press, 2016: 143-146.

(編輯：張 誠)