基于Hadoop云平臺的礦井指紋定位算法

韓繼英 李芳麗 朱元凱

(1.山西職業(yè)技術(shù)學(xué)院計算機(jī)工程系,山西 太原 030006;2.馬來西亞林肯大學(xué)工程學(xué)院,雪蘭莪州 八打靈再也 47301;3.泰山職業(yè)技術(shù)學(xué)院信息技術(shù)工程系,山東 泰安 271001)

隨著互聯(lián)網(wǎng)和信息技術(shù)的快速發(fā)展,大數(shù)據(jù)技術(shù)逐漸成為礦井行業(yè)信息化建設(shè)的重要組成部分。礦井定位技術(shù)作為礦井生產(chǎn)管理中的重要手段,其準(zhǔn)確性和實(shí)時性對于保障礦井生產(chǎn)安全具有至關(guān)重要的作用。隨著礦井深度增加和礦井規(guī)模擴(kuò)大,傳統(tǒng)的礦井定位技術(shù)已經(jīng)無法滿足礦井生產(chǎn)管理需求[1]。因此,如何利用先進(jìn)的技術(shù)手段提高礦井定位的準(zhǔn)確性和實(shí)時性已成為亟須解決的問題。

指紋定位技術(shù)是一種基于信號指紋的定位技術(shù)[2],該技術(shù)通過采集環(huán)境中的信號指紋,如Wi-Fi信號強(qiáng)度、藍(lán)牙信號強(qiáng)度、地磁傳感器等[3],將這些指紋與已知的指紋庫進(jìn)行匹配,從而確定當(dāng)前位置。相比于其他定位技術(shù),指紋定位技術(shù)具有定位精度高、適用范圍廣、無需額外設(shè)備等優(yōu)點(diǎn),已被廣泛應(yīng)用于室內(nèi)定位、物聯(lián)網(wǎng)、智能交通等領(lǐng)域[4]。近年來,隨著礦井指紋定位技術(shù)日趨成熟,利用礦井指紋定位已成為礦井生產(chǎn)管理的重要手段,其準(zhǔn)確性和實(shí)時性對于保障礦井生產(chǎn)安全具有至關(guān)重要的作用。然而,傳統(tǒng)的礦井定位技術(shù)已經(jīng)無法滿足礦井生產(chǎn)管理需求。隨著礦井深度增加和礦井規(guī)模擴(kuò)大,礦井環(huán)境的復(fù)雜性也越來越高,這導(dǎo)致傳統(tǒng)的定位技術(shù)在精度和實(shí)時性上存在著很大的限制[5-6]。其次,礦井信號會受到多種因素干擾,如多徑效應(yīng)、障礙物遮擋等,從而導(dǎo)致采集的信號指紋存在一定的誤差,并且指紋庫的建立和維護(hù)也是一個難點(diǎn),因?yàn)榈V井內(nèi)的信號會隨著時間和環(huán)境的變化而發(fā)生變化,因此需要不斷地更新和維護(hù)指紋庫。此外,礦井內(nèi)存在大量的節(jié)點(diǎn)和數(shù)據(jù),需要進(jìn)行大規(guī)模的計算和處理。

礦井指紋定位技術(shù)的研究起源于2003年[7],自此之后,礦井指紋定位技術(shù)逐漸發(fā)展壯大,并在礦山得到了廣泛應(yīng)用。礦井指紋定位技術(shù)的研究主要涉及信號采集、指紋提取和定位算法[8-9]3 個方面。信號采集是實(shí)現(xiàn)礦井指紋定位的第一步,采集的信號將用于指紋提取和定位算法。礦井指紋定位技術(shù)采集信號的方式主要包括:① 采用無線傳感網(wǎng)絡(luò),將各個節(jié)點(diǎn)采集的信號上傳到中心服務(wù)器;② 采用激光掃描等技術(shù),將礦井內(nèi)的地形、巖層等信息轉(zhuǎn)化為信號指紋。其中,指紋提取是礦井指紋定位技術(shù)的關(guān)鍵步驟,主要涉及特征提取和指紋庫建立。特征提取是將采集的信號轉(zhuǎn)化為能夠用于定位的特征向量的過程,常用的特征提取算法包括主成分分析、小波變換等[10-12]。然而在實(shí)踐中,指紋定位技術(shù)的應(yīng)用受到了多種因素限制。首先,礦井環(huán)境復(fù)雜多變,存在大量的噪聲和干擾信號,這會影響指紋定位的準(zhǔn)確性和可靠性。其次,礦井的地形地貌復(fù)雜,導(dǎo)致信號傳輸路徑復(fù)雜,難以建立準(zhǔn)確的指紋庫。此外,傳統(tǒng)的指紋定位算法通常需要大量的計算資源和存儲資源,難以滿足礦井定位實(shí)時性的要求。

為此,本研究提出一種基于Hadoop云平臺的礦井指紋定位算法,旨在提高礦井定位的準(zhǔn)確性和實(shí)時性。Hadoop 是一種開源的分布式計算平臺,具有高可靠性、高可擴(kuò)展性、高性能等優(yōu)點(diǎn),已被廣泛應(yīng)用于大數(shù)據(jù)處理領(lǐng)域。本研究將采集的礦井信號指紋存儲在Hadoop 分布式文件系統(tǒng)中,并使用MapReduce計算模型進(jìn)行指紋匹配和位置識別,從而實(shí)現(xiàn)礦井指紋定位的高效實(shí)時計算。

1 礦井指紋定位算法

1.1 基本思路

隨著礦井深度增加和規(guī)模擴(kuò)大,礦井安全監(jiān)測和管理成為重要的研究領(lǐng)域。礦井指紋定位是其中的一項(xiàng)關(guān)鍵技術(shù),能夠在礦井中快速、準(zhǔn)確地定位移動目標(biāo),提高礦井生產(chǎn)的安全性和效率。本研究基于Hadoop云平臺,提出了一種礦井指紋定位算法,通過數(shù)據(jù)預(yù)處理、指紋特征提取、指紋匹配和定位結(jié)果輸出4 個步驟,實(shí)現(xiàn)了對礦井指紋的提取和定位。礦井指紋定位流程如圖1所示。

圖1 礦井指紋定位流程Fig.1 Flow of mine fingerprint localization

1.2 數(shù)據(jù)預(yù)處理

礦井信號預(yù)處理是指在指紋提取前對礦井中多基站信號源進(jìn)行預(yù)處理,旨在提高指紋特征的可靠性和區(qū)分度。通常采用均值濾波、中值濾波、小波去噪、信噪比增強(qiáng)等方法進(jìn)行預(yù)處理[13]。此處,數(shù)據(jù)預(yù)處理僅對原始數(shù)據(jù)進(jìn)行清洗和壓縮。其中,數(shù)據(jù)清洗包括去噪和異常值處理兩個過程,數(shù)據(jù)壓縮采用Lempel-Ziv-Welch(LZW)算法[14]實(shí)現(xiàn),具體實(shí)現(xiàn)方法分析如下。

1.2.1 數(shù)據(jù)清洗

以均值濾波為例,假設(shè)數(shù)據(jù)序列為{x1,x2,…,xn} ,窗口大小為k(k

式中,i,j

在異常值處理過程中,可以采用基于統(tǒng)計學(xué)方法或基于模型的方法。以基于統(tǒng)計學(xué)方法中的3σ原則為例,假設(shè)數(shù)據(jù)序列為{x1,x2,…,xn} ,則首先計算出均值μ和標(biāo)準(zhǔn)差σ,然后將大于μ +3σ或小于μ-3σ的值視為異常值,并進(jìn)行替換或刪除處理。

1.2.2 數(shù)據(jù)壓縮

Lempel-Ziv-Welch(LZW)算法是一種常用的無損數(shù)據(jù)壓縮算法。該算法采用字典編碼方法進(jìn)行壓縮[15],將輸入的數(shù)據(jù)序列映射為一系列短代碼,從而減小數(shù)據(jù)規(guī)模。具體實(shí)現(xiàn)步驟如下:

(1)初始化字典,將所有單個字符作為初始字典項(xiàng)。

(2)掃描輸入序列,將序列中的字符序列逐步加入字典中,同時輸出其對應(yīng)的編碼序列。

(3)如果加入新的字符序列后,字典已滿,則刪除最舊的字典項(xiàng),以騰出空間。

(4)重復(fù)步驟(2)、步驟(3),直到輸入序列全部掃描完畢。

1.3 指紋特征提取

離散小波變換是指將礦井多基站信號分解成多個頻帶,以便去除噪聲和冗余信息,提取出具有代表性的指紋特征向量[16]。本研究通過小波變換處理,將礦井多基站信號分解成不同尺度的頻帶,在保留信號細(xì)節(jié)信息的同時進(jìn)行信號分解;然后通過對各個頻帶系數(shù)的閾值處理和重構(gòu),得到具有代表性的指紋特征向量。

在離散小波變換的基礎(chǔ)上,通過對各個尺度的頻帶系數(shù)進(jìn)行分析和處理,提取出具有代表性的礦井指紋特征。具體來說,通過對高頻子帶系數(shù)的處理,可以提取出礦井邊緣、紋理等細(xì)節(jié)特征;然后,對低頻子帶系數(shù)進(jìn)行處理,可以提取出礦井的整體特征;最后,將這些特征組合起來,形成礦井指紋特征向量。離散小波變換的礦井指紋特征提取偽代碼見表1。

表1 基于離散小波變換的礦井指紋特征提取算法偽代碼Table 1 Pseudo-code of mine fingerprint feature extraction algorithm based on discrete wavelet transform

1.4 指紋匹配

對于每個需要定位的礦工或移動設(shè)備,將指紋信號分為若干個子信號區(qū)域,并計算每個區(qū)域的相關(guān)系數(shù)矩陣。公式為

式中,Rxy為相關(guān)系數(shù),xi和yi分別為兩個向量中的第i個元素;和分別為兩個向量的均值;n表示向量的長度。

將這些相關(guān)系數(shù)矩陣與之前采集的指紋信號庫中的所有指紋進(jìn)行比對,計算兩者之間的相似度。此處,選擇與輸入指紋信號相似度最高的前k個指紋信號,作為最終匹配結(jié)果。指紋匹配流程偽代碼見表2。

1.5 基于Hadoop云平臺的礦井指紋定位

基于上述指紋匹配結(jié)果,利用多普勒效應(yīng)和信號衰減等原理,對每個節(jié)點(diǎn)的位置進(jìn)行估計。本研究利用最小二乘法計算節(jié)點(diǎn)位置[17],得到每個節(jié)點(diǎn)在礦井中的坐標(biāo)。在此基礎(chǔ)上,將上述礦井指紋定位算法嵌入基于Hadoop 的云平臺系統(tǒng)上。Hadoop 的核心組件包括HDFS(Hadoop 分布式文件系統(tǒng))和MapReduce[18]。HDFS 是一個分布式文件系統(tǒng),用于存儲大規(guī)模數(shù)據(jù)。MapReduce 是一種分布式計算模型,用于在Hadoop 上處理大規(guī)模數(shù)據(jù)[19]。此外,Hadoop 還包括其他組件,如YARN(Hadoop 資源管理器)和HBase(分布式列式數(shù)據(jù)庫)等[20]。本研究基于Hadoop云平臺的礦井指紋定位模型部署結(jié)構(gòu)如圖2所示。

圖2 Hadoop云平臺礦井指紋定位模型部署結(jié)構(gòu)Fig.2 Deployment structure of mine fingerprint positioning model of Hadoop cloud platform

總體來說,通過Hadoop云平臺進(jìn)行分布式計算可以提高計算效率,降低計算復(fù)雜度,并且可以對大規(guī)模數(shù)據(jù)進(jìn)行處理。同時,Hadoop 還具備良好的容錯性和可擴(kuò)展性,可以適應(yīng)不同規(guī)模的數(shù)據(jù)處理需求。

2 試驗(yàn)分析

2.1 試驗(yàn)環(huán)境

試驗(yàn)硬件環(huán)境:CPU,Intel(R)Xeon(R)Gold 6130 CPU@2.10 GHz;內(nèi)存選擇256GB DDR4-2666 ECC RDIMM;網(wǎng)絡(luò)環(huán)境為以太網(wǎng)千兆交換機(jī)。試驗(yàn)軟件環(huán)境:采用操作系統(tǒng)為CentOS Linux release 7.6.1810(Core)的PC 機(jī),Hadoop 版本為Apache Hadoop 3.1.2;開發(fā)語言為Java 版本,OpenJDK Runtime Environment(build 1.8.0_212-b04)。

2.2 試驗(yàn)算法描述

本研究提出的基于Hadoop云平臺的礦井指紋定位算法運(yùn)行流程如下:

(1)數(shù)據(jù)采集。在井下部署4 個相差8 m 的無線路由器,并將其作為信號發(fā)射基站的數(shù)據(jù)采集源,本地選擇PC 機(jī)作為信號接收源,每組采集50 組數(shù)據(jù),共采集5 組,共包含250 組數(shù)據(jù)。

(2)數(shù)據(jù)傳輸。將采集的數(shù)據(jù)通過網(wǎng)絡(luò)傳輸至Hadoop云平臺上的數(shù)據(jù)節(jié)點(diǎn),存儲為文本文件格式。

(3)數(shù)據(jù)預(yù)處理。對采集的數(shù)據(jù)進(jìn)行清洗、去重、過濾等預(yù)處理操作,以保證數(shù)據(jù)質(zhì)量和準(zhǔn)確性。

(4)數(shù)據(jù)分析和特征提取。利用MapReduce 編程模型對預(yù)處理后的數(shù)據(jù)進(jìn)行分析和特征提取操作,提取出與工人位置相關(guān)的特征信息。

(5)建立指紋庫。根據(jù)特征提取結(jié)果,建立礦井指紋庫,包含每個位置的特征向量。

(6)定位算法實(shí)現(xiàn)。根據(jù)工人在礦井內(nèi)部采集的數(shù)據(jù),利用指紋匹配算法在指紋庫中尋找最佳匹配項(xiàng),從而確定其當(dāng)前位置。

(7)結(jié)果輸出和可視化。將定位結(jié)果輸出到文件或數(shù)據(jù)庫中,并通過可視化方式呈現(xiàn)給用戶,便于用戶掌握工人的位置信息。詳細(xì)流程如圖3所示。

圖3 礦井指紋定位算法運(yùn)行流程Fig.3 Operation flow of mine fingerprint location algorithm

2.3 性能比較

以國內(nèi)某煤礦為例,在井下進(jìn)行離線采樣和實(shí)時定位信息采集,并與多組仿真試驗(yàn)結(jié)果進(jìn)行對比分析。在不同位置上收集RSS(Recombination signal sequence)信號數(shù)據(jù),并記錄位置信息,信號采樣分布如圖4所示。在此基礎(chǔ)上,通過預(yù)處理和特征提取等步驟,建立指紋庫。最后進(jìn)行實(shí)時定位信息采集,將采集到的信號數(shù)據(jù)與指紋庫進(jìn)行匹配,并輸出位置信息。

圖4 礦井指紋信號分布Fig.4 Distribution of mine fingerprint signal

為驗(yàn)證所提算法的有效性,分別選擇高斯濾波、卡爾曼濾波指紋定位算法與本研究算法進(jìn)行性能對比,結(jié)果見表3。3 種算法的定位誤差曲線如圖5所示。

表3 3 種算法定位性能對比Table 3 Comparison of the localization performance of three algorithmsm

圖5 3 種算法的定位誤差曲線Fig.5 Localization error curves of three algorithms

由表3 可知:本研究所提算法具有較高的定位精度和穩(wěn)定性,可以滿足實(shí)際應(yīng)用需求,但因各種因素(如噪聲、干擾等)影響,真實(shí)位置與模型計算位置之間仍然存在部分偏差。相比當(dāng)前主流的定位算法高斯濾波和卡爾曼濾波指紋定位算法,所提模型的綜合性能優(yōu)勢明顯,此外圖5 給出的位置偏差曲線再一次驗(yàn)證了所提算法的有效性和穩(wěn)定性。

本研究算法與高斯濾波、卡爾曼濾波指紋定位算法的耗時對比如圖6所示。由圖6 可知:本研究算法耗時相對于其余兩類算法而言有一定的優(yōu)勢,將其部署于Hadoop云平臺上有助于提升數(shù)據(jù)采集與傳輸?shù)臅r效性。

圖6 3 種算法耗時對比Fig.6 Comparison of time-consuming of three methods

3 結(jié)論

(1)提出了一種基于Hadoop云平臺的礦井指紋定位算法,通過將多基站源信號分解為若干個子信號區(qū)域,逐區(qū)域計算待測信號源與特征集之間的相關(guān)性。并借助Hadoop云平臺的高性能和可擴(kuò)展性,結(jié)合指紋識別技術(shù)實(shí)現(xiàn)了在礦井環(huán)境下的準(zhǔn)確定位。通過與當(dāng)前主流的指紋定位算法相比,所提算法在定位精度和實(shí)時性上均具有一定的優(yōu)勢。

(2)后續(xù)工作中,可以進(jìn)一步優(yōu)化算法的計算效率和減少誤差;同時,將算法與更多實(shí)際應(yīng)用場景相結(jié)合,如智能采礦和安全管理等方面?；贖adoop云平臺的礦井指紋定位算法為解決礦井定位問題提供了一種新思路。