基于Hadoop云平臺(tái)的礦井指紋定位算法

韓繼英 李芳麗 朱元?jiǎng)P

(1.山西職業(yè)技術(shù)學(xué)院計(jì)算機(jī)工程系,山西 太原 030006;2.馬來(lái)西亞林肯大學(xué)工程學(xué)院,雪蘭莪州 八打靈再也 47301;3.泰山職業(yè)技術(shù)學(xué)院信息技術(shù)工程系,山東 泰安 271001)

隨著互聯(lián)網(wǎng)和信息技術(shù)的快速發(fā)展,大數(shù)據(jù)技術(shù)逐漸成為礦井行業(yè)信息化建設(shè)的重要組成部分。礦井定位技術(shù)作為礦井生產(chǎn)管理中的重要手段,其準(zhǔn)確性和實(shí)時(shí)性對(duì)于保障礦井生產(chǎn)安全具有至關(guān)重要的作用。隨著礦井深度增加和礦井規(guī)模擴(kuò)大,傳統(tǒng)的礦井定位技術(shù)已經(jīng)無(wú)法滿足礦井生產(chǎn)管理需求[1]。因此,如何利用先進(jìn)的技術(shù)手段提高礦井定位的準(zhǔn)確性和實(shí)時(shí)性已成為亟須解決的問(wèn)題。

指紋定位技術(shù)是一種基于信號(hào)指紋的定位技術(shù)[2],該技術(shù)通過(guò)采集環(huán)境中的信號(hào)指紋,如Wi-Fi信號(hào)強(qiáng)度、藍(lán)牙信號(hào)強(qiáng)度、地磁傳感器等[3],將這些指紋與已知的指紋庫(kù)進(jìn)行匹配,從而確定當(dāng)前位置。相比于其他定位技術(shù),指紋定位技術(shù)具有定位精度高、適用范圍廣、無(wú)需額外設(shè)備等優(yōu)點(diǎn),已被廣泛應(yīng)用于室內(nèi)定位、物聯(lián)網(wǎng)、智能交通等領(lǐng)域[4]。近年來(lái),隨著礦井指紋定位技術(shù)日趨成熟,利用礦井指紋定位已成為礦井生產(chǎn)管理的重要手段,其準(zhǔn)確性和實(shí)時(shí)性對(duì)于保障礦井生產(chǎn)安全具有至關(guān)重要的作用。然而,傳統(tǒng)的礦井定位技術(shù)已經(jīng)無(wú)法滿足礦井生產(chǎn)管理需求。隨著礦井深度增加和礦井規(guī)模擴(kuò)大,礦井環(huán)境的復(fù)雜性也越來(lái)越高,這導(dǎo)致傳統(tǒng)的定位技術(shù)在精度和實(shí)時(shí)性上存在著很大的限制[5-6]。其次,礦井信號(hào)會(huì)受到多種因素干擾,如多徑效應(yīng)、障礙物遮擋等,從而導(dǎo)致采集的信號(hào)指紋存在一定的誤差,并且指紋庫(kù)的建立和維護(hù)也是一個(gè)難點(diǎn),因?yàn)榈V井內(nèi)的信號(hào)會(huì)隨著時(shí)間和環(huán)境的變化而發(fā)生變化,因此需要不斷地更新和維護(hù)指紋庫(kù)。此外,礦井內(nèi)存在大量的節(jié)點(diǎn)和數(shù)據(jù),需要進(jìn)行大規(guī)模的計(jì)算和處理。

礦井指紋定位技術(shù)的研究起源于2003年[7],自此之后,礦井指紋定位技術(shù)逐漸發(fā)展壯大,并在礦山得到了廣泛應(yīng)用。礦井指紋定位技術(shù)的研究主要涉及信號(hào)采集、指紋提取和定位算法[8-9]3 個(gè)方面。信號(hào)采集是實(shí)現(xiàn)礦井指紋定位的第一步,采集的信號(hào)將用于指紋提取和定位算法。礦井指紋定位技術(shù)采集信號(hào)的方式主要包括:① 采用無(wú)線傳感網(wǎng)絡(luò),將各個(gè)節(jié)點(diǎn)采集的信號(hào)上傳到中心服務(wù)器;② 采用激光掃描等技術(shù),將礦井內(nèi)的地形、巖層等信息轉(zhuǎn)化為信號(hào)指紋。其中,指紋提取是礦井指紋定位技術(shù)的關(guān)鍵步驟,主要涉及特征提取和指紋庫(kù)建立。特征提取是將采集的信號(hào)轉(zhuǎn)化為能夠用于定位的特征向量的過(guò)程,常用的特征提取算法包括主成分分析、小波變換等[10-12]。然而在實(shí)踐中,指紋定位技術(shù)的應(yīng)用受到了多種因素限制。首先,礦井環(huán)境復(fù)雜多變,存在大量的噪聲和干擾信號(hào),這會(huì)影響指紋定位的準(zhǔn)確性和可靠性。其次,礦井的地形地貌復(fù)雜,導(dǎo)致信號(hào)傳輸路徑復(fù)雜,難以建立準(zhǔn)確的指紋庫(kù)。此外,傳統(tǒng)的指紋定位算法通常需要大量的計(jì)算資源和存儲(chǔ)資源,難以滿足礦井定位實(shí)時(shí)性的要求。

為此,本研究提出一種基于Hadoop云平臺(tái)的礦井指紋定位算法,旨在提高礦井定位的準(zhǔn)確性和實(shí)時(shí)性。Hadoop 是一種開(kāi)源的分布式計(jì)算平臺(tái),具有高可靠性、高可擴(kuò)展性、高性能等優(yōu)點(diǎn),已被廣泛應(yīng)用于大數(shù)據(jù)處理領(lǐng)域。本研究將采集的礦井信號(hào)指紋存儲(chǔ)在Hadoop 分布式文件系統(tǒng)中,并使用MapReduce計(jì)算模型進(jìn)行指紋匹配和位置識(shí)別,從而實(shí)現(xiàn)礦井指紋定位的高效實(shí)時(shí)計(jì)算。

1 礦井指紋定位算法

1.1 基本思路

隨著礦井深度增加和規(guī)模擴(kuò)大,礦井安全監(jiān)測(cè)和管理成為重要的研究領(lǐng)域。礦井指紋定位是其中的一項(xiàng)關(guān)鍵技術(shù),能夠在礦井中快速、準(zhǔn)確地定位移動(dòng)目標(biāo),提高礦井生產(chǎn)的安全性和效率。本研究基于Hadoop云平臺(tái),提出了一種礦井指紋定位算法,通過(guò)數(shù)據(jù)預(yù)處理、指紋特征提取、指紋匹配和定位結(jié)果輸出4 個(gè)步驟,實(shí)現(xiàn)了對(duì)礦井指紋的提取和定位。礦井指紋定位流程如圖1所示。

圖1 礦井指紋定位流程Fig.1 Flow of mine fingerprint localization

1.2 數(shù)據(jù)預(yù)處理

礦井信號(hào)預(yù)處理是指在指紋提取前對(duì)礦井中多基站信號(hào)源進(jìn)行預(yù)處理,旨在提高指紋特征的可靠性和區(qū)分度。通常采用均值濾波、中值濾波、小波去噪、信噪比增強(qiáng)等方法進(jìn)行預(yù)處理[13]。此處,數(shù)據(jù)預(yù)處理僅對(duì)原始數(shù)據(jù)進(jìn)行清洗和壓縮。其中,數(shù)據(jù)清洗包括去噪和異常值處理兩個(gè)過(guò)程,數(shù)據(jù)壓縮采用Lempel-Ziv-Welch(LZW)算法[14]實(shí)現(xiàn),具體實(shí)現(xiàn)方法分析如下。

1.2.1 數(shù)據(jù)清洗

以均值濾波為例,假設(shè)數(shù)據(jù)序列為{x1,x2,…,xn} ,窗口大小為k(k

式中,i,j

在異常值處理過(guò)程中,可以采用基于統(tǒng)計(jì)學(xué)方法或基于模型的方法。以基于統(tǒng)計(jì)學(xué)方法中的3σ原則為例,假設(shè)數(shù)據(jù)序列為{x1,x2,…,xn} ,則首先計(jì)算出均值μ和標(biāo)準(zhǔn)差σ,然后將大于μ +3σ或小于μ-3σ的值視為異常值,并進(jìn)行替換或刪除處理。

1.2.2 數(shù)據(jù)壓縮

Lempel-Ziv-Welch(LZW)算法是一種常用的無(wú)損數(shù)據(jù)壓縮算法。該算法采用字典編碼方法進(jìn)行壓縮[15],將輸入的數(shù)據(jù)序列映射為一系列短代碼,從而減小數(shù)據(jù)規(guī)模。具體實(shí)現(xiàn)步驟如下:

(1)初始化字典,將所有單個(gè)字符作為初始字典項(xiàng)。

(2)掃描輸入序列,將序列中的字符序列逐步加入字典中,同時(shí)輸出其對(duì)應(yīng)的編碼序列。

(3)如果加入新的字符序列后,字典已滿,則刪除最舊的字典項(xiàng),以騰出空間。

(4)重復(fù)步驟(2)、步驟(3),直到輸入序列全部掃描完畢。

1.3 指紋特征提取

離散小波變換是指將礦井多基站信號(hào)分解成多個(gè)頻帶,以便去除噪聲和冗余信息,提取出具有代表性的指紋特征向量[16]。本研究通過(guò)小波變換處理,將礦井多基站信號(hào)分解成不同尺度的頻帶,在保留信號(hào)細(xì)節(jié)信息的同時(shí)進(jìn)行信號(hào)分解;然后通過(guò)對(duì)各個(gè)頻帶系數(shù)的閾值處理和重構(gòu),得到具有代表性的指紋特征向量。

在離散小波變換的基礎(chǔ)上,通過(guò)對(duì)各個(gè)尺度的頻帶系數(shù)進(jìn)行分析和處理,提取出具有代表性的礦井指紋特征。具體來(lái)說(shuō),通過(guò)對(duì)高頻子帶系數(shù)的處理,可以提取出礦井邊緣、紋理等細(xì)節(jié)特征;然后,對(duì)低頻子帶系數(shù)進(jìn)行處理,可以提取出礦井的整體特征;最后,將這些特征組合起來(lái),形成礦井指紋特征向量。離散小波變換的礦井指紋特征提取偽代碼見(jiàn)表1。

表1 基于離散小波變換的礦井指紋特征提取算法偽代碼Table 1 Pseudo-code of mine fingerprint feature extraction algorithm based on discrete wavelet transform

1.4 指紋匹配

對(duì)于每個(gè)需要定位的礦工或移動(dòng)設(shè)備,將指紋信號(hào)分為若干個(gè)子信號(hào)區(qū)域,并計(jì)算每個(gè)區(qū)域的相關(guān)系數(shù)矩陣。公式為

式中,Rxy為相關(guān)系數(shù),xi和yi分別為兩個(gè)向量中的第i個(gè)元素;和分別為兩個(gè)向量的均值;n表示向量的長(zhǎng)度。

將這些相關(guān)系數(shù)矩陣與之前采集的指紋信號(hào)庫(kù)中的所有指紋進(jìn)行比對(duì),計(jì)算兩者之間的相似度。此處,選擇與輸入指紋信號(hào)相似度最高的前k個(gè)指紋信號(hào),作為最終匹配結(jié)果。指紋匹配流程偽代碼見(jiàn)表2。

1.5 基于Hadoop云平臺(tái)的礦井指紋定位

基于上述指紋匹配結(jié)果,利用多普勒效應(yīng)和信號(hào)衰減等原理,對(duì)每個(gè)節(jié)點(diǎn)的位置進(jìn)行估計(jì)。本研究利用最小二乘法計(jì)算節(jié)點(diǎn)位置[17],得到每個(gè)節(jié)點(diǎn)在礦井中的坐標(biāo)。在此基礎(chǔ)上,將上述礦井指紋定位算法嵌入基于Hadoop 的云平臺(tái)系統(tǒng)上。Hadoop 的核心組件包括HDFS(Hadoop 分布式文件系統(tǒng))和MapReduce[18]。HDFS 是一個(gè)分布式文件系統(tǒng),用于存儲(chǔ)大規(guī)模數(shù)據(jù)。MapReduce 是一種分布式計(jì)算模型,用于在Hadoop 上處理大規(guī)模數(shù)據(jù)[19]。此外,Hadoop 還包括其他組件,如YARN(Hadoop 資源管理器)和HBase(分布式列式數(shù)據(jù)庫(kù))等[20]。本研究基于Hadoop云平臺(tái)的礦井指紋定位模型部署結(jié)構(gòu)如圖2所示。

圖2 Hadoop云平臺(tái)礦井指紋定位模型部署結(jié)構(gòu)Fig.2 Deployment structure of mine fingerprint positioning model of Hadoop cloud platform

總體來(lái)說(shuō),通過(guò)Hadoop云平臺(tái)進(jìn)行分布式計(jì)算可以提高計(jì)算效率,降低計(jì)算復(fù)雜度,并且可以對(duì)大規(guī)模數(shù)據(jù)進(jìn)行處理。同時(shí),Hadoop 還具備良好的容錯(cuò)性和可擴(kuò)展性,可以適應(yīng)不同規(guī)模的數(shù)據(jù)處理需求。

2 試驗(yàn)分析

2.1 試驗(yàn)環(huán)境

試驗(yàn)硬件環(huán)境:CPU,Intel(R)Xeon(R)Gold 6130 CPU@2.10 GHz;內(nèi)存選擇256GB DDR4-2666 ECC RDIMM;網(wǎng)絡(luò)環(huán)境為以太網(wǎng)千兆交換機(jī)。試驗(yàn)軟件環(huán)境:采用操作系統(tǒng)為CentOS Linux release 7.6.1810(Core)的PC 機(jī),Hadoop 版本為Apache Hadoop 3.1.2;開(kāi)發(fā)語(yǔ)言為Java 版本,OpenJDK Runtime Environment(build 1.8.0_212-b04)。

2.2 試驗(yàn)算法描述

本研究提出的基于Hadoop云平臺(tái)的礦井指紋定位算法運(yùn)行流程如下:

(1)數(shù)據(jù)采集。在井下部署4 個(gè)相差8 m 的無(wú)線路由器,并將其作為信號(hào)發(fā)射基站的數(shù)據(jù)采集源,本地選擇PC 機(jī)作為信號(hào)接收源,每組采集50 組數(shù)據(jù),共采集5 組,共包含250 組數(shù)據(jù)。

(2)數(shù)據(jù)傳輸。將采集的數(shù)據(jù)通過(guò)網(wǎng)絡(luò)傳輸至Hadoop云平臺(tái)上的數(shù)據(jù)節(jié)點(diǎn),存儲(chǔ)為文本文件格式。

(3)數(shù)據(jù)預(yù)處理。對(duì)采集的數(shù)據(jù)進(jìn)行清洗、去重、過(guò)濾等預(yù)處理操作,以保證數(shù)據(jù)質(zhì)量和準(zhǔn)確性。

(4)數(shù)據(jù)分析和特征提取。利用MapReduce 編程模型對(duì)預(yù)處理后的數(shù)據(jù)進(jìn)行分析和特征提取操作,提取出與工人位置相關(guān)的特征信息。

(5)建立指紋庫(kù)。根據(jù)特征提取結(jié)果,建立礦井指紋庫(kù),包含每個(gè)位置的特征向量。

(6)定位算法實(shí)現(xiàn)。根據(jù)工人在礦井內(nèi)部采集的數(shù)據(jù),利用指紋匹配算法在指紋庫(kù)中尋找最佳匹配項(xiàng),從而確定其當(dāng)前位置。

(7)結(jié)果輸出和可視化。將定位結(jié)果輸出到文件或數(shù)據(jù)庫(kù)中,并通過(guò)可視化方式呈現(xiàn)給用戶,便于用戶掌握工人的位置信息。詳細(xì)流程如圖3所示。

圖3 礦井指紋定位算法運(yùn)行流程Fig.3 Operation flow of mine fingerprint location algorithm

2.3 性能比較

以國(guó)內(nèi)某煤礦為例,在井下進(jìn)行離線采樣和實(shí)時(shí)定位信息采集,并與多組仿真試驗(yàn)結(jié)果進(jìn)行對(duì)比分析。在不同位置上收集RSS(Recombination signal sequence)信號(hào)數(shù)據(jù),并記錄位置信息,信號(hào)采樣分布如圖4所示。在此基礎(chǔ)上,通過(guò)預(yù)處理和特征提取等步驟,建立指紋庫(kù)。最后進(jìn)行實(shí)時(shí)定位信息采集,將采集到的信號(hào)數(shù)據(jù)與指紋庫(kù)進(jìn)行匹配,并輸出位置信息。

圖4 礦井指紋信號(hào)分布Fig.4 Distribution of mine fingerprint signal

為驗(yàn)證所提算法的有效性,分別選擇高斯濾波、卡爾曼濾波指紋定位算法與本研究算法進(jìn)行性能對(duì)比,結(jié)果見(jiàn)表3。3 種算法的定位誤差曲線如圖5所示。

表3 3 種算法定位性能對(duì)比Table 3 Comparison of the localization performance of three algorithmsm

圖5 3 種算法的定位誤差曲線Fig.5 Localization error curves of three algorithms

由表3 可知:本研究所提算法具有較高的定位精度和穩(wěn)定性,可以滿足實(shí)際應(yīng)用需求,但因各種因素(如噪聲、干擾等)影響,真實(shí)位置與模型計(jì)算位置之間仍然存在部分偏差。相比當(dāng)前主流的定位算法高斯濾波和卡爾曼濾波指紋定位算法,所提模型的綜合性能優(yōu)勢(shì)明顯,此外圖5 給出的位置偏差曲線再一次驗(yàn)證了所提算法的有效性和穩(wěn)定性。

本研究算法與高斯濾波、卡爾曼濾波指紋定位算法的耗時(shí)對(duì)比如圖6所示。由圖6 可知:本研究算法耗時(shí)相對(duì)于其余兩類算法而言有一定的優(yōu)勢(shì),將其部署于Hadoop云平臺(tái)上有助于提升數(shù)據(jù)采集與傳輸?shù)臅r(shí)效性。

圖6 3 種算法耗時(shí)對(duì)比Fig.6 Comparison of time-consuming of three methods

3 結(jié)論

(1)提出了一種基于Hadoop云平臺(tái)的礦井指紋定位算法,通過(guò)將多基站源信號(hào)分解為若干個(gè)子信號(hào)區(qū)域,逐區(qū)域計(jì)算待測(cè)信號(hào)源與特征集之間的相關(guān)性。并借助Hadoop云平臺(tái)的高性能和可擴(kuò)展性,結(jié)合指紋識(shí)別技術(shù)實(shí)現(xiàn)了在礦井環(huán)境下的準(zhǔn)確定位。通過(guò)與當(dāng)前主流的指紋定位算法相比,所提算法在定位精度和實(shí)時(shí)性上均具有一定的優(yōu)勢(shì)。

(2)后續(xù)工作中,可以進(jìn)一步優(yōu)化算法的計(jì)算效率和減少誤差;同時(shí),將算法與更多實(shí)際應(yīng)用場(chǎng)景相結(jié)合,如智能采礦和安全管理等方面?；贖adoop云平臺(tái)的礦井指紋定位算法為解決礦井定位問(wèn)題提供了一種新思路。