基于ElasticSearch的海量遙感數(shù)據(jù)檢索技術(shù)研究

李峰 宋宴 魏廣澤 王永安

摘要：隨著我國對(duì)地觀測技術(shù)的發(fā)展，衛(wèi)星遙感數(shù)據(jù)越來越多，傳統(tǒng)空間關(guān)系數(shù)據(jù)庫在時(shí)間范圍、空間范圍的快速查詢及可擴(kuò)展方面存在一定瓶頸。通過分析ElasticSearch搜索引擎框架，提出了一種基于改良GeoHash編碼的時(shí)空索引方法，設(shè)計(jì)并實(shí)現(xiàn)了基于ElasticSearch的海量遙感數(shù)據(jù)檢索技術(shù)，可以精確高效建立一維行鍵索引篩選遙感數(shù)據(jù)，提高查詢處理效率。實(shí)驗(yàn)結(jié)果表明，該技術(shù)適合于組織管理與查詢海量的遙感數(shù)據(jù)，查詢性能優(yōu)于傳統(tǒng)關(guān)系數(shù)據(jù)庫。

關(guān)鍵詞：ElasticSearch;遙感數(shù)據(jù);GeoHash;數(shù)據(jù)檢索

中圖分類號(hào)：TP311.5文獻(xiàn)標(biāo)志碼：A文章編號(hào)：1008-1739（2021）05-57-5

0引言

隨著我國對(duì)地觀測技術(shù)的發(fā)展，特別是高分辨率對(duì)地觀測系統(tǒng)重大專項(xiàng)的推進(jìn)，基本具備了高空間分辨率、高時(shí)間分辨率及高光譜分辨率的天基對(duì)地觀測能力。隨著遙感影像數(shù)據(jù)越積越多，不同領(lǐng)域的應(yīng)用需求對(duì)遙感影像數(shù)據(jù)的存儲(chǔ)及高效檢索提出了越來越高的要求。遙感元數(shù)據(jù)作為描述遙感影像數(shù)據(jù)的重要數(shù)據(jù)，具有結(jié)構(gòu)復(fù)雜、信息量大、產(chǎn)生頻率高等特點(diǎn)。傳統(tǒng)的空間關(guān)系型數(shù)據(jù)（如Oracle、PostgreSQL等）主要以內(nèi)置的B+樹或R樹等簡單成熟的索引結(jié)構(gòu)來輔助查詢處理，面對(duì)存儲(chǔ)海量的遙感元素?cái)?shù)據(jù)信息存在讀寫性能不理想、可擴(kuò)展性差等缺點(diǎn)。本文提出了一種基于改良GeoHash編碼的時(shí)空索引方法，設(shè)計(jì)了基于ElasticSearch的海量遙感數(shù)據(jù)檢索技術(shù)，實(shí)現(xiàn)了遙感數(shù)據(jù)空間、時(shí)間、衛(wèi)星和載荷等多樣化的檢索，支撐海量遙感影像數(shù)據(jù)的高效檢索。

1基于ElasticSearch的海量遙感數(shù)據(jù)檢索技術(shù)

由于遙感影像文件很大，不適合直接對(duì)遙感影像數(shù)據(jù)本身進(jìn)行檢索，常用的方式是從遙感元數(shù)據(jù)提取特征信息、范圍信息及標(biāo)識(shí)信息等描述內(nèi)容，存儲(chǔ)到空間關(guān)系型數(shù)據(jù)中，支撐行業(yè)應(yīng)用中的數(shù)據(jù)查詢檢索應(yīng)用。隨著遙感元數(shù)據(jù)量的增加，基于衛(wèi)星載荷、時(shí)間范圍和空間范圍等信息的快速查詢是亟需解決的問題。

為了提高海量遙感數(shù)據(jù)的查詢檢索訪問效率，本文設(shè)計(jì)了一種基于改良GeoHash編碼的時(shí)空索引方法，將時(shí)間、空間等多維信息映射到一維時(shí)空索引編碼，在分析ElasticSearch搜索引擎框架的基礎(chǔ)上，將時(shí)空索引編碼作為索引字段，設(shè)計(jì)和實(shí)現(xiàn)一種基于ElasticSearch的海量遙感數(shù)據(jù)檢索技術(shù)。

1.1擴(kuò)展GeoHash的時(shí)空索引技術(shù)

GeoHash是一種經(jīng)緯度地址編碼方法，把二維的空間經(jīng)緯度數(shù)據(jù)進(jìn)行轉(zhuǎn)換，編碼成一個(gè)可以比較和排序的字符串，用一個(gè)字符串表示地理要素的空間坐標(biāo)。GeoHash的主要原理是根據(jù)地物的經(jīng)緯度坐標(biāo)利用二分法對(duì)空間區(qū)域劃分規(guī)則格網(wǎng)無限逼近地物所在區(qū)間。以天安門廣場坐標(biāo)（北緯：39.928167，東經(jīng)：116.390705）為例，GeoHash的編碼過程如下：

①將經(jīng)緯度轉(zhuǎn)換成二進(jìn)制：緯度范圍（-90，90），其中間值為0，將其劃分為區(qū)間0（-90，0）和區(qū)間1（0，90）。對(duì)于緯度39.928167，在區(qū)間（0，90）中，因此二進(jìn)制首位取值為1;（0，90）區(qū)間的中間值為45°，緯度39.928167小于45°，因此第二位取值0，依次計(jì)算下去，如表1所示，即可得到緯度的二進(jìn)制序列前20位為：10111000110001111001，同理可以得到經(jīng)度116.390 705的二進(jìn)制序列前20位為：11010010110001000100。序列的長度越長，表示經(jīng)緯度范圍精度越高。

②二進(jìn)制序列交叉組合：按照偶數(shù)位放經(jīng)度，奇數(shù)位放緯度（從0開始，0為偶數(shù)位）的順序?qū)?jīng)緯度的二進(jìn)制序列進(jìn)行交叉組合得出合并后的二進(jìn)制序列。仍以（39.928 167，116.390 705）為例，合并后的序列前20位為11100111010010001111。

③編碼轉(zhuǎn)換：標(biāo)準(zhǔn)的GeoHash值采用Base32編碼，具體過程是將經(jīng)緯度交叉組合后的二進(jìn)制序列每5個(gè)一組進(jìn)行切分（不足5個(gè)用0補(bǔ)充），將其轉(zhuǎn)換為十進(jìn)制，參考標(biāo)準(zhǔn)Base32編碼表用0～9，b～z（去掉a，i，l，o）這32個(gè)字母進(jìn)行編碼。如11100111010010001111轉(zhuǎn)換為十進(jìn)制成2829415，對(duì)應(yīng)的 Base32編碼為wx4g。Base32編碼每一字符代表5 bit，字符位數(shù)與精度之間的關(guān)系如表2所示。

可以看出，隨著GeoHash位數(shù)減少，誤差增加在4～8倍交替，難以有效控制區(qū)域精度，若將二進(jìn)制GeoHash碼直接索引保持精度又存在索引過長影響效率的問題。因此，設(shè)計(jì)了使用long型值的GeoHash編碼轉(zhuǎn)換方法，在保證細(xì)粒度和精度的同時(shí)，降低GeoHash有效值的位數(shù)，從而減少計(jì)算次數(shù)，進(jìn)一步提高編碼效率。具體步驟為：

①將GeoHash的二進(jìn)制轉(zhuǎn)換為64位long型值，作為GeoHash值;

②GeoHash值的高位為有效位，低位補(bǔ)0，并記錄下long值的有效位數(shù)量;

③根據(jù)具體需求，可以截取前2（0< <32）bit位作為GeoHash的long值有效位，將區(qū)域精度的增長控制在2倍左右。

采用該方法改良后的GeoHash字符位數(shù)對(duì)應(yīng)精度如表3所示。

改良后的GeoHash編碼方法能精確高效地將二維空間坐標(biāo)降維成一維編碼，滿足一維行鍵索引的使用需要。在此基礎(chǔ)上，結(jié)合行鍵索引的查詢規(guī)則，針對(duì)遙感數(shù)據(jù)的時(shí)空特點(diǎn)設(shè)計(jì)了將時(shí)間和GeoHash編碼特殊組合的混合時(shí)空編碼行鍵結(jié)構(gòu)及時(shí)空索引構(gòu)建方法。索引結(jié)構(gòu)如圖1所示。

使用該索引進(jìn)行遙感數(shù)據(jù)查詢時(shí)，首先會(huì)根據(jù)行鍵的前綴即“年月日”將符合日期的數(shù)據(jù)集檢索出來，然后按照GeoHash編碼表示的經(jīng)緯度范圍進(jìn)行空間檢索，最后查詢“時(shí)分秒”得到查詢結(jié)果。該方法可以通過時(shí)間的年月日部分和GeoHash相同前綴代表的大致地理范圍過濾掉大部分不符合查詢條件的數(shù)據(jù)，再對(duì)剩余數(shù)據(jù)使用值過濾器進(jìn)行查詢，整個(gè)過程幾乎不需要使用行鍵過濾器，提高了數(shù)據(jù)的查詢效率。

1.2 ElasticSearch遙感數(shù)據(jù)檢索設(shè)計(jì)

ElasticSearch是一款基于Lucene庫的分布式、RESTful的開源搜索引擎，由于其功能強(qiáng)大，使用便捷，受到維基百科、衛(wèi)報(bào)、Stack Overflow、GitHub等企業(yè)和組織的歡迎，諸如搜索推薦、數(shù)據(jù)分析、日志采集的很多功能都是基于ElasticSearch實(shí)現(xiàn)的?；贓lasticSearch的分布式海量遙感數(shù)據(jù)檢索設(shè)計(jì)技術(shù)通過統(tǒng)一規(guī)范化的元數(shù)據(jù)結(jié)構(gòu)建立元數(shù)據(jù)與索引文件的映射，基于擴(kuò)展GeoHash的混合時(shí)空編碼方法建立時(shí)空索引，并搭建分布式ElasticSearch集群提高可靠性，實(shí)現(xiàn)海量遙感影像數(shù)據(jù)的高效檢索。

（1）元數(shù)據(jù)設(shè)計(jì)

元數(shù)據(jù)是用來描述數(shù)據(jù)的數(shù)據(jù)。遙感元數(shù)據(jù)作為描述遙感數(shù)據(jù)本身特性的輔助數(shù)據(jù)，可以服務(wù)于數(shù)據(jù)的存儲(chǔ)和檢索，提高查詢效率。針對(duì)海量遙感數(shù)據(jù)檢索的實(shí)際需要，抽取影像元數(shù)據(jù)特征進(jìn)行擴(kuò)展，設(shè)計(jì)了一套符合實(shí)際查詢需求的遙感影像元數(shù)據(jù)結(jié)構(gòu)，如表4所示。

為了將遙感影像與元數(shù)據(jù)一一對(duì)應(yīng)，除了以上基本數(shù)據(jù)結(jié)構(gòu)外，還新增了3類元數(shù)據(jù)，如表5所示。

（2）索引創(chuàng)建

ElasticSearch是基于Lucene的全文檢索系統(tǒng)，其底層的索引技術(shù)實(shí)現(xiàn)與Lucene一致，可以將索引創(chuàng)建的流程劃分為4步，創(chuàng)建流程如圖2所示。索引創(chuàng)建過程包括獲取影像元數(shù)據(jù)、生成混合時(shí)空編碼索引、創(chuàng)建Document對(duì)象、IndexWriter建立索引，其中混合時(shí)空編碼索引是根據(jù)擴(kuò)展GeoHash的時(shí)空索引技術(shù)生成的。

（3）集群部署

ElasticSearch支持分布式部署，通過集群部署可以保證搜索引擎的高可用性。多臺(tái)主機(jī)構(gòu)成了一個(gè)集群，每臺(tái)主機(jī)稱作一個(gè)節(jié)點(diǎn)（Node），對(duì)于處在同一網(wǎng)段下?lián)碛邢嗤好Q的多個(gè)節(jié)點(diǎn)，每當(dāng)一個(gè)節(jié)點(diǎn)啟動(dòng)時(shí)，ElasticSearch會(huì)自動(dòng)調(diào)用節(jié)點(diǎn)發(fā)現(xiàn)機(jī)制尋找集群中的其他節(jié)點(diǎn)建立連接，組成分布式集群。本文部署的ElasticSearch集群包含3個(gè)節(jié)點(diǎn)：主節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)和客戶端節(jié)點(diǎn)。其中主節(jié)點(diǎn)的主要職責(zé)是元數(shù)據(jù)的處理，如創(chuàng)建或刪除索引，跟蹤哪些節(jié)點(diǎn)是集群的一部分，并決定哪些分片分配給相關(guān)的節(jié)點(diǎn)等;數(shù)據(jù)節(jié)點(diǎn)是保存數(shù)據(jù)分片的節(jié)點(diǎn)，主要負(fù)責(zé)數(shù)據(jù)的增刪改查操作，聚合操作，分片的CRUD等;客戶端節(jié)點(diǎn)也稱作負(fù)載均衡節(jié)點(diǎn)，該節(jié)點(diǎn)表現(xiàn)為智能負(fù)載平衡器，可以協(xié)調(diào)主節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)，起到路由請(qǐng)求的作用。

2實(shí)驗(yàn)驗(yàn)證

為驗(yàn)證基于ElasticSearch的海量遙感數(shù)據(jù)檢索技術(shù)的查詢效率，使用來自不同衛(wèi)星傳感器的750萬條ZY-3、GF-1、GF-2等衛(wèi)星遙感影像元數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)，分別使用ElasticSearch和遙感領(lǐng)域常用的PostgreSQL、MySQL數(shù)據(jù)庫3種方式存儲(chǔ)，實(shí)驗(yàn)環(huán)境為Windows7操作系統(tǒng)，2.20 GHz Intel E5至強(qiáng)CPU，64 GB內(nèi)存。

本文在選取實(shí)驗(yàn)數(shù)據(jù)后，提取影像元數(shù)據(jù)并選擇了空間范圍和時(shí)間跨度2個(gè)可調(diào)參數(shù)，以此為變量設(shè)計(jì)了多組實(shí)驗(yàn)，進(jìn)行不同條件下的檢索效率實(shí)驗(yàn)，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比分析，結(jié)果如下。

（1）空間范圍查詢

在空間范圍上，選擇了雄安新區(qū)、京津冀、中國和全球4個(gè)不同維度的區(qū)域，檢索該區(qū)域包含的全部遙感數(shù)據(jù)，并多次實(shí)驗(yàn)記錄平均耗時(shí)，將查詢效率可視化，如圖3所示。

可以看出，隨著地理范圍的擴(kuò)大，三者查詢效率均有所降低，但得益于擴(kuò)展GeoHash的時(shí)空索引技術(shù)，ElasticSearch的基礎(chǔ)查詢效率更高，且隨地理范圍擴(kuò)大，查詢時(shí)間的增長較為平穩(wěn)。

（2）時(shí)間范圍查詢

時(shí)間范圍上，以實(shí)驗(yàn)數(shù)據(jù)的最早采集時(shí)間2007年為起點(diǎn)，分別測試三年、五年、十年和到目前為止范圍內(nèi)遙感數(shù)據(jù)的檢索所需時(shí)間，并多次實(shí)驗(yàn)記錄平均耗時(shí)，將查詢效率可視化，如圖4所示。

可以看出，PostgreSQL在較小時(shí)間跨度時(shí)查詢效率最低，MySQL隨著時(shí)間跨度的擴(kuò)大查詢效率顯著降低，只有ElasticSearch保持了較高基礎(chǔ)查詢效率的同時(shí)，查詢時(shí)間的增長相對(duì)平穩(wěn)。

綜合以上2組實(shí)驗(yàn)結(jié)果可知，相較于常用的PostgreSQL和MySQL數(shù)據(jù)庫，ELasticSearch對(duì)于不同空間和時(shí)間維度上的遙感數(shù)據(jù)查詢性能更優(yōu)。此外，空間和時(shí)間范圍的擴(kuò)大帶來的數(shù)據(jù)量級(jí)的提升對(duì)ElasticSearch影響不大，這一特點(diǎn)非常適合應(yīng)用于擁有海量數(shù)據(jù)的遙感領(lǐng)域?？傊?，對(duì)于近千萬級(jí)的遙感影像元數(shù)據(jù)，在檢索速度方面，基于ELasticSearch的檢索效率明顯高于基于PostgreSQL和MySQL數(shù)據(jù)庫的檢索效率，可以滿足海量遙感數(shù)據(jù)的實(shí)時(shí)時(shí)空查詢需要。

3結(jié)束語

本文提出了基于ElasticSearch的海量遙感數(shù)據(jù)檢索技術(shù)，設(shè)計(jì)了一種基于改良GeoHash編碼的時(shí)空索引方法，完成了海量遙感數(shù)據(jù)元數(shù)據(jù)的數(shù)據(jù)接入、數(shù)據(jù)索引和數(shù)據(jù)檢索，開發(fā)實(shí)現(xiàn)了基于ElasticSearch的海量遙感數(shù)據(jù)檢索系統(tǒng)，對(duì)上述技術(shù)方法進(jìn)行了實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，技術(shù)途徑合理可行，其查詢性能優(yōu)于傳統(tǒng)關(guān)系數(shù)據(jù)庫，為實(shí)現(xiàn)海量遙感數(shù)據(jù)的快速檢索提供了解決方案。

參考文獻(xiàn)

[1]李德仁，沈欣，龔健雅，等.論我國空間信息網(wǎng)絡(luò)的構(gòu)建[J].武漢大學(xué)學(xué)報(bào)（信息科學(xué)版），2015，40（6）：711-715.

[2]謝榕，羅知微，王雨晨，等.遙感衛(wèi)星特定領(lǐng)域大規(guī)模知識(shí)圖譜構(gòu)建關(guān)鍵技術(shù)[J].無線電工程，2017，47（4）：1-6.

[3]權(quán)治，宋晶晶.基于NoSQL的數(shù)據(jù)庫技術(shù)分析[J].無線電工程，2013，43（9）：4-6.

[4] HUANG K， LI G， WANG J. Rapid Retrieval Strategy for Massive Remote Sensing Metadata Based on GeoHash Coding[J]. Remote Sensing Letters，2019，10（2）：111-119.

[5]向隆剛，高萌，王德浩，等.Geohash-Trees：一種用于組織大規(guī)模軌跡的自適應(yīng)索引[J].武漢大學(xué)學(xué)報(bào)（信息科學(xué)版）， 2019，44（3）：436-442.

[6] ZHOU Chang，LU Huimei，XIANG Yong，et al.Geohashtile： Vector Geographic Data Display Method Based on Geohash[J].ISPRS International Journal of Geo-Information，2020，9（7）： 418.

[7]李峰，尤淑撐，魏海，等.遙感影像區(qū)域覆蓋最優(yōu)數(shù)據(jù)集的篩選模型[J].無線電工程，2017，47（10）：45-48.

[8]陳啟凡.基于NoSQL的公共安全監(jiān)測數(shù)據(jù)分布式存儲(chǔ)技術(shù)研究[D].成都：電子科技大學(xué)，2020.

[9]姜康，馮鈞，唐志賢，等.基于ElasticSearch的元數(shù)據(jù)搜索與共享平臺(tái)[J].計(jì)算機(jī)與現(xiàn)代化，2015（2）：117-121.

[10] WANG Ruoyu，SUN Daniel，LI Guoqiang，et al.Pipeline Provenance for Cloud Based Big Data Analytics[J]. Software：Practice and Experience，2020，50（5）：658-674.

[11]關(guān)雪峰，曾宇媚.時(shí)空大數(shù)據(jù)背景下并行數(shù)據(jù)處理分析挖掘的進(jìn)展及趨勢[J].地理科學(xué)進(jìn)展，2018，37（10）：1314-1327.

[12]張學(xué)亮，陳金勇，陳勇.基于Hadoop云計(jì)算平臺(tái)的海量文本處理研究[J].無線電通信技術(shù)，2014，40（1）：54-57.

[13] DHULAVVAGOL PM，BHAJANTRI VH，TOTAD SG. Performance Analysis of Distributed Processing System Using Shard Selection Techniques on Elasticsearch[J]. Procedia Comput Sci，2020，167：1626-1635.

[14]王章龍.Elasticsearch索引分片策略研究[D].重慶：重慶郵電大學(xué)，2019.