分布式計算環(huán)境遙感圖像水體識別技術(shù)

摘要：

隨著社會的進(jìn)步和國民經(jīng)濟(jì)的發(fā)展，國民節(jié)能環(huán)保意識逐漸增強(qiáng)，逐漸認(rèn)識到水資源對社會發(fā)展的重要性。為實(shí)現(xiàn)對水資源的科學(xué)管理與合理調(diào)度，必須要通過水體識別技術(shù)對水資源實(shí)際情況形成更為準(zhǔn)確的了解。本文主要分析了一種分布式計算環(huán)境下的遙感圖像水體識別技術(shù)。

關(guān)鍵詞：

分布式計算;水體識別;MapReduce模型

中圖分類號：

TP751

文獻(xiàn)標(biāo)識碼：

A

文章編號：

1672-9129（2020）15-0026-01

如今，水資源短缺已經(jīng)成為世界各國關(guān)注的普遍話題，水資源利用狀況尤為嚴(yán)峻，這也對我國水資源利用的合理性提出了更高的要求。如何在分布式計算環(huán)境之下實(shí)現(xiàn)對遙感圖像水體識別技術(shù)的有效選擇與應(yīng)用，從而提高水資源監(jiān)測效果，值得我們深思。

1MapReduce簡介

MapReduce模型可以實(shí)現(xiàn)讀寫操作的高速化、流式化，適合針對海量數(shù)據(jù)進(jìn)行檢索、特征分析等處理。其任務(wù)處理流程可以具體劃分為：①數(shù)據(jù)分塊和分配。在模型接收到輸入數(shù)據(jù)之后，作“分片”操作，對整個任務(wù)進(jìn)行劃分，形成多個子任務(wù)，也就是將超大數(shù)據(jù)集當(dāng)中的數(shù)據(jù)劃分成多個大小相同的“數(shù)據(jù)塊”，之后主節(jié)點(diǎn)把各個子任務(wù)向模型中的從節(jié)點(diǎn)分發(fā)，開始并行處理;②Mpa映射。每個Map任務(wù)需要接收和處理一個數(shù)據(jù)“分片”，使其經(jīng)過映射轉(zhuǎn)變?yōu)?key，value>鍵值對，產(chǎn)出其中間結(jié)果;③分區(qū)和排序。結(jié)合key值針對中間結(jié)果做排序與合并處理，并將其當(dāng)作Reduce函數(shù)輸入;④Reduce規(guī)約。以組作為基本單位針對數(shù)據(jù)作規(guī)約處理，對key值相等的value值加以合并;⑤數(shù)據(jù)輸出。將Reduce之后所產(chǎn)出的鍵值對輸出。

2遙感數(shù)據(jù)劃分與組織形式

在實(shí)踐中，并行計算效率會受到諸多因素的影響，以MapReduce為支撐針對遙感圖像進(jìn)行并行處理的過程中，數(shù)據(jù)劃分方式與“塊”的大小會對模型形成起到?jīng)Q定作用。出于對湖泊、河流等水體在遙感圖像當(dāng)中占據(jù)面積較大的實(shí)際情況，本實(shí)驗(yàn)將矩形作為基準(zhǔn)形狀針對圖像加以分塊處理。

應(yīng)用Hadoop大數(shù)據(jù)處理平臺針對遙感圖像加以存儲與索引。在HDFS分布式文件系統(tǒng)當(dāng)中存放遙感圖像，并在HBase數(shù)據(jù)庫當(dāng)中存儲圖像相應(yīng)的元數(shù)據(jù)。此外，還要結(jié)合每塊數(shù)據(jù)“分片”構(gòu)建起多個副本，以此提升數(shù)據(jù)塊的可用性和可靠性。

在具體開始實(shí)驗(yàn)之前，先要搭建起Hadoop分布式集群。在集群中配置4臺主機(jī)，并選擇其中一臺作為命名節(jié)點(diǎn)，其它三臺則當(dāng)作從節(jié)點(diǎn)。在每臺主機(jī)上都要安裝相關(guān)軟件，以搭建所需實(shí)驗(yàn)環(huán)境。軟件內(nèi)容包括：①LinuxUbuntu系統(tǒng);②Java編程軟件;③Hadoop分布式系統(tǒng)等。

3實(shí)驗(yàn)結(jié)果及分析

3.1正確性測試。以MapReduce為支撐對分布式信息提取模型進(jìn)行構(gòu)建，通過幾種提取效果相對較好的信息提取方法針對實(shí)驗(yàn)區(qū)域水體加以處理。實(shí)驗(yàn)中所應(yīng)用的驗(yàn)證樣本是通過ENVI圖像處理軟件針對研究區(qū)域高分辨率遙感圖像加以監(jiān)督分類，結(jié)合最大似然法獲得參照分類的結(jié)果。

此外，為實(shí)現(xiàn)對實(shí)驗(yàn)結(jié)果更為有效地描述，體現(xiàn)出模型的可靠性與精度，我們將錯提率、總體精度以及Kappa系數(shù)等當(dāng)作實(shí)驗(yàn)的評價指標(biāo)，得出結(jié)論：①不同提取方法所獲結(jié)果精度從高到低：MNDWI、NDWI、NDVI、譜間關(guān)系法以及單波段閾值法;②實(shí)驗(yàn)結(jié)果顯示，單波段閾值法對于水體信息所呈現(xiàn)的提取結(jié)果最差，這主要是由于該方法通過單波段獲得水體特征，有一定片面性，很難實(shí)現(xiàn)對水體和其它地物的有效區(qū)分;③MNDWI所獲信息提取精度最高，這是由于該方法可以增強(qiáng)各種地物，特別是建筑及陰影反差，可以由背景地物當(dāng)中對水體信息進(jìn)行精準(zhǔn)提取;④通過幾種方法所獲得的提取精度均在90%以上。

所以，以MapReduce為支撐的分布式信息提取模型可以有效實(shí)現(xiàn)對水體信息的準(zhǔn)確提取，而且能夠展現(xiàn)出良好的識別精度。

3.2可擴(kuò)展性與伸縮性測試。選取2019年5月實(shí)驗(yàn)對象流域的6幅影像為實(shí)驗(yàn)材料。在實(shí)驗(yàn)過程中，利用歸一化差異指數(shù)法進(jìn)行信息提取。分析在不同計算節(jié)點(diǎn)之下，以MapReduce為支撐的分布式信息提取模型針對一幅、兩幅、四幅以及六幅遙感圖像開展識別所耗費(fèi)的時間關(guān)系。

經(jīng)分析可得出結(jié)論：①在所輸入數(shù)據(jù)量為一定的情況下，隨計算節(jié)點(diǎn)數(shù)量的提升，提取信息所需時間呈現(xiàn)為線性降低狀態(tài)，加速比則持續(xù)增加。計算節(jié)點(diǎn)的數(shù)量為2個，其平均加速比是1.92;數(shù)量為3個，則平均加速比是2.65;數(shù)量為4個，則平均加速比是3.94。所以，本實(shí)驗(yàn)所分析的模型具有良好的可擴(kuò)展性，能夠充分滿足各種規(guī)模數(shù)據(jù)集在并行計算方面的需求;②在數(shù)據(jù)數(shù)據(jù)量呈線性增長的情況下，信息提取所需時間也呈線性增長，所以本實(shí)驗(yàn)所分析模型有著良好的可伸縮性，能夠充分滿足各種規(guī)模數(shù)據(jù)量條件下的信息提取需求。

結(jié)語：總而言之，水資源短缺已經(jīng)成為制約國家經(jīng)濟(jì)與社會發(fā)展的重要因素，值得我們投入更多人力、物力和財力提高其檢測效果，為水資源調(diào)度與利用提供更為準(zhǔn)確的技術(shù)支持，為資源節(jié)約型與環(huán)境友好型社會建設(shè)注入源源不斷的活力。

參考文獻(xiàn)：

[1]徐旭.基于圖像特征的遙感影像水體自動提取方案研究[J].安徽建筑，2019，26（9）：51.

[2]]王瑋哲.高分辨遙感圖像目標(biāo)識別技術(shù)綜述[J].通訊世界，2017，（16）：276.

作者簡介：馬穎（1977.10），女，漢，河南鄭州人，碩士學(xué)歷，河南工程學(xué)院副教授，研究方向：分布式計算與圖像智能信息處理。