基于云計(jì)算技術(shù)的高光譜圖像數(shù)據(jù)存儲(chǔ)研究

孫麗英

（合肥科技職業(yè)學(xué)院電子信息系 安徽合肥 230088）

高光譜成像作為一種重要的遙感探測(cè)手段，已經(jīng)成為了遙感探測(cè)成像領(lǐng)域的重要探測(cè)手段，對(duì)高光譜圖像數(shù)據(jù)進(jìn)行存儲(chǔ)與相關(guān)的處理，成為了具有研究意義和價(jià)值的科研方向。高光譜圖像的分辨率高，通過高光譜傳感器，使得高光譜圖實(shí)現(xiàn)了光譜與圖像之間的融合，對(duì)于人類開發(fā)地球資源和大氣環(huán)境的監(jiān)控提供了新的思路和手段[1]。高光譜圖像手段本身具有的發(fā)展能力在醫(yī)學(xué)和農(nóng)學(xué)方面也有著非常廣泛的應(yīng)用，它是一種集探測(cè)器手段、精密紅外線激光光學(xué)儀器等高科技手段于一體的整體性技術(shù)。高光譜圖像是在二維圖像信息的基礎(chǔ)上，增加了一維的光譜信息，高光譜圖像的空譜間分辨力越來越高，光譜數(shù)據(jù)量化的深度越來越高，同時(shí)遙感衛(wèi)星不間斷掃描周期次數(shù)的不斷增加，這些因素都導(dǎo)致了高光譜成像的數(shù)據(jù)量成倍數(shù)量級(jí)的增加，導(dǎo)致了高光譜圖像數(shù)據(jù)在存儲(chǔ)的過程中，出現(xiàn)了重要幀丟失的情況[2]。因此本文設(shè)計(jì)一種基于云計(jì)算技術(shù)的高光譜圖像數(shù)據(jù)存儲(chǔ)方法，本文設(shè)計(jì)的方法主要是對(duì)得到的高光譜圖像進(jìn)行分類處理，將重要幀進(jìn)行特殊的標(biāo)記處理，在存儲(chǔ)過程中更容易發(fā)現(xiàn)其丟失情況，從而提升存儲(chǔ)方法的性能。

一、基于云計(jì)算技術(shù)的高光譜圖像數(shù)據(jù)存儲(chǔ)方法

（一）提取高光譜圖像端元。在高光譜圖像存儲(chǔ)的過程中，需要對(duì)圖像進(jìn)行檢索匹配[3，4]。高光譜圖像具有一定的電磁輻射，因此能夠提供超高的多維度信息量，例如，空間、光譜和時(shí)間等，因此，在進(jìn)行存儲(chǔ)之前需要對(duì)圖像進(jìn)行分類，因此需要在云計(jì)算技術(shù)的支持下，對(duì)高光譜圖像的端元進(jìn)行提取，也就是高光譜的圖譜特征，為圖像分類提供依據(jù)[5，6]。本文的端元提取方法為PPI算法。對(duì)于像元來說，單位向量?jī)啥说耐队按螖?shù)可以作為該像元被選擇成為端元的概率[7，8]。其向量投影示意圖如1所示：圖1中，skewer1、skewer2、skewer3表示三個(gè)隨機(jī)向量，通過迭代后，每一個(gè)隨機(jī)向量都會(huì)有相應(yīng)的像元投影，記錄下每一個(gè)像元的純凈像元指數(shù)后，可以通過閾值篩選像元指數(shù)比較小的像元[9，10]，以此來減少其中的噪聲影響，最后輸出像元集合。在云計(jì)算技術(shù)的基礎(chǔ)上，使用并行的PPI算法進(jìn)行處理，在這個(gè)過程中，產(chǎn)生的計(jì)算量非常大，且都集中在計(jì)算純凈像元指數(shù)的部分。將高光譜圖像存儲(chǔ)在HDFS上，能夠?qū)⒏吖庾V圖像數(shù)據(jù)進(jìn)行切分，存儲(chǔ)在Block塊中，方法在云計(jì)算平臺(tái)的并行處理；隨后將高光譜圖像數(shù)據(jù)轉(zhuǎn)換成字節(jié)完成RDD讀入，通過并行算法得到端元，通過端元能夠完成高光譜圖像重要幀的標(biāo)記。

圖1 向量投影示意圖

（二）高光譜圖像無損編碼壓縮。目前高光譜圖像的編碼方式主要是通過探索圖像空間相關(guān)性來進(jìn)行壓縮，其頻段數(shù)目較多，且多個(gè)頻段之間的相關(guān)性較高，目前的編碼方法無法祛除譜間冗余，會(huì)降低編碼效率，影響存儲(chǔ)過程中的幀存儲(chǔ)效率。在本文的無損編碼方案中，對(duì)其進(jìn)行了改進(jìn)，將復(fù)雜的預(yù)測(cè)操作從編碼位置轉(zhuǎn)移到了解碼位置，在編碼位置上進(jìn)行下采樣和信道方面的編碼操作,可以利用之前已經(jīng)完成重建的頻段信息作為參考，來選擇高光譜圖像的各頻段的地面信息點(diǎn)，地面信息點(diǎn)中存在著很多的頻段信息，為了實(shí)現(xiàn)編碼和壓縮的便捷性，需要對(duì)其進(jìn)行分類。分類過程中，當(dāng)像素類型相同時(shí)，需要檢測(cè)其是否具有相同的譜間相關(guān)性，并根據(jù)其相關(guān)性的大小選擇自適應(yīng)的預(yù)測(cè)方式。在基于頻段區(qū)域的無損編碼框架中，首先需要對(duì)子圖像進(jìn)行下采樣和逐比特面的編碼傳輸。這樣的子圖像解碼數(shù)目越多，能夠用于獲取邊信息的當(dāng)前圖像就越多。下采樣的編碼結(jié)果如圖2所示：

圖2 下采樣編號(hào)結(jié)果示意圖

當(dāng)下采樣的子圖像在解碼成功之后，解碼端可以得到的圖像分辨率會(huì)有所提高，說明分辨率具有漸進(jìn)性，除此之外，圖像的像素精度也有所提高。在完成編碼后，需要對(duì)圖像進(jìn)行壓縮，提取出高光譜圖像中的重要節(jié)點(diǎn)，原始信號(hào)經(jīng)過系數(shù)變換后，得到稀疏測(cè)量值，將測(cè)量值進(jìn)行壓縮處理后，進(jìn)行存儲(chǔ)、傳輸，隨后經(jīng)過解壓縮處理，完成稀疏重構(gòu)后得到原始信號(hào)。在壓縮的過程中，假設(shè)x是一維稀疏信號(hào)，其大小用N×1進(jìn)行描述，當(dāng)x中有k和非零的值時(shí)，那么可以將其稀疏度描述為k，Φ表示二維的測(cè)量矩陣，其大小為M×N，那么一維的測(cè)量值信號(hào)可以表示為：

上式為欠定方程組，因此需要將上式轉(zhuǎn)化為求解最優(yōu)化問題：

此過程為壓縮過程中的感知重構(gòu)，也是一個(gè)約束條件，其最小0范數(shù)是一個(gè)NP問題，因此需要對(duì)以上的最優(yōu)化問題進(jìn)行轉(zhuǎn)換，也就是將0范數(shù)問題轉(zhuǎn)換成1范數(shù)問題。這樣通過給定的測(cè)量矩陣和測(cè)量值y，可以進(jìn)一步通過計(jì)算得到原始高光譜圖像的信號(hào)逼近值，使圖像壓縮時(shí)更加接近原始信號(hào)值，減少壓縮的失真，實(shí)現(xiàn)高光譜圖像無損編碼壓縮。

二、實(shí)驗(yàn)結(jié)果與分析

（一）搭建云計(jì)算平臺(tái)。為了驗(yàn)證本文設(shè)計(jì)的基于云計(jì)算技術(shù)的高光譜圖像數(shù)據(jù)存儲(chǔ)方法具有一定的可行性，需要在一定的環(huán)境下測(cè)試其存儲(chǔ)性能。本文的實(shí)驗(yàn)環(huán)境選擇的是IntelliJ IDEA集成開發(fā)環(huán)境，實(shí)驗(yàn)過程中高光譜圖像存儲(chǔ)的Web服務(wù)器采用的是Tomcat，并利用Maven來構(gòu)建Spring MVC+Mybatis+MySQL的多軟件組合來提高Tomcat服務(wù)器的性能。云計(jì)算平臺(tái)中，為存儲(chǔ)提高高光譜圖像原始圖像存儲(chǔ)支持的過程中，高性能的分布式計(jì)算支持的是9節(jié)點(diǎn)的Spark集群，Spark集群可以將數(shù)據(jù)讀入內(nèi)存，將計(jì)算結(jié)果保存在內(nèi)存，以及對(duì)數(shù)據(jù)處理的實(shí)時(shí)性都利于提高圖像數(shù)據(jù)的處理，其相關(guān)配置如下表所示：

表1 Spark集群節(jié)點(diǎn)配置

Spark集群并不是直接搭載到實(shí)體機(jī)上的，而是需要通過一定手段對(duì)實(shí)體的物理資源進(jìn)行虛擬而配置。不同的節(jié)點(diǎn)虛擬在不同的刀片服務(wù)器上，刀片服務(wù)器之間是通過千兆級(jí)別的以太網(wǎng)進(jìn)行連接的，相關(guān)具體架構(gòu)如圖3所示：

圖3 云計(jì)算Spark平臺(tái)部署

在上述搭建云計(jì)算平臺(tái)下，本文的實(shí)驗(yàn)采用的數(shù)據(jù)源是從某地機(jī)場(chǎng)截取的空間尺寸為100×100像元的126波段的AVIRIS高光譜圖像，為了使實(shí)驗(yàn)擁有詳細(xì)的分析過程，將截取后的高光譜圖像和相應(yīng)的目標(biāo)分布進(jìn)行展示如圖4所示。圖4中，圖（a）為高光譜第10波段圖像，圖（b）為真實(shí)的目標(biāo)分布。在上述實(shí)驗(yàn)條件下，為了驗(yàn)證本文存儲(chǔ)方法的有效性，需要將其與傳統(tǒng)的BRE-KRX方法、SU-RX方法和SVDD方法進(jìn)行比較，并對(duì)最后的實(shí)驗(yàn)結(jié)果進(jìn)行分析。

圖4 選擇的高光譜第10波段圖像和目標(biāo)分布

（二）實(shí)驗(yàn)結(jié)果對(duì)比。在檢測(cè)到總像元為400個(gè)的相同條件下，四種存儲(chǔ)方法中，存儲(chǔ)目標(biāo)的檢測(cè)結(jié)果如圖5所示：圖5中，圖（1）為本文方得到的結(jié)果，圖（2）為BRE-KRX方法得到的結(jié)果，圖（3）為SU-RX方法得到的結(jié)果，圖（4）為SVDD方法得到的結(jié)果，圖（6）為四種方法失真性能曲線對(duì)比圖。

圖5 四種存儲(chǔ)方法的目標(biāo)檢測(cè)結(jié)果

圖6 四種方法失真性能對(duì)比圖

在存儲(chǔ)方法得到的結(jié)果中，需要選擇一些重要定量測(cè)量指標(biāo)進(jìn)行性能判別，本文將能夠檢測(cè)到的異常目標(biāo)數(shù)量、目標(biāo)所占像元數(shù)以及虛警所占像元數(shù)量作為定量判別的條件，為了使實(shí)驗(yàn)結(jié)果更加具有可靠性，因此本文選取這三個(gè)指標(biāo)進(jìn)行對(duì)比，統(tǒng)計(jì)得到的結(jié)果如表2所示：表2為四種方法在固定閾值下，各方法在存儲(chǔ)過程中的檢測(cè)性能，從上表可以看出，本文設(shè)計(jì)的存儲(chǔ)方法檢測(cè)到的目標(biāo)最多，且虛警率最低。說明了本文設(shè)計(jì)的基于云計(jì)算技術(shù)的高光譜圖像數(shù)據(jù)存儲(chǔ)技術(shù)具有一定的有效性。

表2 四種存儲(chǔ)方法的定量比較

三、結(jié)束語(yǔ)

遙感技術(shù)的發(fā)展促進(jìn)了高光譜數(shù)據(jù)的指數(shù)級(jí)增長(zhǎng)，對(duì)于如此海量的高光譜遙感數(shù)據(jù)來說，存儲(chǔ)和管理成為了人們需要面對(duì)的新的問題。本文針對(duì)傳統(tǒng)高光譜圖像數(shù)據(jù)存儲(chǔ)過程中遇到的問題，并結(jié)合高光譜遙感的發(fā)展現(xiàn)狀，對(duì)基于云計(jì)算技術(shù)的高光譜圖像數(shù)據(jù)存儲(chǔ)進(jìn)行了研究。通過實(shí)驗(yàn)結(jié)果表明，本文研究的存儲(chǔ)方法雖然在性能提升的過程中取得了一定成效，但是由于技術(shù)和條件的限制，還存在著很多缺陷和不足，在今后的研究中將會(huì)進(jìn)一步探析。