大數(shù)據(jù)技術(shù)在遙測數(shù)據(jù)處理中的應(yīng)用展望

陳志毅

[摘? ? 要] 在大數(shù)據(jù)、人工智能、云計(jì)算、物聯(lián)網(wǎng)等新技術(shù)的推動(dòng)下，人類文明進(jìn)入智能時(shí)代。遙測數(shù)據(jù)是典型的“小數(shù)據(jù)”，大數(shù)據(jù)突破了傳統(tǒng)遙測數(shù)據(jù)處理的一系列觀念，開啟了許多新領(lǐng)域新應(yīng)用。在對(duì)大數(shù)據(jù)技術(shù)現(xiàn)狀及發(fā)展趨勢(shì)分析的基礎(chǔ)上，對(duì)大數(shù)據(jù)時(shí)代的遙測數(shù)據(jù)處理技術(shù)的發(fā)展進(jìn)行了展望。

[關(guān)鍵詞] 大數(shù)據(jù);遙測;數(shù)據(jù)處理

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2019. 05. 060

[中圖分類號(hào)] TP311.5? ? [文獻(xiàn)標(biāo)識(shí)碼]? A? ? ? [文章編號(hào)]? 1673 - 0194（2019）05- 0156- 02

0? ? ? 引? ? 言

當(dāng)前，在大數(shù)據(jù)、人工智能、云計(jì)算、物聯(lián)網(wǎng)等新技術(shù)的推動(dòng)下，人類文明進(jìn)入智能時(shí)代。發(fā)展大數(shù)據(jù)已經(jīng)上升為國家戰(zhàn)略，成為推動(dòng)經(jīng)濟(jì)社會(huì)發(fā)展的新引擎，如何獲取、存儲(chǔ)、分析、應(yīng)用這些大數(shù)據(jù)將是這個(gè)時(shí)代最熱門的話題。在飛行器試驗(yàn)中，遙測數(shù)據(jù)常用于其內(nèi)部載荷狀態(tài)分析和故障診斷。傳統(tǒng)遙測數(shù)據(jù)是典型的“小數(shù)據(jù)”，隨著飛行器種類、試驗(yàn)頻率、測量站點(diǎn)等的增多，遙測數(shù)據(jù)也在飛速增長，數(shù)據(jù)總量已經(jīng)達(dá)到TB量級(jí)[1-2]?？紤]到遙測數(shù)據(jù)本身的容量和應(yīng)用價(jià)值，需要從大數(shù)據(jù)的角度來思考遙測數(shù)據(jù)處理的發(fā)展。

1? ? ? 大數(shù)據(jù)技術(shù)的現(xiàn)狀與發(fā)展趨勢(shì)

1.1? ?大數(shù)據(jù)技術(shù)現(xiàn)狀分析

1.1.1? ?大數(shù)據(jù)采集與預(yù)處理

數(shù)據(jù)收集是大數(shù)據(jù)分析和處理的第一步。大數(shù)據(jù)收集包含：系統(tǒng)日志收集，網(wǎng)絡(luò)數(shù)據(jù)收集（采用網(wǎng)絡(luò)爬蟲實(shí)現(xiàn)）和其他數(shù)據(jù)收集（通過特定的接口）。通過收集生成新數(shù)據(jù)集以提供數(shù)據(jù)的統(tǒng)一視圖，供后續(xù)查詢和分析處理。通過對(duì)收集來的大數(shù)據(jù)預(yù)處理，可以糾正錯(cuò)誤或損壞的數(shù)據(jù)，移除冗余數(shù)據(jù)，選擇所需的數(shù)據(jù)，并執(zhí)行數(shù)據(jù)集成。數(shù)據(jù)清理、集成和轉(zhuǎn)換是數(shù)據(jù)預(yù)處理常用的方法。數(shù)據(jù)清理可視為一個(gè)包括兩個(gè)步驟的過程：檢測偏差和糾正偏差。檢查偏差可以使用現(xiàn)有的數(shù)據(jù)性質(zhì)知識(shí)來查找需要檢查的噪聲，異常值和異常值。該知識(shí)或“關(guān)于數(shù)據(jù)的數(shù)據(jù)”稱為元數(shù)據(jù)。糾正偏差通常需要定義和使用一系列變換來糾正偏差。但是，這些工具僅支持有限的轉(zhuǎn)換，因此通常需要為數(shù)據(jù)清理過程的這一步驟編寫自定義程序。數(shù)據(jù)集成主要涉及模式集成和對(duì)象匹配，數(shù)據(jù)值沖突的檢測和處理。數(shù)據(jù)轉(zhuǎn)換是平滑，匯總或聚合數(shù)據(jù)，推廣數(shù)據(jù)和規(guī)范化數(shù)據(jù)，以及將數(shù)據(jù)轉(zhuǎn)換為適合挖掘的形式的過程。

1.1.2? ?大數(shù)據(jù)存儲(chǔ)與管理

大數(shù)據(jù)存儲(chǔ)技術(shù)有三種類型：第一種是采用Shared Nothing架構(gòu)（MPP）的分布式數(shù)據(jù)庫。MPP （Massively Parallel Processing），大規(guī)模并行處理系統(tǒng)，它是由許多松耦合的處理單元組成的，在每個(gè)單元內(nèi)都有操作系統(tǒng)和管理數(shù)據(jù)庫的實(shí)例復(fù)本，且每個(gè)單元內(nèi)的CPU都有自己私有的資源，如總線，內(nèi)存，硬盤等。這種結(jié)構(gòu)最大的特點(diǎn)在于不共享資源。它與傳統(tǒng)數(shù)據(jù)庫有巨大區(qū)別，針對(duì)行業(yè)大數(shù)據(jù)的新數(shù)據(jù)庫集群，通過列存儲(chǔ)，粗粒度索引和其他大數(shù)據(jù)處理技術(shù)，并結(jié)合高效分布式計(jì)算模式，完成了對(duì)PB級(jí)別的結(jié)構(gòu)化數(shù)據(jù)分析應(yīng)用程序的支持，適用于企業(yè)的新一代數(shù)據(jù)倉庫和結(jié)構(gòu)化數(shù)據(jù)分析應(yīng)用。第二種是基于Hadoop的技術(shù)。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS），HDFS具有高容錯(cuò)性、高吞吐量、采用流形式訪問的特點(diǎn)。Hadoop平臺(tái)更適用于非結(jié)構(gòu)化，半結(jié)構(gòu)化數(shù)據(jù)處理，復(fù)雜數(shù)據(jù)挖掘和計(jì)算模型。第三種是大數(shù)據(jù)一體機(jī)，它是由一組集成的服務(wù)器，存儲(chǔ)設(shè)備，操作系統(tǒng)，數(shù)據(jù)庫管理系統(tǒng)和軟件組成，這些軟件已預(yù)先安裝并針對(duì)數(shù)據(jù)查詢，處理和分析進(jìn)行了優(yōu)化。新型數(shù)據(jù)庫將逐步與Hadoop生態(tài)系統(tǒng)結(jié)合混搭使用，用MPP處理PB級(jí)別的、高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù)，同時(shí)為應(yīng)用提供豐富的SQL和事務(wù)支持能力;用Hadoop實(shí)現(xiàn)半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)處理。這樣可同時(shí)滿足結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理需求。

1.1.3? ?并行計(jì)算、分布式計(jì)算、云計(jì)算與虛擬化

并行計(jì)算，是指允許同時(shí)執(zhí)行多個(gè)指令的計(jì)算模式。時(shí)間并行使用多個(gè)管道同時(shí)工作。并行計(jì)算使用多個(gè)計(jì)算資源來解決計(jì)算問題。為了執(zhí)行并行計(jì)算，計(jì)算資源應(yīng)該包括具有多處理器（并行處理）的計(jì)算機(jī)，連接到網(wǎng)絡(luò)的計(jì)算機(jī)專用號(hào)碼，或者兩者的組合。并行計(jì)算主要目的在于兩個(gè)方面：（1）加速求解問題的速度;（2）提高求解問題的規(guī)模。

分布式計(jì)算是需要非常大量的計(jì)算能力來解決的問題。最后，將這些計(jì)算結(jié)合起來得到最終結(jié)果。分布式計(jì)算和集中計(jì)算的概念。分布式計(jì)算是可以在同一臺(tái)計(jì)算機(jī)上運(yùn)行的兩個(gè)或多個(gè)軟件之間的信息共享。它也可以在通過網(wǎng)絡(luò)連接的多臺(tái)計(jì)算機(jī)上運(yùn)行。分布式計(jì)算與其他算法相比有幾個(gè)優(yōu)點(diǎn)：（1）稀有資源可以共享。（2）通過分布式計(jì)算可以在多臺(tái)計(jì)算機(jī)之間平衡計(jì)算負(fù)荷。（3）可以把程序放在最適合運(yùn)行它的計(jì)算機(jī)上。其中，共享稀有資源和平衡負(fù)載是計(jì)算機(jī)分布式計(jì)算的核心思想之一。并行計(jì)算和分布式計(jì)算都是不同的和相關(guān)的。從解決問題的角度來看，無論是大任務(wù)還是小任務(wù)，都是他們的共同點(diǎn)。但并行計(jì)算強(qiáng)調(diào)及時(shí)性，而分布式計(jì)算則強(qiáng)調(diào)獨(dú)立性。

云計(jì)算則是通過互聯(lián)網(wǎng)提供動(dòng)態(tài)、可擴(kuò)展且虛擬化的資源。云計(jì)算是個(gè)概念，而不是具體技術(shù)。虛擬化是一種具體技術(shù)，指把硬件資源虛擬化，實(shí)現(xiàn)隔離性、安全性、資源可充分利用等。現(xiàn)在云平臺(tái)的大部分軟件和硬件都對(duì)虛擬化有一定的支持，各種資源要素通過虛擬化設(shè)置放入云平臺(tái)虛擬資源池中進(jìn)行統(tǒng)一管理，具有高靈活性、高可靠性和高性價(jià)比的特點(diǎn)。目前已有多家商業(yè)化云平臺(tái)，如微軟的Azure平臺(tái)、GoogleAppEngine、IBMCloud和國內(nèi)的阿里云、騰訊云、百度云、華為云等。

1.1.4? ?數(shù)據(jù)挖掘與可視化

目前大量資源浪費(fèi)在非有效計(jì)算上，如通信、等待和協(xié)調(diào)，而用戶真正關(guān)心的是大數(shù)據(jù)分析的結(jié)果，而這些結(jié)果通常以可視化的形式呈現(xiàn)。數(shù)據(jù)可視化技術(shù)是一種理論、方法和技術(shù)，它使用計(jì)算機(jī)圖形和圖像處理技術(shù)將數(shù)據(jù)轉(zhuǎn)換為圖形或圖像形式并將其顯示在屏幕上。它涉及計(jì)算機(jī)視覺，圖像處理，計(jì)算機(jī)輔助設(shè)計(jì)，計(jì)算機(jī)圖形學(xué)等許多領(lǐng)域，并成為研究數(shù)據(jù)表示，數(shù)據(jù)處理，決策分析等問題的綜合技術(shù)。目前，常用的數(shù)據(jù)可視化學(xué)品很多，這里不再一一介紹。

可視化技術(shù)與數(shù)據(jù)挖掘密切相關(guān)。大數(shù)據(jù)時(shí)代，大規(guī)模、高緯度、非結(jié)構(gòu)化數(shù)據(jù)層出不窮，可視化與這些數(shù)據(jù)的結(jié)合是下一步研究的一個(gè)重要方向。

1.2? ?大數(shù)據(jù)技術(shù)發(fā)展趨勢(shì)

1.2.1? ?數(shù)據(jù)分析和挖掘成為大數(shù)據(jù)的核心

大數(shù)據(jù)的價(jià)值體現(xiàn)在通過大規(guī)模數(shù)據(jù)集合的智能處理獲取有用的信息，這就必須對(duì)數(shù)據(jù)進(jìn)行分析和挖掘，而數(shù)據(jù)的采集、存儲(chǔ)和管理都是數(shù)據(jù)分析的基礎(chǔ)。數(shù)據(jù)挖掘技術(shù)可分為：統(tǒng)計(jì)方法（多元回歸、自回歸等）、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)庫方法（多維數(shù)據(jù)分析或OLAP）等。

1.2.2? ?廣泛采用實(shí)時(shí)性的流處理方式

人們要求更快地獲取信息，因此大數(shù)據(jù)特別重視數(shù)據(jù)的實(shí)時(shí)性。實(shí)時(shí)流處理一般是將業(yè)務(wù)系統(tǒng)產(chǎn)生的數(shù)據(jù)進(jìn)行實(shí)時(shí)收集，交由流處理框架進(jìn)行數(shù)據(jù)清洗，統(tǒng)計(jì)，入庫，并可以通過可視化的方式對(duì)統(tǒng)計(jì)結(jié)果進(jìn)行實(shí)時(shí)的展示。主流的框架和平臺(tái)有Flume、Logstash、kafka、Storm、SparkStreaming等。

1.2.3? ?基于云的數(shù)據(jù)分析平臺(tái)將更加完善

云計(jì)算為大數(shù)據(jù)提供了平臺(tái)和技術(shù)支持。云計(jì)算采用分布式計(jì)算方法更加靈活且可彈性擴(kuò)展、存儲(chǔ)成本更加便宜。隨著云平臺(tái)的日益成熟將有利于促進(jìn)大數(shù)據(jù)處理水平和效益的提升[3]。

2? ? ? 大數(shù)據(jù)時(shí)代的遙測數(shù)據(jù)處理技術(shù)

傳統(tǒng)意義上的遙測局限于對(duì)飛行器及其載荷狀態(tài)和環(huán)境的內(nèi)部監(jiān)測，大數(shù)據(jù)時(shí)代的遙測應(yīng)包括所有監(jiān)控手段獲取的飛行全過程、全系統(tǒng)的信息感知，包括：傳統(tǒng)遙測信息、外測信息、目標(biāo)特征信息、飛行實(shí)況景象等。下面對(duì)可用于遙測數(shù)據(jù)處理的大數(shù)據(jù)技術(shù)進(jìn)行探討。

2.1? ?實(shí)時(shí)數(shù)據(jù)庫技術(shù)

遙測處理軟件都是基于數(shù)據(jù)庫系統(tǒng)開發(fā)的，包括測量原始數(shù)據(jù)和處理結(jié)果、處理過程中的測試信息、各類參數(shù)信息和校準(zhǔn)數(shù)據(jù)等需要存儲(chǔ)在數(shù)據(jù)庫。各型號(hào)間遙測數(shù)據(jù)格式差異很大，遙測數(shù)據(jù)處理的難度顯著增大，把數(shù)據(jù)格式固化在程序中或用簡單設(shè)計(jì)的數(shù)據(jù)庫描述數(shù)據(jù)格式的方式嚴(yán)重制約了處理軟件的通用性。

InSQL作為一款基于時(shí)間序列的高性能實(shí)時(shí)關(guān)系型數(shù)據(jù)庫，很適合處理過程數(shù)據(jù)。它具有高速采集、高效存儲(chǔ)壓縮、可內(nèi)嵌事件系統(tǒng)、高速查詢、支持冗余和接口友好的優(yōu)點(diǎn)，使用基于InSQL的數(shù)據(jù)庫技術(shù)，可以滿足實(shí)時(shí)記錄，海量存儲(chǔ)和遙測數(shù)據(jù)快速讀取的要求，還可為后續(xù)數(shù)據(jù)可視化和數(shù)據(jù)提取分析等應(yīng)用奠定基礎(chǔ)[4]。

2.2? ?遙測數(shù)據(jù)的知識(shí)挖掘

隨著遙測數(shù)據(jù)量和采樣的率增加，待分析的遙測數(shù)據(jù)量呈指數(shù)級(jí)增長，因此需要借鑒目前主流的大數(shù)據(jù)處理技術(shù)，如Hadoop以及HBase等大數(shù)據(jù)存儲(chǔ)及計(jì)算平臺(tái)實(shí)現(xiàn)遙測數(shù)據(jù)存儲(chǔ)及計(jì)算。另外由于遙測參數(shù)反映內(nèi)部各系統(tǒng)的工作條件，通過有效集成分布式挖掘、流式挖掘、可擴(kuò)展挖掘技術(shù)及方法，建立挖掘模型，實(shí)現(xiàn)對(duì)異常數(shù)據(jù)的快速有效識(shí)別。

2.3? ?多源融合的視景仿真技術(shù)

通過多站數(shù)據(jù)融合得到完整遙測數(shù)據(jù)后，有效地結(jié)合專家經(jīng)驗(yàn)和數(shù)據(jù)驅(qū)動(dòng)方法進(jìn)行建模，通過數(shù)據(jù)接口發(fā)送給可視化仿真系統(tǒng)，場景模型在接收到數(shù)據(jù)后驅(qū)動(dòng)三維模型開始實(shí)時(shí)仿真，得到的飛行器軌跡并實(shí)時(shí)顯示在可視化終端上。通過將多通道數(shù)據(jù)融合技術(shù)應(yīng)用于遙測監(jiān)測視景仿真系統(tǒng)，不僅能夠?qū)︼w行過程進(jìn)行實(shí)時(shí)仿真，還能夠?qū)崿F(xiàn)多視角多次數(shù)的重復(fù)播放，從真正意義上做到了實(shí)時(shí)再現(xiàn)飛行器飛行全過程，對(duì)滿足相關(guān)研究人員的分析需要和模擬訓(xùn)練，具有重要的參考價(jià)值。

2.4? ?云平臺(tái)的多站虛擬資源池

目前遙測網(wǎng)絡(luò)的典型拓?fù)浣Y(jié)構(gòu)是“一對(duì)多”模式，一個(gè)數(shù)據(jù)處理中心對(duì)應(yīng)多個(gè)分布在不同地方的遙測地面站，各站之間缺少互聯(lián)互通的功能。未來可考慮建設(shè)信息互通、配置靈活、可動(dòng)態(tài)擴(kuò)展、存儲(chǔ)計(jì)算能力更強(qiáng)的網(wǎng)絡(luò)化系統(tǒng)，基于云平臺(tái)將多個(gè)站點(diǎn)虛擬成統(tǒng)一的資源池，將軟硬件資源以服務(wù)的方式通供，用戶通過終端申請(qǐng)各項(xiàng)資源。

3? ? ? 結(jié)? ? 語

面對(duì)大數(shù)據(jù)時(shí)代的挑戰(zhàn)，應(yīng)當(dāng)建立大數(shù)據(jù)思想，改進(jìn)各種數(shù)據(jù)的采集、存儲(chǔ)和處理方式，優(yōu)化多源數(shù)據(jù)融合技術(shù)，挖掘數(shù)據(jù)中包含的潛在價(jià)值，提高信息化服務(wù)能力和水平。數(shù)據(jù)化是信息化建設(shè)的高級(jí)階段，遙測數(shù)據(jù)處理需要根據(jù)自身行業(yè)特點(diǎn)考慮在大數(shù)據(jù)時(shí)代的發(fā)展。

主要參考文獻(xiàn)

[1]譚維熾.大數(shù)據(jù)時(shí)代給遙測遙控帶來什么——賀第十八屆中國遙測遙控科技大會(huì)[J].遙測遙控，2014（9）：1-3.

[2]于志堅(jiān)，侯金寶.大數(shù)據(jù)時(shí)代的航天靶場遙測思考[J].遙測遙控，2015（3）：1-5.

[3]薛志東.大數(shù)據(jù)技術(shù)基礎(chǔ)[M].北京：人民郵電出版社，2018.

[4]朱瑪.基于InSQL數(shù)據(jù)庫的航天器遙測數(shù)據(jù)存儲(chǔ)方法研究[J].電子技術(shù)與軟件工程，2015（17）：194-195.