基于非關(guān)系型數(shù)據(jù)庫(kù)的衛(wèi)星參數(shù)存儲(chǔ)與處理

楊揚(yáng)笛，吳海燕，李 虎

(1.中國(guó)科學(xué)院國(guó)家空間中心 衛(wèi)星運(yùn)控技術(shù)實(shí)驗(yàn)室，北京 100190;2.中國(guó)科學(xué)院大學(xué)，北京 100049)

0 引 言

隨著我國(guó)空間信息技術(shù)的發(fā)展，空間探測(cè)器也越來(lái)越多地出現(xiàn)在任務(wù)中。然而包含于空間探測(cè)器中的科學(xué)衛(wèi)星，產(chǎn)生的數(shù)據(jù)也日益增多，對(duì)其計(jì)算能力、存儲(chǔ)系統(tǒng)、通信速度提出了挑戰(zhàn)?？茖W(xué)衛(wèi)星處在軌運(yùn)行階段，產(chǎn)生的數(shù)據(jù)種類繁多，一顆衛(wèi)星有效載荷可以達(dá)到幾十個(gè)之多；數(shù)據(jù)產(chǎn)生速度快，以工程數(shù)據(jù)為例，速度可達(dá)每秒幾MB甚至幾十MB；數(shù)據(jù)量非常大，在長(zhǎng)達(dá)幾個(gè)月甚至幾年的運(yùn)行時(shí)間里，會(huì)產(chǎn)生高達(dá)幾百GB甚至幾十TB的海量衛(wèi)星工程數(shù)據(jù)及科學(xué)數(shù)據(jù)。如何發(fā)展前沿技術(shù)，以滿足衛(wèi)星運(yùn)控中海量數(shù)據(jù)處理的要求，包括對(duì)其的存儲(chǔ)與管理、分析和共享等等，是值得研究和思考的。

這些數(shù)據(jù)對(duì)于科學(xué)衛(wèi)星在軌運(yùn)行提供載荷常規(guī)運(yùn)行控制、有效載荷性能趨勢(shì)分析、故障預(yù)測(cè)等顯得非常重要。

1 衛(wèi)星工程數(shù)據(jù)處理需求

隨著我國(guó)航天事業(yè)的不斷發(fā)展，針對(duì)衛(wèi)星平臺(tái)的狀態(tài)診斷研究日益成熟，但針對(duì)有效載荷狀態(tài)診斷的研究水平卻未見提高。有效載荷承擔(dān)著對(duì)地觀測(cè)、空間科學(xué)探測(cè)及空間科學(xué)實(shí)驗(yàn)等多項(xiàng)任務(wù)。由此可見，提高有效載荷的狀態(tài)診斷處理能力，對(duì)于增加任務(wù)完成質(zhì)量和保證衛(wèi)星的高可靠性，有著重要的實(shí)際意義[1]。對(duì)于復(fù)雜的有效載荷，在現(xiàn)有技術(shù)水平下很難保證其在任務(wù)中不出問(wèn)題。衛(wèi)星的有效載荷有其獨(dú)有的特征[2]：

(1)故障危害大。一些小問(wèn)題可能導(dǎo)致龐大的有效載荷不能完成預(yù)定任務(wù)，造成經(jīng)濟(jì)損失。

(2)運(yùn)行環(huán)境特殊，不確定性因素多。不管是高低溫、電磁干擾，還是流行撞擊以及廢棄飛行器的影響，都對(duì)有效載荷的正常工作提出了嚴(yán)峻的挑戰(zhàn)。

(3)資源和能源的限制使得有效載荷的計(jì)算資源有限，能源獲取方式缺乏甚至是沒有，因此很多情況下需要地面干預(yù)。

綜上所述，很多時(shí)候不能寄希望于衛(wèi)星進(jìn)行自我診斷和檢查，需要地面支撐系統(tǒng)對(duì)衛(wèi)星工程數(shù)據(jù)進(jìn)行大規(guī)模的診斷和排查，而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)顯然不能滿足這樣的要求。因此，衛(wèi)星工程數(shù)據(jù)的存儲(chǔ)方式和研究手段就成了當(dāng)前重要的課題之一[3]。

2 非關(guān)系型數(shù)據(jù)庫(kù)的應(yīng)用

2.1 海量數(shù)據(jù)處理現(xiàn)狀

國(guó)外很早就開始了有關(guān)大數(shù)據(jù)的研究。1989年在底特律召開的第11屆國(guó)際人工智能聯(lián)合會(huì)議，提出了KDD(knowledge discovery in database)的概念，此后的KDD國(guó)際會(huì)議由于參與人數(shù)過(guò)多，主辦方?jīng)Q定轉(zhuǎn)變?yōu)槟陼?huì)。第四屆知識(shí)發(fā)現(xiàn)與數(shù)據(jù)挖掘國(guó)際學(xué)術(shù)會(huì)議于1998年在美國(guó)紐約舉行，30多家軟件公司借此機(jī)會(huì)展現(xiàn)了自己最新的研究成果。

相比之下，國(guó)內(nèi)雖然起步較晚，但各個(gè)方面都在快速發(fā)展。我國(guó)互聯(lián)網(wǎng)數(shù)據(jù)中心(IDC)發(fā)布了一個(gè)報(bào)告，指出了中國(guó)大數(shù)據(jù)技術(shù)和服務(wù)市場(chǎng)2012-2016年的預(yù)測(cè)情況：市場(chǎng)規(guī)模將會(huì)有巨大發(fā)展，由2011年的7 760萬(wàn)美元直沖2016年的6.17億美元，未來(lái)5年的復(fù)合增長(zhǎng)率高達(dá)51.4%，市場(chǎng)規(guī)模增長(zhǎng)近7倍。在國(guó)內(nèi)，大數(shù)據(jù)技術(shù)正在引起越來(lái)越多的企業(yè)和個(gè)人的關(guān)注。將大數(shù)據(jù)作為重點(diǎn)項(xiàng)目的公司不但有阿里巴巴、騰訊、百度等，作為國(guó)內(nèi)互聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)源地和創(chuàng)新高地的中關(guān)村，這里的企業(yè)也致力于在大數(shù)據(jù)發(fā)展與研究中貢獻(xiàn)自己的一份力量。

隨著計(jì)算機(jī)技術(shù)的發(fā)展，存儲(chǔ)空間已經(jīng)不再是科學(xué)人員和研究人員首要考慮的問(wèn)題。困擾他們的問(wèn)題已經(jīng)變成了如何從大量的數(shù)據(jù)中快速或者盡快提取出有用的信息。要解決這個(gè)問(wèn)題，不僅要從算法上提高查詢和處理的效率，同樣對(duì)傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)提出了一定的挑戰(zhàn)。在2009年之后，非關(guān)系型數(shù)據(jù)庫(kù)技術(shù)突飛猛進(jìn)。迄今為止，非關(guān)系型數(shù)據(jù)庫(kù)數(shù)量已經(jīng)破百，各有各的優(yōu)勢(shì)。

2.2 非關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)

非關(guān)系型數(shù)據(jù)庫(kù)，最初的意義是現(xiàn)代互聯(lián)網(wǎng)級(jí)別的數(shù)據(jù)庫(kù)。但這個(gè)詞的含義在2009年之后變得豐富起來(lái)。非關(guān)系型數(shù)據(jù)庫(kù)的特點(diǎn)包括：關(guān)系不如傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)那樣緊湊，豐富的技術(shù)支持，簡(jiǎn)單的API，基于事件的組成(而非ACID)，海量數(shù)據(jù)的支持，等等。其中Hadoop/HBase以其跨平臺(tái)和多節(jié)點(diǎn)的優(yōu)勢(shì)發(fā)展迅速[4]，而ElasticSearch和MongoDB以其快速的讀寫效率在各個(gè)開源的非關(guān)系型數(shù)據(jù)庫(kù)中脫穎而出，而Redis則以鍵值對(duì)的形式對(duì)memcached類關(guān)系型數(shù)據(jù)庫(kù)起到了很好的補(bǔ)充作用。

Hadoop/HBase的海量數(shù)據(jù)處理技術(shù)基于MapReduce并行計(jì)算模式，能很好地滿足現(xiàn)代航天計(jì)劃在工程數(shù)據(jù)信息存儲(chǔ)和計(jì)算方面的需求。

MongoDB介于關(guān)系型數(shù)據(jù)庫(kù)和非關(guān)系型數(shù)據(jù)庫(kù)之間，為非關(guān)系型數(shù)據(jù)庫(kù)中最具有關(guān)系型數(shù)據(jù)庫(kù)屬性的，也是功能最豐富的。

ElasticSearch是一個(gè)基于Lucene的搜索引擎式數(shù)據(jù)庫(kù)。它提供了一個(gè)分布式的支持多用戶能力的全文搜索引擎，并提供了基于RESTful的Web接口。

Redis是一個(gè)開源的(BSD Licensed)，基于內(nèi)存的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)。它支持的數(shù)據(jù)結(jié)構(gòu)包括字符串、哈希值、列表、集合、排序集合、點(diǎn)陣圖、地理坐標(biāo)信息等。

2.3 大規(guī)模數(shù)據(jù)挖掘模型與算法現(xiàn)狀

數(shù)據(jù)挖掘指從大量數(shù)據(jù)中提取或“挖掘”信息，是從儲(chǔ)存在各種數(shù)據(jù)庫(kù)(包括傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)等)的繁雜無(wú)用的數(shù)據(jù)中發(fā)掘或者提煉出有用的信息的過(guò)程[5-6]。數(shù)據(jù)挖掘是一個(gè)交叉學(xué)科領(lǐng)域，涉及多個(gè)學(xué)科。數(shù)據(jù)挖掘的任務(wù)可以分為兩大類：描述的和預(yù)測(cè)的。具體來(lái)說(shuō)，可以分為：概念類描述；挖掘頻繁模式、關(guān)聯(lián)和相關(guān)；分類和預(yù)測(cè)；聚類分析；離群點(diǎn)分析；演變分析[7-8]。

綜上所述，針對(duì)工程數(shù)據(jù)的數(shù)據(jù)挖掘能夠分析工程數(shù)據(jù)在合法值內(nèi)變化對(duì)衛(wèi)星帶來(lái)的影響，如有效載荷漸漸失效的情況，以及有效載荷數(shù)據(jù)周期變長(zhǎng)的情況，還有衛(wèi)星工程參數(shù)的變化情況等[9]。

3 衛(wèi)星工程參數(shù)存儲(chǔ)與研究

3.1 工程數(shù)據(jù)的分類

從數(shù)據(jù)分析和數(shù)據(jù)整理的角度出發(fā)，根據(jù)數(shù)據(jù)類型可將工程數(shù)據(jù)分為整型、枚舉型、浮點(diǎn)型。

工程參數(shù)中整型與枚舉型分為標(biāo)識(shí)字和狀態(tài)字。屬于標(biāo)識(shí)字的有幀同步字段、衛(wèi)星識(shí)別字段等，一般來(lái)說(shuō)在衛(wèi)星的整個(gè)壽命內(nèi)為固定值，它的二進(jìn)制碼保持不變，多以十六進(jìn)制形式保存；狀態(tài)字則表明了衛(wèi)星上設(shè)備的工作狀態(tài)，除了根據(jù)衛(wèi)星狀態(tài)的變化而變化，地面指令控制等因素也會(huì)對(duì)其造成影響[3]。

工程參數(shù)中浮點(diǎn)型主要包括溫度、電壓、電流、壓力等物理量。由于這些值是連續(xù)變化的，正常的采集值應(yīng)該是連續(xù)的。太陽(yáng)光照強(qiáng)度、設(shè)備工作狀態(tài)等因素會(huì)影響溫度參數(shù)的變化；電壓分為一次電源電壓和二次電源電壓，由電池工作狀態(tài)決定；電流顯示了星上設(shè)備的工作情況，在設(shè)備的開關(guān)機(jī)狀態(tài)下一般固定在兩個(gè)狀態(tài)；貯箱溫度以及燃料剩余量等因素影響著星上壓力值的變化。

3.2 工程數(shù)據(jù)變化規(guī)律研究

對(duì)于在軌衛(wèi)星的歷史工程數(shù)據(jù)的分析和未來(lái)工程數(shù)據(jù)的預(yù)測(cè)，對(duì)其參數(shù)變化規(guī)律進(jìn)行研究至少要(但不限于)考慮以下幾種狀況[10]：

(1)數(shù)據(jù)平穩(wěn)變化或維持在一穩(wěn)定值附近；

(2)無(wú)狀態(tài)、測(cè)控事件發(fā)生而參數(shù)卻有階躍性的跳變；

(3)與衛(wèi)星狀態(tài)變化、測(cè)控事件發(fā)生相關(guān)聯(lián)的工程參數(shù)變化；

(4)參數(shù)于某值附近周期性變化。

對(duì)于上面四種情況，從已有算法中選擇了四種具有代表性的數(shù)據(jù)分析處理方法，分別是基于多項(xiàng)式擬合外推的方式、基于求和自回歸滑動(dòng)平均模型的時(shí)間序列的方式、非參數(shù)回歸算法、基于神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)技術(shù)。

基于多項(xiàng)式擬合外推是根據(jù)衛(wèi)星歷史和實(shí)時(shí)工程數(shù)據(jù)，使用多項(xiàng)式擬合參數(shù)變化曲線，得到擬合公式，再使用該公式對(duì)未來(lái)數(shù)據(jù)外推，并預(yù)測(cè)其發(fā)展變化狀況的一種預(yù)測(cè)方法。這種方法基于以下兩點(diǎn)：衛(wèi)星工程參數(shù)沒有跳躍式變化；假設(shè)所研究的與工程參數(shù)有關(guān)的分系統(tǒng)結(jié)構(gòu)、功能等沒有太大變化。該方法對(duì)于周期性隨時(shí)間變化不大的工程數(shù)據(jù)有很好的效果，因此對(duì)于平穩(wěn)變化的工程參數(shù)一旦有了微小的變化率，則可以擬合出其失效或者降低至次級(jí)性能的時(shí)間。

基于求和自回歸滑動(dòng)平均模型(ARMA模型)的時(shí)間序列的方式可以研究差分平穩(wěn)序列的變化情況。因?yàn)楹芏喾瞧椒€(wěn)序列差分后能夠顯示出許多平穩(wěn)序列的性質(zhì)，此時(shí)的非平穩(wěn)序列稱為差分平穩(wěn)序列[11]。

ARMA預(yù)測(cè)模型的預(yù)測(cè)過(guò)程如下：根據(jù)觀測(cè)模型，獲取數(shù)值序列；對(duì)觀測(cè)數(shù)值進(jìn)行差分運(yùn)算；對(duì)數(shù)據(jù)進(jìn)行檢驗(yàn)，例如白噪聲；建立ARMA的模型進(jìn)行預(yù)測(cè)；對(duì)數(shù)據(jù)使用模型進(jìn)行再一次的檢查。該方法多用于工程參數(shù)固定周期變化以及恒定在某一值附近的需要預(yù)測(cè)的參數(shù)[12]。

基于非參數(shù)回歸的回歸函數(shù)一般表示為：

gn(X)=W1(X1)Y1+W2(X2)Y2+…+Wi(Xi)Yi

其中，Y為一維觀測(cè)隨機(jī)向量；X為n維隨機(jī)自變量；(Xi,Yi)為第i次觀測(cè)值；Wi(Xi)為權(quán)函數(shù)。

非參數(shù)回歸就是在gn(X)毫不知情的情況下，利用已有的觀測(cè)值(Xi,Yi)，利用X值去估計(jì)可能的Y值。因?yàn)椴恍枰_的數(shù)學(xué)模型，所以適合對(duì)隨時(shí)間變化的非線性系統(tǒng)進(jìn)行預(yù)測(cè)。

此處，對(duì)衛(wèi)星某些工程參數(shù)比較適合用此預(yù)測(cè)方法。因?yàn)榛诜菂?shù)回歸的方法是建立在大量歷史數(shù)據(jù)的基礎(chǔ)上的，符合暗物質(zhì)衛(wèi)星當(dāng)前的狀況。由于無(wú)需建立預(yù)測(cè)模型即可進(jìn)行預(yù)測(cè)，衛(wèi)星工程參數(shù)中許多周期性比較明顯的參數(shù)均可以使用此方法進(jìn)行預(yù)測(cè)。

誤差反向后傳(back propagation，BP)網(wǎng)絡(luò)，是目前廣泛應(yīng)用的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無(wú)需事先揭示描述這種映射關(guān)系的數(shù)學(xué)方程。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層(input)、隱層(hidden layer)和輸出層(output layer)。它的學(xué)習(xí)規(guī)則是使用梯度下降法，通過(guò)反向傳播來(lái)不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小[13-14]。

一般的BP算法過(guò)程為：網(wǎng)絡(luò)初始化；輸入第一個(gè)學(xué)習(xí)樣本；求中間層的輸入和輸出；求輸出層的輸入和輸出；計(jì)算輸出層的誤差；計(jì)算中間層的誤差；調(diào)整各層連接之間的權(quán)值；輸入下一個(gè)學(xué)習(xí)樣本。

先確定好訓(xùn)練次數(shù)和期望誤差，再進(jìn)行算法的學(xué)習(xí)過(guò)程。當(dāng)訓(xùn)練次數(shù)達(dá)到或者低于期望誤差值即可停止訓(xùn)練。

該預(yù)測(cè)模型適用于緩變的工程數(shù)據(jù)預(yù)測(cè)，適合具有大量歷史訓(xùn)練樣本的數(shù)據(jù)的工程數(shù)據(jù)預(yù)測(cè)。但由于該方法需求的樣本數(shù)量巨大，以及訓(xùn)練的方式復(fù)雜，所以當(dāng)其他預(yù)測(cè)方法無(wú)法滿足數(shù)據(jù)需求時(shí)，可作為一種替補(bǔ)的工程數(shù)據(jù)處理預(yù)測(cè)方法。

3.3 工程數(shù)據(jù)挖掘示例

在暗物質(zhì)衛(wèi)星以及其他衛(wèi)星的運(yùn)行過(guò)程中，有很多值得分析的工程數(shù)據(jù)。比如太陽(yáng)能帆板的電壓和電流判斷其壽命的問(wèn)題。

首先分析衛(wèi)星的工程數(shù)據(jù)在數(shù)據(jù)庫(kù)中的格式，該衛(wèi)星的地面支撐系統(tǒng)使用了Oracle的PTSQL數(shù)據(jù)庫(kù)管理其數(shù)據(jù)。工程數(shù)據(jù)儲(chǔ)存在一個(gè)大表中，由于大表是以接收時(shí)間為主鍵存儲(chǔ)工程數(shù)據(jù)的，所以不利于分析比較某一項(xiàng)工程數(shù)據(jù)的變化值。

將一段時(shí)間內(nèi)的工程數(shù)據(jù)導(dǎo)出，并導(dǎo)入到相應(yīng)的非關(guān)系型數(shù)據(jù)庫(kù)。由于只關(guān)心帆板的電壓和電流讀數(shù)，所以在導(dǎo)出數(shù)據(jù)表以及導(dǎo)入非關(guān)系型數(shù)據(jù)庫(kù)時(shí)，只選擇導(dǎo)出導(dǎo)入和與電壓電流有關(guān)的數(shù)據(jù)。

通過(guò)第一種數(shù)據(jù)處理方法處理將近三個(gè)月的數(shù)據(jù)得出：太陽(yáng)能帆板工作情況良好，電壓值和電流值在工作狀態(tài)下穩(wěn)定，暫時(shí)對(duì)其工作情況沒有影響。

4 結(jié)束語(yǔ)

通過(guò)使用四種非關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行衛(wèi)星工程數(shù)據(jù)的分析和處理，提出了四種只需關(guān)注于對(duì)有效載荷工作情況有影響的工程數(shù)據(jù)的處理方法，尤其是適合于基于非關(guān)系型數(shù)據(jù)庫(kù)的工程數(shù)據(jù)存儲(chǔ)方式，與傳統(tǒng)關(guān)系型數(shù)據(jù)相比具備快速的優(yōu)勢(shì)。

[1] 王 帆.基于故障樹的空間有效載荷故障診斷系統(tǒng)研究[D].北京:中國(guó)科學(xué)院研究生院(空間科學(xué)與應(yīng)用研究中心),2007.

[2] 福島洋介，石濱直樹.航天器的遙測(cè)數(shù)據(jù)采集分析[J].控制工程,2002(5):36-41.

[3] 秦 巍，郭永富.一種基于歷史遙測(cè)數(shù)據(jù)的在軌衛(wèi)星故障預(yù)警系統(tǒng)[J].航天器工程,2010,19(6):40-45.

[4] ZIKOPOULOS P,EATON C.Understanding big data:analytics for enterprise class Hadoop and streaming data[M].[s.l.]:McGraw-Hill Osborne Media,2011.

[5] ZAKI M J, PARTHASARATHY S, OGIHARA M,et al.New algorithms for fast discovery of association rules[C]//Proceedings of 3rd international conference on knowledge discovery and data mining.California:AAAI Press,1997:238-286.

[6] ZAKI M J.Scalable algorithms for association mining[J].IEEE Transactions on Knowledge and Data Engineering,2000,12(3):372-390.

[7] SHVACHKO K,KUANG Hairong,RADIA S,et al.The Hadoop distributed file system[C]//Proceedings of 26th IEEE symposium on mass storage systems and technologies.Piscataway,NJ:IEEE Press,2010:1-10.

[8] DEAN J,GHEMAWAT S.MapReduce:simplified data processing on large clusters[C]//Proceedings of the 6th conference on symposium on opearting systems design & implementation.Berkeley,CA,USA:USENIX Association,2008:10.

[9] 劉明吉,王秀峰,黃亞樓.數(shù)據(jù)挖掘中的數(shù)據(jù)預(yù)處理[J].計(jì)算機(jī)科學(xué),2000,27(4):54-57.

[10] 趙紅毅,任國(guó)恒.ID3算法在衛(wèi)星遙測(cè)數(shù)據(jù)分析中的應(yīng)用[J].西安工業(yè)大學(xué)學(xué)報(bào),2010,30(5):491-494.

[11] 王 環(huán),郭義琪,秦 巍,等.構(gòu)建多航天器在軌管理支持平臺(tái)[J].航天器工程,2007,16(3):114-119.

[12] 李瑞瑩,康 銳.基于ARMA模型的故障率預(yù)測(cè)方法研究[J].系統(tǒng)工程與電子技術(shù),2008,30(8):1588-1591.

[13] 周永進(jìn),蔡惠華,尹遜震,等.改進(jìn)的BP網(wǎng)絡(luò)及其在數(shù)據(jù)預(yù)測(cè)中的應(yīng)用[J].微計(jì)算機(jī)信息,2007,23(27):150-151.

[14] 王一夫,陳松喬,陳 安.海量數(shù)據(jù)預(yù)測(cè)模型設(shè)計(jì)及案例分析[J].計(jì)算機(jī)工程與應(yīng)用,2005,41(19):170-173.