多星多任務(wù)數(shù)傳數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)設(shè)計(jì)

楊甲森 孟新 王春梅

(1 中國(guó)科學(xué)院大學(xué)，北京 100049) (2 中國(guó)科學(xué)院國(guó)家空間科學(xué)中心，北京 100190)

多星多任務(wù)數(shù)傳數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)設(shè)計(jì)

楊甲森1，2孟新2王春梅2

(1 中國(guó)科學(xué)院大學(xué)，北京 100049) (2 中國(guó)科學(xué)院國(guó)家空間科學(xué)中心，北京 100190)

針對(duì)衛(wèi)星地面應(yīng)用系統(tǒng)支持多星多任務(wù)的運(yùn)行控制需求，設(shè)計(jì)了數(shù)傳數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)。采用調(diào)度中心與處理程序集協(xié)同工作的方式，在不借助消息傳遞接口(MPI)和第三方調(diào)度軟件的前提下，實(shí)現(xiàn)了數(shù)傳處理作業(yè)的集中式調(diào)度、分布式并行處理；設(shè)計(jì)處理作業(yè)調(diào)度策略，實(shí)現(xiàn)了實(shí)時(shí)任務(wù)優(yōu)先、事后任務(wù)排隊(duì)以及處理資源負(fù)載均衡；設(shè)計(jì)模塊化拆分的處理程序集，實(shí)現(xiàn)了處理系統(tǒng)的高性能、可復(fù)用。工程實(shí)踐結(jié)果表明：文章所介紹的處理系統(tǒng)能夠同時(shí)支持4顆衛(wèi)星、3個(gè)地面站、實(shí)時(shí)及事后2種模式數(shù)傳處理任務(wù)，處理的實(shí)時(shí)數(shù)據(jù)率優(yōu)于150 Mbit/s。

數(shù)傳數(shù)據(jù)；多星多任務(wù)；并行處理；負(fù)載均衡

1 引言

數(shù)傳數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)是衛(wèi)星地面應(yīng)用系統(tǒng)的重要組成部分，它包括高級(jí)在軌系統(tǒng)(Advanced Orbit System，AOS)幀同步后分路、源包同步后分包、工程參數(shù)物理量反演、科學(xué)數(shù)據(jù)拼接與解壓縮、處理結(jié)果分發(fā)與入庫(kù)等研究?jī)?nèi)容，是衛(wèi)星在軌運(yùn)行期間，地面判讀星載設(shè)備狀態(tài)的前提和基礎(chǔ)。當(dāng)前的地面應(yīng)用系統(tǒng)主要以單星單系統(tǒng)為主[1]，隨著衛(wèi)星編隊(duì)、星座、分離載荷組網(wǎng)探測(cè)模式的出現(xiàn)[2]，以及海洋、資源、科學(xué)等衛(wèi)星的系列化，地面應(yīng)用系統(tǒng)支持多星多任務(wù)的需求日益迫切，隨之也帶來(lái)了多星多任務(wù)數(shù)傳數(shù)據(jù)處理方法研究的新課題。

目前，多星多任務(wù)數(shù)傳數(shù)據(jù)處理系統(tǒng)設(shè)計(jì)主要有兩種方法：①單任務(wù)系統(tǒng)疊加，即各衛(wèi)星、接收站的實(shí)時(shí)、事后處理軟件以常駐內(nèi)存形式運(yùn)行，以單任務(wù)軟件疊加方式支持多星多任務(wù)。此方法設(shè)計(jì)的系統(tǒng)針對(duì)性強(qiáng)，運(yùn)行效率高，編程無(wú)新技術(shù)門(mén)檻，故障易分析、定位，運(yùn)行平臺(tái)無(wú)集群架構(gòu)要求，缺點(diǎn)是其會(huì)持久占用處理資源，不能優(yōu)先調(diào)度實(shí)時(shí)任務(wù)。②基于消息傳遞接口(Message Passing Interface，MPI)的分布式并行處理方法[3]，該方法采用計(jì)算機(jī)集群、MPI標(biāo)準(zhǔn)接口，實(shí)現(xiàn)多星多載荷數(shù)據(jù)分布式并行處理。其優(yōu)點(diǎn)是可借助第三方調(diào)度軟件實(shí)現(xiàn)指定任務(wù)優(yōu)先、處理資源負(fù)載均衡，缺點(diǎn)是依賴(lài)的“黑盒”調(diào)度軟件增加了故障分析定位的難度，MPI接口的實(shí)現(xiàn)方法對(duì)設(shè)計(jì)人員提出了新技術(shù)學(xué)習(xí)要求。

從綜合現(xiàn)有兩種方法優(yōu)點(diǎn)的角度出發(fā)，本文提出了一種基于任務(wù)的集中式作業(yè)搜集、調(diào)度，分布式并行處理方法。建立由調(diào)度中心和處理程序集組成的總體結(jié)構(gòu)，設(shè)計(jì)實(shí)時(shí)任務(wù)優(yōu)先、事后任務(wù)排隊(duì)、處理資源負(fù)載均衡的調(diào)度策略，實(shí)現(xiàn)在不借助計(jì)算機(jī)集群和第三方調(diào)度軟件的前提下，動(dòng)態(tài)分配處理資源，分布式并行處理多星多任務(wù)數(shù)傳數(shù)據(jù)。

2 多星多任務(wù)數(shù)傳數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)任務(wù)

多星多任務(wù)數(shù)傳數(shù)據(jù)實(shí)時(shí)處理以衛(wèi)星數(shù)據(jù)接收計(jì)劃、事后數(shù)傳文件到達(dá)通知為驅(qū)動(dòng)，以數(shù)傳實(shí)時(shí)碼流、事后數(shù)傳數(shù)據(jù)文件為處理對(duì)象，完成AOS幀同步后分路、源包同步后分包、工程參數(shù)物理量反演、圖像數(shù)據(jù)拼接與解壓縮、處理結(jié)果分發(fā)與入庫(kù)等處理[4]。系統(tǒng)外部接口如圖1所示。其功能包括在數(shù)據(jù)接收計(jì)劃標(biāo)識(shí)的數(shù)據(jù)下傳時(shí)段內(nèi)，完成地面站發(fā)送的實(shí)時(shí)數(shù)傳碼流數(shù)據(jù)的采集、處理、分發(fā)(給載荷狀態(tài)監(jiān)視軟件，供載荷用戶(hù)判讀設(shè)備狀態(tài))；在接收到地面站發(fā)送的事后數(shù)傳文件到達(dá)通知后，完成事后文件的讀取、處理、工程參數(shù)入庫(kù)；具體處理流程如圖2所示[5]。本文研究?jī)?nèi)容即針對(duì)上述系統(tǒng)進(jìn)行設(shè)計(jì)與驗(yàn)證。

圖1 系統(tǒng)外部接口Fig.1 External interface of system

圖2 數(shù)傳數(shù)據(jù)處理流程Fig.2 Process flow of data transmission data

3 系統(tǒng)設(shè)計(jì)

3.1 總體結(jié)構(gòu)

本設(shè)計(jì)借鑒了Hadoop MapReduce框架設(shè)計(jì)思路。Hadoop MapReduce框架包括一個(gè)JobTracker和一定數(shù)量的TaskTracker。JobTracker負(fù)責(zé)接收處理作業(yè)，并與TaskTracker通信。在可能的情況下，JobTracker給TaskTracker分配Map或Reduce任務(wù)，由Map和Reduce任務(wù)具體完成海量數(shù)據(jù)的并行處理[6]。

在此框架下，多星多任務(wù)數(shù)傳實(shí)時(shí)處理系統(tǒng)總體結(jié)構(gòu)如圖3所示，包括調(diào)度中心和處理程序集兩部分。其中調(diào)度中心包括部署在調(diào)度計(jì)算機(jī)的調(diào)度決策(對(duì)應(yīng)JobTracker)，以及部署在每一個(gè)處理計(jì)算機(jī)的調(diào)度執(zhí)行(對(duì)應(yīng)TaskTracker)，主要完成實(shí)時(shí)及事后作業(yè)的搜集、管理以及處理程序的調(diào)度等功能；處理程序集(對(duì)應(yīng)Map和Reduce任務(wù))包括格式處理、物理量反演、工程參數(shù)分發(fā)與入庫(kù)、科學(xué)數(shù)據(jù)處理與分發(fā)等。每顆衛(wèi)星、每個(gè)接收站一套數(shù)據(jù)處理程序，每臺(tái)處理計(jì)算機(jī)均統(tǒng)一部署處理程序集全集；在任務(wù)執(zhí)行時(shí)，由調(diào)度決策以資源負(fù)載均衡為目標(biāo)決策各處理程序運(yùn)行的計(jì)算機(jī)；各處理程序之間以及調(diào)度決策與調(diào)度執(zhí)行之間采用以太網(wǎng)總線(xiàn)的方式進(jìn)行交互，調(diào)度執(zhí)行與各處理程序之間的控制流通過(guò)Linux的Fork、Exec或Kill系統(tǒng)調(diào)用方式實(shí)現(xiàn)。

圖3 總體結(jié)構(gòu)設(shè)計(jì)Fig.3 Structure design of system

3.2 調(diào)度中心設(shè)計(jì)

調(diào)度中心是系統(tǒng)支持多星多任務(wù)的核心。如圖4所示，調(diào)度中心由調(diào)度決策與調(diào)度執(zhí)行兩部分組成。其中調(diào)度決策負(fù)責(zé)配置信息管理、處理作業(yè)搜集、處理資源分配、處理程序調(diào)度，調(diào)度執(zhí)行負(fù)責(zé)處理資源信息上報(bào)、處理程序的啟動(dòng)和終止。

(1)配置信息管理：包括對(duì)各衛(wèi)星、接收站的處理程序集信息，以及處理計(jì)算機(jī)信息的管理。其中，處理程序集信息包括所屬衛(wèi)星、接收站、類(lèi)型(實(shí)時(shí)或事后)、程序標(biāo)識(shí)、名稱(chēng)、可執(zhí)行程序路徑、CPU及內(nèi)存占用預(yù)估值、網(wǎng)絡(luò)吞吐率及處理速率預(yù)估值等，處理計(jì)算機(jī)信息包括標(biāo)識(shí)、內(nèi)存及網(wǎng)絡(luò)配置、IP地址等。

(2)處理作業(yè)搜集：讀取衛(wèi)星數(shù)據(jù)接收計(jì)劃、接收事后數(shù)傳數(shù)據(jù)文件到達(dá)通知，生成實(shí)時(shí)、事后處理作業(yè)，并放入待執(zhí)行的作業(yè)隊(duì)列。其中數(shù)據(jù)接收計(jì)劃包含衛(wèi)星、接收站、開(kāi)始接收時(shí)刻、結(jié)束接收時(shí)刻、計(jì)劃狀態(tài)(預(yù)執(zhí)行、被取消、已執(zhí)行)，事后數(shù)據(jù)到達(dá)通知包括衛(wèi)星標(biāo)識(shí)、事后文件路徑等。

(3)處理資源分配：設(shè)定作業(yè)調(diào)度時(shí)鐘，定時(shí)掃描待執(zhí)行作業(yè)隊(duì)列，實(shí)時(shí)作業(yè)在數(shù)據(jù)接收計(jì)劃的開(kāi)始接收時(shí)刻前執(zhí)行、事后作業(yè)在接收到文件到達(dá)通知后立即執(zhí)行，執(zhí)行前根據(jù)調(diào)度策略確定作業(yè)相關(guān)各處理程序運(yùn)行的計(jì)算機(jī)。

(4)處理程序調(diào)度：調(diào)度決策向調(diào)度執(zhí)行發(fā)送軟件啟動(dòng)消息，調(diào)度執(zhí)行根據(jù)消息啟動(dòng)處理程序后，反饋啟動(dòng)結(jié)果；在接收到數(shù)傳格式處理程序(位于數(shù)據(jù)鏈頂端)的處理結(jié)束消息后，發(fā)送處理程序終止消息，并刪除隊(duì)列中的數(shù)據(jù)處理作業(yè)。

(5)資源信息上報(bào)：調(diào)度執(zhí)行定時(shí)向調(diào)度決策上報(bào)各處理計(jì)算機(jī)CPU、內(nèi)存等硬件資源占用信息，供調(diào)度決策進(jìn)行處理資源分配。

圖4 調(diào)度中心設(shè)計(jì)Fig.4 Design of schedule model

圖4中描述了正常狀態(tài)下的作業(yè)搜集、資源分配、處理程序調(diào)度的流程。對(duì)可能產(chǎn)生的異常設(shè)計(jì)如下。

(1)處理程序啟動(dòng)異常：?jiǎn)?dòng)某處理程序失敗時(shí)，強(qiáng)制終止該程序所在處理作業(yè)的其他已成功啟動(dòng)的處理程序，并將整個(gè)作業(yè)的狀態(tài)恢復(fù)至等待。

(2)消息接收異常：?jiǎn)?dòng)、終止或反饋消息未能正常接收時(shí)，處理作業(yè)無(wú)法完成正常調(diào)度流程。設(shè)計(jì)調(diào)度決策在超時(shí)后強(qiáng)制終止該作業(yè)，超時(shí)時(shí)間定義為T(mén)。實(shí)時(shí)任務(wù)超時(shí)時(shí)間T=結(jié)束接收時(shí)刻+預(yù)留時(shí)間，事后任務(wù)T=處理開(kāi)始時(shí)刻+文件大小/處理速率預(yù)估值+預(yù)留時(shí)間。

(3)處理程序啟動(dòng)、終止順序造成處理不能覆蓋全部輸入數(shù)據(jù)異常：程序啟動(dòng)和終止采用串行方式，啟動(dòng)時(shí)從數(shù)據(jù)鏈的末端程序到頂端程序，終止時(shí)從頂端程序到末端程序。

調(diào)度中心解決的關(guān)鍵問(wèn)題是決策“在什么時(shí)刻、在哪一臺(tái)處理計(jì)算機(jī)上、運(yùn)行什么處理程序”、“如何優(yōu)先調(diào)度實(shí)時(shí)處理作業(yè)” 、“如何確保處理資源負(fù)載均衡”等，調(diào)度策略是解決這些問(wèn)題的核心。

3.3 調(diào)度策略

實(shí)時(shí)處理的目的是在衛(wèi)星過(guò)境的有限時(shí)段內(nèi)，即時(shí)生產(chǎn)出載荷數(shù)據(jù)，為載荷用戶(hù)實(shí)時(shí)判讀星載設(shè)備狀態(tài)提供依據(jù)，其處理時(shí)效要求高；而事后處理的目的是結(jié)果數(shù)據(jù)的歸檔、管理與應(yīng)用，由于事后文件在地面站已成功落地，其處理緊迫程度不高，一般只需要下次過(guò)境之前處理完成即可；另外，為了避免某些處理設(shè)備長(zhǎng)期處于高負(fù)荷狀態(tài)，而某些設(shè)備總處于低負(fù)荷工作狀態(tài)，處理調(diào)度需要考慮資源負(fù)荷均衡。因此設(shè)計(jì)調(diào)度策略原則：①實(shí)時(shí)任務(wù)優(yōu)先、事后作業(yè)排隊(duì)；②處理計(jì)算機(jī)資源負(fù)載均衡。根據(jù)原則①，設(shè)計(jì)單次作業(yè)調(diào)度流程如圖5。根據(jù)原則②，設(shè)計(jì)處理程序決策運(yùn)行計(jì)算機(jī)算法如圖6。策略設(shè)計(jì)內(nèi)容如下。

(1)實(shí)時(shí)作業(yè)優(yōu)先：作業(yè)調(diào)度時(shí)，只有在待執(zhí)行隊(duì)列中不包含需要調(diào)度的實(shí)時(shí)作業(yè)時(shí)，才調(diào)度事后作業(yè)。處理資源分配時(shí)，若實(shí)時(shí)作業(yè)資源分配失敗，且此時(shí)恰有同一衛(wèi)星事后作業(yè)在執(zhí)行，則強(qiáng)制終止正在執(zhí)行的事后作業(yè)；處理資源分配后，任意處理計(jì)算機(jī)占用內(nèi)存、CPU、網(wǎng)絡(luò)吞吐等資源，不能超過(guò)計(jì)算機(jī)總資源的百分比系數(shù)(定義為K)，事后作業(yè)K值小于實(shí)時(shí)作業(yè)K值。

(2)事后作業(yè)排隊(duì)：搜集到新的事后處理作業(yè)，且此時(shí)恰有同一衛(wèi)星的其他事后作業(yè)在執(zhí)行，則新的事后作業(yè)等待，直到正在執(zhí)行的事后作業(yè)終止。

圖5 單次作業(yè)調(diào)度流程Fig.5 Schedule flows of single homework

(3)處理資源負(fù)載均衡：處理程序資源分配時(shí)，按內(nèi)存、CPU、網(wǎng)絡(luò)吞吐率預(yù)估值進(jìn)行排序，優(yōu)先分配最耗資源的處理程序；單一處理程序決策運(yùn)行計(jì)算機(jī)時(shí)，將處理計(jì)算機(jī)按內(nèi)存、CPU、網(wǎng)絡(luò)吞吐率空閑值進(jìn)行排序，優(yōu)先分配空閑計(jì)算機(jī)；單處理程序決策運(yùn)行處理計(jì)算機(jī)考慮因素的順序?yàn)椋簝?nèi)存優(yōu)先、CPU次之、網(wǎng)絡(luò)吞吐再次之，三個(gè)資源條件全部滿(mǎn)足的計(jì)算機(jī)為首選，前兩個(gè)資源條件滿(mǎn)足的次之，僅內(nèi)存資源滿(mǎn)足的再次之。

圖6 單處理程序決策運(yùn)行計(jì)算機(jī)算法Fig.6 Algorithm of process computer for single processing model

3.4 處理程序集設(shè)計(jì)

處理程序集設(shè)計(jì)以模塊劃分最為重要。本文系統(tǒng)模塊劃分的原則：①模塊可復(fù)用性，通過(guò)模塊配置信息的更改、模塊源代碼的少量更改甚至不更改，實(shí)現(xiàn)對(duì)全新衛(wèi)星任務(wù)的數(shù)傳數(shù)據(jù)處理。②模塊拆分粒度不宜過(guò)細(xì)，雖然越細(xì)粒度的模塊可組裝性越強(qiáng)，但其控制和模塊間交互的復(fù)雜性也越高。③性能低下處理步驟設(shè)計(jì)為獨(dú)立模塊，通過(guò)運(yùn)行該模塊的多個(gè)進(jìn)程、或者模塊內(nèi)部設(shè)計(jì)為多線(xiàn)程實(shí)現(xiàn)數(shù)據(jù)并行處理。其中，須確保數(shù)據(jù)的先入先出的處理步驟設(shè)計(jì)為多線(xiàn)程，通過(guò)增加數(shù)據(jù)分配線(xiàn)程、數(shù)據(jù)融合線(xiàn)程實(shí)現(xiàn)數(shù)據(jù)的先入先出，而對(duì)數(shù)據(jù)順序不敏感的處理步驟設(shè)計(jì)為多進(jìn)程，由數(shù)據(jù)鏈中上一層節(jié)點(diǎn)程序進(jìn)行數(shù)據(jù)分配。④單一模塊設(shè)計(jì)復(fù)雜性控制，單一模塊專(zhuān)注于解決不多于一個(gè)的性能制約瓶頸，不多于一個(gè)的需求易變更項(xiàng)。

上述原則關(guān)注的焦點(diǎn)是處理需求易變更項(xiàng)以及性能低下的處理步驟。分析不同衛(wèi)星數(shù)傳數(shù)據(jù)實(shí)時(shí)處理的需求易變更項(xiàng)包括：①數(shù)傳幀格式[7]；②參數(shù)物理量反演方法；③有效載荷科學(xué)數(shù)據(jù)的處理方法。性能低下的處理步驟包括：①參數(shù)物理量反演(反演需要對(duì)源包數(shù)據(jù)每一字節(jié)、甚至每一位進(jìn)行處理，單線(xiàn)程處理的數(shù)據(jù)率僅為11 Mbit/s左右)；②反演后參數(shù)入庫(kù)(頻繁的數(shù)據(jù)庫(kù)插入操作)[8]；③科學(xué)數(shù)據(jù)處理(如圖像數(shù)據(jù)拼接和解壓縮處理等)。

功能分析是模塊劃分的基礎(chǔ)[9]，結(jié)合圖2數(shù)傳數(shù)據(jù)處理流程，將處理程序劃分為數(shù)傳格式處理、參數(shù)物理量反演、參數(shù)分發(fā)與入庫(kù)以及各載荷科學(xué)數(shù)據(jù)處理與分發(fā)等模塊。

(1)數(shù)傳格式處理：完成AOS幀同步、解密、解擾、RS譯碼、源包同步、分包等處理；以配置文件形式描述數(shù)傳虛擬信道、應(yīng)用過(guò)程信息，以及虛擬信道與應(yīng)用過(guò)程之間的包含關(guān)系，以解決不同衛(wèi)星數(shù)傳數(shù)據(jù)格式不同的易變更項(xiàng)。

(2)參數(shù)物理量反演：對(duì)“數(shù)傳格式處理”輸出的工程參數(shù)源包數(shù)據(jù)，進(jìn)行物理量反演處理；以配置文件形式提供每一個(gè)參數(shù)的物理量反演公式 、反演系數(shù)，以解決不同衛(wèi)星參數(shù)處理方法易變更項(xiàng)；設(shè)計(jì)多線(xiàn)程并行處理，對(duì)衛(wèi)星工程參數(shù)進(jìn)行并行反演(須保證工程參數(shù)先入先出)。

(3)參數(shù)入庫(kù)與分發(fā)：對(duì)“參數(shù)物理量反演”輸出的反演后工程參數(shù)，進(jìn)行入庫(kù)以及網(wǎng)絡(luò)分發(fā)；處理過(guò)程中不入庫(kù)只分發(fā)，結(jié)果數(shù)據(jù)存儲(chǔ)為文本文件，在軟件退出時(shí)，調(diào)用入庫(kù)腳本對(duì)文本文件實(shí)現(xiàn)一次性高效入庫(kù)，解決因數(shù)據(jù)庫(kù)頻繁插入操作導(dǎo)致的處理性能低下問(wèn)題。

(4)各載荷科學(xué)數(shù)據(jù)處理與分發(fā)：對(duì)“數(shù)傳格式處理”輸出的科學(xué)數(shù)據(jù)源包，進(jìn)行數(shù)據(jù)拼接、解壓縮等處理；設(shè)計(jì)多個(gè)“科學(xué)數(shù)據(jù)處理與分發(fā)”程序，同時(shí)運(yùn)行多個(gè)進(jìn)程，每個(gè)進(jìn)程以單一應(yīng)用過(guò)程的科學(xué)數(shù)據(jù)為處理對(duì)象，實(shí)現(xiàn)不同載荷科學(xué)數(shù)據(jù)的并行處理。

4 應(yīng)用與驗(yàn)證

多星多任務(wù)數(shù)傳數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)已在先導(dǎo)衛(wèi)星運(yùn)行控制任務(wù)中得到應(yīng)用。在該任務(wù)中，系統(tǒng)基于萬(wàn)兆網(wǎng)鏈接的1臺(tái)集中調(diào)度、9臺(tái)處理計(jì)算機(jī)硬件架構(gòu)，采用調(diào)度計(jì)算機(jī)上部署調(diào)度決策軟件、處理計(jì)算機(jī)上統(tǒng)一部署調(diào)度執(zhí)行軟件以及各衛(wèi)星、接收站、實(shí)時(shí)及事后處理程序集的方法實(shí)施。其中處理程序集包括暗物質(zhì)粒子探測(cè)衛(wèi)星、實(shí)踐十號(hào)返回式衛(wèi)星、“量子通信實(shí)驗(yàn)衛(wèi)星”、“硬X射線(xiàn)調(diào)制望遠(yuǎn)鏡衛(wèi)星”等4顆衛(wèi)星，密云、喀什、三亞等3個(gè)地面接收站，實(shí)時(shí)及事后2種模式的數(shù)傳格式處理、參數(shù)物理量反演、參數(shù)分發(fā)與入庫(kù)、各載荷科學(xué)數(shù)據(jù)處理等。

應(yīng)用結(jié)果表明：①系統(tǒng)可同時(shí)支持4顆衛(wèi)星、3個(gè)地面站、實(shí)時(shí)及事后2種工作模式的數(shù)傳數(shù)據(jù)處理任務(wù)；②在進(jìn)行AOS幀分路、分包、6000個(gè)工程遙測(cè)參數(shù)物理量反演、19臺(tái)載荷科學(xué)數(shù)據(jù)解壓縮的處理深度下，處理實(shí)時(shí)數(shù)據(jù)率優(yōu)于150 Mbit/s，遠(yuǎn)高于串行處理時(shí)的11 Mbit/s速率；③系統(tǒng)設(shè)計(jì)、實(shí)現(xiàn)、任務(wù)執(zhí)行的結(jié)果表明，本文系統(tǒng)與目前兩種實(shí)現(xiàn)方式相比具有明顯的優(yōu)點(diǎn)(見(jiàn)表1)。

表1 多星多任務(wù)數(shù)傳數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)特點(diǎn)Table 1 Features of real-time processing system for data transmission data of multi-satellite and multi-mission

5 結(jié)束語(yǔ)

多星多任務(wù)支持是衛(wèi)星地面應(yīng)用系統(tǒng)的一個(gè)重要發(fā)展方向，衛(wèi)星數(shù)傳、遙測(cè)數(shù)據(jù)的實(shí)時(shí)處理是地面應(yīng)用系統(tǒng)的關(guān)鍵功能之一。本文提出的基于任務(wù)的集中式調(diào)度、分布式并行處理方案，在支持多星多任務(wù)數(shù)傳處理需求的同時(shí)，也顯著提高了數(shù)據(jù)處理的效率。后續(xù)將開(kāi)展下列工作，以達(dá)到衛(wèi)星地面應(yīng)用系統(tǒng)全面支持多星多任務(wù)的目的。

(1)固化和發(fā)展目前已經(jīng)取得的技術(shù)成果：包括固化調(diào)度及處理程序組成的處理框架、調(diào)度策略等成果；增加處理進(jìn)程控制方式以提高系統(tǒng)的靈活性，如增加進(jìn)程運(yùn)行中終止、掛起等功能；進(jìn)一步優(yōu)化調(diào)度策略，將目前采用程序占用資源預(yù)估值，發(fā)展為采用實(shí)際值等。

(2)多星多任務(wù)數(shù)據(jù)協(xié)同處理需求及方法研究：多星協(xié)同完成一項(xiàng)科學(xué)探測(cè)或軍事偵查任務(wù)是衛(wèi)星應(yīng)用的趨勢(shì)，致力于任務(wù)目標(biāo)數(shù)據(jù)的融合、多維度剖析，開(kāi)展多星數(shù)傳、遙測(cè)數(shù)據(jù)的協(xié)同處理需求及方法研究。

(3)鼓勵(lì)衛(wèi)星地面應(yīng)用系統(tǒng)的其它功能開(kāi)展多星多任務(wù)支持方法研究，如指令生成、工程及科學(xué)數(shù)據(jù)快視功能等。

References)

[1] 趙文波,柳健,李小文.一種支持多星多任務(wù)遙感衛(wèi)星地面系統(tǒng)綜合處理的運(yùn)行控制技術(shù)[J].電子與信息學(xué)報(bào),2005,27(6):919-923

Zhao Wenbo,Liu Jian,Li Xiaowen. An operating scheme of ground system for remote sensing satellites for multi-satellite multi-mission[J].Journal of Electronics & Information Technology,2005,27(6):919-923 (in Chinese)

[2]秦勇,惠蕾放,劉曉旭,等.分布式空間系統(tǒng)星間通信組網(wǎng)技術(shù)研究綜述[J].空間電子技術(shù),2005(4):1-10

Qin Yong,Hui Leifang,Liu Xiaoxu,et al .Survey: Inter-satellite networking technologies of distributed space systems [J]. Space Electronic Technology,2005(4):1-10 (in Chinese)

[3]劉莉.基于MPI的衛(wèi)星遙感數(shù)據(jù)實(shí)時(shí)處理平臺(tái)設(shè)計(jì)[J].航天器工程,2013,22(3):130-134

Liu Li. Design of real-time processing platform for sa-tellite remote sensing data based on MPI [J].Spacecraft Engineering,2013,22(3):130-134 (in Chinese)

[4]何芳,單慶曉,楊柳,等.基于刀片式服務(wù)器的遙感數(shù)傳基帶處理系統(tǒng)設(shè)計(jì)[J].計(jì)算機(jī)測(cè)量與控制,2011,19(3):668-672

He Fang,Shan Qingxiao,Yang Liu,et al. Design of remote sensing data transmission baseband system based on blade system [J]. Computer Measurement & Control，2011,19(3) :668-672 (in Chinese)

[5]馮鐘葵,張洪群,王萬(wàn)玉,等.遙感衛(wèi)星數(shù)據(jù)獲取與處理關(guān)鍵技術(shù)概述[J].遙感信息,2008(4):91-97

Feng Zhongkui,Zhang Hongqun,Wang Wanyu,et al. Overview of key technologies of remote sensing satellite data acquisition and processing [J].Remote Sensing Information,2008(4):91-97 (in Chinese)

[6]堯煒,馬又良.淺析Hadoop 1.0與2.0設(shè)計(jì)原理[J]. 郵電設(shè)計(jì)技術(shù),2014(7):37-42

Yao Wei,Ma Youliang. Initial analysis of hadoop 1.0 & 2.0 design principle [J]. Designing Techniques of Posts and Telecommunication,2014(7):37-42 (in Chinese)

[7]白云飛,陳曉敏,安軍社,等.CCSDS高級(jí)在軌系統(tǒng)協(xié)議及其應(yīng)用介紹[J].飛行器測(cè)控學(xué)報(bào),2011,30(z1):16-21

Bai Yunfei,Chen Xiaomin,An Junshe,et al. Introduction to CCSDS AOS protocols and its application[J].Journal of Spacecraft TT&C Technology,2011,30(z1):16-21 (in Chinese)

[8]郭忠南,孟凡榮.關(guān)系數(shù)據(jù)庫(kù)性能優(yōu)化研究[J]. 計(jì)算機(jī)工程與設(shè)計(jì),2006,27(23):4484-4490

Guo Zhongnan,Meng Fanrong. Research of optimizing relational database performance [J]. Computer Engineering and Design,2006,27(23) :4484-4490 (in Chinese)

[9]王日君,張進(jìn)生,葛培琪,等. 模塊化設(shè)計(jì)中模塊劃分方法的研究[J]. 組合機(jī)床與自動(dòng)化加工技術(shù),2008(7):17-21

Wang Rijun,Zhang Jinsheng,Ge Peiqi,et al. Research on methodology of module division in modular design [J]. Modular Machine Tool & Automatic Manufacturing Technique,2008(7):17-21 (in Chinese)

(編輯：李多)

Design of Real-time Processing System for Transmission Data of Multi-satellite and Multi-mission

YANG Jiasen1，2MENG Xin2WANG Chunmei2

(1 University of Chinese Academy of Sciences,Beijing 100049,China) (2 National Space Science Center,CAS,Beijing 100190,China)

To meet the requirement of running control for multi-satellite and multi-mission in ground application system,a real-time transmission data processing system is designed,which is composed of dispatching center and processing modules. Concentrated scheduling and parallel processing are implemented by cooperative work of them without MPI and third-party software. Features of real-time task precedence,non-real-time task queuing and load balancing are achieved by the design of process-scheduling policy. Procedures based on module division makes the real-time processing system reusable and high performance. Practical result shows that the processing system proposed in this paper is capable of support to real-time or non-real-time tasks of 4 satellites,3 ground stations at the same time,and it can achieve real-time transmission data rate of 150Mbit/s.

transmission data; multi-satellite and multi-mission; parallel processing; load balancing

2016-01-07；

2016-04-12

楊甲森,男，副研究員，從事衛(wèi)星數(shù)據(jù)處理、有效載荷自動(dòng)化測(cè)試技術(shù)研究工作。Email:jsy@nssc.ac.cn。

TP274.2

A

10.3969/j.issn.1673-8748.2016.04.010