應用SpaceWire網(wǎng)絡的航天器分布式存儲系統(tǒng)設計

穆強 牛躍華 于俊慧 李欣 袁珺 高何

(北京空間飛行器總體設計部,北京 100094)

大容量固態(tài)存儲器自20世紀90年代開始已逐漸應用于國際航天領域,隨著半導體技術的發(fā)展,以Flash器件為存儲單元的大容量固態(tài)存儲器目前已經(jīng)成為航天器的關鍵配置之一[1-5]。特別是對以獲取地面遙感圖像為目標的對地觀測衛(wèi)星而言,存儲容量配置需求成倍增長,主存儲器容量已超過10 Tbit。為了提高圖像質(zhì)量,有效載荷配置也呈現(xiàn)多樣化趨勢,除了主載荷還會配置各類輔助載荷,輔助載荷數(shù)據(jù)存儲需求有著多樣性的特點,如短時、突發(fā)性、中低速率輸出、在軌長期工作等不同需求。主存儲器受限于功耗等因素制約,在適應多樣化輔助載荷數(shù)據(jù)存儲的靈活性需求上并非強項,因此在主存儲器之外增加較小容量輔助存儲器的配置成為一種較為常見的解決方案。如國內(nèi)某對地觀測衛(wèi)星,配置輔助存儲器,該設備在軌長期開機,連續(xù)存儲衛(wèi)星工程遙測數(shù)據(jù)及長期載荷的部分應用數(shù)據(jù),而主存儲器在隨著衛(wèi)星主載荷共同開機工作,存儲主載荷高速數(shù)據(jù)。

在配置雙固態(tài)存儲系統(tǒng)(即主存儲器加輔助存儲器)的航天器中,由于硬件接口設計的差異性,經(jīng)常會對部分設備的接口進行改動,再應用于其他航天器時又要進行反復的適應性修改,從而帶來不必要的產(chǎn)品研制開銷,并對產(chǎn)品成熟度造成影響。由于應用數(shù)據(jù)的使用需求,部分數(shù)據(jù)會同時在不同位置進行存儲,涉及的接口交叉設計繁瑣,同時還增加了系統(tǒng)容錯設計的成本和難度。數(shù)據(jù)的分散存儲對數(shù)據(jù)的分配、傳輸、管理提出了新的要求,使與之相關的航天器數(shù)據(jù)通信協(xié)議、星地操控接口的復雜性提高,個別航天器出于數(shù)據(jù)存儲方便考慮,甚至配備多個輔助存儲器,各種傳輸接口、協(xié)議設計及系統(tǒng)容錯設計的復雜性更是成倍增加。

為了解決上述問題,本文提出應用SpaceWire網(wǎng)絡的分布式存儲系統(tǒng)設計。SpaceWire網(wǎng)絡是ESA的數(shù)據(jù)通信標準,已成功應用于十余項國際空間任務中[6-7]。其接口簡單、采用路由式通信等特點,對支持分布式存儲系統(tǒng)的接口標準化、系統(tǒng)重構能夠起到基礎性作用,使分布式存儲系統(tǒng)對外提供統(tǒng)一的硬件接口和通信協(xié)議,屏蔽內(nèi)部的具體網(wǎng)絡連接方式,從而簡化航天器系統(tǒng)設計。

1 分布式存儲系統(tǒng)設計

分布式存儲系統(tǒng)由控制模塊及若干個Flash存儲模塊構成,每個存儲模塊均可獨立工作,實現(xiàn)數(shù)據(jù)的分布式存儲。根據(jù)實際應用環(huán)境的需求,控制模塊和存儲模塊可置于同一臺設備中,也可置于不同設備中,各模塊由SpaceWire網(wǎng)絡互聯(lián)?？刂颇K負責SpaceWire網(wǎng)絡配置及分布式存儲系統(tǒng)的管理,控制各個存儲模塊完成數(shù)據(jù)文件的創(chuàng)建、刪除,數(shù)據(jù)的記錄及回放等。整個分布式存儲系統(tǒng)對外呈現(xiàn)統(tǒng)一的SpaceWire數(shù)據(jù)接口,以模塊邏輯地址作為提供數(shù)據(jù)存取服務的入口,數(shù)據(jù)源端不需要關注存儲模塊的物理位置。當發(fā)生單存儲模塊故障時,只要修改路由配置就能將數(shù)據(jù)無縫遷移至其他存儲模塊,而數(shù)據(jù)源端可不做任何修改。當需要增加存儲容量時,在適合的設備中增配存儲模塊數(shù)量即可,對外接口及協(xié)議設計不會發(fā)生變動。目前,分布式存儲系統(tǒng)可應用于航天器中低速率數(shù)據(jù)的存儲,后續(xù)隨著航天器高速通信技術的發(fā)展成熟,可無縫接入高速數(shù)據(jù)傳輸,整體實現(xiàn)航天器數(shù)據(jù)存儲的統(tǒng)一管理。

1.1 網(wǎng)絡結構設計

分布式存儲系統(tǒng)網(wǎng)絡構成如圖1所示,各模塊均連接于SpaceWire網(wǎng)絡中,對載荷設備提供統(tǒng)一的SpaceWire輸入輸出接口。在實際設計中,控制模塊可不獨立配備,其控制功能與其他接入SpaceWire網(wǎng)絡的計算機進行集成,多個存儲模塊可形成冗余備份,為系統(tǒng)容錯設計帶來便利。

圖1 分布式存儲系統(tǒng)網(wǎng)絡構成Fig.1 Network structure of distributed storage system

1.2 網(wǎng)絡配置及協(xié)議設計

分布式存儲系統(tǒng)的傳輸協(xié)議分為網(wǎng)絡控制和應用數(shù)據(jù)傳輸兩類,分別利用SpaceWire網(wǎng)絡的2種尋址方式。

(1)路徑尋址。通過物理端口指定數(shù)據(jù)傳輸目的地,各級路由節(jié)點具有包頭刪除功能,將通過的數(shù)據(jù)包首字節(jié)刪除,把第2個字節(jié)作為數(shù)據(jù)包的新包頭首字節(jié)地址送出。路徑尋址示意如圖2所示。

(2)邏輯尋址。將路由器的物理端口通過路由表映射到某一個邏輯地址上,通過查找路由表確定邏輯地址對應的輸出端口,目標地址只需要由一個數(shù)據(jù)字符長度的邏輯地址來表示。利用邏輯尋址方式不需要關注具體網(wǎng)絡結構,因此可屏蔽網(wǎng)絡連接細節(jié)。邏輯尋址示意如圖3所示。

航天器網(wǎng)絡物理連接一旦確定,就具有不可更改的特性,因此網(wǎng)絡配置基于路徑尋址進行,以確保能夠正確訪問對應的節(jié)點?？刂颇K集中進行整個網(wǎng)絡的配置,包括各個節(jié)點的端口狀態(tài)、通信速率、路由表配置等,配置成功即可為各載荷設備提供數(shù)據(jù)傳輸服務。網(wǎng)絡配置會產(chǎn)生短包、小數(shù)據(jù)量通信,控制模塊通過SpaceWire網(wǎng)絡采用遠程存儲器訪問協(xié)議(RMAP)對各節(jié)點工作寄存器進行配置,并讀出內(nèi)容以確認配置正確。寫入操作命令包見圖4,讀出操作命令包見圖5。

圖2 路徑尋址示意Fig.2 Schematic diagram of path addressing

圖3 邏輯尋址示意Fig.3 Schematic diagram of logical addressing

圖4 RMAP寫入操作命令包Fig.4 RMAP write command package

圖5 RMAP讀出操作命令包Fig.5 RMAP read command package

應用數(shù)據(jù)傳輸在網(wǎng)絡層完成路由,對外屏蔽網(wǎng)絡連接方式,采用邏輯尋址方式基于路由表查找目的地。應用數(shù)據(jù)傳輸量較大,為提高傳輸效率,便于存儲模塊糾錯編碼及回放后地面處理,采用串行傳輸通用協(xié)議(STUP)定長傳輸方式。STUP協(xié)議數(shù)據(jù)包為基本傳輸格式,其內(nèi)部裝載用戶應用數(shù)據(jù)結構,由數(shù)據(jù)文件標志和符合國際空間數(shù)據(jù)系統(tǒng)咨詢委員會(CCSDS)建議的虛擬信道幀(VCF)[8]構成,見圖6。

圖6 STUP數(shù)據(jù)包Fig.6 STUP data package

不同的載荷設備按照協(xié)議要求,將各自的應用數(shù)據(jù)組成數(shù)據(jù)包送出,數(shù)據(jù)包通過各級路由器時,在路由表控制下逐級傳輸至指定邏輯地址對應的存儲模塊。各類應用數(shù)據(jù)的生成速率、時機、頻度存在差異,因此可根據(jù)其存取特點分配不同的存儲模塊,例如,可分為長期數(shù)據(jù)和短期數(shù)據(jù),或者分為平臺遙測數(shù)據(jù)和載荷數(shù)據(jù)。通常,將需要長期記錄的數(shù)據(jù)集中存儲,將僅在觀測時產(chǎn)生的載荷數(shù)據(jù)及其輔助數(shù)據(jù)集中存儲,每個存儲模塊內(nèi)部數(shù)據(jù)通過文件形式進行管理,對于短期數(shù)據(jù)的存儲模塊可短期加電工作,降低系統(tǒng)功耗。

SpaceWire總線采用流控制機制[9],當接收端中的緩沖器有足夠容納8 byte數(shù)據(jù)字符的空間時,發(fā)送1個流控制字符(FCT)到鏈路發(fā)送端的鏈路接口,發(fā)送端鏈路接口接收到FCT控制字符后,可以發(fā)送8 byte數(shù)據(jù)字符。只要接收端的緩沖器有足夠空間,就可向發(fā)送端發(fā)送FCT控制字符。在一個完整數(shù)據(jù)包通信結束前,其傳輸路徑被占用,不能傳輸其他數(shù)據(jù)包,因此數(shù)據(jù)發(fā)送端需要對發(fā)送數(shù)據(jù)進行緩存,避免鏈路傳輸路徑的占用導致數(shù)據(jù)丟失,當某端口傳輸數(shù)據(jù)總量達到總帶寬的80%時,要進一步對各節(jié)點的發(fā)送時序關系進行規(guī)劃,降低路徑?jīng)_突。

1.3 系統(tǒng)重構

分布式存儲系統(tǒng)具備系統(tǒng)重構能力,當部分模塊故障時可對系統(tǒng)進行重構,實現(xiàn)系統(tǒng)控制和數(shù)據(jù)存儲功能的遷移,提高系統(tǒng)容錯能力。系統(tǒng)重構會對數(shù)據(jù)傳輸路徑進行重新組織,重新分配各模塊的功能,因此通常會帶來路由表配置的變化,將邏輯地址映射至新的物理端口,從而實現(xiàn)存儲功能的遷移。系統(tǒng)重構一般通過軟件配置信息注入或程序在軌維護的方式進行,使系統(tǒng)在重構后的網(wǎng)絡結構中工作,邏輯尋址方式能夠很好地對外屏蔽網(wǎng)絡結構的變化,載荷設備不需要了解網(wǎng)絡組成細節(jié),因此不必進行任何修改即可適應,能夠最大化地將故障帶來的更改限制在最小范圍內(nèi)。

控制模塊的控制功能通常由軟件實現(xiàn),可集成在連接于SpaceWire網(wǎng)絡中的任意一臺計算機中,控制功能的遷移即將該功能轉移至另外一臺計算機的軟件中,且對應的邏輯地址需要映射到連接后者的物理端口。存儲模塊可通過模塊數(shù)量、存儲容量兩方面進行冗余,即配置多于實際需求的存儲模塊,或者每個模塊分配的存儲數(shù)據(jù)量小于其容量,為數(shù)據(jù)存儲、遷移預留。例如,某系統(tǒng)中配置4個存儲模塊,每個128 Gbit容量,實際使用3個模塊,第4個作為備份預留。

2 實例驗證

以某衛(wèi)星分布式存儲系統(tǒng)的設計及應用為例,驗證本文提出設計的可行性和優(yōu)勢。

2.1 網(wǎng)絡組成

某衛(wèi)星分布式存儲系統(tǒng)的具體實現(xiàn)如圖7所示。衛(wèi)星上配置4種輔助載荷,對輔助存儲器數(shù)據(jù)存儲要求為:在衛(wèi)星成像期間,通過SpaceWire總線接收4臺輔助載荷傳輸?shù)膽脭?shù)據(jù)、系統(tǒng)管理計算機生成的環(huán)境監(jiān)測輔助數(shù)據(jù);在整個壽命期內(nèi),不間斷地記錄衛(wèi)星工程遙測數(shù)據(jù)。衛(wèi)星存儲功能由綜合電子系統(tǒng)實現(xiàn),分布式存儲系統(tǒng)也依托于綜合電子系統(tǒng)設備建立,系統(tǒng)共配置4個存儲模塊,分別安裝于系統(tǒng)管理單元、載荷接口單元中,控制模塊的控制功能集成在CPU模塊1、2(位于系統(tǒng)管理單元)中。該分布式存儲系統(tǒng)為4個輔助載荷設備提供數(shù)據(jù)存儲服務,輔助載荷設備A、B機分別占用1個SpaceWire端口。存儲模塊1、2長期開機,用于不間斷地記錄衛(wèi)星工程遙測數(shù)據(jù);存儲模塊3、4用于記錄成像期間的載荷應用數(shù)據(jù)及環(huán)境監(jiān)測輔助數(shù)據(jù),非成像期間可關機。

整個SpaceWire網(wǎng)絡以路由單元為核心,路由單元內(nèi)部由3片愛特梅爾(Atmel)公司8端口路由芯片AT7910E構成,3個路由芯片間通過雙路互聯(lián)組成環(huán)形網(wǎng)絡,對外提供18個標準SpaceWire端口,通過3級路由表配置,實現(xiàn)所有節(jié)點的互聯(lián)互通。存儲模塊1～4也應用AT7910E作為協(xié)議芯片,CPU模塊1、2和CPU模塊3、4分別與存儲模塊1、2和存儲模塊3、4內(nèi)部互聯(lián),共享協(xié)議芯片接入網(wǎng)絡。路由單元、存儲模塊均為冷備份設計,因此常態(tài)下整個網(wǎng)絡中5個路由芯片同時工作。

系統(tǒng)默認CPU模塊1、2作為控制模塊,在故障情況下可通過軟件在軌維護的方式將CPU模塊3、4(位于載荷接口單元)配置為控制模塊。

圖7 某衛(wèi)星分布式存儲系統(tǒng)網(wǎng)絡結構Fig.7 Network structure of distributed storage system in a satellite

2.2 地址分配及路由配置

在圖7的網(wǎng)絡中,所有節(jié)點工作模式均為冷備份,因此A、B機分配相同的邏輯地址,如果需要設計為同時工作,可修改路由表,分配不同的邏輯地址實現(xiàn)。各節(jié)點邏輯地址分配如表1所示,其中測試節(jié)點用于系統(tǒng)測試?？刂颇K(CPU模塊1、2)通過路徑地址訪問所有路由芯片,集中進行路由表配置,表2為控制模塊1、2使用的路徑地址。路由芯片的路由表配置如表3所示。

表1 SpaceWire邏輯地址分配Table 1 Allocation of SpaceWire logical address

表2 控制模塊1、2使用的路徑地址Table 2 Path address of control module 1,2

續(xù) 表

表3 路由芯片路由表配置Table 3 Router table configuration of routing chips

在路由表配置中,路由單元內(nèi)部的雙路互聯(lián)中,默認配置為使用端口1～8就近環(huán)路方向互聯(lián),另一環(huán)路方向路徑及端口9～10路徑作為預留,由于節(jié)點為冷備份設計,因此使用組適應路由方式,切機后路由表不需要修改。

該衛(wèi)星分布式存儲系統(tǒng)選用的路由芯片為AT7910E,最高可支持200 Mbit/s傳輸速率。對其數(shù)據(jù)傳輸路徑進行分析,最大數(shù)據(jù)量通信端口為存儲模塊3、4的接收端口,峰值速率要求約為60 Mbit/s,因此將該衛(wèi)星SpaceWire帶寬設置為100 Mbit/s,最大傳輸峰值約為總帶寬的60%,能夠滿足使用要求。

2.3 冗余設計

分布式存儲系統(tǒng)配置多個控制模塊和多個存儲模塊,相互之間可形成備份關系?？刂颇K功能集成在CPU模塊1、2中,由CPU軟件實現(xiàn)。CPU模塊1、2為冷備份設計,控制模塊功能遷移隨其切換同時完成。CPU模塊3、4也可作為控制模塊使用,必要時可在軌修改其軟件,增加相應功能。更改后,路由表不需要更改,控制模塊進行網(wǎng)絡配置時使用的路徑地址如表4所示。

表4 控制模塊3、4使用的路徑地址Table 4 Path address of control module 3,4

當某個存儲模塊故障時,可將向該模塊傳輸?shù)臄?shù)據(jù)遷移至其他存儲模塊,即修改每個路由芯片的路由表,將該地址的數(shù)據(jù)路由到其他存儲模塊進行處理。例如,將邏輯地址40(存儲模塊3)對應的路由設置改為與邏輯地址34(存儲模塊1)相同即可,數(shù)據(jù)傳輸路徑對載荷設備透明。

2.4 應用效果

在圖7所示的某衛(wèi)星分布式存儲系統(tǒng)中,共配置4個存儲模塊,2個CPU系統(tǒng)作為控制模塊,另外還有2個CPU系統(tǒng)可作為備用控制模塊使用,系統(tǒng)對外呈現(xiàn)一致的SpaceWire物理接口。任意模塊間的切換、系統(tǒng)的重構、傳輸路徑的更改均對外屏蔽。與配置雙固態(tài)存儲系統(tǒng)的B衛(wèi)星進行對比,如表5所示。可見,在載荷設備數(shù)量基本相當?shù)那闆r下,本文設計實例在物理接口種類和協(xié)議設計的復雜性上顯著優(yōu)于B衛(wèi)星,且使用操作更簡化,在適應存儲需求變化及系統(tǒng)重構方面優(yōu)勢更為突出。

表5 應用效果對比Table 5 Comparison of application effects

3 結束語

配置多種載荷可提高服務質(zhì)量和應用效率,擴大用戶服務范圍,已逐漸成為航天器研制的常態(tài),隨之而來的在軌數(shù)據(jù)存儲需求也更加靈活。本文提出的應用SpaceWire網(wǎng)絡的分布式存儲系統(tǒng),可輔助主存儲器適應中低速數(shù)據(jù)存儲、在軌長期工作等需求,擴展性良好,在軌具有靈活的重構手段,在故障情況下能最大程度實現(xiàn)系統(tǒng)功能不降級,空間應用的優(yōu)勢較為突出,目前已經(jīng)過航天器的在軌驗證,工作狀態(tài)良好。隨著SpaceWire-D、Spacw Fibre等技術的后續(xù)推廣應用,在數(shù)據(jù)傳輸時序確定性、通信速率方面還有更大的發(fā)展空間[10],未來可將主存儲器納入分布式存儲系統(tǒng)進行統(tǒng)一管理,為航天器提供統(tǒng)一、面向邏輯接口、在軌可重構的高可靠數(shù)據(jù)存儲服務。