基于MPI的高性能UVFITS數(shù)據(jù)合成研究與應(yīng)用*

陳泰燃，王　威，王　鋒,2，鄧　輝，劉應(yīng)波，梅　盈

(1. 昆明理工大學(xué)云南省計(jì)算機(jī)技術(shù)應(yīng)用重點(diǎn)實(shí)驗(yàn)室，云南 昆明　650500；2. 中國(guó)科學(xué)院云南天文臺(tái)，

云南 昆明　650012；3. 中國(guó)科學(xué)院國(guó)家天文臺(tái)，北京　100012)

?

基于MPI的高性能UVFITS數(shù)據(jù)合成研究與應(yīng)用*

陳泰燃1，王威3，王鋒1,2，鄧輝1，劉應(yīng)波1，梅盈1

(1. 昆明理工大學(xué)云南省計(jì)算機(jī)技術(shù)應(yīng)用重點(diǎn)實(shí)驗(yàn)室，云南 昆明650500；2. 中國(guó)科學(xué)院云南天文臺(tái)，

云南 昆明650012；3. 中國(guó)科學(xué)院國(guó)家天文臺(tái)，北京100012)

摘要：中國(guó)明安圖超寬頻譜射電日像儀(Mingantu Ultrawide Spectral Radioheliograph, MUSER)進(jìn)入實(shí)際觀測(cè)后，每3 ms產(chǎn)生一幀100 kB左右的數(shù)據(jù)，每天的原始觀測(cè)數(shù)據(jù)約3.5 TB。由于射電日像儀的原始數(shù)據(jù)采用自定義格式，為了后續(xù)數(shù)據(jù)分析和共享的需要，有必要根據(jù)數(shù)據(jù)存儲(chǔ)需求把這些原始數(shù)據(jù)轉(zhuǎn)換成天文常用的文件格式。在前期工作中已經(jīng)實(shí)現(xiàn)了原始數(shù)據(jù)格式到UVFITS文件的轉(zhuǎn)換，在此基礎(chǔ)上研究了基于MPI的集群并行環(huán)境下UVFITS合成系統(tǒng)的性能優(yōu)化。通過實(shí)驗(yàn)驗(yàn)證，在改進(jìn)后的并行環(huán)境下，UVFITS合成系統(tǒng)的性能達(dá)到了需求的2.5倍，可以有效處理當(dāng)前及未來一定時(shí)間內(nèi)射電日像儀的海量觀測(cè)數(shù)據(jù)。同時(shí)，改進(jìn)后的系統(tǒng)具有良好的橫向擴(kuò)展能力，能夠?yàn)橄嚓P(guān)項(xiàng)目的數(shù)據(jù)處理提供借鑒和參考。

關(guān)鍵詞：UVFITS；海量數(shù)據(jù)；MPI；并行計(jì)算；高性能計(jì)算

中國(guó)明安圖超寬頻譜射電日像儀(Mingantu Ultrawide Spectral Radioheliograph, MUSER)是同時(shí)以高時(shí)間、空間和頻率分辨率對(duì)太陽(yáng)進(jìn)行射電頻譜成像的設(shè)備[1]。隨著進(jìn)入系統(tǒng)聯(lián)調(diào)和試觀測(cè)階段，當(dāng)前迫切需要實(shí)現(xiàn)試觀測(cè)結(jié)果的存儲(chǔ)、處理，以推進(jìn)設(shè)備誤差修正、設(shè)備定標(biāo)等一系列工作。這其中，需要應(yīng)用當(dāng)前射電天文領(lǐng)域的相關(guān)軟件，如天文應(yīng)用軟件公共包(Common Astronomy Software Applications, CASA)[2]等對(duì)試觀測(cè)數(shù)據(jù)進(jìn)行處理與分析，從而獲得同行公認(rèn)的結(jié)果。如何將觀測(cè)得到的結(jié)果快速保存為天文應(yīng)用軟件公共包可以接受的數(shù)據(jù)格式成為當(dāng)前一個(gè)急需解決的問題。

在射電天文領(lǐng)域，數(shù)據(jù)存儲(chǔ)廣泛采用隨機(jī)組(Random groups)結(jié)構(gòu)的FITS 文件[3]，因此主要保存UV復(fù)可見條紋數(shù)據(jù)也經(jīng)常被稱為UVFITS 文件。

目前，MUSER-I以3幀/秒的速率產(chǎn)生數(shù)據(jù)，每產(chǎn)生8幀數(shù)據(jù)后利用1ms的時(shí)間用于數(shù)據(jù)傳送。故每25 ms產(chǎn)生8幀的數(shù)據(jù)，如此循環(huán)，直到1min生成一個(gè)大的數(shù)據(jù)文件。該文件包含觀測(cè)的詳細(xì)數(shù)據(jù)信息，大小將近2 GB，其中包含19 200(8 × 40 × 60)幀。由于其中間隔8幀產(chǎn)生的數(shù)據(jù)出自同一天線，故可根據(jù)需求，對(duì)8幀的數(shù)據(jù)進(jìn)行積分操作以提高數(shù)據(jù)的精確度，同時(shí)可以節(jié)約存儲(chǔ)空間。速度上，需要達(dá)到每3 ms處理一幀數(shù)據(jù)生成UVFITS[4]文件，才能滿足實(shí)時(shí)生成觀測(cè)圖像的要求。

目前國(guó)外類似的項(xiàng)目有日本野邊山宇宙觀測(cè)所(The Nobeyama Radio Observatory, NRO)[5]，法國(guó)南錫射電望遠(yuǎn)鏡(The Nan?ay Decimetric Radio Telescope, NRT)等，MUSER-I的數(shù)據(jù)規(guī)模遠(yuǎn)高于國(guó)外現(xiàn)有項(xiàng)目。MUSER-I共有40面天線，時(shí)間分辨率為3 ms，信道為16個(gè)。在日本野邊山宇宙觀測(cè)所，天線數(shù)量為84面，但時(shí)間分辨率低。相比之下MUSER-I的數(shù)據(jù)量大約是日本野邊山宇宙觀測(cè)所的20倍，是南錫射電望遠(yuǎn)鏡的37倍。同時(shí)在圖像處理方面也有不同的需求，這導(dǎo)致國(guó)外的日像儀處理軟件無法直接引入。所以，為了更好地支撐射電日像儀的后續(xù)處理工作，設(shè)計(jì)并實(shí)現(xiàn)一套能夠?yàn)樯潆娙障駜x服務(wù)的高性能UVFITS合成系統(tǒng)是當(dāng)前比較迫切的工作。

本文研究了UVFITS的合成機(jī)制，對(duì)串行UVFITS合成系統(tǒng)中能夠并行化的環(huán)節(jié)進(jìn)行并行化處理，在當(dāng)前廣泛使用的成熟的消息傳遞接口(Message Passing Interface, MPI)基礎(chǔ)上，結(jié)合具體應(yīng)用設(shè)計(jì)并實(shí)現(xiàn)了一套基于消息傳遞接口的并行數(shù)據(jù)合成系統(tǒng)，用于滿足射電日像儀的需求。

1UVFITS合成流程

日像儀產(chǎn)生的原始數(shù)據(jù)文件包括以下信息：每一幀的時(shí)間、信號(hào)中心頻率選擇開關(guān)、信號(hào)中心頻率、信號(hào)帶寬、量化電平值與閾值、延遲調(diào)整開關(guān)、條紋旋轉(zhuǎn)開關(guān)以及子帶工作方式，同時(shí)還記錄許多時(shí)延信息、天線參數(shù)等。為了滿足對(duì)數(shù)據(jù)存儲(chǔ)的需要，在UVFITS文件中需要4個(gè)二元表：PRIMARY、ANTENNA、FREQUENCY、SOURCE。針對(duì)產(chǎn)生的數(shù)據(jù)文件，為了提高數(shù)據(jù)的精確度，需要對(duì)數(shù)據(jù)進(jìn)行積分操作，系統(tǒng)會(huì)按照指定的起始時(shí)間和截止時(shí)間要求對(duì)數(shù)據(jù)進(jìn)行積分操作。

為了查閱、檢索數(shù)據(jù)的方便，把處理后的數(shù)據(jù)保存為UVFITS格式的文件。整個(gè)過程及UVFITS文件的合成處理流程如圖1。

天線接收的射電噪聲信號(hào)經(jīng)過低噪聲放大器放大后，再進(jìn)行電/光轉(zhuǎn)換，將電信號(hào)轉(zhuǎn)換為光信號(hào)并通過光纖傳至機(jī)房[6]。經(jīng)過模擬接收機(jī)和數(shù)字接收機(jī)處理后，最終生成約定格式的數(shù)據(jù)并以文件的方式存儲(chǔ)[7]。

下一步，UVFITS合成系統(tǒng)將存儲(chǔ)的原始數(shù)據(jù)讀入內(nèi)存，然后讀取其中的時(shí)間、日期等數(shù)據(jù)，計(jì)算當(dāng)前天線所在位置。把這些處理結(jié)果存入U(xiǎn)VFITS文件的AIPS AN表。合成系統(tǒng)計(jì)算觀測(cè)時(shí)太陽(yáng)的位置，存入AIPS SU表中。合成系統(tǒng)讀取天線的極化、接收頻率等信息存入AIPS FR表。最后，處理原始數(shù)據(jù)中的可視數(shù)據(jù)(圖像)，存入PRIMARY表。

可視圖像數(shù)據(jù)來源于原始數(shù)據(jù)中的可視數(shù)據(jù)。綜合孔徑成像原理要求天線接收的兩路信號(hào)同時(shí)同相到達(dá)相關(guān)器[8]，在實(shí)現(xiàn)過程中，需要對(duì)系統(tǒng)延時(shí)和相位進(jìn)行補(bǔ)償，這就是延時(shí)補(bǔ)償和條紋停止技術(shù)[9]。在生成UVFITS文件中PRIMARY表時(shí)，根據(jù)輸入的時(shí)間以及其他參數(shù)，系統(tǒng)需要對(duì)可視數(shù)據(jù)進(jìn)行處理，如果是多幀合成，需要積分，如不合成，轉(zhuǎn)存即可。在這步操作中，對(duì)每一幀的時(shí)間、位置以及可視數(shù)據(jù)等信息進(jìn)行處理。最后，將4個(gè)表(AIPS AN、AIPS SU、AIPS FR、PRIMARY)中的數(shù)據(jù)，添加上若干UVFITS文件的關(guān)鍵字存入文件。

圖1　UVFITS合成流程

2UVFITS合成處理并行化分析

由于單機(jī)性能有限，為了盡可能大地提升程序性能，并具有進(jìn)一步提升的空間，選擇多機(jī)并行的方式，并且使用其中具有代表性的消息傳遞接口作為多機(jī)并行的方案。

通過分析，程序的整個(gè)運(yùn)行過程，大致可以歸納為輸入運(yùn)行參數(shù)、讀取數(shù)據(jù)、處理數(shù)據(jù)、輸出數(shù)據(jù)。其中處理數(shù)據(jù)又可以分為分析數(shù)據(jù)和整理、積分?jǐn)?shù)據(jù)。

在程序中可以做到并行的部分有讀取數(shù)據(jù)、處理數(shù)據(jù)和輸出數(shù)據(jù)。在測(cè)試中發(fā)現(xiàn)，程序的時(shí)間開銷主要集中在讀取數(shù)據(jù)以及整理、積分?jǐn)?shù)據(jù)兩個(gè)過程。其中程序讀取數(shù)據(jù)這部分占用了整個(gè)程序運(yùn)行時(shí)間的83%左右，處理數(shù)據(jù)中的整理、積分?jǐn)?shù)據(jù)大約占了整個(gè)程序運(yùn)行時(shí)間的12%。

在初步驗(yàn)證性并行測(cè)試中發(fā)現(xiàn)，對(duì)數(shù)據(jù)的整理、積分進(jìn)行并行處理的效果并不理想。在多機(jī)并行條件下，數(shù)據(jù)的通信時(shí)間接近數(shù)據(jù)處理的時(shí)間，導(dǎo)致增加節(jié)點(diǎn)對(duì)性能的提升幾近于無。而單機(jī)并行的情況下，由于總線速度的瓶頸，單核與多核的運(yùn)行時(shí)間相差無幾。

據(jù)此，在程序的讀取數(shù)據(jù)，即讀取原始數(shù)據(jù)中的幀部分，采用并行處理。

2.1數(shù)據(jù)的并行化處理

2.1.1方案設(shè)計(jì)與數(shù)據(jù)劃分

本系統(tǒng)使用的方案，在集群環(huán)境中采用主從模式實(shí)現(xiàn)可視數(shù)據(jù)的并行處理。主要執(zhí)行順序?yàn)椋鞴?jié)點(diǎn)將等待讀取的原始數(shù)據(jù)以幀為處理單元，劃分為若干任務(wù)，按順序?qū)⑷蝿?wù)分發(fā)給每個(gè)子節(jié)點(diǎn)；每個(gè)子節(jié)點(diǎn)處理完接收的任務(wù)后將處理完畢的文件寫給主節(jié)點(diǎn)。

在方案設(shè)計(jì)中，對(duì)幀的劃分以一幀為一個(gè)單位，按照節(jié)點(diǎn)數(shù)的不同，平均分配到每個(gè)節(jié)點(diǎn)上由各節(jié)點(diǎn)讀取。在每個(gè)參與計(jì)算的子節(jié)點(diǎn)上，各存有一份完整的幀頭信息。在各子節(jié)點(diǎn)內(nèi)，再將數(shù)據(jù)按初始設(shè)定的進(jìn)程數(shù)進(jìn)一步劃分，并在進(jìn)程內(nèi)處理完畢。各子節(jié)點(diǎn)產(chǎn)生的結(jié)果文件直接寫入主節(jié)點(diǎn)的存儲(chǔ)介質(zhì)，各子節(jié)點(diǎn)間無需通信。并行部分的流程示意圖如圖2。

2.1.2結(jié)果合并

各節(jié)點(diǎn)接收的任務(wù)均為至少一個(gè)完整的幀，同時(shí)每幀存有各自的時(shí)間信息。完成任務(wù)后，計(jì)算結(jié)果由子節(jié)點(diǎn)直接寫入主節(jié)點(diǎn)的存儲(chǔ)介質(zhì)中保存為文件，文件名為各節(jié)點(diǎn)數(shù)據(jù)中讀取的時(shí)間。由于任務(wù)間相互獨(dú)立，合并結(jié)果的開銷僅與主節(jié)點(diǎn)存儲(chǔ)介質(zhì)的輸入/輸出性能有關(guān)。

3性能分析

圖2　并行部分程序執(zhí)行流程圖

并行UVFITS文件的合成過程相對(duì)于順序的UVFITS文件合成步驟，加入了數(shù)據(jù)在節(jié)點(diǎn)間的分發(fā)與收集。這樣與串行的過程相比，額外增加了節(jié)點(diǎn)間通信的開銷。

本節(jié)的性能分析以原始數(shù)據(jù)讀入內(nèi)存后的時(shí)間為基準(zhǔn)，性能分析的標(biāo)準(zhǔn)為加速比以及并行環(huán)境下程序所耗費(fèi)的時(shí)間。下面為兩種方式的通用表示。

3.1相對(duì)加速比

同一并行算法，在單節(jié)點(diǎn)上的運(yùn)行時(shí)間與在多節(jié)點(diǎn)構(gòu)成的處理機(jī)系統(tǒng)上的運(yùn)行時(shí)間相比，定義為相對(duì)加速比(以下簡(jiǎn)稱加速比)，用來衡量并行系統(tǒng)或程序并行化的性能和效果。計(jì)算方法如(1)式：

(1)

其中，Tserial是程序在串行方式下運(yùn)行耗費(fèi)的時(shí)間，串行方式采用了與并行相同的算法；Tparallel是程序在并行環(huán)境下運(yùn)行耗費(fèi)的時(shí)間。

3.2并行方式下程序運(yùn)行的時(shí)間開銷

這里的時(shí)間取程序讀入內(nèi)存后一直到執(zhí)行完畢耗費(fèi)的時(shí)間。由于采用了并行方式，程序額外產(chǎn)生了節(jié)點(diǎn)間通信的時(shí)間開銷。同時(shí)，程序的總時(shí)間由耗費(fèi)時(shí)間最長(zhǎng)的節(jié)點(diǎn)決定。時(shí)間的計(jì)算如(2)式：

(2)

其中，Tbcast為根節(jié)點(diǎn)廣播數(shù)據(jù)耗費(fèi)的時(shí)間，廣播的數(shù)據(jù)為每個(gè)節(jié)點(diǎn)均需要的數(shù)據(jù)，即目前程序運(yùn)行的參數(shù)。通過此參數(shù)，各節(jié)點(diǎn)能計(jì)算本節(jié)點(diǎn)所需執(zhí)行的任務(wù)在裸數(shù)據(jù)中的起止位置；Tsend為根節(jié)點(diǎn)點(diǎn)對(duì)點(diǎn)通信耗費(fèi)的時(shí)間；Tcalculate為根節(jié)點(diǎn)計(jì)算、處理數(shù)據(jù)耗費(fèi)的時(shí)間；Treduce為根節(jié)點(diǎn)接收時(shí)間耗費(fèi)最長(zhǎng)的節(jié)點(diǎn)的數(shù)據(jù)耗費(fèi)的時(shí)間。

4實(shí)驗(yàn)分析

測(cè)試的硬件環(huán)境為4臺(tái)曙光天闊A620r-G，中央處理器為AMD Opteron 6128，主頻2.0 GHz，內(nèi)存4 GB；硬盤為希捷ST3250310AS，7 200轉(zhuǎn)，緩存8 MB，容量為250 GB；操作系統(tǒng)為L(zhǎng)inux，機(jī)群數(shù)據(jù)交換的速度為1 Gbps，采用的消息傳遞接口實(shí)現(xiàn)為MPICH-2。在對(duì)系統(tǒng)的測(cè)試中，從文件名為MUSER_20140122-131903_342668765的原始數(shù)據(jù)中隨機(jī)取4段觀測(cè)數(shù)據(jù)，數(shù)據(jù)量分別為415幀、735幀、1 055幀、1 375幀。4.1、4.2、4.3為在對(duì)數(shù)據(jù)不積分和進(jìn)行5幀積分情況下進(jìn)行測(cè)試得到的結(jié)果。

4.1單機(jī)串行

表1為單機(jī)串行環(huán)境下，程序在處理不同的數(shù)據(jù)量時(shí)耗費(fèi)的時(shí)間。從表1可以發(fā)現(xiàn)，時(shí)間隨著幀數(shù)的增加而線性增加，但時(shí)間效率遠(yuǎn)低于射電日像儀對(duì)UVFITS的數(shù)據(jù)存儲(chǔ)需求的每幀3 ms處理時(shí)間，僅達(dá)到了目標(biāo)效率的一半。

4.2單機(jī)并行

表2是在單臺(tái)服務(wù)器上，分別使用二進(jìn)程、四進(jìn)程以及八進(jìn)程運(yùn)行程序得到的時(shí)間耗費(fèi)以及加速比。可以看到，節(jié)點(diǎn)數(shù)每增加一倍，執(zhí)行時(shí)間縮短一半以上，程序并行的加速比穩(wěn)定在1以上，即每有N個(gè)進(jìn)程，程序的執(zhí)行時(shí)間小于等于原時(shí)間的1/N。同時(shí)，隨著數(shù)據(jù)量的增加，即幀數(shù)的增加，程序耗費(fèi)的時(shí)間呈線性上升。這說明程序的效率是可以預(yù)計(jì)的，在需要程序達(dá)到更高的速度時(shí)，可以對(duì)需要增加的進(jìn)程有一個(gè)初步估計(jì)。

表1　單機(jī)串行執(zhí)行時(shí)間

4.3多機(jī)并行

表3是程序在4臺(tái)服務(wù)器組成的四節(jié)點(diǎn)集群并行環(huán)境下，分別使用二進(jìn)程、四進(jìn)程、八進(jìn)程運(yùn)行程序得出的時(shí)間和加速比。與單機(jī)環(huán)境下的并行相比，執(zhí)行時(shí)間略有增加。這是由于進(jìn)程在不同機(jī)器節(jié)點(diǎn)間通信的時(shí)間遠(yuǎn)大于進(jìn)程通過系統(tǒng)內(nèi)部總線傳遞數(shù)據(jù)的通信時(shí)間，導(dǎo)致額外的時(shí)間開銷。加速比約等于1，這意味著每增加一倍節(jié)點(diǎn)，時(shí)間的開銷仍然縮短接近一半。同時(shí)，總體效果達(dá)到了期望值，超出了3 ms處理一幀數(shù)據(jù)的需求。

5結(jié)束語

本文針對(duì)射電日像儀對(duì)高性能UVFITS數(shù)據(jù)合成要求，研究了基于消息傳遞接口的高性能UVFITS合成系統(tǒng)。系統(tǒng)可以根據(jù)實(shí)際需要將觀測(cè)得到的原始數(shù)據(jù)高速轉(zhuǎn)換成可以導(dǎo)入天文應(yīng)用軟件公共包的標(biāo)準(zhǔn)UVFITS文件。目前，優(yōu)化后的并行UVFITS合成系統(tǒng)在八進(jìn)程的運(yùn)行環(huán)境下，只需要1.2 ms即可處理一幀文件，已經(jīng)滿足當(dāng)前射電日像儀對(duì)3 ms每幀的速率需求，性能比需求提高了1.5倍。另外，基于消息傳遞接口的并行合成系統(tǒng)，從實(shí)驗(yàn)中可以看到具有很好的擴(kuò)展性，這為下一步射電日像儀更高性能的數(shù)據(jù)合成提供了可能性，同時(shí)，也能夠滿足未來射電日像儀產(chǎn)生的更多數(shù)據(jù)的實(shí)時(shí)合成處理需要。

表2　單機(jī)并行執(zhí)行時(shí)間

表3　多機(jī)并行執(zhí)行時(shí)間

在未來的工作中進(jìn)一步研究如下問題：(1)繼續(xù)優(yōu)化數(shù)據(jù)處理流程，提高并行度，從而提升合成UVFITS文件的速度；(2)在并行環(huán)境中，提前對(duì)多機(jī)進(jìn)行文件同步以達(dá)到流水線效果，從而減少子節(jié)點(diǎn)對(duì)主節(jié)點(diǎn)存儲(chǔ)介質(zhì)訪問的通信時(shí)間；(3)為數(shù)據(jù)處理以及歸檔查詢系統(tǒng)提供應(yīng)用程序編程接口(Application Programming Interface, API)，滿足數(shù)據(jù)訪問的需要。

參考文獻(xiàn)：

[1]Yan Y, Zhang J, Wang W, et al. The Chinese Spectral Radioheliograph—CSRH[J]. Earth, Moon, and Planets, 2009, 104(1): 97-100.

[2]Jaeger S. The Common Astronomy Software Application (CASA) [C]// Astronomical Data Analysis Software and Systems XVII. 2008: 623.

[3]Wells D C, Greisen E W, Harten R H. FITS-a flexible image transport system[J]. Astronomy and Astrophysics Supplement Series, 1981, 44: 363.

[4]高姣姣, 王鋒, 戴偉, 等. 面向射電日像儀的隨機(jī)組結(jié)構(gòu)剖析與文件設(shè)計(jì)[J]. 天文研究與技術(shù)——國(guó)家天文臺(tái)臺(tái)刊, 2013, 10(4): 365-371.Gao Jiaojiao, Wang Feng, Ji Kaifan, et al. An analysis of the random-group data format and a design of the data file structure for a solar radio heliograph[J]. Astronomical Research & Technology

——Publications of National Astronomical Observatories of China, 2013, 10(4): 365-371.

[5]Nakajima H, Nishio M A, Enome S, et al. The Nobeyama radioheliograph[J]. Proceedings of the IEEE, 1994, 82(5): 705-713.

[6]王威, 陳志軍, 姬國(guó)樞, 等. CSRH光纖傳輸方案探討[J]. 天文研究與技術(shù)——國(guó)家天文臺(tái)臺(tái)刊, 2006, 3(2): 143-147.

Wang Wei, Chen Zhijun, Ji Kaifan, et al. Optical fiber transmission analysis for CSRH[J]. Astronomical Research & Technology——Publications of National Astronomical Observatories of China, 2006, 3(2): 143-147.

[7]姬國(guó)樞, 竇玉江, 王威, 等. CSRH模擬接收機(jī)設(shè)計(jì)[J]. 天文研究與技術(shù)——國(guó)家天文臺(tái)臺(tái)刊, 2006, 3(2): 135-142.

Ji Guoshu, Dou Yujiang, Wang Wei, et al. RF receiver design for CSRH[J]. Astronomical Research & Technology——Publications of National Astronomical Observatories of China, 2006, 3(2): 135-142.

[8]張堅(jiān), 顏毅華, 劉飛, 等. 用于雙天線干涉實(shí)驗(yàn)的數(shù)字相關(guān)接收機(jī)[J]. 天文研究與技術(shù)——國(guó)家天文臺(tái)臺(tái)刊, 2006, 3(2): 148-153.

Zhang Jian, Yan Yihua, Liu Fei, et al. A prototype digital correlation receiver for two-element interferometer experiment[J]. Astronomical Research & Technology——Publications of National Astronomical Observatories of China, 2006, 3(2): 148-153.

[9]劉東浩, 顏毅華, 趙岸, 等. 新一代厘米—分米波射電日像儀系統(tǒng)延時(shí)校準(zhǔn)方法研究[J]. 電子學(xué)報(bào), 2013, 31(3): 570-574.Liu Donghao, Yan Yihua, Zhao An, et al. A delay calibration for Chinesespectral radioheliograph in the decametric to centimetric wave range[J]. Acta Electronica Sinica, 2013, 31(3): 570-574.

The Study and Application of a High Performance UVFITS Assembly System Based on MPI

Chen Tairan1, Wang Wei3, Wang Feng1,2, Deng Hui1, Liu Yingbo1, Mei Ying1

(1. Computer Technology Application Key Laboratory of Yunnan Province, Kunming University of Science and Technology,Kunming 650500, China; 2. Yunnan Observatories, Chinese Academy of Sciences, Kunming 650011, China,Email: wf@cnlab.net; 3. National Astronomical Observatories, Chinese Academy of Sciences, Beijing 100012, China)

Abstract:Mingantu Ultrawide Spectral Radioheliograph (MUSER) generates 100 kilobytes raw observational data in every 3 milliseconds and more than 3.5 Terabytes data per day. For further data analysis and sharing, it is necessary to convert the raw data stored in self-defined format to standard format usually used in the field of radio astronomy. In previous work, we have analyzed the format of UVFITS and converted the raw data to UVFITS file successfully. However, the efficiency of the format converting system needs to be further improved. This paper presents a parallel UVFITS file assembly system based on cluster parallel environment. Experiments show that the system can reduce the execution time of assembling a UVFITS file to about 1.2 milliseconds, 2.5 times faster than that of the data acquisition, which is very promising to meet the data processing requirements in the project. Moreover, the parallel system can be used for reference in other systems. The implementation of this parallel data format converting system can also provide a good reference to similar data processing systems.

Key words:UVFITS; Massive data; MPI; Parallel computing; High-performance computing

基金項(xiàng)目：國(guó)家自然科學(xué)天文聯(lián)合基金 (U1231205)；國(guó)家自然科學(xué)基金 (11263004, 11203011, 11163004, 11103005)；云南省應(yīng)用基礎(chǔ)基金重點(diǎn)項(xiàng)目 (2013FA013, 2013FA032, 2013FZ018) 資助.

收稿日期：2015-06-17；

修訂日期：2015-07-07

作者簡(jiǎn)介：陳泰燃，男，碩士. 研究方向：分布式計(jì)算，科學(xué)數(shù)據(jù)處理. Email: 584680399@qq.com 通訊作者：王鋒，男，教授. 研究方向：分布式數(shù)據(jù)存儲(chǔ)與計(jì)算，科學(xué)數(shù)據(jù)處理. Email: wf@cnlab.net

中圖分類號(hào)：TP311.1

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào):1672-7673(2016)02-0184-06

CN 53-1189/PISSN 1672-7673