面向FAST科學(xué)數(shù)據(jù)管理系統(tǒng)平臺的設(shè)計(jì)與實(shí)現(xiàn)

姜家濤　謝曉堯

摘要：為了對大規(guī)模脈沖星及暫現(xiàn)源數(shù)據(jù)處理技術(shù)運(yùn)用研究的突破，為國家大科學(xué)工程 FAST實(shí)現(xiàn)提供有效的技術(shù)支持，加速在脈沖星和暫現(xiàn)源科學(xué)研究方面科研成果的產(chǎn)出。盡可能詳細(xì)記錄脈沖星科研數(shù)據(jù)處理結(jié)果，解決數(shù)據(jù)分析處理過程、科研結(jié)果不便于管理、共享等問題。FAST早期科學(xué)數(shù)據(jù)中心設(shè)計(jì)開發(fā)了面向FAST的脈沖星科學(xué)數(shù)據(jù)管理平臺。討論了系統(tǒng)平臺的架構(gòu)設(shè)計(jì)、功能設(shè)計(jì)和數(shù)據(jù)設(shè)計(jì)，解釋了關(guān)鍵技術(shù)手段，展示了相關(guān)重要功能的實(shí)現(xiàn)?；窘ǔ擅嫦騀AST科學(xué)數(shù)據(jù)管理平臺（http：//psrcat.net/），實(shí)現(xiàn)了FAST天文望遠(yuǎn)鏡數(shù)據(jù)資源及相關(guān)基礎(chǔ)數(shù)據(jù)資源的科學(xué)存儲(chǔ)管理，實(shí)現(xiàn)了候選體數(shù)據(jù)與已知脈沖星比對分析和數(shù)據(jù)可視化展示，收錄了來自FAST的優(yōu)質(zhì)候選體記錄141條，已知脈沖星數(shù)據(jù)記錄2700條，望遠(yuǎn)鏡設(shè)備數(shù)據(jù)20條，相關(guān)數(shù)據(jù)有望為FAST開展新脈沖星搜尋項(xiàng)目制定巡天計(jì)劃、認(rèn)證提供數(shù)據(jù)支撐。

關(guān)鍵詞：FAST科學(xué)數(shù)據(jù);數(shù)據(jù)管理;脈沖星;數(shù)據(jù)比對;可視化

中圖分類號：P315.69;P1? ? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2021）04-0001-04

Abstract：In order to make breakthroughs in the application of large-scale pulsars and transient source data processing technology， it provides effective technical support for the FAST implementation of national Science Project， and speeds up the output of scientific research achievements in the scientific research of pulsars and transient source.Record the processing results of pulsar scientific research data in detail as much as possible， so as to solve the problems of data analysis and processing process， and the inconvenient management and sharing of scientific research results.FAST Early Science Data Center Design develops a pulsar science data management platform for FAST.Built for FAST basic scientific data management platform （http：//psrcat.net/）， which has realized FAST telescope data resources and related basic data resources， scientific storage management， implement the candidate data comparison analysis and data visualization display and the known pulsars， and features high quality candidates from the FAST record 141， the known pulsars data record 2700 article， article 20 telescope equipment data， the relevant data is expected to provide FAST to start a new pulsar search project survey plan， certification to provide data support.

Key words： FAST scientific data;Pulsar; data manage; data comparison; visualization

500米口徑球面射電望遠(yuǎn)鏡FAST（Five-hundred-meter Aperture Spherical radio Telescope）已于2016年9月落成啟用[1]，在脈沖星搜索科學(xué)任務(wù)上取得豐碩成果。其中，脈沖星科學(xué)數(shù)據(jù)管理、處理分析及結(jié)果數(shù)據(jù)共享是脈沖星天文及整個(gè)射電天文中一個(gè)重要的基礎(chǔ)科研前沿領(lǐng)域。為對大規(guī)模脈沖星及暫現(xiàn)源數(shù)據(jù)處理技術(shù)運(yùn)用研究的突破，為國家大科學(xué)工程 FAST 的順利運(yùn)行、科學(xué)目標(biāo)的實(shí)現(xiàn)提供有效的技術(shù)支持，加速國家科學(xué)裝置 FAST 、SKA在脈沖星和暫現(xiàn)源科學(xué)研究方面國際性和前沿性科研成果的產(chǎn)出。盡可能詳細(xì)記錄脈沖星科研數(shù)據(jù)處理結(jié)果，便于回溯科研歷程，解決數(shù)據(jù)分析處理過程、科研結(jié)果不便于管理、共享等問題。FAST早期科學(xué)數(shù)據(jù)中心決定研發(fā)面向FAST的脈沖星科學(xué)數(shù)據(jù)管理平臺。

依賴當(dāng)前高度發(fā)達(dá)的信息化科學(xué)技術(shù)和智能化數(shù)據(jù)分析手段，面向FAST的脈沖星科學(xué)數(shù)據(jù)管理平臺完成以下研究目標(biāo)：對FAST早期漂移掃描數(shù)據(jù)，Parkes 1997年至今PMPS數(shù)據(jù)管理;對科研基礎(chǔ)數(shù)據(jù)入庫，根據(jù)脈沖星屬性和科研、科普需要，建立脈沖星基礎(chǔ)數(shù)據(jù)庫;我們已經(jīng)收集到截至目前的所有2700余顆的脈沖星數(shù)據(jù)（包括著名的兩次獲得諾貝爾獎(jiǎng)的脈沖星），根據(jù)脈沖星屬性和科研、科普需要，建立脈沖星基礎(chǔ)數(shù)據(jù)庫;建立分析比對功能，基于基礎(chǔ)數(shù)據(jù)庫的分析統(tǒng)計(jì)和比對分析主題;基于基礎(chǔ)數(shù)據(jù)庫開展數(shù)據(jù)聚合、鉆取等統(tǒng)計(jì)比對分析，實(shí)現(xiàn)多維分析;對科研文獻(xiàn)資料管理，接收來自全球的脈沖星科學(xué)家及學(xué)者的新數(shù)據(jù)及文獻(xiàn)資料;對設(shè)備資料，記錄所有相關(guān)設(shè)備基礎(chǔ)數(shù)據(jù);對巡天項(xiàng)目記錄管理，記錄所有脈沖星開展巡天項(xiàng)目。系統(tǒng)平臺將有利于數(shù)據(jù)留在本地，服務(wù)本土學(xué)者研究，加速FAST科研產(chǎn)出，提升本省天文科學(xué)、科普形象。論文闡述面向FAST的脈沖星科學(xué)數(shù)據(jù)管理平臺系統(tǒng)架構(gòu)設(shè)計(jì)、功能設(shè)計(jì)和數(shù)據(jù)設(shè)計(jì)，討論了相關(guān)的關(guān)鍵技術(shù)，展示了部分重要功能的實(shí)現(xiàn)。平臺基本實(shí)現(xiàn)FAST天文望遠(yuǎn)鏡數(shù)據(jù)資源及相關(guān)基礎(chǔ)數(shù)據(jù)資源的科學(xué)存儲(chǔ)管理，實(shí)現(xiàn)候選體數(shù)據(jù)與已知脈沖星比對分析和數(shù)據(jù)可視化，收錄了來自FAST的優(yōu)質(zhì)候選體記錄141條，已知脈沖星數(shù)據(jù)記錄2700條，望遠(yuǎn)鏡設(shè)備數(shù)據(jù)20條，將為FAST開展新脈沖星搜尋項(xiàng)目制定巡天計(jì)劃、認(rèn)證提供數(shù)據(jù)支撐。

1系統(tǒng)設(shè)計(jì)

1.1架構(gòu)設(shè)計(jì)

如圖1，基礎(chǔ)資源層匯聚各類基礎(chǔ)數(shù)據(jù)資源，包括FAST早期漂移掃描數(shù)據(jù)、已知脈沖星數(shù)據(jù)、脈沖星候選體數(shù)據(jù)、巡天項(xiàng)目記錄、天文望遠(yuǎn)鏡設(shè)備資料和科研文獻(xiàn)資料等其他基礎(chǔ)資料;數(shù)據(jù)匯總到數(shù)據(jù)中心，中心數(shù)據(jù)庫以MySql數(shù)據(jù)庫系統(tǒng)為基礎(chǔ)，構(gòu)建標(biāo)準(zhǔn)元數(shù)據(jù)，清洗、過濾、再加工，建立各類主題，數(shù)據(jù)庫分OLTP和OLDP;后端服務(wù)器技術(shù)采用JAVA語言編程，Mybatis對數(shù)據(jù)庫訪問，軟件服務(wù)框架采用Spring MVC，軟件服務(wù)發(fā)布依賴Tomcat容器與Nginx代理系統(tǒng);前端技術(shù)分為Web、App、H5和小程序，Web展示采用bootstrap，數(shù)據(jù)可視化展示使用Echarts，App依托Android平臺;平臺可部署多種應(yīng)用如天文臺至早期數(shù)據(jù)中心數(shù)據(jù)傳輸管道、共享數(shù)據(jù)抓取、科學(xué)家候選體數(shù)據(jù)提交、日常使用業(yè)務(wù)工作流，主動(dòng)收錄科研資源，天文科普、脈沖星候選體識別打標(biāo)簽和脈沖星比對分析數(shù)據(jù)可視化等。為保證平臺數(shù)據(jù)安全性，系統(tǒng)啟用統(tǒng)一身份認(rèn)證[4]和基于角色控制[3]機(jī)制，為保障系統(tǒng)高性能高可靠運(yùn)行，系統(tǒng)部署在云平臺，系統(tǒng)服務(wù)器與數(shù)據(jù)庫物理分離，服務(wù)器集群部署，可實(shí)現(xiàn)負(fù)載均衡和熱備。

1.2功能設(shè)計(jì)

FAST科學(xué)數(shù)據(jù)管理平臺功能如圖2，主要分成3大塊和14個(gè)小塊。數(shù)據(jù)管理：脈沖星數(shù)據(jù)管理、候選體數(shù)據(jù)管理，F(xiàn)ITS原始數(shù)據(jù)文件管理、巡天項(xiàng)目信息管理、文獻(xiàn)資料管理、觀測設(shè)施信息管理、FAST管道運(yùn)行狀態(tài)記錄、巡天故事，Timing數(shù)據(jù)管理和巡天日志管理。數(shù)據(jù)分析：數(shù)據(jù)統(tǒng)計(jì)可視化，候選體與脈沖星比對;系統(tǒng)管理：用戶管理、系統(tǒng)權(quán)限管理、數(shù)據(jù)庫備份恢復(fù)。

1.3數(shù)據(jù)庫設(shè)計(jì)

FAST科學(xué)數(shù)據(jù)管理平臺的數(shù)據(jù)庫負(fù)責(zé)對來自FAST脈沖星漂移巡天候選體數(shù)據(jù)，ATNF已知脈沖星數(shù)據(jù)，Arecib望遠(yuǎn)鏡脈沖星數(shù)據(jù)，LOFAR脈沖星數(shù)據(jù)，PALFA脈沖星數(shù)據(jù)、GBNCC脈沖星數(shù)據(jù)等，文檔文獻(xiàn)數(shù)據(jù)，天文設(shè)施運(yùn)行記錄數(shù)據(jù)等的存儲(chǔ)功能。通過對需求分析，根據(jù)需要持續(xù)化存儲(chǔ)的數(shù)據(jù)提取實(shí)體結(jié)構(gòu)，部分實(shí)體設(shè)計(jì)E-R如圖3。平臺數(shù)據(jù)庫的實(shí)體包括項(xiàng)目實(shí)體（Project），脈沖星實(shí)體（Pulsar），候選體實(shí)體（Candidate），發(fā)現(xiàn)故事（Discovery Story），Timing實(shí)體，F(xiàn)ollowup 實(shí)體，運(yùn)行管道狀態(tài)實(shí)體（Pipline Status），文獻(xiàn)論文實(shí)體，用戶實(shí)體等。

2關(guān)鍵技術(shù)與算法

2.1 B/S架構(gòu)

B/S架構(gòu)是基于瀏覽器和服務(wù)器結(jié)構(gòu)的Web信息系統(tǒng)架構(gòu)，系統(tǒng)業(yè)務(wù)在服務(wù)器上發(fā)布，用戶直接通過瀏覽器就能夠訪問服務(wù)器中提供的資源，無須下載安裝軟件，用戶信息保存，直接提交到服務(wù)器，有服務(wù)器進(jìn)行計(jì)算存儲(chǔ)。同時(shí)，B/S系統(tǒng)可以采用AJAX技術(shù)，異步無刷新式局部響應(yīng)業(yè)務(wù)，給用戶帶來較好的體驗(yàn)感。

對于技術(shù)選型，采用B/S架構(gòu)技術(shù)有如下優(yōu)勢：

軟件系統(tǒng)使用簡單。B/S架構(gòu)系統(tǒng)業(yè)務(wù)主要存在服務(wù)器端，無須用戶安裝軟件，隨時(shí)隨地，只要擁有任意款式瀏覽器即能夠參與業(yè)務(wù)交互。用戶無須因?yàn)榘凑湛蛻舳艘驗(yàn)檐浖姹九c系統(tǒng)不兼容而困擾，用戶也無須安裝插件工具等，使用簡單，參與容易。

有利于系統(tǒng)擴(kuò)展，維護(hù)升級。任何信息系統(tǒng)不可能一蹴而就，工作業(yè)務(wù)在發(fā)生變化，信息系統(tǒng)也必須隨之響應(yīng)。當(dāng)系統(tǒng)業(yè)務(wù)需求發(fā)生變化，只需要更新服務(wù)器端即可，用戶端隨著變更。

2.2 微服務(wù)

微服務(wù)是當(dāng)前業(yè)界廣泛應(yīng)用的全新軟件架構(gòu)模式，通過將一個(gè)龐大而復(fù)雜的功能分解成一組小的服務(wù)，不同的服務(wù)直接可以相互協(xié)調(diào)、互相配合，共同完成一個(gè)復(fù)雜功能[5]。Spring Could是我們選取的微服務(wù)框架，具有高質(zhì)量、高穩(wěn)定性、可持續(xù)性等優(yōu)點(diǎn)[6]。多服務(wù)分布部署，將龐大的功能應(yīng)用分解成多個(gè)服務(wù)，各個(gè)服務(wù)之間低耦合且能協(xié)調(diào)交互;服務(wù)集中發(fā)布，需要建立一個(gè)或多個(gè)服務(wù)器注冊中心Eureka，將所有服務(wù)在此注冊中心注冊，所有客戶端的請求通過ZUUL網(wǎng)關(guān)判斷URL對應(yīng)的處理服務(wù)，Ribbon負(fù)責(zé)協(xié)調(diào)網(wǎng)絡(luò)請求轉(zhuǎn)發(fā)負(fù)載均衡，多個(gè)服務(wù)之間也可以使用feign協(xié)調(diào)調(diào)用。高可靠性能保障，系統(tǒng)對每個(gè)服務(wù)接口添加Hystrix標(biāo)簽，能夠?qū)γ總€(gè)服務(wù)接口的運(yùn)營監(jiān)控，Turbine將監(jiān)控信息匯總查看，方便管理精確定位故障，當(dāng)某一服務(wù)出現(xiàn)故障時(shí)，熔斷器可以有效避免系統(tǒng)整體雪崩效應(yīng)。

2.3 比對分析算法

系統(tǒng)基于基礎(chǔ)參數(shù)和采集到的基礎(chǔ)數(shù)據(jù)，提供多種不同比對匹配算法，對新的候選體進(jìn)行在線比對、檢索分析，同時(shí)，基于已知脈沖星數(shù)據(jù)，聯(lián)合多種條件提供認(rèn)證匹配檢索。比對算法有歐式距離法和三角相似度法。

3 平臺實(shí)現(xiàn)

FAST脈沖星科學(xué)數(shù)據(jù)管理平臺包括前端和后端兩部分組成，后端系統(tǒng)主要是數(shù)據(jù)的維護(hù)管理和系統(tǒng)運(yùn)行管理，前端系統(tǒng)主要功能導(dǎo)航主界面包含：脈沖星、候選體、望遠(yuǎn)鏡設(shè)備、巡天項(xiàng)目和脈沖星社區(qū)等。針對脈沖星、候選體及望遠(yuǎn)鏡數(shù)據(jù)，集成多種比對分析方法和多維數(shù)據(jù)可視化結(jié)果展示，方便科研工作者直觀、量化分析相關(guān)科學(xué)目標(biāo)。

3.1系統(tǒng)主要模塊實(shí)現(xiàn)

3.1.1數(shù)據(jù)儀表盤

系統(tǒng)數(shù)據(jù)管理員進(jìn)入系統(tǒng)，呈現(xiàn)的是儀表盤式界面，系統(tǒng)在儀表盤塊，以圖表的形式展示各類數(shù)據(jù)統(tǒng)計(jì)。

3.1.2 Candidate數(shù)據(jù)管理

脈沖星巡天數(shù)據(jù)，經(jīng)過PRESTO軟件加速搜索，產(chǎn)生大量脈沖星候選體數(shù)據(jù)，交給天文科學(xué)家群組討論論證正負(fù)性。其中包括重點(diǎn)關(guān)注的優(yōu)質(zhì)候選體、一般重要級別候選體。

可以關(guān)聯(lián)到候選體發(fā)現(xiàn)的故事。系統(tǒng)為該功能提供了添加，修改，查詢，刪除都能夠相關(guān)操作，如圖5。

3.1.3 數(shù)據(jù)比對分析

如圖6，提供脈沖星/候選體相關(guān)預(yù)定義參數(shù)60多個(gè)。如：色散量（DM）、周期（P0）及位置參數(shù)赤經(jīng)（Declination）、赤緯（right ascension）等，用戶可根據(jù)科學(xué)目標(biāo)在比對頁面參數(shù)列表中勾選相關(guān)參數(shù)，選擇比對方法。通過搜索/匹配功能可以快速去定位歷史數(shù)據(jù)，如通過ra、dec去找上次同一個(gè)位置區(qū)間的觀測結(jié)果，去比對是不是已知脈沖星，通過統(tǒng)計(jì)脈沖星的分布/參數(shù)分布研究統(tǒng)計(jì)特征等，并對比兩種數(shù)據(jù)結(jié)果展示方式：表格化和圖形化數(shù)據(jù)展示。

3.1.4統(tǒng)計(jì)可視化

針對脈沖星、候選體及望遠(yuǎn)鏡數(shù)據(jù)，集成多種比對分析方法和多維數(shù)據(jù)可視化結(jié)果展示，方便科研工作者直觀、量化分析相關(guān)科學(xué)目標(biāo)。

3.2系統(tǒng)部署

本項(xiàng)目作為天文計(jì)算機(jī)科研項(xiàng)目，遵循開源準(zhǔn)則GPL，在技術(shù)選型和部署環(huán)境上盡可能使用開源技術(shù)與軟件。如圖8，系統(tǒng)部署在Linux操作系統(tǒng)，版本為Ubuntu18，數(shù)據(jù)庫軟件MySql，服務(wù)器采用Tomcat+Nginx部署， FTP文件服務(wù)器、數(shù)據(jù)庫服務(wù)器與Web服務(wù)器分離，雙Web服務(wù)器集群熱備，保障系統(tǒng)安裝穩(wěn)定運(yùn)行。

4 總結(jié)與展望

目前已經(jīng)建成面向FAST科學(xué)數(shù)據(jù)管理平臺（可通過網(wǎng)絡(luò)訪問地址http：//psrcat.net/在線訪問），基本實(shí)現(xiàn)FAST天文望遠(yuǎn)鏡數(shù)據(jù)資源及相關(guān)基礎(chǔ)數(shù)據(jù)資源的科學(xué)存儲(chǔ)管理，建成候選體數(shù)據(jù)與已知脈沖星比對分析和可視化的專用數(shù)據(jù)庫系統(tǒng)。系統(tǒng)基本實(shí)現(xiàn)了對Pulsar數(shù)據(jù)、Candidate數(shù)據(jù)、漂移數(shù)據(jù)Fits文件、Followup Observation數(shù)據(jù)、搜索管道運(yùn)行狀況記錄數(shù)據(jù)、Timing數(shù)據(jù)、發(fā)現(xiàn)故事（Discovery Story）、觀測日志數(shù)據(jù)等管理功能，實(shí)現(xiàn)了對脈沖星數(shù)據(jù)的自定義查詢和統(tǒng)計(jì)可視化，候選體與脈沖星比對功能。

下一步將持續(xù)通過獲取公開文獻(xiàn)、網(wǎng)絡(luò)數(shù)據(jù)庫等更新和豐富“FAST科學(xué)數(shù)據(jù)管理平臺”中數(shù)據(jù)記錄，收錄來自FAST脈沖星巡天及其他更多巡天項(xiàng)目的候選體數(shù)據(jù)，提供更為豐富的統(tǒng)計(jì)分析模型和工具，探索多種比對分析算法，開放數(shù)據(jù)接口，為AI脈沖星識別程序?qū)W習(xí)訓(xùn)練和識別提供數(shù)據(jù)支撐。期望FAST科學(xué)數(shù)據(jù)管理平臺能夠長期服務(wù)于射電脈沖星科學(xué)領(lǐng)域研究者，成為射電天文領(lǐng)域有一定影響的專用工具。

參考文獻(xiàn)：

[1] 許余云，李菂，劉志杰，等.人工智能在脈沖星候選體篩選中的應(yīng)用[J].天文學(xué)進(jìn)展，2017，35（3）：304-315.

[2] Wang Hongfeng，ZhuWeiwei，GuoPing，et al. Pulsar Candidate Selection with Ensemble Nets for FAST Drift-scan Suvery[J].SCIENCE CHINA，2016（5）：9.

[3] 姜家濤，郭靜.基于RBAC的權(quán)限管理在實(shí)驗(yàn)室信息管理中的研究[J].計(jì)算機(jī)技術(shù)與發(fā)展，2017（27）：79-82.

[4] 姜家濤，謝曉堯，張輝.FAST科學(xué)管理平臺統(tǒng)一身份認(rèn)證的研究與實(shí)現(xiàn)[J].電腦知識與技術(shù)，2020，10（29）：13-16.

[5] 郄小明，張建君.基于微服務(wù)架構(gòu)的終端服務(wù)平臺設(shè)計(jì)[J].數(shù)字技術(shù)與應(yīng)用，2020（6）：124-126.

[6] 陳娜，嚴(yán)張凌.基于Spring微服務(wù)架構(gòu)的學(xué)生實(shí)踐平臺[J].信息與電腦，2020（13）：127-129.

[7] 馮志勇，徐硯偉，薛霄.微服務(wù)技術(shù)發(fā)展的現(xiàn)狀與展望[J].計(jì)算機(jī)研究與發(fā)展，2020，57（5）：1103-1122.

[8] 李娜.基于Spring Cloud微服務(wù)架構(gòu)的應(yīng)用[J].電子技術(shù)與軟件工程，2019（12）：142.

[9] Hewish A， Bell S J， Pilkington J D H， et al. Observations of a rapidly pulsating radio source[J].Nature，1968，217：709.

[10] Li D， Wang P， Qian L， et al. Considerations for a Multi-beam Multi-purpose Survey with FAST[J]. IEEE Microwave， 2018，19（3）：112-119.

[11] Weiwei Zhu， Di Li， Rui Luo， et al. A Fast Radio Burst discovered in FAST drift scan survey[J]. ApJL， arXiv：2004，14029.

[12] 劉鵬，王培，李菂，等. FAST 19波束脈沖星漂移掃描巡天模擬[J].天文學(xué)進(jìn)展， 2018， 36（2）： 173-188.

[13] Manchester R N ， Hobbs G B ， Teoh A ， et al. The Australia Telescope National Facility Pulsar Catalogue[J]. Astronomical Journal， 2005， 129（4）：1993-2006.

[14] A.Taylor， J.H.R.A. Hulse， J. H. Taylor. Discovery of a pulsar in a binary system[J]. ApJ， 1975，195：L51-L53.

[15] J. M.; Nice， D. J.; Taylor， J. H. Timing Measurements of the Relativistic Binary Pulsar PSR B1913+16[J]. Astrophysical Journal，2010， 722： 1030-1034.

[16] Levin L， Armour W， Baffa C， et al. Pulsar Searches with the SKA[J]. Proceedings of the International Astronomical Union， 2017， 13（S337）.

[17] Manchester RN， Lyne AG， Camilo F， et al. The Parkes multi-beam pulsar survey– I. Observing and data analysis systems， discovery and timing of 100 pulsars[J]. 2001， 328（1）：17-35.

【通聯(lián)編輯：代影】