2.4m望遠(yuǎn)鏡數(shù)據(jù)管理子系統(tǒng)

楊永海,陳 東 ,王傳軍

(1.中國科學(xué)院國家天文臺云南天文臺, 云南 昆明 650011; 2.中國科學(xué)院研究生院，北京 100049)

1 系統(tǒng)開發(fā)背景

在我國，常見的天文觀測方式是完成觀測后，觀測者將觀測記錄刻成光盤帶走，而望遠(yuǎn)鏡管理員也以光盤形式進(jìn)行觀測數(shù)據(jù)備份。這樣經(jīng)過長期觀測積累，望遠(yuǎn)鏡管理處的觀測資料必然占用大量空間，且數(shù)據(jù)難以管理，容易出現(xiàn)損壞等；此外，由于觀測所得原始數(shù)據(jù)的使用關(guān)系到未來科學(xué)產(chǎn)出，天文學(xué)家需要查詢既往觀測數(shù)據(jù)。在大量堆砌的光盤中查找既往數(shù)據(jù)勢必非常困難，必然影響工作效率。因此，數(shù)據(jù)管理已經(jīng)是望遠(yuǎn)鏡建設(shè)的重要部分。為了方便望遠(yuǎn)鏡觀測數(shù)據(jù)的管理和應(yīng)用，有必要建立一個數(shù)據(jù)管理系統(tǒng)，提高天文學(xué)家的工作效率。

數(shù)據(jù)管理系統(tǒng)不僅是望遠(yuǎn)鏡管理的一部分，也是未來虛擬天文臺建設(shè)的基礎(chǔ)[1]。數(shù)據(jù)管理系統(tǒng)作為2.4m遠(yuǎn)程觀測系統(tǒng)的一部分，管理該望遠(yuǎn)鏡產(chǎn)生的觀測數(shù)據(jù)。該望遠(yuǎn)鏡所用CCD每天會產(chǎn)生約3G Byte的數(shù)據(jù)[2]。由于觀測數(shù)據(jù)量巨大，為性能計，只在MySQL中存儲FITS格式觀測文檔的頭信息，以此建立數(shù)據(jù)庫，并和位于文件系統(tǒng)的源文件作鏈接。在現(xiàn)有的Web功能支持下，可以很方便地實現(xiàn)遠(yuǎn)程訪問。用戶可以通過瀏覽器查詢數(shù)據(jù)，并能通過鏈接找到源文件進(jìn)行觀測數(shù)據(jù)下載。而由于數(shù)據(jù)量極大，后臺需要一個以磁盤陣列為基礎(chǔ)的NAS 系統(tǒng)來存儲海量的觀測數(shù)據(jù)[3]?，F(xiàn)階段，選用功能滿足需要、價格低廉的產(chǎn)品QNAP TS-639 Pro和企業(yè)級SATA硬盤。

該數(shù)據(jù)管理系統(tǒng)支持用戶在友好的瀏覽器端進(jìn)行高效、精確的查詢和統(tǒng)計等操作，還可支持天文學(xué)家觀測過程中的在線瀏覽等。

2 系統(tǒng)方案

對于該數(shù)據(jù)庫管理系統(tǒng)，具體有以下要求：(1)數(shù)據(jù)集中管理；(2)用戶權(quán)限控制；(3)瀏覽、查詢、下載數(shù)據(jù)；(4)高可靠性，數(shù)據(jù)異地備份。

鑒于此系統(tǒng)的性能要求，方案如下：通過TCP/IP網(wǎng)絡(luò)，鏈接數(shù)據(jù)庫服務(wù)器，Web服務(wù)器，應(yīng)用服務(wù)器，建立一個B/S系統(tǒng)。觀測數(shù)據(jù)由數(shù)據(jù)庫服務(wù)器集中管理。此系統(tǒng)可通過瀏覽器端界面，供不同地域客戶遠(yuǎn)程訪問。天文學(xué)家可進(jìn)行觀測過程中的實時瀏覽，并在實時瀏覽過程中擁有刪除不合格觀測文件的權(quán)限。用戶在瀏覽器上登錄該數(shù)據(jù)管理系統(tǒng)，并在系統(tǒng)環(huán)境中執(zhí)行查詢、下載數(shù)據(jù)等。該系統(tǒng)還需支持維護人員的管理操作，具體功能有查詢、添加、修改、瀏覽、統(tǒng)計等。系統(tǒng)采用J2EE技術(shù)開發(fā)。

系統(tǒng)開發(fā)選用Linux作為操作系統(tǒng)，MySQL為后臺數(shù)據(jù)庫，用JDBC連接數(shù)據(jù)庫，由JavaBean作為邏輯控制部分。 Web服務(wù)器選用Apache，而由應(yīng)用服務(wù)器Resin作為JavaBean和JSP程序的容器[4-5]。

圖1 系統(tǒng)開發(fā)平臺架構(gòu)Fig.1 Development environment of the system

2.1 開發(fā)流程

該數(shù)據(jù)管理系統(tǒng)整體邏輯架構(gòu)如圖2。

圖2 系統(tǒng)整體邏輯架構(gòu)Fig.2 Overall logical structure of the system

流程介紹：

(1) CCD產(chǎn)生數(shù)據(jù)(FITS文件)后，用JAVA程序定時掃描FITS文件，解析FITS頭信息，分類導(dǎo)入MySQL數(shù)據(jù)庫中；(2)FITS文件頭信息處理后，JAVA程序以gzip格式將文件壓縮歸檔到文件系統(tǒng)；(3)實時瀏覽，若所得觀測圖像不符合要求，可將數(shù)據(jù)庫記錄及位于文件系統(tǒng)的源文件刪除；(4)用JSP開發(fā)前端界面，實現(xiàn)文件系統(tǒng)內(nèi)FITS文檔與MySQL內(nèi)table中row信息互聯(lián)；(5) 在JSP中實現(xiàn)數(shù)據(jù)查詢、下載、統(tǒng)計等用戶需求；(6)MySQL的部分日常維護由Linux下Shell編程實現(xiàn)。

2.2 系統(tǒng)實現(xiàn)

2.2.1 后臺

通過解析FITS頭信息，建立了一系列table，其中包含了FITS文件中當(dāng)次觀測的各種信息[6]。依據(jù)2.4m望遠(yuǎn)鏡產(chǎn)生的FITS文件所包含的頭信息而建設(shè)的后臺數(shù)據(jù)庫(database)為ljodb。由于自FITS文件提取的參數(shù)非常多(該數(shù)據(jù)庫存儲參數(shù)共233個，較國內(nèi)傳統(tǒng)FITS文件頭內(nèi)容豐富了許多，在源文件中存儲了更多信息)，且參數(shù)的類別不同，所以在這個database中包括5個tables，F(xiàn)ITS頭文件的信息分類歸入這5個tables中。這5個tables分別存儲了關(guān)于標(biāo)準(zhǔn)FITS信息(standfit)，擴展后的信息包括終端參數(shù)信息(detector)、濾光片等信息(instrument)和望遠(yuǎn)鏡信息(telescope)，另外擴展的一些細(xì)節(jié)信息集中于bitsum。在該數(shù)據(jù)庫后臺建設(shè)過程中，要注意完整約束性等，并注意每個表中元組屬性的類型設(shè)置。比如采取char提高檢索速度還是varchar節(jié)省數(shù)據(jù)庫資源等。該database結(jié)構(gòu)如圖3。這個database下所包含的底層表結(jié)構(gòu)如圖4。

圖3 后臺架構(gòu)Fig.3 Structure of backstage batabase

圖4 后臺table結(jié)構(gòu)Fig.4 Table structure of backstage database

上圖顯示的是數(shù)據(jù)庫中數(shù)據(jù)的存儲結(jié)構(gòu)。數(shù)據(jù)導(dǎo)入由JAVA程序?qū)崿F(xiàn)。FITS文件生成后，JAVA程序自動查找并解析該文件，后將FITS頭文件的數(shù)據(jù)導(dǎo)入到已有數(shù)據(jù)庫相應(yīng)的元組中。這樣就可以通過前端查詢頁面檢索該數(shù)據(jù)庫的內(nèi)容了。

另外，該數(shù)據(jù)管理系統(tǒng)的部分日常維護由Linux下腳本實現(xiàn)。為了實現(xiàn)災(zāi)難恢復(fù)，在該系統(tǒng)實現(xiàn)了完全備份、增量備份，這兩種備份可由crontab在后臺定時自動執(zhí)行。

2.2.2 前端頁面：供天文學(xué)家查詢、下載等

前臺工作流程如圖5。該數(shù)據(jù)管理系統(tǒng)的首頁如圖6。

圖5 前臺工作總流程Fig.5 Flowcharts of foreground processing

圖6 系統(tǒng)首頁Fig.6 Homepage of the system

首頁有3個鏈接。通過鏈接，可跳轉(zhuǎn)到3個頁面：(1)查詢頁面(data search)。用戶可在此處實時瀏覽新生成的FITS圖像，若不滿意圖像質(zhì)量，可刪除，數(shù)據(jù)庫記錄和文件系統(tǒng)內(nèi)源文件即清除。另外，提供了不同檢索類別頁面，用戶可瀏覽檢索結(jié)果并可打包下載;(2)下載頁面(data download)。用戶明確所需數(shù)據(jù)的文件，可在該頁面直接輸入日期，下載當(dāng)日文件;(3)后臺管理頁面(administer)。執(zhí)行管理員權(quán)限的管理頁面?？稍谶@部分執(zhí)行后臺修改，權(quán)限設(shè)置等。

根據(jù)FITS信息分類，此系統(tǒng)的下載頁面共提供6種分類查詢(每種都包括源、赤經(jīng)赤緯等基本檢索信息)：(1)Standfit查詢，根據(jù)標(biāo)準(zhǔn)FITS頭文件中信息進(jìn)行查詢;(2)Instrument查詢，根據(jù)instrument信息檢索;(3)Detector查詢，由detector信息檢索;(4)Telescope查詢，以telescope信息查詢;(5)Weather查詢，根據(jù)weather信息查詢;另外，還有根據(jù)一些其他信息查詢的bitsum查詢頁面。

觀測者可在觀測過程中實時瀏覽觀測結(jié)果，對不合格拍攝結(jié)果有權(quán)刪除。圖7是其中的實時瀏覽頁面。

圖7 實時瀏覽Fig.7 Real-time browse

用戶可根據(jù)FITS頭文件中關(guān)于望遠(yuǎn)鏡的字段信息進(jìn)行查詢，提取符合要求的文件的信息。圖8為檢索頁面。共有6個查詢頁面，不再一一列舉。

圖8 數(shù)據(jù)檢索Fig.8 Data search

用戶提交查詢后，后臺按要求提取出信息，用戶可以對符合查找要求的觀測文件的數(shù)據(jù)進(jìn)行瀏覽。如果需要下載文件，點擊download。提交后檢索結(jié)果如圖9。

圖 9 數(shù)據(jù)下載Fig.9 Data downloading

下載前，需要登錄并輸入賬戶、密碼。帳戶和密碼經(jīng)后臺驗證后，合法用戶即可下載需要的觀測記錄了。未注冊用戶需要先進(jìn)行注冊。

在望遠(yuǎn)鏡數(shù)據(jù)開放后，系統(tǒng)將定期發(fā)布數(shù)據(jù)。如果需要直接下載某一個時間的數(shù)據(jù)，可直接從主頁的data download鏈接到另一個直接下載頁面，輸入所要下載數(shù)據(jù)的時間，然后提交就可以了。在這個過程中，也需要用戶登錄才能實現(xiàn)下載。

為了系統(tǒng)的持續(xù)運行和完善，需要對系統(tǒng)進(jìn)行管理和維護。通常管理員可直接通過MySQL客戶端和MySQL應(yīng)用程序進(jìn)行后臺的修改和重新組織。為了方便管理員的操作，該系統(tǒng)開發(fā)了一些管理員后臺應(yīng)用程序，可實現(xiàn)一些簡單的維護功能。對于復(fù)雜的維護操作，還需DBA等進(jìn)入后臺實現(xiàn)。管理員可從首頁進(jìn)入。經(jīng)登錄后，出現(xiàn)圖10所示的管理員頁面。如果要修改后臺表結(jié)構(gòu)，可由該頁面鏈接到amend頁面，實施修改。

圖10 管理員維護頁面Fig.10 Administrator’s maintenance interface

圖11 后臺修改頁面Fig.11 Backstage correction interface

管理員可通過該頁面跳轉(zhuǎn)到相應(yīng)功能頁面進(jìn)行用戶授權(quán)、刪除，檢查tables結(jié)構(gòu)并進(jìn)行修改等。另外管理員頁面提供了統(tǒng)計功能，可對一些必要信息進(jìn)行統(tǒng)計。

3 結(jié) 論

該數(shù)據(jù)管理系統(tǒng)可對CCD產(chǎn)生的FITS文件進(jìn)行自動歸檔，解析FITS文件頭入庫，并提供文件的分類查詢、打包下載等功能。另外，提供了一些后臺管理功能，幫助維護人員管理和維護系統(tǒng)，并方便改進(jìn)和完善系統(tǒng)。該系統(tǒng)提供了比以往更科學(xué)的天文數(shù)據(jù)存儲和檢索方式，方便了天文研究。

[1] 趙永恒，崔辰州.中國虛擬天文臺——任務(wù)、特點、方案. 2002.

[2] http://www.mg.rg.n/cn/2m4_index_cn.tm.

[3] W Curtis Preson等， 鄧勁生等譯. 使用SAN與NAS [M].北京：中國電力出版社.

[4] George Reese著，石永鑫，宋隆譯.JDBC與Java數(shù)據(jù)庫編程[M].北京：中國電力出版社.

[5] Hans Bergstan著, 汪青青,朱劍平, 等譯.JSP設(shè)計[M].北京：清華大學(xué)出版社.

[6] http://fits.sfc.asa.ov/