麗江2.4米望遠(yuǎn)鏡觀測日志輔助系統(tǒng)的設(shè)計與研發(fā)?

王傳軍， 王德清， 肖 健， 尹樹成， 王 鋒，范玉峰， 和壽圣， 丁 旭

(1.中國科學(xué)院云南天文臺，云南昆明 650216；2.中國科學(xué)院天體結(jié)構(gòu)與演化重點實驗室，云南昆明 650216；3.中國科學(xué)院大學(xué)，北京 100049；4.天津大學(xué)智能與計算學(xué)部，天津 300350；5.廣州大學(xué)天體物理中心/物理與電子工程學(xué)院，廣東廣州 510006)

天文學(xué)從肉眼觀星到通過望遠(yuǎn)鏡觀星，從全波段天文學(xué)到多信使天文學(xué)，人類認(rèn)識宇宙的手段逐漸豐富。2017年10月16日，全球多國科學(xué)家同步舉行新聞發(fā)布會，宣布人類第1次直接探測到來自雙中子星合并的引力波，并同時“看到”這一壯觀宇宙事件發(fā)出的電磁信號①http：//news.ifeng.com/a/20171016/52663786_0.shtml。引力波提供了一種與以往觀測方式完全不同的手段，天文學(xué)研究已進(jìn)入大數(shù)據(jù)、多信使時代[1]。

在觀測手段豐富的同時，大型望遠(yuǎn)鏡的觀測數(shù)據(jù)量也越來越大[2]，這些海量天文數(shù)據(jù)對存儲、計算、網(wǎng)絡(luò)、軟件、算法乃至工作模式等提出了新的需求[3]。天文學(xué)家需要將龐大的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化的存儲及傳輸，F(xiàn)ITS(Flexible Image Transport System)文件格式已成為天文數(shù)據(jù)的通用標(biāo)準(zhǔn)[3-4]。FITS文件包括文件頭和數(shù)據(jù)矩陣兩部分，可以擴(kuò)展，但文件大小必須是2 880字節(jié)的整數(shù)倍。在對觀測數(shù)據(jù)進(jìn)行入庫管理時，將FITS頭關(guān)鍵詞的值也進(jìn)行入庫歸檔，從而便于后續(xù)的檢索訪問[5]。雖然在觀測數(shù)據(jù)的FITS頭中，已經(jīng)記錄了大部分信息，但是這些FITS頭信息的內(nèi)容卻由于來自不同的終端而千差萬別，而且有些終端觀測數(shù)據(jù)的FITS頭中包含的信息不完整，商品化終端設(shè)備的FITS頭內(nèi)容更是無法進(jìn)行修改和補(bǔ)充。因此，在獲取觀測數(shù)據(jù)的過程中，往往需要觀測日志對觀測過程中的詳細(xì)情況進(jìn)行記錄，以便對觀測數(shù)據(jù)進(jìn)行更好的分類管理。

光學(xué)望遠(yuǎn)鏡的觀測日志是在使用光學(xué)望遠(yuǎn)鏡及其觀測終端進(jìn)行觀測的過程中記錄的相關(guān)信息的文檔，內(nèi)容包括望遠(yuǎn)鏡、選用的觀測終端、觀測目標(biāo)、曝光時間、選用的濾光片或光柵、觀測類型、狹縫、數(shù)據(jù)采集時刻等。對于用戶而言，觀測日志是處理數(shù)據(jù)必須依賴的文檔，觀測日志中提供的信息往往能給觀測數(shù)據(jù)的處理帶來便利。對于各臺望遠(yuǎn)鏡的運(yùn)行和維護(hù)而言，觀測日志為觀測數(shù)據(jù)的存儲、歸檔、預(yù)處理和后期發(fā)布提供依據(jù)，參照觀測日志可以在預(yù)處理時剔除無用數(shù)據(jù)，并根據(jù)觀測條件對數(shù)據(jù)進(jìn)行更好的預(yù)處理，對觀測數(shù)據(jù)的分類管理也提供了便利。此外，對于做數(shù)據(jù)統(tǒng)計的用戶而言，觀測日志更加重要，通過查找多年的觀測日志，可以快速查詢到同一目標(biāo)不同時間觀測過的數(shù)據(jù)，提高觀測數(shù)據(jù)查找和統(tǒng)計的效率。

在麗江2.4 m望遠(yuǎn)鏡的實際觀測過程中，首先由用戶給觀測助手提供觀測目標(biāo)的坐標(biāo)信息及觀測需求，觀測助手將觀測目標(biāo)輸入望遠(yuǎn)鏡控制系統(tǒng)并驅(qū)動望遠(yuǎn)鏡指向目標(biāo)，根據(jù)用戶的需求對觀測終端進(jìn)行對應(yīng)的配置，在望遠(yuǎn)鏡和觀測終端準(zhǔn)備就緒后開始曝光，同時記錄觀測日志。在目前的觀測模式下，觀測日志的記錄依賴于觀測助手或者用戶手工記錄，在觀測過程中時間有限，手工記錄的觀測日志難免存在筆誤，影響觀測效率，此外紙質(zhì)版的日志也不利于保存和傳播。為了保證觀測日志記錄的準(zhǔn)確性，減少觀測日志記錄的時間，提高觀測效率，針對2.4 m望遠(yuǎn)鏡的主力觀測終端云南暗弱天體成像光譜儀(Yunnan Faint Object Spectrograph and Camera，YFOSC)[6]設(shè)計研發(fā)了一套自動記錄觀測日志的輔助系統(tǒng)。

1 系統(tǒng)功能及設(shè)計

觀測日志輔助系統(tǒng)旨在對觀測日志進(jìn)行自動化記錄，幫助觀測人員擺脫瑣碎的手寫記錄觀測日志的工作，將望遠(yuǎn)鏡觀測日志的管理流程化、自動化，簡化觀測助手在觀測中的操作，減少因人工疏忽導(dǎo)致的失誤。通過觀測日志輔助系統(tǒng)，可以實現(xiàn)觀測數(shù)據(jù)的自動錄入、查詢、打包下載及相關(guān)輔助功能，為觀測日志的管理提供了高可靠性、高自適應(yīng)性的服務(wù)。本系統(tǒng)的研發(fā)目標(biāo)是在不修改原始FITS文件的基礎(chǔ)上，集監(jiān)聽和查詢功能于一體，對FITS頭信息進(jìn)行必要的修正，將FITS頭信息與補(bǔ)充信息整合成一條觀測日志存入數(shù)據(jù)庫，供后期數(shù)據(jù)處理使用。

該系統(tǒng)需要實現(xiàn)的主要功能包括：

(1)在曝光結(jié)束、觀測數(shù)據(jù)保存到硬盤后，系統(tǒng)能讀取觀測數(shù)據(jù)文件的FITS頭信息，并將信息寫入數(shù)據(jù)庫，同時在輔助系統(tǒng)的前臺界面顯示；

(2)在觀測輔助系統(tǒng)的前臺界面，用戶可以對采集的信息進(jìn)行檢查，添加信息或修改出錯的信息，并提交更新數(shù)據(jù)庫；

(3)在觀測時可以選擇不同用戶的不同觀測時間申請書的編號，使觀測數(shù)據(jù)與用戶的編號聯(lián)系在一起，便于觀測數(shù)據(jù)的管理；

(4)能根據(jù)用戶名或者觀測時間申請書編號，對觀測數(shù)據(jù)進(jìn)行查詢、打包和下載，同時生成規(guī)定格式的觀測日志文件；

(5)將常用的用戶固定在前臺界面上顯示，方便觀測期間的操作；

(6)在前臺界面顯示系統(tǒng)運(yùn)行狀態(tài)及用戶操作相關(guān)的運(yùn)行情況，以確保輔助系統(tǒng)的正常運(yùn)行；

(7)用戶可以對觀測日志記錄進(jìn)行批量提交，如果沒有修改，默認(rèn)使用從FITS頭中讀取的信息，并保存到數(shù)據(jù)庫。

在系統(tǒng)研發(fā)的過程中，采用分層式的系統(tǒng)架構(gòu)方案，將系統(tǒng)的整體架構(gòu)分為4層，即：視圖層、控制層、服務(wù)層和數(shù)據(jù)層(如圖1)。其中：

圖1 系統(tǒng)架構(gòu)圖Fig.1 The system architecture

(1)視圖層：主要負(fù)責(zé)顯示監(jiān)聽到的觀測數(shù)據(jù)FITS頭對應(yīng)的日志信息，接受用戶的監(jiān)聽控制和對觀測日志內(nèi)容的修改操作，以及顯示當(dāng)前軟件運(yùn)行的狀態(tài)信息和用戶的操作記錄。

(2)控制層：介于前臺界面和后臺數(shù)據(jù)庫之間，主要負(fù)責(zé)接收視圖層產(chǎn)生的用戶請求并路由到服務(wù)層，調(diào)用服務(wù)層的處理程序，將服務(wù)層處理的結(jié)果返回視圖層。

(3)服務(wù)層：主要完成系統(tǒng)軟件與數(shù)據(jù)層之間的交互，并為控制層提供調(diào)用所有相關(guān)服務(wù)所需要的接口，各個服務(wù)之間根據(jù)需要相互調(diào)用。該層主要包含6類服務(wù)，即文件監(jiān)聽、數(shù)據(jù)導(dǎo)出、FITS服務(wù)、日志服務(wù)、日志文件服務(wù)、配置服務(wù)。

(4)數(shù)據(jù)層：對應(yīng)于系統(tǒng)涉及的所有相關(guān)數(shù)據(jù)文件，包括望遠(yuǎn)鏡的觀測數(shù)據(jù)(原始FITS文件)、系統(tǒng)運(yùn)行的配置文件和保存在數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)。主要負(fù)責(zé)響應(yīng)服務(wù)層的請求，對請求進(jìn)行處理并返回結(jié)果。

結(jié)合系統(tǒng)架構(gòu)圖可知，系統(tǒng)要實現(xiàn)的所有功能需要不同層次之間的程序配合才能完成，為了提高安全性，各層之間彼此相互獨(dú)立，且不能跨層次調(diào)用。

2 系統(tǒng)實現(xiàn)

在系統(tǒng)實現(xiàn)的過程中，采用模塊化思想實現(xiàn)系統(tǒng)的所有功能，根據(jù)主要功能將系統(tǒng)劃分成界面顯示模塊、數(shù)據(jù)監(jiān)控模塊、數(shù)據(jù)查詢模塊、數(shù)據(jù)導(dǎo)出模塊、系統(tǒng)日志模塊和系統(tǒng)配置模塊等6個功能模塊。

2.1 系統(tǒng)研發(fā)和運(yùn)行環(huán)境

觀測日志輔助系統(tǒng)在Ubuntu13.10操作系統(tǒng)平臺上進(jìn)行研發(fā)和運(yùn)行，采用JDK 1.7(Java Development Kit 1.7)編譯環(huán)境，面向?qū)ο蟮腏ava語言[7]，后臺使用PostgreSQL數(shù)據(jù)庫系統(tǒng)[8]。在系統(tǒng)中調(diào)用了幾個開源的Java開發(fā)包：

? Commons-compress-1.8.jar②http：//commons.apache.org/proper/commons-compress/index.html：apache出品，主要實現(xiàn)對用戶查詢得到的原始觀測數(shù)據(jù)進(jìn)行打包的功能；

? Dom4j-2.0.00-ALPHA-2.jar③http：//dom4j.github.io/：是dom4j.org出品的一個開源的XML解析包，性能優(yōu)越，功能強(qiáng)大。

? jxl.jar④https：//sourceforge.net/projects/jxl/：來自Java Excel開源項目，用于實現(xiàn)讀取Excel文件的內(nèi)容、創(chuàng)建新的Excel文件和更新已經(jīng)存在的Excel文件。

? postgresql-9.3-1101.jdbc4.jar⑤https：//jdbc.postgresql.org/download.html：為Java語言提供與postgreSQL數(shù)據(jù)進(jìn)行連接的數(shù)據(jù)庫中間件。

2.2 界面顯示模塊

界面顯示模塊使用Java的圖形界面庫Swing[9]開發(fā)，最終正常運(yùn)行的效果如圖2。用戶界面包含不同的功能區(qū)，主要包括：

(1)觀測日志顯示區(qū)：當(dāng)曝光結(jié)束有新數(shù)據(jù)文件產(chǎn)生后，系統(tǒng)讀取FITS文件的頭信息，并在該區(qū)域顯示，用戶可以對該區(qū)域的數(shù)據(jù)進(jìn)行修改。

(2)數(shù)據(jù)監(jiān)控操作區(qū)：提供了選擇觀測用戶的Proposal ID，開始監(jiān)聽、停止監(jiān)聽、修改觀測日志記錄之后提交、添加長期觀測項目的用戶及其Proposal ID等功能。

(3)數(shù)據(jù)查詢、數(shù)據(jù)導(dǎo)出操作區(qū)：用于觀測數(shù)據(jù)查詢和導(dǎo)出操作，輸入起止時間和觀測者后點擊“查詢”；查詢結(jié)束后，用戶可以勾選需要導(dǎo)出的文件(Excel是觀測日志，TAR是觀測數(shù)據(jù))，然后點擊“導(dǎo)出”按鈕進(jìn)行打包和壓縮，并導(dǎo)出到配置文件的存儲路徑下。

(4)軟件狀態(tài)顯示區(qū)：用于顯示系統(tǒng)軟件運(yùn)行的狀態(tài)，用戶的每一條操作及對應(yīng)的反饋信息都在這個區(qū)域顯示，從而方便用戶實時監(jiān)控軟件狀態(tài)，一旦出錯立即進(jìn)行相應(yīng)的處理。

2.3 數(shù)據(jù)監(jiān)控模塊

觀測數(shù)據(jù)的監(jiān)聽從用戶在界面上選擇觀測項目并點擊“開始”后啟動，程序后端會啟動一個線程對觀測數(shù)據(jù)的保存目錄進(jìn)行掃描，將掃描結(jié)果保存在哈希表中，然后每秒重新掃描該目錄，比對當(dāng)前文件是否已經(jīng)存在哈希表中。如果沒有，則表示有新觀測數(shù)據(jù)產(chǎn)生，則對該數(shù)據(jù)進(jìn)行相應(yīng)的處理，將處理結(jié)果保存到數(shù)據(jù)庫中，并以一條觀測日志的模式顯示在用戶界面上。當(dāng)該用戶的觀測結(jié)束之后，通過“停止”按鈕可以停止此次監(jiān)聽，選擇新的觀測項目后再次啟動監(jiān)聽，直到所有觀測結(jié)束。數(shù)據(jù)監(jiān)控模塊的處理流程如圖3。

觀測日志數(shù)據(jù)表的格式如表1，除常規(guī)的觀測時間以及曝光時間信息外，還包含與用戶相關(guān)的字段、與望遠(yuǎn)鏡相關(guān)的指向坐標(biāo)(RA、DEC)、焦點等字段以及與觀測終端相關(guān)的濾光片、光柵、狹縫等字段。

2.4 數(shù)據(jù)查詢模塊

數(shù)據(jù)查詢模塊主要通過Java數(shù)據(jù)庫連接(Java DataBase Connectivity，JDBC)對觀測日志數(shù)據(jù)庫進(jìn)行查詢操作。當(dāng)觀測日志記錄入庫之后，用戶可以根據(jù)需求對歷史的觀測日志記錄進(jìn)行查詢，如果在查詢到的記錄中發(fā)現(xiàn)錯誤，也可以對其進(jìn)行必要的修改。

在查詢時，用戶需要提供觀測數(shù)據(jù)覆蓋的時間段和觀測項目負(fù)責(zé)人的信息(負(fù)責(zé)人姓名，對應(yīng)的數(shù)據(jù)庫字段是：Observer)進(jìn)行查詢，查詢的結(jié)果除了顯示在用戶界面上，也會保存在緩存中以便生成所需要的觀測日志文件。

2.5 數(shù)據(jù)導(dǎo)出模塊

數(shù)據(jù)導(dǎo)出模塊實現(xiàn)了對用戶查詢到的觀測數(shù)據(jù)的結(jié)果導(dǎo)出的功能，該模塊可以同時導(dǎo)出觀測數(shù)據(jù)和對應(yīng)的觀測日志，從而直接將兩部分的文件打包發(fā)給用戶，方便用戶進(jìn)行觀測數(shù)據(jù)的處理。

觀測數(shù)據(jù)通過后臺的打包程序?qū)z索到的結(jié)果打包并壓縮，觀測日志則通過后臺的Excel處理軟件生成與觀測數(shù)據(jù)對應(yīng)的觀測日志文件，所有的文件最后輸出到配置文件指定的目錄中。

圖3 觀測數(shù)據(jù)監(jiān)聽功能流程圖Fig.3 Flow chart of observational data monitoring function

2.6 系統(tǒng)日志模塊

系統(tǒng)日志模塊將所有的日志信息劃分為軟件狀態(tài)日志、軟件操作日志和錯誤信息日志三種類型。其中：

軟件狀態(tài)日志：將日志的輸入流接口重新定向到Swing的文本框組件中進(jìn)行實時顯示，從而顯示軟件運(yùn)行的狀態(tài)，該部分的日志不會以文件的形式保存。

軟件操作日志：記錄軟件的主要運(yùn)行狀態(tài)、觀測數(shù)據(jù)生成的時間以及用戶操作軟件的相關(guān)信息，該類日志信息可以在發(fā)現(xiàn)觀測日志有誤時對當(dāng)時的情景進(jìn)行復(fù)現(xiàn)。

錯誤信息日志：用于記錄軟件在運(yùn)行過程中具體的出錯信息，從而可以協(xié)助研發(fā)者更好地定位軟件的錯誤位置。

軟件操作日志和錯誤信息日志都按天生成一個新文件，系統(tǒng)主要通過Log4jUtil類⑥http：//logging.apache.org/log4j/2.x/完成對系統(tǒng)日志的管理，通過一個獨(dú)立的線程將必要的信息寫入日志文件。

2.7 系統(tǒng)配置模塊

系統(tǒng)配置信息保存在XML文件中，系統(tǒng)軟件正常運(yùn)行需要兩個相關(guān)的XML文件，用戶可以通過修改這兩個配置文件更新系統(tǒng)的配置，當(dāng)再次打開軟件運(yùn)行時就可以使用更新后的配置。其中：

configure.xml：保存系統(tǒng)運(yùn)行相關(guān)的配置信息，包括數(shù)據(jù)庫連接地址、數(shù)據(jù)庫賬號、需要監(jiān)聽的目錄、觀測數(shù)據(jù)和觀測日志輸出目錄。

longterm.xml：保存2.4 m望遠(yuǎn)鏡長期觀測項目的用戶信息，包括用戶的姓名和用戶申請書的編號(ProposalID)，目前最多只能配置6個用戶的信息。該功能還可以應(yīng)用到機(jī)會源(Target of Opportunity，ToO)觀測中，當(dāng)有機(jī)會源觀測時，可以通過修改配置文件臨時建立一個用戶信息，并實時在軟件的界面上顯示，便于準(zhǔn)確記錄觀測日志。

表1 觀測日志數(shù)據(jù)表格式Table 1 Observational log table format

3 系統(tǒng)運(yùn)行情況

觀測日志輔助系統(tǒng)開發(fā)完成后，部署在麗江2.4 m望遠(yuǎn)鏡圓頂觀測室的一臺計算機(jī)上，并在運(yùn)行中驗證各部分的功能。圖2展示了系統(tǒng)正常運(yùn)行時的情況，圖中①和④兩部分分別表示監(jiān)聽到的數(shù)據(jù)信息和軟件運(yùn)行時的一些必要的日志信息。圖4展示了數(shù)據(jù)查詢的情況，圖5展示了數(shù)據(jù)導(dǎo)出的情況(其中TAR文件是觀測數(shù)據(jù)的壓縮文件，Excel文件是對應(yīng)的觀測日志文件)。

圖4 數(shù)據(jù)查詢結(jié)果情況Fig.4 Query result of the observational data

圖5 觀測數(shù)據(jù)和觀測日志導(dǎo)出情況Fig.5 Observational data and log exported by this system

4 總 結(jié)

該系統(tǒng)已經(jīng)在麗江2.4 m望遠(yuǎn)鏡上運(yùn)行，能通過對觀測數(shù)據(jù)的監(jiān)聽獲取基本的觀測日志信息，大大降低了手工記錄日志的工作量及出錯的概率。在觀測結(jié)束后，針對用戶進(jìn)行觀測數(shù)據(jù)的查詢和導(dǎo)出，根據(jù)查詢結(jié)果生成觀測日志，簡化了觀測數(shù)據(jù)拷貝的過程，也保證了保護(hù)期內(nèi)用戶觀測數(shù)據(jù)的安全性。此外，該系統(tǒng)還與天文領(lǐng)域云相關(guān)聯(lián)，與天文領(lǐng)域云系統(tǒng)上的觀測時間申請系統(tǒng)和數(shù)據(jù)管理系統(tǒng)進(jìn)行協(xié)調(diào)工作，下一步可以實現(xiàn)從觀測時間分配到觀測數(shù)據(jù)獲取的完整觀測數(shù)據(jù)生產(chǎn)周期。但在使用過程中也發(fā)現(xiàn)了一些問題：

(1)每個觀測季開始前，需要手動導(dǎo)入一次觀測時間申請表，以便更新系統(tǒng)內(nèi)的用戶和觀測申請編號等相關(guān)信息；

(2)每年的觀測申請數(shù)較多，觀測過程中通過下拉菜單選擇用戶(PI NAME)有點麻煩，需要簡化該操作；

(3)系統(tǒng)的數(shù)據(jù)庫中以觀測數(shù)據(jù)的文件名為唯一主鍵，對觀測數(shù)據(jù)的命名規(guī)則有一定要求，移植到其他觀測終端需要重新進(jìn)行二次開發(fā)；

(4)沒有考慮未來可能的新增字段而設(shè)置保留字段，不利于系統(tǒng)的擴(kuò)展。

在接下來的工作中將逐步解決系統(tǒng)存在的問題，對整個系統(tǒng)進(jìn)行優(yōu)化和完善，使其具備通用性，從而可以推廣到其他觀測終端和望遠(yuǎn)鏡中。