MUSER的負數(shù)據(jù)庫接口設(shè)計與實現(xiàn)*

石聰明，張曉麗，王　鋒,3，戴　偉,3，楊秋萍,3

(1. 昆明理工大學(xué)管理與經(jīng)濟學(xué)院，云南 昆明　650093；2. 昆明理工大學(xué)云南省計算機技術(shù)應(yīng)用重點實驗室， 云南 昆明　650500；3. 中國科學(xué)院云南天文臺，云南 昆明　650011)

明安圖射電頻譜日像儀(MingantU SpEctral Radioheliograph, MUSER)是中國自行研制的新一代具有高時間、高空間、高頻率分辨率的對太陽進行射電頻譜成像的專用射電望遠鏡，觀測頻率范圍為0.4 GHz～15 GHz[1]。明安圖射電頻譜日像儀由低頻陣(MUSER-I)和高頻陣(MUSER-II)兩個子陣構(gòu)成。低頻陣由40面4.5 m口徑的拋物面天線及接收設(shè)備組成，在64個頻點上成像,工作頻率為0.4 GHz～2 GHz；高頻陣由60面2 m口徑的拋物面天線及接收設(shè)備組成，在528個頻點上成像，工作頻率為2 GHz～15 GHz。低頻陣和高頻陣的數(shù)字接收機每3.125 ms產(chǎn)生一個數(shù)據(jù)幀，并通過1.25 Gb的光纖傳送到數(shù)據(jù)獲取服務(wù)器。低頻陣和高頻陣數(shù)據(jù)幀的大小分別為100 000 B、204 800 B。

隨著明安圖射電頻譜日像儀進入常規(guī)觀測，將產(chǎn)生海量的觀測數(shù)據(jù)。如果每個觀測日有10小時，理論上，每個觀測日產(chǎn)生23 040 000個觀測數(shù)據(jù)幀，總共3.511 2 TB的觀測數(shù)據(jù)，每年有365個觀測日的情況下將產(chǎn)生84.1億個觀測數(shù)據(jù)幀和將近1.3 PB的觀測數(shù)據(jù)。文[2]基于補集理論和明安圖射電頻譜日像儀的數(shù)據(jù)特征設(shè)計了一個高性能的海量數(shù)據(jù)管理系統(tǒng)(負數(shù)據(jù)庫)，不僅可以用較少的存儲量來存儲海量數(shù)據(jù)幀中的元數(shù)據(jù)，而且可以提高檢索性能。然而，文[2]沒有詳細介紹負數(shù)據(jù)庫中的接口設(shè)計與實現(xiàn)。

考慮到除了明安圖射電頻譜日像儀以外，其他望遠鏡也有類似的海量歷史數(shù)據(jù)管理需求，有必要介紹負數(shù)據(jù)庫中的接口設(shè)計與實現(xiàn)。本文主要介紹明安圖射電頻譜日像儀負數(shù)據(jù)庫接口的設(shè)計和實現(xiàn)，進而為天文領(lǐng)域其他開源系統(tǒng)的海量數(shù)據(jù)管理提供一個有價值的參考。

1　負數(shù)據(jù)庫簡介

文[3]在2004年首次將存儲所有原始記錄信息的數(shù)據(jù)庫稱為正數(shù)據(jù)庫(the Positive Database)，存儲通過補集理論從所有原始記錄信息中推導(dǎo)的補集信息的壓縮形式的數(shù)據(jù)庫稱為負數(shù)據(jù)庫(the Negative Database)，且證明了從一個給定的正數(shù)據(jù)庫生成負數(shù)據(jù)庫是可行的，反之是一個多項式復(fù)雜程度的非確定性問題。文[4]在2005年提出信息的負表示(the Negative Representation)是一種受人工免疫系統(tǒng)啟發(fā)而來的新的數(shù)據(jù)表示方法，該方法與傳統(tǒng)表示方法最大的區(qū)別在于負表示總是存儲原始數(shù)據(jù)信息的補集信息的壓縮形式來代替原始數(shù)據(jù)信息，同時指出負數(shù)據(jù)庫是信息負表示的一種存儲形式。在隨后的2006年，信息負表示的思想被應(yīng)用到調(diào)查方面并提出了負調(diào)查的方法，該方法能夠達到保護被調(diào)查者隱私信息的目的*https://arxiv.org/pdf/math/0608176.pdf。文[5]利用負數(shù)據(jù)庫的思想提出一種安全保護算法，使用該算法能夠為通用的正數(shù)據(jù)庫提供一個額外的安全保護層。文[6]將負數(shù)據(jù)庫應(yīng)用于構(gòu)建生物特征數(shù)據(jù)庫，基于負數(shù)據(jù)庫的生物特征數(shù)據(jù)庫能夠保護數(shù)據(jù)隱私。文[7]利用負數(shù)據(jù)庫實現(xiàn)了一個基于網(wǎng)絡(luò)環(huán)境的數(shù)據(jù)管理系統(tǒng)，該系統(tǒng)能夠提供更高級別的數(shù)據(jù)安全。

上述文獻涉及的負數(shù)據(jù)庫主要應(yīng)用在隱私保護和數(shù)據(jù)安全領(lǐng)域，且從負數(shù)據(jù)庫推導(dǎo)出正數(shù)據(jù)庫是一個多項式復(fù)雜程度的非確定性問題。然而，為明安圖射電頻譜日像儀設(shè)計的負數(shù)據(jù)庫不僅能夠降低存儲海量數(shù)據(jù)幀的元數(shù)據(jù)所需的存儲容量，而且能夠從檢索的補集信息中快速推導(dǎo)數(shù)據(jù)幀對應(yīng)的元數(shù)據(jù)信息。

2　接口設(shè)計與實現(xiàn)

進一步完善了負數(shù)據(jù)庫原型系統(tǒng)的功能，并在此基礎(chǔ)上抽象了負數(shù)據(jù)庫的接口。進而方便通過修改少量的代碼就可以將明安圖射電頻譜日像儀的負數(shù)據(jù)庫系統(tǒng)移植或集成到其它望遠鏡的數(shù)據(jù)管理系統(tǒng)中。以下在簡要介紹明安圖射電頻譜日像儀的數(shù)據(jù)特征、補集理論和記錄格式的基礎(chǔ)上，著重介紹負數(shù)據(jù)庫的一些重要接口的設(shè)計與實現(xiàn)。

2.1　明安圖射電頻譜日像儀的數(shù)據(jù)特征

當前的數(shù)據(jù)存儲系統(tǒng)是按照目錄、文件以及數(shù)據(jù)幀的形式組織數(shù)據(jù)。所有的觀測數(shù)據(jù)以文件的形式存儲在系統(tǒng)中，即低頻陣和高頻陣的文件分別存放在不同的目錄中。每分鐘觀測產(chǎn)生的19 200個連續(xù)的數(shù)據(jù)幀封裝到一個文件中，觀測日期、觀測時間、波段、極化方式、可見度數(shù)據(jù)、自相關(guān)數(shù)據(jù)等信息封裝到數(shù)據(jù)幀中。文件名是根據(jù)文件中第1個數(shù)據(jù)幀的觀測日期時間以 “YYYYMMDDhhmm” (YYYY: 年, MM: 月, DD: 日, hh: 時, mm: 分)的格式命名。

由于受當前存儲系統(tǒng)性能的限制，將觀測數(shù)據(jù)幀寫入磁盤時會隨機丟失數(shù)據(jù)幀，這無法保證封裝到同一個文件中的19 200個數(shù)據(jù)幀在同一分鐘內(nèi)。并且，開始觀測按鈕是由人工啟動的，無法保證在整分整秒恰好啟動觀測按鈕。上述兩種情況導(dǎo)致同一分鐘觀測產(chǎn)生的數(shù)據(jù)幀被存儲到兩個數(shù)據(jù)文件中。

2.2　補集理論

假定已知全集U，數(shù)據(jù)集A，且數(shù)據(jù)集C是數(shù)據(jù)集A的補集。負數(shù)據(jù)庫管理系統(tǒng)基于如下假設(shè)：(1)全集U已知，且可以被精確定義；(2)所有的記錄可以通過給定的初始化條件推導(dǎo)；(3)數(shù)據(jù)集A可以從它的補集C中推導(dǎo)。依據(jù)補集理論設(shè)計的明安圖射電頻譜日像儀的負數(shù)據(jù)庫管理系統(tǒng)可以通過存儲少量的丟幀信息并利用大量的邏輯推導(dǎo)運算保證不會丟失任何已保存在文件中的數(shù)據(jù)幀元數(shù)據(jù)信息。

2.3　記錄格式

設(shè)計一種記錄格式表示數(shù)據(jù)文件、觀測日期時間以及數(shù)據(jù)幀之間的邏輯關(guān)系。為了方便敘述，用Record表示該記錄格式，Record的具體格式如圖1。

Record由datetime，file1和file2構(gòu)成。datetime由年(yyyy)、月(MM)、日(dd)、時(hh)、分(mm)構(gòu)成。file1由文件名(filename)、文件中第1幀的時間(timeF)、文件中最后一幀的時間(timeL)、文件內(nèi)幀的邏輯關(guān)系(FrameR)構(gòu)成。timeF和timeL的格式一樣，由年(yyyy)、月(MM)、日(dd)、時(hh)、分(mm)、秒(ss)、毫秒(ffffff)構(gòu)成。文件內(nèi)幀的邏輯關(guān)系通過開始偏移量(S)、開始偏移量對應(yīng)數(shù)據(jù)幀的波段(B)、開始偏移量對應(yīng)數(shù)據(jù)幀的極化(P)、結(jié)束偏移量(E)以及累計丟幀數(shù)(CA)描述。

圖1記錄格式
Fig.1The record format

2.4　接口設(shè)計與實現(xiàn)

基于上述的明安圖射電頻譜日像儀數(shù)據(jù)特征、補集理論以及為數(shù)據(jù)特征設(shè)計的特定記錄格式，本文為明安圖射電頻譜日像儀的負數(shù)據(jù)庫設(shè)計了相應(yīng)的接口函數(shù)和類，如圖2。這些接口函數(shù)和類主要用于從觀測數(shù)據(jù)文件構(gòu)造特定格式的記錄、從數(shù)據(jù)記錄推導(dǎo)相應(yīng)的數(shù)據(jù)幀信息以及連接底層數(shù)據(jù)庫等。負數(shù)據(jù)庫主要包括底層數(shù)據(jù)庫可用性校驗接口、望遠鏡數(shù)據(jù)文件操作有關(guān)的接口、數(shù)據(jù)庫同步(初始化)接口、數(shù)據(jù)檢索接口、元數(shù)據(jù)重構(gòu)接口等。同時，負數(shù)據(jù)庫接口設(shè)計與實現(xiàn)在一定程度上遵守Python DB-API規(guī)范*http://delivery.acm.org/10.1145/330000/327384/a8-kuchling.html，可以降低系統(tǒng)各部分的相互依賴，提高組成單元的內(nèi)聚性，降低組成單元間的耦合程度，進而提高系統(tǒng)的可維護性和可擴展性。

2.4.1底層數(shù)據(jù)庫可用性校驗接口

底層數(shù)據(jù)庫可用性校驗接口(validate_underlying_database_availability)只提供了對MySQL、Redis這兩個數(shù)據(jù)庫的支持，在以后的工作中逐漸增加對其他數(shù)據(jù)庫的支持。底層數(shù)據(jù)庫可用性校驗接口主要用于驗證底層數(shù)據(jù)庫配置文件(db_config.xml)中的底層數(shù)據(jù)庫是否支持、底層數(shù)據(jù)庫對應(yīng)的模塊是否安裝以及其它與數(shù)據(jù)庫連接相關(guān)的配置信息是否有效等。底層數(shù)據(jù)庫可用性校驗接口的偽代碼如圖3。

2.4.2望遠鏡數(shù)據(jù)文件操作有關(guān)的接口

望遠鏡數(shù)據(jù)文件操作有關(guān)的接口主要基于明安圖射電頻譜日像儀數(shù)據(jù)處理系統(tǒng)(MUSEROS*https://github.com/astroitlab/museros/)中的muserdata.py實現(xiàn)，主要提供對日像儀特有的裸數(shù)據(jù)文件(RawData[8])進行操作。望遠鏡數(shù)據(jù)文件操作有關(guān)的接口(圖4)主要包括定位特定幀位置的子接口、獲取數(shù)據(jù)幀中觀測日期時間等元數(shù)據(jù)的子接口、打開觀測數(shù)據(jù)文件的子接口、關(guān)閉觀測數(shù)據(jù)文件的子接口以及跳躍特定數(shù)目幀的子接口等。數(shù)據(jù)庫同步接口以及數(shù)據(jù)檢索接口等核心接口的功能都嚴重依賴望遠鏡數(shù)據(jù)文件操作有關(guān)的接口。

2.4.3數(shù)據(jù)庫同步(初始化)接口

數(shù)據(jù)庫同步(初始化)接口主要提供首次將初始化數(shù)據(jù)庫以及后來定期從新增的觀測數(shù)據(jù)文件中提取的構(gòu)造記錄所需的相關(guān)元數(shù)據(jù)、利用相關(guān)元數(shù)據(jù)構(gòu)造記錄以及將記錄存儲到底層數(shù)據(jù)庫等功能。數(shù)據(jù)庫同步(初始化)接口的實現(xiàn)偽代碼如圖5，該接口是明安圖射電頻譜日像儀負數(shù)據(jù)庫的一個核心接口。

2.4.4數(shù)據(jù)檢索接口

目前的數(shù)據(jù)檢索接口只提供了依據(jù)給定的開始查詢?nèi)掌跁r間(Tstart)、結(jié)束查詢?nèi)掌跁r間(Tend)、波段信息以及極化方式下的數(shù)據(jù)檢索功能，其他更加復(fù)雜條件的數(shù)據(jù)檢索功能還有待進一步完善。數(shù)據(jù)檢索接口的實現(xiàn)偽代碼如圖6，該接口也是負數(shù)據(jù)庫中的一個核心接口。同時，數(shù)據(jù)檢索接口還調(diào)用了元數(shù)據(jù)重構(gòu)函數(shù)(refactor_frame_metadata)、將Tstart及Tend轉(zhuǎn)換成起止查詢幀范圍(IndexS, IndexE)的轉(zhuǎn)換函數(shù)(convert_filter_start_end_index)等接口函數(shù)。

3　接口有效性驗證

本文測試設(shè)計的明安圖射電頻譜日像儀負數(shù)據(jù)庫接口的性能使用的硬件環(huán)境為：Intel 24核 Xeon(R)E5-2620 v2 @2.10 GHz處理器、64 GB DDR3內(nèi)存、6 TB硬盤；軟件環(huán)境為：CentOS7.4、Python2.7；數(shù)據(jù)庫為：Redis 4.0、MySQL 5.7；測試數(shù)據(jù)為：高頻陣常規(guī)觀測產(chǎn)生的400個觀測數(shù)據(jù)文件(1 572 GB)、低頻陣常規(guī)觀測產(chǎn)生的400個觀測數(shù)據(jù)文件(768 GB)。

本文主要在目前支持的Redis以及MySQL底層數(shù)據(jù)庫的基礎(chǔ)上測試設(shè)計的數(shù)據(jù)初始化接口以及數(shù)據(jù)檢索接口的性能。

3.1　數(shù)據(jù)庫同步(初始化)接口性能測試

為了保證數(shù)據(jù)庫初始化接口性能測試的有效性，對數(shù)據(jù)庫初始化的實驗重復(fù)進行了1 000次，并取平均值作為測試結(jié)果。測試得到的數(shù)據(jù)庫初始化的平均時間對比見圖7。對于相同的觀測數(shù)據(jù)文件，基于內(nèi)存的Redis數(shù)據(jù)庫初始化速度比MySQL略快；對于不同的觀測數(shù)據(jù)文件，數(shù)據(jù)量大的高頻陣的速度比數(shù)據(jù)量小的低頻陣的略慢。

圖7數(shù)據(jù)庫初始化性能
Fig.7Database initialization performance

3.2　數(shù)據(jù)檢索接口性能測試

測試了從數(shù)據(jù)庫中分別檢索1、8、80、160、320、640個連續(xù)數(shù)據(jù)幀的響應(yīng)時間。同時為了保證數(shù)據(jù)檢索響應(yīng)時間的有效性和精確性，對每種數(shù)據(jù)檢索操作重復(fù)進行100 000次并取平均響應(yīng)時間作為測試結(jié)果。測試后得到的數(shù)據(jù)檢索的平均響應(yīng)時間對比見圖8。對于相同的數(shù)據(jù)，基于內(nèi)存Redis的負數(shù)據(jù)庫檢索性能比基于MySQL的負數(shù)據(jù)庫快2到6倍。對于低頻陣和高頻陣，使用相同底層數(shù)據(jù)庫的負數(shù)據(jù)庫的檢索性能基本上相同。隨著檢索數(shù)據(jù)幀的增加，基于MySQL的負數(shù)據(jù)庫的檢索性能比基于Redis的負數(shù)據(jù)庫檢索性能惡化得更快。

圖8數(shù)據(jù)檢索性能
Fig.8Data retrieval performance

4　結(jié)束語

本文簡要介紹了明安圖射電頻譜日像儀負數(shù)據(jù)庫管理系統(tǒng)中涉及的理論基礎(chǔ)以及記錄格式，并詳細討論了負數(shù)據(jù)庫管理系統(tǒng)的接口設(shè)計與實現(xiàn)，通過實驗驗證了所設(shè)計和實現(xiàn)的接口具有較好的魯棒性、通用性以及有效性。但是，由于負數(shù)據(jù)庫設(shè)計的初衷是解決明安圖射電頻譜日像儀面臨的海量數(shù)據(jù)管理問題，且數(shù)據(jù)存儲使用其特有的裸數(shù)據(jù)文件格式，而不是UVFITS、FITS-IDI等通用的文件格式，所以負數(shù)據(jù)庫接口的通用性和可移植性還有待進一步驗證。同時，明安圖射電頻譜日像儀負數(shù)據(jù)庫中的接口還需要進一步完善。本文的研究成果可以為其它新一代望遠鏡系統(tǒng)的數(shù)據(jù)管理提供有價值的參考。

參考文獻：

[1]Yan Y, Zhang J, Wang W, et al. The Chinese spectral radioheliograph—CSRH[J]. Earth, Moon, and Planets, 2009, 104(1-4): 97-100.

[2]Shi Congming, Wang Feng, Deng Hui, et al. High-performance negative database for massive data management system of the mingantu spectral radioheliograph[J]. Publications of the Astronomical Society of the Pacific, 2017, 129(978): 1-10.

[3]Esponda F, Forrest S, Helman P. Enhancing privacy through negative representations of data[R]. New Mexico: University of New Mexico, 2004.

[4]Esponda F, Forrest S, Helman P. Negative representations of information[J]. International Journal of Information Security, 2009, 8(5): 331-345.

[5]Dubey G, Khurana V, Sachdeva S. Implementing security technique on generic database[C]// Eighth International Conference on Contemporary Computing. 2015: 370-376.

[6]Bringer J, Chabanne H. Negative databases for biometric data[C]// Proceedings of the 12th ACM Workshop on Multimedia and Security. 2010: 55-62.

[7]Patel A, Sharma N, Eirinaki M. Negative database for data security[C]// International Conference on Computing, Engineering and Information. 2009: 67-70.

[8]Wang F, Mei Y, Deng H, et al. Distributed data-processing pipeline for Mingantu ultrawide spectral radioheliograph[J]. Publications of the Astronomical Society of the Pacific, 2015, 127(950): 383-396.