基于SQL/NoSQL的空間目標光學特性數據混合存儲策略?

盧萬杰 徐 青 藍朝楨 呂 亮 施群山

(中國人民解放軍戰(zhàn)略支援部隊信息工程大學地理空間信息學院鄭州450052)

1 引言

空間目標光學特性數據對國防科技和武器裝備建設起著至關重要的作用, 是軍事信息中的重要和基礎資源, 能夠用于空間目標的狀態(tài)估計、輔助識別和提前發(fā)現[1–3]等空間態(tài)勢感知領域, 為贏得戰(zhàn)爭的主動權提供寶貴的預警時間.空間目標的光學特性數據包括不同光源和探測角度組成的相位角序列下的光度數據和光學圖像數據等, 可以通過光源俯仰角和方位角、探測俯仰角和方位角4個角度的不同序列組合來獲取全角度下的光度數據、光學圖像文件等信息.為了滿足空間目標特性的測試、仿真與實驗對數據存儲和檢索的需求, 通常采用數據庫對空間目標特性數據進行管理[4–5].因此, 構建滿足要求的空間目標光學特性數據庫逐漸成為研究的熱點.

空間目標的特性數據包括結構化數據和非結構化數據.由于關系型數據庫系統(tǒng)(Relational Database Management System, RDBMS)能夠高效地處理復雜的數據查詢[6], 因此當前對空間目標結構化特性數據的存儲方案主要是使用成熟的RDBMS, 如Oracle[7–8]、微軟的結構化查詢語言服務器(Structured Query Language(SQL) Server)[9]等, 并通過數據庫提供的應用程序編程接口(Application Programming Interface, API)查詢目標在不同參數下的特性數據.但是, RDBMS不擅長處理非結構化數據, 因此對于視頻、圖像、文本等非結構化的特性數據, 通常進行序列化處理后存儲于本地文件系統(tǒng), 導致非結構化特性數據管理不便, 檢索困難, 不易維護與RDBMS中結構化數據的關聯關系.針對這種情況, 文獻[6]采用RDBMS存儲海量的結構化數據和非結構化數據的元數據, 而使用Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System,HDFS)和Apache Hadoop數據庫(Hadoop Database, HBase)分別存儲不同大小的目標特性非結構化數據文件.該方案在一定程度上緩解了非結構化數據的存儲與管理問題,但是RDBMS無法有效地維護海量空間目標特性數據和大尺度數據, 尤其是千萬級別的數據2維表, 并且RDBMS服務集群的擴展需要更多的數據服務器, 導致系統(tǒng)過于復雜和昂貴[10–11].因此, 使用RDBMS存儲海量特性數據時, 面臨著數據入庫效率低、數據庫擴展性差、無法滿足云計算和大數據計算環(huán)境下多用戶實時數據請求等問題[12].

非關系型數據庫(Not Only SQL, NoSQL)的出現則解決了這種難題.NoSQL數據庫能夠很好地滿足大事務量、海量數據低延遲訪問和高服務可用性的需求[13], 并且具有靈活的數據模型, 非常適合存儲各種非結構化的數據.NoSQL數據庫可以在不影響現有數據結構的情況下進行數據結構的更新.基于NoSQL的優(yōu)良特性, 其已經在互聯網領域取得了非常成功的應用[14–15].但是, NoSQL數據庫不具備復雜的數據查詢能力, 其查詢方式較為有限.

結合上述分析, 針對現有研究的不足, 為了構建能夠提供穩(wěn)定高效的空間目標光學特性數據服務, 本文嘗試對空間目標特性數據中結構化的光度數據和非結構化的圖像等數據進行簡化和建立索引關系, 并在RDBMS和主流NoSQL數據庫特性的基礎上構建空間目標光學特性數據混合存儲策略; 同時, 通過構建空間目標光學特性數據存儲原型系統(tǒng)對模擬光學特性數據的存儲與檢索效率進行試驗驗證.

2 空間目標特性數據混合存儲策略

針對空間目標光學特性數據存儲面臨的問題, 充分利用RDBMS和NoSQL數據庫的優(yōu)勢, 本文構建了混合數據存儲策略, 并以全角度下空間目標模擬光學特性數據為例進行說明.

2.1 特性數據簡化與檢索策略

通過設置不同的光源俯仰角和方位角、探測俯仰角和方位角, 探測器可以獲取光源照射下空間目標的全角度模擬光學特性數據.其中, 光源俯仰角、光源方位角、探測俯仰角和探測方位角的定義如圖1所示, 空間目標本體坐標系以空間目標質心O為原點,Z軸為空間目標質心與地心連線并且背離地心為正, X軸為空間目標軌道面內與Z軸正交的向量并且指向衛(wèi)星運動方向為正, Y 軸為X軸與Z軸叉乘獲取.方位角定義為從X軸正方向起, 依順時針方向到空間目標指向光源/探測器的矢量在XOY 面上的夾角, 范圍為0?–360?; 俯仰角定義為空間目標指向光源/探測器矢量與XOY 面夾角, 在Z軸指向一側為正, 否則為負, 范圍為?90?–90?.

圖1 光源俯仰角和方位角、探測俯仰角和方位角的定義Fig.1 Definition of the pitch and azimuth of the optical source and the detector

光源俯仰角和方位角、探測俯仰角和方位角4個角度下的全角度空間目標模擬光學特性數據結構如表1所示.其中, 4個角度按照探測方位角、探測俯仰角、光源方位角和光源俯仰角的順序, 以2?為間隔, 循環(huán)取值.每組角度數據下均存在空間目標光度值、可見光圖像等特性數據.從表1可以看出, 光源俯仰角和方位角、探測俯仰角和方位角4個角度存在大量重復數據.當角度間隔為2?時, 單個目標的全角度光學特性數據總量超過2.6億條, 如此龐大的數據集在RDBMS數據庫中進行入庫和檢索會導致系統(tǒng)性能瓶頸, 甚至崩潰.即使采用分庫分表策略進行存儲, 數據的重復和冗余也導致耗費空間較多.

針對以上問題, 對空間目標模擬光學特性數據進行簡化.根據4個角度的規(guī)律性變化, 構建4個角度之間對應關系的樹形結構, 如圖2所示.表1中4個角度之間的關系轉變?yōu)閳D2中光源俯仰角與光源方位角、光源方位角與探測俯仰角、探測俯仰角與探測方位角的一對多關系.簡化前角度數據總量Vpre和簡化后角度數據總量Vpost計算公式為:

從(1)–(2)式計算可得, 簡化的光學特性數據中角度的數據量為簡化前的25.14%, 有效地降低了光學特性數據的存儲空間.根據4個角度與特性數據的對應關系構建數據集,重新構建后的光學特性數據在進行數據檢索時, 可以按照光源俯仰角、光源方位角、探測俯仰角、探測方位角的順序進行數據的檢索.

2.2 數據混合存儲策略

為實現空間目標模擬光學特性數據的高效存儲, 并為相關的測試與實驗提供有效的數據服務, 數據混合存儲策略主要包括了傳統(tǒng)RDBMS、NoSQL數據庫和緩存數據庫,具體方案如下:

(1)針對空間目標光學特性數據的元數據, 采用RDBMS中的MySQL數據庫進行管理[16], 并在每條元數據中增加與光學特性數據對應的字段完成數據關系的映射;

表1 全角度空間目標模擬光學特性數據結構Table 1 Data structure of the simulated full angle optical property of space object

圖2 數據簡化與檢索策略Fig.2 Data simplification and retrieval strategy

(2)簡化的光學特性數據結構與JavaScript對象簡譜(JavaScript Object Notation,JSON)形式的數據結構非常相似, 因此可采用以2進制格式的JavaScript對象簡譜(Binary JSON, BSON)形式存儲非結構化數據的NoSQL數據庫—MongoDB進行簡化光學特性數據的存儲.MongoDB是一種基于文檔存儲的NoSQL數據庫[17], 在諸多方面的性能均優(yōu)于RDBMS[18–20], 適合解決海量大數據訪問和存儲效率問題.在MongoDB中,每個空間目標單獨構成一個數據庫集合(collection).為了便于數據存儲與檢索, 本文使用光源俯仰角對光學特性數據集進行分割, 獲取的每份數據組成單獨的文檔(document)存儲于對應目標的集合中, 每個文檔中數據結構如圖3所示;

圖3 Document中的數據存儲格式Fig.3 Data storage format in the document

(3)在對空間目標光學特性進行測試與實驗時, 需要對數據庫中的數據進行頻繁的訪問, 并希望能夠及時獲取查詢結果.通過構建緩存數據服務, 存儲被頻繁請求的數據,在提供更快的數據獲取速度的同時, 也緩解了多用戶訪問下對數據服務中RDBMS和NoSQL數據庫的壓力.遠程字典服務(Remote Dictionary Server, Redis)作為典型的內存數據庫和緩存數據庫, 具有優(yōu)異的性能[21], 因此本文選用Redis作為緩存數據庫.

空間目標模擬光學特性混合存儲策略中, 不同數據之間的映射關系如圖4所示.MongoDB中每個目標數據均存儲為一個collection, 目標的每條文檔均以BSON的形式存儲于集合中.MySQL數據庫中除目標光學特性元數據外, 通過“Collection Name”字段與MongoDB中對應的集合進行數據的關系映射.Redis中的每組數據為數據請求獲取數據的緩存.

圖4 元數據與特性數據關聯關系Fig.4 Relationship between the metadata and property data

2.3 數據混合檢索結構

混合存儲策略下訪問特性數據流程如圖5所示.圖5中, 數據檢索與集成服務提供對數據服務進行統(tǒng)一訪問的接口, 用戶無需關心存儲策略內部邏輯.外部請求查詢數據的流程如下:

圖5 光學特性數據混合檢索結構Fig.5 Hybrid retrieval structure of the optical property data

步驟1: 數據檢索與集成服務首先通過從緩存數據庫中查詢是否存在已經緩存的數據, 如果存在, 執(zhí)行步驟4; 否則, 執(zhí)行步驟2;

步驟2: 數據檢索與集成服務從RDBMS數據庫中查詢空間目標光學特性數據.查詢結果在返回數據檢索與集成服務的同時, 在緩存數據庫中進行緩存, 為隨后對相同數據的重復使用提供高效的數據服務.數據檢索與集成服務通過對外部請求和從RDBMS中返回數據的分析, 判斷是否需要從NoSQL數據庫中查詢非結構化數據.如果需要, 則執(zhí)行步驟3; 否則, 執(zhí)行步驟4;

步驟3: 數據檢索與集成服務訪問MongoDB數據庫, 獲取非結構化的目標光學特性數據.查詢結果在返回數據檢索與集成服務的同時, 在緩存數據庫中進行緩存, 為隨后對相同數據的重復使用提供高效的數據服務.當數據檢索與集成服務獲取查詢數據后,執(zhí)行步驟4;

步驟4: 數據檢索與集成服務整合獲取的數據, 為外部請求提供格式化后的數據結果.

3 混合存儲策略實踐

本文選取空間目標模擬光學特性數據入庫和檢索兩個場景對混合存儲策略進行測試和驗證.實驗測試數據選擇光源俯仰角、光源方位角、探測俯仰角和探測方位角的采樣間隔為2?下的Worldview 1衛(wèi)星的模擬光學特性數據.測試數據包括180個光度數據文件和每組角度下對應的光學圖像文件.其中, 光度數據文件數據量為5.58 GB,包括約2.6億條光度數據; 光學圖像文件數據量為1245.6 GB, 約2.6億張圖像.實驗硬件為一臺4核8線程、內存32 G的普通計算機, 操作系統(tǒng)為Ubuntu 16.04長期支持版本, 使用MySQL 8.0.15、MongoDB 4.0.6和Redis 4.0.13數據庫構建混合存儲策略服務.為了更好地測試對非結構化數據的存儲, 實驗將數據分為兩種: 第1種為僅數值數據, 即空間目標光學特性光度數據; 第2種為數值數據和圖像文件, 即空間目標光學特性光度數據和圖像文件.

3.1 數據入庫實驗與分析

實驗通過設置不同的單次入庫數據量分別對比了兩種數據的入庫效率.采用MySQL數據庫時, 測試光源俯仰角、光源方位角、探測俯仰角和探測方位角4個角度的特性數據全量導入; 采用混合存儲策略時, 測試光源俯仰角、光源方位角、探測俯仰角和探測方位角4個角度的簡化特性數據導入, 對比結果如圖6和圖7所示.對比結果表明, 在數據為數值數據的情況下, 混合存儲策略的入庫效率比MySQL數據庫提高超過17倍, 在數據為數值數據和圖像文件情況下提高超過34倍.對比結果說明混合存儲策略在面對海量數據入庫時具有優(yōu)異的性能, 尤其是在針對圖像等非結構化數據時, 具有比MySQL更好的性能.

3.2 數據檢索實驗與分析

空間目標模擬光學特性數據存儲于數據庫中的目的是為特性測試、分析和仿真等應用場景提供服務, 因此需要滿足用戶對數據的實時訪問需求, 尤其是多用戶請求下, 能夠盡快返回用戶請求的數據.實驗使用壓力測試軟件Apache JMeter設置不同并發(fā)訪問度來模擬多用戶請求, 測試從MySQL數據庫和混合存儲體系結構中請求數據的響應速度, 對比結果如圖8和圖9所示.對比結果表明, 隨著并發(fā)訪問量的上升, MySQL數據庫的響應時間線性上升, 本文存儲體系結構下混合數據存儲策略的響應時間緩慢增長, 并總是低于MySQL數據庫的響應時間, 尤其是用戶請求數量越大, 本文存儲體系結構下混合數據存儲策略的優(yōu)勢越明顯, 證明了混合數據存儲策略在提供數據服務方面的高效性和實時性.

圖6 數值數據入庫效率對比Fig.6 Comparison of data input efficiency in case of numerical data only

圖7 數值數據和圖像文件入庫效率對比Fig.7 Comparison of data input efficiency in case of numerical data and image files

圖8 數值數據多用戶實時請求響應效率Fig.8 Comparison of the response efficiency of multi-user real-time requests in case of numerical data only

圖9 數值數據和圖像文件多用戶實時請求響應效率Fig.9 Comparison of the response efficiency of multi-user real-time requests in case of numerical data and image files

4 結論

為解決空間目標光學特性數據存儲面臨的挑戰(zhàn), 提出了空間目標光學特性數據混合存儲策略.通過對空間目標光學特性數據中的光源俯仰角、光源方位角、探測俯仰角和探測方位角進行簡化, 設計了簡化后數據的檢索策略; 在分析關系型數據庫和非結構化數據庫優(yōu)缺點的基礎上, 構建空間目標光學特性數據混合存儲策略和空間目標光學特性數據存儲原型系統(tǒng).使用空間目標模擬光學特性數據對傳統(tǒng)關系型數據庫和混合存儲策略下數據的入庫和檢索效率進行測試.結果表明, 僅存儲數值數據時, 混合存儲策略數據入庫效率較傳統(tǒng)關系型數據庫提高超過17倍; 存儲數值數據和圖像文件時, 入庫效率提高超過34倍.多用戶實時請求下混合存儲策略數據響應效率較傳統(tǒng)關系型數據庫有較大提升, 尤其是在訪問量較大時, 優(yōu)勢更加明顯, 能夠迅速響應用戶的請求并返回數據.文章提出的空間目標光學特性數據混合存儲策略, 能夠為目標光學特性的管理、測試與仿真實驗提供高效和及時的數據服務.