山東省遙感影像數(shù)據(jù)的高效歸檔與管理

文·韓娟 戚文來 張鵬

遙感影像檔案數(shù)據(jù)量大、覆蓋面寬、應用范圍廣，是國民經濟和社會發(fā)展不可或缺的基礎性、戰(zhàn)略性信息資源，其服務范圍涉及與地理信息有關的國民經濟和社會發(fā)展的各個領域和各個行業(yè)。山東省國土測繪院承擔全省自然資源衛(wèi)星、航空遙感數(shù)據(jù)獲取及處理工作，同時負責全省測繪成果和檔案資料管理工作。“十三五”期間，山東省陸域范圍及近海島嶼每年獲取 1 期優(yōu)于 0.5 米分辨率遙感影像，數(shù)據(jù)源以航空影像為主，航天影像作為補充。隨著航空航天技術的不斷發(fā)展，遙感影像數(shù)據(jù)類型越來越多，分辨率越來越高，數(shù)據(jù)量增長迅速，對遙感影像數(shù)據(jù)安全高效歸檔管理的需求也越來越大。

面對數(shù)據(jù)量大、更新頻率高、結構化與非結構化數(shù)據(jù)并存的海量多源遙感影像數(shù)據(jù)，傳統(tǒng)人工歸檔管理的方式效率低、易出錯、耗費人力物力，不利于數(shù)據(jù)的存檔、分發(fā)與應用，沒有充分發(fā)揮遙感影像數(shù)據(jù)的效益[1]。為了實現(xiàn)海量多源異構遙感影像數(shù)據(jù)的安全高效歸檔與管理，山東省國土測繪院研發(fā)了山東省遙感影像數(shù)據(jù)管理系統(tǒng)。

一、數(shù)據(jù)歸檔與管理設計

（一）總體設計思路

系統(tǒng)設計依據(jù)《信息化測繪體系建設技術大綱》和《測繪地理信息業(yè)務檔案管理規(guī)定》等國家相關規(guī)范和技術標準，充分考慮影像數(shù)據(jù)與產品成果歸檔管理的需求和開展其他業(yè)務的需要，在對各種航空航天遙感影像數(shù)據(jù)進行統(tǒng)一分析設計的基礎上，研發(fā)山東省遙感影像數(shù)據(jù)管理系統(tǒng)，完成各類數(shù)據(jù)的建庫歸檔工作[2]。

（二）數(shù)據(jù)處理歸檔與管理流程

數(shù)據(jù)歸檔入庫前，首先由數(shù)據(jù)整合模塊對航空航天遙感影像數(shù)據(jù)產品成果數(shù)據(jù)進行標準化整合，根據(jù)所歸屬的數(shù)據(jù)類別，進行元數(shù)據(jù)和輔助信息的提取。然后，根據(jù)數(shù)據(jù)類別的不同，設計不同的數(shù)據(jù)庫表格，確保能夠完整有效地提取錄入每一類數(shù)據(jù)的元數(shù)據(jù)和輔助信息。最后，在對數(shù)據(jù)格式及完整性檢查后，將符合條件的遙感影像數(shù)據(jù)進行歸檔入庫，對信息缺失的遙感影像數(shù)據(jù)進行標記，方便后期對數(shù)據(jù)進行核查。數(shù)據(jù)入庫后，根據(jù)分類，開展歸檔目錄數(shù)據(jù)創(chuàng)建、元數(shù)據(jù)注冊和數(shù)據(jù)體注入等流程，完成數(shù)據(jù)歸檔工作。歸檔數(shù)據(jù)實行在線備份存儲，由數(shù)據(jù)庫存儲和文件存儲兩種方式相結合，各業(yè)務系統(tǒng)通過查詢檢索接口進行數(shù)據(jù)查詢、數(shù)據(jù)檢索和數(shù)據(jù)提取，不同的業(yè)務用戶有不同的權限。

數(shù)據(jù)歸檔與管理流程圖

（三）數(shù)據(jù)歸檔系統(tǒng)設計

數(shù)據(jù)歸檔系統(tǒng)設計的主要目標，是實現(xiàn)航空航天遙感影像數(shù)據(jù)歸檔與產品成果綜合管理。整個數(shù)據(jù)歸檔系統(tǒng)包括數(shù)據(jù)歸檔子系統(tǒng)、數(shù)據(jù)檢索子系統(tǒng)、系統(tǒng)管理子系統(tǒng)、統(tǒng)計分析子系統(tǒng)、數(shù)據(jù)整合子系統(tǒng)。其中數(shù)據(jù)歸檔子系統(tǒng)細分為元數(shù)據(jù)、數(shù)據(jù)完整性檢驗、數(shù)據(jù)歸檔、歸檔監(jiān)控四個模塊。元數(shù)據(jù)采集模塊設置影像元數(shù)據(jù)采集、產品屬性信息提取功能。由于數(shù)據(jù)多來源、多標準、多格式，需要進行數(shù)據(jù)的統(tǒng)一規(guī)范存儲，設計采用基于建模技術的數(shù)據(jù)管理技術，實現(xiàn)多元異構數(shù)據(jù)管理。數(shù)據(jù)完整性檢驗模塊配置檢驗規(guī)則設置數(shù)據(jù)管理、數(shù)據(jù)自動檢驗、人機交互檢驗、檢驗報告輸出功能。數(shù)據(jù)歸檔模塊軟件設置自動歸檔、人機交互歸檔、接口歸檔功能。歸檔監(jiān)控模塊軟件設置歸檔狀態(tài)監(jiān)控、異常數(shù)據(jù)處理、遷移狀態(tài)監(jiān)控功能。通過四大模塊有機結合，完成數(shù)據(jù)歸檔。其它子系統(tǒng)共同配合，實現(xiàn)數(shù)據(jù)的安全高效歸檔與管理。

（四）數(shù)據(jù)歸檔指標

系統(tǒng)在萬兆光纖網絡環(huán)境、存儲 IO滿足情況下，10 臺計算節(jié)點組成歸檔集群，具備每天 10TB 級數(shù)據(jù)歸檔時間優(yōu)于 2 小時，單節(jié)點 1GB 數(shù)據(jù)歸檔平均時間低于8 秒，支持包括資源三號系列衛(wèi)星、高分系列衛(wèi)星等非涉密航天衛(wèi)星遙感影像以及省內ADS系列航攝儀、UC系列航攝儀、SWDC系列航攝儀、DMC系列航攝儀等航空遙感影像和各類成果等數(shù)據(jù)產品的數(shù)據(jù)歸檔、管理數(shù)據(jù)類型，數(shù)據(jù)歸檔完整性達到 100%，以插件方式支持未來后續(xù)航空航天遙感影像數(shù)據(jù)及其他成果數(shù)據(jù)。

二、數(shù)據(jù)歸檔與管理關鍵技術

（一）多元異構數(shù)據(jù)管理

該系統(tǒng)對多來源、多標準、多格式的航空航天遙感影像數(shù)據(jù)，采用基于建模技術的數(shù)據(jù)管理技術，進行數(shù)據(jù)的統(tǒng)一規(guī)范歸檔存儲。以統(tǒng)一的數(shù)據(jù)庫管理基礎平臺作為基礎，利用編目和元數(shù)據(jù)結合的方式管理資料，以空間數(shù)據(jù)集方式管理空間數(shù)據(jù)，構建出符合各自特征的資源庫，兩者的資源編目都注冊到資源目錄管理系統(tǒng)，以支持資源信息的發(fā)布和共享。

（二）海量數(shù)據(jù)快速自動歸檔入庫

對于海量遙感影像數(shù)據(jù)歸檔、數(shù)據(jù)統(tǒng)計等任務，現(xiàn)有的傳統(tǒng)的單機處理模式已經無法滿足數(shù)據(jù)及時歸檔、高效統(tǒng)計的需求，新建的系統(tǒng)采用基于自主的并行計算框架進行實現(xiàn)，系統(tǒng)的并行處理能力與性能主要受制于并行任務處理節(jié)點的個數(shù)、網絡吞吐量和盤陣 IO 的性能，并行調度框架支持并行資源調度、并行任務分配以及并行計算的執(zhí)行，基于此框架研制數(shù)據(jù)歸檔系統(tǒng)，實現(xiàn)數(shù)據(jù)歸檔、數(shù)據(jù)檢索和數(shù)據(jù)統(tǒng)計業(yè)務的多機、多進程并行執(zhí)行。在執(zhí)行任務時，將數(shù)據(jù)歸檔、數(shù)據(jù)檢索和數(shù)據(jù)統(tǒng)計任務分解成若干個子任務，并將這些子任務分配給相應的執(zhí)行節(jié)點執(zhí)行，各節(jié)點執(zhí)行完畢后，將執(zhí)行結果匯總返回。通過將串行的流程并行分配執(zhí)行，從而提高數(shù)據(jù)歸檔效率、加快數(shù)據(jù)查詢速度、縮短數(shù)據(jù)統(tǒng)計時間[3]。

（三）數(shù)據(jù)快速查詢檢索

系統(tǒng)將需要查詢的空間信息和元數(shù)據(jù)信息均采用分區(qū)表的方式存儲于數(shù)據(jù)庫中。對于包含空間信息的數(shù)據(jù)，系統(tǒng)采用空間數(shù)據(jù)集的方式進行管理，并且通過空間數(shù)據(jù)引擎建立索引。對于元數(shù)據(jù)信息采用數(shù)據(jù)庫分區(qū)表進行管理，并建立數(shù)據(jù)庫索引。在進行數(shù)據(jù)檢索操作時，系統(tǒng)會基于不同的查詢條件采用不同的索引進行檢索操作。在進行數(shù)據(jù)查詢時，系統(tǒng)綜合運用多線程查詢機制、分頁查詢機制、實時動態(tài)查詢機制、索引管理機制，提高查詢效率，提升用戶體驗[4]。

三、應用探討

該系統(tǒng)建成后，實現(xiàn)了多源遙感影像數(shù)據(jù)歸檔、數(shù)據(jù)統(tǒng)計等業(yè)務的自動化運行，實現(xiàn)數(shù)據(jù)查詢、數(shù)據(jù)下載、數(shù)據(jù)分發(fā)等業(yè)務的網絡化運行，實現(xiàn)數(shù)據(jù)快速處理、數(shù)據(jù)成果發(fā)布等工作流程的業(yè)務化運行，有效整合了遙感數(shù)據(jù)資源，提高了遙感影像歸檔、管理以及服務水平，為山東省新型基礎測繪、地理省情監(jiān)測和應急測繪等提供了數(shù)據(jù)保障。根據(jù)《山東省“十四五”基礎測繪規(guī)劃》，“十四五”期間，山東省擬開展遙感影像獲取工程和實景三維山東建設工程，擬分年度獲取1米間隔機載激光雷達點云數(shù)據(jù)，實現(xiàn)全省陸域覆蓋1次，并根據(jù)需要獲取全省縣級以上城市建成區(qū)約1.5萬平方千米優(yōu)于0.05米傾斜航空遙感影像，山東省遙感影像系統(tǒng)的建立將為“十四五”基礎測繪任務所形成的的遙感影像數(shù)據(jù)成果歸檔管理提供更加規(guī)范更加高效更加優(yōu)質的服務。