基于ElasticSearch的異構(gòu)數(shù)據(jù)遷移方法

王甫棣 王帥 趙希鵬

(國家氣象信息中心電子政務(wù)處，北京 100081)

引言

《中共中央關(guān)于制定國民經(jīng)濟(jì)和社會發(fā)展第十四個五年規(guī)劃和二〇三五年遠(yuǎn)景目標(biāo)的建議》提出，堅持創(chuàng)新在我國現(xiàn)代化建設(shè)全局中的核心地位，把科技自立自強(qiáng)作為國家發(fā)展的戰(zhàn)略支撐。同時，面對復(fù)雜多變的發(fā)展環(huán)境及日趨嚴(yán)峻的網(wǎng)絡(luò)安全態(tài)勢，“安全可靠，自主可控”成為政府部門信息化建設(shè)的必然要求[1-3]。目前在核心器件自主創(chuàng)新領(lǐng)域，已從“基本可用”向“好用易用”邁進(jìn)，政府部門已率先以辦公管理信息系統(tǒng)為抓手，向上健全產(chǎn)業(yè)發(fā)展核心技術(shù)，向下賦能數(shù)字中國發(fā)展，保障信創(chuàng)產(chǎn)業(yè)的高質(zhì)量發(fā)展[4]。

“十二五”期間，中國氣象局綜合管理信息系統(tǒng)按照“橫向到邊、縱向到底”的整體思路，按照國、省兩級的業(yè)務(wù)布局覆蓋全國所有縣級氣象局[5]，提升了公文傳輸效率。隨著氣象寬帶網(wǎng)能力進(jìn)一步增強(qiáng)[6-7]，2016年，氣象政務(wù)管理信息系統(tǒng)(簡稱“氣政通”)1.0開始建設(shè)，形成一級集中部署的新格局[8]：管理信息系統(tǒng)業(yè)務(wù)和數(shù)據(jù)全國集中管理。2020年，氣政通系統(tǒng)建設(shè)步入國產(chǎn)化生態(tài)能力建設(shè)階段，正在開展自主可控基礎(chǔ)資源環(huán)境的遷移以及國產(chǎn)化終端環(huán)境適配的工作。

1 現(xiàn)狀與需求

1.1 應(yīng)用和數(shù)據(jù)現(xiàn)狀

中國氣象局綜合管理信息系統(tǒng)采用兩級部署方式在氣象部門31個省級氣象部門以及中國氣象局本級和14個直屬單位部署了46套系統(tǒng)，每套系統(tǒng)有獨(dú)立的應(yīng)用軟件和數(shù)據(jù)庫，采用傳統(tǒng)IOE架構(gòu)(即以IBM小型機(jī)、Oracle數(shù)據(jù)庫、EMC存儲設(shè)備為代表的商業(yè)IT架構(gòu))。

綜合管理信息系統(tǒng)的電子公文模塊的中各類歷史發(fā)文、收文和簽報的正文表單數(shù)據(jù)近1200萬條。若考慮相關(guān)的業(yè)務(wù)流程信息、用戶文件權(quán)限信息，合計有超過5000萬條歷史公文數(shù)據(jù)，每個單位數(shù)據(jù)量約在1 TB左右。所有的數(shù)據(jù)信息均以結(jié)構(gòu)化方式進(jìn)行存儲，包括公文的基礎(chǔ)要素如標(biāo)題、起草人、起草部門、文號、緊急程度、批示審核意見等表單信息，以及以BLOB(Binary Large Object，二進(jìn)制大對象，數(shù)據(jù)庫中用來存儲二進(jìn)制文件的字段類型)方式存儲的正文、附件、分發(fā)正文、加密正文、解密正文、參閱件等其他流式、版式文件數(shù)據(jù)。

2009年開始，綜合管理信息系統(tǒng)基于統(tǒng)一的初始版本在各單位進(jìn)行部署推廣，經(jīng)過近10年的不斷升級演進(jìn)，各直屬單位、省級氣象局系統(tǒng)中的數(shù)據(jù)組織和應(yīng)用邏輯產(chǎn)生了變化。

1.2 數(shù)據(jù)遷移需求

為了實(shí)現(xiàn)國產(chǎn)自主可控目標(biāo)，迫切需要解決原有各單位的綜合管理信息系統(tǒng)歷史數(shù)據(jù)向國產(chǎn)自主可控基礎(chǔ)資源環(huán)境的遷移，保證在新的國產(chǎn)化終端環(huán)境下仍可以正常服務(wù)。需要開展以下3方面工作：①開展異構(gòu)數(shù)據(jù)的遷移，滿足數(shù)據(jù)的計算和存儲環(huán)境遷移到國產(chǎn)化或開源基礎(chǔ)軟硬件平臺下的可用性需求；②適配相應(yīng)的國產(chǎn)化流式和版式文件格式[9](OFD)，確保數(shù)據(jù)在國產(chǎn)化終端上的可訪問；③在應(yīng)用層面還要實(shí)現(xiàn)遷移后的數(shù)據(jù)在新系統(tǒng)可以二次利用，即國產(chǎn)化版本的電子公文系統(tǒng)可兼容歷史數(shù)據(jù)并提供服務(wù)。

1.3 問題分析

數(shù)據(jù)遷移是信息系統(tǒng)升級過程中的一個重要環(huán)節(jié)， 根據(jù)信息系統(tǒng)業(yè)務(wù)類別、數(shù)據(jù)容量大小及系統(tǒng)構(gòu)架的不同，數(shù)據(jù)遷移的難易程度和所采用的的遷移技術(shù)均不相同[10]。對于異構(gòu)數(shù)據(jù)遷移，不少國內(nèi)外研究工作基本是借鑒ETL(extract-transform-load)[11-12]的思想方法，使用第三方軟件實(shí)現(xiàn)數(shù)據(jù)庫物理數(shù)據(jù)的遷移，通常需要編寫相關(guān)程序通過篩選、抽調(diào)等一系列過程實(shí)現(xiàn)數(shù)據(jù)遷移和業(yè)務(wù)應(yīng)用。從ETL的思路出發(fā)，以綜合管理信息系統(tǒng)的電子公文模塊中的各類歷史數(shù)據(jù)國產(chǎn)化環(huán)境遷移為例，可以開發(fā)一套遷移工具解決源系統(tǒng)數(shù)據(jù)共性問題，通過調(diào)整工具中的配置文件，對差異性的數(shù)據(jù)進(jìn)行特殊處理，再經(jīng)過SQL(Structured Query Language，結(jié)構(gòu)化查詢語言)處理，將所有數(shù)據(jù)清洗成新的國產(chǎn)化環(huán)境存儲數(shù)據(jù)格式。這種方案理論上可行，但從實(shí)際操作層面存在以下問題：①成本高。系統(tǒng)存在超過10年的歷史數(shù)據(jù)，即使對于同一單位內(nèi)部的數(shù)據(jù)，也因為多年積累的業(yè)務(wù)變化導(dǎo)致數(shù)據(jù)描述結(jié)構(gòu)發(fā)生變化，要實(shí)現(xiàn)各個版本的數(shù)據(jù)從源系統(tǒng)到目標(biāo)系統(tǒng)的一一對應(yīng)，就需要多次的ETL工具差異性調(diào)整和清洗，需要投入大量的人力成本。②耗時長。ETL 工具針對系統(tǒng)替換場景中的數(shù)據(jù)遷移缺乏針對性，并且遷移過程出現(xiàn)的異常難以準(zhǔn)確定位，影響執(zhí)行效率。另一方面，當(dāng)遷移數(shù)據(jù)體量過大或者轉(zhuǎn)換邏輯復(fù)雜時，ETL工具數(shù)據(jù)傳輸效率會急劇降低，這會導(dǎo)致歷史公文數(shù)據(jù)的遷移耗時較長。③損耗大。ETL工具在清洗過程中根據(jù)預(yù)置的清洗邏輯提取符合規(guī)則的源數(shù)據(jù)信息，這樣就會導(dǎo)致可能存在利用價值但不符合規(guī)則的數(shù)據(jù)被清洗掉。因此，使用ETL工具的遷移方法更適合小數(shù)據(jù)量的轉(zhuǎn)換遷移或者是從生產(chǎn)系統(tǒng)到數(shù)據(jù)倉庫的數(shù)據(jù)匯聚等場景，不適合應(yīng)用在異構(gòu)系統(tǒng)替換的歷史數(shù)據(jù)遷移場景中。

2 基于ES的異構(gòu)數(shù)據(jù)遷移方法

2.1 ElasticSearch介紹

ElasticSearch[13](一個開源搜索與數(shù)據(jù)分析引擎，以下簡稱ES)是一個分布式、高擴(kuò)展、高實(shí)時的搜索與數(shù)據(jù)分析引擎，使用Lucene(用于全文檢索的開源查詢引擎和索引引擎)。ES通過Lucene的存儲功能實(shí)現(xiàn)數(shù)據(jù)的存儲和索引，使用JSON( JavaScript Object Notation， JS 對象簡譜，一種數(shù)據(jù)交互格式)格式來承載數(shù)據(jù)模型?？紤]到可以通過豐富的QueryDSL(Java開源框架用于構(gòu)建類型安全的SQL查詢語句)查詢功能實(shí)現(xiàn)數(shù)據(jù)查詢，ES其實(shí)也是一種文檔型數(shù)據(jù)庫。通過類比方式能更清楚理解ES的體系架構(gòu)，如表1所示。ES基于一個分布式彈性可擴(kuò)展集群，對應(yīng)關(guān)系型數(shù)據(jù)庫集群；Node(節(jié)點(diǎn))表示ES服務(wù)進(jìn)程，一臺服務(wù)器上可以啟動一個或者多個Node(ES服務(wù)進(jìn)程)；關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)庫(Database)，對應(yīng)于ES中的索引(Index)；一個數(shù)據(jù)庫下面有多張表(Table)組成，對應(yīng)ES索引下面多個類型(Type)；一個關(guān)系型數(shù)據(jù)庫下的數(shù)據(jù)由多行(Row)多列(Column，屬性)組成，與ES中Type由多個文檔(Document)組成相對應(yīng)。

表1 ES與關(guān)系型數(shù)據(jù)對比結(jié)構(gòu)

2.2 基于ES的數(shù)據(jù)遷移方法

本文提出一種基于ES中間庫的異構(gòu)數(shù)據(jù)遷移方法，能夠?qū)崿F(xiàn)本次歷史公文數(shù)據(jù)向國產(chǎn)化安全可靠環(huán)境的平滑遷移，利用ES的多重特性能夠較好的解決ETL工具方法在異構(gòu)生態(tài)數(shù)據(jù)遷移時的問題：

(1)目標(biāo)系統(tǒng)和源系統(tǒng)差異的本質(zhì)是業(yè)務(wù)層邏輯發(fā)生了變化，進(jìn)而帶來數(shù)據(jù)層的較大差異。借助ES的動態(tài)映射能力，可以動態(tài)檢測源系統(tǒng)數(shù)據(jù)字段類型、自動建立表結(jié)構(gòu)以及動態(tài)調(diào)整字段，較好地屏蔽源系統(tǒng)數(shù)據(jù)對應(yīng)用的依賴關(guān)系，通過業(yè)務(wù)的邏輯映射解決數(shù)據(jù)層的差異問題。對于本次公文數(shù)據(jù)遷移可以以目標(biāo)系統(tǒng)的業(yè)務(wù)邏輯定義一套ES文檔規(guī)則，再通過數(shù)據(jù)補(bǔ)齊和校驗工作完成各個單位的差異性調(diào)整。

(2)ETL工具在進(jìn)行分析、計算、查找、聚集、過濾、加載各個環(huán)境都依賴傳統(tǒng)關(guān)系型數(shù)據(jù)的檢索能力，處理性能不適應(yīng)大量的異構(gòu)數(shù)據(jù)處理，及時性和一致性差，提取數(shù)據(jù)存在一定的瓶頸[14]。針對在進(jìn)行全庫全表的系統(tǒng)替換的數(shù)據(jù)遷移場景下，ES的分布式、可擴(kuò)展的性能優(yōu)勢可以得到充分體現(xiàn)。

(3)利用ES非關(guān)系型數(shù)據(jù)庫存儲能力的特性，使得對數(shù)據(jù)結(jié)構(gòu)要求較低，在遷移過程中能節(jié)省大量的異常處理時間。另一方面，ES中存儲的每一個條目不需要有相同的結(jié)構(gòu)和類型，因此可以簡單的拼裝多個JSON形成ES的Document(文檔)，所有的歷史數(shù)據(jù)信息都可以被記錄下來，不會因為要嚴(yán)格滿足目標(biāo)數(shù)據(jù)庫結(jié)構(gòu)而丟失信息。

除以上的優(yōu)勢外，考慮到ES具有開放的QueryDSL能力，使用增(Put/Post)、刪(Delete)、改(Update)、查(Get)命令可以滿足關(guān)系型數(shù)據(jù)庫的各種操作，可以實(shí)現(xiàn)向各類國產(chǎn)化、開源數(shù)據(jù)庫的訪問操作，有利于歷史數(shù)據(jù)的再利用。同時ES本身是Apache軟件基金會下開源項目，基于Java解釋性語言開發(fā)，可在多個國產(chǎn)化生態(tài)體系下實(shí)現(xiàn)適配使用。

以電子公文系統(tǒng)數(shù)據(jù)遷移為例，如圖1所示：多個源系統(tǒng)以關(guān)系型數(shù)據(jù)庫表存儲，可能產(chǎn)生不同的業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)和類型，將整個業(yè)務(wù)信息表單整合為一個JSON對象，經(jīng)過中間ES庫直接構(gòu)建顯示整個文檔，再統(tǒng)一匯聚轉(zhuǎn)到目標(biāo)數(shù)據(jù)庫。

圖1 基于ES中間庫的數(shù)據(jù)遷移示意

此外，在數(shù)據(jù)層面的字段遷移過程中可能出現(xiàn)3類情況需要處理，即：①源系統(tǒng)存在的字段目標(biāo)系統(tǒng)因為業(yè)務(wù)的變化不存在，直接遷移中間庫轉(zhuǎn)換時丟棄即可。②目標(biāo)系統(tǒng)存在字段源系統(tǒng)缺失。比如示例中目標(biāo)系統(tǒng)增加了新的“備注”數(shù)據(jù)項，而源系統(tǒng)A沒有此數(shù)據(jù)項，因此在遷移后還需要有數(shù)據(jù)補(bǔ)齊的策略。③2個系統(tǒng)之間字段不一致，需要建立映射關(guān)系，比如示例中不同源系統(tǒng)中“發(fā)文說明”和“摘要”字段都統(tǒng)一為“摘要”項。在實(shí)際的國產(chǎn)化遷移過程中，由于不同生態(tài)體系的差異以及數(shù)據(jù)服務(wù)的需要，重點(diǎn)是針對以下關(guān)鍵查詢類數(shù)據(jù)類型字段創(chuàng)建映射(mapping)規(guī)則:關(guān)鍵詞(Keyword),需要進(jìn)行精確查找的數(shù)據(jù)字段，如一些狀態(tài)、枚舉數(shù)據(jù)等，將各單位的ID專門進(jìn)行存儲，這樣在對數(shù)據(jù)進(jìn)行搜索時，各單位的數(shù)據(jù)可以做到邏輯隔離；數(shù)值型,需要進(jìn)行數(shù)字區(qū)間查詢的數(shù)據(jù)字段；日期型,需要進(jìn)行日期區(qū)間查詢的數(shù)據(jù)字段；文本型,進(jìn)行全文檢索的數(shù)據(jù)字段。

2.3 ES中間庫的設(shè)計

除了解決源庫到目標(biāo)庫的遷移外，遷移中間庫的ES作為一種非關(guān)系型數(shù)據(jù)庫，也可以直接對外提供數(shù)據(jù)服務(wù)，特別是當(dāng)這些歷史數(shù)據(jù)僅需要提供查詢的場景下。仍以電子公文系統(tǒng)數(shù)據(jù)的中間ES庫為例，為提升服務(wù)效率，還需要對公文系統(tǒng)中各種公文業(yè)務(wù)類型建立索引。ES基于倒排索引(inverted index)核心算法，查詢性能強(qiáng)于B-Tree(多路搜索樹，是數(shù)據(jù)庫中存取和查找文件常用的一種方法)類型所有數(shù)據(jù)產(chǎn)品[15]，尤其是關(guān)系型數(shù)據(jù)庫方面。當(dāng)數(shù)據(jù)量超過千萬量級時，數(shù)據(jù)檢索效率的表現(xiàn)非常出色，同時由于利用分片技術(shù)實(shí)現(xiàn)分布式性能提升，在氣象海量數(shù)據(jù)的處理已有很多應(yīng)用[16-17]。

為保證源系統(tǒng)數(shù)據(jù)在目標(biāo)系統(tǒng)依然能保持同樣的數(shù)據(jù)訪問權(quán)限，還需要在ES庫補(bǔ)充加載數(shù)據(jù)的訪問控制信息。將源系統(tǒng)的授權(quán)訪問用戶信息封裝到一個數(shù)組類型中，包含該文件在流轉(zhuǎn)中所有流轉(zhuǎn)過的用戶集合，進(jìn)行搜索時只有流經(jīng)過的用戶才能檢索到該文件。

2.4 數(shù)據(jù)遷移的校驗

在整個遷移過程中，需要重點(diǎn)針對數(shù)據(jù)正確性進(jìn)行校驗，數(shù)據(jù)轉(zhuǎn)換與遷移包括源系統(tǒng)和目標(biāo)系統(tǒng)的數(shù)據(jù)字典整理、系統(tǒng)數(shù)據(jù)質(zhì)量分析，基于結(jié)構(gòu)差異性分析和映射關(guān)系評估在后期校驗的重點(diǎn)關(guān)注點(diǎn)，包括：①數(shù)據(jù)格式檢查,檢查數(shù)據(jù)的格式是否一致和可用。②數(shù)據(jù)長度檢查,檢查數(shù)據(jù)的有效長度。特別關(guān)注對于char類型的字段到varchar類型的轉(zhuǎn)換。③區(qū)間范圍檢查,檢查數(shù)據(jù)是否包含在定義的最大值和最小值的區(qū)間中；例如年齡為300，或錄入日期在4000-01-01。④空值、默認(rèn)值檢查,檢查新舊系統(tǒng)定義的空值、默認(rèn)值是否相同，不同數(shù)據(jù)庫系統(tǒng)對空值的定義可能不同，需要特別關(guān)注。⑤完整性檢查,檢查數(shù)據(jù)的關(guān)聯(lián)完整性。如記錄引用的代碼值是否存在，特別需要注意的部分源系統(tǒng)為了提高效率而去掉了外鍵約束。⑥一致性檢查,檢查邏輯上是否存在違反一致性的數(shù)據(jù)。

在保證遷移整合后數(shù)據(jù)條目的完整性、遷移整合后每條數(shù)據(jù)內(nèi)容的一致性方面，主要手段包括：①數(shù)據(jù)遷移過程中對每條數(shù)據(jù)標(biāo)記遷移狀態(tài)。若寫入ES庫時失敗時的記錄日志，通過人工比對錯誤信息進(jìn)行數(shù)據(jù)核驗。②數(shù)據(jù)遷移完成后，還會進(jìn)行一次數(shù)據(jù)總量以及數(shù)據(jù)內(nèi)容的抽樣驗證。

3 數(shù)據(jù)遷移服務(wù)的構(gòu)建

3.1 搭建電子公文數(shù)據(jù)遷移ES中間庫

使用3臺國產(chǎn)化服務(wù)器搭載開源CentOS操作系統(tǒng)部署構(gòu)建3節(jié)點(diǎn)的ES集群。每個節(jié)點(diǎn)都設(shè)置為主節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)和協(xié)調(diào)節(jié)點(diǎn)，由集群內(nèi)部的發(fā)現(xiàn)(Discovery)模塊選舉產(chǎn)生主節(jié)點(diǎn)。集群中每個節(jié)點(diǎn)都會同步復(fù)制分片副本，使得任意一個分片出現(xiàn)問題或節(jié)點(diǎn)出現(xiàn)問題都不會影響服務(wù)?；贒iscovery模塊的發(fā)現(xiàn)功能可以快速在集群中添加節(jié)點(diǎn)，實(shí)現(xiàn)橫向擴(kuò)展。應(yīng)用服務(wù)器掛載NAS(Network Attached Storage,網(wǎng)絡(luò)附屬存儲)存儲以滿足文件形式存儲。將歷史公文的基礎(chǔ)數(shù)據(jù)、流程數(shù)據(jù)和權(quán)限數(shù)據(jù)存放與ES中，正文附件仍以文件方式存放在NAS中，通過調(diào)整現(xiàn)有應(yīng)用程序來訪問ES中的歷史數(shù)據(jù)，整體架構(gòu)如圖2所示。

圖2 基于ES中間庫的整體部署架構(gòu)

根據(jù)管理信息系統(tǒng)業(yè)務(wù)集約化要求，氣象政務(wù)管理平臺、信息門戶系統(tǒng)以及電子公文系統(tǒng)將采用統(tǒng)一的國產(chǎn)化關(guān)系型數(shù)據(jù)庫集群存儲各類新聞公告、公文表單、文書檔案等業(yè)務(wù)信息以及相關(guān)元數(shù)據(jù)等管控信息[18-19]；所需要的公文附件、圖片、音視頻以及日志等信息以文件形式存在分布式華為國產(chǎn)芯片NAS存儲集群中，如圖3所示。由于數(shù)據(jù)存儲邏輯和業(yè)務(wù)邏輯的分離，考慮到公文歷史數(shù)據(jù)主要用于查詢，不對數(shù)據(jù)進(jìn)行增刪改，可以直接應(yīng)用ES中間庫進(jìn)行數(shù)據(jù)服務(wù)。

圖3 政務(wù)管理數(shù)據(jù)資源規(guī)劃設(shè)計示意

3.2 建立數(shù)據(jù)查詢功能

為實(shí)現(xiàn)ES中間庫和業(yè)務(wù)數(shù)據(jù)庫提供無縫隙服務(wù)，需要在目標(biāo)系統(tǒng)封裝各類數(shù)據(jù)源的訪問邏輯，系統(tǒng)將國產(chǎn)數(shù)據(jù)庫和ES庫分別存儲的實(shí)時數(shù)據(jù)和歷史數(shù)據(jù)分開檢索，拼接為一個結(jié)果集后最終以表單形式向用戶推送。同時，在用戶端還需要仿造目標(biāo)系統(tǒng)功能構(gòu)建數(shù)據(jù)查詢模塊并提供以下功能：

(1)模糊查詢。仿照關(guān)鍵字全文檢索方式，提供和目標(biāo)系統(tǒng)查詢功能相似的查詢方式，對日期、緊急程度、擬稿人等字段進(jìn)行分字段精確查詢，查詢結(jié)果可顯示出關(guān)鍵字段和內(nèi)容片段，命中的內(nèi)容以顏色標(biāo)識出。

(2)數(shù)據(jù)隔離。數(shù)據(jù)以機(jī)構(gòu)為單位進(jìn)行隔離，不同機(jī)構(gòu)單位只能查詢到本機(jī)構(gòu)單位的數(shù)據(jù)。

(3)權(quán)限控制。根據(jù)角色關(guān)系控制授權(quán)人員數(shù)據(jù)訪問。

3.3 遷移效果

2021年初，配合氣政通2.0國產(chǎn)化版本上線，應(yīng)用ES中間庫方案順利完成第一批試點(diǎn)單位(中國氣象局機(jī)關(guān)、京津冀三省)對原綜合管理信息系統(tǒng)的升級，實(shí)現(xiàn)了在搭載國產(chǎn)鯤鵬芯片的華為TaiShan服務(wù)器和國產(chǎn)統(tǒng)信UOS操作系統(tǒng)上，電子公文系統(tǒng)數(shù)據(jù)向達(dá)夢數(shù)據(jù)庫的遷移適配。其中，完成中國氣象局機(jī)關(guān)1782542條公文數(shù)據(jù)的遷移，ES中間庫轉(zhuǎn)換成功率100%。針對遷移數(shù)據(jù)，隨機(jī)挑選15833條數(shù)據(jù)進(jìn)行抽樣人工核驗，覆蓋各類不同類型、時間、大小的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，抽樣率0.89%。抽樣數(shù)據(jù)比對人工核驗的正確率達(dá)到100%。

4 結(jié)論與展望

本文分析了氣象部門政務(wù)管理信息系統(tǒng)在國產(chǎn)化自主可控生態(tài)體系下數(shù)據(jù)遷移使用傳統(tǒng)ETL方法存在的局限，提出了一種基于ElasticSearch的數(shù)據(jù)遷移方法，詳細(xì)闡述了數(shù)據(jù)映射、中間庫構(gòu)建以及數(shù)據(jù)校驗的技術(shù)實(shí)現(xiàn)手段。依照此方法快速實(shí)現(xiàn)了當(dāng)前綜合管理信息系統(tǒng)電子公文系統(tǒng)向氣象政務(wù)管理信息系統(tǒng)的歷史數(shù)據(jù)遷移，達(dá)到了數(shù)據(jù)遷移正確性的要求。隨著國家對安全的不斷重視，一些氣象部門重要核心應(yīng)用也將實(shí)現(xiàn)基于開源框架的安全可信要求[20]，關(guān)鍵業(yè)務(wù)從傳統(tǒng)X86架構(gòu)向國產(chǎn)化、安全可靠數(shù)據(jù)遷移適配工作將是一項十分重要的工作。未來，還將進(jìn)一步開展從ES中間庫向更多數(shù)據(jù)庫[21](虛谷以及其他開源數(shù)據(jù)庫)的遷移適配研究，同時進(jìn)一步完善遷移過程中安全性、健壯性的設(shè)計。