新一代信息技術(shù)趨勢(shì)下數(shù)據(jù)遷移的研究分析

董海波

摘 要 本文通過對(duì)大部分系統(tǒng)構(gòu)建平臺(tái)數(shù)據(jù)遷移的調(diào)研，對(duì)數(shù)據(jù)遷移的成功和失敗案例進(jìn)行分析，結(jié)合新一代技術(shù)的發(fā)展規(guī)律，闡述了數(shù)據(jù)遷移的原則、方法和校驗(yàn)方法，為今后金融信息化管理系統(tǒng)構(gòu)架設(shè)計(jì)提供了堅(jiān)實(shí)的理論依據(jù)。

關(guān)鍵詞 數(shù)據(jù)遷移;信息技術(shù);數(shù)據(jù)庫

當(dāng)今世界信息技術(shù)飛速發(fā)展，大數(shù)據(jù)、物聯(lián)網(wǎng)、人工智能等信息技術(shù)的融合發(fā)展日趨成熟，性能不斷提升，成本不斷降低。在飛速發(fā)展的趨勢(shì)下數(shù)據(jù)遷移工作就顯得格外重要。經(jīng)過大量的數(shù)據(jù)遷移工作調(diào)研中，發(fā)現(xiàn)一些共性問題。首先是不堅(jiān)持?jǐn)?shù)據(jù)遷移原則，雖然在整個(gè)過程中去的數(shù)據(jù)遷移順利完成，但經(jīng)過一段時(shí)間的系統(tǒng)工作發(fā)現(xiàn)所遷移的數(shù)據(jù)不標(biāo)準(zhǔn)且無法修復(fù)，導(dǎo)致數(shù)據(jù)遷移不法正常使用和遷移工作失敗。其次是數(shù)據(jù)遷移的方式方法選擇不正確，遷移工程完成后數(shù)據(jù)遷移校驗(yàn)過程不完善，最終導(dǎo)致數(shù)據(jù)遷移失敗。

1數(shù)據(jù)遷移原則

數(shù)據(jù)遷移應(yīng)遵循一致性、完整性、標(biāo)準(zhǔn)化原則。

數(shù)據(jù)遷移應(yīng)遵循一致性原則。對(duì)重構(gòu)或新建的系統(tǒng)保障系統(tǒng)之間業(yè)務(wù)功能數(shù)據(jù)銜接應(yīng)完全一致。在新部署模式下導(dǎo)入系統(tǒng)的數(shù)據(jù)與原始數(shù)據(jù)保障一致性;替換模式下新老系統(tǒng)同步運(yùn)行需要保障系統(tǒng)數(shù)據(jù)集成完整一致。新加入的子系統(tǒng)之間的數(shù)據(jù)保障一致性。業(yè)務(wù)數(shù)據(jù)與統(tǒng)計(jì)數(shù)據(jù)一致性保障，在遷移的核心業(yè)務(wù)數(shù)據(jù)基礎(chǔ)上，遷移必要的歷史數(shù)據(jù)，以滿足統(tǒng)計(jì)決策數(shù)據(jù)統(tǒng)一性要求。

數(shù)據(jù)遷移應(yīng)遵循完整性原則。遷移的數(shù)據(jù)應(yīng)包含結(jié)構(gòu)化的數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)和非結(jié)構(gòu)化的文件系統(tǒng)數(shù)據(jù)，應(yīng)包含電子檔案庫的圖形文件信息、電子文件系統(tǒng)數(shù)據(jù)和存儲(chǔ)于數(shù)據(jù)庫中的各種辦公業(yè)務(wù)數(shù)據(jù)及其他相關(guān)的各種數(shù)據(jù)。

數(shù)據(jù)遷移應(yīng)遵循標(biāo)準(zhǔn)化原則。數(shù)據(jù)遷移應(yīng)提前設(shè)定對(duì)應(yīng)標(biāo)準(zhǔn)，保障數(shù)據(jù)遷移過程高效有序進(jìn)行，規(guī)范的數(shù)據(jù)遷移過程對(duì)提高數(shù)據(jù)質(zhì)量是必不可少的首要條件。對(duì)應(yīng)的數(shù)據(jù)遷移標(biāo)準(zhǔn)應(yīng)包括：數(shù)據(jù)對(duì)照標(biāo)準(zhǔn)、數(shù)據(jù)的轉(zhuǎn)換標(biāo)準(zhǔn)和中間文本的標(biāo)準(zhǔn)，提前制定并在遷移過程中嚴(yán)格依據(jù)標(biāo)準(zhǔn)實(shí)施。除指定對(duì)應(yīng)的遷移標(biāo)準(zhǔn)外，還需要制定數(shù)據(jù)問題解決機(jī)制及流程，規(guī)范數(shù)據(jù)清理、數(shù)據(jù)問題反饋機(jī)制，將有效提高數(shù)據(jù)遷移的質(zhì)量[1]。

2數(shù)據(jù)遷移方法

數(shù)據(jù)遷移前要做好充分的準(zhǔn)備工作。首先考慮到新舊數(shù)據(jù)庫系統(tǒng)不同，整合新數(shù)據(jù)庫與原數(shù)據(jù)庫要考慮使用不同的腳本將原有數(shù)據(jù)庫表數(shù)據(jù)遷移到臨時(shí)數(shù)據(jù)庫才能做下一步的遷移工作;同時(shí)應(yīng)充分考慮到新舊數(shù)據(jù)庫表結(jié)構(gòu)是否一致，需要分別設(shè)計(jì)不同的遷移程序和執(zhí)行方案以確保數(shù)據(jù)順利遷移到新系統(tǒng)。其次，數(shù)據(jù)遷移過程中必須充分考慮數(shù)據(jù)遷移的相關(guān)內(nèi)容和相關(guān)流程，尤其是需要特別關(guān)注元數(shù)據(jù)中數(shù)據(jù)字典的歸納整理、原始數(shù)據(jù)的數(shù)量和質(zhì)量分析檢測(cè)、遷移后的數(shù)據(jù)字典分析整理、遷移前和遷移后數(shù)據(jù)內(nèi)容和質(zhì)量的差異梳理分析監(jiān)測(cè)、建立數(shù)據(jù)遷移前后的映射關(guān)系、部署梳理數(shù)據(jù)轉(zhuǎn)換和遷移的任務(wù)工作流程、制定應(yīng)急處理方案、實(shí)施數(shù)據(jù)轉(zhuǎn)換與數(shù)據(jù)遷移工作、檢查遷移數(shù)據(jù)的完整性與正確性。經(jīng)過調(diào)研分析現(xiàn)有的方法共分為三種，分別是工具遷移、手工錄入和新系統(tǒng)生成。工具遷移是指利用特定便攜的程序等手段，將原系統(tǒng)中的數(shù)據(jù)經(jīng)過分析梳理歸納，轉(zhuǎn)換并抽取到新系統(tǒng)。數(shù)據(jù)遷移程序可以選擇現(xiàn)有市面中成熟產(chǎn)品，這樣做適用于數(shù)據(jù)無特殊要求的。也可以自主開發(fā)的遷移程序，實(shí)現(xiàn)個(gè)性化的數(shù)據(jù)遷移。手工錄入是指人為手工錄入數(shù)據(jù)到新系統(tǒng)中。手工錄入既消耗人力、物力，同時(shí)人為操作的出錯(cuò)率也很難降低，不建議采納使用。手工錄入主要應(yīng)用于原系統(tǒng)數(shù)據(jù)量小，且使用其他方法遷移數(shù)據(jù)的特殊狀態(tài)。手工錄入往往是為工具遷移而無法完全遷移的補(bǔ)充方式。新系統(tǒng)生成是指在建設(shè)構(gòu)建新的系統(tǒng)時(shí)提前構(gòu)建便攜了相應(yīng)的數(shù)據(jù)生成功能，或?yàn)閿?shù)據(jù)遷移工作配套建設(shè)了相關(guān)數(shù)據(jù)，根據(jù)數(shù)據(jù)遷移的需要來生成所需的信息。新系統(tǒng)生成方法使用是有前提的，原始需遷移數(shù)據(jù)能夠通過其他數(shù)據(jù)產(chǎn)生。此方法多用于統(tǒng)計(jì)分析數(shù)據(jù)的遷移，或?qū)υ到y(tǒng)中統(tǒng)計(jì)分析數(shù)據(jù)的遷移校驗(yàn)[2]。

3驗(yàn)證數(shù)據(jù)遷移方法

通過歸納總結(jié)，數(shù)據(jù)遷移方法的驗(yàn)證主要有兩個(gè)途徑，途徑一是數(shù)據(jù)試遷移后對(duì)數(shù)據(jù)的質(zhì)量進(jìn)行分析;途徑二是數(shù)據(jù)試遷移后在測(cè)試環(huán)境執(zhí)行動(dòng)態(tài)查詢、報(bào)表統(tǒng)計(jì)、業(yè)務(wù)操作來檢查數(shù)據(jù)抽取、遷移的方法是否正確。通過對(duì)遷移流程、工具、方式進(jìn)行多次測(cè)試，反復(fù)進(jìn)行，發(fā)現(xiàn)問題，解決問題，直到數(shù)據(jù)質(zhì)量比對(duì)完全正確，測(cè)試環(huán)境業(yè)務(wù)操作、查詢和報(bào)表統(tǒng)計(jì)功能準(zhǔn)確無誤。

（1）數(shù)據(jù)進(jìn)行質(zhì)量分析。數(shù)據(jù)遷移前必須進(jìn)行數(shù)據(jù)的質(zhì)量監(jiān)測(cè)分析，即通過數(shù)據(jù)監(jiān)測(cè)抽取對(duì)數(shù)據(jù)質(zhì)量踐行檢查，可以使用相關(guān)工具或有針對(duì)性的自行編寫檢查程序進(jìn)行數(shù)據(jù)校驗(yàn)。數(shù)據(jù)監(jiān)測(cè)檢查的重點(diǎn)體現(xiàn)在：數(shù)據(jù)和數(shù)據(jù)結(jié)構(gòu)的完整性查，數(shù)據(jù)主鍵和引用外鍵檢查;數(shù)據(jù)的高度一致性，含義相同的數(shù)據(jù)在不同引用位置的數(shù)據(jù)值是否高度一致;記錄條數(shù)檢查;特殊樣本數(shù)據(jù)的檢查。（2）通過測(cè)試環(huán)境對(duì)遷移方法進(jìn)行檢查。數(shù)據(jù)試遷移后在測(cè)試環(huán)境進(jìn)行查詢、報(bào)表打印和舊系統(tǒng)進(jìn)行核對(duì);在測(cè)試環(huán)境運(yùn)行業(yè)務(wù)功能，檢查數(shù)據(jù)是否正確，重點(diǎn)驗(yàn)證靜態(tài)數(shù)據(jù)是否正確;在測(cè)試環(huán)境運(yùn)行業(yè)務(wù)流程，檢查數(shù)據(jù)流轉(zhuǎn)是否正確，重點(diǎn)驗(yàn)證動(dòng)態(tài)數(shù)據(jù)是否正確。在實(shí)際工作中，通常的方法是將遷移后的數(shù)據(jù)恢復(fù)到遷移之前的數(shù)據(jù)系統(tǒng)前一天的狀態(tài)，然后將最后一天發(fā)生在遷移數(shù)據(jù)系統(tǒng)上的數(shù)據(jù)全部補(bǔ)錄到新系統(tǒng)，檢查遷移之前系統(tǒng)數(shù)據(jù)是否存在不一致的情況，同時(shí)也要講遷移后的系統(tǒng)數(shù)據(jù)結(jié)果進(jìn)行各種比對(duì)，最終確定遷移方法的可能性。

4遷移數(shù)據(jù)驗(yàn)證

數(shù)據(jù)遷移完成后的首要任務(wù)是進(jìn)行遷移數(shù)據(jù)的驗(yàn)證。首先通過數(shù)據(jù)遷移驗(yàn)證程序進(jìn)行數(shù)據(jù)檢查，檢查數(shù)據(jù)遷移的完整性和真實(shí)性，使用數(shù)據(jù)遷移驗(yàn)證程序?qū)π屡f系統(tǒng)的數(shù)據(jù)表字段進(jìn)行比對(duì)，確保舊系統(tǒng)中的字段經(jīng)過遷移轉(zhuǎn)換后的結(jié)果與新系統(tǒng)的數(shù)據(jù)表字段能夠一一對(duì)應(yīng);其次使用數(shù)據(jù)遷移程序統(tǒng)計(jì)新舊系統(tǒng)中各數(shù)據(jù)表遷移數(shù)據(jù)的總記錄數(shù)以及重要數(shù)據(jù)的合計(jì)數(shù)并進(jìn)行對(duì)比，確保遷移數(shù)據(jù)的總條數(shù)的合計(jì)性一致，從而確保待遷移數(shù)據(jù)的完整性。

最后值得一提的是在實(shí)際的數(shù)據(jù)遷移工作中，通過對(duì)舊數(shù)據(jù)庫進(jìn)行分層、分類和分時(shí)備份，是預(yù)防數(shù)據(jù)遷移過程中出現(xiàn)意外情況的有效解決途徑。

參考文獻(xiàn)

[1] 楊洪章，楊雅輝，屠要峰，等.基于“采集—預(yù)測(cè)—遷移—反饋”機(jī)制的主動(dòng)容錯(cuò)技術(shù)[J].計(jì)算機(jī)研究與發(fā)展，2020，57（2）：306-317.

[2] 賓璐.淺析信息系統(tǒng)數(shù)據(jù)遷移的方法[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2020，（1）：66-67.