用電信息采集系統(tǒng)跨平臺(tái)數(shù)據(jù)遷移問題分析及處理

李　翀,高玲玲,陶　鵬, 唐如意,孫文磊,趙　佩

(國網(wǎng)河北省電力公司電力科學(xué)研究院，石家莊　050021；2.國網(wǎng)河北省電力公司，石家莊　050021)

?

用電信息采集系統(tǒng)跨平臺(tái)數(shù)據(jù)遷移問題分析及處理

李翀1,高玲玲1,陶鵬1, 唐如意2,孫文磊1,趙佩1

(國網(wǎng)河北省電力公司電力科學(xué)研究院，石家莊050021；2.國網(wǎng)河北省電力公司，石家莊050021)

摘要：介紹用電信息采集系統(tǒng)升級(jí)改造中面臨跨平臺(tái)數(shù)據(jù)遷移的現(xiàn)狀，針對(duì)該次數(shù)據(jù)遷移是基于跨操作系統(tǒng)平臺(tái)與不同版本數(shù)據(jù)庫的異構(gòu)數(shù)據(jù)遷移問題，進(jìn)行原因分析，從數(shù)據(jù)遷移架構(gòu)、數(shù)據(jù)遷移前期準(zhǔn)備、數(shù)據(jù)遷移步驟等方面提出2次存儲(chǔ)數(shù)據(jù)遷移的解決方案，并說明處理效果。

關(guān)鍵詞：用電信息采集系統(tǒng)；跨平臺(tái)；數(shù)據(jù)遷移

在國網(wǎng)河北省電力公司實(shí)施的用電信息采集系統(tǒng)主站升級(jí)改造過程中，遇到了數(shù)據(jù)遷移跨操作系統(tǒng)平臺(tái)的瓶頸問題。這種數(shù)據(jù)遷移涉及到異構(gòu)存儲(chǔ)，保證業(yè)務(wù)連續(xù)性是存儲(chǔ)數(shù)據(jù)遷移的核心要求，保證業(yè)務(wù)數(shù)據(jù)的可靠性是數(shù)據(jù)遷移成敗的關(guān)鍵。以下提出采用VPLEX引擎，實(shí)現(xiàn)異構(gòu)存儲(chǔ)之前的數(shù)據(jù)同步，實(shí)現(xiàn)數(shù)據(jù)不丟失，進(jìn)行業(yè)務(wù)基本無中斷的在線數(shù)據(jù)遷移[1]。

1存在的問題

用電信息采集系統(tǒng)改造的目的之一就是在數(shù)據(jù)遷移完成后，將現(xiàn)有的用電信息采集系統(tǒng)改造成生產(chǎn)庫(IBM數(shù)據(jù)庫服務(wù)器)、查詢庫(SUN數(shù)據(jù)庫服務(wù)器)雙庫運(yùn)行，生產(chǎn)庫連接的存儲(chǔ)由現(xiàn)有的IBM DS8100更換成HP P9500，并實(shí)現(xiàn)數(shù)據(jù)的遷移。查詢庫連接的存儲(chǔ)為HP P9500，也要實(shí)現(xiàn)數(shù)據(jù)的遷入。生產(chǎn)庫實(shí)現(xiàn)實(shí)時(shí)類數(shù)據(jù)的寫入，查詢庫實(shí)現(xiàn)統(tǒng)計(jì)類數(shù)據(jù)的讀取。目前生產(chǎn)庫服務(wù)器、存儲(chǔ)及其連接的交換機(jī)與查詢庫服務(wù)器、存儲(chǔ)及交換機(jī)的構(gòu)架示意如圖1所示。

圖1　生產(chǎn)庫、查詢庫服務(wù)器、存儲(chǔ)及其

a. 原生產(chǎn)庫數(shù)據(jù)庫環(huán)境。生產(chǎn)庫數(shù)據(jù)庫服務(wù)器(IBM P570)，連接原生產(chǎn)庫數(shù)據(jù)庫存儲(chǔ)設(shè)備(IBM DS8100)，安裝oracle 版本為10.2.0.5.0，數(shù)據(jù)存儲(chǔ)方式為裸設(shè)備。

b. 查詢庫數(shù)據(jù)庫環(huán)境。查詢庫數(shù)據(jù)庫服務(wù)器(T5-8),連接查詢庫存儲(chǔ)設(shè)備(HP P9500)，安裝oracle版本為10.2.0.5.0，數(shù)據(jù)存儲(chǔ)方式為ASM。

c. 新生產(chǎn)庫數(shù)據(jù)庫環(huán)境。生產(chǎn)庫數(shù)據(jù)庫服務(wù)器(IBM P570)，連接新生產(chǎn)庫數(shù)據(jù)庫存儲(chǔ)設(shè)備(HP P9500)，安裝oracle 版本為10.2.0.5.0，數(shù)據(jù)存儲(chǔ)方式為裸設(shè)備。通過結(jié)構(gòu)可以看出，數(shù)據(jù)遷移過程中查詢庫SUN小型機(jī)與生產(chǎn)庫IBM數(shù)據(jù)庫服務(wù)器屬不同的操作系統(tǒng)平臺(tái)，另外數(shù)據(jù)的存儲(chǔ)方式不一致，生產(chǎn)庫的存儲(chǔ)方式為裸設(shè)備，查詢庫為ASM方式。實(shí)際機(jī)房的空間限制，所有設(shè)備存儲(chǔ)不能同時(shí)上架;由于服務(wù)器屬不同的操作系統(tǒng)平臺(tái)，數(shù)據(jù)庫備份系統(tǒng)備份的數(shù)據(jù)，無法跨平臺(tái)恢復(fù)到SUN小型機(jī)搭建的查詢庫數(shù)據(jù)庫上；數(shù)據(jù)的存儲(chǔ)方式不一致，存在數(shù)據(jù)不識(shí)別問題；由于機(jī)房空間不足，使兩套HP P9500存儲(chǔ)設(shè)備不能同時(shí)上架，存在數(shù)據(jù)遷移的時(shí)間和空間上的不連續(xù)性；新購查詢庫的HP P9500和IBM DS8100分屬不同的SAN網(wǎng)絡(luò)中，將影響二者之間的傳輸。因此該次數(shù)據(jù)遷移是基于跨操作系統(tǒng)平臺(tái)與不同版本數(shù)據(jù)庫的異構(gòu)數(shù)據(jù)遷移，安全風(fēng)險(xiǎn)大，技術(shù)含量高，業(yè)務(wù)水平要求高。

2原因分析

存儲(chǔ)數(shù)據(jù)遷移項(xiàng)目與系統(tǒng)實(shí)施項(xiàng)目通常并行執(zhí)行，技術(shù)含量高，業(yè)務(wù)水平要求高，變化速度快。在傳統(tǒng)存儲(chǔ)遷移的過程中，業(yè)務(wù)下線時(shí)間超過計(jì)劃和預(yù)期的情況經(jīng)常發(fā)生；存儲(chǔ)遷移過程中，面臨技術(shù)升級(jí)或是架構(gòu)更新所帶來的兼容性風(fēng)險(xiǎn)；在架構(gòu)升級(jí)之后，性能不升反降、數(shù)據(jù)受損、數(shù)據(jù)丟失等，也時(shí)刻的困擾著實(shí)施存儲(chǔ)遷移行為的客戶。若對(duì)存儲(chǔ)遷移的重要性的估計(jì)不夠，往往不足以處理復(fù)雜多變的存儲(chǔ)更換問題。主要遷移方式有存儲(chǔ)底層遷移方式：進(jìn)行存儲(chǔ)底層的數(shù)據(jù)復(fù)制，要求存儲(chǔ)同一品牌同一型號(hào)；虛擬化層遷移方式：采用VPLEX引擎，實(shí)現(xiàn)異構(gòu)存儲(chǔ)之前的數(shù)據(jù)同步，進(jìn)行業(yè)務(wù)基本無中斷的在線數(shù)據(jù)遷移；數(shù)據(jù)庫層遷移方式：采用oracle的數(shù)據(jù)泵實(shí)現(xiàn)[2,3]。

有許多不同的工具可用來簡化存儲(chǔ)系統(tǒng)之間的數(shù)據(jù)遷移。有些是基于主機(jī)的，如Oracle RMAN備份、 EMC Open Replicator 或 PPME Copy，或者是內(nèi)置于主機(jī)邏輯卷管理器中的功能。盡管這些工具適用于某些情形，但是它們要使用主機(jī)資源，并要求服務(wù)器和應(yīng)用程序管理員參與。其他工具是基于陣列的，如 SAN CopyTM和 Open Migrator。EMC VPLEX 提供了第3個(gè)選項(xiàng)，那就是基于SAN網(wǎng)絡(luò)，數(shù)據(jù)就可以在陣列之間無中斷地移動(dòng)，而不需要主機(jī)或存儲(chǔ)系統(tǒng)的直接參與。最為關(guān)鍵的一點(diǎn)是業(yè)務(wù)的停機(jī)時(shí)間往往是小時(shí)、甚至是天計(jì)數(shù)的。

用電信息采集存儲(chǔ)數(shù)據(jù)遷移涉及到異構(gòu)平臺(tái)和存儲(chǔ)方式，本次遷移采用虛擬化層的遷移方式，存儲(chǔ)數(shù)據(jù)遷移基于EMC公司的VPLEX硬件，依賴VPLEX硬件強(qiáng)大穩(wěn)定的引擎功能，縮短停機(jī)時(shí)間降低主機(jī)負(fù)荷，確保數(shù)據(jù)遷移后的完整性和準(zhǔn)確性。該方式也解決了機(jī)房空間存在限制，設(shè)備存儲(chǔ)不能同時(shí)上架的問題。

3數(shù)據(jù)遷移解決方案

3.1第一次存儲(chǔ)數(shù)據(jù)遷移

3.1.1數(shù)據(jù)遷移架構(gòu)

如圖2所示，機(jī)房內(nèi)部署一套EMC私有云控制器VPLEX，數(shù)據(jù)庫應(yīng)用通過FC SAN方式訪問私有云控制器VPLEX，在私有云控制器VPLEX的幫助下，2個(gè)存儲(chǔ)的數(shù)據(jù)可以互為鏡像，生產(chǎn)庫IBM DS8100和查詢庫HP P9500鏡像后的虛擬化存儲(chǔ)空間通過私有云控制器VPLEX提供給數(shù)據(jù)庫主機(jī)使用，數(shù)據(jù)庫主備存儲(chǔ)是Active/Active模式，可容忍任一存儲(chǔ)的故障；虛擬化部分，ESXServer可以部署成高可用性群集HA方式，在災(zāi)難發(fā)生造成某一個(gè)存儲(chǔ)不可用的時(shí)候，另外一個(gè)存儲(chǔ)仍然可以提供服務(wù)，應(yīng)用沒有中斷。EMC利用存儲(chǔ)陣列VNX5500作為底層存儲(chǔ)，該存儲(chǔ)與舊有的生產(chǎn)庫IBM DS8100與查詢庫HP P9500互為鏡像，為數(shù)據(jù)提供最高級(jí)別的保護(hù)。

圖2　第一次存儲(chǔ)數(shù)據(jù)遷移架構(gòu)示意

為了基于VPLEX硬件的數(shù)據(jù)遷移方案的實(shí)施，2臺(tái)brocade交換機(jī)與VPLEX設(shè)備、查詢庫HP P9500進(jìn)行物理連接和邏輯配置，形成如下架構(gòu)：

a. 在查詢庫HP P9500上面確認(rèn)提供生產(chǎn)庫可用的空間，并且劃分相應(yīng)的卷；

b. 將生產(chǎn)庫IBM DS8100的數(shù)據(jù)在線遷移至查詢庫 HP P9500；

c. 搬出IBM DS8100。

3.1.2數(shù)據(jù)遷移前期準(zhǔn)備

a. 需完成SAN交換機(jī)劃zoning，保證私有云控制器VPLEX后端端口與生產(chǎn)庫IBM DS8100和查詢庫HP P9500存儲(chǔ)之間的數(shù)據(jù)傳輸，保證私有云控制器VPLEX前端端口與IBM小機(jī)之間數(shù)據(jù)傳輸。

b. 完成查詢庫HP P9500存儲(chǔ)數(shù)據(jù)LUN的劃分，保證與生產(chǎn)庫IBM DS8100的劃分一致。

c. 完成查詢庫HP P9500劃分4個(gè)80 G的空間給私有云控制器VPLEX，作為私有云控制器VPLEX的META卷。

d. 完成私有云控制器VPLEX獲取查詢庫HP P9500存儲(chǔ)分過來的4個(gè)80 G的空間。

e. 如果條件允許，對(duì)服務(wù)器、軟件及相關(guān)設(shè)備進(jìn)行重啟，確保遷移環(huán)境正常。

3.1.3數(shù)據(jù)遷移步驟

數(shù)據(jù)遷移前期準(zhǔn)備工作完成后，開始進(jìn)行數(shù)據(jù)遷移。主要由臨時(shí)存儲(chǔ)空間劃分、私有云控制器VPLEX配置及多路徑軟件安裝，數(shù)據(jù)遷移組成。

a. 臨時(shí)存儲(chǔ)空間劃分。在IBM小機(jī)上，關(guān)閉ORACEL RAC數(shù)據(jù)庫、關(guān)閉HACMP、確認(rèn)VG狀態(tài)已變成關(guān)閉OFF。在生產(chǎn)庫IBM DS8100上，將原來直接劃分給2臺(tái)小機(jī)的邏輯單元號(hào)LUN全部剔除，將剔除的邏輯單元號(hào)LUN重新劃分給私有云控制器VPLEX。

b. 私有云控制器VPLEX配置及多路徑軟件安裝。在私有云控制器VPLEX上，私有云控制器VPLEX識(shí)別生產(chǎn)庫IBMDS8100分配過來的邏輯單元號(hào)LUN，對(duì)邏輯單元號(hào)LUN進(jìn)行CLAIM識(shí)別。將所有LUN的模式配置成1：1 MAPPING，然后重新分配給IBM小機(jī)。在IBM小機(jī)上，安裝EMC多路徑軟件，使用CFMGR命令重新掃描磁盤信息，確認(rèn)IBM小機(jī)磁盤識(shí)別正常(查看磁盤屬性，如果不是并行模式，則修改為并行模式)，查看IBM小機(jī)的PVID和VG信息都正確。啟動(dòng)HACMP，查看ORACEL RAC設(shè)備的權(quán)限和屬性都正確，啟動(dòng)ORAClE RAC。

c. 數(shù)據(jù)遷移。將生產(chǎn)庫IBM DS8100存儲(chǔ)數(shù)據(jù)遷移至查詢庫HP P9500存儲(chǔ)。通過采用“添加鏡像卷”的方式將查詢庫HP P9500存儲(chǔ)的LUN和IBM DS8100的卷做鏡像，如果數(shù)據(jù)遷移工作對(duì)系統(tǒng)壓力影響較大，需要在夜間系統(tǒng)業(yè)務(wù)不繁忙的時(shí)候進(jìn)行數(shù)據(jù)遷移。

d. 數(shù)據(jù)驗(yàn)證。數(shù)據(jù)從生產(chǎn)庫IBM DS8100存儲(chǔ)設(shè)備遷移至查詢庫HP P9500存儲(chǔ)設(shè)備后，需要對(duì)遷移數(shù)據(jù)進(jìn)行驗(yàn)證，確保數(shù)據(jù)的完整性、可用性。

e. 系統(tǒng)試運(yùn)行。存儲(chǔ)數(shù)據(jù)遷移完成后，需要系統(tǒng)試運(yùn)行一段時(shí)間，確保系統(tǒng)運(yùn)行穩(wěn)定，確保生產(chǎn)庫IBM DS8100存儲(chǔ)從私有云控制器VPLEX剔除后，不會(huì)影響系統(tǒng)正常運(yùn)行。

f. 存儲(chǔ)設(shè)備更換。系統(tǒng)試運(yùn)行穩(wěn)定后，解除生產(chǎn)庫IBM DS8100和查詢庫HP P9500存儲(chǔ)直接的鏡像關(guān)系，并將生產(chǎn)庫IBM DS8100存儲(chǔ)的LUN全部從私有云控制器VPLEX中剔除。將生產(chǎn)庫IMB DS8100從機(jī)房移出，將新存儲(chǔ)生產(chǎn)庫的查詢庫HP P9500移進(jìn)機(jī)房上架。

3.2第二次存儲(chǔ)數(shù)據(jù)遷移

同理，第二次存儲(chǔ)數(shù)據(jù)的遷移方法與第一次類似，只是操作對(duì)像不同而已。第二次存儲(chǔ)數(shù)據(jù)遷移架構(gòu)如圖3所示。

圖3　第二次存儲(chǔ)數(shù)據(jù)遷移架構(gòu)示意

說明：

a. 搬入HP H9500在原來的IBM DS8100的位置上；

b. 在新購的生產(chǎn)庫HP P9500上劃分相應(yīng)的卷；

c. 將生產(chǎn)庫的數(shù)據(jù)從查詢庫HP P9500在線遷移回新上線的生產(chǎn)庫HP P9500。

4結(jié)論

a. 停機(jī)時(shí)間短。異構(gòu)存儲(chǔ)數(shù)據(jù)遷移中，基于VPLEX硬件，依賴VPLEX硬件強(qiáng)大穩(wěn)定的引擎功能，縮短了停機(jī)時(shí)間，降低了主機(jī)負(fù)荷，確保了數(shù)據(jù)遷移后的完整性和準(zhǔn)確性，刷新了信息系統(tǒng)業(yè)內(nèi)存儲(chǔ)設(shè)備遷移項(xiàng)目中跨平臺(tái)數(shù)據(jù)遷移的記錄。

b. 采用離線存儲(chǔ)和在線存儲(chǔ)相結(jié)合技術(shù)，確保了業(yè)務(wù)數(shù)據(jù)一致性，可用性，可靠性，高質(zhì)量性，保證了系統(tǒng)使用數(shù)據(jù)的流暢性。

c. 整個(gè)數(shù)據(jù)遷移過程具備完善的風(fēng)險(xiǎn)控制，保證了數(shù)據(jù)遷移成功實(shí)施。

d. 采用虛擬化層的遷移方式，有助于提升應(yīng)用軟件的實(shí)用性，基礎(chǔ)架構(gòu)的靈活性，降低硬件成本，減少能量消耗并且能輕松進(jìn)行測試。

參考文獻(xiàn)：

[1]杜賓，王明文.跨平臺(tái)數(shù)據(jù)遷移的研究和實(shí)現(xiàn)[J].計(jì)算機(jī)與現(xiàn)代化，2001(6):5-10.

[2]王海亮.精通Oracle 10g備份與恢復(fù)[M].北京：中國水利水電出版社，2005.

[3]劉義華. Oracle 數(shù)據(jù)庫數(shù)據(jù)跨平臺(tái)備份與恢復(fù)的實(shí)現(xiàn)[J].信息科學(xué)，2009(5):71-74.

本文責(zé)任編輯：羅曉曉

Analysis and Treatment of Cross Platform Data Migration Problemin Electric Information Acquisition System

Li Chong1,Gao Lingling1,Tao Peng1,Tang Ruyi2,Sun Wenlei1,Zhao Pei1

(1.State Grid Hebei Electric Power Research Institute,Shijiazhuang 050021;2. State Grid Hebei Electric Power Corporation,Shijiazhuang 050021)

Abstract:This paper introduces the electric energy data acquire system upgrade transformation in the face of cross platform data migration status,for the data transfer is based on cross operating system platform and the different versions of the database heterogeneous data migration problem,analyzes the reasons,put forward two times stored in data migration solution from the data transfer architecture,data migration preparation,the data migration procedures and so on,and illustrates the treatment effect.

Key words:electric information acquisition system;cross platform;data migration;analysis and treatment

收稿日期：2016-02-29

作者簡介：李翀(1983-)，男，高級(jí)工程師，主要從事計(jì)量、采集相關(guān)業(yè)務(wù)的質(zhì)檢與研究工作。

中圖分類號(hào)：TP274.2

文獻(xiàn)標(biāo)志碼：B

文章編號(hào)：1001-9898(2016)03-0011-03