岳書(shū)會(huì),張 磊,顧景民
(1.山東能源集團(tuán)信息技術(shù)公司,山東 濟(jì)南 250014;2.兗州煤業(yè)股份有限公司信息化中心,山東 鄒城 273500)
集團(tuán)公司作為大型能源企業(yè)連續(xù)榮列世界500強(qiáng),集團(tuán)業(yè)務(wù)快速發(fā)展,為適應(yīng)新形勢(shì)的要求,集團(tuán)公司大力推進(jìn)實(shí)施ERP 系統(tǒng)全覆蓋項(xiàng)目,采用SAP S/4 HANA 解決方案,包含S4,BW,PO,BO 等多個(gè)模塊,覆蓋集團(tuán)公司及下屬子公司財(cái)務(wù)、人力、物資、生產(chǎn)、風(fēng)險(xiǎn)等各方面業(yè)務(wù)。 此項(xiàng)目通過(guò)超前規(guī)劃,對(duì)服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)架構(gòu)、操作系統(tǒng)、數(shù)據(jù)庫(kù)、虛擬化等軟硬件平臺(tái)進(jìn)行集中建設(shè)、統(tǒng)一管理,避免了重復(fù)建設(shè)、資源浪費(fèi)、建設(shè)水平低的問(wèn)題。
ERP 系統(tǒng)架構(gòu)平臺(tái)部署于集團(tuán)總部數(shù)據(jù)中心,系統(tǒng)采用HANA 數(shù)據(jù)庫(kù)運(yùn)行在15 臺(tái)HANA 一體機(jī)服務(wù)器上,應(yīng)用服務(wù)器采用VMware 虛擬化部署,虛擬機(jī)數(shù)量達(dá)到150 余臺(tái),業(yè)務(wù)數(shù)據(jù)量近60 TB,并且數(shù)據(jù)量增長(zhǎng)迅速。 數(shù)據(jù)備份作為數(shù)據(jù)中心的重要組成部分,與核心業(yè)務(wù)系統(tǒng)的業(yè)務(wù)連續(xù)性密切相關(guān),制定切合企業(yè)實(shí)際的備份系統(tǒng)架構(gòu)至關(guān)重要,在可允許備份的時(shí)間段內(nèi),能夠做到既不影響生產(chǎn)系統(tǒng)的正常運(yùn)行,又能合理地分配資源,減少備份沖突,最大限度地利用現(xiàn)有設(shè)備的處理能力完成備份。
集團(tuán)公司ERP 系統(tǒng)采用VERITAS 公司NetBackup 5240 備份一體機(jī)數(shù)據(jù)保護(hù)解決方案。 NetBackup 備份一體機(jī)在大型能源企業(yè)ERP 項(xiàng)目中的部署使用達(dá)到了集團(tuán)公司HANA 數(shù)據(jù)庫(kù)的備份及異地容災(zāi)實(shí)現(xiàn)保護(hù)企業(yè)數(shù)據(jù)的目的[1]。
NBU 備份一體機(jī)是統(tǒng)一化備份管理平臺(tái),可實(shí)現(xiàn)數(shù)據(jù)備份的統(tǒng)一監(jiān)控與管理,提升了管理的可見(jiàn)性,并能縮短核心生產(chǎn)系統(tǒng)備份窗口時(shí)間。 設(shè)備集成了Veritas NetBackup 8.1.2 軟件,配置了152TB 可用備份存儲(chǔ)空間,負(fù)責(zé)制定備份策略、運(yùn)行備份任務(wù)、存儲(chǔ)備份數(shù)據(jù),支持智能端到端重復(fù)數(shù)據(jù)刪除功能、內(nèi)置VMWARE、Hyper-V 虛擬化平臺(tái)及多種數(shù)據(jù)庫(kù)備份功能,是一個(gè)易于管理的一體化集成解決方案,能夠降低總成本的同時(shí)提高可靠性。
集團(tuán)公司總部數(shù)據(jù)中心部署一臺(tái)NBU 備份一體機(jī),備份ERP 系統(tǒng)的HANA 數(shù)據(jù)庫(kù)。 在距離總部數(shù)據(jù)中心150 km 的省聯(lián)通三樞紐機(jī)房租用空間資源,放置另外一臺(tái)NBU 備份一體機(jī),搭建ERP 系統(tǒng)的備份容災(zāi)中心,兩個(gè)數(shù)據(jù)中心租用運(yùn)營(yíng)商專線實(shí)現(xiàn)大二層網(wǎng)絡(luò)互聯(lián),通過(guò)NBU AIR 跨域復(fù)制技術(shù)實(shí)現(xiàn)總部數(shù)據(jù)中心備份數(shù)據(jù)和備份容災(zāi)中心的數(shù)據(jù)復(fù)制。 ERP 系統(tǒng)備份及容災(zāi)架構(gòu)如圖1 所示。
圖1 ERP 系統(tǒng)備份及容災(zāi)架構(gòu)
集團(tuán)公司ERP 系統(tǒng)使用了多套SAP HANA 2.0 數(shù)據(jù)庫(kù)。 HANA 數(shù)據(jù)庫(kù)是一種高性能內(nèi)存數(shù)據(jù)庫(kù),將數(shù)據(jù)盡可能放在內(nèi)存中運(yùn)行,比傳統(tǒng)數(shù)據(jù)庫(kù)達(dá)到了更快的數(shù)據(jù)處理速度,并且支持多租戶、高可用、容災(zāi)、大數(shù)據(jù)等高級(jí)特性[2]。 NBU 備份一體機(jī)對(duì)HANA 數(shù)據(jù)庫(kù)提供本地備份和第三方備份。 NBU 備份一體機(jī)對(duì)HANA 數(shù)據(jù)庫(kù)進(jìn)行第三方備份,基本配置如下:
Client_A 是運(yùn)行HANA 數(shù)據(jù)庫(kù)的服務(wù)器,操作系統(tǒng)為SUSE 12 SP3,YKNBU 是NBU 管理服務(wù)器,確保Client_A 與YKNBU 之間開(kāi)通必要的網(wǎng)絡(luò)端口1556,13726,13784,分別在Client_A 和YKNBU 上添加對(duì)方host 解析。
在Client _ A 上安裝Linux 版本備份客戶端NetBackup_8.1.2_CLIENTS2,客戶端版本需與備份服務(wù)器端保持一致,服務(wù)器端版本可向下兼容客戶端軟件版本,反之則不可。
在Client_A 上打開(kāi)NBU 客戶端配置文件夾/usr/openv/netbackup/ext/db_ext/sap,為此文件夾下文件添加可執(zhí)行權(quán)限,initSAP. utl 文件中添加備份策略名稱,node_names.txt 文件中添加客戶端名稱,添加HANA 數(shù)據(jù)庫(kù)備份腳本sap_hanadb_TestDB,腳本名稱結(jié)尾一般以數(shù)據(jù)庫(kù)租戶名稱進(jìn)行命名標(biāo)識(shí),腳本中添加數(shù)據(jù)庫(kù)用戶名、密碼、租戶名稱,NBU 備份任務(wù)可調(diào)用此腳本實(shí)現(xiàn)數(shù)據(jù)庫(kù)的完全備份、差異備份或增量備份。
創(chuàng)建軟連接,ln -s /usr/openv/netbackup/bin/hdbbackint _ script /usr/sap/實(shí)例名/SYS/global/hdb/opt/hdbbackint。
通過(guò)HANA STUDIO 修改HANA 數(shù)據(jù)庫(kù)配置參數(shù),將HANA 數(shù)據(jù)庫(kù)備份由本地File 備份修改為第三方Backint 備份。 分別將configuration/global. ini/backup catalog_backup_parameter_file、data_backup_parameter_file、log_backup_parameter_file 參數(shù)值修改為備份客戶端數(shù)據(jù)庫(kù)備份腳本路徑/usr/openv/netbackup/ext/db_ext/sap/initSAP.utl,catalog_backup_using_backint,log_backup_using_backint 參數(shù)值由false 修改為true。
在NBU 控制臺(tái)創(chuàng)建HANA 數(shù)據(jù)庫(kù)備份策略,策略名需與initSAP.utl 文件中策略名稱一致。 在Attributes選項(xiàng)卡策略類型選擇SAP,Policy Storage 選擇本地重刪池,在Schedules 選項(xiàng)卡設(shè)定數(shù)據(jù)庫(kù)備份時(shí)間表及數(shù)據(jù)保留周期,在Clients 選項(xiàng)卡添加備份客戶端服務(wù)器,在Backup Selections 選項(xiàng)卡中選擇數(shù)據(jù)庫(kù)服務(wù)器上的備份腳本。
上述配置完成后,NBU 備份一體機(jī)會(huì)根據(jù)備份時(shí)間表對(duì)HANA 數(shù)據(jù)庫(kù)進(jìn)行完全備份,并實(shí)時(shí)將數(shù)據(jù)庫(kù)產(chǎn)生的Log 備份到NBU 一體機(jī)中,打開(kāi)NBU 管理控制臺(tái),在Netbackup Management/Activity Monitor 選項(xiàng)卡下可觀察到備份任務(wù)的運(yùn)行情況。
集團(tuán)公司ERP 系統(tǒng)備份容災(zāi)中心放置一臺(tái)NBU備份一體機(jī),通過(guò)千兆專線與集團(tuán)總部數(shù)據(jù)中心NBU備份一體機(jī)實(shí)現(xiàn)大二層網(wǎng)絡(luò)互聯(lián),通過(guò)NetBackup AIR跨域復(fù)制技術(shù)將總部ERP 系統(tǒng)備份數(shù)據(jù)傳輸?shù)饺轂?zāi)中心。 兩臺(tái)NBU 備份一體機(jī)搭建遠(yuǎn)程數(shù)據(jù)復(fù)制的實(shí)現(xiàn)如下[3]:
(1)源備份域YKNBU、目標(biāo)備份域JNNBU 上互相添加host 解析,確保端口1556,13724,13782,443,10082,10102 可以互相通信。
(2) 在源備份域YKNBU 上添加目標(biāo)備份域JNNBU 信任, 打開(kāi) NBU 管理控制臺(tái) Netbackup Management/Host Properties/Master Servers 下主機(jī)屬性,在主機(jī)屬性Servers/Trusterd Master Servers 選項(xiàng)卡下添加主機(jī)信任,填寫(xiě)目標(biāo)備份域JNNBU 及JNNBU 的管理員憑據(jù)。 同樣方法在目標(biāo)備份域JNNBU 上添加源備份域YKNBU 信任。
(3)在源備份域YKNBU 上添加目標(biāo)備份域存儲(chǔ)服務(wù)器,雙擊打開(kāi)Media and Management/Credentials/Storage Servers 下重刪池屬性Replication 選項(xiàng)卡,填寫(xiě)目標(biāo)備份域master server 與storage server name JNNBU及MSDP 憑據(jù)。
(4)在目標(biāo)備份域JNNBU 配置SLP 導(dǎo)入策略。 在Netbackup Management/Storage/Storage Lifecycle Policles選項(xiàng)卡下新增SLP 導(dǎo)入策略yknbu_to_jnnbu,Operation選擇Import。
(5)在源備份域YKNBU 配置SLP 復(fù)制策略。 在Netbackup Management/Storage/Storage Lifecycle Policles選項(xiàng)卡下新增SLP 復(fù)制策略yknbu_to_jnnbu,其中目標(biāo)master server 選擇JNNBU,目標(biāo)SLP 導(dǎo)入策略選擇上一步創(chuàng)建的yknbu_to_jnnbu,Operation 選擇Backup,繼續(xù)添加同步策略,Operation 選擇Replication,定義同步時(shí)間窗口。
(6)在源備份域YKNBU 創(chuàng)建遠(yuǎn)程復(fù)制備份策略??梢孕略龌蛐薷脑袀浞莶呗?在Attributes 選項(xiàng)卡Policy Storage 選擇SLP 策略yknbu_to_jnnbu,這樣此備份策略的備份數(shù)據(jù)就可以實(shí)時(shí)傳輸?shù)侥繕?biāo)備份域JNNBU。
集團(tuán)公司ERP 系統(tǒng)通過(guò)NBU 備份平臺(tái)統(tǒng)一管理HANA 數(shù)據(jù)庫(kù)備份任務(wù),實(shí)現(xiàn)了數(shù)據(jù)備份的無(wú)人化、自動(dòng)化,大大提高了備份效率,保障了數(shù)據(jù)的存儲(chǔ)安全。NBU 備份系統(tǒng)運(yùn)行以來(lái),發(fā)現(xiàn)系統(tǒng)中存在一些問(wèn)題,如備份作業(yè)排隊(duì)現(xiàn)象嚴(yán)重、備份速率未達(dá)到預(yù)期等,采取以下措施進(jìn)行優(yōu)化。
將ERP 系統(tǒng)開(kāi)發(fā)、測(cè)試、生產(chǎn)環(huán)境數(shù)據(jù)庫(kù)分別進(jìn)行備份,規(guī)范策略名稱,如開(kāi)發(fā)環(huán)境以ERP_DEVDB_開(kāi)頭,測(cè)試環(huán)境以ERP_QASDB_開(kāi)頭,生產(chǎn)環(huán)境以ERP_PRDDB_開(kāi)頭,虛擬機(jī)備份以VM_開(kāi)頭,對(duì)統(tǒng)一數(shù)據(jù)類型的備份策略進(jìn)行歸并整合,合理地設(shè)置策略條目,降低管理難度,在出現(xiàn)備份任務(wù)失敗情況時(shí)可以快速定位到問(wèn)題來(lái)源[4]。
ERP 系統(tǒng)存在多達(dá)49 個(gè)HANA 數(shù)據(jù)庫(kù)租戶,部分租戶數(shù)據(jù)量達(dá)到幾個(gè)TB,日平均備份條目達(dá)15 000 余條,而NBU 備份一體機(jī)由于硬件限制,磁盤(pán)讀寫(xiě)速度最大不超過(guò)800 MB/S,備份任務(wù)過(guò)多會(huì)導(dǎo)致大量任務(wù)排隊(duì),如達(dá)到I/O 及內(nèi)存分配的瓶頸,甚至?xí)斐蓚浞萑蝿?wù)的失敗,這就需要通過(guò)采用合理分配備份時(shí)間窗口、調(diào)整備份運(yùn)行周期等方式,平衡主機(jī)負(fù)載,減少備份沖突。
對(duì)于VMware 虛擬化平臺(tái)上服務(wù)器采用LAN Free方式進(jìn)行備份,備份數(shù)據(jù)直接從san 存儲(chǔ)傳輸?shù)絅BU一體機(jī)上;對(duì)于物理機(jī)服務(wù)器采用SAN client 方式進(jìn)行備份,利用物理機(jī)上空閑HBA 端口,備份數(shù)據(jù)直接從san 網(wǎng)絡(luò)傳輸?shù)絅BU 一體機(jī)上,從而達(dá)到備份數(shù)據(jù)流量不占用業(yè)務(wù)網(wǎng)絡(luò)帶寬、減少業(yè)務(wù)影響的目的[5]。
生產(chǎn)環(huán)境備份數(shù)據(jù)保留一個(gè)月,開(kāi)發(fā)和測(cè)試環(huán)境備份數(shù)據(jù)保留2 周,從而減少了存儲(chǔ)空間占用。
大型能源企業(yè)大數(shù)據(jù)ERP 系統(tǒng)運(yùn)用VERITAS NetBackup 備份系統(tǒng)實(shí)現(xiàn)了HANA 數(shù)據(jù)庫(kù)的備份及異地容災(zāi)。 本文著重對(duì)備份及容災(zāi)的實(shí)現(xiàn)過(guò)程進(jìn)行了介紹,并通過(guò)分析NBU 備份系統(tǒng)日常運(yùn)行狀態(tài),對(duì)備份策略、備份窗口、備份保留周期進(jìn)行了優(yōu)化,減少了資源占用,提高了備份效率,有效保證了數(shù)據(jù)庫(kù)安全,保障了集團(tuán)公司ERP 系統(tǒng)的業(yè)務(wù)連續(xù)性。 集團(tuán)公司數(shù)據(jù)容災(zāi)備份體系的建立,為集團(tuán)公司大數(shù)據(jù)ERP 系統(tǒng)數(shù)據(jù)安全增加保障,為集團(tuán)公司信息化建設(shè)提供堅(jiān)實(shí)后盾。