淺談企業(yè)存儲技術(shù)應用

牛小杰

摘 要隨著企業(yè)信息化水平的不斷提升，信息業(yè)務數(shù)據(jù)容量和重要程度也不斷提高，核心業(yè)務數(shù)據(jù)往往支撐大范圍業(yè)務辦公運作和決策，如發(fā)生丟失或損壞后果將不可想象。因此，如何通過掌握存儲系統(tǒng)底層架構(gòu)原理并制定正確的數(shù)據(jù)存儲備份恢復模式，利用合理的存儲備份措施保護企業(yè)信息數(shù)據(jù)成為當今大數(shù)據(jù)時代存儲設(shè)備應用的新課題。

【關(guān)鍵詞】數(shù)據(jù)存儲 磁盤陣列 備份 恢復

1 緒論

國際上信息化應用較為發(fā)達的國家對數(shù)據(jù)存儲備份技術(shù)發(fā)展快應用廣，但在國內(nèi)仍處于較初級的階段。隨著信息技術(shù)的不斷進步，存儲備份技術(shù)也逐步由單磁盤模式向多磁盤陣列組及數(shù)據(jù)高可用、數(shù)據(jù)傳輸、備份恢復機制、容災等領(lǐng)域拓展。發(fā)展過程中不僅存儲容量在發(fā)生著巨大的變化，在存儲數(shù)據(jù)存儲方式、傳輸類型、備份容錯機制等多方面都有了巨大的進步。

依托現(xiàn)有OSI網(wǎng)絡(luò)模型，數(shù)據(jù)的共享與傳遞也逐漸從依賴主機系統(tǒng)向依賴網(wǎng)絡(luò)系統(tǒng)發(fā)展。同時隨著集群技術(shù)、故障轉(zhuǎn)移技術(shù)、應用負載等系統(tǒng)應用機制的產(chǎn)生以及企業(yè)對數(shù)據(jù)重要性的高度重視，應用業(yè)務系統(tǒng)逐漸從單服務器運行走向多服務器承載。在企業(yè)中大量的應用服務器部署已經(jīng)非常普遍，僅僅依靠服務器自身的raid技術(shù)很難對本身磁盤數(shù)據(jù)進行完善的管理優(yōu)化，突發(fā)的存儲部件故障損壞更讓運維工程師對恢復數(shù)據(jù)頭疼不已。

而現(xiàn)階段不少企業(yè)的主要信息化投入在企業(yè)網(wǎng)絡(luò)建設(shè)、信息安全和業(yè)務應用開發(fā)建設(shè)等方面，對最基本的數(shù)據(jù)保護重視程度不足。在如何確定合理的數(shù)據(jù)存儲備份需求、備份恢復機制和策略制定、存儲技術(shù)和產(chǎn)品選擇等方面的研究深度不夠、投入不足。為擺脫盲從局面，降低重要業(yè)務數(shù)據(jù)被破壞或者丟失風險，盡可能避免對企業(yè)日常業(yè)務造成的巨大影響和損失，加強存儲知識及該領(lǐng)域更深層次的研究是非常有必要的，在企業(yè)信息化建設(shè)前期就做好數(shù)據(jù)容災規(guī)劃，并通過高質(zhì)量的實施和嚴格運行管理，提升數(shù)據(jù)存儲備份保障能力，降低數(shù)據(jù)損壞風險。

本文主要結(jié)合實際工作中企業(yè)存儲產(chǎn)品網(wǎng)絡(luò)架構(gòu)設(shè)計、存儲備份實施建設(shè)經(jīng)驗和數(shù)據(jù)恢復案例等技術(shù)要點，為進一步提升企業(yè)存儲備份能力提供參考。

2 企業(yè)網(wǎng)絡(luò)存儲的實施及改進案例

2.1 基本思路

隨著企業(yè)信息化業(yè)務的不斷擴展，為了保證數(shù)據(jù)的可靠性、安全性，根據(jù)存儲實施需求，將多個業(yè)務應用子系統(tǒng)部署于NetApp存儲盤陣上，部署方式采用SAN架構(gòu)網(wǎng)絡(luò)存儲，并且通過主備兩套存儲完成數(shù)據(jù)同步復制備份機制。

存儲部署需要考慮到如下幾個因素：

2.1.1 數(shù)據(jù)安全性

重要業(yè)務系統(tǒng)均采取應用負載均衡或HA高可用模式且數(shù)據(jù)庫文件存放在存儲上，使數(shù)據(jù)更為安全可靠；單設(shè)備業(yè)務系統(tǒng)可將數(shù)據(jù)庫文件與備份數(shù)據(jù)文件分別放在物理服務器或存儲上，通過數(shù)據(jù)庫備份計劃任務可靈活掌握數(shù)據(jù)庫文件備份，保證數(shù)據(jù)文件有2至3份以上，如果主數(shù)據(jù)損壞且嘗試修復無果的情況下，應可利用最近還原點備份數(shù)據(jù)進行恢復還原；

2.1.2 高性能

方案采用雙機容錯模式的存儲組成高可靠，高可用的數(shù)據(jù)存儲平臺，應用分布式部署在兩套存儲系統(tǒng)的4個控制器上，能有效保障各存儲更好的發(fā)揮性能，不會產(chǎn)生存儲性能上的瓶頸。

2.1.3 高可用

避免存在單點故障，大到主機、存儲設(shè)備，小到網(wǎng)絡(luò)線纜、光纖線纜、HBA卡等均是冗余容錯的；無論是主機或存儲設(shè)備出現(xiàn)故障，均可通過主/備份兩套存儲系統(tǒng)保證數(shù)據(jù)的完整性。

2.1.4 數(shù)據(jù)通信最小化

在光纖交換機上創(chuàng)建基于端口的Hardware Zoning而盡量避免使用Software Zoning，對數(shù)據(jù)進行物理隔離，有效保障數(shù)據(jù)通信安全性。

2.1.5 合理的備份機制

為有效減免設(shè)備損壞、誤操作等因素帶來的不必要損失，采用存儲備份技術(shù)保存多份數(shù)據(jù)副本。

3 網(wǎng)絡(luò)存儲產(chǎn)品選擇

為保障業(yè)務可用性，存儲架構(gòu)中所部署存儲系統(tǒng)需滿足企業(yè)存儲需求，存儲系統(tǒng)應適用于主流數(shù)據(jù)庫、電子郵件和信息發(fā)送、主目錄合并以及災難恢復等應用的企業(yè)SAN存儲架構(gòu)。存儲產(chǎn)品在采購選型過程中應注意考慮存儲設(shè)備管理及維護、存儲設(shè)備性能穩(wěn)定性、存儲自有成熟備份機制智能化程度較高的產(chǎn)品。這樣整套存儲可根據(jù)企業(yè)業(yè)務需要更易于部署和使用，性能更高而成本更低。

4 存儲磁盤架構(gòu)規(guī)劃

以企業(yè)存儲磁盤架構(gòu)規(guī)劃案例說明，該企業(yè)存儲架構(gòu)中采用NetApp存儲產(chǎn)品V3240（主存儲）及Fas3210（備份存儲），V3240存儲系統(tǒng)共滿配48塊600GB SAS磁盤，F(xiàn)as3210存儲系統(tǒng)滿配24塊2TBSAS磁盤，為保證存儲控制器CPU占用，根據(jù)設(shè)計要求各存儲控制器負責管理存儲磁盤柜中的一半磁盤；存儲中所有磁盤劃分為Raid-DP類型，如存在某一塊磁盤發(fā)生故障后，熱備盤會自動替換受損磁盤。熱備盤的特點在于不包含數(shù)據(jù)，不管是哪個RAID組的盤損壞了，都可以替換，也就是說熱備盤是全局起作用的，而不是屬于哪個Raid Group。熱備盤會自動替換損壞的盤，替換磁盤需于損壞磁盤類型大小一樣，替換速度非?？?。

在Aggregate上為各業(yè)務劃分Volume（卷），Volume在邏輯上相當于我們PC上的一塊磁盤。而NetApp的SnapShot快照技術(shù)是基于Volume來做的，Volume的大小可以調(diào)整，而快照空間也是可以自動擴展的。

在了解存儲邏輯空間大小后，根據(jù)各個業(yè)務系統(tǒng)需要，為各個業(yè)務系統(tǒng)劃分足夠空間最后單獨在每個Volume卷上劃分單獨的lun（邏輯單元號），lun通過FC SAN映射到服務器操作系統(tǒng)上。

5 存儲網(wǎng)絡(luò)架構(gòu)規(guī)劃

主備存儲各有兩個控制器，各控制器使用一個管理以太端口及兩個業(yè)務以太端口，控制器業(yè)務端口通過端口聚合技術(shù)將兩端口合并成一組業(yè)務端口用以增加I/O數(shù)據(jù)傳輸。

網(wǎng)絡(luò)存儲架構(gòu)設(shè)計示意圖如圖1所示。

從上圖可以看出，該存儲系統(tǒng)拓撲結(jié)構(gòu)包含八臺服務器，共四套業(yè)務系統(tǒng)，在存儲架構(gòu)中采用Fibre Chanel SAN架構(gòu)，涉及操作系統(tǒng)包含RedhatEnterprise Linux 6.3；Windows Server 2008 R2以及IBM AIX及業(yè)務數(shù)據(jù)庫Oracle 11g R2 、Mysql；中間件包括IBM WAS；Tomcat。各系統(tǒng)都通過HBA卡以FC-SAN方式連接存儲盤陣。

6 存儲備份功能測試

為切實保障此次存儲實施存儲產(chǎn)品具備良好的管理操作性、存儲硬件高可用及具備企業(yè)級容災數(shù)據(jù)備份恢復機制，對NetApp Data ONTAP存儲操作系統(tǒng)、存儲控制器雙活雙控高可靠性以及數(shù)據(jù)同步復制、快照等存儲技術(shù)進行全面測試。

通過對存儲設(shè)備應用管理操作性測試表明該存儲系統(tǒng)具有良好的統(tǒng)一管理特性，使日常系統(tǒng)管理只需要在同一系統(tǒng)平臺下通過瀏覽器形式便能完成絕大部分日常管理工作；其復雜的存儲狀態(tài)信息，網(wǎng)絡(luò)配置，功能選項都可在GUI界面中查看。

在硬件高可用方面，NetApp存儲系統(tǒng)雙控雙活機制可以做到在發(fā)生硬件故障（如磁盤損壞，電源、風扇掉電，網(wǎng)絡(luò)故障）的情況下，使用系統(tǒng)的RAID保護結(jié)構(gòu)和容余配置對系統(tǒng)進行自動故障排除或磁盤接管，該特點較好地減少可管理的復雜性并且保證了系統(tǒng)運行的高可用性。

在快照備份方面，在測試磁盤中寫入數(shù)據(jù)后在存儲系統(tǒng)中對測試存儲卷手動創(chuàng)建SnapShot快照點，在測試卷磁盤中刪除測試數(shù)據(jù)，取消掛載磁盤后重新還原快照文件，還原后在掛載磁盤中數(shù)據(jù)又還原至初始測試數(shù)據(jù)內(nèi)容。

在數(shù)據(jù)災難性備份還原測試中，分別在主存儲源端建立卷vol_test和目的端存儲建立備份測試卷vol_test_bak，并將源端數(shù)據(jù)映射到測試系統(tǒng)上，開啟同步傳輸備份機制，在源端映射磁盤LUN中寫入測試數(shù)據(jù)，由于測試采取同步傳輸備份機制，所以馬上中斷同步傳輸備份，刪除磁盤上的測試數(shù)據(jù)，此時的主存儲源端數(shù)據(jù)已經(jīng)被徹底刪除無法恢復。能否通過同步傳輸備份反向傳輸數(shù)據(jù)還原主存儲測試數(shù)據(jù)在此一舉，首先離線操作系統(tǒng)上掛載的存儲磁盤，通過resync數(shù)據(jù)反向傳輸機制將原目的端vol_test_bak改成源端，源端vol_test改成目的端，從存儲管理系統(tǒng)中開啟數(shù)據(jù)反向反向傳輸，數(shù)據(jù)自動將備份數(shù)據(jù)vol_test_bak傳輸回vol_test中，重新掛載磁盤到操作系統(tǒng)上。測試結(jié)果顯示原測試刪除測試數(shù)據(jù)又回到了測試服務器上，同步傳輸備份功能測試通過。經(jīng)過存儲備份功能綜合測試，確認該存儲產(chǎn)品功能及性能初步滿足業(yè)務需求。

7 存儲架構(gòu)優(yōu)化分析

目前企業(yè)內(nèi)部存儲架構(gòu)采用的是兩級存儲平臺架構(gòu)：工作級在線存儲和近似在線的近線存儲，由于兩臺存儲采用存儲備份技術(shù)備份，既保存實體數(shù)據(jù)又保存?zhèn)浞輸?shù)據(jù)，主存儲承擔工作級存儲角色，備份存儲則擔當了近線存儲的角色。為更有效保障數(shù)據(jù)安全，僅保存一份數(shù)據(jù)副本往往還是不夠安全的，可以考慮在現(xiàn)有技術(shù)基礎(chǔ)上通過增加NAS文件備份存儲系統(tǒng)，將現(xiàn)有在線存儲、近線存儲二層傳統(tǒng)存儲數(shù)據(jù)方式變更為在線存儲、近線存儲和離線存儲的三層存儲架構(gòu)，離線存儲的數(shù)據(jù)不常被調(diào)用，NAS作為離線存儲主要是用于對在線存儲的數(shù)據(jù)進行文件級備份，以防范可能發(fā)生的數(shù)據(jù)災難。

8 業(yè)務系統(tǒng)存儲備份機制優(yōu)化

按照行業(yè)內(nèi)通用的基本存儲備份機制實現(xiàn)數(shù)據(jù)存儲保護，使用主備2套磁盤存儲陣列，通過存儲備份技術(shù)實時同步及計劃快照備份系統(tǒng)數(shù)據(jù)，優(yōu)點是當業(yè)務系統(tǒng)服務器出現(xiàn)問題后可通過將備份存儲數(shù)據(jù)回傳技術(shù)將業(yè)務斷點時數(shù)據(jù)完全恢復回原狀態(tài)。缺點是通過光纖掛載存儲無法從存儲本身或其他方式查看到實際備份存儲中數(shù)據(jù)文件，只有掛載到操作系統(tǒng)中才允許查看。底層數(shù)據(jù)塊備份機制雖然有效減少帶寬負載，但是該機制無法確定數(shù)據(jù)有效性，為提升數(shù)據(jù)存儲可靠性，最大程度降低數(shù)據(jù)丟失損壞的風險，通過對上述存儲備份技術(shù)和產(chǎn)品的研究，結(jié)合業(yè)務系統(tǒng)生產(chǎn)環(huán)境的實際情況，對其存儲備份機制和措施進行了優(yōu)化提升，具體優(yōu)化措施包括：

使用計劃快照任務實現(xiàn)對相應存儲空間每日0點的快照備份服務，當生產(chǎn)環(huán)境下業(yè)務數(shù)據(jù)出現(xiàn)損壞或數(shù)據(jù)丟失情況下可通過計劃快照將數(shù)據(jù)還原到上次快照備份時間點。

部署NAS網(wǎng)絡(luò)存儲系統(tǒng)，可通過操作系統(tǒng)的NFS、CIFS文件傳輸協(xié)議和SSL加密協(xié)議安全的將數(shù)據(jù)文件傳輸?shù)絅AS存儲系統(tǒng)上，實際數(shù)據(jù)文件可以從NAS存儲系統(tǒng)中查看到，當業(yè)務系統(tǒng)出現(xiàn)故障后，可將計劃備份的NAS存儲數(shù)據(jù)恢復到任意一臺服務器上。其缺點在于傳輸速度比光纖慢，無法應用于實時生產(chǎn)業(yè)務環(huán)境。在離線備份計劃中針對linux操作系統(tǒng)制定，使用計劃備份腳本定期對源數(shù)據(jù)全復制備份，針對windows操作系統(tǒng)采用NAS同步數(shù)據(jù)軟件建立數(shù)據(jù)備份空間，實時比對同步備份源數(shù)據(jù)，并生成6個不同的變更節(jié)點文件還原點。

通過上述優(yōu)化措施完成對業(yè)務系統(tǒng)數(shù)據(jù)的離線備份提升結(jié)合定期巡檢管理的強化，實現(xiàn)了在現(xiàn)有存儲備份計劃的多重保障。后續(xù)的進一步優(yōu)化在于提升整體存儲備份能力級別，結(jié)合《信息系統(tǒng)災難恢復規(guī)范》（GB/T 20988-2007）災難恢復等級要求，優(yōu)化改進RTO（恢復時間目標）及RPO（恢復點目標）達到更全面和深入的改造建設(shè)，對照提升整體存儲備份和恢復能力。

9 總結(jié)

本文對主流存儲設(shè)備的關(guān)鍵技術(shù)原理和作用，企業(yè)實施過程中存儲磁盤架構(gòu)、網(wǎng)絡(luò)架構(gòu)規(guī)劃的研究分析并且結(jié)合存儲備份業(yè)務文件系統(tǒng)修復案例說明存儲備份與企業(yè)應用之間具有緊密聯(lián)系，為進一步提升企業(yè)存儲備份能力提供參考。

參考文獻

[1]張東.存儲系統(tǒng)底層架構(gòu)原理極限剖析[J].大話存儲，2015（01）.

[2]殷蘇民.基于NetApp存儲設(shè)備與技術(shù)的企業(yè)網(wǎng)絡(luò)數(shù)據(jù)高效存儲與備份系統(tǒng)的研究[J].機械電子工程，2006（02）.

[3]劉衛(wèi)星.網(wǎng)絡(luò)存儲備份應用技術(shù)研究[J].數(shù)字技術(shù)與應用，2010（01）.

作者單位

核工業(yè)計算機應用研究所 北京市 100822