高可用安全存儲集群技術(shù)研究

王亮 劉清雪 魯曉帆 郭邦圣

（吉林建筑科技學(xué)院 吉林省長春市 130114）

國外高可用集群源于1908年，E．C．Mo1ina 發(fā)表“中繼”曲線概念等級實(shí)現(xiàn)信道全利用度，后期演變?yōu)榉?wù)器全利用度與高可用整合，現(xiàn)已非常成熟，我國1989年才開始引進(jìn)模擬集群系統(tǒng)，目前絕大多數(shù)各類單位均未使用，這類需求與技術(shù)只被國內(nèi)互聯(lián)網(wǎng)大公司追崇。網(wǎng)絡(luò)安全強(qiáng)國趨勢，大數(shù)據(jù)與人工智能發(fā)展趨勢，必然導(dǎo)致高可用及安全存儲集群普及和應(yīng)用。

1 前期基礎(chǔ)、目的及必要性

1.1 負(fù)責(zé)人基礎(chǔ)與背景

項(xiàng)目負(fù)責(zé)人曾任長春大學(xué)旅游學(xué)院教育技術(shù)與網(wǎng)絡(luò)信息中心主任助理，華為高級網(wǎng)絡(luò)工程師，全國計算機(jī)最高級四級網(wǎng)絡(luò)工程師，負(fù)責(zé)整個中心常務(wù)工作，任職期間完成了整個校園網(wǎng)的規(guī)劃設(shè)計與運(yùn)營，整個校園監(jiān)控系統(tǒng)與服務(wù)器陣列存儲規(guī)劃設(shè)計實(shí)現(xiàn)（267 監(jiān)控點(diǎn)），完成校圖書館主控核心機(jī)房雙機(jī)熱備集群構(gòu)建(具體包括：網(wǎng)絡(luò)存儲系統(tǒng)IP-SAN 浪潮AS500M 的RAID 安裝、構(gòu)建、IPSAN映射、中間件ROSE 的安裝、部署，卷資源、別名資源、會話資源的創(chuàng)建部署，Oracle 數(shù)據(jù)庫的部署與安裝、帶入帶出、閃回等關(guān)鍵技術(shù)）具備扎實(shí)的IP-SAN 網(wǎng)絡(luò)存儲技術(shù)，雙機(jī)熱備集群技術(shù)，網(wǎng)絡(luò)工程專業(yè)技術(shù)。2015年6月主要參加人完成吉圖琿高速鐵路敦化、蛟河、虎門嶺三地高速鐵路網(wǎng)絡(luò)中心核心設(shè)備（存儲陣列、路由交換、監(jiān)控系統(tǒng)）規(guī)劃設(shè)計、安裝、測試具體工作等。

1.2 團(tuán)隊成員研究基礎(chǔ)與背景

項(xiàng)目成員劉清雪與魯曉帆、劉鑫三位副教授具有扎實(shí)的網(wǎng)絡(luò)集群構(gòu)建經(jīng)驗(yàn)，對高可用中間件ROSEHA 具有扎實(shí)的授課經(jīng)驗(yàn)和使用經(jīng)驗(yàn)，完成校圖書館主控核心機(jī)房的關(guān)鍵業(yè)務(wù)構(gòu)建與實(shí)現(xiàn)，校BIM 中心的高可用服務(wù)器規(guī)劃設(shè)計與構(gòu)建、校電供采暖超低能耗研究中心的服務(wù)器陣列、本地與網(wǎng)絡(luò)存儲映射、數(shù)據(jù)共享規(guī)劃與部署。

其他三名成員在網(wǎng)絡(luò)存儲與集群上均有扎實(shí)的理論基礎(chǔ)，均參與過各類企事業(yè)單位及校級網(wǎng)絡(luò)信息中心和各個分支機(jī)構(gòu)部門的關(guān)于本課題研究方向的信息化建設(shè)工作。

1.3 項(xiàng)目目的及必要性

目的：在大數(shù)據(jù)、人工智能領(lǐng)域開展深入研究，實(shí)現(xiàn)高校服務(wù)器采用HA（High Available）高可用及高可用安全存儲集群構(gòu)建。

必要性：一旦發(fā)生服務(wù)器陣列故障，則面臨多個單點(diǎn)服務(wù)故障或校園多樣服務(wù)大數(shù)據(jù)（教務(wù)系統(tǒng)數(shù)據(jù)、網(wǎng)站系統(tǒng)數(shù)據(jù)、監(jiān)控系統(tǒng)數(shù)據(jù)、學(xué)科平臺科研建設(shè)數(shù)據(jù)等等）損毀及停頓。因此，要實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)的高可靠性，必然要保證存儲高可用性，針對這類情況，提出高可用安全存儲集群構(gòu)建應(yīng)用研究。

2 研究的主要內(nèi)容

2.1 環(huán)境需求

本課題主要針對當(dāng)前高等學(xué)校網(wǎng)絡(luò)存儲服務(wù)器高可用的建設(shè)與規(guī)劃，以RoseHA 系統(tǒng)為核心，重點(diǎn)研究基于Rose 的集群拓?fù)浼軜?gòu)，構(gòu)建高可用安全的存儲集群服務(wù)。

2.2 具體內(nèi)容

基于ORACLE11G 數(shù)據(jù)庫的部署與安裝，Rose 集成ORACLE服務(wù)，啟動GUI 工具，創(chuàng)建集群，高可用保護(hù)，雙機(jī)熱切換，仲裁資源，卷資源，IP 資源，進(jìn)程資源,NT 服務(wù)資源的設(shè)計與創(chuàng)建，管理資源中的帶入帶出、切換卷資源、修改資源、測試資源中的應(yīng)用程序訪問、手動切換、關(guān)機(jī)切換、斷線切換、kill 進(jìn)程切換等。通過高可用安全存儲集群的構(gòu)建實(shí)現(xiàn)各類高校及中小企業(yè)的高可用集群與安全存儲業(yè)務(wù)連續(xù)性的保障，各類高校與中小企業(yè)對高可用集群與安全存儲這類信息化建設(shè)較薄弱，原因在于意識不夠和構(gòu)建及維護(hù)成本相對較高，沒有把高可用及安全存儲列入日常計劃當(dāng)中，當(dāng)數(shù)據(jù)出現(xiàn)破壞或者丟失，當(dāng)關(guān)鍵業(yè)務(wù)沒有備用措施出現(xiàn)中斷，沒有產(chǎn)生連續(xù)性，則損失巨大。如果采用高可用安全存儲集群，對學(xué)校與企業(yè)的損失則近乎為0。

3 擬解決的技術(shù)難點(diǎn)與關(guān)鍵技術(shù)

3.1 擬解決技術(shù)難點(diǎn)

高可用HA 實(shí)現(xiàn)，高可用對應(yīng)的資源組設(shè)計，高可用環(huán)境下的心跳鏈路故障熱切換加速度，磁盤陣列級別與IP-SAN 吻合性，高可用存儲策略，安全存儲設(shè)計，綜合應(yīng)用構(gòu)建的科學(xué)性、穩(wěn)定性、最優(yōu)性、兼容性等。

3.2 關(guān)鍵技術(shù)（安裝與部署ROSE-HA）

HA 高可用（主從復(fù)制、主備復(fù)制、互聯(lián)式、中介式、雙機(jī)切換、模擬式、主主復(fù)制、）,HA 集群技術(shù)（一主多從或一主多備、數(shù)據(jù)分散集群），反向同步技術(shù)，網(wǎng)絡(luò)存儲服務(wù)器技術(shù)，磁盤陣列技術(shù)，大型數(shù)據(jù)庫ORACLE 技術(shù)。

高可用配置構(gòu)建：

路由交換技術(shù)（MSTP 多生成樹、ospf 動態(tài)路由、VRRP 虛擬鏈路冗余路由）,OSN-CDP 連續(xù)數(shù)據(jù)保護(hù)技術(shù)，OSN-REP 網(wǎng)絡(luò)備份技術(shù)，遠(yuǎn)程容災(zāi)安全技術(shù)，TVM 透明數(shù)據(jù)遷移技術(shù)等。

4 擬采取研究方法、技術(shù)路線

4.1 研究方法

通過學(xué)?，F(xiàn)有的高級網(wǎng)絡(luò)存儲IP-SAN,利用RoseHA 高可用中間件集群系統(tǒng)，結(jié)合當(dāng)前高等學(xué)校及企業(yè)實(shí)際，構(gòu)建高可用安全存儲集群。

4.2 技術(shù)路線

安裝部署RoseHA，硬件和系統(tǒng)環(huán)境準(zhǔn)備，應(yīng)用服務(wù)部署，數(shù)據(jù)安全性要求。RoseHA 配置oracle 服務(wù)，啟動GUI 創(chuàng)建集群，高可用配置構(gòu)建。

部署Oracle 數(shù)據(jù)庫，主服務(wù)器部署聯(lián)機(jī)共享，部署后刪除主實(shí)例之后部署備用服務(wù)器，將Oracle 相關(guān)服務(wù)的啟動類型更改為手動。

集群環(huán)境中部署應(yīng)用的流程。管理資源組帶入，帶出，切換資源組，修改資源組，刪除資源組。測試資源：應(yīng)用客戶端訪問、手動切換、關(guān)機(jī)測試、拔線測試、進(jìn)程測試。

5 技術(shù)指標(biāo)

（1）滿足高校與中小企業(yè)應(yīng)用環(huán)境下需要實(shí)現(xiàn)以下技術(shù)要點(diǎn)：

（2）獨(dú)立于應(yīng)用程序和主機(jī)，不影響應(yīng)用程序運(yùn)行情況下，透明實(shí)現(xiàn)存儲集群

（3）構(gòu)建存儲高可用HA 框架，獨(dú)立于存儲系統(tǒng)，為業(yè)務(wù)實(shí)現(xiàn)差異化

（4）異構(gòu)存儲管理技術(shù)，充分發(fā)揮現(xiàn)有結(jié)構(gòu)

（5）單點(diǎn)故障全自動切換、恢復(fù)，MTBF>=99.99%,保障關(guān)鍵業(yè)務(wù)連續(xù)性

（6）基于IP-SAN 存儲，提高靈活存儲及存儲利用率

（7）標(biāo)準(zhǔn)HA 模式、集群HA 模式、HA 多路徑I/0 模式

（8）自動遷移資源，降低宕機(jī)。

6 實(shí)施方案

首先完成高可用安全存儲集群整體規(guī)劃與設(shè)計，其次實(shí)現(xiàn)安全存儲IP-SAN 設(shè)計與集成由，RoseHA 集群規(guī)劃與設(shè)計，高可用集群測試，最后實(shí)現(xiàn)高可用安全存儲集群構(gòu)建。

7 項(xiàng)目成果及應(yīng)用轉(zhuǎn)化前景預(yù)測分析

7.1 項(xiàng)目成果

（1）高可用安全存儲集群的實(shí)現(xiàn)；

（2）高可用安全存儲集群構(gòu)建應(yīng)用實(shí)現(xiàn)；

（3）大學(xué)校園與中小企業(yè)高可用安全存儲集群實(shí)現(xiàn)；

（4）高可用安全存儲集群系統(tǒng)集成；

（5）高可用安全存儲集群單元與分布式測試；

7.2 應(yīng)用轉(zhuǎn)化前景預(yù)測分析

（1）通過RoseHA 實(shí)現(xiàn)大型校園網(wǎng)與中小企業(yè)通用的高可用安全存儲集群構(gòu)建；

（2）通過高可用安全存儲集群實(shí)現(xiàn)高校教務(wù)系統(tǒng)數(shù)據(jù)安全性與教務(wù)服務(wù)業(yè)務(wù)連續(xù)性；

（3）通過高可用安全存儲集群實(shí)現(xiàn)校網(wǎng)絡(luò)中心各類數(shù)據(jù)服務(wù)業(yè)務(wù)連續(xù)性；

（4）通過高可用安全存儲集群實(shí)現(xiàn)高校圖書管理系統(tǒng)數(shù)據(jù)安全性與圖書借閱服務(wù)業(yè)務(wù)連續(xù)性；

（5）中小企業(yè)通過高可用安全存儲集群實(shí)現(xiàn)用戶與企業(yè)自身數(shù)據(jù)安全性與企業(yè)業(yè)務(wù)連續(xù)性；

（6）為民辦高校提供高可用服務(wù)器關(guān)鍵技術(shù)和安全存儲集群支持；

（7）促進(jìn)中小企業(yè)加強(qiáng)高可用服務(wù)構(gòu)建意識，普及和推廣構(gòu)建高可用安全存儲，增強(qiáng)數(shù)據(jù)與網(wǎng)絡(luò)安全意識。

8 結(jié)語

高可用安全存儲集群的構(gòu)建是一個龐大的系統(tǒng)資源構(gòu)建過程，構(gòu)建過程中存在著對服務(wù)器硬件的參數(shù)配置，如服務(wù)器處理器、ECC 內(nèi)存、主板、網(wǎng)卡、RAID 模式等若干關(guān)鍵要點(diǎn)，重點(diǎn)要求能夠通過網(wǎng)絡(luò)存儲硬件與網(wǎng)絡(luò)存儲系統(tǒng)實(shí)現(xiàn)兼容與穩(wěn)定，另外還要對大型數(shù)據(jù)庫熟練掌握如ORACLE 中的主從實(shí)例創(chuàng)建、卷資源與實(shí)例的對稱關(guān)系，自動閃回技術(shù)的實(shí)現(xiàn)，數(shù)據(jù)庫增刪改查、索引構(gòu)建、關(guān)鍵字復(fù)合關(guān)鍵字的定義集群及關(guān)聯(lián)。軟件系統(tǒng)對硬件控制中的獨(dú)立磁盤冗余陣列設(shè)計與規(guī)劃，raid6,5,0+1 等方案的詳細(xì)設(shè)計，通過操作系統(tǒng)控制與主板控制要加以區(qū)分，在構(gòu)建高可用存儲過程中，要將操作系統(tǒng)權(quán)限與資源分配放在首位，當(dāng)遇到不可逆操作后，會通過系統(tǒng)設(shè)定將其恢復(fù)，數(shù)據(jù)庫備份冗余需要創(chuàng)建主實(shí)例后再備份實(shí)例數(shù)據(jù)庫中加載，否則會導(dǎo)致集群構(gòu)建之后，資源無法啟動，實(shí)例無法運(yùn)行，關(guān)鍵服務(wù)無法啟動等情況。心跳線路的設(shè)計要規(guī)范合理，能用千兆盡量用千兆以上線路，非光纖交換機(jī)建議使用六類線路實(shí)現(xiàn)，避免宕機(jī)發(fā)生。總體設(shè)計上要注重存儲系統(tǒng)的安裝與部署，它是整個集群構(gòu)建的基本環(huán)境，要優(yōu)化系統(tǒng)結(jié)構(gòu)，關(guān)閉或禁用非主要服務(wù)，多路IP 規(guī)劃科學(xué)合理，虛擬IP 設(shè)計要避免整個IP 網(wǎng)絡(luò)集群架構(gòu)的沖突。在模擬試驗(yàn)過程中，通過心跳切換的延遲來自于交換、存儲、操作系統(tǒng)、網(wǎng)絡(luò)架構(gòu)、搭建過程與順序結(jié)構(gòu)等綜合因素有關(guān)，因此深入挖掘提高加速度的高可用安全存儲迫在眉睫。