中移互聯(lián)網(wǎng)公司多節(jié)點數(shù)據(jù)中心建設(shè)方案

索鳳蓮

（中國移動通信集團設(shè)計院有限公司廣東分公司，廣州 510623）

1 背景

中移互聯(lián)網(wǎng)公司的業(yè)務(wù)平臺數(shù)量較多，公司大部分業(yè)務(wù)已經(jīng)遷移或正在遷移至互聯(lián)網(wǎng)公司自建南方基地數(shù)據(jù)中心，已遷移至數(shù)據(jù)中心的業(yè)務(wù)平臺建立了與原有系統(tǒng)獨立互通；但是還有一些業(yè)務(wù)平臺采用傳統(tǒng)煙囪式建設(shè)方式，硬件資源無法實現(xiàn)共享?；ヂ?lián)網(wǎng)公司仍需對項目所需的硬件基礎(chǔ)設(shè)施的統(tǒng)一規(guī)劃、建設(shè)、運維，改變以往各業(yè)務(wù)煙囪式建設(shè)模式，打破系統(tǒng)壁壘進行資源的有效整合和共享。

隨著互聯(lián)網(wǎng)公司業(yè)務(wù)的不斷發(fā)展，現(xiàn)有單節(jié)點建設(shè)模式無法更好滿足業(yè)務(wù)需求。為了更好地提升用戶體驗，實現(xiàn)用戶就近接入，互聯(lián)網(wǎng)公司計劃在北方建設(shè)新數(shù)據(jù)中心節(jié)點，新建北方節(jié)點將與南方節(jié)點互通，實現(xiàn)對互聯(lián)網(wǎng)公司各業(yè)務(wù)平臺的資源的統(tǒng)一調(diào)配和使用。

2 現(xiàn)有南方節(jié)點數(shù)據(jù)中心現(xiàn)狀

目前南方節(jié)點計算資源全部采取了x86服務(wù)器，基本實現(xiàn)了去“I”，同時在存儲資源方面構(gòu)建了在線存儲、近線備份及離線備份三級架構(gòu)，其中，在線存儲包括滿足高性能數(shù)據(jù)讀寫需求的塊存儲及海量存儲需求的x86分布式存儲；網(wǎng)絡(luò)資源方面采用二層扁平化組網(wǎng)，即從核心到接入全部采用二層組網(wǎng)，采用私有協(xié)議技術(shù)方案（思科鏈路捆綁VPC、華三集群/堆疊IRF2)。

3 現(xiàn)有南方節(jié)點數(shù)據(jù)中心技術(shù)分析

3.1 計算資源情況分析

現(xiàn)有計算資源規(guī)劃時主要根據(jù)2011年服務(wù)器集采模型進行定制的，在實際使用過程中發(fā)現(xiàn)，現(xiàn)有服務(wù)器配置方式主要是按照服務(wù)器的物理形態(tài)，以2路4路、刀片機架區(qū)分高低檔配置，僅對應(yīng)于應(yīng)用接口、業(yè)務(wù)處理、數(shù)據(jù)庫、虛擬化4個應(yīng)用場景，對于應(yīng)用場景的區(qū)分粒度較粗，不能滿足各類業(yè)務(wù)場景的精細化配置要求。

同時虛擬化服務(wù)器的宿主機物理內(nèi)存配置按照集采模型進行配置，容量較小，隨著虛擬機數(shù)量增多，內(nèi)存最先成為瓶頸。目前計算服務(wù)器中，啟用虛擬化的宿主物理機占比為比較低，虛擬化比例待進一步提高。

3.2 存儲資源及組網(wǎng)技術(shù)分析

存儲資源方面，也存在配置與需求場景不匹配的情況，出現(xiàn)了“豪華配置、低效使用”現(xiàn)象。目前集中塊存儲全部配置的都是高端磁盤陣列，同時全部配置了SAS盤/以上，對應(yīng)用場景區(qū)分不夠細，存在一定高配現(xiàn)象。

在實際使用中，各業(yè)務(wù)平臺未按照不同應(yīng)用場景存儲性能需求差異如IOPS、時延、容量等規(guī)劃存儲資源的使用與運營，高端磁盤陣列存儲了各業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)（不限于數(shù)據(jù)庫）、及大量非結(jié)構(gòu)化數(shù)據(jù)（如虛擬機鏡像、業(yè)務(wù)系統(tǒng)日志、數(shù)據(jù)備份）。

近線備份資源配置相對高成本、高性能的虛擬帶庫類設(shè)備，定位1-6個月“溫”數(shù)據(jù)備份，但現(xiàn)網(wǎng)使用中等同于離線備份設(shè)備使用、全備備份策略不合理存儲資源除了在配置方面存在一定的問題，組網(wǎng)方面也需要改進。目前存儲組網(wǎng)只有一種方式及基于FCOE的組網(wǎng)方式。FCOE與FC SAN組網(wǎng)對比如圖1所示。

在存儲資源監(jiān)控方面，現(xiàn)網(wǎng)未建立起健全的存儲閉環(huán)監(jiān)控體系，存儲資源監(jiān)控流程部分缺失、無法有效提升精細化運維：存儲監(jiān)控指標除存儲資源可用性、及存儲容量劃分/使用情況外，還需支持監(jiān)控已分配存儲資源的IOPS、讀寫比例、讀寫塊大小、吞吐率等指標，系統(tǒng)上線后，支持反向評估資源使用合理度。

3.3 網(wǎng)絡(luò)技術(shù)分析

現(xiàn)有數(shù)據(jù)中心采用的增強型二層技術(shù)進行組網(wǎng)。

傳統(tǒng)二層扁平化組網(wǎng)導致故障域范圍過大，容易影響全網(wǎng)穩(wěn)定性。現(xiàn)網(wǎng)通過VDC/MDC虛擬化技術(shù)（1虛N）將一對物理核心交換機虛擬成DMZ區(qū)、業(yè)務(wù)區(qū)、存儲區(qū)核心交換機， 各區(qū)域核心交換機與共用接入交換機之間存在二層環(huán)路，造成二層故障與洪泛波及全網(wǎng)范圍，如圖2所示。

現(xiàn)網(wǎng)組網(wǎng)結(jié)構(gòu)要求核心交換機與接入交換機之間的二層鏈路需要透傳大量VLAN，隨著VLAN數(shù)量的快速增加，生成樹實例也會不斷增加，容易形成二層邏輯端口性能瓶頸。 第N條鏈路透傳VLAN數(shù)量示意圖如圖3所示。

圖1 FCOE與FC SAN組網(wǎng)對比

現(xiàn)有核心交換機橫向擴展能力有限，目前組網(wǎng)技術(shù)核心層僅支持2臺交換機，基本能夠支撐2 000～3 000臺x86規(guī)模數(shù)據(jù)中心建設(shè)，不能夠滿足中遠期超大規(guī)模數(shù)據(jù)中心建設(shè)。

在集中管理方面，現(xiàn)有組網(wǎng)技術(shù)缺乏全網(wǎng)集中控制平面，無法實現(xiàn)全網(wǎng)統(tǒng)一策略部署（如安全、QoS、互訪路由等），不利于提升全網(wǎng)維護與配置工作的自動化水平。每臺網(wǎng)絡(luò)設(shè)備都具備自己的控制平面與數(shù)據(jù)平面，但是整個數(shù)據(jù)中心缺乏集中控制平面。

圖2 二層故障泛洪示意圖

圖3 第N條鏈路透傳VLAN數(shù)量示意圖

4 北方節(jié)點數(shù)據(jù)中心建設(shè)方案

為了更好提高用戶體驗，實現(xiàn)用戶就近接入，互聯(lián)網(wǎng)公司將在北方新建數(shù)據(jù)中心節(jié)點。

業(yè)務(wù)平臺多節(jié)點建設(shè)，首先需要對現(xiàn)有業(yè)務(wù)平臺系統(tǒng)架構(gòu)進行分析，確定南北各部署哪些模塊及子系統(tǒng)，同時需要確定個業(yè)務(wù)對南北節(jié)點之間的傳輸時延要求。

通過對南方節(jié)點數(shù)據(jù)中心現(xiàn)有技術(shù)的分析，基于新技術(shù)發(fā)展及南方節(jié)點數(shù)據(jù)中心運營現(xiàn)狀，新數(shù)據(jù)中心節(jié)點計算與存儲領(lǐng)域?qū)⒉扇“凑辗謭鼍?、分模型進行資源配置、提升運營效益與投資效率；網(wǎng)絡(luò)領(lǐng)域引入SDN等新技術(shù)，消除二層扁平化組網(wǎng)帶來的諸多問題。同時根據(jù)對業(yè)務(wù)平臺南北節(jié)點的網(wǎng)絡(luò)需求，南北節(jié)點現(xiàn)階段只需要通過三層互通。

4.1 計算資源建設(shè)方案

通過對北方節(jié)點業(yè)務(wù)場景的分析，規(guī)劃由前期的4個場景、 4類服務(wù)器模型，細化擴展至10個應(yīng)用場景、8類服務(wù)器模型,表1列出各類型服務(wù)器使用場景描述。

原則上應(yīng)用服務(wù)器全部采用虛擬化服務(wù)器模型（機架）進行配置，以提升虛擬化服務(wù)器的比例。

4.2 存儲資源建設(shè)方案

北方節(jié)點繼續(xù)推進基于x86的分布式存儲技術(shù)，同時對現(xiàn)有業(yè)務(wù)場景進行分析，得出8類場景、5類模型，如表2所示，存儲選型時結(jié)合此模型進行選擇。

確定了存儲技術(shù)的選擇，接下來需要進一步確定存儲組網(wǎng)技術(shù)，結(jié)合存儲分類及業(yè)務(wù)場景需求，存儲組網(wǎng)技術(shù)選型方案如表3所示。

4.3 組網(wǎng)技術(shù)建設(shè)方案

通過對南方節(jié)點組網(wǎng)技術(shù)的分析，北方節(jié)點根據(jù)數(shù)據(jù)中心組網(wǎng)技術(shù)的演進，將逐步引入SDN和NFV技術(shù)。

4.4 云管理平臺建設(shè)方案

由于現(xiàn)有互聯(lián)網(wǎng)公司云管臺能力不完善，隨著北方節(jié)點的新建，需要按照OpenStack架構(gòu)改造現(xiàn)有資源池管理平臺，解耦形成云管理平臺、形成管理平臺二級架

構(gòu)，如圖4所示，實現(xiàn)對南北方節(jié)點的統(tǒng)一管理，并預(yù)留與總部云管理平臺統(tǒng)一視圖接口。

表1 各類型服務(wù)器使用場景描述

表2 存儲分級分場景配置模型

表3 存儲組網(wǎng)技術(shù)選型方案

圖4 云管理平臺架構(gòu)圖

5 結(jié)論

互聯(lián)網(wǎng)公司現(xiàn)有南方節(jié)點數(shù)據(jù)中心經(jīng)過多期建設(shè)，已逐步實現(xiàn)從煙囪式建設(shè)方式變更為統(tǒng)一數(shù)據(jù)中心建設(shè)方式。隨著互聯(lián)網(wǎng)公司業(yè)務(wù)不斷發(fā)展，現(xiàn)有南方節(jié)點數(shù)據(jù)中心單節(jié)點建設(shè)方式無法全面保障對業(yè)務(wù)的支撐，為了更好地提升用戶體驗，實現(xiàn)用戶就近接入，需要逐步引入多個數(shù)據(jù)中心節(jié)點的建設(shè)。