盛大游戲G云2.0探秘

郭濤

從1999年成立至今，盛大游戲在游戲界創(chuàng)造了一個又一個傳奇：2002年首創(chuàng)e-sales網(wǎng)游營銷體系；2004年成為國內(nèi)首個收購海外上市游戲公司的企業(yè)；2005年率先實現(xiàn)CSP免費模式轉(zhuǎn)型；2009年在納斯達克上市，成為當年美國規(guī)模最大的IPO案；其自研游戲《熱血傳奇手機版》、《傳奇世界手游》、《龍之谷手游》等成為現(xiàn)象級作品……在云計算時代，盛大游戲采用先進的云計算技術(shù)助推游戲產(chǎn)業(yè)的發(fā)展，打造了私有云平臺——G云。它是盛大游戲強大游戲運營能力的基石，能夠讓用戶充分享受云平臺帶來的穩(wěn)定、安全、高效和高性價比，同時有效降低了用戶使用IT基礎(chǔ)設(shè)施的技術(shù)門檻和成本。

作為游戲玩家，可能大多數(shù)人只是擁有云上游戲的良好體驗，但是對于支撐游戲的云平臺的內(nèi)涵，特別是計算、存儲、網(wǎng)絡(luò)等資源的構(gòu)建、使用和管理知之甚少。盛大游戲G云2.0探秘之旅將從計算開始，歷經(jīng)存儲、網(wǎng)絡(luò)，以混合云管理為終點。

ExpressVM超融合云平臺

我們先來認識可以彈性擴張和收縮的ExpressVM超融合云平臺。

ExpressVM超融合云平臺以O(shè)penStack為基礎(chǔ)，經(jīng)過深度開發(fā)和調(diào)優(yōu)，并結(jié)合軟件定義存儲和軟件定義網(wǎng)絡(luò)的相關(guān)技術(shù)，構(gòu)建了混合、開放、可拓展的資源池，可同時支持多種“開放計算”資源。

對于一個云平臺而言，最重要的是提供一個高效穩(wěn)定的虛擬機環(huán)境。思華ExpressVM針對現(xiàn)代硬件架構(gòu)和虛擬化技術(shù)進行了再優(yōu)化。例如，在ExpressVM開發(fā)初期，Guest OS的運行出現(xiàn)了許多“詭異”現(xiàn)象，如CPU占用過高、系統(tǒng)卡死、定時器不穩(wěn)定、運行忽快忽慢等。經(jīng)過進一步調(diào)優(yōu)，并針對不同的Guest OS進行不同的配置，BIOS的設(shè)置也根據(jù)虛擬化的特點做特定設(shè)置，終于打造出一個穩(wěn)定、可靠、高性能的云計算基礎(chǔ)架構(gòu)。

超融合架構(gòu)和傳統(tǒng)存儲的靈活搭配。ExpressVM打破了OpenStack Cinder這部分的實現(xiàn)限制，按照計算和存儲一體的超融合架構(gòu)進行了重新設(shè)計，可以將虛擬機的系統(tǒng)盤和數(shù)據(jù)盤保持在虛擬機所在同一臺物理機上，使虛擬機訪問存儲時不再經(jīng)過網(wǎng)絡(luò)，有效避免了網(wǎng)絡(luò)開銷所帶來的存儲訪問延遲和性能瓶頸。

高度靈活的架構(gòu)設(shè)計。思華XOS混合云管理平臺設(shè)計的一個要點是在一個架構(gòu)體系下同時支持私有云、公有云和裸機云，為不同保障等級的租戶提供服務(wù)，展現(xiàn)出統(tǒng)一界面和用戶使用體驗。XOS在OpenStack模型的基礎(chǔ)上進行了進一步擴展，提高了整個系統(tǒng)的靈活性。

作為云計算基礎(chǔ)架構(gòu)，ExpressVM不只應用在盛大游戲G云2.0平臺，還在工業(yè)設(shè)計領(lǐng)域、工業(yè)4.0自動化生產(chǎn)領(lǐng)域、互聯(lián)網(wǎng)業(yè)務(wù)基礎(chǔ)環(huán)境、邊緣云基礎(chǔ)環(huán)境等領(lǐng)域有著廣泛應用。

“解剖”MegaBric分布式存儲

然后，讓我們“解剖”一下MegaBric分布式存儲。MegaBric基于標準x86硬件設(shè)計，采用全對等全分布式架構(gòu)，可同時提供文件、塊、對象存儲服務(wù)，能夠方便快捷地滿足用戶業(yè)務(wù)上的復雜應用，是高質(zhì)量、高性能、高安全、高性價比的軟件定義存儲產(chǎn)品。MegaBric通過獨有的本地化IO技術(shù)提升了存儲性能：采用雙副本的數(shù)據(jù)冗余方式，保證數(shù)據(jù)在節(jié)點故障的情況下，虛擬機對數(shù)據(jù)的正常訪問；具有數(shù)據(jù)本地化的特性，數(shù)據(jù)優(yōu)先從本地讀取，極大地降低了數(shù)據(jù)讀寫延時，提高了虛擬環(huán)境下的IOPS以及吞吐能力，單臺虛擬機可以達到3W IOPS。

MegaBric解決了存儲硬件成本和運維成本高的問題。MegaBric為Openstack環(huán)境提供Cinder driver，可以方便地為虛擬機提供塊存儲服務(wù)，支持對虛擬機中的云硬盤創(chuàng)建快照、快照恢復、在線調(diào)整云硬盤大小，以及對云硬盤的QoS的設(shè)置。MegaBric文件存儲可以同時提供NFS、SMB、POSIX服務(wù)，支持主流的Windows、Linux操作系統(tǒng)。游戲業(yè)務(wù)中將用戶的操作日志、操作歷史記錄等10KB左右的小文件存儲在共享的文件系統(tǒng)中，這部分數(shù)據(jù)單文件規(guī)格小但數(shù)據(jù)量巨大，使用MegaBric小文件加速專利技術(shù)，比傳統(tǒng)NAS性能提高10倍以上。MegaBric支持Swift對象存儲，同時兼容S3接口，可以為游戲業(yè)務(wù)提供更加豐富的接入方式。盛大游戲的多個工作室將游戲業(yè)務(wù)中的冷數(shù)據(jù)轉(zhuǎn)存到G云2.0的對象存儲里，可以有效地降低數(shù)據(jù)存儲的成本，更利于對用戶行為數(shù)據(jù)的總結(jié)分析。

在線云硬盤跨存儲池遷移。在G云2.0運營的過程中，某些游戲業(yè)務(wù)初始采用普通的云硬盤（SAS），但是游戲后期用戶激增，對于磁盤的IO要求顯著提高，需要遷移到高速云硬盤（SSD）。MegaBric采用在線卷遷移功能，在云硬盤規(guī)格升級過程中，可以將云硬盤從SAS資源池在線遷移到SSD資源池，用戶無需干預。遷移過程中數(shù)據(jù)訪問不中斷、性能無明顯影響。

多存儲類型支持，動態(tài)調(diào)整空間比例。云平臺建設(shè)初期業(yè)務(wù)對于各種類型存儲的需求量并不確定，這就需要存儲服務(wù)能夠支持動態(tài)調(diào)整集群內(nèi)塊存儲、文件存儲、對象存儲的空間使用比例。MegaBric存儲資源池在線擴容、縮容的功能很好地解決了空間調(diào)整的問題。

在G云2.0中，思華MegaBric成功地解決了文件存儲熱升級中遇到的業(yè)務(wù)實時大量的IO讀寫、存儲各組件動態(tài)庫的更新、存儲狀態(tài)中鎖狀態(tài)/內(nèi)存狀態(tài)的維持、存儲狀態(tài)中網(wǎng)絡(luò)連接的維持/重連、存儲集群中客戶端和服務(wù)端信息同步升級等難點，真正做到了分布式文件存儲的熱升級、毫秒級的業(yè)務(wù)感知，可以在存儲管理端實現(xiàn)一鍵熱升級、一鍵回滾。

G云2.0中的SDN技術(shù)

接著，讓我們來認識G云2.0中使用的SDN技術(shù)。G云2.0的網(wǎng)絡(luò)，要求充分考慮盛大游戲系統(tǒng)架構(gòu)的通用性和易用性，同時需要針對游戲行業(yè)的特殊性，例如網(wǎng)絡(luò)延時、彈性擴容、安全等進行定制化的架構(gòu)設(shè)計。

盛大游戲引入以盛科SDN白牌交換機為網(wǎng)絡(luò)承載（同時支持華為等數(shù)據(jù)中心交換機），思華ExpressNET為控制平面的方案，構(gòu)建了新一代混合云網(wǎng)絡(luò)架構(gòu)。該方案沒有僵化地采用純OpenFlow的方式，而采用了支持VxLAN的數(shù)據(jù)中心交換機和開放API相結(jié)合方式，由網(wǎng)絡(luò)設(shè)備提供足夠靈活的API，供思華的SDN控制器調(diào)用。

思華ExpressNET網(wǎng)絡(luò)平臺為云主機、裸機提供了必要的實體和虛擬網(wǎng)絡(luò)環(huán)境，包括但不限于：VPC內(nèi)部二三層東西向訪問、南北向公網(wǎng)訪問、虛擬機和物理機訪問、跨云跨IDC訪問等，同時以VPC為單元對租戶進行安全隔離、公網(wǎng)QoS限制。

思華ExpressNET全面替換原生Neutron網(wǎng)絡(luò)方案，彌補了原生方案的不足。同時，思華ExpressNET軟件定義網(wǎng)絡(luò)同時兼顧游戲場景對于組網(wǎng)和性能，尤其是低延時的要求，為盛大游戲G云2.0打造了新一代的網(wǎng)絡(luò)架構(gòu)。盛大游戲技保平臺中心總監(jiān)應華表示：“我們選擇思華ExpressNET作為G云2.0的網(wǎng)絡(luò)架構(gòu)，主要看重ExpressNET采用了SDN白牌交換機和開放API相結(jié)合的方式，各個IDC可以選擇不同廠家的網(wǎng)絡(luò)設(shè)備，有效降低了對單一硬件廠商的依賴度，同時可以為我們提供定制化的SDN開發(fā)服務(wù)?！?/p>

混合云的管理

最后是混合云的管理。思華XOS混合云管理平臺，采用彈性混合云平臺方案，其定制化的設(shè)計十分貼合盛大游戲G云2.0各項業(yè)務(wù)需求，建立了多層級的租戶模型，覆蓋SP、工作室、項目組、游戲等，對資源集中管控、運維、調(diào)度，租戶獲取資源池后自服務(wù)分配資源，私有云、公有云資源統(tǒng)一分配、管理，由系統(tǒng)屏蔽其差異性，可提供一致的業(yè)務(wù)體驗。

XOS混合云管理平臺為G云2.0帶來良好的可運營性。XOS采用微服務(wù)架構(gòu)設(shè)計，構(gòu)建了一套靈活的部署架構(gòu)和自動化維護工具，并盡可能使用虛擬機來部署管理系統(tǒng)本身，最終實現(xiàn)了全平臺On-The-Fly不停機升級、一鍵升級和回退產(chǎn)品的任何一個組件。

基于自身多樣化、定制化、全面化的需求，盛大游戲選對了合作伙伴。而思華科技秉承“聚焦用戶需求，重塑企業(yè)變革”的原則，基于多年來在云計算方面的技術(shù)積累和實踐經(jīng)驗，幫助盛大游戲搭建了“定制化，更安全”的行業(yè)混合云平臺，在計算、存儲、網(wǎng)絡(luò)和云管理方面展現(xiàn)了“奇思妙想”，同時又符合用戶的實際需求。