像搭積木一樣拼裝數(shù)據(jù)中心

王沛霖

你可能知道騰訊是國內(nèi)互聯(lián)網(wǎng)三巨頭之一，可能是騰訊兩億多同時(shí)在線的QQ用戶和4.38億微信活躍用戶中的一員，但是你可能并不了解是什么在支撐著這些億級(jí)用戶平臺(tái)的順暢運(yùn)營，也不了解騰訊在研發(fā)IT基礎(chǔ)架構(gòu)方面的努力和已經(jīng)擁有的成熟體系。

數(shù)據(jù)中心，這個(gè)與普通的互聯(lián)網(wǎng)用戶距離遙遠(yuǎn)的神秘所在，卻是互聯(lián)網(wǎng)業(yè)務(wù)的神經(jīng)中樞，為互聯(lián)網(wǎng)企業(yè)的各項(xiàng)應(yīng)用提供源源不絕的動(dòng)力。在越來越熱門的云計(jì)算和大數(shù)據(jù)背后，數(shù)據(jù)中心的價(jià)值越來越得到人們的認(rèn)同和重視。數(shù)據(jù)中心的布局和運(yùn)營效率已經(jīng)成為互聯(lián)網(wǎng)企業(yè)重要的核心競爭力之一。

作為國內(nèi)知名的互聯(lián)網(wǎng)企業(yè)，騰訊伴隨著數(shù)據(jù)中心的不斷建設(shè)而發(fā)展壯大。從2006年開始在深圳租賃樓房自行建設(shè)數(shù)據(jù)中心，到2007年在天津自建超大規(guī)模數(shù)據(jù)中心，并開始在全國乃至世界各地快速布局，到目前為止，騰訊已經(jīng)在全國13個(gè)城市擁有超過58個(gè)數(shù)據(jù)中心，里面的數(shù)十萬臺(tái)服務(wù)器為騰訊的各項(xiàng)業(yè)務(wù)提供強(qiáng)有力的支撐。

9月10日，騰訊在北京舉辦了一場主題為“開放創(chuàng)新，合作共贏”的數(shù)據(jù)中心分享日活動(dòng)，并在第二天帶領(lǐng)與會(huì)代表奔赴其自建的天津數(shù)據(jù)中心進(jìn)行參觀、交流。參與此次系列活動(dòng)的都是數(shù)據(jù)中心領(lǐng)域的主管領(lǐng)導(dǎo)和資深專家：有的來自知名的互聯(lián)網(wǎng)公司，有的來自國內(nèi)外的電信運(yùn)營商，有的來自服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)等設(shè)備廠商。據(jù)悉，這是騰訊第一次以如此公開的形式帶領(lǐng)大家近距離接觸騰訊的數(shù)據(jù)中心。騰訊在展示開放胸懷和創(chuàng)新研究成果的同時(shí)，也讓大家更加清晰地了解先進(jìn)的騰訊模塊化數(shù)據(jù)中心解決方案——TMDC。

騰訊天津數(shù)據(jù)中心開門迎客

騰訊公司副總裁別洪濤告訴記者，作為互聯(lián)網(wǎng)企業(yè)，騰訊因?yàn)闃I(yè)務(wù)的發(fā)展需求較早對(duì)數(shù)據(jù)中心提出訴求，因此數(shù)據(jù)中心建設(shè)起步也相對(duì)較早。差不多從2006年開始騰訊就系統(tǒng)地摸索，并快速更新自己的數(shù)據(jù)中心技術(shù)。位于天津經(jīng)濟(jì)技術(shù)開發(fā)區(qū)的騰訊天津數(shù)據(jù)中心，是騰訊于2007年啟動(dòng)自建的第一個(gè)超大規(guī)模數(shù)據(jù)中心，也是騰訊迄今為止自主規(guī)劃、設(shè)計(jì)和運(yùn)營的最大的數(shù)據(jù)中心。該中心共有4棟建筑，總建筑面積達(dá)8萬平方米，滿載可容納20萬臺(tái)服務(wù)器。它也是目前亞洲最大的數(shù)據(jù)中心之一。

在進(jìn)入騰訊天津數(shù)據(jù)中心大樓前，筆者按照要求關(guān)注了“騰訊數(shù)據(jù)中心”的微信公眾號(hào)（騰訊每周通過該公眾號(hào)平臺(tái)分享其最新的數(shù)據(jù)中心技術(shù)和運(yùn)營經(jīng)驗(yàn)）。而此前，騰訊方面已經(jīng)對(duì)參觀者的申請(qǐng)資料進(jìn)行了內(nèi)部審核。該公眾號(hào)給參觀者發(fā)送進(jìn)入騰訊天津數(shù)據(jù)中心的電子門票。保安人員通過掃描二維碼門票即可完成授權(quán)進(jìn)入的程序，省去了以前用本子登記的麻煩。

數(shù)據(jù)中心的一樓是基礎(chǔ)設(shè)施層，這里有規(guī)模龐大的水冷系統(tǒng)。騰訊天津數(shù)據(jù)中心高級(jí)經(jīng)理閆昆介紹說，當(dāng)時(shí)大家所處的三號(hào)樓可承載10萬臺(tái)服務(wù)器，用電負(fù)荷約等于8萬個(gè)城市家庭的總和。這么大的用電負(fù)荷，需要一套龐大的冷卻系統(tǒng)來支撐。為了方便管理，機(jī)房中管道都用顏色標(biāo)示：藍(lán)色的代表供水管，黃色的代表回水管。環(huán)狀管道上還有幾百個(gè)大大小小的閥門。當(dāng)管道上任何一個(gè)位置出現(xiàn)破裂或其他故障時(shí)，管理人員就可以通過關(guān)閉附近的閥門來隔離故障點(diǎn)，將故障對(duì)整個(gè)水系統(tǒng)運(yùn)行的影響降到最低。這是一種高可用性設(shè)計(jì)。

據(jù)悉，當(dāng)秋冬季來臨，外界氣溫降低時(shí)，運(yùn)營團(tuán)隊(duì)就會(huì)關(guān)閉最耗電的水冷機(jī)組，通過板式換熱器和樓頂?shù)睦鋮s塔，利用室外冷空氣對(duì)水降溫，達(dá)到節(jié)能的目的。而所有這些轉(zhuǎn)換和控制都是通過自動(dòng)控制系統(tǒng)來實(shí)現(xiàn)的。天津運(yùn)營團(tuán)隊(duì)的主要任務(wù)就是通過反復(fù)的實(shí)踐，摸索出最優(yōu)的變頻調(diào)節(jié)參數(shù)，以及設(shè)備輪巡和故障切換的控制邏輯，以達(dá)到最優(yōu)的能效，節(jié)約運(yùn)營成本。

數(shù)據(jù)中心三樓是供配電系統(tǒng)機(jī)房。在騰訊第三代數(shù)據(jù)中心中，服務(wù)器供電采用了市電直供加上直流系統(tǒng)備份。和傳統(tǒng)的雙路交流UPS（不間斷電源）供電技術(shù)相比，這種創(chuàng)新的供電方式大大簡化供電的結(jié)構(gòu)，提升服務(wù)器用電的穩(wěn)定性和用電效率，初期投資成本也較低。在實(shí)際運(yùn)營過程中，這種直流UPS技術(shù)節(jié)能省電效果顯著。值得一提的是，這種新型的直流UPS技術(shù)運(yùn)維方便，在降低工作人員的技術(shù)門檻的同時(shí)，保障了運(yùn)行中的設(shè)備和人員的安全，而傳統(tǒng)交流UPS是一種體型龐大、操作復(fù)雜的供電設(shè)備，還存在發(fā)生惡性事故的隱患。

微模塊就是一個(gè)微型數(shù)據(jù)中心

微模塊解決方案是騰訊第三代數(shù)據(jù)中心TMDC的核心。按照騰訊的設(shè)計(jì)，每個(gè)微模塊都包含有IT系統(tǒng)、配電系統(tǒng)、空調(diào)系統(tǒng)、消防系統(tǒng)和監(jiān)控系統(tǒng)等，可以簡單地認(rèn)為微模塊就是一個(gè)微型數(shù)據(jù)中心。

這樣的設(shè)計(jì)好處顯而易見。微模塊的所有組件都在工廠完成預(yù)制和測試工作，到數(shù)據(jù)中心現(xiàn)場，工作人員像搭裝積木一樣經(jīng)過簡單拼裝后，系統(tǒng)即可投入使用。因此，微模塊解決了傳統(tǒng)數(shù)據(jù)中心建設(shè)周期冗長、配合復(fù)雜的問題，可快速、靈活地部署。這個(gè)特點(diǎn)使TMDC更容易安排分期建設(shè)，有效保護(hù)投資。當(dāng)數(shù)據(jù)中心“退役”時(shí)，工作人員還可以很方便地將那些還可用的微模塊拆卸下來，在其他數(shù)據(jù)中心組裝后繼續(xù)使用。

在騰訊天津數(shù)據(jù)中心，筆者參觀了一個(gè)典型的微模塊機(jī)房。這個(gè)機(jī)房由12個(gè)微模塊組成，每個(gè)微模塊占地僅20多平方米，卻有12個(gè)服務(wù)器機(jī)架，每個(gè)機(jī)架上密密麻麻地排列著80臺(tái)服務(wù)器（1U上有兩臺(tái)服務(wù)器）。也就是說，在一個(gè)很小的空間內(nèi)，每個(gè)微模塊竟然容納了960臺(tái)服務(wù)器。

每個(gè)微模塊的外部都掛著一塊液晶屏幕，運(yùn)維人員可清晰地查詢微模塊的各種運(yùn)行狀況。通過名為“星云”的統(tǒng)一自動(dòng)化運(yùn)營管理平臺(tái)，運(yùn)維人員還可遠(yuǎn)程監(jiān)控每個(gè)微模塊。閆昆介紹，支持20萬臺(tái)服務(wù)器如此大規(guī)模的數(shù)據(jù)中心，騰訊的運(yùn)營團(tuán)隊(duì)卻只有15人。

據(jù)悉，TMDC是騰訊自己研發(fā)的、全球首創(chuàng)的數(shù)據(jù)中心技術(shù)，已申請(qǐng)近20項(xiàng)專利。TMDC從2008年開始研發(fā)，經(jīng)過實(shí)驗(yàn)室階段、小批量試點(diǎn)階段后，從去年開始在全國范圍內(nèi)同步推廣。除了應(yīng)用在騰訊自建的寶安、天津數(shù)據(jù)中心外，TMDC也得到了運(yùn)營商的全面肯定。目前騰訊已經(jīng)和深圳聯(lián)通、深圳電信、上海電信等在大型數(shù)據(jù)中心合作推廣。在開放日當(dāng)天，也是騰訊第一次向外界正式發(fā)布和展示自己的TMDC。

開放，讓后來者少走彎路

涉足數(shù)據(jù)中心領(lǐng)域至今，騰訊的數(shù)據(jù)中心技術(shù)已經(jīng)經(jīng)歷了三代。騰訊IDC平臺(tái)部高級(jí)總監(jiān)楊曉偉介紹說，最初采用傳統(tǒng)的電信解決方案，數(shù)據(jù)中心PUE（能效比）僅為1.6左右；后來采用自然冷卻技術(shù)的第二代數(shù)據(jù)中心，將PUE降低到了1.4。到2012年以后，隨著技術(shù)積淀日益深厚，騰訊自行研發(fā)了基于微模塊的更為節(jié)能的第三代數(shù)據(jù)中心解決方案——TMDC。

騰訊IDC平臺(tái)部技術(shù)發(fā)展中心副總監(jiān)朱華告訴記者，騰訊正在嘗試應(yīng)用很多最新技術(shù)，如用三聯(lián)供技術(shù)來實(shí)現(xiàn)分布式供電、全自然風(fēng)的冷卻方式、提高機(jī)房溫度、冷卻系統(tǒng)去水化等。除此之外，在數(shù)據(jù)中心的自動(dòng)化系統(tǒng)研發(fā)方面，騰訊也不吝成本，開始研發(fā)基于SDI（軟件定義的基礎(chǔ)架構(gòu)）的控制系統(tǒng)，并將逐步向業(yè)界推出數(shù)據(jù)中心監(jiān)管控系統(tǒng)的南向和北向標(biāo)準(zhǔn)。

別洪濤強(qiáng)調(diào)，在數(shù)據(jù)中心的發(fā)展過程中，騰訊一直秉承開放的心態(tài)，和大家分享自己的技術(shù)和經(jīng)驗(yàn)。騰訊的技術(shù)人員每年都會(huì)在很多行業(yè)峰會(huì)、技術(shù)論壇上宣講騰訊最新的技術(shù)，同時(shí)積極參與類似“天蝎”這樣的開放項(xiàng)目，參與開放數(shù)據(jù)中心聯(lián)盟等開源組織，在其中貢獻(xiàn)自己的一份力量?！爱?dāng)然，以前這些實(shí)戰(zhàn)經(jīng)驗(yàn)的分享還比較零散，不成體系。到今天，騰訊在數(shù)據(jù)中心領(lǐng)域開始有了一些成系統(tǒng)的經(jīng)驗(yàn)，包括從第一代到第三代數(shù)據(jù)中心的思考，我們希望把騰訊摸索出來的經(jīng)驗(yàn)更多地分享給業(yè)界，可以讓后來者少走一些彎路。” 別洪濤透露，騰訊目前正積極與相關(guān)政府部門共同推動(dòng)數(shù)據(jù)中心運(yùn)營標(biāo)準(zhǔn)化的制定。他希望能有更多的運(yùn)營商、廠商參與其中，共同推動(dòng)我國數(shù)據(jù)中心生態(tài)圈的完善。