撬動商業(yè)帝國的技術支點

陳振華

2016年1月20日，2016云棲大會-上海蜂會在上海科技館舉行，阿里云展示新產(chǎn)品，計DT未來的體驗再次觸手可及。

羅金鵬飛快敲擊鍵盤的節(jié)奏被電話打亂了。他接到的是一通測試報警電話，這說明數(shù)據(jù)在測試的時候可能出現(xiàn)了異常。他停下手中的活，立馬去處理這個異常。

這就是羅金鵬每天的工作狀態(tài)。他是阿里巴巴數(shù)據(jù)技術及產(chǎn)品部高級技術專家。像他這樣從事著看似枯燥卻非常重要的工作的工程師，在阿里巴巴有數(shù)千。

正是這些技術人員日復一日的謹慎小心，才保障了這個中國最大的電商平臺的正常運行，使之可以實現(xiàn)2016財年電商交易額突破3萬億元這一里程碑式的業(yè)績。

這些技術人員所維護的，可能是這個時代最復雜、運算量最大的系統(tǒng)之一。在這個系統(tǒng)上，大數(shù)據(jù)和云計算成為最鮮活的技術手段。

包括阿里巴巴在內(nèi)的所有電商平臺，也是依托著這些最先進的技術不斷拓展輻射的深度和廣度，不斷地開辟藍海。

“今天，我們把大數(shù)據(jù)和云計算定位成一個商業(yè)的基礎設施。但大數(shù)據(jù)成為新經(jīng)濟的石油，云計算成為新經(jīng)濟的引擎，真正產(chǎn)生成果，還需要一個過程。”阿里巴巴集團CEO張勇告訴《瞭望東方周刊》。

當他們在中國這個巨大的市場和消費人群中歷練過后，電商平臺的技術實力，已經(jīng)不僅僅能夠為自己提供服務，也已具備了輸出的可能性。

“互聯(lián)網(wǎng)成為基礎設施，數(shù)據(jù)成為生產(chǎn)資料，而計算成為公共服務。通過數(shù)據(jù)和計算，拓展全新的領域，才是數(shù)據(jù)產(chǎn)生價值更重要的發(fā)展方向?！卑⒗锇桶图瘓FCTO王堅在接受《瞭望東方周刊》采訪時表示。

實際上，技術的發(fā)展可以分為三步：首先是為了保障系統(tǒng)的運轉(zhuǎn)正常;第二步，是從大數(shù)據(jù)中挖掘商業(yè)規(guī)律和價值，為商業(yè)判斷提供參考;第三步，則是挖掘出大數(shù)據(jù)潛在的價值，并對外輸出技術能力，用技術拓展商業(yè)的邊界。

確保峰值不崩潰

技術的最基礎功能，是保證系統(tǒng)正常運行。但這對于天貓和淘寶這種日成交額動輒數(shù)十億元的電商平臺來說，并不是件簡單的事。

3月21日下午14時58分37秒，阿里巴巴中國零售交易市場2016財年商品交易即時總額累計突破3萬億元。

3萬億元背后的成交高峰，出現(xiàn)在“雙11”——當天全天交易額達912.17億元，全天支付筆數(shù)達7.1億筆。

如此大規(guī)模的交易量和支付量，是對技術的“大考”。而最難的“題”，則是確保峰值來臨時不能崩潰。

“‘雙11之所以能順利通過考驗，靠的是阿里巴巴多年的技術沉淀，有賴于4個主要技術單元的通力合作。在當天其實最緊張的就是技術支持團隊，面對那么大的交易洪峰，一點差錯都不能出?！蓖鯃哉f。

在阿里巴巴主要的4個技術單元中，數(shù)據(jù)技術及產(chǎn)品部是負責將數(shù)據(jù)進行流式計算并實時呈現(xiàn)在媒體大屏幕上的關鍵團隊。

在“雙11”之前，這個團隊與上下游技術團隊共同進行了數(shù)十次大大小小的壓力測試。只有通過最嚴苛的壓力測試，才能保障雙十一期間的系統(tǒng)性能和穩(wěn)定性。

當天00：05：01，阿里巴巴系統(tǒng)交易創(chuàng)建達到14萬筆/秒的峰值;00：09：02，支付量達到8.59萬筆/秒峰值。在2015年的“雙11”，共有超過200家銀行與支付寶共同支撐了支付洪峰。

這是什么概念？Visa在實驗室測試的支付峰值是5.6萬筆/秒，實際支付峰值是1.4萬筆/秒;而MasterCard實驗室測試的支付峰值是4萬筆/秒。

從歷史數(shù)據(jù)來看，2015年的交易峰值，是2014年“雙11”交易峰值3.85萬筆/秒的2.23倍。而相比2009年的首屆“雙11”，訂單創(chuàng)建峰值增長了350倍，支付峰值增長了430倍。

從“坐車”到“造車”

2008年，中國的電子商務開始了井噴式發(fā)展。

在駛?cè)肟燔嚨赖耐瑫r，阿里巴巴也敏銳地意識到它可能會面臨的瓶頸——其購買的軟硬件已經(jīng)不能滿足交易的高速增長，因為當時的數(shù)據(jù)規(guī)模已經(jīng)超過了全球傳統(tǒng)軟硬件巨頭的技術極限。

一個更大的背景，是阿里巴巴IT發(fā)展策略的變更：從依賴“商業(yè)軟件”，到擁抱“開源軟件”，轉(zhuǎn)而靠自主創(chuàng)新，提升技術研發(fā)實力。

而這一變化，始于2008年王堅加入阿里巴巴。

“成本降低是我們投入技術研發(fā)最先能夠看到的，因為購買許可是非常貴的。但更重要的原因在于，以IOE 為代表的傳統(tǒng)IT企業(yè)架構(gòu)，無法滿足互聯(lián)網(wǎng)業(yè)務的極速擴張，約束了企業(yè)長遠的發(fā)展?！蓖鯃钥偨Y(jié)道。

在王堅看來，直面這一前所未有的挑戰(zhàn)，最好的解決方式是采用云計算。2009年，王堅牽頭成立了阿里云。

阿里云的代表作之一便是超級計算引擎MaxCompute（原名ODPS）。2013年底，這一工具已經(jīng)開始支撐包括淘寶、天貓、支付寶、菜鳥等電商平臺所有的大數(shù)據(jù)業(yè)務。

不過，所有的新生事物都非一帆風順，研發(fā)自有技術難度之大超乎想象，并且從一出生就在與外部的PK中殘酷成長。

阿里云大數(shù)據(jù)專家李淼告訴《瞭望東方周刊》，在2010?2011年，與業(yè)界開源產(chǎn)品Hadoop相比，它大概三四個小時就能做完的，MaxCompute可能需要近30個小時，毫無優(yōu)勢。

而現(xiàn)在，MaxCompute比Hadoop系統(tǒng)的處理速度要快數(shù)倍。2015年“雙11”之前不久，MaxCompute參加了排序基準評估競賽SortBenchmark，把100TB數(shù)據(jù)的排序時間縮短到了377秒，而此前的紀錄是1406秒。MaxCompute獲得4項世界冠軍。

在加入阿里巴巴之前，李淼的頭發(fā)還是烏黑的，如今，他的頭發(fā)已經(jīng)花白。而阿里巴巴的“去IOE”行動，被業(yè)界認為是成功的。

“我們相當于從坐車的變成自己造車。這種領先，有技術和架構(gòu)上的原因，但更多是技術經(jīng)驗的積累，要一點一滴地不斷打磨?！崩铐蹈嬖V本刊記者。

這期間，阿里云的工程師對開源數(shù)據(jù)庫進行了大量的升級工作，并于2015年1月進入由Facebook、Google、Twitter和Linkedin四家公司發(fā)起的WebScaleSQL組織，開創(chuàng)了中國公司在全球開源項目中的先河。

除了不斷進化地應用他人已有的技術成果，阿里的自主研發(fā)技術也開始結(jié)出成果，用于替代開源數(shù)據(jù)庫的自主研發(fā)數(shù)據(jù)庫OceanBase開始應用于支付寶。這是全球首個應用在金融業(yè)務的分布式關系數(shù)據(jù)庫。

2014年，OceanBase承擔了支付寶10%的流量，而在2015年，它支撐了“雙11”時支付寶100%的核心交易流。目前，OceanBase已經(jīng)在支付寶、淘寶、天貓等多處使用。

在李淼看來，“對技術而言，金融系統(tǒng)的難度是最大、也是要求最高的。以前，技術的增長根本沒能力承擔這么大的業(yè)務量?！?/p>

實際上，阿里巴巴在2015年“雙11”期間所創(chuàng)造的紀錄，正是阿里云與淘寶、天貓、支付寶共同構(gòu)建的全球最大規(guī)?；旌显茖嵺`。

打破數(shù)據(jù)壁壘

在硬件和基礎技術準備成熟后，用王堅的話來說，就是對數(shù)據(jù)這一“生產(chǎn)資料”進行價值生產(chǎn)。

而在此之前，阿里巴巴還率先做了業(yè)界的又一件大事。從2013年起，阿里云自主研發(fā)的MaxCompute開始成熟，阿里巴巴集團自有的數(shù)據(jù)業(yè)務開始采用這一技術平臺，使之成為統(tǒng)一底層，該計劃取名為“登月計劃”。

漫長的“登月”，困難重重。

“大規(guī)模數(shù)據(jù)的搬遷，一定會出現(xiàn)小概率的數(shù)據(jù)丟失或損壞，就好像買彩票一定會有人中五百萬一樣，我們需要做的工作就是，把這個中了500萬的人規(guī)避掉。”李淼說。

“登月”之難還在于，需要校驗數(shù)據(jù)的正確性。李淼打了個比方，比如復制100萬個視頻文檔，得保證不丟失，同時還得把這100萬個視頻全部打開，從第一秒看到最后一秒。

又因為阿里巴巴集團內(nèi)需要整合的業(yè)務數(shù)據(jù)單元太多了，于是這個計劃中就從“登月一號”取名，二號、三號，一直到數(shù)字排不下，換成字母排到xyz，最后排到登月Z1，Z2……

整個數(shù)據(jù)搬遷的過程，直到2015年年初才差不多結(jié)束。

羅金鵬告訴本刊記者，由于不同的數(shù)據(jù)源會造成格式或者邏輯上的差異，用戶使用起來成本非常高，并且容易造成資源上的浪費。

“只有當全集團所有的數(shù)據(jù)放在一起，才能打通數(shù)據(jù)，進而挖掘更多的價值?！绷_金鵬說，阿里數(shù)據(jù)技術及產(chǎn)品部建立的統(tǒng)一數(shù)據(jù)公共層，直接帶來數(shù)以億計的資源節(jié)約。

據(jù)他介紹，阿里巴巴的數(shù)據(jù)公共層分為離線數(shù)據(jù)公共層和實時數(shù)據(jù)公共層。此舉不僅帶來更為可控的成本，而且極大提高了下游分析人員使用數(shù)據(jù)的效率，也減少了數(shù)據(jù)質(zhì)量問題出現(xiàn)的頻率。

“我們以OneData體系建立的集團數(shù)據(jù)公共層，從設計、開發(fā)、部署和使用上保障了數(shù)據(jù)口徑的規(guī)范和統(tǒng)一，實現(xiàn)數(shù)據(jù)資產(chǎn)全鏈路管理，提供標準數(shù)據(jù)輸出?！绷_金鵬說。

大數(shù)據(jù)如何賦能商業(yè)

對于電商平臺來說，大數(shù)據(jù)分析最直接的作用是描摹出用戶的特征和消費偏好，更好地營銷。

典型的例子是淘寶的“千人千面”。

“每個買家登錄的淘寶頁面，都是不一樣的?！饲婵雌饋砗唵危瑢嶋H上的技術挑戰(zhàn)不小。我們根據(jù)用戶的不同數(shù)據(jù)，給他們打上不同的標簽，再推薦出買家搜索過或與買家消費能力和喜好匹配的不同商品?！绷_金鵬說。

據(jù)他介紹，目前標簽有300多種，如此多的標簽，都是為了更精準地定位用戶，從而實現(xiàn)更好的精準營銷。

“技術和業(yè)務的關系是相輔相成的。你能承受多大的業(yè)務體量，你的技術才能有多強大。也只有數(shù)據(jù)技術做好了，才能做好精準營銷，為賣家提供更及時的策略，消費者體驗也能更好，自然也會反哺三萬億元的GMV增長?！绷_金鵬說。

據(jù)他介紹，他們已經(jīng)將阿里的數(shù)據(jù)能力通過產(chǎn)品對外孵化。目前已經(jīng)對商家提供的數(shù)據(jù)產(chǎn)品“生意參謀”，能提供多維度的數(shù)據(jù)服務，幫助商家通過數(shù)據(jù)分析來進行商業(yè)決策。

“比如店鋪瀏覽量多少，從哪個入口進來，不同區(qū)塊和圖片點擊量多少，成交量多少，可能喜歡什么東西等，為下一步的商業(yè)決策提供參考?！?/p>

在阿里巴巴的數(shù)據(jù)系統(tǒng)里，ID匹配月調(diào)用次數(shù)多達200多億次，ID畫像月調(diào)用次數(shù)近20億。而統(tǒng)一用戶畫像還依賴統(tǒng)一的用戶ID，這在阿里巴巴內(nèi)部代號為OneID。羅金鵬透露，在2016年，阿里巴巴數(shù)據(jù)技術及產(chǎn)品部下一個要攻克的難關是One ID。

“實現(xiàn)One ID，能讓廣告主能更精確的投放廣告，同時避免對用戶的過度騷擾。這項技術國內(nèi)外都沒有成熟的經(jīng)驗可供借鑒，多是靠我們自己摸索?！绷_金鵬說。

王堅的目光更長遠，在他看來，2016年是數(shù)據(jù)元年。

“數(shù)據(jù)本身是沒有價值的，它需要開發(fā)和挖掘價值。就好像原油本身沒有用，經(jīng)過煉油才能為人類所用。”王堅對本刊記者說，現(xiàn)在，產(chǎn)生數(shù)據(jù)價值的技術已逐漸成熟了。

技術輸出時代來臨

阿里巴巴的技術實力已不僅僅為己所用。

當技術已發(fā)展成熟到能很好地服務集團內(nèi)部時，阿里巴巴就會將技術封裝成工具，通過阿里云這一平臺對外提供服務，這被稱為“技術對外開放”。

在2011年7月，阿里云自主研發(fā)的“飛天”開始以公共云計算服務的方式對外提供云計算商業(yè)服務。

2016年初，阿里云又發(fā)布了大數(shù)據(jù)平臺“數(shù)加”，對外開放阿里巴巴十余年累積的大數(shù)據(jù)技術。該平臺集合計算引擎、開發(fā)套件、可視化工具和行業(yè)解決方案，是全球首個囊括前、中、后臺的大數(shù)據(jù)一站式開發(fā)平臺。

阿里云的MaxCompute也已經(jīng)商用：12306網(wǎng)站用阿里云承接春運高峰期75%的余票查詢流量;華大基因用阿里云進行基因測序;螞蟻金服旗下的螞蟻小貸也是阿里云的客戶。

螞蟻小貸是王堅看好的一個項目，它完全基于大數(shù)據(jù)，通過阿里巴巴平臺上積累的信用與行為數(shù)據(jù)，最終實現(xiàn)了“3分鐘申請、1秒放款、0人工干預、最小貸款額為1元”等多方面的金融借貸領域突破。

“除了挖掘傳統(tǒng)的數(shù)據(jù)價值，比如商業(yè)洞察、營銷推廣等，我認為通過數(shù)據(jù)和云計算，拓展全新的領域，是數(shù)據(jù)產(chǎn)生價值更重要的發(fā)展方向。”王堅說。

這也是王堅對阿里云的期待：成為輸出計算能力和大數(shù)據(jù)技術的平臺，為這些夢想要創(chuàng)新的“獨角獸們”提供更好的服務和支持。

云計算市場潛力巨大，阿里云先后擴建了位于美國西岸和香港的數(shù)據(jù)中心，并將在美國東岸、中東、歐洲等地建立新的數(shù)據(jù)中心，不斷完善“全球網(wǎng)”布局。

2013年11月11凌晨，位于杭市的阿里巴巴集團淘寶總部員工在崗位上忙碌

在2015年第四季度財報中，阿里云營收8.19億元，比去年同期增長126%，連續(xù)第三個季度保持三位數(shù)增長。

外界評論普遍認為，云計算市場的第一梯隊已基本形成，并且會不斷固化。研究機構(gòu)IDC最新的統(tǒng)計數(shù)據(jù)顯示，截至2015年上半年，全球公共云計算市場占有率最高的前五家服務商分別為亞馬遜、微軟、IBM、RackSpace和阿里云。

有業(yè)內(nèi)人士認為，云計算全球市場或已形成“3A鼎立”的格局（AWS、Aliyun、Azure）。

而在王堅看來，計算能力或?qū)⒊蔀槠髽I(yè)乃至國家的核心競爭力。

“在未來，我們評估一個國家或企業(yè)的發(fā)展時，可能不是看消耗了多少電，多少石油，而是看消耗了多少計算能力，從數(shù)據(jù)中挖掘了多少價值。計算經(jīng)濟，是實現(xiàn)彎道超車非常重要的機遇?！蓖鯃哉f。