新技術(shù)的溫床在中國

Kevin Xu

中國科技公司是典型的早期采用者—不是因為趕時髦，而是確實有必要這么做。“中國式規(guī)?！弊屩袊幕ヂ?lián)網(wǎng)經(jīng)濟成為了高質(zhì)量軟件，特別是基礎(chǔ)設(shè)施軟件工程的成長沃土，這在開源技術(shù)上得到了充分體現(xiàn)。國內(nèi)開發(fā)者和企業(yè)向各大開源基金會貢獻了越來越多的開源項目，而我們對國外的開源項目也產(chǎn)生了越來越大的影響。

我87歲的祖母住在沈陽郊區(qū)的一所老房子里。雖然她年歲已高，但卻很有技術(shù)悟性。平常她會用京東、拼多多、淘寶等App進行網(wǎng)購。這三個App剛好是由中國電商市場的三巨頭開發(fā)的，其規(guī)模遠遠超出了千禧一代和Z世代的受眾總和。

購物節(jié)狂歡

電子商務(wù)是中國互聯(lián)網(wǎng)經(jīng)濟增長最快的垂直領(lǐng)域之一，同時也帶動了數(shù)字支付和物流配送的發(fā)展?；A(chǔ)設(shè)施技術(shù)在這一領(lǐng)域經(jīng)受了最為殘酷的考驗。

“雙11”是最為典型的案例，這是由阿里巴巴提出的一個網(wǎng)購節(jié)日，每年的11月11 日，淘寶和天貓都會如期慶祝這個節(jié)日。2017年“雙11”總銷售額為253億美元，2018年增長到了308億美元。

中國第二大電子商務(wù)平臺京東也有自己的年中購物節(jié)，即“618”，這是一個為期18天的促銷活動，截至6月18日，這天剛好是京東的成立紀念日。2017年，618的總銷售額為176億美元，2018年增長到了284億美元。

美國亞馬遜的年中購物節(jié)Prime Day在2018年和2017年分別創(chuàng)造了41.9億美元和24.1億美元的銷售額。美國感恩節(jié)購物季在2018年和2017年的銷售額分別為178億美元和196.2億美元。

對于工程師來說，有趣的不是令人瞠目結(jié)舌的銷售數(shù)據(jù)，而是如何構(gòu)建可以應(yīng)對這些工作負載的基礎(chǔ)設(shè)施。

2017年，阿里巴巴公布了“雙11”期間系統(tǒng)的高峰吞吐量：每秒25.6萬筆交易和每秒4200 萬次查詢。

不難想象，在這些促銷活動期間，肯定會不可避免地出現(xiàn)大量的事務(wù)、查詢、數(shù)據(jù)一致性問題、實時分析容量和其他難以想象的邊緣情況。

除了這些公司，所有其他想要搭上這些促銷活動順風(fēng)車的電子商務(wù)公司、所有為用戶在線購物提供電子支付解決方案的銀行，以及所有的物流中心和倉儲中心—他們都需要有好的基礎(chǔ)設(shè)施技術(shù)來應(yīng)對新的工作負載和流量增長。

由于這種增長速度，以及由此產(chǎn)生的競爭壓力，中國科技公司在采用新技術(shù)方面具有相當(dāng)強的風(fēng)險承受能力。

一家公司找到合適的產(chǎn)品市場，然后在不到兩個月的時間內(nèi)采用未經(jīng)證實但很有前景的新技術(shù)為高速增長的流量提供服務(wù)，這種事情并非聞所未聞。

京東在2016年初開始采用Kubernetes，當(dāng)時離谷歌開源Kubernetes還不到一年的時間，因為他們必須解決可伸縮性問題，而OpenStack沒能幫他們實現(xiàn)這一目標(biāo)。目前，京東擁有全球最大的Kubernetes集群，運行在2萬臺裸機上。

更大的規(guī)模，更大的責(zé)任

中國擁有世界上最多的互聯(lián)網(wǎng)用戶，而龐大的用戶規(guī)模也帶來了不可預(yù)知的行為，這種不可預(yù)知的行為也促使科技公司必須認真對待每一項技術(shù)。而生存下來的技術(shù)會變得更強大、更有彈性，也更值得被用在其他地方。

但是很多行為是不可能在構(gòu)建模式下進行預(yù)測或測試的。如何通過Paxos或Raft來模擬系統(tǒng)達到100倍查詢峰值時的網(wǎng)絡(luò)流量？當(dāng)一件商品、一首歌或一段視頻突然變得像病毒一樣迅速傳播，所有用戶都在試圖訪問它們，而更糟糕的是，有價值的廣告收入取決于系統(tǒng)不能崩潰。在這種情況下，你該如何處理數(shù)據(jù)熱點問題？當(dāng)數(shù)據(jù)增長率為每天數(shù)TB時，應(yīng)該如何擴展存儲容量？

所有這些情況，在很多中國科技公司中時有發(fā)生。他們正在迅速地尋找新的解決方案，以迎接這些挑戰(zhàn)—這為考驗這些創(chuàng)新技術(shù)提供了一片沃土。

“中國式規(guī)?！币呀?jīng)催生了一些由中國原創(chuàng)的基礎(chǔ)設(shè)施技術(shù)。去年，云原生計算基金會（CNCF）接受了其中的三個項目：Harbor、TiKV 和DragonFly。

由螞蟻金服開發(fā)的分布式關(guān)系數(shù)據(jù)庫，最初用于支持支付寶。支付寶在中國已經(jīng)無處不在。此后，OceanBase逐漸成為阿里巴巴所有關(guān)鍵電子商務(wù)平臺（如淘寶和天貓）的核心交易數(shù)據(jù)庫。它也是一個獨立的產(chǎn)品，南京銀行就是它的用戶之一。

2014年以來，它經(jīng)歷了五次“雙11”的考驗?？上У氖?，它是一個閉源產(chǎn)品，在中國以外沒有得到廣泛采用，所以與其架構(gòu)、設(shè)計或工程方面相關(guān)的信息并不多。

一個開源的、兼容MySQL的NewSQL分布式數(shù)據(jù)庫，由PingCAP于2015年創(chuàng)建。它采用了分層架構(gòu)，SQL處理層（左邊的TiDB集群）和可水平伸縮的存儲層（中間的TiKV集群）被分隔開來。（注：TiKV也由PingCAP發(fā)起，但現(xiàn)在由CNCF托管）。這個設(shè)計靈感來自于谷歌的Spanner和基于Spanner構(gòu)建的F1項目。

PD（Placement Driver）集群保存元數(shù)據(jù)，提供一些負載均衡支持，并提供時間戳（作為系統(tǒng)事務(wù)模型的一部分）。TiSpark集群是一個可選組件，用戶可以直接基于保存在TiKV中的數(shù)據(jù)運行Spark作業(yè)。

此外，PingCAP現(xiàn)已提供TiDB的企業(yè)版和云服務(wù)，同時也在維護開源社區(qū)版本。目前，中國已經(jīng)有幾百家公司在生產(chǎn)環(huán)境中部署了 TiDB，如摩拜、北京銀行和愛奇藝。國外也有一些大型互聯(lián)網(wǎng)公司使用了TiDB，如Shopee和 BookMyShow。

一個快速的OLAP（在線分析處理）引擎，最初由eBay中國團隊開發(fā)，在2014年貢獻給 Apache基金會，并在2015年底成為頂級項目。Kylin主要被用在Hadoop生態(tài)系統(tǒng)中，為數(shù)百億行數(shù)據(jù)的分析查詢帶來可觀的速度提升。

用戶先定義數(shù)據(jù)模型，然后利用Hadoop的分布式特性并行運行多個MapReduce作業(yè)，用以預(yù)構(gòu)建必要的多維模型（也稱為“MOLAP”）。最后，Kylin將預(yù)先計算的模型存儲在HBase中，供用戶查詢。它還使用Zookeeper來協(xié)調(diào)和管理這個過程的不同部分。

作為大數(shù)據(jù)分析引擎，Kylin集成了 Tableau、MicroStrategy、Excel等流行的BI 工具。它還提供了一個RESTful API，方便與第三方應(yīng)用程序連接。除了eBay，它還在OPPO、百度、中國太平洋保險等公司經(jīng)受過實戰(zhàn)考驗，三星和摩根大通也是它的用戶。

一個相對較新的開源應(yīng)用程序性能監(jiān)控（APM）工具，用于在基于容器的環(huán)境中監(jiān)控微服務(wù)。2017年底，它成為Apache基金會的孵化器項目。

Skywalking通過服務(wù)網(wǎng)格從微服務(wù)中提取指標(biāo)，并利用Jaeger等流行工具來跟蹤信息，并可以查詢和分析這些指標(biāo)和信息，還可以使用團隊開發(fā)的UI進行可視化。它還提供了一個可插拔的存儲接口，借助這個接口，可以將信息保存在一些流行的數(shù)據(jù)庫中，比如 Elasticsearch、MySQL和TiDB。

盡管這個項目成立還不到兩年，但中國的一些大型公司已經(jīng)在使用它，如華為、小米和貝殼等。

中國之外

除了本土技術(shù)，國外的一些技術(shù)也有了“中國式規(guī)?！钡奈兜?。

京東是Prometheus、Vitesse、Jenkins和GitLab等技術(shù)的用戶，百度是CockroachDB（另一個受Spanner啟發(fā)的開源數(shù)據(jù)庫，類似于 TiDB）的用戶。Alluxio，一個分布式文件系統(tǒng)統(tǒng)一層，可以以內(nèi)存速度運行（源自加州大學(xué)伯克利分校AMPLab的一個名為Tachyon的研究項目），也在百度、中國聯(lián)通和滴滴出行等企業(yè)中得到采用。

中國公司不僅在大規(guī)模采用這些技術(shù)，有時候甚至直接收購它們。

開源數(shù)據(jù)流平臺Apache Flink由柏林技術(shù)大學(xué)于2009年創(chuàng)建，作為Stratosphere研究項目的一部分。而阿里巴巴最終收購了由Flink 創(chuàng)始人創(chuàng)辦的dataArtisan。

有價值的權(quán)衡？

作為工程師，我們知道沒有什么技術(shù)是絕對的，它們總是存在權(quán)衡。我們總是在吞吐量和延遲、數(shù)據(jù)一致性和響應(yīng)時間、新特性和系統(tǒng)穩(wěn)定性之間做出權(quán)衡。我們很少能魚與熊掌兼得，我們也不相信把自己標(biāo)榜得太高的技術(shù)。

市場的選擇也是如此。在中國互聯(lián)網(wǎng)經(jīng)濟大環(huán)境中，有一些問題一定要考慮到，特別是信息審查方面的問題。

比如，對侵犯知識產(chǎn)權(quán)行為的法律追索仍然不太可靠，有關(guān)企業(yè)使用個人數(shù)據(jù)的監(jiān)管尚處于初級階段。但如果你是一名開發(fā)者，正在尋找一些穩(wěn)定可靠的技術(shù)，那么那些已經(jīng)在中國互聯(lián)網(wǎng)環(huán)境中經(jīng)受過實戰(zhàn)考驗的技術(shù)將是安全的選擇。