文/本刊記者 任 芳
在智能物流時代,數(shù)據(jù)無論對物流裝備還是物流系統(tǒng)的作用都至關(guān)重要。WMS、WCS等軟件系統(tǒng)的基礎(chǔ)便是數(shù)據(jù)庫軟件。物流裝備行業(yè)迫切需要讀取速度更快,計算效率更高,而且開源可改進的數(shù)據(jù)庫軟件系統(tǒng)。對高校而言,開源代碼對算法人才培養(yǎng)必然起到很好的促進作用。在這方面,濤思數(shù)據(jù)提供了很好的行業(yè)借鑒和產(chǎn)學(xué)研合作基礎(chǔ)。
近期,工業(yè)和信息化部等八部門聯(lián)合印發(fā)《物聯(lián)網(wǎng)新型基礎(chǔ)設(shè)施建設(shè)三年行動計劃(2021—2023年)》,明確到2023年底,在國內(nèi)主要城市初步建成物聯(lián)網(wǎng)新型基礎(chǔ)設(shè)施,物聯(lián)網(wǎng)連接數(shù)突破20億。這一數(shù)字背后,意味著更加龐大的數(shù)據(jù)規(guī)模。在物流領(lǐng)域同樣如此,隨著行業(yè)的發(fā)展,無論車聯(lián)網(wǎng)規(guī)模還是不同規(guī)模物流中心內(nèi)智能設(shè)備的接入量都在大幅增加。面對隨之而來的具有時效性強、實時數(shù)據(jù)量大等特點的海量數(shù)據(jù),如何實現(xiàn)高效的數(shù)據(jù)存儲和處理至關(guān)重要。
基于此,各種涵蓋數(shù)據(jù)采集、存儲、查詢、分析和計算等功能的物聯(lián)網(wǎng)數(shù)據(jù)平臺開始不斷涌現(xiàn),北京濤思數(shù)據(jù)科技有限公司(以下簡稱“濤思數(shù)據(jù)”)便是其中之一。但是,不走尋常路的濤思數(shù)據(jù),不僅摒棄傳統(tǒng)基于Hadoop生態(tài)的搭建方式,推出專為時序空間大數(shù)據(jù)設(shè)計的時序數(shù)據(jù)庫平臺,更是以開源的方式,突破行業(yè)傳統(tǒng)思維,開創(chuàng)了一條大膽創(chuàng)新探索之路,成為時序數(shù)據(jù)領(lǐng)域炙手可熱的標桿企業(yè)。
與濤思數(shù)據(jù)創(chuàng)始人陶建輝的初次會面,剛好在一場大雪之后。突然而至的大雪一夜之間便褪去了北京絢麗多彩的秋色,但雪后碧藍的天空,光禿的樹枝,與濤思數(shù)據(jù)所在的望京CBD設(shè)計別致的建筑群相互映襯著,倒也具有別樣的美。大自然總是充滿神秘莫測的變化,而對于軟件行業(yè)出身的陶建輝來說,最熟悉的卻莫過于變化。軟件行業(yè)可以說是技術(shù)更新?lián)Q代速度最快的行業(yè)之一,就拿App來說,其平均壽命大概只有10個月。想做一款“長命”的基礎(chǔ)性軟件產(chǎn)品的念頭,很久之前就開始在陶建輝的腦中萌生。最終,兩方面的原因堅定了他的信念。
活力四射的濤思數(shù)據(jù)團隊
一是蓬勃的市場需求。隨著互聯(lián)網(wǎng)的發(fā)展,特別是通訊成本的急劇下降,各式各樣的數(shù)據(jù)被采集并發(fā)送到云端,數(shù)據(jù)量呈現(xiàn)爆炸式地增長?!?0年前,你很難想象,幾乎每輛車、每臺設(shè)備都在源源不斷地產(chǎn)生數(shù)據(jù);現(xiàn)在,這一切都在發(fā)生;未來,這一趨勢還將加速。工業(yè)領(lǐng)域在傳統(tǒng)的實時監(jiān)控技術(shù)上,各種大數(shù)據(jù)分析技術(shù)、特別是人工智能技術(shù),讓采集的大數(shù)據(jù)產(chǎn)生了巨大的商業(yè)價值,催生了一個前所未有的市場?!彼硎?。
二是技術(shù)的相對落后。他進一步分享道:“相對于數(shù)據(jù)量的快速增長,數(shù)據(jù)處理的技術(shù)卻相對落后。雖然市場上已經(jīng)有從存儲、計算到分析較為完整的大數(shù)據(jù)處理框架,包括各種免費開源系統(tǒng),但需要耗費大量的存儲空間和計算資源。一個運營商光存儲查詢半年的上網(wǎng)記錄就需要使用數(shù)千臺服務(wù)器,而且還需要不斷擴容。因此海量數(shù)據(jù)的增長對技術(shù)提出了更大的挑戰(zhàn),也給我們這些技術(shù)極客們提供了一個巨大的機會?!?/p>
如何彌補現(xiàn)有技術(shù)的缺陷,充分滿足龐大的市場需求,成為陶建輝接下來要考慮的重點。在對整個物聯(lián)網(wǎng)和大數(shù)據(jù)生態(tài)進行研究后,他發(fā)現(xiàn),通用大數(shù)據(jù)方案通常會將開源的Kafka、Redis、HBase、MongoDB、Cassandra等大數(shù)據(jù)軟件拼裝起來,利用集群來處理海量數(shù)據(jù)。因涉及多種系統(tǒng),開發(fā)效率低、運行效率差、運維復(fù)雜、應(yīng)用推向市場慢等問題頻發(fā)。對于數(shù)據(jù)采集量巨大的物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)等行業(yè),傳統(tǒng)的通用大數(shù)據(jù)方案更加難以為繼。而通過存儲結(jié)構(gòu)的優(yōu)化則可以大大提升性能。海量時序空間數(shù)據(jù)處理(從采集、存儲、查詢、計算到分析)無疑是個巨大的機會。正是在此背景之下,2017年6月濤思數(shù)據(jù)正式成立,隨后,物聯(lián)網(wǎng)大數(shù)據(jù)平臺TDengine應(yīng)運而生。
“作為一款基礎(chǔ)性軟件,TDengine就好比一塊小小的磚頭,無論整個軟件世界如何變化,迭代,若干年后它依然可以發(fā)揮價值,如此我便很知足了?!碧战ㄝx笑著補充道。盡管濤思數(shù)據(jù)成立已經(jīng)4年多了,但在回憶公司創(chuàng)立過程時,他的臉上依然滿是似乎創(chuàng)業(yè)者初期才有的激情與昂揚。
TDengine定位是物聯(lián)網(wǎng)大數(shù)據(jù)平臺,即時序數(shù)據(jù)處理平臺,其核心是將時序數(shù)據(jù)實時數(shù)據(jù)和歷史數(shù)據(jù)操作合一透明,同時具備緩存、數(shù)據(jù)訂閱、流式計算、消息隊列等功能,為物聯(lián)網(wǎng)數(shù)據(jù)處理提供全棧解決方案。
濤思數(shù)據(jù)自2017年成立以來獲獎無數(shù)
陶建輝
濤思數(shù)據(jù)創(chuàng)始人。
1994年到美國留學(xué),1997年起,先后在芝加哥Motorola、3Com等公司從事無線互聯(lián)網(wǎng)的研發(fā)工作。2008年初回到北京創(chuàng)辦和信,后被聯(lián)發(fā)科收購。2013年初創(chuàng)辦快樂媽咪,后被太平洋網(wǎng)絡(luò)收購。
2017年5月創(chuàng)辦濤思數(shù)據(jù),專注物聯(lián)網(wǎng)大數(shù)據(jù)的處理,產(chǎn)品TDengine開源后,在GitHub全球趨勢排行榜上多日排名第一位。濤思數(shù)據(jù)已獲紅杉、GGV、經(jīng)緯、明勢資本等多家機構(gòu)的近7000萬美元的投資。
獲得2020中國開源杰出貢獻人物。
所謂時序數(shù)據(jù),即帶時間標簽的數(shù)據(jù),指按照時間的順序變化、時間序列化的數(shù)據(jù)。陶建輝通過對物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)進行調(diào)研,總結(jié)出這類數(shù)據(jù)的十大特征:(1)所有采集的數(shù)據(jù)都是時序的;(2)數(shù)據(jù)都是結(jié)構(gòu)化的;(3)一個采集點的數(shù)據(jù)源是唯一的;(4)數(shù)據(jù)很少有更新或刪除操作;(5)數(shù)據(jù)一般是按到期日期來刪除的;(6)數(shù)據(jù)以寫操作為主,讀操作為輔;(7)數(shù)據(jù)流量平穩(wěn),可以較為準確的計算;(8)數(shù)據(jù)都有統(tǒng)計、聚合等實時計算操作;(9)數(shù)據(jù)一定是指定時間段和指定區(qū)域查找的;(10)數(shù)據(jù)量巨大,一天的數(shù)據(jù)量就超過100億條。
針對這些特點,TDengine定義了創(chuàng)新的時序數(shù)據(jù)存儲結(jié)構(gòu),通過無鎖設(shè)計和多核技術(shù)讓數(shù)據(jù)插入和讀出的速度比現(xiàn)有通用數(shù)據(jù)庫高出10倍以上。除此之外,濤思數(shù)據(jù)還賦予了TDengine兩個核心技術(shù)創(chuàng)新點,分別是“一個數(shù)據(jù)采集點一張表”以及“超級表”,保證TDengine插入和查詢效率最優(yōu)化,同時便于進行聚合查詢、多維分析。
除了在產(chǎn)品性能、性價比上不斷提升,TDengine能夠形成更加廣泛的影響,還在于陶建輝一個大膽的決定——開源。這一舉動在國外軟件市場尚不足為奇,但在相對保守的國內(nèi)市場來說,無疑反響強烈。TDengine自2019年7月正式宣布開源,2020年8月,宣布將集群版本開源以來,所獲成績喜人,在開源社區(qū)GitHub(世界上最大的代碼托管平臺)已收獲17k Stars。在資本市場,濤思數(shù)據(jù)也備受關(guān)注,近兩年已經(jīng)先后獲得近千萬美元的Pre-A輪融資、1000多萬美元的A輪融資以及4700萬美元的B輪融資。
在陶建輝看來,開源是中國軟件走向世界的最好捷徑。在目前的這些成績之外,陶建輝內(nèi)心始終有一個堅定的目標——做時序數(shù)據(jù)領(lǐng)域的全球第一?!霸诨A(chǔ)軟件領(lǐng)域,無論操作系統(tǒng)、數(shù)據(jù)庫、軟件開發(fā)工具還是現(xiàn)在的大數(shù)據(jù)處理平臺,幾乎都是美國公司的天下。在基礎(chǔ)軟件領(lǐng)域占有一席之地,是我們所有IT人的夢想,更是一個國家科技實力的象征。”談及中國軟件的現(xiàn)狀他略顯遺憾,但是隨即恢復(fù)了對于未來發(fā)展的信心,“中國擁有全球最大的數(shù)據(jù)市場,其采集的數(shù)據(jù)量和場景之多已經(jīng)超過美國。在中國市場成功的大數(shù)據(jù)產(chǎn)品,一定會被全球市場所接納?!?/p>
開源不僅為濤思數(shù)據(jù)帶來了巨大的成功,為行業(yè)做出了很好的表率;對于中國軟件人才的培養(yǎng)來說,也具有非常積極的意義。
陶建輝表示,高校學(xué)生往往在跟導(dǎo)師做項目時才能夠接觸到源代碼,而各類開放平臺上的開源軟件也非常有限,但是隨著TDengine的開源,學(xué)生可以免費接觸到無數(shù)源代碼,這無疑是最好的學(xué)習機會和資源,會對中國軟件整體水平的提高起到積極的促進作用。為了促進大學(xué)生對開源的認識和理解,陶建輝先后在清華大學(xué)、復(fù)旦大學(xué)、重慶大學(xué)、西南大學(xué)、北京大學(xué)、中國人民大學(xué)、北京郵電大學(xué)和中國科學(xué)技術(shù)大學(xué)等20多個高校,分享 TDengine的核心技術(shù),開源背后的思考,鼓勵大學(xué)生積極參與到開源建設(shè)中來。
值得一提的是,對于程序員來說,他們往往是默默地改變著大家生活的一群人,隨著軟件的開源,他們從產(chǎn)品背后開始走出來,和更廣泛的人群有了交流和互動,在相互促進之下,不僅可以進一步提升專業(yè)能力,用代碼打造屬于自己的“名片”,同樣也有利于行業(yè)整體水平的提高。這些在陶建輝眼中,都是比企業(yè)成功更加有意義、有價值的事情。
TDengine時序數(shù)據(jù)處理平臺
時序數(shù)據(jù)的處理,是一切數(shù)字化、智能化的基礎(chǔ)。在TDengine廣泛的服務(wù)領(lǐng)域中,物流是非常重要的部分。并且隨著物流行業(yè)的快速發(fā)展、自動駕駛等技術(shù)的升級和愈加廣泛的應(yīng)用,對時序數(shù)據(jù)處理的需求也在不斷擴大。
“在物流領(lǐng)域最典型的應(yīng)用如物流車輛的實時位置和運行軌跡數(shù)據(jù),以及物流機器人、穿梭車等移動裝備的位置、電池狀態(tài),以及路徑規(guī)劃、環(huán)境監(jiān)測、軌跡追蹤等等數(shù)據(jù),通過TDengine,我們可以實現(xiàn)用更小的空間存儲更加海量的數(shù)據(jù),同時在最短的時間,將用戶需要的數(shù)據(jù)進行調(diào)用,以及分析計算等,為其他更多功能的實現(xiàn)提供支撐?!彼槍Dengine在物流領(lǐng)域的應(yīng)用進行了說明,并進一步舉例,國內(nèi)某快遞巨頭旗下互聯(lián)網(wǎng)科技公司,由于其原來采用的時序數(shù)據(jù)庫OpenTSDB性能較差、占用存儲空間多、對大跨度高頻詞的查詢支持不夠等原因,將目光轉(zhuǎn)向了TDengine,在將大數(shù)據(jù)監(jiān)控平臺遷移到TDengine之后,其所需服務(wù)器從之前的21臺減少到3臺。此外,TDengine在部署、寫入速度、查詢速度、存儲效率、緩存、流式計算等方面均凸顯出明顯的優(yōu)勢。此外,如在煙草等行業(yè),隨著企業(yè)業(yè)務(wù)的發(fā)展,生產(chǎn)中需要監(jiān)測的指標從幾萬個增加到幾十萬甚至百萬個以上,TDengine的應(yīng)用有利于企業(yè)提升數(shù)據(jù)存取效率、打破傳統(tǒng)數(shù)據(jù)孤島、提升數(shù)據(jù)有效利用率。
“技術(shù)是濤思數(shù)據(jù)的立身之本,通過技術(shù)創(chuàng)新潛心研發(fā)極致的產(chǎn)品,讓技術(shù)創(chuàng)造價值是我們努力的方向。”在整個交流過程中,從他不時爽朗的笑聲中,聽得出他對濤思數(shù)據(jù)未來發(fā)展的極大信心;從他始終富有激情且面帶微笑的臉上,也看得出他對手中事業(yè)的熱愛。 “一般來說,程序員的黃金年齡是25~35歲,像我這樣50歲還在寫代碼的程序員已經(jīng)是稀有動物了?!碧战ㄝx自嘲到,“但是,我還會繼續(xù)寫,寫一輩子?!碧战ㄝx站在大大的落地窗前,窗外視野開闊,陽光正好。