第四范式：借勢PC霸主，推出企業(yè)級(jí)AI操作系統(tǒng)

譚婧

AI落地?zé)峄鸪?，AI團(tuán)隊(duì)變身施工隊(duì)，挨家挨戶敲開傳統(tǒng)企業(yè)的大門……然而，這是一種非常低效的做法。

第四范式創(chuàng)始人兼CEO戴文淵博士的洞察是：“重新按照AI的要求制定標(biāo)準(zhǔn)和規(guī)范，實(shí)現(xiàn)規(guī)?；！?/p>

第四范式的定位一直不是SaaS產(chǎn)品公司，其核心能力在于 PaaS 層，AI應(yīng)用的構(gòu)建和積累都向平臺(tái)集中發(fā)力。

回顧五年的產(chǎn)品發(fā)展路徑，第四范式聯(lián)合創(chuàng)始人、首席研究科學(xué)家，陳雨強(qiáng)告訴《親愛的數(shù)據(jù)》：

“第一代、第二代產(chǎn)品的時(shí)候，AI對(duì)人才的要求特別高，需要非常強(qiáng)的統(tǒng)計(jì)學(xué)和編程功底，特別是C++底層編程，還要python編程和組件代碼能力。先知平臺(tái)（Sage）的出現(xiàn)，用一個(gè)拖拉拽的界面，先建模，后上線，方便了數(shù)據(jù)科學(xué)家。2015年，在建設(shè)先知平臺(tái)的同時(shí)，（我們）科學(xué)技術(shù)部做了兩件事情，第一，高維機(jī)器學(xué)習(xí)模型，保證效果。第二，AutoML技術(shù)，不依賴于大量科學(xué)家手工打造模型。歸根到底，三個(gè)字，降門檻。”

AI的原始社會(huì)，自己動(dòng)手、豐衣足食。AI的現(xiàn)階段，陳雨強(qiáng)強(qiáng)調(diào)：“以后就不會(huì)這樣了，都要現(xiàn)成的AI應(yīng)用。”

原始社會(huì)喝水得從燒制陶器做盛水器皿開始，現(xiàn)代社會(huì)瓶裝水3元一瓶，這是趨勢。

AI進(jìn)化，第四范式思考出一套“心法”。

2017年庫伯學(xué)習(xí)圈（HyperCycle）。這個(gè)出生于1984年的理論在AI時(shí)代釋放了新能量。暗合體驗(yàn)學(xué)習(xí)的四大步驟（反饋、反思、理論、行動(dòng)），又對(duì)應(yīng)（數(shù)據(jù)采集、數(shù)據(jù)標(biāo)注、機(jī)器學(xué)習(xí)、機(jī)器模型），閉環(huán)結(jié)構(gòu)實(shí)現(xiàn)對(duì)接和循環(huán)。用人類學(xué)習(xí)過程類比機(jī)器學(xué)習(xí)的過程，用一個(gè)熟悉事物的類似原理，去理解新鮮事物的規(guī)律。

可以這樣說，理解了庫伯學(xué)習(xí)圈，就理解了簡版AI原理，繞過數(shù)學(xué)與編程的大山。

2019年，第四范式曾用「1+N」回答企業(yè)轉(zhuǎn)型如何用 AI 構(gòu)建競爭力?！?」代表企業(yè)的核心業(yè)務(wù)需要用 AI 做到極致，「N」代表企業(yè)的眾多場景要用 AI 大規(guī)模落地。

“心法”解救普通人，“做法”解救無數(shù)亟需轉(zhuǎn)型的傳統(tǒng)企業(yè)。

2020年的發(fā)布會(huì)傳達(dá)出，第四范式想做的是，“心法”+“做法”的雙重智慧，這些都需要一個(gè)平臺(tái)屬性的產(chǎn)品去承載。

什么是數(shù)據(jù)形式？

過去的五年里，第四范式也有用高人力成本為合同項(xiàng)目填坑的事情，客戶有時(shí)并不接受建議的方法論。

陳雨強(qiáng)說：“我們的經(jīng)驗(yàn)來自于踩坑，但不是100%的客戶都接受。沒有人配合數(shù)據(jù)改造，苦坐在現(xiàn)有的數(shù)據(jù)垃圾堆上，龜速前進(jìn)，（項(xiàng)目）花了三年才完工?！?/p>

2020年，越來越多的解決方案瞄準(zhǔn)AI整個(gè)生命周期。AI模型開發(fā)從啟動(dòng)到結(jié)束，包括數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練、模型測試、模型上線等環(huán)節(jié)。每一個(gè)環(huán)節(jié)做到極致，整個(gè)周期才有可能高效。在規(guī)模化中追求極致，有一樣?xùn)|西非常重要——標(biāo)準(zhǔn)化。

圖片、文本、日志，數(shù)據(jù)的形式多種多樣，如何標(biāo)準(zhǔn)化？不同的業(yè)務(wù)場景，不同項(xiàng)目的數(shù)據(jù)平臺(tái)，如何標(biāo)準(zhǔn)化？

AI應(yīng)用需要打通數(shù)據(jù)，第四范式就推出了“數(shù)據(jù)形式”。

所謂“不定義，無數(shù)據(jù)”，數(shù)據(jù)從哪來、到哪去、類型、結(jié)構(gòu)、關(guān)系……想要標(biāo)準(zhǔn)化，就是全方位地定義標(biāo)準(zhǔn)與格式。這些工作并不是一個(gè)新概念，名叫“數(shù)據(jù)治理”。數(shù)據(jù)形式是數(shù)據(jù)治理的終點(diǎn)。

開始，一般是IT工程師對(duì)數(shù)據(jù)治理有深刻體會(huì)，也是他們最先意識(shí)到數(shù)據(jù)治理的重要性，而且數(shù)據(jù)治理最終是在IT層面落地。接著，AI工程師也感同身受了。

數(shù)據(jù)問題和IT問題高度混雜。第四范式是一家AI公司，幾乎擁有一家IT公司全棧人才，與IT公司一模一樣的人才配置。

AI公司集體吐槽：“如果一個(gè)AI應(yīng)用工作量是100%，那95%都是在數(shù)據(jù)上面?！?/p>

陳雨強(qiáng)吐槽：“定義不清楚的話，AI生命周期后面所有環(huán)節(jié)，所有的人都會(huì)偏離，這也是做AI那么難的原因之一。做不到，AI科學(xué)家跑到每個(gè)細(xì)節(jié)去，跟每個(gè)工程師講，為什么這個(gè)數(shù)據(jù)必須這么編碼，為什么這個(gè)數(shù)據(jù)必須這么去拿，相當(dāng)于做IT的人必須懂了AI，才能把這個(gè)事情完全做對(duì)。”

一場嵌入式的革命，工程化、集成化隨處可見，煩Skr人。

讓一個(gè)新事物融入原有的體系是高難度、精細(xì)化的工作，也有人管這個(gè)過程叫，企業(yè)“智能化改造”。

AI落地不是科學(xué)發(fā)明，是一個(gè)具有時(shí)代代表性的復(fù)雜工程，背后藏著排山倒海的工程細(xì)節(jié)。 數(shù)據(jù)治理就好比是建筑物的整體地基。數(shù)據(jù)形式就好比萬里長城上的磚、天壇祈年殿里的榫卯、宮苑涼亭里劈成條的竹篾，它們是藏在中國建筑里的靈魂。從某種角度講，數(shù)據(jù)形式是藏在AI技術(shù)里的靈魂。

“數(shù)據(jù)形式”一口氣解決了三個(gè)問題： 第一個(gè)，數(shù)據(jù)缺閉環(huán)，建模過程沒有反饋機(jī)制。比如，人是環(huán)境的函數(shù)，人的成長需要有外部環(huán)境持續(xù)不斷地刺激（教育）。數(shù)據(jù)不斷供給，模型不斷迭代。 第二個(gè)，數(shù)據(jù)不一致。使用線下的數(shù)據(jù)建模，到了線上模型效果不好，原因是線下的數(shù)據(jù)經(jīng)過了按照BI思路的ETL，導(dǎo)致使用了和真實(shí)的線上數(shù)據(jù)不一致的離線數(shù)據(jù)。錯(cuò)誤的數(shù)據(jù)訓(xùn)練出來的模型到了線上，當(dāng)然效果不好。

陳雨強(qiáng)用了一個(gè)比喻，他說：“要想富，先修路，但是問題在于AI和BI的路是不一樣的，開火車得鋪鐵軌，馬車也不能在高速公路上奔跑。”

第三個(gè)，數(shù)據(jù)無時(shí)序。AI數(shù)據(jù)沒有時(shí)間屬性就做不了時(shí)序特征。比如，最近半年共買了3件東西：鼠標(biāo)、鍵盤、顯示器，消費(fèi)物品數(shù)量為3。

數(shù)據(jù)有了時(shí)間的屬性，才能理解買東西的先后順序。算法能夠做出更好的特征來琢磨消費(fèi)者近期、中期和遠(yuǎn)期的行為。人的行為在變化，冬天買棉衣，夏天買T恤。統(tǒng)計(jì)數(shù)據(jù)不需要的，AI數(shù)據(jù)需要。 第四范式AIOS產(chǎn)品負(fù)責(zé)人黃纓寧補(bǔ)充了一個(gè)例子。

數(shù)據(jù)形式至少需要三類knowhow（實(shí)用知識(shí)）：第一，模型需要什么樣的數(shù)據(jù)，業(yè)務(wù)的knowhow。第二，哪些數(shù)據(jù)從APP里面直接取，哪些數(shù)據(jù)可以從數(shù)據(jù)倉庫取，IT的knowhow。第三，這些數(shù)據(jù)里面，哪些是行為數(shù)據(jù)，哪些是反饋數(shù)據(jù)，數(shù)據(jù)怎么用，AI的knowhow。 知識(shí)都被封裝進(jìn)了“數(shù)據(jù)形式”，封裝復(fù)雜性，是AI平臺(tái)解決問題的常用辦法。

數(shù)據(jù)形式是針對(duì)數(shù)據(jù)治理環(huán)節(jié)提出的標(biāo)準(zhǔn)，濃縮了各個(gè)業(yè)務(wù)場景中數(shù)據(jù)治理環(huán)節(jié)的經(jīng)驗(yàn)沉淀，一鍵打開就能進(jìn)入相應(yīng)業(yè)務(wù)場景的AI應(yīng)用，比如推薦場景、反欺詐場景。

有了它，實(shí)時(shí)與離線數(shù)據(jù)就能以同一個(gè)標(biāo)準(zhǔn)接入，能做到“一鍵打通”，準(zhǔn)備就緒的數(shù)據(jù)，從三類knowhow上解耦出來。 作為客戶，甚至根本就不需要知道它是怎么做到的，只需要知道，這個(gè)東西能夠保證數(shù)據(jù)一致性，保障效果也比較好。數(shù)據(jù)形式也不是一蹴而就的，數(shù)據(jù)蓄水由分布式文件系統(tǒng)HDFS負(fù)責(zé)，實(shí)時(shí)特征由數(shù)據(jù)庫（RtiDB）負(fù)責(zé)，任務(wù)管理與調(diào)度由AI的操作系統(tǒng)搞定。這個(gè)專門的操作系統(tǒng)就是AIOS。

AIOS是什么？

但凡一臺(tái)筆記本電腦都會(huì)有一個(gè)桌面，就像太陽每天從東方升起。

IT知識(shí)成為生活常識(shí)，這源于1990年，比爾蓋茨說：“微軟公司的使命，是讓每個(gè)家庭的桌上都有一臺(tái)電腦?！?/p>

陳雨強(qiáng)說：“我們希望每個(gè)企業(yè)都用上一個(gè)Sage AIOS?！?/p>

但凡一個(gè)新世界，就會(huì)有一個(gè)入戶門。用戶進(jìn)入AI的世界需要一個(gè)易操作的桌面，AIOS瞄準(zhǔn)了這個(gè)痛點(diǎn)。Sage AIOS可以理解為一個(gè)AI版的Windows，很多產(chǎn)品功能都可以類比。

數(shù)據(jù)形式類比Windows的文件格式。AIOS的各種App類比Windows桌面上的各種應(yīng)用軟件。

App可以分為兩類：一類是業(yè)務(wù)應(yīng)用，直接提供某個(gè)場景的解決方案；一類是工具類應(yīng)用，給數(shù)據(jù)科學(xué)家和開發(fā)者用來構(gòu)建AI應(yīng)用。區(qū)分使用者和開發(fā)者，兩者都得償所愿。

HyperCycle套件（ML、CV、NLP）類比開發(fā)工具VisualStudio，利用庫伯學(xué)習(xí)圈理論，幫助客戶低門檻的進(jìn)行AI應(yīng)用構(gòu)建。

陳雨強(qiáng)說：“庫伯學(xué)習(xí)圈（HyperCycle）產(chǎn)品，給業(yè)務(wù)人員用，不需要建模能力，不需要代碼能力?！?/p>

如果說“降門檻”是第四范式團(tuán)隊(duì)出發(fā)時(shí)就立下的莊嚴(yán)承諾，那么帶HyperCycle前綴的三款產(chǎn)品，就是五年后對(duì)承諾的兌現(xiàn)。

AIOS外型酷似Windows，顏值高，使用者有天然親切感。AI獨(dú)角獸向PC時(shí)代霸主借勢，向曾經(jīng)的PC王者致敬。AIOS的獨(dú)白：“AI時(shí)代的Windows桌面，享受一模一樣的樂趣?！?/p>

比起之前的先知平臺(tái)， AIOS是不是僅僅變化了外觀呢？答案是否定的，這是一次產(chǎn)品理念的升級(jí)，AIOS+App是一種產(chǎn)品理念。 身為一名合格的操作系統(tǒng)，要有各種各樣的軟件，還要解決資源調(diào)度與處理數(shù)據(jù)管理。 在黃纓寧看來，AIOS是一個(gè)橋梁。

對(duì)上，把文件、設(shè)備、任務(wù)、進(jìn)程和線程給管理了起來。

對(duì)下，AIOS把所有的算力管理了起來，包括CPU、GPU、內(nèi)存這些計(jì)算資源硬件。存儲(chǔ)和計(jì)算這兩件事情，一個(gè)是文件格式，一個(gè)是計(jì)算的資源管理和調(diào)度。

兩件事情都弄好了，應(yīng)用就能夠更容易地在操作系統(tǒng)上構(gòu)建。 簡單的理解為，第四范式把很多東西裝在AIOS里來賣，一堆企業(yè)級(jí)的管理應(yīng)用，一套資源調(diào)度管理的工具，還有個(gè)數(shù)據(jù)中臺(tái)。

我的電腦，還在桌面

數(shù)據(jù)中臺(tái)是熱門詞匯，雖然業(yè)界對(duì)數(shù)據(jù)中臺(tái)的定義還沒有達(dá)成共識(shí)，廠家和專家對(duì)數(shù)據(jù)中臺(tái)的標(biāo)準(zhǔn)和意見也都各有不同。

有專家認(rèn)為，數(shù)據(jù)中臺(tái)一定要統(tǒng)一對(duì)外的服務(wù)。向上拓展能夠提高數(shù)據(jù)應(yīng)用的價(jià)值和賦能業(yè)務(wù)。向下發(fā)展能提高性能，保障數(shù)據(jù)的應(yīng)用能力。第四范式的數(shù)據(jù)中臺(tái)也是如此。向上，第四范式的數(shù)據(jù)中臺(tái)的第一任務(wù)是做3C（一致、時(shí)序、閉環(huán)）的數(shù)據(jù)治理，數(shù)據(jù)經(jīng)過標(biāo)準(zhǔn)化處理成為數(shù)據(jù)形式，數(shù)據(jù)形式可以提供給任何一個(gè)AIOS上的APP。

“數(shù)據(jù)中臺(tái)”類比Windows的系統(tǒng)文件，說得直白一點(diǎn)，只要你買了AIOS就給自帶數(shù)據(jù)中臺(tái)，這樣，數(shù)據(jù)治理的能力含在了AIOS里面。

數(shù)據(jù)形式在數(shù)據(jù)中臺(tái)上，因?yàn)橛?xùn)練框架需要數(shù)據(jù)輸入。有些重要的組件也跑在數(shù)據(jù)中臺(tái)與資源調(diào)度上，訓(xùn)練框架需要算力調(diào)度支持。

“我的電腦”在Windows桌面上屹立不倒，它在AIOS版里，是“數(shù)據(jù)中臺(tái)”。

用軟件定義算力

“我們的第一行代碼，是寫在GDBT上的。”第四范式副總裁鄭曌告訴《親愛的數(shù)據(jù)》。

這里的GDBT，全稱是“General Distributed Brilliant Technology”，自研的大規(guī)模機(jī)器學(xué)習(xí)框架。那么問題來了，為什么第四范式的第一行代碼不是寫在推薦算法里？

很多AI解決方案提供商都有軟硬一體的優(yōu)化方案。可謂八仙過海各顯神通。可是，很多企業(yè)的軟件框架是把開源的代碼拿來改一改，甚至有的連修改的能力都沒有。最后的結(jié)果無非是向業(yè)務(wù)妥協(xié)，放棄一些做不到的場景。

業(yè)界有人感嘆，現(xiàn)在是什么時(shí)代，是算法定義計(jì)算的時(shí)代。

一方面，AI應(yīng)用場景眾多，特點(diǎn)各異，實(shí)現(xiàn)最后應(yīng)用落地的開源軟件無論功能還是性能，尤其在大規(guī)模方面與實(shí)際需求有較大的距離，眾多AI廠商束手無策。自研的機(jī)器學(xué)習(xí)框架，能為軟硬一體的優(yōu)化方案帶來獨(dú)特優(yōu)勢，相當(dāng)于獨(dú)門秘籍。底層實(shí)現(xiàn)方法不一樣，效果上有較大區(qū)別。越是量身定制，效果越好。

另一方面，市場上流行的深度學(xué)習(xí)框架，解決的是偏語音和圖像類的問題，對(duì)于決策性問題深度學(xué)習(xí)的效果不是特別好。

陳雨強(qiáng)談道：“企業(yè)產(chǎn)生價(jià)值這個(gè)事情，關(guān)鍵是要抓住決策，企業(yè)的主要任務(wù)是經(jīng)營?！?/p>

鄭曌談道，開源很難支持海量特征抽取，也支持不了大規(guī)模。所以，有很多企業(yè)就會(huì)選擇犧牲業(yè)務(wù)。不能做事中，就做事后。比如，銀行跨境交易事中反欺詐，這時(shí)候，不能慢。不僅要和時(shí)間賽跑，還要和秒表賽跑。受害人刷卡時(shí)，銀行系統(tǒng)當(dāng)時(shí)就能準(zhǔn)確識(shí)別這是一筆欺詐，刷卡一瞬間就阻斷。

事后分析則非常佛性，先讓他刷，刷完了之后再來分析，認(rèn)定為異常交易，啟動(dòng)追責(zé)……這時(shí)候，犯罪分子有可能已經(jīng)攜巨款跳上開往公海的船只，跑路了。實(shí)時(shí)的價(jià)值在這個(gè)例子中比較典型。 事中阻斷的難度比事后大多了，這就是在很多企業(yè)內(nèi)部，屬于“要妥協(xié)，做不到”的業(yè)務(wù)場景。

算力浪費(fèi)的一部分原因是企業(yè)沒有能力優(yōu)化，利用率不高。AI發(fā)展急需硬件的升級(jí)，傳統(tǒng)硬件產(chǎn)品無法在基礎(chǔ)能力上滿足密集的線性代數(shù)計(jì)算和海量數(shù)據(jù)高吞吐的需求。AI算法需要對(duì)網(wǎng)絡(luò)連接權(quán)重進(jìn)行多次調(diào)整，也需要很高的計(jì)算能力的支撐。問題反映到企業(yè)經(jīng)營中就會(huì)變成“錢沒少花”。

鄭曌告訴《親愛的數(shù)據(jù)》：“一個(gè)不懂算法的人，很難預(yù)計(jì)一個(gè)機(jī)器學(xué)習(xí)任務(wù)需要消耗多少內(nèi)存，用了多少算力，這需要查看日志，手工地去調(diào)整資源設(shè)置。舉個(gè)例子，隨便抓住一個(gè)第四范式辦公室里路過的AI工程師，突然問他，上周匯報(bào)的word版《工作周報(bào)》消耗了筆記本電腦多少內(nèi)存？他也會(huì)一臉懵逼，原因是很難估算。因此，分布式執(zhí)行引擎具備自適應(yīng)調(diào)度功能尤為重要?！?/p>

所以，第四范式2020年也推出了一個(gè)分布式調(diào)度系統(tǒng)，HyperScheduler（以下簡稱HS）。

沒有資源調(diào)度會(huì)怎么樣？“一核有難，八核圍觀”，利用率不高，浪費(fèi)。利用率太高，容易掛了。

所以，需要Sage AIOS的“HS”，類比Windows“進(jìn)程調(diào)度器”。通過自動(dòng)資源推測、容器動(dòng)態(tài)調(diào)度等方式，讓用戶不感知資源細(xì)節(jié)。通過資源共享、虛擬化等方式，讓集群算力利用率最大化?！?GDBT、HS和實(shí)時(shí)內(nèi)存數(shù)據(jù)庫（RTiDB）在 AI全生命周期中扮演著核心引擎的角色，其所支撐的能力，不管是面向行為數(shù)據(jù)與反饋數(shù)據(jù)的自動(dòng)數(shù)據(jù)處理、自動(dòng)特征組合，還是面向模型訓(xùn)練的算法自動(dòng)探索、超參自動(dòng)調(diào)節(jié)，這些工作，都在算力消耗中占到了極大比例。底層框架任何一個(gè)微小的技術(shù)實(shí)現(xiàn)，給全生命周期帶來的影響都會(huì)成倍放大。

所以，越是底層的能力，越需要極致、入微的優(yōu)化。 第四范式還有一系列組合拳：PWS任務(wù)調(diào)度系統(tǒng)，定制X86機(jī)器學(xué)習(xí)芯片，自研機(jī)器學(xué)習(xí)專用加速卡，數(shù)據(jù)壓縮算法，F(xiàn)PGA異構(gòu)加速芯片計(jì)算力調(diào)度。 2019年的產(chǎn)品發(fā)布會(huì)上公布的數(shù)據(jù)顯示，相比普通服務(wù)器，SageOne 軟硬一體解決方案可實(shí)現(xiàn)高維模型構(gòu)建過程的6-12倍加速，TCO 降低到1/2到1/3。

“2020年，（我們）把TCO 降低到了1/10?！编崟渍劦?。 在《親愛的數(shù)據(jù)》看來，當(dāng)一部分AI企業(yè)還在賣算法的時(shí)候，第四范式建造了一個(gè)端到端的平臺(tái)，從拖拉拽，到模型可以直接上線。2020年，第四范式進(jìn)行了產(chǎn)品升級(jí)，產(chǎn)品升級(jí)的說法也不準(zhǔn)確，因?yàn)椴恢故钱a(chǎn)品升級(jí)了，產(chǎn)品理念也升級(jí)了，而整體的產(chǎn)品形態(tài)是AIOS+App。AIOS是積累了五年的AI應(yīng)用的底座，AIOS是一個(gè)承載無數(shù)數(shù)據(jù)形式與應(yīng)用的操作系統(tǒng)。第四范式 “Sage”產(chǎn)品下，發(fā)展出Sage AIOS、Sage Studio、Sage HyperCycle ML等。各個(gè)組件也比較靈活，這取決于客戶的實(shí)際需求。

市場競爭還停留在Sage Studio類似功能的階段，第四范式卻已進(jìn)入到AI桌面應(yīng)用的廣闊天地，進(jìn)入到AIOS+App的產(chǎn)品理念，順著這個(gè)思路，未來有巨大的想象空間。

AI是一個(gè)嶄新的市場，在做得好之前，先要做得對(duì)。這是決定生與死的一步。

五年前，第四范式就已經(jīng)出發(fā)。2018年，成為AI獨(dú)角獸。2020年，第四范式仍然是一家創(chuàng)業(yè)公司，落地8000+客戶，覆蓋12000+場景。2020年8月20日，主題為“萬悟賦能，商業(yè)生花”的新產(chǎn)品發(fā)布會(huì)在上海舉辦，一個(gè)“悟”字，既包括AI落地方法論在經(jīng)驗(yàn)摸索中“開竅”，也暗含產(chǎn)品理念在“想通”中升級(jí)。

靈感刺眼，頓悟來臨。AI落地沒有永遠(yuǎn)正確的答案，且行且思，且行且悟。