從數(shù)據(jù)到知識的“智”變

白劍波

我今天分享的題目是從數(shù)據(jù)到知識的“智”變，這個智是人工智能的智。我們的客戶分為三大類：政府、企業(yè)和媒體。這些客戶在自己業(yè)務領域里都有獨特的需求，我們?yōu)樗麄兲峁┙鉀Q方案。如何打通數(shù)據(jù)孤島？如何提升政府辦事效率？這是政府客戶的一些需求。如何能夠從海量數(shù)據(jù)里挖掘出有價值的信息？什么叫有價值的信息？如何能夠洞察這個市場里面的用戶？如何根據(jù)行業(yè)政策分析和解讀進行精準營銷？這是企業(yè)客戶的一些需求。如何能夠得到自己所關(guān)心的領域里的熱點資訊？對于原創(chuàng)文章，如何進行版權(quán)保護？這是我們媒體客戶所面臨的一些需求。

針對客戶需求，我們的策略是什么呢？從數(shù)據(jù)到知識的“智”變。在過去的發(fā)展過程中，智慧星光在數(shù)據(jù)采集、數(shù)據(jù)處理（特別是非結(jié)構(gòu)化數(shù)據(jù)處理，包括文本數(shù)據(jù)、圖片數(shù)據(jù)、視頻數(shù)據(jù)）等方面做了大量工作。

基于此，我們現(xiàn)在要把這些數(shù)據(jù)融合起來，這些數(shù)據(jù)不僅包括我們從公開渠道采集到的互聯(lián)網(wǎng)數(shù)據(jù)，同時也包括我們獲得的第三方數(shù)據(jù)，或者是客戶通過他們的渠道獲得的第三方數(shù)據(jù)以及客戶內(nèi)部的數(shù)據(jù)。我們對這些匯聚融合之后的異構(gòu)數(shù)據(jù)進行挖掘，結(jié)合我們構(gòu)造的知識體系建立知識圖譜，為客戶提供知識層面的價值觀，幫助客戶做更好的決策。

在智慧星光的數(shù)據(jù)系統(tǒng)里可以看到，我們對幾乎所有的互聯(lián)網(wǎng)公開數(shù)據(jù)做了采集工作，我們自己配置高效的爬蟲系統(tǒng)，覆蓋了超過10萬家網(wǎng)站。對于社交媒體，包括百度貼吧數(shù)據(jù)、微信公眾號數(shù)據(jù)，這些都做了采集。同樣，我們對于App數(shù)據(jù)也做了采集，包括新聞App以及其他生活娛樂類的App。對于電視臺節(jié)目，我們也做了一些監(jiān)測，針對這些內(nèi)容里面的語音我們會轉(zhuǎn)成文本，對里面的關(guān)鍵詞進行匹配。同時，我們對多語種的境外數(shù)據(jù)媒體也做了監(jiān)測，這些數(shù)據(jù)構(gòu)成了星光數(shù)據(jù)平臺的基礎。據(jù)統(tǒng)計，每天采集到大約1.5億條數(shù)據(jù)，實時進入星光數(shù)據(jù)平臺。

采集到數(shù)據(jù)之后，如何做處理呢？在星光數(shù)據(jù)平臺架構(gòu)上，最底層是我們的采集系統(tǒng)，除了對互聯(lián)網(wǎng)公開數(shù)據(jù)進行采集之外，還支持客戶內(nèi)部的數(shù)據(jù)采集、原生的數(shù)據(jù)庫系統(tǒng)的采集以及類似于靜態(tài)文件的數(shù)據(jù)采集。數(shù)據(jù)采集之后，對數(shù)據(jù)做加工清洗，進入后續(xù)的處理流程。我們主要對其中的文本數(shù)據(jù)做多樣化的處理，再進入我們的數(shù)據(jù)管理系統(tǒng)。數(shù)據(jù)管理系統(tǒng)構(gòu)成了我們多元數(shù)據(jù)融合系統(tǒng)的關(guān)鍵部分，這里面我們對元數(shù)據(jù)進行管理。如何把不同來源的數(shù)據(jù)融合到一起，進行有效管理，對于異構(gòu)數(shù)據(jù)能夠進行統(tǒng)一查詢，并按照客戶給出的條件，在一個統(tǒng)一的查詢界面里對所有數(shù)據(jù)進行查詢，給出最后的結(jié)果，這是我們構(gòu)造的多元異構(gòu)數(shù)據(jù)融合系統(tǒng)能夠?qū)崿F(xiàn)的功能。這個系統(tǒng)通過API的方式，對上層的應用提供數(shù)據(jù)管理的接口、數(shù)據(jù)查詢的接口等，這些接口同樣可以提供給我們的合作伙伴和客戶去使用。

數(shù)據(jù)融合處理中非常關(guān)鍵的就是文本處理，我給大家?guī)硪粋€概念，叫星光文本大腦。簡單的理解就是包括了星光數(shù)據(jù)平臺里面所有的數(shù)據(jù)，我們的模型團隊將過去所積累的模型、通過半監(jiān)督訓練方式所得到的知識體系，以及通過超過500億條數(shù)據(jù)進行深度學習訓練出的知識體系，結(jié)合到一起，構(gòu)造一個知識體系。任何數(shù)據(jù)經(jīng)過星光文本大腦都可以進行全面的文本分析，幫助我們將數(shù)據(jù)變成知識。

從數(shù)據(jù)到知識的變化過程中還有一個非常重要的環(huán)節(jié)，就是實時圖計算。星光的實時圖計算引擎可以支持超過十億個節(jié)點、百億條以上的計算，同時還是一個實時計算，可以完成秒級的計算，并且在這里可以非常方便、靈活地創(chuàng)建各種各樣的關(guān)系。比如，我們在電商里面交易的數(shù)據(jù)、用戶行為的屬性數(shù)據(jù)、社交媒體里人和人之間的關(guān)系數(shù)據(jù)等，都可以通過星光圖計算引擎進行有效的計算，并且在這里還提供了一個分析平臺。

我們還給大家?guī)砹艘粋€IGraph平臺，這是可視化的知識管理平臺，結(jié)合了數(shù)據(jù)、文本挖掘和圖計算引擎。目前來講，IGraph平臺已經(jīng)實現(xiàn)了幾個行業(yè)的應用，包括旅游行業(yè)，電商平臺數(shù)據(jù)里面的家電行業(yè)、手機行業(yè)的應用。我們首先構(gòu)造行業(yè)知識圖譜，這依賴于我們采集到的數(shù)據(jù)，經(jīng)過星光文本大腦進行非結(jié)構(gòu)化數(shù)據(jù)處理，經(jīng)過星光圖計算引擎計算和分析，最后得到我們客戶想要的結(jié)果。從數(shù)據(jù)到知識，星光給客戶提供了大量的、及時而全面的精準信息服務。這些信息服務都是點狀的服務，客戶在進行決策的時候需要的是知識，需要上升到一個更高層面的知識來幫助他去做決策。

從傳統(tǒng)上來講，智慧星光提供輿情監(jiān)測服務，這也是我們目前客戶基數(shù)最大的一條業(yè)務線。我們所提供的核心產(chǎn)品就是輿情秘書，為客戶提供全面的互聯(lián)網(wǎng)輿情信息監(jiān)測產(chǎn)品，這個產(chǎn)品目前有超過2.5萬家用戶在使用，正式簽約付費用戶在4000家左右。圍繞輿情秘書這個監(jiān)測產(chǎn)品，我們同時還提供另外一個產(chǎn)品，就是輿情專家。輿情專家可以幫助客戶去解決這些問題。它包括輿情信息的發(fā)現(xiàn)、預警、研判、態(tài)勢感知等，可以提供決策支持。

（根據(jù)演講內(nèi)容整理，未經(jīng)本人審核）