人人玩轉(zhuǎn)大數(shù)據(jù)

白劍波

智慧星光是一家以數(shù)據(jù)為核心的公司，我們的數(shù)據(jù)重點(diǎn)是在文本數(shù)據(jù)上。大家可能會在工作中遇到一些數(shù)據(jù)方面的困難，第一個(gè)困難是數(shù)據(jù)在哪里？我們找不到數(shù)據(jù)，舉個(gè)例子，你想寫報(bào)告研究一下“二孩”政策在網(wǎng)民當(dāng)中的影響，這個(gè)數(shù)據(jù)在什么地方？在論壇里面？微博里面？微信公眾號里面？怎么獲得這個(gè)數(shù)據(jù)？如果有技術(shù)能力可以通過爬蟲獲取，但是很多人并沒有這個(gè)能力。拿到數(shù)據(jù)之后怎么做處理？如果是三條五條處理起來非常容易，300條也是容易的，但是如果是3萬條、300萬條，特別是文本數(shù)據(jù)，我們該怎么處理？這個(gè)也是大家所遇到的困難之一。

智慧星光可以提供協(xié)作式爬蟲的技術(shù)體系，幫助我們?nèi)カ@取、挖掘這些數(shù)據(jù)。除了公開數(shù)據(jù)之外，實(shí)際上我們還有大量的機(jī)構(gòu)內(nèi)部的數(shù)據(jù)。舉個(gè)例子來講，對于我們這些2C行業(yè)的大型企業(yè)，像銀行、運(yùn)營商，它有大量的內(nèi)部數(shù)據(jù)能夠反映用戶行為。大家第一個(gè)會想到CRM的數(shù)據(jù)。大企業(yè)都有投訴系統(tǒng)，用戶服務(wù)遇到問題的時(shí)候，或者不滿意的時(shí)候要打電話投訴，這些投訴內(nèi)容可以反饋出大量問題，這些問題不僅僅是服務(wù)問題，也包括了產(chǎn)品問題，甚至包括了用戶對于供應(yīng)商服務(wù)的一些創(chuàng)新想法。這些信息大量存在于文本信息當(dāng)中，大家打電話的時(shí)候會聽到一個(gè)提示音，說您的電話可能會被錄音，百分之百會被錄音，第一要檢查客服人員的語言是不是標(biāo)準(zhǔn)，然后我們會把這些信息轉(zhuǎn)化成文本信息，看一下客戶的滿意度，可以提供給產(chǎn)品部門做產(chǎn)品創(chuàng)新。

另外還有一部分是第三方數(shù)據(jù)，比如行業(yè)公布的報(bào)告，所有這些數(shù)據(jù)我們把它融合起來，可以構(gòu)造一個(gè)統(tǒng)一融合的大數(shù)據(jù)平臺。那么融合的大數(shù)據(jù)平臺構(gòu)造完了之后，我們要把這些數(shù)據(jù)存儲起來，更為重要的是要從這些數(shù)據(jù)里面找出我們想要的數(shù)據(jù)，要具備檢索能力。除了能夠存儲和檢索，最重要的是能夠做分析和挖掘。我們有基本的算法，通過模型能夠針對性地找到數(shù)據(jù)做進(jìn)一步的計(jì)算，舉個(gè)例子，假設(shè)找到了300萬條互聯(lián)網(wǎng)數(shù)據(jù)，包括博客、新聞、微博等，我們要從這些數(shù)據(jù)里面去挖掘或者是去做聚類，最核心的觀點(diǎn)是什么？我們要分析正面和負(fù)面，就是語義分析。

這些算法和模型對研究人員來講不是難事，但是對于大量的想使用這些數(shù)據(jù)的人們來講是有難度的。為了解決我們在應(yīng)用這些數(shù)據(jù)過程當(dāng)中所遇到的困難，基于智慧星光的協(xié)作式爬蟲獲取數(shù)據(jù)的能力，以及智慧星光提供的工具集做數(shù)據(jù)分析和挖掘，我們可以提供“星光數(shù)據(jù)平臺”給客戶和合作伙伴。

星光數(shù)據(jù)平臺是一個(gè)什么樣的平臺？星光數(shù)據(jù)平臺上主要的數(shù)據(jù)來自于互聯(lián)網(wǎng)，同時(shí)也可以來自于第三方，也包括企業(yè)內(nèi)部的一些數(shù)據(jù)。基于這些數(shù)據(jù)，我們首先構(gòu)造一個(gè)存儲系統(tǒng)，能夠提供索引，在這之上我們再提供算法模型的工具集，基于這個(gè)平臺可以提供不同的基于SaaS服務(wù)的應(yīng)用，比如說現(xiàn)在使用最廣泛的輿情監(jiān)測產(chǎn)品，“輿情秘書”就是由這個(gè)平臺提供。輿情秘書目前已經(jīng)有超過兩萬家用戶在用，簽約付費(fèi)的客戶超過2300家。在公安體系里面，全國有區(qū)縣級以上的用戶3100多個(gè)，在網(wǎng)監(jiān)部門里面超過1200個(gè)部門跟我們簽約合作。輿情秘書是在時(shí)間軸上同時(shí)提供前向和后向兩個(gè)方向監(jiān)控的產(chǎn)品，我們把關(guān)健詞模型設(shè)置好之后，從這一時(shí)刻開始，就可以實(shí)時(shí)監(jiān)測互聯(lián)網(wǎng)上的信息，所有這些和關(guān)健詞相匹配的信息都會進(jìn)入到我們賬號里面。我們除了提供了PC端的賬號應(yīng)用之外，還提供移動端應(yīng)用，甚至提供手表上的應(yīng)用，都是為了讓客戶更快地得到他們想監(jiān)測的信息。

我們還提供另外一個(gè)獨(dú)創(chuàng)的產(chǎn)品，叫做“數(shù)據(jù)互動窗口”，可以更直接地在星光數(shù)據(jù)平臺里獲得我們想要的數(shù)據(jù)并且做進(jìn)一步的分析。更為重要的是，因?yàn)橹腔坌枪鈨?nèi)部的新應(yīng)用都是通過這個(gè)平臺來進(jìn)行孵化，也就是說新應(yīng)用都是基于這個(gè)平臺獲取數(shù)據(jù)和算法，或者說是定制一些算法和模型放在這個(gè)平臺上。我們非常愿意把這樣的一個(gè)平臺的能力開放給第三方，提供給我們的合作伙伴和客戶。另外，通過數(shù)據(jù)互動窗口的可視化模塊進(jìn)行自定義，可以進(jìn)行數(shù)據(jù)采集，采集完之后存放到指定位置，可以在后續(xù)的工作當(dāng)中直接拿過來做聚類。

輿情研判起的作用是什么？它是一款提供態(tài)勢感知的工具，告訴我們整個(gè)態(tài)勢是什么樣子，同時(shí)還可以做效果評估，對于一個(gè)輿情事件來講，我們可能做了新聞發(fā)布會和新聞報(bào)道，不同的處理方式對于整個(gè)態(tài)勢的影響是什么？像編++這樣的產(chǎn)品，它是給媒體工作人員提供的工具集合。這個(gè)產(chǎn)品可以幫助我們媒體工作人員做信息選擇、采編自動組稿、信息自動化發(fā)布，而且還能夠做信息發(fā)布完了之后的影響力評估。當(dāng)然我們還有一個(gè)智慧報(bào)告團(tuán)隊(duì)，可以根據(jù)星光數(shù)據(jù)平臺所提供的數(shù)據(jù)，生成綜合性報(bào)告，提供給客戶，幫助他們做更好的分析以及智能決策。

最后簡單介紹一下智慧星光，我們有超過500人的團(tuán)隊(duì)，致力于成為全球一流的大數(shù)據(jù)價(jià)值挖掘和精準(zhǔn)化信息服務(wù)平臺，我們有一個(gè)宗旨是，提供標(biāo)準(zhǔn)化產(chǎn)品為客戶提供服務(wù)。（根據(jù)演講內(nèi)容整理，未經(jīng)本人審核）endprint