星光數(shù)據(jù)：文本大數(shù)據(jù)的價值挖掘

本刊記者/王盈

星光數(shù)據(jù)：文本大數(shù)據(jù)的價值挖掘

本刊記者/王盈

文本數(shù)據(jù)應(yīng)用需要思考如何實現(xiàn)商業(yè)模式的突破，這也是大數(shù)據(jù)發(fā)展的關(guān)鍵。目前的文本大數(shù)據(jù)比較好的出路就是APP新聞推薦，其商業(yè)模式的突破在于它賣的不是信息服務(wù)費，而全是廣告費。

北京智慧星光信息技術(shù)有限公司董事長 李青龍

我們?nèi)缃裆钤谝粋€“大數(shù)據(jù)時代”，政府、企業(yè)、個人每天都在制造海量數(shù)據(jù)，文本大數(shù)據(jù)應(yīng)運而生，越來越多的文本技術(shù)公司開始投身到這片藍海之中，挖掘藏在數(shù)據(jù)中的價值。北京智慧星光信息技術(shù)有限公司董事長李青龍認為，在大數(shù)據(jù)分析中，這類數(shù)據(jù)雖然至關(guān)重要，但如何大規(guī)模對這些數(shù)據(jù)進行最有效地分析還較為模糊，目前我國絕大多數(shù)的數(shù)據(jù)分析公司尚不具備對其分析的能力。

第一時間挖掘全量數(shù)據(jù)是根本

當下“數(shù)據(jù)”的概念也發(fā)生了巨大變化。過去似乎只有電子表單上那些數(shù)值型信息，才可以被稱為“數(shù)據(jù)”，但現(xiàn)在的“數(shù)據(jù)”可以是網(wǎng)絡(luò)上任何的非結(jié)構(gòu)化信息。

對此，李青龍進行了詳細介紹：“數(shù)據(jù)分為兩類：一類是結(jié)構(gòu)化數(shù)據(jù)，是可計算、可統(tǒng)計、可分析的數(shù)據(jù)，統(tǒng)計學、運籌學等學科都是在解決結(jié)構(gòu)化數(shù)據(jù)的問題。經(jīng)過多年的發(fā)展，業(yè)界已經(jīng)做了大量的積累，對于數(shù)據(jù)的獲取、存儲、處理、檢索等，已經(jīng)具備了相當多的技術(shù)儲備，難以再有大的突破；另一類是非結(jié)構(gòu)化數(shù)據(jù)，即以文本為核心的文本、圖片、視頻等，表現(xiàn)的特征是碎片式，不可統(tǒng)計、不可計算、不可分析，這些特點賦予了文本數(shù)據(jù)巨大的價值?？梢岳斫鉃?，對文本等非結(jié)構(gòu)化數(shù)據(jù)的分析比數(shù)值型這類結(jié)構(gòu)化數(shù)據(jù)的分析更為重要?！?/p>

對于非結(jié)構(gòu)化的大數(shù)據(jù)，特別是文本大數(shù)據(jù)，業(yè)界正在持續(xù)加大投入。

同時，隨著硬件設(shè)備的提升，使得硬件設(shè)備處理非結(jié)構(gòu)化數(shù)據(jù)量遠遠高于結(jié)構(gòu)化數(shù)據(jù)量，兩者比例約為9：1。由此也可看出，文本等非結(jié)構(gòu)化數(shù)據(jù)中蘊含著非常大的價值。

智慧星光的定位是全球領(lǐng)先的文本大數(shù)據(jù)服務(wù)商，即立足于文本的數(shù)據(jù)化提供各類服務(wù)?！拔覀冎饕姆?wù)內(nèi)容分為兩個：一是實現(xiàn)信息對稱。要實現(xiàn)信息對稱，首先要在第一時間獲取數(shù)據(jù)，并且是全量的數(shù)據(jù)，才是數(shù)據(jù)挖掘的根本。再把文本等非結(jié)構(gòu)化數(shù)據(jù)，通過數(shù)據(jù)化處理轉(zhuǎn)化成結(jié)構(gòu)化數(shù)據(jù)，只有成為可統(tǒng)計、可計算、可分析的數(shù)據(jù)，才能實現(xiàn)信息對稱；二是挖掘文本數(shù)據(jù)的價值。通過各種創(chuàng)新的分析工具和手段，將其整合為有價值的分析結(jié)果?！崩钋帻埲缡钦f。

在實際生活中，文本信息多是用于查看，結(jié)構(gòu)化或言之數(shù)據(jù)化處理的工作多是由大中型企業(yè)交給市場調(diào)查公司、公關(guān)公司等機構(gòu)完成，由其制作調(diào)查問卷，然后對它賦予數(shù)據(jù)，最后根據(jù)數(shù)據(jù)統(tǒng)計出結(jié)果，形成分析報告。此類公司提供的一般都是數(shù)據(jù)列表，是較淺層次的統(tǒng)計結(jié)果，因此價值比較小。此外，文本數(shù)據(jù)雖潛藏著巨大的價值，但囿于當前的計算方法和硬件設(shè)備，其價值還未得到充分地發(fā)掘?？梢哉f，目前無論國際還是國內(nèi)，文本數(shù)據(jù)的應(yīng)用都才剛剛起步。

圖 星光數(shù)據(jù)服務(wù)平臺

反向分詞：極致、極簡、創(chuàng)新

文本處理尤其是中文文本處理的核心在于：一是建索引進行搜索；二是分詞，提高準確度。李青龍表示，“我們未來會向信息對稱方向聚焦。而我們的日常生活和互聯(lián)網(wǎng)之間隔著一堵無形的墻，造成了信息的不對稱。通常而言，我們每天能獲得信息的渠道包括各種搜索、各類網(wǎng)站和社交媒體。如果我就想關(guān)注某類事件，關(guān)于它的所有信息被淹沒在互聯(lián)網(wǎng)的汪洋大海里?！?/p>

為此，李青龍認為：“我們需要建立一種機制，用工具和方法打通信息通道，在打通的過程中，傳統(tǒng)文本搜索常用的索引和分詞使其效率大大降低，必須創(chuàng)新方法?！?/p>

“只要有索引和分詞，大數(shù)據(jù)在整個體系中就施展不開。”李青龍舉例說：“百度大數(shù)據(jù)的價值并未發(fā)揮，原因就在于百度的價值仍局限于是搜索入口，大家都在上面做廣告，而為它的大數(shù)據(jù)價值買單的少之又少。另外，百度對非結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化處理程度仍處于淺層次，目前只對新聞進行了結(jié)構(gòu)化處理。而百度網(wǎng)頁沒有進行深度的結(jié)構(gòu)化處理，因為網(wǎng)頁中的數(shù)據(jù)量太大了，無法實現(xiàn)深度結(jié)構(gòu)化。這些因素造成百度文本大數(shù)據(jù)的價值尚未真正發(fā)揮。”

智慧星光的理念是“極致、極簡、創(chuàng)新”。李青龍解釋道，“極致就是只要有相關(guān)的內(nèi)容馬上就能精準獲得，這要求對中間環(huán)節(jié)進行簡化處理，于是，我們大膽提出去分詞。通過長期積累，我們建立了一個以‘效率優(yōu)先，精準優(yōu)化'為原則的反向分詞詞庫。”

傳統(tǒng)的分詞系統(tǒng)雖然也可以解決這個問題，但需要把文章全文全部分詞，1000字的文章能夠分出1000～2000個詞來，這就意味著要分詞后才能對應(yīng)用戶的關(guān)鍵詞?！暗ǔＮ覀冊陉P(guān)注一篇文章時，只關(guān)注幾個詞，因此對那幾個詞使用反向詞庫就夠了。反向詞庫比傳統(tǒng)分詞的效率提高逾1000倍，這樣的效率意味著我們能夠?qū)崿F(xiàn)零時延，這就解決了系統(tǒng)越大越慢的問題，系統(tǒng)再大也不會慢。”李青龍如是說。

輿情監(jiān)測：贏在數(shù)據(jù)質(zhì)量

隨著“互聯(lián)網(wǎng)+”時代的到來，互聯(lián)網(wǎng)正迅速融入于各行各業(yè)。對于擁有全球人數(shù)最多網(wǎng)民的中國，更廣泛的網(wǎng)絡(luò)參與也帶來更多的互聯(lián)網(wǎng)數(shù)據(jù)和更全面的輿情內(nèi)容。面對互聯(lián)網(wǎng)上的海量信息，如何能做到準確獲取、實時監(jiān)控、合理分析、綜合研判、定向?qū)Э兀菙[在輿情工作者面前的重要問題。

李青龍表示，輿情是文本大數(shù)據(jù)典型的應(yīng)用，其特征之一是，客戶可以清楚地告知需求。而傳統(tǒng)索引的方式其實的應(yīng)用是不知道客戶的需求，因此需要建全詞量的索引，但是內(nèi)容非常復雜。而當客戶可以清楚地告知需求，系統(tǒng)就可以把計算前置化，因此能輸出更好的結(jié)果。

李青龍把輿情公司分為三代：第一代為系統(tǒng)集成和軟件開發(fā)公司，第二代是提供傳統(tǒng)SaaS服務(wù)的公司，第三代是文本大數(shù)據(jù)應(yīng)用的創(chuàng)新型公司。系統(tǒng)集成公司就是在系統(tǒng)集中加入軟件開發(fā)，根據(jù)客戶進行項目定制開發(fā)，形成輿情系統(tǒng)，這種輿情的最大缺點就是數(shù)據(jù)質(zhì)量差。

2009年，SaaS在全球興起，一些公司很好的實現(xiàn)了轉(zhuǎn)型，有些公司轉(zhuǎn)型時卻跑離了軌道，仍采用系統(tǒng)集成和軟件開發(fā)的方法，未能真正解決輿情問題。“當時我告誡團隊做項目不要只圖一時之快，要堅定把SaaS模式下的輿情監(jiān)測系統(tǒng)做下去，在數(shù)據(jù)質(zhì)量上超越別人。為此，我們投巨資建設(shè)了一個高標準的智能化信息采集和處理平臺，為客戶大大降低了成本，同時在信息的及時性、全面性、精確性方面滿足客戶的需求。目前，我們Saas平臺服務(wù)1.5萬多客戶，付費用戶超過2000個?！?/p>

社會對互聯(lián)網(wǎng)輿情的關(guān)注程度也越來越高，與之相對應(yīng)的處理方式也產(chǎn)生了相應(yīng)的變化，從最初的不甚關(guān)注，到人工手動搜索處理、外包處理、系統(tǒng)處理，目前發(fā)展為專業(yè)技術(shù)服務(wù)團隊的托管服務(wù)，輿情監(jiān)測經(jīng)歷了階梯式的發(fā)展。

對此，李青龍表示，“未來，智慧星光將把握發(fā)展機遇，進一步完善輿情監(jiān)測系統(tǒng)，不斷尋求創(chuàng)新突破?！?/p>

圖 智慧星光數(shù)據(jù)分析模型

商業(yè)模式的突破是關(guān)鍵

任何行業(yè)發(fā)展都會有瓶頸期，大數(shù)據(jù)也不例外。李青龍直言，目前的文本大數(shù)據(jù)比較好的出路就是APP新聞推薦，其商業(yè)模式的突破在于它賣的不是信息服務(wù)費，而全是廣告費，雖然面向的是C端，但付費的是B端。對此，李青龍指出，“文本數(shù)據(jù)應(yīng)用需要思考如何實現(xiàn)商業(yè)模式的突破，這也是大數(shù)據(jù)發(fā)展的關(guān)鍵?！?/p>

大數(shù)據(jù)的作用和方向體現(xiàn)在兩方面：

第一、監(jiān)測。各種大數(shù)據(jù)工具、物聯(lián)網(wǎng)都是在監(jiān)測和發(fā)現(xiàn)問題，這是大數(shù)據(jù)的典型特點。

第二、預測。大數(shù)據(jù)有可能顛覆各個行業(yè)，但只是有可能，需要的周期可能很長。

“比如我們現(xiàn)在體檢都要去現(xiàn)場排號，如果通過鞋子或體內(nèi)的小機器人采集所有的健康數(shù)據(jù)，直接能看到自己的體檢報告，這就可能取代傳統(tǒng)的體檢模式?！崩钋帻埿蜗蟮嘏e例說。

李青龍認為，目前大數(shù)據(jù)采集、處理、分析、應(yīng)用等的標準化產(chǎn)品的最大價值包括兩個層面：

一是效率提升。以往，要由人工提升效率，而大數(shù)據(jù)在一定意義上實現(xiàn)了人工智能化，這是大數(shù)據(jù)最大的價值。如以前需要幾個人不間斷地在各處做搜索、輿情監(jiān)測等工作，現(xiàn)在通過大數(shù)據(jù)技術(shù)可能只需要半個人。用戶打開手機客戶端，重要的信息直接推送顯示，節(jié)省了70～80%的人工工作，這就是效率的價值。

二是效果可查。對每天看的信息定性、定量的操作和分析。

據(jù)國際數(shù)據(jù)公司（IDC）在2011年的調(diào)查顯示，今后十年，非結(jié)構(gòu)化數(shù)據(jù)將占互聯(lián)網(wǎng)總數(shù)據(jù)的90%，是一個尚未得到充分開發(fā)的“信息金礦”。

對此，李青龍暢言：“我們相信，在未來的大數(shù)據(jù)分析技術(shù)中，非結(jié)構(gòu)化數(shù)據(jù)分析技術(shù)將逐漸取代傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)分析技術(shù)，我們將通過海量的數(shù)據(jù)分析，來讓企業(yè)應(yīng)對更為復雜的商業(yè)模型，從而替企業(yè)提高市場洞察力并創(chuàng)造價值。”