大數(shù)據(jù) 大挑戰(zhàn)

十九大報(bào)告中提到：“促進(jìn)高校畢業(yè)生等青年群體、農(nóng)民工多渠道就業(yè)創(chuàng)業(yè)”，“推動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和實(shí)體經(jīng)濟(jì)深度融合?！?/p>

隨著大數(shù)據(jù)應(yīng)用的發(fā)展，大數(shù)據(jù)價(jià)值得以充分體現(xiàn)，大數(shù)據(jù)在企業(yè)和社會(huì)層面成為重要的戰(zhàn)略資源，數(shù)據(jù)成為新的戰(zhàn)略制高點(diǎn)。作為一種新的資產(chǎn)類別， Google、Facebook、亞馬遜、騰訊、百度、阿里巴巴和360等企業(yè)正在運(yùn)用大數(shù)據(jù)力量獲得商業(yè)上更大的成功，金融和電信企業(yè)也在運(yùn)用大數(shù)據(jù)提升競(jìng)爭(zhēng)力。

大數(shù)據(jù)在帶來(lái)發(fā)展的同時(shí)，也面臨著三大挑戰(zhàn)：第一大挑戰(zhàn)是“數(shù)據(jù)過(guò)載”。我們現(xiàn)在每天產(chǎn)生的數(shù)據(jù)量大約相當(dāng)于公元元年至一千年全人類產(chǎn)生的數(shù)據(jù)總量，而且這個(gè)量還在指數(shù)級(jí)不斷增長(zhǎng)。所以大數(shù)據(jù)時(shí)代第一個(gè)重大的矛盾，就是日益增長(zhǎng)的數(shù)據(jù)總量和我們普通人分辨甄別數(shù)據(jù)能力之間的矛盾，我們把它叫做數(shù)據(jù)過(guò)載。

第二大挑戰(zhàn)是數(shù)據(jù)的形態(tài)發(fā)生了巨大的變化。以前我們接觸的絕大多數(shù)數(shù)據(jù)是結(jié)構(gòu)化的數(shù)據(jù)，但是現(xiàn)在的數(shù)據(jù)更多變成了非結(jié)構(gòu)化的數(shù)據(jù)，比如語(yǔ)音、圖像、視頻、社交關(guān)系網(wǎng)絡(luò)、空間移動(dòng)軌跡等等。這些數(shù)據(jù)量非常大，里面藏著巨大的價(jià)值，但分析挖掘起來(lái)很困難。

第三大挑戰(zhàn)是數(shù)據(jù)之間存在“孤島現(xiàn)象”。比如說(shuō)新浪微博的數(shù)據(jù)、騰訊QQ的數(shù)據(jù)、線下公安局的犯罪記錄數(shù)據(jù)，這些數(shù)據(jù)之間并不聯(lián)通，就像一個(gè)個(gè)信息的孤島。如何在安全、隱私可控的情況下，打通不同領(lǐng)域的數(shù)據(jù)，將不同平臺(tái)不同維度的數(shù)據(jù)通過(guò)同一個(gè)人、同一家企業(yè)、同一部手機(jī)、同一個(gè)位置關(guān)聯(lián)起來(lái)，產(chǎn)生1+1遠(yuǎn)大于2的價(jià)值，是大數(shù)據(jù)時(shí)代的又一大挑戰(zhàn)。

我的博士生導(dǎo)師周濤教授在大數(shù)據(jù)行業(yè)赫赫有名——他是《大數(shù)據(jù)時(shí)代》的譯者、2015年中國(guó)十大科技創(chuàng)新人物之一，我是他培養(yǎng)的第一屆創(chuàng)業(yè)型博士。在周教授的指導(dǎo)下，我發(fā)現(xiàn)大數(shù)據(jù)在帶來(lái)挑戰(zhàn)的同時(shí)，也帶來(lái)了機(jī)遇。于是，我?guī)ьI(lǐng)一群剛從電子科技大學(xué)畢業(yè)的學(xué)生團(tuán)隊(duì)開始創(chuàng)業(yè)，有針對(duì)性地在大數(shù)據(jù)行業(yè)做了三項(xiàng)基礎(chǔ)技術(shù)工作。

一是對(duì)海量公開數(shù)據(jù)的大規(guī)模采集、存儲(chǔ)、分析、處理。目前數(shù)據(jù)采集存量已經(jīng)超過(guò)PB級(jí)別，同時(shí)每天還在以TB的量級(jí)在更新。這些數(shù)據(jù)包含了新聞、社交、電商、招聘、企業(yè)、旅游等方方面面。

二是進(jìn)行非結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化處理。例如淘寶的商品信息數(shù)據(jù)就是非結(jié)構(gòu)化的，商品顏色、規(guī)格、風(fēng)格、包裝等諸多信息雜亂且不規(guī)則地分散在商品標(biāo)題和描述中，我們用計(jì)算機(jī)按照結(jié)構(gòu)化數(shù)據(jù)的特點(diǎn)填放到各種“表格”中，就可以使商品數(shù)據(jù)的分析變得十分簡(jiǎn)單。

三是做數(shù)據(jù)的跨域關(guān)聯(lián)。把不同維度的數(shù)據(jù)進(jìn)行跨域關(guān)聯(lián)來(lái)綜合描繪一個(gè)目標(biāo)體，這個(gè)目標(biāo)體可以是企業(yè)、人群、商品、品牌、商鋪等等。例如，把公開采集到的企業(yè)工商信息、招聘信息、電商銷售信息、新聞?shì)浨樾畔⒌韧ㄟ^(guò)同一個(gè)企業(yè)主體關(guān)聯(lián)起來(lái)，形成企業(yè)畫像，在做企業(yè)信貸評(píng)估、企業(yè)定向服務(wù)等方面十分有用。

當(dāng)前，許多傳統(tǒng)的實(shí)體企業(yè)都在探索科技轉(zhuǎn)型升級(jí)，我們團(tuán)隊(duì)依托以上三項(xiàng)大數(shù)據(jù)基礎(chǔ)能力，為大型實(shí)體企業(yè)提供大數(shù)據(jù)服務(wù)。

在“五糧液大數(shù)據(jù)項(xiàng)目”中，團(tuán)隊(duì)為客戶搭建起一個(gè)大數(shù)據(jù)平臺(tái)，基于這些數(shù)據(jù)，以“五糧液”這個(gè)品牌為中心進(jìn)行跨域關(guān)聯(lián)，建立多維度的“五糧液品牌畫像”，從品牌覆蓋度、輿論熱度、美譽(yù)度到市場(chǎng)表現(xiàn)、經(jīng)營(yíng)現(xiàn)狀、競(jìng)爭(zhēng)對(duì)手、科技力、商品優(yōu)缺點(diǎn)等維度的定量化數(shù)據(jù)展示，從而幫助五糧液利用大數(shù)據(jù)在精細(xì)化生產(chǎn)、個(gè)性化營(yíng)銷、實(shí)時(shí)化品牌保護(hù)等方面提供決策支撐。

我們的創(chuàng)業(yè)公司叫“臥龍大數(shù)據(jù)”。人們稱贊臥龍孔明可以通過(guò)掌握大量領(lǐng)域的知識(shí)和信息進(jìn)行預(yù)測(cè)，我們也希望能通過(guò)更加現(xiàn)代化的手段將海量數(shù)據(jù)跨域關(guān)聯(lián)起來(lái)，進(jìn)行分析預(yù)測(cè)，從而為國(guó)家決策提供建議、為企業(yè)發(fā)展提供支撐、為人民生活提供便利。