大數(shù)據(jù)應(yīng)用及其面臨的挑戰(zhàn)

胡鈺璽

摘要：隨著“物聯(lián)網(wǎng)”、“云計(jì)算”等新概念被政府強(qiáng)調(diào)、被企業(yè)運(yùn)用推廣，“大數(shù)據(jù)”也逐漸進(jìn)入公眾的視野。如何及時(shí)地獲取數(shù)據(jù)、如何高效地分析數(shù)據(jù)，已成為軟件工程師不得不面對(duì)的一個(gè)挑戰(zhàn)。本文以一個(gè)軟件工程專業(yè)本科生的視角，談大數(shù)據(jù)的特點(diǎn)和大數(shù)據(jù)的應(yīng)用，并猜想大數(shù)據(jù)可能面對(duì)的挑戰(zhàn)。

關(guān)鍵詞：大數(shù)據(jù)；特點(diǎn)；應(yīng)用；挑戰(zhàn)

數(shù)據(jù)是指所有文字、符號(hào)、圖片等總稱。計(jì)算機(jī)出現(xiàn)后，數(shù)據(jù)一般被默認(rèn)為是所有能輸入到計(jì)算機(jī)并被計(jì)算機(jī)程序處理的符號(hào)的總稱。自互聯(lián)網(wǎng)普及以來(lái)，數(shù)據(jù)的數(shù)量就在成指數(shù)級(jí)數(shù)增長(zhǎng)，尤其是電子商務(wù)的快速發(fā)展和物聯(lián)網(wǎng)技術(shù)的應(yīng)用，使數(shù)據(jù)的增長(zhǎng)速度達(dá)到難以想象的地步。據(jù)統(tǒng)計(jì)，Google一天產(chǎn)生20P的數(shù)據(jù)，（1P=1024T=1024*1024G）；沃爾瑪一小時(shí)要處理100萬(wàn)消費(fèi)者的交易，要向數(shù)據(jù)庫(kù)輸入25P的數(shù)據(jù)；2009年，F(xiàn)acebook擁有2.5P用戶數(shù)據(jù)，每天產(chǎn)生15T的數(shù)據(jù)；2009年，eBay擁有6.5P用戶數(shù)據(jù)每天產(chǎn)生50T的數(shù)據(jù)；我們熟悉的阿里巴巴、淘寶擁有的數(shù)據(jù)量更是無(wú)法估計(jì)。大數(shù)據(jù)時(shí)代，無(wú)論是數(shù)據(jù)學(xué)家、統(tǒng)計(jì)學(xué)家還是金融學(xué)家，亦或是我們軟件工程師，都開(kāi)始覺(jué)得，傳統(tǒng)的數(shù)據(jù)處理方式已經(jīng)在日益增長(zhǎng)且復(fù)雜多變的數(shù)據(jù)面前顯得力不從心。人類(lèi)，迫切地需要尋找一條出路——面對(duì)繁雜瑣碎的數(shù)據(jù)，如果我們不能跳出傳統(tǒng)的數(shù)據(jù)處理方式，用新方法有效地提取信息，就只能被無(wú)邊無(wú)際的數(shù)據(jù)淹沒(méi)。

幸運(yùn)的是，在2010年，維克托·邁爾·舍恩伯格的《大數(shù)據(jù)時(shí)代》正式宣告了“大數(shù)據(jù)時(shí)代”的來(lái)臨，并為即將被數(shù)據(jù)流沙淹沒(méi)而束手無(wú)策的工程師們指明了一條出路：“我們要放棄對(duì)因果關(guān)系的追求，轉(zhuǎn)而關(guān)注數(shù)據(jù)之間的相關(guān)度?！彪S后，金融行業(yè)、互聯(lián)網(wǎng)行業(yè)都掀起了一場(chǎng)針對(duì)數(shù)據(jù)的變革風(fēng)暴，“大數(shù)據(jù)”這一顛覆人們傳統(tǒng)認(rèn)知的思想，開(kāi)始成為新發(fā)明和新服務(wù)的靈感源泉。

1、大數(shù)據(jù)的概念及特點(diǎn)

“大數(shù)據(jù)”一詞首次出現(xiàn)在2011年麥肯錫發(fā)布的《大數(shù)據(jù)，下一個(gè)創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的前沿》的報(bào)告中，2013年開(kāi)始風(fēng)靡全球。其實(shí)大數(shù)據(jù)就是一種數(shù)量龐大、種類(lèi)繁多的資料數(shù)據(jù)。正所謂“成也蕭何，敗也蕭何”：海量和多樣的數(shù)據(jù)使得用常規(guī)的工具無(wú)法在短時(shí)間內(nèi)捕捉和整理，想要處理并挖掘其中的財(cái)富更是難上加難，但是，通過(guò)采用新的大規(guī)模數(shù)據(jù)處理手段（主要是云計(jì)算），從雜亂無(wú)章的巨大數(shù)據(jù)中發(fā)現(xiàn)很有價(jià)值的信息，為政府、企業(yè)、組織或者個(gè)人提供決策依據(jù)，這就是大數(shù)據(jù)的魅力所在。有能力對(duì)數(shù)據(jù)處理和利用的企業(yè)必將成為大數(shù)據(jù)浪潮下的“弄潮兒”。大數(shù)據(jù)，主要有五大特點(diǎn)：

1）數(shù)據(jù)容量大

在我看來(lái)，這是首要的特點(diǎn)。正是數(shù)據(jù)量的爆炸式增長(zhǎng)引起了數(shù)據(jù)處理方式的變革，改變了我們以往對(duì)數(shù)據(jù)的看法。曾經(jīng)因處理方式跟不上而“食之無(wú)味棄之可惜”的龐大數(shù)據(jù)如今因其潛在價(jià)值——相關(guān)性，而變得越來(lái)越重要，甚至已經(jīng)成為一筆巨大的財(cái)富。

2）數(shù)據(jù)種類(lèi)繁多

數(shù)據(jù)種類(lèi)由單一走向繁多，不僅體現(xiàn)在數(shù)據(jù)形式上繁多（有文本數(shù)據(jù)、視頻數(shù)據(jù)、音頻數(shù)據(jù)等），還體現(xiàn)在數(shù)據(jù)來(lái)源的繁多（工廠生產(chǎn)過(guò)程中的生產(chǎn)數(shù)據(jù)、業(yè)務(wù)系統(tǒng)中業(yè)務(wù)數(shù)據(jù)、來(lái)自監(jiān)控設(shè)備的視頻數(shù)據(jù)，來(lái)自手機(jī)的通話數(shù)據(jù)等）。使我們不得不放棄曾經(jīng)在數(shù)據(jù)處理上對(duì)因果關(guān)系的執(zhí)著追求——即對(duì)“為什么”的探求，轉(zhuǎn)而將目光投向數(shù)據(jù)之間的相關(guān)關(guān)系——即對(duì)“怎么做”的預(yù)測(cè)。這一思想不僅使得數(shù)據(jù)處理工作少了無(wú)謂的推演論證、多了高效的“找規(guī)律”和預(yù)判，而且讓我們的眼界變得更廣闊——或許我們?cè)?jīng)認(rèn)為毫不相干的兩者，其實(shí)存在內(nèi)在聯(lián)系？

3）數(shù)據(jù)處理速度快

數(shù)據(jù)產(chǎn)生的速度和數(shù)據(jù)更新的速度都出現(xiàn)了前所未有的高速發(fā)展，毋庸置疑，快速的處理也是體現(xiàn)了大數(shù)據(jù)的速度，大數(shù)據(jù)的處理速度得益于“云計(jì)算”助力。大數(shù)據(jù)的處理必須要有令人驚嘆的速度，才能讓我們盡早提出具有前瞻性的觀點(diǎn)，達(dá)到先發(fā)制人的效果。

4）數(shù)據(jù)價(jià)值密度低

數(shù)據(jù)價(jià)值密度低是指和大量數(shù)據(jù)相比，真正有價(jià)值的數(shù)據(jù)所占比例很小，比如，在破案過(guò)程中產(chǎn)幾十個(gè)小時(shí)的視頻，但真正對(duì)破案有用的視頻往往只有幾分鐘，甚至幾十秒。龐大的數(shù)據(jù)看似是無(wú)用的糟粕，但倘若加以分析處理，便能用低廉的成本創(chuàng)造巨大的價(jià)值，取得“四兩撥千斤”的奇效。

5）數(shù)據(jù)實(shí)時(shí)性強(qiáng)

隨著傳感技術(shù)和自動(dòng)采集系統(tǒng)的應(yīng)用和普及，數(shù)據(jù)的真實(shí)性和實(shí)時(shí)性大大提高，真實(shí)的數(shù)據(jù)才有利用的價(jià)值，它不僅能反映過(guò)去事物之間的聯(lián)系和規(guī)律，也能在未來(lái)為我們的決策提供可靠的信息。

2、大數(shù)據(jù)的應(yīng)用

在我還是個(gè)孩子的時(shí)候，就曾聽(tīng)父親講過(guò)一個(gè)這樣的故事：曾有一段時(shí)間，沃爾瑪超市將尿布和啤酒擺在相鄰的貨架上出售。在我們常人看來(lái)，酒水飲料與嬰兒用品這兩個(gè)不相干的種類(lèi)放在一起是違反邏輯的，這種舉措無(wú)疑會(huì)讓人更難搜尋商品進(jìn)而降低銷(xiāo)量。奇怪的是，尿布和啤酒的銷(xiāo)量都比以往增加不少。原來(lái)，來(lái)超市選購(gòu)嬰兒尿布的大多是下班回家的丈夫，他們很樂(lè)意在買(mǎi)完尿布之后再買(mǎi)一些啤酒，只是大部分人不愿在超市逗留太久而沒(méi)有去酒水貨柜。是什么讓沃爾瑪發(fā)現(xiàn)了尿布和啤酒之間的關(guān)系呢？正是商家通過(guò)分析多年超市交易的銷(xiāo)售數(shù)據(jù)，才發(fā)現(xiàn)了這個(gè)不易被察覺(jué)的規(guī)律，進(jìn)而有了一筆可觀的利潤(rùn)。這是我最早了解到的關(guān)于數(shù)據(jù)挖掘的知識(shí)，如今的“大數(shù)據(jù)”，或許能更好地幫我們這些“準(zhǔn)軟件工程師”利用曾經(jīng)難以收集、難以把握的資源，并創(chuàng)造更有價(jià)值的東西。

下面，我將列舉大數(shù)據(jù)在幾個(gè)不同領(lǐng)域的應(yīng)用，在這些朝氣蓬勃、欣欣向榮的領(lǐng)域里，都有我們軟件工程師的身影！

1）2016年3月，谷歌旗下的Deepmind公司團(tuán)隊(duì)開(kāi)發(fā)的圍棋人工智能程序AlphaGo以4：1戰(zhàn)勝韓國(guó)職業(yè)九段李世石。這款主要工作原理為“深度學(xué)習(xí)”的軟件的棋力迅速提升很大程度上是因?yàn)殇浫氪罅康钠遄V后進(jìn)行“落子與勝負(fù)”之間的關(guān)系分析，然后進(jìn)行上千萬(wàn)盤(pán)機(jī)器內(nèi)部模擬對(duì)弈。大數(shù)據(jù)的大容量、高速度在人工智能和機(jī)器的自我學(xué)習(xí)上得到充分展現(xiàn)，其中當(dāng)然有程序員的功勞。

2）以Facebook為代表的社交應(yīng)用，把我們現(xiàn)實(shí)生活中的人際交往模式和互動(dòng)關(guān)系巧妙地搬到了互聯(lián)網(wǎng)空間中，并借助互聯(lián)網(wǎng)的特性將人們緊密聯(lián)系在一起，甚至讓我們輕易地拓展社交圈子，認(rèn)識(shí)世界各地志同道合的朋友。程序員們憑借大數(shù)據(jù)思想，在為用戶篩選“可能感興趣的人”和“可能想關(guān)注的事”時(shí)，不再僅僅憑借用戶填寫(xiě)的年齡、地區(qū)、職業(yè)等死板抽象的內(nèi)容將我們歸類(lèi)，而是采用了一類(lèi)更加生動(dòng)形象、令用戶滿意的數(shù)據(jù)類(lèi)型：興趣和愛(ài)好。你是不是想起了社交軟件針對(duì)你的興趣愛(ài)好推薦了你“想要結(jié)識(shí)的人”呢？你是不是想起了購(gòu)物軟件會(huì)推薦一些你“可能感興趣的商品”呢？沒(méi)錯(cuò)，這些應(yīng)用已經(jīng)通過(guò)你瀏覽網(wǎng)頁(yè)、訪問(wèn)認(rèn)證等操作了解了你的偏好。更重要的是，這些軟件可以利用用戶的社交圈子來(lái)迅速推廣新款的商品、傳播新型的理念。設(shè)想一下，當(dāng)你發(fā)現(xiàn)關(guān)系網(wǎng)中和你志趣相投的朋友都選擇了某種商品時(shí)，你會(huì)不會(huì)也希望去嘗試呢？另外，經(jīng)過(guò)興趣分類(lèi)的用戶組為商家在售后調(diào)查商品滿意度、在新款發(fā)布前征求消費(fèi)者意見(jiàn)打開(kāi)了一扇方便之門(mén)，也讓我們更加輕易地找到志同道合的朋友和讓我們心儀的商品。事實(shí)上，大型的社交網(wǎng)絡(luò)平臺(tái)與電子商務(wù)經(jīng)營(yíng)者只要聯(lián)合起來(lái)，就可以以每一個(gè)社交用戶作為結(jié)點(diǎn)樞紐，通過(guò)“分享”的記錄、“推薦”的歷史和“瀏覽”的痕跡將一個(gè)龐大的用戶群體挖掘出來(lái)。用大數(shù)據(jù)方法，以“用戶集群”作為研究消費(fèi)偏好、調(diào)查商品滿意度的分析單位，繪制并預(yù)測(cè)用戶群體的行為軌跡和興趣走向，一定比傳統(tǒng)意義上的個(gè)體分析要快捷、精準(zhǔn)得多。

3）2016年1月，阿里云宣布分享大數(shù)據(jù)能力，開(kāi)放全球首個(gè)一站式大數(shù)據(jù)平臺(tái)“數(shù)加”。這個(gè)平臺(tái)一定程度上解決了個(gè)體和中小型企業(yè)與大型企業(yè)的數(shù)據(jù)信息不對(duì)稱的問(wèn)題，使得個(gè)體能夠借用阿里巴巴的大數(shù)據(jù)獲取有用的信息為生活提供便利，使得中小型企業(yè)不必通過(guò)耗費(fèi)大量資本的數(shù)據(jù)采集就可以運(yùn)用現(xiàn)成數(shù)據(jù)進(jìn)行方案決策和算法開(kāi)發(fā)。這種情況下，大數(shù)據(jù)，成為了一筆可以共享的財(cái)富。

3、大數(shù)據(jù)可能面對(duì)的挑戰(zhàn)

1）大數(shù)據(jù)尚不能完全代替?zhèn)鹘y(tǒng)數(shù)據(jù)

當(dāng)前大數(shù)據(jù)尚不能完全取代傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)。由于關(guān)系型數(shù)據(jù)簡(jiǎn)單、數(shù)據(jù)易存取和易處理等特點(diǎn)，幾乎絕大多數(shù)企業(yè)、政府機(jī)關(guān)的業(yè)務(wù)系統(tǒng)都是基于關(guān)系型數(shù)據(jù)庫(kù)的（例如Oracle，DB2，SQL Se rver，Access都是關(guān)系數(shù)據(jù)庫(kù)），因此結(jié)構(gòu)化數(shù)據(jù)庫(kù)也會(huì)隨著業(yè)務(wù)系統(tǒng)的應(yīng)用不斷增加，只是隨物聯(lián)網(wǎng)技術(shù)的應(yīng)用、互聯(lián)網(wǎng)的普及、移動(dòng)應(yīng)用的快速擴(kuò)大、聊天信息和視頻數(shù)據(jù)等非結(jié)構(gòu)化數(shù)據(jù)成指數(shù)級(jí)數(shù)的增加，結(jié)構(gòu)化數(shù)據(jù)所占的比例在快速下降，但由于非結(jié)構(gòu)化數(shù)據(jù)的收集難度大、分析成本高、相關(guān)人才匱乏，有效的非結(jié)構(gòu)化數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)相比并不占絕對(duì)優(yōu)勢(shì)。對(duì)于某些特定的應(yīng)用（例如MIS、ERP，CRM等），結(jié)構(gòu)化數(shù)據(jù)仍然占據(jù)主導(dǎo)地位。

2）大數(shù)據(jù)中的數(shù)據(jù)保護(hù)問(wèn)題短期內(nèi)無(wú)法很好解決

大數(shù)據(jù)時(shí)代，網(wǎng)絡(luò)的迅猛發(fā)展和數(shù)據(jù)共享的思維浪潮使獲取數(shù)據(jù)不再是難題，但同時(shí)也給信息安全帶來(lái)了巨大的挑戰(zhàn)。如何在共享可作為公用的數(shù)據(jù)的同時(shí)保護(hù)私有數(shù)據(jù)不受侵犯，成為一大難題。眾所周知，當(dāng)今的數(shù)據(jù)安全形勢(shì)不容樂(lè)觀：需受到保護(hù)的數(shù)據(jù)增長(zhǎng)已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)了我們將其納入數(shù)據(jù)保護(hù)傘之下的能力。而且保護(hù)的數(shù)據(jù)范圍在不斷擴(kuò)大，例如早期我們認(rèn)為姓名、電話號(hào)碼，住址等需要保護(hù)，購(gòu)買(mǎi)的物品名稱和購(gòu)買(mǎi)時(shí)間并不是隱私，但大數(shù)據(jù)時(shí)代一切都變了，隨著集成的數(shù)據(jù)不斷增多，例如，醫(yī)療數(shù)據(jù)、教育數(shù)據(jù)、購(gòu)物數(shù)據(jù)等大量數(shù)據(jù)的集成，并利用大數(shù)進(jìn)行分析，也許就能發(fā)現(xiàn)用戶最隱私的信息，例如購(gòu)物明細(xì)和醫(yī)療數(shù)據(jù)結(jié)合也許可以分析出某人患有某種疾病這種需要保護(hù)的用戶隱私。這個(gè)嚴(yán)峻的形勢(shì)也給我們新一代的軟件工程從業(yè)者提出了不少值得思考的問(wèn)題。

3）大數(shù)據(jù)將成為一種科學(xué)研究方法

在醫(yī)療、教育、生產(chǎn)等各行各業(yè)，只要有足夠的數(shù)據(jù)支持相關(guān)性就證明這種方法是科學(xué)的，無(wú)需分析為什么。例如存在大量案例數(shù)據(jù)表明某種藥物對(duì)治療心臟疾病是有效時(shí)，該藥物便是治療心臟病的科學(xué)方法。當(dāng)然，隨著時(shí)間的推移，數(shù)據(jù)的不斷積累，從大數(shù)據(jù)發(fā)現(xiàn)的規(guī)律和相關(guān)性也是變化的。

毋庸置疑，在政府重視、公眾關(guān)注、企業(yè)運(yùn)用的大環(huán)境下，大數(shù)據(jù)的思想及方法將會(huì)被越來(lái)越廣泛地應(yīng)用到我們的生活當(dāng)中。繁瑣枯燥的數(shù)據(jù)經(jīng)程序員之手，將會(huì)轉(zhuǎn)化為一份份可靠的分析報(bào)告，將會(huì)構(gòu)建起一個(gè)個(gè)為民眾生活提供諸多便利的應(yīng)用平臺(tái)。大數(shù)據(jù)時(shí)代里，我們新一代軟件工程師，已經(jīng)準(zhǔn)備好了！