大數(shù)據(jù)技術(shù)及應(yīng)用研究

史宏

摘要：針對廣大群眾對大數(shù)據(jù)只停留在字面意義上，不能對大數(shù)據(jù)有深刻的認(rèn)識和理解的現(xiàn)象，該文主要向讀者介紹了大數(shù)據(jù)的概念、產(chǎn)生途徑、大數(shù)據(jù)處理方法以及大數(shù)據(jù)技術(shù)的應(yīng)用領(lǐng)域等幾個方面，讓讀者真正領(lǐng)悟到大數(shù)據(jù)的內(nèi)涵，從而改變之前的思維觀念，跟上時代的步伐，一起走進(jìn)大數(shù)據(jù)時代。

關(guān)鍵詞：大數(shù)據(jù)時代;處理方法;思維觀念

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2020）10-0262-02

隨著智能手機(jī)的普及，每位網(wǎng)民使用各種應(yīng)用軟件參與互聯(lián)網(wǎng)的程度加深，用戶坐標(biāo)位置、行為舉止、包括身體某個部位的一點(diǎn)點(diǎn)變化，都將成為可被挖掘和分析的數(shù)據(jù)，據(jù)此推理，日常社會每時每刻都會增加數(shù)據(jù)量。統(tǒng)計(jì)數(shù)據(jù)源于IDC研究機(jī)構(gòu)，在2006年，全球所擁有的數(shù)據(jù)量約為180EB;該數(shù)字在2011年達(dá)到1.8ZB。通過該機(jī)構(gòu)估測，到2020年，全球數(shù)據(jù)總量將會增長44倍，達(dá)到35.2ZB。其中容量單位由低到高為GB、TR、PB、EB、ZB，每一個單位相差21¹⁰Byte。如：1TB=2¹⁰GB，依次類推?？梢娙驍?shù)據(jù)大得驚人。

1體驗(yàn)大數(shù)據(jù)時代

大家都有一種體會，你曾在天貓手機(jī)客戶端瀏覽過某件商品，當(dāng)你再次打開天貓客戶端時，你會發(fā)現(xiàn)曾經(jīng)瀏覽過的商品會出現(xiàn)在你的面前，而且優(yōu)惠力度比之前大得多，這樣就會激發(fā)你的購買欲望。這種現(xiàn)象就是商家平臺根據(jù)客戶瀏覽商品停留的時長、關(guān)注的品牌等數(shù)據(jù)的分析來鎖定潛在客戶，并向該客戶將商品進(jìn)行精準(zhǔn)推送，而且不同客戶的界面推送的商品各有不同，從而達(dá)到營銷效果，這就是大數(shù)據(jù)的簡單應(yīng)用。

那么，什么是大數(shù)據(jù)呢？目前大數(shù)據(jù)沒有一個固定的定義。一般認(rèn)為大數(shù)據(jù)（big data）或稱海量資料，指的是難以利用普通方法來挖掘、分析、處理和利用的數(shù)據(jù)，需要另辟蹊徑，通過非常規(guī)的處理方法，擁有數(shù)據(jù)挖掘和分析的能力進(jìn)行處理。大數(shù)據(jù)是一種具有量大、多樣化和增長速度快的可用資產(chǎn)。

正是由于大數(shù)據(jù)是一種可用資產(chǎn)，我們需要采用合理的方法來處理這些數(shù)據(jù)，通過數(shù)據(jù)挖掘、分析，得到有效的數(shù)據(jù)，轉(zhuǎn)化為市場價值，如圖1所示。因此，數(shù)據(jù)挖掘技術(shù)是商業(yè)決策的好幫手。

2大數(shù)據(jù)的產(chǎn)生途徑

大數(shù)據(jù)產(chǎn)生途徑非常多，種類繁雜。智能手機(jī)、PC機(jī)、平板電腦、移動互聯(lián)網(wǎng)、云計(jì)算、物聯(lián)網(wǎng)、車聯(lián)網(wǎng)以及分布在全球各個角落的攝像頭和傳感器，都是數(shù)據(jù)來源或者承載的方式。所以通俗地講，大數(shù)據(jù)就是通過各種渠道收集到的大量數(shù)據(jù)，聚集起來可供需求者從中進(jìn)行挖掘、分析的數(shù)據(jù)集合，例如智能手機(jī)所看到的視頻文件、聽到的音頻文件以及瀏覽過的界面信息;購物時留下的信息等。

大數(shù)據(jù)已經(jīng)被稱為“未來社會的新石油”，可見它的重要性無以言表，而且還是清潔資源，可以被多次加工、挖掘出更大的社會價值。

3大數(shù)據(jù)處理方法

3.1數(shù)據(jù)挖掘法

收集大數(shù)據(jù)的方法主要采用數(shù)據(jù)挖掘，它是目前數(shù)據(jù)庫領(lǐng)域和人工智能研究的熱點(diǎn)問題。數(shù)據(jù)挖掘通俗上講是海量數(shù)據(jù)有用價值的發(fā)現(xiàn)，它是指將隱藏的、先前未知的有潛在價值信息從眾多數(shù)據(jù)中挖掘出來的一種曲折的過程。數(shù)據(jù)挖掘利用多種技術(shù)融合而成，主要基于機(jī)器學(xué)習(xí)、人工智能、模式識別、統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫技術(shù)等，在眾多數(shù)據(jù)中去除干擾的數(shù)據(jù)項(xiàng)后進(jìn)行分類分析、推理和歸納總結(jié)，從中獲取潛在的可用價值的數(shù)據(jù)，進(jìn)而幫助領(lǐng)導(dǎo)決策層調(diào)整市場運(yùn)作風(fēng)險，精準(zhǔn)制定策略，獲取更大的利益。其任務(wù)是將數(shù)據(jù)進(jìn)行分類，然后通過數(shù)據(jù)分析對未來進(jìn)行預(yù)判。分類法在圖像模式識別、醫(yī)療診斷等領(lǐng)域有著廣泛的應(yīng)用。分類的方法有：機(jī)器學(xué)習(xí)法;統(tǒng)計(jì)法;神經(jīng)網(wǎng)絡(luò)法;還有粗糙集法等。數(shù)據(jù)挖掘及分類基本識別流程如2圖所示。

3.2用戶畫像體系法

用戶畫像體系也是一個有效處理大數(shù)據(jù)的方法。該方法是企業(yè)利用大數(shù)據(jù)技術(shù)的基本方式，每個企業(yè)根據(jù)需求要對用戶進(jìn)行畫像，用戶畫像的提出，根本上是源于企業(yè)對用戶認(rèn)知的需求：產(chǎn)品設(shè)計(jì)經(jīng)理，需要了解用戶的特征，來完善產(chǎn)品的功能;營銷精英們，需要篩選目標(biāo)用戶，對產(chǎn)品進(jìn)行精準(zhǔn)投放。

什么是用戶畫像呢？簡單地說，將不同的用戶信息分別進(jìn)行標(biāo)簽化，生產(chǎn)者通過數(shù)據(jù)挖掘、處理分析消費(fèi)者的消費(fèi)觀念、日常生活起居習(xí)慣和社會交往關(guān)系等特征數(shù)據(jù)之后，完美地勾勒出一個用戶的立體全貌。企業(yè)通過用戶畫像獲取足夠的信息基礎(chǔ)，能夠快速找到精準(zhǔn)用戶群體以及用戶需求等更為廣泛的反饋信息?！皹?biāo)簽化”是用戶畫像的工作焦點(diǎn)，而一個標(biāo)簽的選取通常是通過人為制定的標(biāo)準(zhǔn)提取出來的特征標(biāo)識，比如性別、年齡、地域、生活習(xí)慣、消費(fèi)行為等，然后將用戶的所有標(biāo)簽綜合來看，最后經(jīng)過數(shù)據(jù)分析，便可以勾勒出該用戶的立體“畫像”。如圖3所示。

此外，大數(shù)據(jù)處理的技術(shù)還有以下幾種：大數(shù)據(jù)存儲與管理技術(shù)、數(shù)據(jù)采集技術(shù)、數(shù)據(jù)預(yù)處理技術(shù)、大數(shù)據(jù)展現(xiàn)和應(yīng)用技術(shù)。其中，大數(shù)據(jù)展現(xiàn)和應(yīng)用技術(shù)包括大數(shù)據(jù)可視化技術(shù)、大數(shù)據(jù)應(yīng)用技術(shù)、大數(shù)據(jù)檢索技術(shù)和大數(shù)據(jù)安全管理等。

4大數(shù)據(jù)技術(shù)應(yīng)用領(lǐng)域

應(yīng)用大數(shù)據(jù)技術(shù)的基礎(chǔ)是對大數(shù)據(jù)的收集、分析和處理，獲取大數(shù)據(jù)中多種有價值的數(shù)據(jù)信息，幫助領(lǐng)導(dǎo)決策層調(diào)整市場運(yùn)作風(fēng)險。應(yīng)用大數(shù)據(jù)技術(shù)的領(lǐng)域非常廣泛，主要在以下幾個方面。

4.1大數(shù)據(jù)技術(shù)應(yīng)用在商品零售領(lǐng)域

某商店售賣蒸包，通過數(shù)據(jù)分析，了解到在本店買完蒸包的顧客會常常再去另一家粥鋪里買熱粥或者牛奶，去的人還不在少數(shù)，那么這家店可以考慮與粥鋪合作，或者直接在本店里售賣熱粥或牛奶。該相關(guān)的例子很多，網(wǎng)絡(luò)上比較經(jīng)典案例是“啤酒與尿布”的故事，大家可以上網(wǎng)查看。通過這些普通的案例，商家可以發(fā)揮大數(shù)據(jù)的商業(yè)價值，來幫助企業(yè)經(jīng)營決策。

4.2大數(shù)據(jù)技術(shù)應(yīng)用在政治領(lǐng)域

2012年美國大選，奧巴馬成功連任美國總統(tǒng)，其秘密是在籌備過程中，他的競選團(tuán)隊(duì)運(yùn)用大數(shù)據(jù)技術(shù)，一直在收集和分析選民數(shù)據(jù)，通過數(shù)據(jù)分析結(jié)果來制定下一步的競選策略。該事例成功運(yùn)用大數(shù)據(jù)技術(shù)，開啟了大數(shù)據(jù)進(jìn)人政界新時代。

4.3大數(shù)據(jù)技術(shù)應(yīng)用在交通物流領(lǐng)域

交通物流大數(shù)據(jù)的來源是安裝在物流交通工具上的遠(yuǎn)程通信傳感器，這些傳感器能夠傳回動態(tài)的物流信息，包括：行車速度、行駛方向、剎車狀況以及動力性能等方面的數(shù)據(jù)。如果將各種感應(yīng)器、掃描器、傳感器等裝置與射頻識別（RFID）技術(shù)、全球定位系統(tǒng)聯(lián)合起來，實(shí)時采集各種數(shù)據(jù)信息，同時結(jié)合互聯(lián)網(wǎng)技術(shù)形成一個龐大的網(wǎng)絡(luò)，我們稱之為物聯(lián)網(wǎng)。它實(shí)現(xiàn)了物與人、物與物，物與互聯(lián)網(wǎng)的連接，方便識別、管理和處置。同時物聯(lián)網(wǎng)又是一個非常強(qiáng)大的數(shù)據(jù)來源，它所搭建的“萬物互聯(lián)”網(wǎng)絡(luò)會令數(shù)據(jù)量呈爆炸性的增長。這些數(shù)據(jù)的價值，就需要用到大數(shù)據(jù)技術(shù)對其進(jìn)行挖掘和分析，從而整理出有價值的信息，幫助公司重新設(shè)計(jì)物流交通路線，將其再應(yīng)用導(dǎo)航地圖等領(lǐng)域，不斷更新、優(yōu)化交通物流線路的收貨和配送，給物流交通帶來極大的方便性。此外，大數(shù)據(jù)還在醫(yī)療和教育領(lǐng)域、能源領(lǐng)域、制造業(yè)領(lǐng)域、金融領(lǐng)域、文化傳媒領(lǐng)域有著極其廣泛的應(yīng)用。

總之，大數(shù)據(jù)時代已經(jīng)來臨，大數(shù)據(jù)的發(fā)展將進(jìn)一步促進(jìn)人工智能技術(shù)的更新?lián)Q代，隨著大數(shù)據(jù)、物聯(lián)網(wǎng)、云計(jì)算與人工智能的深度融合，將會改變當(dāng)今社會的方方面面，特別是改變?nèi)嗣裆?、工作、出行的方式。?dāng)然，在這個信息爆炸的時代里，不僅充滿著機(jī)遇，同時也面臨著許多挑戰(zhàn)。我們要改變自己的思維觀念，跟上時代的步伐，大數(shù)據(jù)還有很多方面等待著我們?nèi)グl(fā)現(xiàn)和探索。