大數(shù)據(jù)技術(shù)與應(yīng)用研究分析

付雯 李星俊 唐志賓 彭玉嵐

摘要：如今21世紀(jì)，計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)發(fā)展迅速，網(wǎng)絡(luò)發(fā)達(dá)，隨著大數(shù)據(jù)時(shí)代的來(lái)臨，大數(shù)據(jù)正在不停地深入到各行各業(yè)，海量的數(shù)據(jù)資源漸漸的成為各個(gè)行業(yè)競(jìng)爭(zhēng)的資源寶藏。此文從分析和闡述了大數(shù)據(jù)的基本概念和較為關(guān)鍵的技術(shù)要求，以及指明了大數(shù)據(jù)應(yīng)用的幾個(gè)重要的類型，目的在于進(jìn)一步完善和優(yōu)化大數(shù)據(jù)技術(shù)與應(yīng)用技術(shù)。

關(guān)鍵詞：大數(shù)據(jù) 應(yīng)用 分析

1.背景

如今互聯(lián)網(wǎng)、云計(jì)算技術(shù)和物聯(lián)網(wǎng)技術(shù)發(fā)展迅猛，全球已經(jīng)進(jìn)入了一個(gè)數(shù)字化、信息化的時(shí)代[1]。龐大的信息資源加上龐大的市場(chǎng)，大數(shù)據(jù)在這個(gè)過(guò)程中不斷的被創(chuàng)新，大數(shù)據(jù)資源競(jìng)爭(zhēng)也愈來(lái)愈烈。人們的思維方式，行為模式，及市場(chǎng)的商業(yè)模式日新月異。

2.大數(shù)據(jù)技術(shù)概述

2.1大數(shù)據(jù)的基本含義

大數(shù)據(jù)研究機(jī)構(gòu)認(rèn)為：“大數(shù)據(jù)”是需要處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來(lái)適應(yīng)海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。麥肯錫全球研究所給出的定義為：一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價(jià)值密度低四大特征[2]。

2.2大數(shù)據(jù)的特征

（1）海量的數(shù)據(jù)

信息技術(shù)的高速發(fā)展，伴隨著數(shù)據(jù)的爆發(fā)性增長(zhǎng)，如今數(shù)據(jù)的主要來(lái)源分別為以下幾處：社交網(wǎng)絡(luò)（QQ、微信、微博、推特、臉書(shū)及各個(gè)交友APP）、移動(dòng)通訊、各種智能系統(tǒng)、視頻軟件，購(gòu)物軟件。淘寶全球近四億的用戶每天產(chǎn)生的交易數(shù)據(jù)約為20TB;臉書(shū)約十億用戶每天產(chǎn)生的數(shù)據(jù)超過(guò)300TB[3]。如此龐大的數(shù)據(jù)，急切需更加智能的算法和強(qiáng)大的數(shù)據(jù)處理平臺(tái)來(lái)對(duì)其分析處理

（2）數(shù)據(jù)的高效性

數(shù)據(jù)通過(guò)算法進(jìn)行非?？焖俚倪壿嬏幚恚梢苑浅？斓膹母鞣N類型當(dāng)中快速獲得高質(zhì)高量的信息。如今我們已經(jīng)邁入了5G時(shí)代，絕大部分人的生活都離不開(kāi)互聯(lián)網(wǎng)，所以每天我們每人都在產(chǎn)生大量的數(shù)據(jù)。如此龐大的數(shù)據(jù)如果不進(jìn)行及時(shí)的處理就會(huì)付出很大的成本代價(jià)，所以基于此情況，大數(shù)據(jù)處理速度有極為嚴(yán)格的要求，做到實(shí)時(shí)分析，實(shí)時(shí)更新。

（3）數(shù)據(jù)的多樣性

數(shù)據(jù)是非常多樣的，對(duì)于個(gè)人需要有各種各樣的信息，對(duì)于社會(huì)需要有各個(gè)領(lǐng)域的信息數(shù)據(jù)。數(shù)據(jù)來(lái)源，決定了數(shù)據(jù)是否具有多樣性。任何數(shù)據(jù)可產(chǎn)生作用，就如當(dāng)下應(yīng)用最廣泛的推薦系統(tǒng)。舉個(gè)簡(jiǎn)單的例子，如果用戶逛完淘寶，點(diǎn)開(kāi)抖音，它就會(huì)給用戶推相應(yīng)的廣告宣傳視頻。

（4）數(shù)據(jù)的高價(jià)值性

數(shù)據(jù)的價(jià)值是大數(shù)據(jù)的核心特性。大數(shù)據(jù)最大的價(jià)值就在于可以通過(guò)從海量的數(shù)據(jù)中挖掘提取出有需要、有價(jià)值的數(shù)據(jù)可以對(duì)這些數(shù)據(jù)進(jìn)行一個(gè)更深入的分析和較準(zhǔn)確的未來(lái)趨勢(shì)預(yù)判。大數(shù)據(jù)的應(yīng)用更多的在于人工智能上，可廣泛的云用于工業(yè)、農(nóng)業(yè)、教育、醫(yī)療等各個(gè)領(lǐng)域提高生產(chǎn)效率的同時(shí)，也提高了質(zhì)量。

3.大數(shù)據(jù)的關(guān)鍵技術(shù)

大數(shù)據(jù)本身是一種資本，而不僅僅是一種技術(shù)，它是信息技術(shù)飛速發(fā)展的必然結(jié)果[4]。對(duì)大數(shù)據(jù)采集技術(shù)、大數(shù)據(jù)預(yù)處理技術(shù)、大數(shù)據(jù)儲(chǔ)存及管理技術(shù)、大數(shù)據(jù)分析及挖掘技術(shù)、大數(shù)據(jù)展現(xiàn)與應(yīng)用技術(shù)。進(jìn)行進(jìn)一步完善優(yōu)化可更好地實(shí)現(xiàn)一整套大數(shù)據(jù)技術(shù)。

3.1大數(shù)據(jù)采集技術(shù)

通過(guò)RFID射頻數(shù)據(jù)、社交網(wǎng)絡(luò)交互數(shù)據(jù)、傳感器數(shù)據(jù)及移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)等方式進(jìn)行數(shù)據(jù)采集從而獲得各類型的結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化的海量數(shù)據(jù)，這是大數(shù)據(jù)知識(shí)服務(wù)模型的根本[5]。重點(diǎn)是要突破分布式高速可靠的數(shù)據(jù)爬取或者采集、高速數(shù)據(jù)全映像等大數(shù)據(jù)采集技術(shù);突破高速數(shù)據(jù)解析、轉(zhuǎn)換和裝載等大數(shù)據(jù)整合技術(shù);大數(shù)據(jù)采集通常被分為大數(shù)據(jù)智能感知層和基礎(chǔ)支撐層。

3.2大數(shù)據(jù)預(yù)處理技術(shù)

大數(shù)據(jù)預(yù)處理技術(shù)主要完成對(duì)已接收的數(shù)據(jù)進(jìn)行辨析、抽取、清洗等操作。

3.3大數(shù)據(jù)儲(chǔ)存及管理技術(shù)

大數(shù)據(jù)存儲(chǔ)及管理需要使用存儲(chǔ)器把采集到的數(shù)據(jù)存儲(chǔ)起來(lái)并建立其相應(yīng)的數(shù)據(jù)庫(kù)，通過(guò)存儲(chǔ)器對(duì)數(shù)據(jù)進(jìn)行管理與使用。大數(shù)據(jù)存儲(chǔ)與管理技術(shù)其重點(diǎn)在于解決復(fù)雜結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化。主要解決大數(shù)據(jù)的可儲(chǔ)、可表示、可處理和可靠性等問(wèn)題。

3.4大數(shù)據(jù)分析及挖掘技術(shù)

大數(shù)據(jù)分析技術(shù)是整個(gè)大數(shù)據(jù)處理的核心技術(shù)，通過(guò)對(duì)數(shù)據(jù)的分析才能使數(shù)據(jù)可利用，對(duì)趨勢(shì)有更準(zhǔn)確的判斷。數(shù)據(jù)挖掘就是從大量的、不完全的、隨機(jī)的數(shù)據(jù)中提取其中隱含的信息。起技術(shù)方法有很多，可根據(jù)挖掘任務(wù)分為分類和預(yù)測(cè)發(fā)現(xiàn)、數(shù)據(jù)總結(jié)、聚類等等。對(duì)于挖掘?qū)ο罂煞譃殛P(guān)系數(shù)據(jù)庫(kù)、面向?qū)ο髷?shù)據(jù)庫(kù)、空間數(shù)據(jù)庫(kù)、時(shí)態(tài)數(shù)據(jù)庫(kù)、文本數(shù)據(jù)庫(kù)、多媒體數(shù)據(jù)庫(kù)、 異質(zhì)數(shù)據(jù)庫(kù)、遺產(chǎn)數(shù)據(jù)庫(kù)和環(huán)球網(wǎng)web。根據(jù)挖掘的方法可以大概分為機(jī)器學(xué)習(xí)法、統(tǒng)計(jì)方法、神經(jīng)網(wǎng)絡(luò)方法及數(shù)據(jù)庫(kù)方法。

4.大數(shù)據(jù)展現(xiàn)與應(yīng)用

大數(shù)據(jù)技術(shù)可以把隱藏在海量數(shù)據(jù)中的信息挖掘出來(lái)，為人類的社會(huì)經(jīng)濟(jì)活動(dòng)提供依據(jù)提供方向，從而有效的提高各個(gè)行業(yè)的運(yùn)行效率，可極大的提高社會(huì)的集約化程度

4.1決策輔助

數(shù)據(jù)經(jīng)過(guò)數(shù)據(jù)分析與挖掘可以為政府企業(yè)指引一個(gè)大概的發(fā)展方向輔助其決策，為決策這提供一個(gè)直觀、精準(zhǔn)的數(shù)據(jù)支撐有利于業(yè)務(wù)的開(kāi)展和高效進(jìn)行。

4.2商業(yè)推廣

使用大數(shù)據(jù)技術(shù)對(duì)用戶的習(xí)慣需求進(jìn)行分析，可以精準(zhǔn)的獲取消費(fèi)者的理念習(xí)慣，從而實(shí)現(xiàn)更加精準(zhǔn)的商務(wù)推廣。

4.3預(yù)測(cè)

預(yù)測(cè)的作用在于在海量的數(shù)據(jù)信息之中找到相互的關(guān)聯(lián)、規(guī)律，對(duì)這些規(guī)律做出預(yù)判。比如基金股票、天氣。

5.總結(jié)

如今世界發(fā)展迅速，信息流通、科技發(fā)達(dá)。大數(shù)據(jù)這個(gè)高科技時(shí)代產(chǎn)物，在未來(lái)的各個(gè)行業(yè)，都會(huì)產(chǎn)生海量的數(shù)據(jù)，就需要大數(shù)據(jù)技術(shù)與應(yīng)用互相促進(jìn)、共同發(fā)展，應(yīng)用于這些商業(yè)模式中，提高數(shù)據(jù)的價(jià)值。數(shù)據(jù)的采集、存儲(chǔ)、管理、處理、分析和可視化的進(jìn)步更是有助于我們處理更加復(fù)雜的數(shù)據(jù)，發(fā)掘更用價(jià)值的信息。這對(duì)于一個(gè)國(guó)家、企業(yè)、人民都是一個(gè)極具價(jià)值的工具，利用好這把利劍，造福人類。

參考文獻(xiàn)：

[1]于艷華 宋美娜 大數(shù)據(jù)[J].中興通訊技術(shù)，2013（1）：57-60.YU Yan-hua，SONG Mei-na.Bigdata[J].ZTECom-municaiton，2013（1）：57-60.

[2]https：//baike.baidu.com/item/大數(shù)據(jù)/1356941#2

[3]https：//baijiahao.baidu.com/s？Id= 160144504734265 6382&wfr= spider&for=pc

[4]李雨航.大數(shù)據(jù)應(yīng)用研綜述[J]-科技前沿 2017年8期