淺談大數(shù)據(jù)挖掘的應(yīng)用

翟天昊

摘 要：大數(shù)據(jù)挖掘已經(jīng)成為了一個熱門話題，本文介紹了如何更好地收集和處理數(shù)據(jù)，如何改變大數(shù)據(jù)的形式來使其更好地應(yīng)用于文獻檢索與分析.討論了數(shù)據(jù)數(shù)據(jù)存儲和存儲的優(yōu)點和缺點.分析了存在的問題，并提出了進一步研究的基礎(chǔ)，對大數(shù)據(jù)的存儲也進行了分析。

關(guān)鍵詞：大數(shù)據(jù)；收集；作用

1 “大數(shù)據(jù)”的定義

大數(shù)據(jù)（big data），是指在一定時間范圍內(nèi)沒有辦法用常規(guī)工具能夠進行捕捉、管理和加工的數(shù)據(jù)集合，這種巨大數(shù)量而且數(shù)據(jù)呈現(xiàn)多樣化的高速增長的信息資產(chǎn)需要一種新的處理模式才能具有更強的決策力、洞察力和流程優(yōu)化的能力。[1]

維克托·邁爾.舍恩伯格和肯尼斯·庫克耶對于大數(shù)據(jù)有著不同的看法，在《大數(shù)據(jù)時代》一文中，他們發(fā)現(xiàn)大數(shù)據(jù)的定義是不能夠運用像抽樣調(diào)查這種捷徑方法，而采用對所有數(shù)據(jù)進行分析處理。大數(shù)據(jù)具有五個特點，它們分別是：數(shù)量多、傳播速度快、信息多樣化、真實性高和低價值密度。在這里舉個例子，有一家超市，將尿布和啤酒放在一起出售，這是從來沒有出現(xiàn)過的景象，但是這個措施卻使得啤酒和尿布的銷量提升了許多。這是一個真實的故事，而是發(fā)生在美國沃爾瑪連鎖店超市的真實案例，這被別的企業(yè)一直作為案例來進行研究。眾所周知，沃爾瑪作為世界上一流的連鎖超市，不是沒有原因的，它們有著世界上最大的數(shù)據(jù)研究倉庫，數(shù)據(jù)研究對沃爾瑪研究消費者的消費傾向有著很大的好處。沃爾瑪對于在其超市購物的消費者的消費原始數(shù)據(jù)進行集中，在集中原始數(shù)據(jù)后，對這些原始數(shù)據(jù)進行分析和挖掘，結(jié)果意外的發(fā)現(xiàn)，跟尿布一起購買最多的商品竟是啤酒！經(jīng)過實地調(diào)查和分析，有關(guān)機構(gòu)發(fā)現(xiàn)了這與美國人的行為方式有著很大的聯(lián)系。在美國，很多年輕父親為孩子進行采購尿布時，經(jīng)常會有一部分的人會為自己或者家人采購啤酒。所以將尿布和啤酒銷量推高的原因是：美國人的太太催老公為孩子買尿布時，美國男人會為自己采購一定數(shù)量的啤酒。

按照一般人的思維，誰也不會將尿布銷量和啤酒的銷量聯(lián)系到一起，如果不是沃爾瑪超市通過數(shù)據(jù)分析技術(shù)對消費者的原始數(shù)據(jù)進行集中分析挖掘，沃爾瑪是不可能發(fā)現(xiàn)數(shù)據(jù)當(dāng)中存在的秘密。[2]

2 大數(shù)據(jù)對工程項目管理的作用

21世紀(jì)是網(wǎng)絡(luò)時代，網(wǎng)絡(luò)和信息通訊都得到了快速的發(fā)展，信息數(shù)據(jù)也不甘落后，但這一現(xiàn)象讓各行各業(yè)都面臨著巨大的挑戰(zhàn)和珍貴的機遇，其中各種行業(yè)的競爭主要是在科技管理方面，這同樣是工程中的中心任務(wù)，由于依賴著信息技術(shù)，將信息與資源作為處理對象。它提供了一個網(wǎng)絡(luò)平臺，這個平臺可以收集、處理不同的資源?；诳茖W(xué)技術(shù)管理的這些特點，我國相關(guān)的工程項目管理表現(xiàn)出了三種趨勢，這三種趨勢分別是數(shù)據(jù)多元化、動態(tài)化、信息化管理。眾所周知，在傳統(tǒng)的產(chǎn)業(yè)當(dāng)中，工程產(chǎn)業(yè)是規(guī)格最高、規(guī)模最大的產(chǎn)業(yè)，主要表現(xiàn)在參與主體多，產(chǎn)業(yè)覆蓋面廣。大數(shù)據(jù)的盛行，肯定會為工程項目管理帶來新的發(fā)展機遇和空間，還可以提高工程項目的效率和質(zhì)量。由于項目本身的特點，工程管理可能會出現(xiàn)效率低下的這一現(xiàn)象，而大數(shù)據(jù)挖掘分析可以為工程管理的效率問題找出解決辦法。許多公司對工程項目管理進行評估時，經(jīng)常會出現(xiàn)指標(biāo)過多、評價成本較高等問題，而大數(shù)據(jù)挖掘為這些問題找到了新的解決辦法。將大數(shù)據(jù)挖掘技術(shù)帶入到工程項目管理中去，可以從數(shù)據(jù)庫當(dāng)中找到與其項目管理最為相符的績效指標(biāo)，這不單單為公司減小了相應(yīng)的工作量，還提高了管理效率，何樂而不為呢？在大數(shù)據(jù)管理中，數(shù)據(jù)庫不僅僅可以將歷史數(shù)據(jù)進行收集、管理、歸納，還能對單一數(shù)據(jù)進行轉(zhuǎn)換和處理。這些相互關(guān)聯(lián)的統(tǒng)一數(shù)據(jù)集為項目中的每個數(shù)據(jù)用戶提供透明的信息平臺，以減少信息流中的虛假信息和通信障礙的風(fēng)險。

3 數(shù)據(jù)存儲

在獲得有用的資源之后，有必要選擇合適的數(shù)據(jù)庫或其他存儲方式，以便于將來的資源分析?；趥鹘y(tǒng)關(guān)系數(shù)據(jù)庫的存儲特性，在獲取數(shù)據(jù)之前，沒有辦法很好的預(yù)測大數(shù)據(jù)的組成。現(xiàn)如今的數(shù)據(jù)庫還不能滿足大數(shù)據(jù)時代到來時對于數(shù)據(jù)庫數(shù)據(jù)存儲需求的要求。如今大數(shù)據(jù)處理技術(shù)面臨著許多難題，比如：如何其研究性價比極高的數(shù)據(jù)存儲軟件，如何降低數(shù)據(jù)誤差，這些問題都需要科研人員進行研究與解決。

4 智能電網(wǎng)

現(xiàn)如今，我國經(jīng)濟發(fā)展迅速，我國的智能電網(wǎng)也不斷完善，它的數(shù)據(jù)資源也在飛速增加。在這新一代的信息科技產(chǎn)業(yè)技術(shù)中，以云計算為代表，已經(jīng)在電力系統(tǒng)中發(fā)揮了重要作用。智能電網(wǎng)的主旨是使用相關(guān)的信息來提高對電能的合理管理，從根本上說，智能電網(wǎng)的定義就是通過大數(shù)據(jù)來對電力系統(tǒng)進行優(yōu)化。智能電網(wǎng)需要不同時段的全面數(shù)據(jù)，這些數(shù)據(jù)存在于智能電網(wǎng)運行、檢修和管理等環(huán)節(jié)上，這些環(huán)節(jié)上會出現(xiàn)大量，不同結(jié)構(gòu)和形態(tài)的數(shù)據(jù)，這些數(shù)據(jù)和大數(shù)據(jù)有著相同的特點，所以我們可以得出結(jié)論，大數(shù)據(jù)對于智能電網(wǎng)的發(fā)展有著很大的促進作用。

我們通過收集在智能電網(wǎng)數(shù)據(jù)信息平臺提供的信息和計算模型，利用大數(shù)據(jù)技術(shù)，充分調(diào)動先進的應(yīng)用，解決檢測領(lǐng)域所存在的問題。大數(shù)據(jù)技術(shù)也被穩(wěn)定計算和智能報警充分利用，為它們提供精確的數(shù)據(jù)分析，從而提高效率。

如今智能電網(wǎng)仍存在許多的問題，沒有得到解決，與此同時，安全性也有了更高的需要，因此下一個階段的主要任務(wù)就是加強電網(wǎng)數(shù)據(jù)基礎(chǔ)架構(gòu)和信息安全的建設(shè)，但是我們所需要知道的是如何加強。這就要求我們獲取電網(wǎng)運行、維護和處理時所出現(xiàn)的數(shù)據(jù)，從這些數(shù)據(jù)中進行分析得出結(jié)論。隨著智能電網(wǎng)的不斷發(fā)展，與智能電網(wǎng)相關(guān)的大數(shù)據(jù)也將呈指數(shù)增長。

如今的電網(wǎng)信息基礎(chǔ)還不能滿足未來的需要，所以現(xiàn)在科研人員所需要做的就是對結(jié)構(gòu)進行優(yōu)化，滿足未來的需要，使其的平臺基礎(chǔ)能夠滿足未來的發(fā)展需求。

5 總結(jié)

隨著時代的發(fā)展，數(shù)據(jù)的量也迅速增長，我們應(yīng)當(dāng)正確的利用這些數(shù)據(jù)，使其發(fā)揮最大的價值，但總體來講，大數(shù)據(jù)時代才剛剛到來，迎面而來的不僅僅是無限的可能，也有艱難的挑戰(zhàn)，其魅力是無窮的，正是這樣，我們才會在時代發(fā)展的道路上奮勇而前行。

參考文獻：

[1]呂竹筠，張興旺，李晨暉，等.信息資源管理與云服務(wù)融合的內(nèi)涵即共性技術(shù)體系研究[J].情報理論與實踐，2012，35（09）：26.32.

[2]《中國電子科學(xué)研究院學(xué)報》編輯部.大數(shù)據(jù)時代[J].中國電子科技研究院學(xué)報，2013（01）：41.43.