大數(shù)據(jù)時代數(shù)據(jù)挖掘技術(shù)的應(yīng)用

古榮龍，趙文杰，王 磊

（四川水利職業(yè)技術(shù)學(xué)院，四川 成都 611231）

世界迎來了大數(shù)據(jù)時代，而大數(shù)據(jù)時代的發(fā)展，使得社會當(dāng)中的數(shù)據(jù)信息量激增，對這些數(shù)據(jù)信息進(jìn)行有效收集，并對其中有價值的數(shù)據(jù)加以獲取和應(yīng)用，能夠使其產(chǎn)生較高的經(jīng)濟(jì)價值或社會價值，這對于相關(guān)行業(yè)乃至現(xiàn)代社會的發(fā)展有著非常重要的意義。但想要使各種數(shù)據(jù)信息的綜合價值充分發(fā)揮出來，還需要有數(shù)據(jù)挖掘技術(shù)作為支撐，只有通過對數(shù)據(jù)挖掘技術(shù)的有效應(yīng)用，才能更好地應(yīng)用海量數(shù)據(jù)。

1 大數(shù)據(jù)的基本特征

第一，復(fù)雜化。按照組織形式，具體可以將數(shù)據(jù)分為2 種，一種是結(jié)構(gòu)化數(shù)據(jù)，另一種是非結(jié)構(gòu)化數(shù)據(jù)。前者能夠向二維的形式轉(zhuǎn)化，能夠把握一定的規(guī)律。而后者則為圖片、音頻或者是視頻等形式，這種數(shù)據(jù)無法進(jìn)行預(yù)先定義，但與前者相比其增長速率要更高一些。

第二，大量化。也就是數(shù)據(jù)容量較大，這些數(shù)據(jù)可能是以各類應(yīng)用軟件、電子商務(wù)、搜索引擎以及電子郵件等為來源的，尤其是在當(dāng)前階段，人們的生產(chǎn)生活涉及到各種社交網(wǎng)站及電子商務(wù)平臺，它們每天生產(chǎn)的數(shù)據(jù)都是海量的。再加上移動終端、PC 端的廣泛應(yīng)用，數(shù)據(jù)更是出現(xiàn)了井噴式的增長。

第三，快速化。在市場經(jīng)濟(jì)體制不斷完善的背景下，市場當(dāng)中的商業(yè)競爭愈演愈烈，而能否針對數(shù)據(jù)進(jìn)行深度地挖掘與分析，及時掌握相關(guān)數(shù)據(jù)的內(nèi)在價值，并在商業(yè)活動當(dāng)中對其進(jìn)行合理地應(yīng)用，將會對一個企業(yè)的健康發(fā)展產(chǎn)生巨大的影響。

2 數(shù)據(jù)挖掘技術(shù)

2.1 相關(guān)概念

所謂的數(shù)據(jù)挖掘技術(shù)，實(shí)際是一種對模糊數(shù)據(jù)或者具有較強(qiáng)隨意性的數(shù)據(jù)進(jìn)行處理，從而實(shí)現(xiàn)有價值數(shù)據(jù)有效獲取的方法。數(shù)據(jù)挖掘是一個較為復(fù)雜的過程，且挖掘方法多種多樣，但這些方法在數(shù)據(jù)挖掘方面的基本步驟是大致相同的。首先，需要分析待處理數(shù)據(jù)的形式及特點(diǎn)，明確其挖掘的意義及價值所在。其次，根據(jù)數(shù)據(jù)特征以及具體的挖掘需求，明確數(shù)據(jù)挖掘的相關(guān)標(biāo)準(zhǔn)，同時清理掉殘余數(shù)據(jù)。最后，通過深入挖掘，實(shí)現(xiàn)相關(guān)成果的有效獲取。當(dāng)前階段，數(shù)據(jù)挖掘技術(shù)在很多領(lǐng)域當(dāng)中都發(fā)揮著至關(guān)重要的作用，其能夠精準(zhǔn)地定位各行業(yè)發(fā)展所需數(shù)據(jù)，并對其中的數(shù)據(jù)價值展開挖掘，結(jié)合數(shù)據(jù)挖掘成果對市場進(jìn)行預(yù)測，能夠幫助相關(guān)人員更好地把握市場發(fā)展形勢[1]。

2.2 常用的技術(shù)手段

第一，特征分析法。各行業(yè)飛速發(fā)展，相應(yīng)的數(shù)據(jù)類型以及數(shù)據(jù)量也在不斷增多，在這種情況下，想要確保海量數(shù)據(jù)信息的處理效率，就需要應(yīng)用特征分析法，利用該方法能夠根據(jù)數(shù)據(jù)特征對其進(jìn)行分類，從而為后續(xù)的數(shù)據(jù)處理提供支持。但具體操作需要借助計算機(jī)技術(shù)來實(shí)現(xiàn)，需要通過計算機(jī)技術(shù)針對各項數(shù)據(jù)實(shí)施虛擬分類，并在此基礎(chǔ)上結(jié)合自身所需數(shù)據(jù)特征對完成分類的數(shù)據(jù)展開深入挖掘，從而獲得有價值的數(shù)據(jù)信息。

第二，關(guān)聯(lián)分析法。從某種程度上來講，任何事物之間都存在某種特定聯(lián)系，尤其是對數(shù)據(jù)而言，這是它的基本特征。想要從海量數(shù)據(jù)當(dāng)中對有用信息進(jìn)行提取，就必須要對數(shù)據(jù)間的這種聯(lián)系進(jìn)行探索。這個探索的過程，就是關(guān)聯(lián)分析法的應(yīng)用過程，該方法可以根據(jù)數(shù)據(jù)間的關(guān)聯(lián)性展開挖掘工作，并在相互關(guān)聯(lián)的數(shù)據(jù)當(dāng)中獲取想要的數(shù)據(jù)。而在完成數(shù)據(jù)獲取以后，通過該方法還能對數(shù)據(jù)進(jìn)行有效辨別，進(jìn)而達(dá)到提高數(shù)據(jù)準(zhǔn)確性的目的。

第三，聚類分析法。聚類分析法實(shí)際就是對多種數(shù)據(jù)類型進(jìn)行歸類處理的一種方法。其能夠?qū)崿F(xiàn)零碎數(shù)據(jù)的有效整理，使數(shù)據(jù)信息能夠具有更高的規(guī)范性及層次性。通過這種方法能夠在類型不同，且無序、混亂的數(shù)據(jù)當(dāng)中找到具有實(shí)際價值的信息。但這種方法也有較為明顯的缺陷，無法保證數(shù)據(jù)信息分類的精準(zhǔn)性，所以該方法目前主要在心理學(xué)領(lǐng)域以及數(shù)據(jù)識別領(lǐng)域進(jìn)行應(yīng)用。

第四，偏離分析法。這種方法主要應(yīng)用在海量數(shù)據(jù)分析中，針對某些特殊案例進(jìn)行分析，或者是針對試驗當(dāng)中的偏差結(jié)果進(jìn)行分析。通過此類特殊數(shù)據(jù)的分析，能夠明確偏差問題的產(chǎn)生原因，進(jìn)而為企業(yè)危機(jī)處理提供支持。這種數(shù)據(jù)挖掘方法通常在風(fēng)險識別、風(fēng)險評估和風(fēng)險預(yù)警等方面進(jìn)行應(yīng)用。

第五，神經(jīng)網(wǎng)絡(luò)分析法。該方法主要是對人類大腦活動方式的一種模擬，根據(jù)人類大腦神經(jīng)對于信息的記憶及處理方式，可以對龐雜的信息進(jìn)行分析，并通過抽象處理獲得相應(yīng)的計算結(jié)果。這種方法主要是以數(shù)學(xué)模型算法為基礎(chǔ)來實(shí)現(xiàn)的，所以在具體應(yīng)用當(dāng)中，必須要輸入數(shù)值型的研究值，以此來保證數(shù)據(jù)的挖掘效果[2]。

3 大數(shù)據(jù)時代背景下數(shù)據(jù)挖掘技術(shù)的具體應(yīng)用

3.1 在電信方面

科技的進(jìn)步對我國電信行業(yè)的發(fā)展有巨大的推動作用。隨著現(xiàn)代社會的發(fā)展，各界對于電信服務(wù)質(zhì)量的要求也在不斷提升。而對于電信行業(yè)來說，其應(yīng)用數(shù)據(jù)信息的水平會對其服務(wù)質(zhì)量造成直接的影響。因此，想要滿足現(xiàn)代社會發(fā)展需求，提高自身的服務(wù)水平，就必須不斷地強(qiáng)化自身的數(shù)據(jù)利用水平。但電信行業(yè)不同于其他行業(yè)，其數(shù)據(jù)信息的綜合性更強(qiáng)，所以在進(jìn)行數(shù)據(jù)處理的過程中，還需要對各種數(shù)據(jù)挖掘技術(shù)進(jìn)行合理地應(yīng)用。通過數(shù)據(jù)挖掘技術(shù)，不僅能夠使各項電信數(shù)據(jù)更具有條理性，實(shí)現(xiàn)用戶信息的準(zhǔn)確記錄，還能有效降低企業(yè)的用戶管理難度，并為企業(yè)提供更為全面、細(xì)致的數(shù)據(jù)信息，使其能夠以用戶實(shí)際需求為基礎(chǔ)，對自身服務(wù)進(jìn)行調(diào)整和優(yōu)化。

3.2 在科研方面

眾所周知，在科學(xué)研究過程中，往往需要通過大量的實(shí)驗工作論證其研究內(nèi)容，以此來保證科研成果的快速轉(zhuǎn)化。而大量實(shí)驗的背后必須要有海量數(shù)據(jù)作為支撐，這些數(shù)據(jù)需要相關(guān)人員進(jìn)行有效地統(tǒng)計，并做好數(shù)據(jù)關(guān)聯(lián)性的歸納和分析工作，以此來掌握數(shù)據(jù)變化的相關(guān)規(guī)律。而對數(shù)據(jù)挖掘技術(shù)進(jìn)行有效應(yīng)用，不僅能夠深入挖掘各項科研數(shù)據(jù)，減少科研人員的工作量，實(shí)現(xiàn)科研效率的有效提升，還能對數(shù)據(jù)處理工作的科學(xué)性和準(zhǔn)確性加以保證，避免人為因素對于數(shù)據(jù)處理質(zhì)量的影響，為科研成果的快速研發(fā)與轉(zhuǎn)化提供了有力支持。

3.3 在醫(yī)療方面

在醫(yī)療領(lǐng)域當(dāng)中，加強(qiáng)對數(shù)據(jù)挖掘技術(shù)的應(yīng)用，一方面能夠使醫(yī)護(hù)人員的工作量有效降低，提高診治工作的效率。另一方面，能夠使疾病診斷活動更加精準(zhǔn)，確保醫(yī)療服務(wù)的質(zhì)量。醫(yī)院在長期運(yùn)行的過程中積累的數(shù)據(jù)信息是不可估量的，而單純地應(yīng)用傳統(tǒng)處理方式對這些數(shù)據(jù)信息進(jìn)行處理，不僅會造成相關(guān)資源的大量消耗，還無法確保數(shù)據(jù)處理的質(zhì)量和效率。而加強(qiáng)對數(shù)據(jù)挖掘技術(shù)的應(yīng)用，則可以對醫(yī)院當(dāng)中的各類數(shù)據(jù)進(jìn)行整理、分類，并結(jié)合醫(yī)護(hù)人員的檢索內(nèi)容提供相應(yīng)的信息支持，在這種情況下，醫(yī)護(hù)人員的診斷操作能夠獲得更多的實(shí)際參考，從而使診斷更加科學(xué)、精準(zhǔn)。

3.4 在制造業(yè)方面

在制造業(yè)當(dāng)中，各種零部件是保證生產(chǎn)活動有效進(jìn)行的基礎(chǔ)，而在生產(chǎn)相關(guān)零部件的過程中，往往需要展開對各種類型數(shù)據(jù)的收集和分析，并以此為基礎(chǔ)來提高生產(chǎn)效率，進(jìn)而達(dá)到提高產(chǎn)品合格率的目的。而應(yīng)用數(shù)據(jù)挖掘技術(shù)，能夠有效地收集相關(guān)數(shù)據(jù)，并展開分析，幫助相關(guān)企業(yè)及時發(fā)現(xiàn)生產(chǎn)過程中的影響因素，明確各產(chǎn)品的優(yōu)缺點(diǎn)。并通過相關(guān)改進(jìn)措施，達(dá)到提高產(chǎn)品合格率和優(yōu)化產(chǎn)品設(shè)計的目的，而這對于企業(yè)市場份額的獲取以及經(jīng)濟(jì)效益的提升有著非常積極的作用[3]。

3.5 在教育方面

在教育改革不斷深化的背景下，學(xué)生綜合素質(zhì)的培養(yǎng)已經(jīng)成為了教育領(lǐng)域的主要目標(biāo)之一，而這種目標(biāo)需要教師全面了解學(xué)生的實(shí)際情況，并以此為基礎(chǔ)，制定相應(yīng)的教學(xué)方案。但在教學(xué)中，教師與學(xué)生的接觸時間畢竟是有限的，而且大部分時間都用于教學(xué)活動，教師往往無法對學(xué)生進(jìn)行全面了解，更無法實(shí)現(xiàn)教學(xué)計劃的科學(xué)編制。而通過數(shù)據(jù)挖掘技術(shù)的加強(qiáng)應(yīng)用，教師可以整理和分析學(xué)生的相關(guān)數(shù)據(jù)，明確學(xué)生的興趣愛好、學(xué)習(xí)習(xí)慣以及性格特點(diǎn)等。在這種情況下，教師在課堂當(dāng)中可以選擇學(xué)生感興趣，且更加契合學(xué)生實(shí)際情況的方法來開展教學(xué)活動，從而有效提高課堂教學(xué)的針對性和有效性[4]。

3.6 在計算機(jī)安全方面

計算機(jī)已經(jīng)成為了人們生活的重要組成部分，越來越多的人開始習(xí)慣應(yīng)用計算機(jī)進(jìn)行工作、購物以及休閑娛樂，這也使得計算機(jī)當(dāng)中存儲著大量的用戶信息，一旦不法分子通過相關(guān)手段對計算機(jī)進(jìn)行入侵，不僅會影響計算機(jī)的正常使用，還可能會造成用戶信息的丟失，甚至為用戶帶來一定的經(jīng)濟(jì)損失。而應(yīng)用數(shù)據(jù)挖掘技術(shù)，則可以有效提高計算機(jī)的安全水平，將該項技術(shù)與計算機(jī)防火墻相結(jié)合，能夠幫助用戶針對網(wǎng)絡(luò)當(dāng)中的各種病毒及安全隱患進(jìn)行有效地甄別和篩選，避免隱藏病毒的軟件進(jìn)入到計算機(jī)當(dāng)中，從而有效保證計算機(jī)網(wǎng)絡(luò)的正常使用，保證用戶信息及財產(chǎn)的安全性[5]。

3.7 在新聞媒體方面

對新聞報道而言，及時性、真實(shí)性以及客觀性是非常重要的影響因素，但受大數(shù)據(jù)時代的影響，目前的新聞報道往往無法保證及時性，尤其是時下熱門事件的報道，很多都存在內(nèi)容同質(zhì)化的問題。而對數(shù)據(jù)挖掘技術(shù)進(jìn)行應(yīng)用，不僅能夠?qū)崿F(xiàn)海量數(shù)據(jù)的儲存、分析和管理，還能以歷史數(shù)據(jù)為基礎(chǔ)，對數(shù)據(jù)行為展開預(yù)測，有效提高新聞采編工作的預(yù)見性。相關(guān)工作人員只需要根據(jù)數(shù)據(jù)分析及預(yù)測的結(jié)果，就能夠預(yù)見部分新聞信息，這不僅能夠確保其報道的時效性，還能使新聞報道工作的質(zhì)量得到相應(yīng)的保證[6]。

3.8 在銀行征信調(diào)查方面

在現(xiàn)代社會不斷發(fā)展的進(jìn)程中，超前消費(fèi)已經(jīng)成為了人們的重要消費(fèi)形式，而信用卡則是人們實(shí)現(xiàn)超前消費(fèi)典型產(chǎn)品，但在進(jìn)行信用卡辦理的過程中，銀行往往需要對用戶的信息進(jìn)行分析和確認(rèn)，了解其消費(fèi)能力和征信情況，從而避免壞賬的出現(xiàn)。而應(yīng)用數(shù)據(jù)挖掘技術(shù)，可以幫助銀行針對信用卡申辦用戶的違約預(yù)測數(shù)據(jù)進(jìn)行分析，結(jié)合其分析結(jié)果，能夠幫助銀行更好地挖掘優(yōu)質(zhì)客戶，并減少違約客戶的損害[7]。

4 數(shù)據(jù)挖掘技術(shù)未來的發(fā)展前景

隨著大數(shù)據(jù)時代的深入發(fā)展，各領(lǐng)域?qū)τ跀?shù)據(jù)挖掘技術(shù)的重視程度也在不斷提升，同時對于數(shù)據(jù)挖掘技術(shù)的要求也會逐漸提升，對此還需要相關(guān)領(lǐng)域?qū)?shù)據(jù)挖掘技術(shù)進(jìn)行不斷革新，才能更好地滿足社會發(fā)展需求。

4.1 算法不斷優(yōu)化

對于數(shù)據(jù)挖掘技術(shù)而言，算法是其有效應(yīng)用的基礎(chǔ)保障，因此，算法自身的科學(xué)性及合理性將會對數(shù)據(jù)挖掘技術(shù)的效果造成直接的影響。未來各領(lǐng)域的數(shù)據(jù)將會變得越來越龐雜，想要更好地進(jìn)行數(shù)據(jù)挖掘和分析，實(shí)現(xiàn)相關(guān)數(shù)據(jù)的有效應(yīng)用，相應(yīng)的算法也要進(jìn)行不斷地改進(jìn)和創(chuàng)新，如此才能有效提高數(shù)據(jù)挖掘工作的準(zhǔn)確性和高效性，使數(shù)據(jù)挖掘技術(shù)能夠獲得更為廣闊的應(yīng)用空間。

4.2 多媒體數(shù)據(jù)的應(yīng)用

在信息技術(shù)不斷發(fā)展的情況下，越來越多的多媒體數(shù)據(jù)被應(yīng)用在實(shí)踐當(dāng)中，而多媒體數(shù)據(jù)主要是由圖片、視頻、音頻以及文字等內(nèi)容構(gòu)成，其數(shù)據(jù)類型更多，且更為復(fù)雜。而對于這些數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)并不能實(shí)現(xiàn)有效的收集和分析。因此，在未來的發(fā)展中，以多媒體數(shù)據(jù)為目標(biāo)的新型挖掘技術(shù)將會得到飛速發(fā)展，進(jìn)而實(shí)現(xiàn)多媒體數(shù)據(jù)的精準(zhǔn)處理，實(shí)現(xiàn)相關(guān)數(shù)據(jù)信息的有效獲取。

4.3 與其他系統(tǒng)更好地結(jié)合

在未來發(fā)展過程中，人們在數(shù)據(jù)處理方面的需求也將不斷提升，在這種情況下，單純使用數(shù)據(jù)挖掘技術(shù)已然無法滿足人們的實(shí)際需求。如果能夠?qū)⒂嬎銠C(jī)系統(tǒng)與數(shù)據(jù)挖掘技術(shù)有效結(jié)合起來，則可以進(jìn)一步提高數(shù)據(jù)挖掘的質(zhì)量。但需要注意的是，在推動數(shù)據(jù)挖掘技術(shù)與相關(guān)系統(tǒng)集成應(yīng)用時，必須要靈活地應(yīng)用各種數(shù)據(jù)挖掘技術(shù)，也只有如此才能充分發(fā)揮其應(yīng)用價值出來[8]。

5 結(jié)束語

在大數(shù)據(jù)時代背景下，對數(shù)據(jù)挖掘技術(shù)進(jìn)行有效的應(yīng)用，能夠?qū)Ω餍袠I(yè)的發(fā)展產(chǎn)生巨大的推動作用，因此相關(guān)領(lǐng)域一定要對此類技術(shù)保持高度的重視，要結(jié)合自身實(shí)際，對各種數(shù)據(jù)挖掘技術(shù)進(jìn)行合理應(yīng)用，以此來實(shí)現(xiàn)自身所需信息的有效獲取，使自身的發(fā)展能夠獲得相應(yīng)的數(shù)據(jù)支持，進(jìn)而達(dá)到提高自身決策科學(xué)性和有效性的目的。