數(shù)據(jù)挖掘技術(shù)及應(yīng)用

□李明敏 李玉壯 鐘佰霖 任利峰

信息技術(shù)隨著時(shí)代的發(fā)展而快速發(fā)展，數(shù)據(jù)庫作為計(jì)算機(jī)領(lǐng)域的重要環(huán)節(jié)也不斷復(fù)雜多樣，其結(jié)果就造成了大量的數(shù)據(jù)成為所需數(shù)據(jù)的“絆腳石”，因?yàn)榫揞~的垃圾數(shù)據(jù)增多，傳統(tǒng)模式下的查詢、報(bào)表工具已經(jīng)無法對數(shù)據(jù)進(jìn)行挖掘。因此，能夠處理巨額的數(shù)據(jù)并從中取得所需要的數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生。

一、對于如何定義“大數(shù)據(jù)”以及大數(shù)據(jù)的價(jià)值

大數(shù)據(jù)，又叫做巨量資料，它指的是相關(guān)數(shù)據(jù)量的規(guī)模宏大到通過人腦以及主流的軟件工具處理仍然十分吃力，以在規(guī)定的時(shí)間內(nèi)管理、處理、并整合成為有用的信息為目的。簡單說大數(shù)據(jù)就是其內(nèi)存儲的數(shù)據(jù)數(shù)量十分巨大并且存儲的數(shù)據(jù)十分混雜，使用常規(guī)的處理方法沒有辦法歸類的宏大數(shù)據(jù)團(tuán)。如何理解大數(shù)據(jù)，大數(shù)據(jù)是一個(gè)集合，這個(gè)集合是指在規(guī)定的范圍內(nèi)常規(guī)工具沒有起到發(fā)現(xiàn)、整治和修改數(shù)據(jù)集合的作用，對于這種擁有的數(shù)據(jù)非常多并且表現(xiàn)出多種復(fù)雜關(guān)系的數(shù)據(jù)，并且能夠使擁有的信息快速增長，這種操作方法就需求新的處理方法，使用這種方法能夠使決策的能力、洞察的能力和工作流程更加簡便并且節(jié)省時(shí)間。文章《大數(shù)據(jù)時(shí)代》中的作者維克托·邁爾-舍恩伯格和肯尼斯·庫克耶們表明了對大數(shù)據(jù)的定義，大數(shù)據(jù)擁有五個(gè)非常明顯的特點(diǎn)：數(shù)量巨大、數(shù)據(jù)傳播的速度較快、其中的信息具有多樣化、數(shù)據(jù)真實(shí)性高和密度的低價(jià)值。

當(dāng)然隨著大數(shù)據(jù)時(shí)代的發(fā)展，大數(shù)據(jù)的作用也逐步體現(xiàn)出來，例如的大數(shù)據(jù)的商用，大數(shù)據(jù)的商用徹底改變了現(xiàn)有的商業(yè)模式。例如以前是高層覺得不對或不合適決定讓你作整改，現(xiàn)在是大數(shù)據(jù)的分析結(jié)構(gòu)體現(xiàn)出決策失誤的地方再作出整改，這種模式也更加明確地指出公司當(dāng)前決策的失誤更加令人信服，也起到了企業(yè)對內(nèi)部人才的定義，當(dāng)讓這種模式的推動(dòng)也起到另一種變動(dòng)“垃圾進(jìn)，垃圾出”數(shù)據(jù)的不合格進(jìn)入騷擾，自動(dòng)排除也使數(shù)據(jù)的使用率進(jìn)一步提高。世界上一流的連鎖超市沃爾瑪?shù)某晒σ搽x不開“大數(shù)據(jù)”，沃爾瑪?shù)慕?jīng)典案例“啤酒和尿布”相信大家都有一定的了解，走進(jìn)超市你會(huì)發(fā)現(xiàn)超市內(nèi)的啤酒和尿布是擺放在一起的，這是經(jīng)過數(shù)據(jù)的調(diào)查與當(dāng)?shù)氐纳盍?xí)慣分析出的決策，它發(fā)現(xiàn)大多數(shù)人購買尿布是看到啤酒，大多數(shù)都會(huì)想到家里面的儲備是否足夠，在不夠的情況下大多數(shù)人都會(huì)進(jìn)行購買，這也是“大數(shù)據(jù)”成功的案例之一。

二、大數(shù)據(jù)挖掘的開發(fā)體現(xiàn)

對于計(jì)算機(jī)挖掘技術(shù)的研究工作，為了進(jìn)一步了解挖掘技術(shù)的功能，在保證挖掘技術(shù)質(zhì)量的前提下，可以把挖掘技術(shù)運(yùn)用到社會(huì)的不同行業(yè)，促進(jìn)計(jì)算機(jī)挖掘技術(shù)的進(jìn)步，并得到深入的開發(fā)和利用。在傳統(tǒng)意義上的統(tǒng)計(jì)方法主要包括統(tǒng)計(jì)預(yù)測、抽樣調(diào)查和多元化統(tǒng)計(jì)。在這三種方法中，抽樣屬于以大量數(shù)據(jù)為前提的抽樣調(diào)查技術(shù)，多變量屬于結(jié)構(gòu)復(fù)雜的數(shù)據(jù)分析方法，回歸和對數(shù)分析都稱為統(tǒng)計(jì)預(yù)測。大多數(shù)計(jì)算機(jī)其中的數(shù)據(jù)沒有非常顯著的特征。在這個(gè)階段，可以使用圖表等方式來實(shí)時(shí)顯示數(shù)據(jù)，并直觀地顯示數(shù)據(jù)的特征。散點(diǎn)圖等可視化技術(shù)層出不窮，而現(xiàn)在可視化技術(shù)在高維數(shù)據(jù)領(lǐng)域還有很多技術(shù)難點(diǎn)亟待解決。這種處理方法是一種通過計(jì)算機(jī)聯(lián)機(jī)分析數(shù)據(jù)的處理方法。在線分析過程中，客戶之間應(yīng)積極配合，積極提出相關(guān)的數(shù)據(jù)分析要求。決策樹主要用于對數(shù)據(jù)和預(yù)測數(shù)據(jù)這兩個(gè)領(lǐng)域進(jìn)行分類。在大多數(shù)情況下，神經(jīng)網(wǎng)絡(luò)分為三層：第一層是輸入，第二層是隱藏，第三層是輸出。通過這種方式，對數(shù)據(jù)進(jìn)行調(diào)整和計(jì)算，并對數(shù)據(jù)進(jìn)行分類和總結(jié)。

三、大數(shù)據(jù)的使用

從中國市場營銷領(lǐng)域的整個(gè)發(fā)展期間來看，收集到客戶的數(shù)據(jù)逐漸增多，已經(jīng)超出人為所能掌控的范圍。在這種狀況下，通過計(jì)算機(jī)的一項(xiàng)技術(shù)對數(shù)據(jù)進(jìn)行挖掘，對用戶購物的這一實(shí)際行為以及客戶日常購物的習(xí)慣進(jìn)行分析，對這些數(shù)據(jù)所具有的屬性特征進(jìn)行歸納總結(jié)，這樣能夠最高化地加強(qiáng)所有企業(yè)具備的影像實(shí)力來提升這些企業(yè)所具備的綜合競爭力。而且，通過使用對數(shù)據(jù)挖掘研究的這一項(xiàng)計(jì)算機(jī)當(dāng)中的技術(shù)，可以使數(shù)據(jù)分析的工作效率很大程度上得到提高，更能準(zhǔn)確地采集到客戶購物時(shí)的取向以及對購物的習(xí)慣和興趣點(diǎn)進(jìn)行一個(gè)歸納了解，這樣便能幫助商家來定制一些更高效率切實(shí)可行的商業(yè)策略。而這項(xiàng)技術(shù)在金融行業(yè)展開的分析工作大部分集中于兩個(gè)領(lǐng)域：股票交易、金融投資。

一般來說，通過建立模型來分析未來的發(fā)展趨勢。對于金融投資來說，存在巨大的風(fēng)險(xiǎn)。在進(jìn)行這部分投資工作之前，必須對數(shù)據(jù)進(jìn)行分析，針對可能出現(xiàn)的風(fēng)險(xiǎn)問題，采取有效的防范措施，選擇正確的投資方向。根據(jù)金融業(yè)發(fā)展的地區(qū)進(jìn)行有效的預(yù)測。從評價(jià)的開始到預(yù)測的全過程，可以對整個(gè)金融市場的發(fā)展進(jìn)行預(yù)測。根據(jù)現(xiàn)有數(shù)據(jù)，進(jìn)一步挖掘現(xiàn)有數(shù)據(jù)的內(nèi)部關(guān)聯(lián)，在制定良好的發(fā)展模型中，實(shí)現(xiàn)數(shù)據(jù)的科學(xué)預(yù)測。并且能夠識別金融業(yè)中存在的欺詐問題，從而防止金融犯罪類型的發(fā)生。半導(dǎo)體在中國大型制造行業(yè)中得到了廣泛的應(yīng)用。在制造產(chǎn)品的過程中，不斷出現(xiàn)大量的數(shù)據(jù)。在計(jì)算機(jī)技術(shù)中挖掘出數(shù)據(jù)后，對上述生產(chǎn)過程中的數(shù)據(jù)進(jìn)行分析，可以有效地揭示生產(chǎn)過程中的一些隱患。在此前提下，產(chǎn)品的質(zhì)量得到深入保證。此外，數(shù)據(jù)挖掘這一技術(shù)已經(jīng)廣泛地應(yīng)用于由計(jì)算機(jī)進(jìn)行的電子商務(wù)領(lǐng)域，通過不同類型的商業(yè)數(shù)據(jù)、各類用戶的信息以及消費(fèi)的實(shí)際情況，實(shí)時(shí)分析和掌握，加強(qiáng)了購物網(wǎng)站提供的服務(wù)在自身的個(gè)性化。除上述利用的幾個(gè)應(yīng)用方面之外，數(shù)據(jù)挖掘技術(shù)也已經(jīng)應(yīng)用于稅務(wù)行業(yè)，可以通過數(shù)據(jù)挖掘技術(shù)，對一些單位的偷稅漏稅的問題第一時(shí)間展開針對性的追蹤活動(dòng)。通過深入分析和進(jìn)一步研究納稅人在不同領(lǐng)域的經(jīng)營行為，找出他們共同的規(guī)律，為我國稅收工作提供一種有效的運(yùn)作模式。為確保稅收的順利實(shí)施，應(yīng)從單位的偷稅和漏稅兩個(gè)方面展開有效的防范工作。

四、結(jié)語

在21世紀(jì)的當(dāng)代，信息化快速占領(lǐng)了人們的生活，科技也隨著時(shí)代的發(fā)展而發(fā)展，人們生活和工作中不可或缺的一部分從人的交流變成了計(jì)算機(jī)的交流。當(dāng)然數(shù)據(jù)挖掘也成為了計(jì)算機(jī)信息領(lǐng)域的重要組成，數(shù)據(jù)挖掘是屬于計(jì)算機(jī)技術(shù)當(dāng)中的一個(gè)十分重要環(huán)節(jié)組成，并且它獲得人們的關(guān)注以及使用已經(jīng)起到了大面積的推廣。之前的敘述已經(jīng)表明了，數(shù)據(jù)庫在計(jì)算機(jī)具備了數(shù)據(jù)挖掘這項(xiàng)技術(shù)時(shí)對人們起到了高效利用時(shí)間的作用，所以對計(jì)算機(jī)的數(shù)據(jù)挖掘技術(shù)的使用，應(yīng)該展開進(jìn)一步的研發(fā)工作，找出其中現(xiàn)有的技術(shù)缺陷，進(jìn)一步開發(fā)數(shù)據(jù)挖掘，希望能對計(jì)算級領(lǐng)域做出進(jìn)一步的貢獻(xiàn)。