淺析數(shù)據(jù)挖掘技術(shù)

摘 要：數(shù)據(jù)挖掘技術(shù)是對(duì)一組不規(guī)則的數(shù)據(jù)進(jìn)行提取，找到一定的規(guī)律，為某種算法提供一定的幫助，研究數(shù)據(jù)領(lǐng)域的應(yīng)用，本論文主要闡述一下數(shù)據(jù)挖掘理論，挖掘過程及方法、應(yīng)用領(lǐng)域及發(fā)展趨勢(shì)，為今后研究某種算法在某個(gè)領(lǐng)域的應(yīng)用提供幫助。

關(guān)鍵詞：數(shù)據(jù)挖掘；算法；應(yīng)用

中圖分類號(hào)：TP274

20世紀(jì)下半葉，隨著數(shù)據(jù)庫(kù)技術(shù)和數(shù)據(jù)數(shù)量的積累膨脹，對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)和查詢成為企業(yè)深化業(yè)務(wù)發(fā)展的方向，急需通過相關(guān)技術(shù)進(jìn)行數(shù)據(jù)分析和處理。在此期間人工智能（Artificial Intelligence）技術(shù)領(lǐng)域取得了飛速發(fā)展，達(dá)到了機(jī)器學(xué)習(xí)階段，為數(shù)據(jù)分析提供了幫助，也促進(jìn)了數(shù)據(jù)挖掘技術(shù)的發(fā)展。1989年8月在美國(guó)底特律召開的第11屆國(guó)際人工智能聯(lián)合會(huì)議上，首次提出了數(shù)據(jù)庫(kù)中知識(shí)發(fā)現(xiàn)（KDD）的概念，并對(duì)知識(shí)發(fā)現(xiàn)進(jìn)行了專題討論，由此而發(fā)展起來知識(shí)發(fā)現(xiàn)的相關(guān)技術(shù)——數(shù)據(jù)挖掘技術(shù)，數(shù)據(jù)挖掘是知識(shí)發(fā)現(xiàn)的關(guān)鍵步驟，數(shù)據(jù)挖掘技術(shù)并被廣泛應(yīng)用于各個(gè)行業(yè)和領(lǐng)域，并成為21世紀(jì)數(shù)據(jù)處理領(lǐng)域熱門技術(shù)之一。

1 數(shù)據(jù)挖掘技術(shù)概念

數(shù)據(jù)挖掘（Data Mining，DM）是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中提取隱含在其中的、人們所不知的、但又是潛在有用的信息和知識(shí)的過程。數(shù)據(jù)挖掘技術(shù)（Data Mining Technology）是對(duì)數(shù)據(jù)倉(cāng)庫(kù)中大量繁雜的數(shù)據(jù)中進(jìn)行數(shù)據(jù)分析與處理從而獲取其隱含的、未知的有用數(shù)據(jù)知識(shí)需要的數(shù)據(jù)處理技術(shù)，是知識(shí)發(fā)現(xiàn)（Knowledge Discovery in Database，KDD）的關(guān)鍵步驟。

2 數(shù)據(jù)挖掘過程及方法

數(shù)據(jù)挖掘?qū)ο蟛粌H僅局限于傳統(tǒng)的基本數(shù)值數(shù)據(jù)、文本數(shù)據(jù)，還包含多種數(shù)據(jù)表現(xiàn)形式，如圖形信息、音頻信息、文件系統(tǒng)、Web信息流等。數(shù)據(jù)挖掘過程中，需要經(jīng)過多個(gè)步驟處理完成，在有些關(guān)鍵步驟或環(huán)節(jié)，需要進(jìn)行反復(fù)的循環(huán)處理，直至得出符合要求的結(jié)果或滿足數(shù)據(jù)處理結(jié)束條件，完成數(shù)據(jù)挖掘過程。數(shù)據(jù)挖掘過程一般分為五個(gè)步驟，即源數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘、模式生成、知識(shí)表現(xiàn)。

源數(shù)據(jù)準(zhǔn)備，是對(duì)要進(jìn)行數(shù)據(jù)挖掘分析的源數(shù)據(jù)對(duì)象進(jìn)行遴選，數(shù)據(jù)表現(xiàn)形式進(jìn)行處理與分類，保證源數(shù)據(jù)同類性。數(shù)據(jù)預(yù)處理，是對(duì)準(zhǔn)備好的源數(shù)據(jù)進(jìn)行清理，消除極值（極大值或極小值）、數(shù)據(jù)噪點(diǎn)的影響，保證數(shù)據(jù)分析過程中影響數(shù)據(jù)分析結(jié)果。數(shù)據(jù)挖掘，是利用數(shù)據(jù)挖掘技術(shù)對(duì)預(yù)處理的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，找出數(shù)據(jù)間內(nèi)在的邏輯關(guān)聯(lián)性，挖掘數(shù)據(jù)關(guān)聯(lián)模式，為模式生成奠定基礎(chǔ)。模式生成，是通過數(shù)據(jù)挖掘分析所得出的數(shù)據(jù)集，進(jìn)行數(shù)據(jù)關(guān)聯(lián)性分析，構(gòu)造符合數(shù)據(jù)組織構(gòu)成的數(shù)據(jù)模式，利用科學(xué)、合理的數(shù)據(jù)分析理論闡述數(shù)據(jù)關(guān)系，從數(shù)據(jù)實(shí)際組織形式提煉數(shù)據(jù)組織原理關(guān)系。知識(shí)表現(xiàn)，是利用模式生成的數(shù)據(jù)關(guān)系原理構(gòu)造出的各種理論論述，形成符合數(shù)據(jù)分析的數(shù)據(jù)挖掘分析方式，利用知識(shí)表現(xiàn)形式分析相關(guān)的各種數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)挖掘的理論應(yīng)用。

數(shù)據(jù)挖掘技術(shù)的實(shí)現(xiàn)方法主要有關(guān)聯(lián)分析、聚類分析、分類、預(yù)測(cè)、主成分分析、因子分析等。

關(guān)聯(lián)分析（Association Analysis）是指事物或變量間存在某種關(guān)聯(lián)性，其中一個(gè)事物或變量可以通過其他事物或變量進(jìn)行考量預(yù)測(cè)，從而找出數(shù)據(jù)間隱藏的相互關(guān)聯(lián)關(guān)系，是灰色理論分析的一種分析方法。

聚類分析（Clustering Analysis），又稱群分類，是按照抽象對(duì)象數(shù)據(jù)間的相似性由類似對(duì)象數(shù)據(jù)組成多個(gè)類的分析過程，聚類結(jié)果要達(dá)到同類個(gè)體間有較大相似性、不同類個(gè)體間個(gè)體差異較大的數(shù)據(jù)處理原則。聚類分析算法有基于分層的方法、基于分割的方法、基于密度的方法、基于網(wǎng)格的方法和基于模型的方法。

3 數(shù)據(jù)挖掘應(yīng)用領(lǐng)域

隨著數(shù)據(jù)挖掘理論的發(fā)展，數(shù)據(jù)挖掘技術(shù)在各行各業(yè)得到了廣泛的應(yīng)用，應(yīng)該過程中也取得了豐碩的成果，并促進(jìn)了應(yīng)用相關(guān)領(lǐng)域的發(fā)展。應(yīng)用較多的領(lǐng)域有以下幾個(gè)方面：

（1）科學(xué)研究：科學(xué)研究過程中，針對(duì)紛雜的各種數(shù)據(jù)集合，必須選擇合理的數(shù)據(jù)分析構(gòu)造模型，找出數(shù)據(jù)間的內(nèi)在關(guān)系，為揭示數(shù)據(jù)本質(zhì)，找出數(shù)據(jù)規(guī)律，為科學(xué)研究提供分析方法和途徑。

（2）商業(yè)營(yíng)銷：商業(yè)營(yíng)銷數(shù)據(jù)量龐大、復(fù)雜，運(yùn)用簡(jiǎn)單的數(shù)據(jù)統(tǒng)計(jì)分析方法將無法找出數(shù)據(jù)的內(nèi)在聯(lián)系，運(yùn)用數(shù)據(jù)挖掘技術(shù)分析方法進(jìn)行商業(yè)營(yíng)銷數(shù)據(jù)分析工作，將有效的提高數(shù)據(jù)分析效率，能夠有效促進(jìn)商業(yè)運(yùn)營(yíng)方式發(fā)展。

（3）生物工程：隨著生物工程技術(shù)中的基因工程的發(fā)展，利用數(shù)據(jù)挖掘技術(shù)相關(guān)分析方法進(jìn)行生物工程中的基因關(guān)聯(lián)分析，有助于提高分析效率，促進(jìn)相關(guān)分析工作的順利開展。

（4）醫(yī)療領(lǐng)域：醫(yī)療領(lǐng)域數(shù)據(jù)統(tǒng)計(jì)量的考量關(guān)系到醫(yī)療措施的實(shí)施，運(yùn)用數(shù)據(jù)挖掘技術(shù)將大大提高數(shù)據(jù)分析的準(zhǔn)確性和精度，數(shù)據(jù)挖掘技術(shù)分析方法也為醫(yī)療數(shù)據(jù)統(tǒng)計(jì)分析提供了參考和借鑒。

（5）教育領(lǐng)域：學(xué)生成績(jī)數(shù)據(jù)深入分析與教學(xué)效果評(píng)價(jià)需要運(yùn)用教育統(tǒng)計(jì)學(xué)相關(guān)理論進(jìn)行數(shù)據(jù)分析，利用數(shù)據(jù)挖掘技術(shù)中的各種數(shù)據(jù)分析理論進(jìn)行學(xué)生成績(jī)數(shù)據(jù)分析，能夠科學(xué)、準(zhǔn)確、客觀分析出學(xué)生成績(jī)中的各種信息，利用分析出的數(shù)據(jù)信息進(jìn)行各項(xiàng)政策、教學(xué)策略調(diào)整，從而提高教育教學(xué)效果。

（6）電信領(lǐng)域：電信業(yè)務(wù)數(shù)據(jù)中進(jìn)行客戶數(shù)據(jù)分析，梳理客戶關(guān)系，將有助于電信業(yè)務(wù)開展及電信特色業(yè)務(wù)辦理，提升電信收益效益，全面提高企業(yè)業(yè)務(wù)效率，利用數(shù)據(jù)挖掘技術(shù)將能夠幫助電信企業(yè)完成相關(guān)數(shù)據(jù)分析工作。

（7）電子商務(wù)：電子商務(wù)是新興的商業(yè)營(yíng)銷模式，其本身便是通過網(wǎng)絡(luò)傳播完成商品宣傳、展示、銷售，對(duì)營(yíng)銷網(wǎng)絡(luò)與客戶交易數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘分析，將有助于營(yíng)銷商提高商品營(yíng)銷策略，提高銷售利潤(rùn)，避免銷售風(fēng)險(xiǎn)，建立適應(yīng)網(wǎng)絡(luò)營(yíng)銷的商品營(yíng)銷模式。

4 數(shù)據(jù)挖掘技術(shù)發(fā)展趨勢(shì)

隨著數(shù)據(jù)量的劇增和網(wǎng)絡(luò)數(shù)據(jù)傳輸率能力的提高，數(shù)據(jù)管理模式與數(shù)據(jù)處理方式發(fā)生了轉(zhuǎn)變，數(shù)據(jù)挖掘技術(shù)也向著相應(yīng)方向發(fā)展?，F(xiàn)階段，對(duì)數(shù)據(jù)挖掘技術(shù)產(chǎn)生影響的相關(guān)方面主要表現(xiàn)在數(shù)據(jù)的云計(jì)算處理方式和“大數(shù)據(jù)”管理模式。云計(jì)算處理方式主要利用互聯(lián)網(wǎng)計(jì)算方式進(jìn)行結(jié)構(gòu)復(fù)雜、分散繁瑣數(shù)據(jù)的分布式數(shù)據(jù)處理，提高了數(shù)據(jù)處理的效度與利用率；云計(jì)算數(shù)據(jù)處理方式可以充分利用網(wǎng)絡(luò)共享的軟、硬件資源?！按髷?shù)據(jù)”管理模式是在數(shù)據(jù)量急劇增大的情況下，全球知名IT企業(yè)為應(yīng)對(duì)數(shù)據(jù)管理模式的變化提出的解決方案，主要為了提高數(shù)據(jù)管理效率和數(shù)據(jù)的利用效率。全球知名的McKinsey信息咨詢公司2011年6月發(fā)布了題為“Big data：The next frontier for innovation，competition and productivity”的關(guān)于大數(shù)據(jù)影響、關(guān)鍵技術(shù)和應(yīng)用領(lǐng)域等分析報(bào)告。針對(duì)數(shù)據(jù)處理方式與數(shù)據(jù)管理模式的變化，數(shù)據(jù)挖掘技術(shù)也要相應(yīng)的隨之而改變，這就要求在利用數(shù)據(jù)挖掘技術(shù)進(jìn)行數(shù)據(jù)處理過程中，要考慮數(shù)據(jù)處理與管理的變化而選取或改進(jìn)數(shù)據(jù)挖掘技術(shù)方法，從而提高數(shù)據(jù)挖掘處理的應(yīng)用效果。

參考文獻(xiàn)：

[1]韓治.數(shù)據(jù)挖掘技術(shù)及其應(yīng)用研究[J].信息通信，2013（06）：114-115.

[2]盧輝.數(shù)據(jù)挖掘與數(shù)據(jù)化運(yùn)營(yíng)實(shí)戰(zhàn)：思路?方法?技巧與應(yīng)用[M].北京：機(jī)械工業(yè)出版社，2013：16-18.

[3]翁羽.數(shù)據(jù)挖掘技術(shù)在高職教學(xué)質(zhì)量評(píng)價(jià)中的應(yīng)用[D].廣州：華南理工大學(xué)，2010.

[4]張平.故事里的大數(shù)據(jù)—從求因果到重相關(guān)[J].企業(yè)管理，2013（04）：112-114.

作者簡(jiǎn)介：張?jiān)剑?980.11-），男，遼寧沈陽(yáng)人，本科，講師，研究方向：計(jì)算機(jī)應(yīng)用。

作者單位：黑龍江幼兒師范高等?？茖W(xué)校，黑龍江牡丹江 157011