計算機數(shù)據(jù)挖掘技術(shù)的開發(fā)問題研究

李貫華

（齊魯醫(yī)藥學院，山東淄博，255300）

1 計算機數(shù)據(jù)挖掘技術(shù)概述

1.1 大數(shù)據(jù)的概念與特點

所謂大數(shù)據(jù)技術(shù)，簡單來說，就是涉及到的數(shù)據(jù)、資料規(guī)模巨大，現(xiàn)階段的主流軟件工具，無法在短時間內(nèi)，對巨大的數(shù)據(jù)量及時的管理與處理，更是無法在合理時間內(nèi)對數(shù)據(jù)進行整理與分析，造成數(shù)據(jù)最終服務于公司運營決策的依據(jù)。

大數(shù)據(jù)在顯現(xiàn)上具有四個典型特點，分別是數(shù)據(jù)海量性、數(shù)據(jù)的多樣性、數(shù)據(jù)價值密度低且速度快，大數(shù)據(jù)技術(shù)可以對海量數(shù)據(jù)信息進行掌握，并以專業(yè)化的方式進行處理，將海量數(shù)據(jù)信息轉(zhuǎn)變?yōu)橛?，在信息時代的背景下，大數(shù)據(jù)技術(shù)的價值還會不斷地提升。

1.2 數(shù)據(jù)挖掘技術(shù)概念

數(shù)據(jù)挖掘技術(shù)屬于對數(shù)據(jù)進行處理的一種技術(shù)，通過算法來在數(shù)據(jù)中的隱藏信息進行挖掘的過程。通常是面對數(shù)據(jù)量較大，信息不完全且模糊的情況下，通過專業(yè)的技術(shù)算法，來提取出需要的數(shù)據(jù)，將大量的不完全有用數(shù)據(jù)轉(zhuǎn)化成有用的信息。這種技術(shù)比較常用在市場分析、商務管理、工程設(shè)計之中。數(shù)據(jù)挖掘技術(shù)的主要功能就是描述和預測檢驗，簡單來講，數(shù)據(jù)挖掘技術(shù)可以對完成的數(shù)據(jù)進行查閱，并在數(shù)據(jù)基礎(chǔ)上對趨勢進行預測，對決策方面提供重要作用。

1.3 數(shù)據(jù)挖掘技術(shù)流程

數(shù)據(jù)挖掘技術(shù)在執(zhí)行的過程中，通常有八個步驟，從信息收集到知識表示。首先是信息的收集方面，以用戶為中心，結(jié)合用戶需求的數(shù)據(jù)需求特點，來對目標數(shù)據(jù)進行分析；其次是數(shù)據(jù)集成方面，由于所分析的數(shù)據(jù)并不完全相同，也不是完全滿足客戶需求特點的，所以面對這些數(shù)據(jù)就需要從邏輯/物理角度整合，以此來保障數(shù)據(jù)滿足客戶的需求；在數(shù)據(jù)規(guī)約方面，數(shù)據(jù)挖掘方式在對數(shù)據(jù)進行處理的過程中，需要較長的時間來開展，而數(shù)據(jù)挖掘技術(shù)面向的通常是大量的數(shù)據(jù)，數(shù)據(jù)規(guī)約技術(shù)就采用數(shù)據(jù)集的規(guī)約來進行表示，這種方式可以更好地保證分析出來的數(shù)據(jù)，最大限度地保持原有數(shù)據(jù)的完整性；數(shù)據(jù)清理方面，因為大量數(shù)據(jù)分析的時候，容易遇到不完整的數(shù)據(jù)，這時候就需要對數(shù)據(jù)進行清理工作，保障數(shù)據(jù)的完整性、精準性，以此來將信息存入數(shù)據(jù)庫之中；在數(shù)據(jù)變換方面，在面向不適用于數(shù)據(jù)挖掘技術(shù)的數(shù)據(jù)時，就需要采用數(shù)據(jù)概化、平滑聚焦等形式，來將數(shù)據(jù)轉(zhuǎn)換成適合數(shù)據(jù)挖掘技術(shù)的數(shù)據(jù)；在數(shù)據(jù)挖掘的過程中，主要采用統(tǒng)計方法、決策樹、模糊集等方式來進行處理，以適合的數(shù)據(jù)分析工具來分析；在模式評估方面，需從商業(yè)的角度，讓數(shù)據(jù)服務目標行業(yè)的專家，來針對數(shù)據(jù)挖掘結(jié)構(gòu)進行判定；從知識表示方面，數(shù)據(jù)挖掘技術(shù)分析的數(shù)據(jù)信息，采用可視化的方式來提供給用戶。

1.4 數(shù)據(jù)挖掘技術(shù)開發(fā)

1.4.1 傳統(tǒng)方法的數(shù)據(jù)統(tǒng)計

傳統(tǒng)方法的數(shù)據(jù)統(tǒng)計是計算機數(shù)據(jù)挖掘技術(shù)中國最為常見的，比如抽樣分析法、統(tǒng)計預測法等等。使用計算機數(shù)據(jù)挖掘技術(shù)，來對大體量的數(shù)據(jù)進行統(tǒng)計分析，這種方式處理的數(shù)據(jù)精準性更高，可以更為準確對市場進行預測。在以前對大體量數(shù)據(jù)進行處理的時候，容易出現(xiàn)效率低下、數(shù)據(jù)缺乏準確性的特點，計算機數(shù)據(jù)挖掘技術(shù)的出現(xiàn)，能快速縮短數(shù)據(jù)處理時間，更好地提高數(shù)據(jù)的使用效果，讓數(shù)據(jù)發(fā)揮出應有的價值。

1.4.2 可視化技術(shù)的開發(fā)

在大數(shù)據(jù)時代，計算機挖掘技術(shù)的使用可以保障數(shù)據(jù)的精準度，讓所采集到的數(shù)據(jù)更好的達到預期的標準。對數(shù)據(jù)的分析也是要發(fā)揮出數(shù)據(jù)的價值，這就需要充分發(fā)現(xiàn)數(shù)據(jù)背后的意義與特點，加大分析力度，或者通過數(shù)據(jù)表格等方式來進行分析，可以直觀地感受地感受到數(shù)據(jù)的變化情況。可視化技術(shù)是計算機挖掘技術(shù)中的輔助技術(shù)，可以直接將數(shù)據(jù)涵蓋的特點表現(xiàn)出來，多數(shù)是以數(shù)據(jù)圖表、散點圖等形式表現(xiàn)數(shù)據(jù)特點，之后在進行分析，可以提高數(shù)據(jù)的直觀利用效率。尤其是現(xiàn)階段的計算機在數(shù)據(jù)存儲上，是無法將數(shù)據(jù)顯著特征體現(xiàn)出來的，這就需要通過可視化的圖標形式展現(xiàn)，數(shù)據(jù)挖掘技術(shù)在可視化展示方面的效果最為明顯。數(shù)據(jù)挖掘的可視化技術(shù)可以讓數(shù)據(jù)在實際運用中更為直觀與便捷，并在不斷探索中增加數(shù)據(jù)維度，為實際應用中數(shù)據(jù)作用的發(fā)揮提供強大的技術(shù)支撐。

1.4.3 決策樹技術(shù)的開發(fā)

決策樹技術(shù)屬于預測模型的算法，其涵蓋大量的數(shù)據(jù)，主要目的是對這些數(shù)據(jù)進行有目的的分類，并在數(shù)據(jù)中找到有價值的信息。決策樹技術(shù)從本質(zhì)角度來講，就是歸納學習，最大的特點就是描述簡單、對數(shù)據(jù)分類的速度快，尤其適合對大規(guī)模的數(shù)據(jù)進行處理。在計算機快速發(fā)展的背景下，決策樹也出現(xiàn)了新的方法，就是SLIQ和SPRINT，這兩種方式可以在面向海量的數(shù)據(jù)系時，直接的進行數(shù)據(jù)分析的工作，并對數(shù)據(jù)進行歸納，通過決策樹來得出最后的數(shù)據(jù)結(jié)論。這兩種方式都是現(xiàn)階段決策樹中新型的方法，可以更好地進行數(shù)據(jù)的連續(xù)分類，從根本上保障數(shù)據(jù)分析質(zhì)量。

1.4.4 遺傳統(tǒng)計技術(shù)

遺傳統(tǒng)計算法屬于一種仿生全局優(yōu)化方法，從生物學遺傳角度開展，對遺傳數(shù)據(jù)進行分析可以看出，計算機數(shù)據(jù)統(tǒng)計技術(shù)對遺傳學數(shù)據(jù)方面也可以進行高效的分析，可以從宏觀的角度來給出生物突變與數(shù)據(jù)之間的結(jié)論。數(shù)據(jù)挖掘技術(shù)在對數(shù)據(jù)進行分析處理技術(shù)過程中，需要對數(shù)據(jù)進行系統(tǒng)的分類，重點將無用數(shù)據(jù)進行丟棄，保留合理的數(shù)據(jù)進行儲存與分析，并在這一基礎(chǔ)上打造數(shù)據(jù)整合體系，這種方式，在數(shù)據(jù)長期使用方面起到重要的優(yōu)化效果。我國初期進行數(shù)據(jù)挖掘技術(shù)方面的開發(fā)，主要就是定位應用在初級數(shù)據(jù)的統(tǒng)計，而這一技術(shù)的發(fā)展應該側(cè)重的是服務為主的方向，尤其是在技術(shù)快速發(fā)展的背景下，決策者可以通過計算機已有的數(shù)據(jù)庫來使用數(shù)據(jù)，這種現(xiàn)象也提升了數(shù)據(jù)挖掘技術(shù)的優(yōu)勢，讓其在實際應用中的發(fā)展備受重視。

2 計算機數(shù)據(jù)挖掘技術(shù)開發(fā)存在的主要問題

2.1 計算機數(shù)據(jù)挖掘方式與用戶交互問題

不用用戶所按興趣的內(nèi)容也有明顯的差異，數(shù)據(jù)挖掘技術(shù)應該對數(shù)據(jù)進行更廣范圍的覆蓋，并在其中發(fā)現(xiàn)任務，在數(shù)據(jù)分析的時候，以多樣化的形式來進行分析，但任務會通過不同的形式來對同一個數(shù)據(jù)庫進行使用，這就需要提升數(shù)據(jù)挖掘技術(shù)的覆蓋范圍。同時，很難對數(shù)據(jù)庫中發(fā)現(xiàn)的內(nèi)容進行精準的把控，所以數(shù)據(jù)挖掘技術(shù)應該注重交互性。在面向海量數(shù)據(jù)的數(shù)據(jù)庫時，就采用適合的抽樣數(shù)據(jù)分析，通過交互的形式來達到對數(shù)據(jù)的探索。這種交互的數(shù)據(jù)挖掘形勢，應該尊重用戶聚焦探索，根據(jù)數(shù)據(jù)回饋結(jié)果，來進行數(shù)據(jù)精煉挖掘。在遇到特殊情況的時候，也可以通過交互的范式來進行交叉分析。面對計算機數(shù)據(jù)挖掘方式與交互方面存在的問題，可以通過對不同粒度與角度進行數(shù)據(jù)觀察。

2.2 計算機數(shù)據(jù)挖掘技術(shù)開發(fā)算法性能問題

為了保障計算機數(shù)據(jù)挖掘技術(shù)可以從數(shù)據(jù)庫中更為有效地進行數(shù)據(jù)提取，就應該保障計算機數(shù)據(jù)挖掘技術(shù)的有效性與可伸縮性，這也是保障數(shù)據(jù)準確的重要特點。簡單來說，就是數(shù)據(jù)挖掘在大數(shù)據(jù)庫的使用過程中，需要對算法的時間進行可預計，而且是可接受的范圍，從數(shù)據(jù)庫的角度來看，這兩個特點也是保障數(shù)據(jù)挖掘可以得到實現(xiàn)的關(guān)鍵因素?，F(xiàn)階段很多數(shù)據(jù)庫自身容量比較大，其分布的數(shù)據(jù)更是較為廣泛，數(shù)據(jù)挖掘的計算方式將數(shù)據(jù)進行劃分，在分類劃分之后分別進行處理，最終價格結(jié)果進行結(jié)合來分析。同時，數(shù)據(jù)庫的更新與增量算法結(jié)合，就沒有重新對全部的數(shù)據(jù)進行挖掘了，這種方式可以漸進的對數(shù)據(jù)進行更新，直接在已發(fā)現(xiàn)數(shù)據(jù)的基礎(chǔ)上進行加強，過程需要的成本相對較高。

2.3 計算機數(shù)據(jù)挖掘技術(shù)中數(shù)據(jù)庫多樣性問題

現(xiàn)階段的關(guān)系數(shù)據(jù)庫廣泛運用，面向關(guān)系數(shù)據(jù)庫應該有針對性進行開發(fā)，以此來滿足數(shù)據(jù)挖掘系統(tǒng)。但現(xiàn)階段很多其他數(shù)據(jù)庫中，存在多樣化的數(shù)據(jù)，比如多媒體數(shù)據(jù)、時間、空間數(shù)據(jù)等等，數(shù)據(jù)類型所具備的多樣化特點，與數(shù)據(jù)挖掘的目標存在差異，所以想要通過單一系統(tǒng)來開展所有數(shù)據(jù)的挖掘是不可能的。在面向不同特定類型數(shù)據(jù)進行挖掘分析的時候，就應該制定特殊的數(shù)據(jù)挖掘系統(tǒng)?，F(xiàn)階段計算機網(wǎng)絡中的局域網(wǎng)和廣域網(wǎng)，在數(shù)據(jù)源的連接上也不是單一的，通過多個數(shù)據(jù)源的鏈接，來形成龐大的且包含不同數(shù)據(jù)類型的數(shù)據(jù)庫。通過不同的數(shù)據(jù)源來對數(shù)據(jù)進行發(fā)現(xiàn)，也對現(xiàn)階段的數(shù)據(jù)挖掘技術(shù)提出了新的挑戰(zhàn)。

2.4 計算機數(shù)據(jù)挖掘技術(shù)實踐中的問題

計算機挖掘技術(shù)在面對新建立的網(wǎng)頁時，由于新網(wǎng)頁的用戶相對較少，所以數(shù)據(jù)挖掘中就會將其視為不重要的網(wǎng)頁，但很多老網(wǎng)頁，因為前期存在大量用戶基數(shù)，所以數(shù)據(jù)挖掘的時候就容易將其視作重要網(wǎng)頁。在網(wǎng)頁的頁面進行載入的過程，是用戶在發(fā)出指令到網(wǎng)頁顯示所使用的時間，這種時間會直接影響網(wǎng)站性能。如果網(wǎng)頁的載入時間過長就會讓用戶放棄訪問，而在數(shù)據(jù)挖掘技術(shù)使用過程中，就容易出現(xiàn)錯誤的判定。在搜索引擎返回結(jié)果方面，每次點擊選擇就是網(wǎng)頁重要性的評判標準，但這種方式明顯存在不合理，數(shù)據(jù)挖掘技術(shù)在網(wǎng)頁的數(shù)據(jù)分析上就容易出現(xiàn)失誤，導致數(shù)據(jù)精準性交叉，難以通過數(shù)據(jù)來對真實情況進行直觀的反應。

3 計算機挖掘技術(shù)的開發(fā)趨勢

3.1 數(shù)據(jù)挖掘技術(shù)開發(fā)應用的探索

早期對計算機數(shù)據(jù)挖掘技術(shù)的應用，集中在對企業(yè)競爭力提升方面的幫助，但隨著數(shù)據(jù)挖掘技術(shù)的不斷提升，其應用的范圍也越加廣泛，比如常見的金融分析、電信數(shù)據(jù)等等。尤其是近幾年，電子商務市場成為零售行業(yè)的主流，數(shù)據(jù)挖掘技術(shù)的應用也在不斷地拓展，雖然數(shù)據(jù)挖掘技術(shù)在特定的數(shù)據(jù)分析方面存在局限性，但其發(fā)揮的作用也是巨大的，所以，未來數(shù)據(jù)挖掘技術(shù)的發(fā)展方向，可能會向著針對特定應用數(shù)據(jù)方向發(fā)展，以特定數(shù)據(jù)挖掘技術(shù)來提升針對性數(shù)據(jù)分析的精準性與應用效果。

3.2 可伸縮的數(shù)據(jù)挖掘方式

相對于傳統(tǒng)的數(shù)據(jù)分析方式，計算機數(shù)據(jù)挖掘技術(shù)的出現(xiàn)創(chuàng)新了數(shù)據(jù)處理的方式，但這也對數(shù)據(jù)挖掘技術(shù)提出了要求，必須可以對大數(shù)據(jù)進行高效的處理，也需要對數(shù)據(jù)進行交互式的處理?，F(xiàn)階段計算機網(wǎng)絡的快速發(fā)展，信息化技術(shù)成為人們生活中的主流，在這種背景下的數(shù)據(jù)量會快速激增，所以在數(shù)據(jù)挖掘方面的可伸縮性算法至關(guān)重要，尤其是在面向單獨數(shù)據(jù)與集成數(shù)據(jù)方面的應用。所以發(fā)展的方向就會是在約束挖掘基礎(chǔ)上實現(xiàn)。重點是服務于增加用戶交互數(shù)據(jù)下，對計算機挖掘技術(shù)的數(shù)據(jù)處理效率提升方面，對控制方法進行更新，使用用戶說明與使用約束，來利用數(shù)據(jù)挖掘技術(shù)來檢索按興趣的模塊，有針對性地開展數(shù)據(jù)挖掘工作。

3.3 計算機數(shù)據(jù)挖掘與數(shù)據(jù)庫系統(tǒng)的集成

在信息處理的過程中，離不開數(shù)據(jù)庫系統(tǒng)、數(shù)據(jù)倉庫系統(tǒng)，讓計算機數(shù)據(jù)挖掘技術(shù)在這類系統(tǒng)中可以高效開展工作對數(shù)據(jù)質(zhì)量至關(guān)重要。眾所周知，數(shù)據(jù)挖掘技術(shù)的最佳體系，就是與數(shù)據(jù)庫系統(tǒng)的緊耦合方式。將數(shù)據(jù)挖掘技術(shù)所服務的各項事務、數(shù)據(jù)進行集成，在同一框架中實現(xiàn)聯(lián)機分析，這種方式可以充分保障數(shù)據(jù)的獲得性，也是數(shù)據(jù)挖掘技術(shù)伸縮性、可移植性特點的體現(xiàn)，更是對多維數(shù)據(jù)進行分析的重要方式。

3.4 計算機數(shù)據(jù)挖掘的標準化

提升數(shù)據(jù)挖掘多方面的標準化工作，可以從根本上提升數(shù)據(jù)挖掘技術(shù)的質(zhì)量，避免在實踐中出現(xiàn)因為網(wǎng)頁等方面的問題。對數(shù)據(jù)挖掘系統(tǒng)進行系統(tǒng)化的開發(fā)模式，可以讓數(shù)據(jù)挖掘系統(tǒng)與功能間之間實現(xiàn)互相操作的方式，通過這種方式來對數(shù)據(jù)挖掘系統(tǒng)的實際應用質(zhì)量與效率進行提升。同時還應該注重可視化數(shù)據(jù)的數(shù)據(jù)挖掘，通過系統(tǒng)化的開發(fā)，讓可視化技術(shù)可以將數(shù)據(jù)挖掘的詳細情況進行直觀體現(xiàn)，以此來規(guī)避數(shù)據(jù)挖掘技術(shù)存在的弊端與局限性，同時也有利于對數(shù)據(jù)挖掘技術(shù)的推動，讓其成為數(shù)據(jù)分析最為基本的工具。

4 結(jié)語

通過上文的研究可以發(fā)現(xiàn)，現(xiàn)階段計算機數(shù)據(jù)挖掘技術(shù)備受關(guān)注，其在各個領(lǐng)域都有著廣泛地運用，諸多學者都對其進行研究，并取得了顯著的呈現(xiàn)。但數(shù)據(jù)挖掘技術(shù)開發(fā)與應用上依然存在問題，本文主要對存在的問題進行研究，并闡述計算機數(shù)據(jù)挖掘技術(shù)未來的發(fā)展方向，計算機數(shù)據(jù)挖掘技術(shù)的發(fā)展是長遠的，這就需要在實踐中不斷地進行探索，以此來更好完善與創(chuàng)新數(shù)據(jù)挖掘技術(shù)，讓其充分發(fā)揮出數(shù)據(jù)的價值，為市場經(jīng)濟的發(fā)展提供支撐與依據(jù)。