淺談數(shù)學(xué)在大數(shù)據(jù)挖掘中的運用

傅顯然

摘要：隨著我國信息技術(shù)水平的不斷進(jìn)步，通訊等數(shù)據(jù)信息系統(tǒng)在各個領(lǐng)域的影響力度逐漸擴大，信息量的積累使得大數(shù)據(jù)概念隨之出現(xiàn)，更加促進(jìn)了信息技術(shù)的快速發(fā)展。如何從海量的數(shù)據(jù)中提煉出有效的數(shù)據(jù)資源，挖掘大數(shù)據(jù)的信息價值成為當(dāng)前急需解決的重要問題，本文通過對大數(shù)據(jù)出現(xiàn)的背景、數(shù)據(jù)的來源和處理挖掘進(jìn)行研究，探討數(shù)學(xué)在大數(shù)據(jù)挖掘中的運用方式。

關(guān)鍵詞：大數(shù)據(jù)；數(shù)學(xué)；挖掘信息；

全球信息化時代的步入，使得信息技術(shù)滲透到生活的各個角落，逐漸成為提升生產(chǎn)力水平的重要因素，隨著支付寶、微信支付等第三方支付手段的進(jìn)步，人們也開始改變傳統(tǒng)的消費模式，這也進(jìn)一步推動了大數(shù)據(jù)的發(fā)展。在大數(shù)據(jù)時代，海量的數(shù)據(jù)提煉和挖掘一直是各行各業(yè)關(guān)注的重點和難點，數(shù)學(xué)作為數(shù)據(jù)分析處理過程的主要手段，在數(shù)據(jù)的挖掘中發(fā)揮著極其重要的作用。合理運用數(shù)學(xué)知識可以提升大數(shù)據(jù)的分析效率，輔助管理者和決策者從海量數(shù)據(jù)中獲取高價值的信息，這也逐漸成為了當(dāng)前眾多專家和數(shù)據(jù)處理人員研究的方向。

一、大數(shù)據(jù)的主要特征

大數(shù)據(jù)的產(chǎn)生是基于計算機技術(shù)的發(fā)展和全球互聯(lián)網(wǎng)融合度的不斷提高，各行各業(yè)產(chǎn)生的數(shù)據(jù)信息不斷的匯集到互聯(lián)網(wǎng)信息中，通過數(shù)十年的積累，成為了海量的大數(shù)據(jù)，當(dāng)然，不同行業(yè)的數(shù)據(jù)信息有著不同的價值，人們需要從數(shù)據(jù)信息中挖掘出高價值信息，幫助管理者和決策者做出科學(xué)判斷。其實，大數(shù)據(jù)的實質(zhì)是指無法通過常規(guī)的數(shù)據(jù)收集手段如調(diào)查、收集等方式獲取的信息集合，具有數(shù)據(jù)量龐雜、數(shù)據(jù)類型多樣、數(shù)據(jù)價值低、數(shù)據(jù)真實性不明等多個特征，與傳統(tǒng)的數(shù)據(jù)儲備相比，大數(shù)據(jù)數(shù)據(jù)分析中最大的難點就是數(shù)據(jù)檢索和處理的難度高，有效信息的提取需要借助先進(jìn)的處理技術(shù)，優(yōu)化數(shù)據(jù)的處理能力。在大數(shù)據(jù)的研究中，數(shù)據(jù)挖掘是核心，其原理是對復(fù)雜、多樣、無規(guī)律的海量數(shù)據(jù)進(jìn)行分析處理，挖掘有價值的信息。當(dāng)前，大數(shù)據(jù)已經(jīng)廣泛應(yīng)用在通訊、工程、營銷、制造等多個信息行業(yè)中，在大數(shù)據(jù)的信息挖掘應(yīng)用中，數(shù)學(xué)知識的應(yīng)用至關(guān)重要，計算機信息處理的基礎(chǔ)就是在計算機中寫入數(shù)學(xué)公式，通過計算機的快速計算能力縮短人們的信息處理時間，因此，數(shù)學(xué)專業(yè)知識融入到大數(shù)據(jù)的挖掘工作中，可以有效解決大數(shù)據(jù)信息分析難的問題，提高對數(shù)據(jù)的分析處理效率[1]。

二、大數(shù)據(jù)挖掘的必要性

數(shù)據(jù)挖掘工作是隨著大數(shù)據(jù)的發(fā)展而出現(xiàn)的新興產(chǎn)業(yè)，對于數(shù)據(jù)挖掘的側(cè)重點不同，其運算方法和運算規(guī)律也有一定的差異。最早的數(shù)據(jù)挖掘是指全面的數(shù)據(jù)分析處理，但是因我國步入信息化時代已經(jīng)有數(shù)十年，數(shù)據(jù)的信息儲備達(dá)到了空前的規(guī)模，而且還在不斷的增加中，這就造成了傳統(tǒng)的全面數(shù)據(jù)處理難度和耗費的資源巨大，不利于管理層的決策?，F(xiàn)如今，在海量的大數(shù)據(jù)信息資源中篩選出適用于各個行業(yè)、領(lǐng)域的相關(guān)信息，將其進(jìn)行歸納分類，如：市場營銷、教育科研、工程管理等類別，進(jìn)而在這些同類信息中提出潛在的有價值的信息，為決策者提供更為客觀的數(shù)據(jù)參考具有十分重要的現(xiàn)實意義。

三、數(shù)學(xué)在大數(shù)據(jù)挖掘中的應(yīng)用

（一）數(shù)據(jù)處理中的應(yīng)用

大數(shù)據(jù)的初步處理是數(shù)據(jù)挖掘中的重點，因大數(shù)據(jù)具有時效性強的特點，在對數(shù)據(jù)進(jìn)行挖掘處理的過程中對處理時效的要求較高，在有限的時間內(nèi)，通過對大量數(shù)據(jù)的初步處理，既要保持?jǐn)?shù)據(jù)處理的效果，還要確保處理時間上的有效性。如果原始數(shù)據(jù)不完整或有殘缺，就需要對數(shù)據(jù)進(jìn)行預(yù)處理，篩選出其中的重要數(shù)據(jù)進(jìn)行研究。數(shù)學(xué)在數(shù)據(jù)處理中的應(yīng)用，最常見的就是線型回歸分析和相關(guān)分析法，通常，我們將這兩種方法相互結(jié)合，通過觀察多個變量的變化關(guān)系，找出其中的規(guī)律，再建立數(shù)學(xué)模型，進(jìn)而通過數(shù)學(xué)模型推導(dǎo)出未知變量，達(dá)到數(shù)據(jù)預(yù)測的效果，為管理者和決策者提供風(fēng)險判斷依據(jù)，有效的降低決策風(fēng)險。當(dāng)然，數(shù)學(xué)模型的建立不能僅僅是靜態(tài)模型，還需要在模型中加入動態(tài)數(shù)據(jù)的計算方式，以模型指導(dǎo)算法，結(jié)合獲取到的有效信息對模型進(jìn)行修正，通過反復(fù)的計算、修正來達(dá)到算法與模型的平衡[3]。

（二）數(shù)據(jù)挖掘中的應(yīng)用

大數(shù)據(jù)通過初步的數(shù)據(jù)處理，就需要進(jìn)行數(shù)據(jù)的挖掘，數(shù)據(jù)挖掘具有集合性、應(yīng)用性等多個特點。在數(shù)據(jù)的挖掘過程中，數(shù)學(xué)的作用無可替代，常用的數(shù)學(xué)挖掘方法有聚類分析法、關(guān)聯(lián)分析法等，其中最主要的還是聚類分析法，目前，該方法已經(jīng)廣泛的應(yīng)用在醫(yī)學(xué)、統(tǒng)計、營銷等多個行業(yè)。聚類分析法，其實質(zhì)是將同類或相似的數(shù)據(jù)歸納到一起，劃分不同的數(shù)據(jù)集合，再通過對不同數(shù)據(jù)集合的分析處理，最后將各個集合內(nèi)經(jīng)過處理的數(shù)據(jù)匯集到一起，從而提取出不同數(shù)據(jù)中的高價值信息，達(dá)到數(shù)據(jù)挖掘的目的。實際上，聚類分析法常常在我們的日常生活中出現(xiàn)，各種數(shù)據(jù)分析、圖像處理中都會將關(guān)鍵性的數(shù)據(jù)進(jìn)行分類，再通過逐個對數(shù)據(jù)集合的處理匯總達(dá)到提取有效數(shù)據(jù)的目的。另外，區(qū)間值算法也是大數(shù)據(jù)挖掘處理找那個的常用數(shù)學(xué)方法，其主要是針對不完整信息的處理。大數(shù)據(jù)具有數(shù)據(jù)來源龐雜，數(shù)據(jù)價值低的特征，區(qū)間值算法就是提取殘缺信息中的有效數(shù)據(jù)，對其有效區(qū)間值進(jìn)行確定，當(dāng)獲取這些信息后，既可以通過統(tǒng)計學(xué)方法進(jìn)行確定，也可以由經(jīng)驗豐富的專家確定，由專業(yè)的技術(shù)人員對數(shù)據(jù)價值進(jìn)行進(jìn)一步分析，達(dá)到高效、準(zhǔn)確的信息分析和數(shù)據(jù)挖掘目的[4]。

結(jié)束語：

綜上所述，大數(shù)據(jù)時代給我們的生活帶來的極大的便利，逐漸融入到人們生活中的方方面面，當(dāng)前社會的發(fā)展也離不開大數(shù)據(jù)的支持，數(shù)學(xué)作為支撐大數(shù)據(jù)挖掘分析的基礎(chǔ)，如何利用數(shù)學(xué)知識處理海量的數(shù)據(jù)已經(jīng)成為大數(shù)據(jù)發(fā)展的關(guān)鍵，數(shù)學(xué)在數(shù)據(jù)處理中有著不可替代的作用，研究人員要善于運用數(shù)學(xué)方法，發(fā)揮出數(shù)學(xué)專業(yè)的價值作用，優(yōu)化數(shù)據(jù)處理中的模型建立技術(shù)，利用大數(shù)據(jù)的發(fā)展帶動社會步入人工智能和智慧城市的信息時代。

參考文獻(xiàn)：

[1]林潘能.淺談大數(shù)據(jù)挖掘中數(shù)學(xué)的運用[J].現(xiàn)代交際，2018（09）：253+252.

[2]吳雨伶，夏敏.基于極課大數(shù)據(jù)的高中數(shù)學(xué)教學(xué)優(yōu)化策略研究[J].江蘇教育研究，2018（01）：76-79.

[3]馬梓程.淺議大數(shù)據(jù)分析中統(tǒng)計學(xué)知識的運用[J].數(shù)學(xué)大世界（中旬），2018（02）：37-38.