關(guān)于Python在大數(shù)據(jù)挖掘和分析中的運(yùn)用探討

薄楊 山東科技大學(xué)

前言：在當(dāng)今的各項(xiàng)活動(dòng)中，大數(shù)據(jù)都已經(jīng)成為關(guān)鍵的組成部分，通過計(jì)算機(jī)、互聯(lián)網(wǎng)就能夠掌握大量的數(shù)據(jù)。同時(shí)，受“互聯(lián)網(wǎng)+”、物聯(lián)網(wǎng)經(jīng)濟(jì)的影響，各個(gè)行業(yè)的數(shù)據(jù)，都呈現(xiàn)出“天文數(shù)字”的增長(zhǎng)趨勢(shì)，所以需要重視對(duì)數(shù)據(jù)的采集。而在完成采集工作以后，還應(yīng)該進(jìn)行深入的挖掘、分析，利用數(shù)據(jù)指引未來的發(fā)展，以此來發(fā)揮數(shù)據(jù)的價(jià)值。在這一過程中，工作人員就可以將Python編程語言應(yīng)用其中。

1. Python的功能特點(diǎn)分析

對(duì)于Python來說，其當(dāng)前已經(jīng)廣泛應(yīng)用在了圖形用戶界面開發(fā)、網(wǎng)絡(luò)開發(fā)、游戲開發(fā)、Web全棧開發(fā)、數(shù)據(jù)庫開發(fā)等較為廣泛的領(lǐng)域之中。究其原因，Python的功能相對(duì)強(qiáng)大，能夠滿足不同工作的需求，其功能主要體現(xiàn)在以下幾方面：

（1）網(wǎng)絡(luò)爬蟲。通過Python自帶的框架，能夠獲得網(wǎng)站信息、網(wǎng)頁內(nèi)容，然后采用正則表達(dá)式，對(duì)所需的數(shù)據(jù)進(jìn)行分析與提取。

（2）網(wǎng)絡(luò)開發(fā)。在Python的內(nèi)部，存在很多較為常見的網(wǎng)絡(luò)協(xié)議庫，所以其能夠作為一個(gè)網(wǎng)絡(luò)編程工具，參與到相關(guān)的開發(fā)工作中。

（3）GUI開發(fā)。利用Tkinter，Python能夠在很短的時(shí)間內(nèi)，完成GUI應(yīng)用程序的創(chuàng)建，也能夠與Java形成Jython庫。

（4）游戲開發(fā)。采用Python的編程方式，能夠提高游戲開發(fā)的便捷性。其中，游戲會(huì)員登錄注冊(cè)的系統(tǒng)、戰(zhàn)斗攻防系統(tǒng)、交換游戲裝備系統(tǒng)等，都是通過Python進(jìn)行編程設(shè)計(jì)的[1]。

（5）人工智能。在當(dāng)前的社會(huì)中，很多不同的智能項(xiàng)目，也需要Python參與到設(shè)計(jì)、開發(fā)中，如微軟的小冰、谷歌的“阿爾法狗”與無人駕駛、蘋果的Siri、百度大腦、IBM的WATSON等。

（6）物聯(lián)網(wǎng)終端。實(shí)際上，Python的功能，還體現(xiàn)在很多不同的方面，其中最為大眾熟知的，如阿里巴巴、新浪、163、臉書、YouTube等?？梢哉f，在當(dāng)前的物聯(lián)網(wǎng)中，Python的應(yīng)用無處不在，甚至美國(guó)銀行還利用Python，開發(fā)了基礎(chǔ)設(shè)施、新產(chǎn)品的接口，以此來對(duì)金融數(shù)據(jù)進(jìn)行實(shí)時(shí)處理。基于這樣的方式，能夠在發(fā)揮Python價(jià)值的同時(shí)，進(jìn)一步推動(dòng)物聯(lián)網(wǎng)終端的升級(jí)、發(fā)展。

2. Python在大數(shù)據(jù)挖掘和分析中的運(yùn)用

結(jié)合上文對(duì)Python功能的分析，能夠發(fā)現(xiàn)其適合應(yīng)用在大數(shù)據(jù)挖掘、分析之中。在大數(shù)據(jù)時(shí)代中，能夠利用數(shù)據(jù)分析，得到很多有價(jià)值的信息，以此來更加充分的發(fā)揮大數(shù)據(jù)的關(guān)鍵性作用，為相關(guān)工作的進(jìn)展，提供更具價(jià)值的參考。具體來說，Python在大數(shù)據(jù)挖掘、分析中的應(yīng)用，主要體現(xiàn)在其自身的性能上，其相關(guān)內(nèi)容如下：

2.1 數(shù)據(jù)挖掘能力

與傳統(tǒng)的數(shù)據(jù)處理、制圖、計(jì)算的軟件R語言相比，Python編程語言具有很多實(shí)際的產(chǎn)品建構(gòu)功能。對(duì)于工作人員來說，Python的學(xué)習(xí)難度相對(duì)較小，同時(shí)在編程語言中，其排名順序也在不斷的提升。例如：在統(tǒng)計(jì)分析的工作中，Python的排名已經(jīng)超過了R語言。根據(jù)數(shù)據(jù)挖掘咨詢網(wǎng)站的調(diào)查，能夠發(fā)現(xiàn)在2016年期間，使用R語言的人員較多；而到了2017年，使用Python的人員數(shù)量，已經(jīng)遠(yuǎn)遠(yuǎn)超過了使用R語言的人數(shù)。也就是說，經(jīng)過Python的發(fā)展，很多人都加深了對(duì)Python的認(rèn)識(shí)，所以成為數(shù)據(jù)科學(xué)、數(shù)據(jù)分析的重要方式。

在R語言使用人數(shù)不斷下降的基礎(chǔ)上，Python的使用人數(shù)也在不斷的提升。而這樣的方式，為很多數(shù)據(jù)挖掘的工作人員，提供了全新發(fā)展方向。究其原因，Python編程語言，其自身的數(shù)據(jù)挖掘能力較高，能夠基于自動(dòng)化方式、智能技術(shù)等，減少工作人員在數(shù)據(jù)挖掘中的工作量。而這樣的優(yōu)勢(shì)，不僅可以提高數(shù)據(jù)挖掘的質(zhì)量，還能夠提高數(shù)據(jù)挖掘的全面性等，滿足其具體工作的需求。同時(shí)，在完成數(shù)據(jù)挖掘以后，還能夠在不切換Python的前提下，對(duì)其進(jìn)行數(shù)據(jù)分析，在這一基礎(chǔ)上，可以充分發(fā)揮大數(shù)據(jù)的時(shí)效性，進(jìn)而適應(yīng)社會(huì)的發(fā)展趨勢(shì)。

2.2 數(shù)據(jù)分析庫

對(duì)于Python來說，其數(shù)據(jù)分析庫的功能，在當(dāng)前的社會(huì)發(fā)展中，是較為全面的編程工具，能夠滿足數(shù)據(jù)分析的需求。所以，這一功能為Python在大數(shù)據(jù)挖掘、分析中的運(yùn)用，奠定了基礎(chǔ)。在Python中，使用頻率較高的數(shù)據(jù)分析庫，分別是Numpy、pandas。其前者主要適用于矩陣、數(shù)組的分析，操作較為便捷，能夠在科學(xué)領(lǐng)域中實(shí)現(xiàn)計(jì)算；后者分為Series、DataFrame（數(shù)據(jù)框）兩類。在數(shù)據(jù)框中，內(nèi)置了很多標(biāo)準(zhǔn)的數(shù)據(jù)模型，便于處理大型的數(shù)據(jù)。例如：如果需要處理其幾千萬行的CVS數(shù)據(jù)，若是使用字典處理，基本需要2分鐘的時(shí)間，而使用Python進(jìn)行處理，則只需要不到10秒的時(shí)間。也就是說，利用Python對(duì)數(shù)據(jù)進(jìn)行分析，能夠縮短工作的時(shí)間，提高工作的效率，并保證數(shù)據(jù)分析結(jié)果的有效性。

在掌握Python數(shù)據(jù)分析庫的使用方法以后，Python將會(huì)成為當(dāng)前大數(shù)據(jù)分析的最佳方式。除了上述的庫之外，Python還有神經(jīng)網(wǎng)絡(luò)、人工智能等資源方式。同時(shí)一些服務(wù)器平臺(tái)，也能夠?qū)崿F(xiàn)C語言、Python的兼容，所以不同的庫工具，能夠?yàn)楣ぷ魅藛T提供跨平臺(tái)的服務(wù)，以此來減少數(shù)據(jù)分析的成本。不僅如此，運(yùn)用Python進(jìn)行數(shù)據(jù)分析，還能夠基于其強(qiáng)大的分析功能，對(duì)數(shù)據(jù)進(jìn)行收集、整理、分析、展示，并且是在同一個(gè)Python中完成?；谶@一功能，可以在很大程度上，避免在數(shù)據(jù)分析中，切換開發(fā)程序的繁瑣的步驟，以此來簡(jiǎn)化工作的內(nèi)容、方式，而這在數(shù)據(jù)分析中發(fā)揮著重要的作用。

2.3 程序包與平臺(tái)

就Python來說，其主要的技術(shù)支撐，就是PyPI。這一技術(shù)，就是Python模塊、腳本的資源庫，同時(shí)其內(nèi)部的資源豐富，甚至可以被程序進(jìn)行直接調(diào)用。除此之外，將Python運(yùn)用在大數(shù)據(jù)挖掘、分析中，其豐富的數(shù)據(jù)交流社區(qū)，也是其中關(guān)鍵性的功能之一，其中包含很多使用指南、使用教程、文檔等，供相關(guān)的工作人員進(jìn)行參考。實(shí)際上，Python屬于開源性質(zhì)的，經(jīng)過長(zhǎng)時(shí)間的設(shè)計(jì)、開發(fā)以及完善，能夠在Windows、Macos、Linux等平臺(tái)中，實(shí)現(xiàn)穩(wěn)定的跨平臺(tái)運(yùn)行。

為了實(shí)現(xiàn)大數(shù)據(jù)挖掘、分析的目的，當(dāng)前的市場(chǎng)中需要更加專業(yè)的Python人員，以此來將更多的時(shí)間應(yīng)用在數(shù)據(jù)挖掘、分析工作中，將學(xué)習(xí)Python的時(shí)間縮至最短，進(jìn)而能夠減少數(shù)據(jù)挖掘、分析的成本。將Python應(yīng)用在大數(shù)據(jù)的挖掘、分析之中，能夠很便捷的實(shí)現(xiàn)數(shù)據(jù)的可視化。也就是說，通過Python能夠更加便捷的創(chuàng)作3D圖表、2D圖表等。在seaborn、matplolib兩個(gè)專屬庫的基礎(chǔ)上，只要完成簡(jiǎn)單的Python代碼編寫，就能夠?qū)⒖梢暬慕Y(jié)果輸出，進(jìn)而更加便于工作人員發(fā)現(xiàn)數(shù)據(jù)的價(jià)值，不斷優(yōu)化相關(guān)的工作，實(shí)現(xiàn)大數(shù)據(jù)挖掘、分析的目的。

結(jié)語：綜上所述，在大數(shù)據(jù)的挖掘、分析中，將Python應(yīng)用其中，能夠在很大程度上，提高相關(guān)工作的便捷性。具體來說，Python自身有著較強(qiáng)的數(shù)據(jù)挖掘能力，同時(shí)數(shù)據(jù)分庫的功能性、實(shí)用性較強(qiáng)，加之其能夠?qū)崿F(xiàn)跨平臺(tái)的運(yùn)轉(zhuǎn)，所以可以充分發(fā)揮計(jì)算機(jī)編程的重要作用。通過本文的分析能夠發(fā)現(xiàn)，將Python應(yīng)用在大數(shù)據(jù)挖掘、分析中，具有較強(qiáng)的可行性。