基于Python的可視化數(shù)據(jù)分析平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)

陶 鵬，楊俊麗

（1洛陽科技職業(yè)學(xué)院智能與數(shù)字工程學(xué)院 河南 洛陽 471000）

（2洛陽科技職業(yè)學(xué)院機(jī)電工程學(xué)院 河南 洛陽 471000）

1 引言

21世紀(jì)以來，信息技術(shù)是推動(dòng)行業(yè)激烈競爭的技術(shù)核心，數(shù)據(jù)分析是推動(dòng)行業(yè)持續(xù)發(fā)展的重要技術(shù)基礎(chǔ)。當(dāng)前，數(shù)據(jù)綜合分析和商業(yè)數(shù)據(jù)挖掘已經(jīng)成為當(dāng)下各種商業(yè)活動(dòng)的重要組成部分。大數(shù)據(jù)分析技術(shù)、云計(jì)算技術(shù)及物理互聯(lián)網(wǎng)等作為信息時(shí)代通信核心技術(shù)的不斷出現(xiàn)，難以完全滿足于對海量商業(yè)數(shù)據(jù)的外在價(jià)值特征挖掘和內(nèi)在價(jià)值分析。面對復(fù)雜、海量、低密度及商業(yè)數(shù)據(jù)，必須深度綜合分析才能夠快速獲取我們所需要的信息，以綜合構(gòu)架的大數(shù)據(jù)綜合分析技術(shù)平臺(tái)及數(shù)據(jù)系統(tǒng)快速度地完成對大數(shù)據(jù)潛在應(yīng)用價(jià)值的深度挖掘和綜合分析[1]。因此，重點(diǎn)在于探討如何充分利用Python大數(shù)據(jù)分析的各種技術(shù)優(yōu)勢點(diǎn)來構(gòu)建一個(gè)可視化企業(yè)數(shù)據(jù)分析處理平臺(tái)，實(shí)現(xiàn)企業(yè)大數(shù)據(jù)的快速采集分析及相關(guān)信息實(shí)時(shí)獲取，有助于提高數(shù)據(jù)分析處理能力及數(shù)據(jù)平臺(tái)體系構(gòu)建的科學(xué)系統(tǒng)性，滿足經(jīng)濟(jì)社會(huì)發(fā)展趨勢。

2 Python的優(yōu)勢

Python應(yīng)用功能強(qiáng)大，可以推廣整合到各類大型信息網(wǎng)絡(luò)系統(tǒng)開發(fā)、圖形用戶界面、游戲軟件系統(tǒng)開發(fā)及各種企業(yè)移動(dòng)端應(yīng)用軟件開發(fā)等企業(yè)流程管理控制中。Python由于它的內(nèi)置網(wǎng)絡(luò)中繼器使其具有很多常見的支持網(wǎng)絡(luò)，所以在很多程序運(yùn)行網(wǎng)絡(luò)過程中，其對網(wǎng)絡(luò)兼容性較強(qiáng)，能夠同時(shí)支持各種網(wǎng)絡(luò)，如socket、urllib等。在網(wǎng)絡(luò)相關(guān)信息分析爬蟲庫中，它能夠?yàn)橛脩臬@取網(wǎng)頁內(nèi)容及其他各類網(wǎng)站網(wǎng)頁相關(guān)數(shù)據(jù)信息等數(shù)據(jù)，還可以收集提供綜合分析數(shù)據(jù)框架，快速方便地將獲取各類內(nèi)容數(shù)據(jù)及其他網(wǎng)站相關(guān)信息提取，然后用戶可以直接利用正則表達(dá)式等分析方法同時(shí)進(jìn)行其他網(wǎng)站相關(guān)信息數(shù)據(jù)收集、綜合分析和數(shù)據(jù)綜合利用。Python在數(shù)據(jù)分析及海量相關(guān)數(shù)據(jù)信息快速準(zhǔn)確獲取過程中，后臺(tái)服務(wù)具有較強(qiáng)的海量數(shù)據(jù)分析資源優(yōu)勢，可以快速準(zhǔn)確獲取海量數(shù)據(jù)分析信息資源并快速準(zhǔn)確完成海量數(shù)據(jù)相關(guān)信息提取。此外，由于Python海量數(shù)據(jù)信息采集處理分析軟件庫較為全面，從而在傳統(tǒng)企業(yè)計(jì)算機(jī)應(yīng)用領(lǐng)域逐步擴(kuò)展普及Web，利用其全面的海量系統(tǒng)數(shù)據(jù)采集分析軟件庫及多種類型，Python海量系統(tǒng)數(shù)據(jù)信息采集資源快速獲取系統(tǒng)資源，加上基于本身內(nèi)置的大量數(shù)據(jù)庫和多種標(biāo)準(zhǔn)數(shù)據(jù)模型，可高效快捷地、快速準(zhǔn)確地完成大型海量數(shù)據(jù)的綜合采集分析處理，如CVS等海量數(shù)據(jù)。

Python具備各種整合式的人工智能、神經(jīng)網(wǎng)絡(luò)等各種數(shù)據(jù)資源，并且在整個(gè)基于云端的平臺(tái)中可以實(shí)現(xiàn)Python的各種功能與英語Java和C語言完美相互兼容，能在各類數(shù)據(jù)庫運(yùn)營管理工具中快速準(zhǔn)確完成和滿足數(shù)據(jù)服務(wù)平臺(tái)對云數(shù)據(jù)服務(wù)的各種功能方面的要求，減少整個(gè)開發(fā)項(xiàng)目的大數(shù)據(jù)分析開發(fā)周期及數(shù)據(jù)運(yùn)營管理成本。從整個(gè)項(xiàng)目的大數(shù)據(jù)資源綜合抽取、數(shù)據(jù)綜合收集整理以及綜合挖掘等再到大數(shù)據(jù)分析成果展示以及整個(gè)數(shù)據(jù)開發(fā)工作過程中，不必再擔(dān)心需要其他的大數(shù)據(jù)開發(fā)輔助工具或者大數(shù)據(jù)分析資源庫的直接支持幫助，并且每個(gè)用戶同樣能夠在Python中快速準(zhǔn)確完成整個(gè)數(shù)據(jù)工作過程，避免整個(gè)數(shù)據(jù)對程序的錯(cuò)誤切換及數(shù)據(jù)分析的錯(cuò)誤轉(zhuǎn)化等，有效且更加便利于用戶提高大數(shù)據(jù)環(huán)境的各種綜合功能，加強(qiáng)了大數(shù)據(jù)的綜合應(yīng)用性和高效性。Python對比其他傳統(tǒng)企業(yè)網(wǎng)頁設(shè)計(jì)數(shù)據(jù)處理、計(jì)算和交互編程應(yīng)用語言等，Python不僅能根據(jù)開發(fā)需求自動(dòng)構(gòu)建各種功能，同時(shí)它還具有較強(qiáng)的用戶深度交互學(xué)習(xí)性和應(yīng)用開發(fā)能力，能夠在各不同類型的網(wǎng)頁編程設(shè)計(jì)以及應(yīng)用語言中脫穎而出，快速有效率地提高數(shù)據(jù)處理運(yùn)轉(zhuǎn)系統(tǒng)的整體功能架構(gòu)建設(shè)，同時(shí)提高程序員的產(chǎn)品開發(fā)性和工作效率。Python數(shù)據(jù)圖表系統(tǒng)能快速準(zhǔn)確地完成各種類型數(shù)據(jù)的統(tǒng)計(jì)分析以及可視化，創(chuàng)建各種類型的數(shù)據(jù)圖表及基本的3D系列圖表，將各種類型數(shù)據(jù)通過一種科學(xué)化、合理化的充分形象展示方式表達(dá)出來。對比其他應(yīng)用程序來說工作成本也比較少，且對于數(shù)據(jù)庫的獲取處理速度快。

3 Python的概念

Python是一種面向?qū)ο蟮慕忉屨Z言類型計(jì)算機(jī)應(yīng)用程序設(shè)計(jì)語言，于1991年正式開始發(fā)行。Python具備十分豐富而強(qiáng)大的文件庫，可以對其他各種編程設(shè)計(jì)語言所需要進(jìn)行制作和存儲(chǔ)的各種模塊化的文件信息進(jìn)行無縫聯(lián)結(jié)。較為常見的原型改寫方式情況一般如下：首先，利用Python在短短的一段時(shí)間內(nèi)快速改寫生成整個(gè)傳統(tǒng)程序原型中的各個(gè)原型，隨后再針對其中某些原型具有一定技術(shù)特殊要求的一部分，利用更為合適的設(shè)計(jì)以及改寫方式快速進(jìn)行整個(gè)程序原型改寫。Python的基本優(yōu)點(diǎn)主要包括：簡單易學(xué)、解釋性、可移植性、可靠的軟件嵌入性以及持續(xù)性和擴(kuò)展性等，其屬于一種比較高層次的編程設(shè)計(jì)。而它的最大缺點(diǎn)主要表現(xiàn)在于：單行一個(gè)命令而言語句與其他基于命令行而言語句間的傳輸之間有兩個(gè)多方面的傳輸質(zhì)量平衡問題，而且與基于C++相比較，其在運(yùn)行時(shí)的語言傳輸速度較慢。其目前的主要應(yīng)用領(lǐng)域以及范圍包括：科學(xué)圖像視頻處理、數(shù)學(xué)圖像處理、文本W(wǎng)eb視頻編程、多媒體視頻應(yīng)用、pymo搜索引擎以及其他黑客策略編程等。可視化后的開源數(shù)據(jù)分析論壇服務(wù)平臺(tái)當(dāng)中主要基礎(chǔ)功能模塊包括三大類的核心基礎(chǔ)功能模塊：在線數(shù)據(jù)互動(dòng)開源數(shù)據(jù)管理分析平臺(tái)模塊、能力分析系統(tǒng)管理平臺(tái)模塊以及一個(gè)大的開源在線數(shù)據(jù)分析論壇服務(wù)平臺(tái)模塊。除此之外，為了更方便廣大用戶隨時(shí)下載相關(guān)應(yīng)用，平臺(tái)還特別配有自己設(shè)置的用戶下載幫助和服務(wù)管理中心。

4 Python的可視化數(shù)據(jù)分析平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)

在這里主要可以分為兩個(gè)維度進(jìn)行工作，包括用戶數(shù)據(jù)模型儲(chǔ)存和用戶數(shù)據(jù)模型建模。在數(shù)據(jù)信息儲(chǔ)存管理方面主要應(yīng)用技術(shù)中最難的點(diǎn)就是如何克服非傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)的信息儲(chǔ)存和數(shù)據(jù)映射間的關(guān)系，例如，如何把今天的產(chǎn)品銷售數(shù)據(jù)情況，同明天服務(wù)器的帶寬性能數(shù)據(jù)利用率以及明天帶寬性能使用率的趨勢等，這些看似“毫不相關(guān)”的不同數(shù)據(jù)類型進(jìn)行相互耦合；本系統(tǒng)中的典型數(shù)據(jù)建模技術(shù)是泛指對各種類型數(shù)據(jù)進(jìn)行概括，同時(shí)將整個(gè)數(shù)據(jù)庫結(jié)構(gòu)中的任何一行都以數(shù)據(jù)的形式轉(zhuǎn)化成現(xiàn)實(shí)的、更容易被人理解的數(shù)據(jù)模型。該應(yīng)用模塊需要涉及的應(yīng)用數(shù)據(jù)類型有多種。下面主要從產(chǎn)品生產(chǎn)數(shù)據(jù)分析、產(chǎn)品管理數(shù)據(jù)綜合分析、倉儲(chǔ)管理數(shù)據(jù)綜合分析三個(gè)方面進(jìn)行介紹。

4.1 生產(chǎn)數(shù)據(jù)分析

要研究內(nèi)容分別是基于產(chǎn)品種類、型號(hào)、批次等作為基礎(chǔ)統(tǒng)計(jì)數(shù)據(jù)相關(guān)信息的業(yè)務(wù)深度分析統(tǒng)計(jì)數(shù)據(jù)組合分析；利用車間關(guān)鍵工序運(yùn)行性能指標(biāo)、車間各個(gè)關(guān)鍵部件最佳運(yùn)行性能參數(shù)等作為基礎(chǔ)統(tǒng)計(jì)數(shù)據(jù)，研究各個(gè)維度車間關(guān)鍵工序的最佳運(yùn)行性能參數(shù)等并進(jìn)行分析組合，指導(dǎo)整個(gè)生產(chǎn)線全過程車間工序的不斷改進(jìn)；同時(shí)可以結(jié)合更多的多個(gè)方向數(shù)據(jù)來分析多個(gè)維度，用戶可以同時(shí)進(jìn)行探索式數(shù)據(jù)組合分析和大數(shù)據(jù)趨勢預(yù)測，借助這些數(shù)據(jù)挖掘深度分析數(shù)據(jù)服務(wù)平臺(tái)用戶，可以直接實(shí)現(xiàn)從一個(gè)整體生產(chǎn)線以及一個(gè)車間的各分廠多個(gè)點(diǎn)的管理維度，各個(gè)點(diǎn)收集數(shù)據(jù)，來直觀性地展示分析一家公司以及整個(gè)生產(chǎn)流程中的運(yùn)營進(jìn)度管理進(jìn)展情況。

4.2 產(chǎn)品數(shù)據(jù)分析

在研究內(nèi)容上主要分析了整個(gè)生產(chǎn)環(huán)境以及外部地理氣候條件，主要包括天氣溫度、濕度等各種環(huán)境因素對整個(gè)產(chǎn)品的直接驅(qū)動(dòng)影響；同時(shí)通過針對每個(gè)客戶發(fā)出訂單的產(chǎn)品數(shù)據(jù)留存時(shí)間變化和跟蹤情況，及時(shí)進(jìn)行留存跟蹤數(shù)據(jù)分析，挖掘整個(gè)產(chǎn)品中的潛在用戶；通過對產(chǎn)品外形美觀件設(shè)計(jì)中的質(zhì)量合格品與外觀件中不合格品兩個(gè)大類產(chǎn)品分別進(jìn)行圖片取樣、標(biāo)簽化，進(jìn)行工業(yè)樣品處理光學(xué)成像圖片處理取樣成像，實(shí)現(xiàn)產(chǎn)品數(shù)據(jù)分類和智能分析自動(dòng)檢測，將產(chǎn)品分類在該技術(shù)及其領(lǐng)域推廣擴(kuò)展到整個(gè)機(jī)器設(shè)備生產(chǎn)線上，實(shí)施產(chǎn)品數(shù)據(jù)智能自動(dòng)檢測、分揀，提高自動(dòng)識(shí)別產(chǎn)品數(shù)據(jù)精度和自動(dòng)分揀數(shù)據(jù)效率；對整個(gè)機(jī)器生產(chǎn)來說，量化和可視化的機(jī)器產(chǎn)能對整個(gè)公司財(cái)務(wù)固定資產(chǎn)能產(chǎn)生的直接驅(qū)動(dòng)影響。

4.3 服務(wù)方面進(jìn)行咨詢

主要業(yè)務(wù)是為具有大量的數(shù)據(jù)統(tǒng)計(jì)和分析咨詢要求的用戶實(shí)時(shí)地提供相關(guān)統(tǒng)計(jì)和數(shù)據(jù)，以及對于存在的問題進(jìn)行的咨詢。并且這些用戶也可通過協(xié)助，實(shí)時(shí)地進(jìn)行相關(guān)咨詢服務(wù)以及內(nèi)容實(shí)時(shí)化定制，管理員也可以實(shí)時(shí)對用戶的咨詢服務(wù)內(nèi)容進(jìn)行實(shí)時(shí)管理，在一定程度上需要他們對其所提出的相關(guān)問題、所需要進(jìn)行的咨詢和其在有定制化和服務(wù)性需要時(shí)，能夠進(jìn)行問卷回復(fù)和反饋處理。

4.4 開源論壇模塊

平臺(tái)同時(shí)提供了全部開源算法的基本簡介和全部開源算法代碼，用戶不僅可以自由展開各種算法的學(xué)習(xí)與交流活動(dòng)，還可以更為深入地了解算法數(shù)據(jù)結(jié)構(gòu)分析以及算法的各種應(yīng)用實(shí)現(xiàn)方式，將其應(yīng)用作為算法基礎(chǔ)點(diǎn)并結(jié)合自身實(shí)際需求可以進(jìn)行二次開發(fā)，從而有效率地提升廣大學(xué)生的算法學(xué)習(xí)工作興趣與研究積極性。

5 結(jié)語

大數(shù)據(jù)分析時(shí)代在不斷演進(jìn)，數(shù)據(jù)分析的深遠(yuǎn)影響及重要性也在逐步拓寬和不斷加深，本文提出了一個(gè)面向我國制造業(yè)的基于Python的可視化數(shù)據(jù)分析技術(shù)平臺(tái)[2-3]，重點(diǎn)研究展開了該平臺(tái)的功能設(shè)計(jì)和企業(yè)結(jié)構(gòu)管理框架優(yōu)化設(shè)計(jì)的全過程，為我國制造業(yè)的可視數(shù)據(jù)分析發(fā)展提供了動(dòng)力。