基于重型機械裝備制造企業(yè)的大數(shù)據分析及可視化研究

汪憶 鐘世成 王敏

摘 要：文章基于重型機械裝備制造企業(yè)的大數(shù)據分析及可視化管理駕駛艙平臺的建設背景，提出了大數(shù)據管理駕駛艙的建設需求，深入闡述了大數(shù)據分析及挖掘的概念、分析流程及分析工具，以及構建管理駕駛系統(tǒng)的可視化方法、常用圖表及工具，得出了基于重型機械裝備制造企業(yè)構建的管理駕駛艙系統(tǒng)平臺形成的研究結果，旨在為相關的企業(yè)大數(shù)據分析及可視化管理駕駛艙系統(tǒng)平臺的構建提供借鑒

關鍵詞：機械裝備制造企業(yè);大數(shù)據分析;大數(shù)據可視化;管理駕駛艙系統(tǒng)

中圖法分迷號：TP311 文獻標識碼：A

１ 引言

１．１ 研究背景

重型機械裝備制造業(yè)是我國國民經濟的主體，目前，重型機械裝備制造企業(yè)面臨數(shù)字化轉型的諸多難題和挑戰(zhàn)。通過簡單、直觀、多維的大數(shù)據分析結果幫助企業(yè)洞察經營狀況并提升管理決策顯得十分必要。在此背景下，本文通過對機械裝備制造業(yè)大數(shù)據應用進行深入研究并實踐，旨在實現(xiàn)從大數(shù)據分析需求到大數(shù)據系統(tǒng)分析、設計建模，以及從數(shù)據采集、數(shù)據加工、數(shù)據分析到數(shù)據可視化圖形展示的全過程分析及可視化管理。

１．２ 研究問題的提出

基于重型機械裝備制造企業(yè)大數(shù)據管理駕駛系統(tǒng)的構建需求，本文提出研究問題，并對大數(shù)據分析及可視化方法進行深入研究。如何通過大數(shù)分析及可視化方法、工具及大數(shù)據相關技術構建開發(fā)管理駕駛艙系統(tǒng)是本文的核心研究問題。

２ 大數(shù)據分析與挖掘

２．１ 大數(shù)據分析

（１）大數(shù)據分析的概念。

大數(shù)據是傳統(tǒng)數(shù)據管理工具無法存儲或處理的大型、復雜和海量數(shù)據的集合。大數(shù)據分析是指分析大數(shù)據的相關性、隱藏模式、市場趨勢和客戶偏好等信息，以幫助做出基于數(shù)據決策的復雜過程。大數(shù)據分析通過多種不同的方式來幫助不同行業(yè)的企業(yè)和組織進行風險管理、產品開發(fā)和創(chuàng)新、制定戰(zhàn)略決策、改善用戶體驗等。從業(yè)務的角度來說，大數(shù)據分析分為描述性分析、診斷性分析、預測性分析、規(guī)范性分析４ 種類型。

（２）大數(shù)據分析的流程。

大數(shù)據分析流程往往包括收集數(shù)據、轉換數(shù)據和對轉換結果執(zhí)行數(shù)據分析，大數(shù)據專業(yè)人員需要經歷流程中的多個步驟。主要的５ 個關鍵步驟如下。

①識別數(shù)據源并收集數(shù)據。在最初的步驟中，數(shù)據專業(yè)人員需要根據分析目標來選擇可能包含原始形式的有用數(shù)據的數(shù)據源，盡可能從廣泛的平臺中選擇數(shù)據源來收集數(shù)據，以提高數(shù)據分析的準確性。

②數(shù)據預處理。數(shù)據預處理對來自數(shù)據源的所有數(shù)據進行多方面的預處理。

③數(shù)據轉換。數(shù)據轉換步驟的主要目的是在運行分析算法之前將所有數(shù)據轉換為可用的格式。

④數(shù)據分析和挖掘。這一階段，利用數(shù)據分析知識對上一步輸入的數(shù)據進行詳細分析，并利用數(shù)據挖掘技術在收集的海量數(shù)據中發(fā)現(xiàn)隱藏和重要的模式。

⑤數(shù)據可視化。可使用諸如Ｐｏｗｅｒ ＢＩ，Ｔａｂｌｅａｕ，ＳｍａｒｔＢＩ 等商業(yè)智能工具或者開源的Ｐｙｔｈｏｎ 工具庫對數(shù)據分析的結果進行可視化呈現(xiàn)，并為不同級別的業(yè)務團隊創(chuàng)建豐富的分析報告。

（３）大數(shù)據的分析方法。

很多學者和技術人員掌握了很多數(shù)據分析工具和技能，但依然做不好數(shù)據分析。遇到業(yè)務問題時，他們常常覺得無從下手。其實，掌握技能和工具只是第一步，掌握好大數(shù)據分析方法還必須有數(shù)據分析思維。數(shù)據思維具有框架性引導作用，能夠確認分析角度、搭配分析方法、選擇指標體系以及得出分析結論。常見的７ 種數(shù)據分析思維包括對比法、象限法、漏斗法、二八定律、指數(shù)法、假設法及多維分析法。

做好大數(shù)據分析常常會用到統(tǒng)計分析方法，常見的統(tǒng)計分析方法有１４ 種，分別是描述統(tǒng)計分析法、駕駛檢驗分析法、信度分析法、列聯(lián)表分析法、相關分析法、方差分析法、回歸分析法、聚類分析法、主成分分析法、因子分析法、時間序列分析法、生存分析法、典型相關分析法、ＲＯＣ 曲線分析法。在重型機械裝備制造企業(yè)的大數(shù)分析過程中，可以選擇以上大數(shù)據分析方法進行大數(shù)據分析。

（４）大數(shù)據分析工具。

開發(fā)人員根據大數(shù)據分析工具的功能和特性，以及開發(fā)環(huán)境的支持來確定和選擇最合適的大數(shù)據分析解決方案。可以從流行的幾個大數(shù)據分析并行編程模型（ＭａｐＲｅｄｕｃｅ、工作流、批量同步并行和類似ＳＱＬ）的角度來了解并選擇對應的大數(shù)據分析工具。

①基于ＭａｐＲｅｄｕｃｅ 編程模型的分析工具。ＭａｐＲｅｄｕｃｅ 是一種受函數(shù)式編程啟發(fā)的編程模型。它基于ｍａｐ 和ｒｅｄｕｃｅ 函數(shù)并行執(zhí)行，用于設計大規(guī)模數(shù)據密集型應用程序。ＭａｐＲｅｄｕｃｅ 模型專為數(shù)據密集型應用而設計，如社交媒體分析、圖像檢索、科學模擬和網站爬取。在此類應用程序中，其復雜性主要與要處理的大量數(shù)據有關，ＭａｐＲｅｄｕｃｅ 允許充分利用數(shù)據的并行性，從而在分布式環(huán)境中實現(xiàn)高效執(zhí)行。此外，它可以適應多種計算環(huán)境，包括多核、眾核和多集群系統(tǒng)以及動態(tài)云平臺和高性能計算系統(tǒng)。最常用的基于ＭａｐＲｅｄｕｃｅ 編程模型的開源框架是Ａｐａｃｈｅ Ｈａｄｏｏｐ?；冢龋幔洌铮铮?平臺的大數(shù)據分析可以幫助組織更高效地運營、發(fā)現(xiàn)新機會并獲得更多的競爭優(yōu)勢。

②基于工作流的分析工具。工作流是一種定義明確且可能重復的模式，旨在實現(xiàn)數(shù)據的某種轉換，可用于對復雜的數(shù)據分析場景進行建模，如分布式數(shù)據挖掘、機器學習和流分析應用程序。工作流任務可以按照不同的模式組合在一起，這使得輸入、輸出任務和依賴于其他任務的各種應用程序的高效建模與執(zhí)行成為可能。流處理通?？梢岳斫鉃閷\動中的連續(xù)數(shù)據流進行實時計算和處理。

Ａｐａｃｈｅ Ｓｐａｒｋ 是基于工作流的最流行的框架之一，用于機器學習、ＳＱＬ 分析和圖形計算。ＡｐａｃｈｅＳｔｏｒｍ 是一個用于實時流處理的開源分布式系統(tǒng)，能夠處理大規(guī)?；A設施中的海量無界數(shù)據，具有高度可擴展性、容錯性，并確保高速數(shù)據處理（每個節(jié)點每秒處理數(shù)百萬個元組）和低延遲響應時間。

③基于批量同步并行模型的分析工具。批量同步并行是一種并行計算模型，是在圖和矩陣、深度學習、機器學習和網絡算法上執(zhí)行海量計算任務最常用的模型之一。Ａｐａｃｈｅ Ｈａｍａ 是一個基于批量同步并行的開源框架，旨在執(zhí)行小型基礎設施中涉及基于矩陣和圖的計算的復雜任務，主要用于開發(fā)利用批量同步并行模型進行高度迭代的圖形處理應用程序。

Ａｐａｃｈｅ Ｇｉｒａｐｈ 也可以為開發(fā)高度可擴展的應用程序提供迭代圖計算，其將Ｈａｄｏｏｐ 作為資源管理器，主要被學術界和小型工業(yè)界用來在小型基礎設施中運行圖形處理應用程序。

④類似ＳＱＬ 的分析工具。類ＳＱＬ 系統(tǒng)試圖將Ｈａｄｏｏｐ 的有效性和查詢能力與類ＳＱＬ 語言的易用性結合起來，以便開發(fā)簡單高效的數(shù)據分析應用程序。Ａｐａｃｈｅ Ｈｉｖｅ 是一種建立在Ｈａｄｏｏｐ 上的數(shù)據倉庫軟件，用于讀取、寫入和管理大規(guī)?；A架構中的數(shù)據。它允許通過聲明性的類似ＳＱＬ 的語言，即Ｈｉｖｅ 查詢語言（ＨｉｖｅＱＬ），對大量數(shù)據進行可擴展和容錯的管理。在Ｈｉｖｅ 中，每個數(shù)據操作查詢都會自動轉換為ＭａｐＲｅｄｕｃｅ 作業(yè)，從而無需編寫復雜的ＭａｐＲｅｄｕｃｅ 程序即可輕松處理大數(shù)據。

２．２ 大數(shù)據挖掘

數(shù)據挖掘是在大型數(shù)據集中提取和發(fā)現(xiàn)模式的過程，涉及機器學習、統(tǒng)計和數(shù)據庫系統(tǒng)交叉的方法，是知識發(fā)現(xiàn)的分析步驟。有效的數(shù)據挖掘有助于企業(yè)規(guī)劃業(yè)務戰(zhàn)略和管理運營等，包括客戶管理、供應鏈管理、欺詐檢測、風險管理、網絡安全規(guī)劃和許多其他關鍵業(yè)務用例。它還在醫(yī)療保健、政府、科學研究、數(shù)學、體育等領域發(fā)揮著重要作用。一般來說，數(shù)據挖掘的過程包含預處理、數(shù)據挖掘、結果驗證。而常用的跨行業(yè)數(shù)據挖掘標準流程定義了數(shù)據挖掘為業(yè)務理解、數(shù)據理解、數(shù)據準備、建模、評估、部署６ 個階段。

ＳＰＳＳ 是最流行的統(tǒng)計軟件平臺。該軟件的高級功能提供了廣泛的機器學習算法庫、統(tǒng)計分析（描述性、回歸、聚類等）、文本分析、與大數(shù)據集成等。此外，ＳＰＰＳ 允許用戶通過專門的擴展并使用Ｐｙｔｈｏｎ 和Ｒ 改進他們的ＳＰＳＳ 語法。

Ｐａｎｄａｓ 是用于數(shù)據分析的庫之一，它包含高級數(shù)據結構和以簡單方式操作數(shù)據的工具，能夠對多維和單維數(shù)據進行索引、檢索、拆分、連接、重組。雖然Ｐａｎｄａｓ 庫提供了很多分析功能，但它依賴于Ｐｙｔｈｏｎ 生態(tài)系統(tǒng)中用于數(shù)據處理的庫，如ＮｕｍＰｙ，ＳｃｉＰｙ，Ｓｃｉｋｉｔ?Ｌｅａｒｎ，Ｍａｔｐｌｏｔｌｉｂ，它們配合使用并從大型數(shù)據集中得出結論。

ＮｕｍＰｙ 是一個用于數(shù)值計算和科學計算的Ｐｙｔｈｏｎ 庫。ＮｕｍＰｙ 提供了許多功能，可以在Ｐｙｔｈｏｎ中對ｎ 維數(shù)組和矩陣執(zhí)行操作。它有助于處理存儲相同數(shù)據類型值的數(shù)組，并提高對數(shù)組（及其向量化）執(zhí)行數(shù)學運算的效率［１～２］ 。

３ 大數(shù)據可視化

３．１ 可視化的方法及圖表

大數(shù)據可視化是將信息轉換為可視化的實踐，使人腦更容易理解數(shù)據并從中獲取見解，更容易識別大型數(shù)據集中的模式、趨勢和異常值。該術語通常與其他術語互換使用，包括信息圖形、信息可視化和統(tǒng)計圖形。

大數(shù)據可視化往往超越了普通可視化中使用的典型技術，增加了更復雜或者組合的表示形式。大數(shù)據可視化需要強大的計算機系統(tǒng)來收集原始數(shù)據，對其進行處理并將其轉化為人們可以快速得出見解的圖形表示。這是因為圖像通常比文字更快、更有效地傳達正在發(fā)生的事情。大數(shù)據可視化技術利用了這一事實，它們以圖表或圖形來呈現(xiàn)數(shù)據，將數(shù)據轉化為圖片。這使得決策者可以一目了然地獲得大量數(shù)據所包含的信息。

若要成功有效地展示數(shù)據，必須根據可視化項目的情況和對受眾的了解來選擇正確的圖表。例如，如果要展示一組時間段內的變化，其中包含少量見解，那么折線圖是一種有效的可視化方式。此外，線條使多個系列繪制在一起變得簡單。

顏色將對可視化模型的整體成功產生顯著影響，應在整個數(shù)據可視化中保持配色方案的一致性，使用清晰的對比來區(qū)分元素。同時，在構建有效的圖形時，可以適當?shù)靥砑游谋咀寛D形更易于理解。在數(shù)據可視化中最常見的文本元素通常是標題、標簽、圖例或工具提示。標題在圖形或圖表中占據頂部位置，它告訴用戶在該視覺對象中能夠找到什么信息。當涉及字幕時，應始終避免冗長，保持簡短明了。描述太長的標簽會擁擠視覺并使其難以理解。圖例是圖表的側面部分，它顯示并提供簡要說明，以幫助用戶理解所顯示的數(shù)據。可以增加可視化工具提示，一旦用戶將鼠標懸停在數(shù)據點上，就會顯示額外的文本。大數(shù)據常用的可視化圖表包括餅圖、條形圖、折線圖、直方圖、散點圖、氣泡圖、熱力圖、雷達圖、面積圖、玫瑰圖、甘特圖、詞云圖、?；鶊D、樹形圖、漏斗圖，根據可視化需要及豐富的圖標顯示特點，選擇合適的一種或多種圖形對分析主題進行可視化展示。

３．２ 可視化的工具

（１）Ｅｘｃｅｌ。

Ｅｘｃｅｌ 是人們最常用的數(shù)據組織和處理工具，它提供了大量的內置圖表，人們可以很好地利用這些圖表來進行數(shù)據可視化。

（２）ＢＩ 工具。

商業(yè)智能（ＢＩ）工具是專有或開源應用軟件，用于收集、處理、分析、排序、過濾和報告來自內部和外部系統(tǒng)的大量數(shù)據，目的是將原始數(shù)據轉換為有用的信息商業(yè)。常見ＢＩ 工具有ｔａｂｌｅａｕ，Ｐｏｗｅｒ ＢＩ，ＳｍａｒｔＢＩ等。Ｓｍａｒｔｂｉ 是國產ＢＩ 工具之一，提供數(shù)據處理、數(shù)據分析、數(shù)據挖掘、數(shù)據可視化等功能，在金融、制造、零售、地產、教育等行業(yè)獲得超４ ０００ 家行業(yè)頭部客戶認可，在Ｓｍａｒｔｂｉ 的官網可以選擇申請試用或選擇Ｄｅｍｏ體驗。

（ ３）大數(shù)據可視化開源庫。

Ｍａｔｐｌｏｔｌｉｂ 是一個在Ｐｙｔｈｏｎ 中創(chuàng)建靜態(tài)、動畫和交互式可視化的綜合庫。Ｍａｔｐｌｏｔｌｉｂ 可用于Ｐｙｔｈｏｎ 腳本、Ｐｙｔｈｏｎ／ ＩＰｙｔｈｏｎｓｈｅｌｌ、Ｗｅｂ 應用程序服務器和各種圖形用戶界面工具包。ＰｙＥＣｈａｒｔｓ 是一個Ｐｙｔｈｏｎ 第三方庫，用于開發(fā)生成可視化圖表。Ｐｙｅｃｈａｒｔｓ 具有簡單的ＡＰＩ 設計， 支持主流Ｎｏｔｅｂｏｏｋ 環(huán)境， ＪｕｐｙｔｅｒＮｏｔｅｂｏｏｋ 和Ｊｕｐｙｔｅｒ Ｌａｂ，易于集成到Ｆｌａｓｋ 和Ｄｊａｎｇｏ等主流Ｗｅｂ 框架中。

４ 重型裝備制造業(yè)大數(shù)據分析及可視化

４．１ 重型機械裝備制造企業(yè)管理駕駛艙

本文通過深入研究相關大數(shù)據分析與可視化技術，按照面向對象的軟件開發(fā)方法，開發(fā)了重型機械裝備制造企業(yè)的管理駕駛艙系統(tǒng)平臺。通過管理駕駛艙系統(tǒng)可視化大屏，企業(yè)高管及管理者可以快速查看訂貨合同金額計劃完成率、報產產值完成率、銷售收入完成率、貨款回收完成率、合同金額、銷售金額（銷售收入）以及貨款稅收金額指標；還能查閱地理緯的省份、城市合同簽訂金額可視化結果；年度、產品分類的合同金額的?；鶊D；報產金額、報產重量、產品分類的詞云圖；庫存柱狀圖以及責任制工資指標可視化圖表，具體如圖１ 所示。

４．２ 管理駕駛艙系統(tǒng)研究結果

整個管理駕駛艙系統(tǒng)功能分為８ 個功能模塊，包括管理駕駛艙總倉、銷售指標、生產指標、采購指標、協(xié)作指標、財務指標、人力資源指標及系統(tǒng)權限管理。其中，管理駕駛艙總倉展示企業(yè)核心指標（ＫＰＩ）；銷售指標、生產指標、采購指標、協(xié)作指標、財務指標、人力資源指標６ 個功能模塊分別從６ 個業(yè)務方面進行指標數(shù)據查詢、透視分析及儀表盤可視化展示；系統(tǒng)權限管理功能模塊實現(xiàn)了人員、角色、權限及用戶密碼修改管理等系統(tǒng)管理。

管理駕駛艙系統(tǒng)Ｗｅｂ 應用端采用Ｖｉｓｕａｌ Ｓｔｕｄｉｏ２０１５，開發(fā)語言為Ｃ＃和ＪＳ，數(shù)據庫環(huán)境為ＭｉｃｒｏｓｏｆｔＳＱＬ Ｓｅｒｖｅｒ ２０１２。ＥＴＬ 及大數(shù)據分析可視化工具采用ＳｍａｒｔＢＩ 工具；大數(shù)據底層采用開源ｈａｄｏｏｐ 大數(shù)據平臺。

５ 結束語

本文從研究背景、研究問題的提出到具體大數(shù)據分析、挖掘及可視化的研究，闡述了大數(shù)據分析挖掘方法及工具、可視化的圖標、可視化的工具，通過理論研究與實證研究，開發(fā)了基于重型機械裝備制造業(yè)的大數(shù)據分析及可視化平臺?管理駕駛系統(tǒng)，形成了本論題的研究結果。通過本論題的研究，為重型機械裝備制造業(yè)管理駕駛系統(tǒng)的構建提供了參考思路。

參考文獻：

［１］ 王旭．資源管理駕駛艙的設計與實現(xiàn)［Ｊ］．鐵路計算機應用，２０２３，３２（１）：４６?５１．

［２］ 任政，祁建，陸晨亮．基于大數(shù)據分析可視化平臺關鍵技術研究及供電服務指揮應用［Ｊ］．微型電腦應用，２０２２，３８（４）：１９８?２０１．

作者簡介：

汪憶（１９８１—），碩士，副教授，高級工程師，研究方向：大數(shù)據技術、人工智能技術、機械裝備制造業(yè)信息化、高等職業(yè)教育。