基于大數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)在工業(yè)信息化中的應(yīng)用分析

王韻滋 王爽

摘 要 在當(dāng)今全球大數(shù)據(jù)的環(huán)境下，將大數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)運(yùn)用在工業(yè)生產(chǎn)中，構(gòu)建從數(shù)據(jù)的感知與采集、數(shù)據(jù)的儲(chǔ)存與建模到數(shù)據(jù)的分析與決策的完整生產(chǎn)模型。能有效改善企業(yè)的生產(chǎn)安排、質(zhì)量監(jiān)督、故障排查和供應(yīng)鏈。提高其信息化、自動(dòng)化水平，對(duì)于提高工業(yè)技術(shù)，促進(jìn)工業(yè)效率的提高具有重要作用。

關(guān)鍵詞 大數(shù)據(jù);數(shù)據(jù)挖掘技術(shù);工業(yè)信息化

引言

在當(dāng)今信息化技術(shù)飛速發(fā)展的時(shí)代，大數(shù)據(jù)技術(shù)運(yùn)用到生產(chǎn)生活的方方面面，在浩如煙海的信息中，想要快速定位抓住需要的信息存在一定困難，為解決這一問(wèn)題，數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生。數(shù)據(jù)挖掘技術(shù)能夠在海量數(shù)據(jù)中快速捕捉定位所需的信息資源，并將其運(yùn)用到生產(chǎn)和生活中。在信息時(shí)代，工業(yè)的發(fā)展需要精確的數(shù)據(jù)支撐，想要提高工業(yè)的信息化水平，充分運(yùn)用大數(shù)據(jù)提供的大量信息資源，就需要通過(guò)數(shù)據(jù)挖掘技術(shù)讓大數(shù)據(jù)為工業(yè)的所需提供相應(yīng)的資料，這樣在原有的實(shí)踐數(shù)據(jù)基礎(chǔ)上所做的研究就更加客觀，從而使大數(shù)據(jù)技術(shù)更好地支持工業(yè)產(chǎn)業(yè)的發(fā)展。

1工業(yè)領(lǐng)域中數(shù)據(jù)挖掘的內(nèi)涵與發(fā)展

數(shù)據(jù)挖掘技術(shù)是通過(guò)統(tǒng)計(jì)、數(shù)據(jù)分析、情報(bào)檢索、機(jī)器學(xué)習(xí)、可視化技術(shù)、模式識(shí)別、人工智能等技術(shù)手段，應(yīng)用算法，在大量數(shù)據(jù)中心搜索信息的技術(shù)過(guò)程。是工業(yè)領(lǐng)域中運(yùn)用大數(shù)據(jù)技術(shù)的重要環(huán)節(jié)。數(shù)據(jù)挖掘技術(shù)現(xiàn)在已經(jīng)在鋼鐵、化工、電力、無(wú)線通信等領(lǐng)域應(yīng)用并取得了較好的效果。在我國(guó)傳統(tǒng)工業(yè)發(fā)展緩慢、工業(yè)產(chǎn)業(yè)面臨轉(zhuǎn)型升級(jí)壓力的環(huán)境下，積極發(fā)展信息化的大數(shù)據(jù)技術(shù)是應(yīng)對(duì)當(dāng)下工業(yè)轉(zhuǎn)型、突破發(fā)展瓶頸的重要契機(jī)和有力技術(shù)支持。

我國(guó)傳統(tǒng)工業(yè)在改革開(kāi)放后積極應(yīng)用電子信息技術(shù)，20世紀(jì)80年代后，數(shù)控機(jī)床、自動(dòng)化設(shè)備、數(shù)字化企業(yè)等技術(shù)在工業(yè)企業(yè)內(nèi)大面積應(yīng)用。積累海量工業(yè)生產(chǎn)數(shù)據(jù)，但由于分析技術(shù)的限制，無(wú)法對(duì)數(shù)以百萬(wàn)計(jì)的數(shù)據(jù)進(jìn)行有效甄別篩選和分析。直到21世紀(jì)，伴隨著高性能計(jì)算、數(shù)據(jù)庫(kù)、人工智能、機(jī)器學(xué)習(xí)等新技術(shù)的發(fā)展和應(yīng)用，形成了以數(shù)據(jù)挖掘?yàn)榇淼拇髷?shù)據(jù)技術(shù)，人類才能夠有效處理工業(yè)積累的大數(shù)據(jù)，并利用數(shù)據(jù)分析的結(jié)果，更好地為工業(yè)生產(chǎn)服務(wù)。工業(yè)大數(shù)據(jù)技術(shù)的發(fā)展和應(yīng)用，能夠?qū)I(yè)生產(chǎn)的全過(guò)程進(jìn)行監(jiān)控，通過(guò)收集工業(yè)生產(chǎn)數(shù)據(jù)，利用數(shù)據(jù)挖掘技術(shù)，做到及時(shí)發(fā)現(xiàn)問(wèn)題、分析潛在風(fēng)險(xiǎn)并給出解決方案，從而提高工業(yè)的生產(chǎn)效率，保證工業(yè)的綠色可持續(xù)生產(chǎn)。這符合我國(guó)的經(jīng)濟(jì)發(fā)展方向，有利于加快工業(yè)化和現(xiàn)代化進(jìn)程[1]。

現(xiàn)階段較為成熟的工業(yè)大數(shù)據(jù)數(shù)據(jù)挖掘應(yīng)用有美國(guó)通用電氣公司的Predix平臺(tái)，該平臺(tái)將人，機(jī)，料，法，環(huán)的數(shù)據(jù)相互打通，從而轉(zhuǎn)變了原有的運(yùn)營(yíng)模式，使得通用電氣公司對(duì)未來(lái)行業(yè)的發(fā)展更有預(yù)見(jiàn)性。國(guó)內(nèi)對(duì)于工業(yè)大數(shù)據(jù)數(shù)據(jù)挖掘探索較為成熟的有昆侖數(shù)據(jù)的機(jī)器大數(shù)據(jù)管理分析平臺(tái)和中國(guó)航天工業(yè)集團(tuán)的設(shè)備健康狀態(tài)管理平臺(tái)?？偟膩?lái)說(shuō)，工業(yè)大數(shù)據(jù)數(shù)據(jù)挖掘在我國(guó)發(fā)展勢(shì)頭迅猛，但仍舊應(yīng)用范圍較小，整體尚不成熟。

2數(shù)據(jù)挖掘的一般框架

2.1 數(shù)據(jù)的感知與采集

這一過(guò)程分為數(shù)據(jù)獲取和接入治理兩個(gè)部分。

（1）數(shù)據(jù)獲取，由傳感器網(wǎng)絡(luò)技術(shù)、自動(dòng)識(shí)別技術(shù)和數(shù)字化集成技術(shù)為主要技術(shù)支撐。由于傳感器技術(shù)的發(fā)展，現(xiàn)代工業(yè)企業(yè)的數(shù)控機(jī)床、加工機(jī)器人等設(shè)備中都配備傳感器，以監(jiān)控生產(chǎn)全過(guò)程，在這個(gè)過(guò)程中，傳感器收集大量關(guān)于產(chǎn)品和設(shè)備狀況的數(shù)據(jù)，極大降低數(shù)據(jù)的收集成本。自動(dòng)識(shí)別技術(shù)，通過(guò)二維碼、光信號(hào)以及嵌入式等能縱向追蹤的技術(shù)獲取工業(yè)生產(chǎn)中工業(yè)產(chǎn)品和設(shè)備時(shí)間序列數(shù)據(jù)。數(shù)據(jù)化集成，一般采用制造企業(yè)生產(chǎn)過(guò)程執(zhí)行管理系統(tǒng)、企業(yè)資源計(jì)劃、產(chǎn)品數(shù)據(jù)管理將數(shù)據(jù)整合傳輸。

（2）接入治理，由數(shù)據(jù)獲取的原始數(shù)據(jù)噪音較大，數(shù)據(jù)源眾多，導(dǎo)致存在數(shù)據(jù)重復(fù)和數(shù)據(jù)異構(gòu)等狀況，必須通過(guò)異構(gòu)數(shù)據(jù)優(yōu)化，數(shù)據(jù)去重等治理手段對(duì)數(shù)據(jù)進(jìn)行處理以確保數(shù)據(jù)的準(zhǔn)確性。一般通過(guò)多源數(shù)據(jù)控制技術(shù)，利用矢量化和動(dòng)態(tài)調(diào)節(jié)的手段，解決異構(gòu)數(shù)據(jù)的問(wèn)題，對(duì)數(shù)據(jù)類型進(jìn)行統(tǒng)一。采用數(shù)據(jù)融合技術(shù)實(shí)現(xiàn)實(shí)時(shí)去重和降噪的目的[2]。

2.2 數(shù)據(jù)的儲(chǔ)存與建模

由于數(shù)據(jù)挖掘的對(duì)象是海量的數(shù)據(jù)，這對(duì)存儲(chǔ)和建模技術(shù)提出了更高的要求。

（1）儲(chǔ)存技術(shù)，較為主流的方式是采用分布式基礎(chǔ)構(gòu)架Hadoop，Hadoop由HDFS和MapReduce兩部分組成，HDFS負(fù)責(zé)儲(chǔ)存海量數(shù)據(jù)，HDFS具有三個(gè)優(yōu)勢(shì)。一是具有高容錯(cuò)性，能有效降低因數(shù)據(jù)錯(cuò)亂引發(fā)的系統(tǒng)崩潰;二是對(duì)硬件要求較低，可以在價(jià)格低廉的硬件設(shè)備上運(yùn)行，降低成本;三是數(shù)據(jù)吞吐量高，超大數(shù)據(jù)集的運(yùn)行。MapReduce負(fù)責(zé)對(duì)數(shù)據(jù)的計(jì)算，MapReduce是通過(guò)映射和歸納的方式保證所有映射值對(duì)中的每一個(gè)共享相同的鍵組，從而實(shí)現(xiàn)分布可靠的特點(diǎn)。

（2）建模技術(shù)主要以面向全局的制造數(shù)據(jù)本體建模技術(shù)為主。由于采集到的工業(yè)數(shù)據(jù)缺乏統(tǒng)一的定義，導(dǎo)致數(shù)據(jù)片段無(wú)序離散，通過(guò)分別對(duì)工業(yè)流程中各項(xiàng)要素建模，如設(shè)備建模、產(chǎn)線建模、產(chǎn)品建模等。最終運(yùn)用多級(jí)混合儲(chǔ)存技術(shù)進(jìn)行全局?jǐn)?shù)據(jù)儲(chǔ)存，保證工業(yè)數(shù)據(jù)以統(tǒng)一標(biāo)準(zhǔn)儲(chǔ)存在數(shù)據(jù)庫(kù)中。

2.3 數(shù)據(jù)的分析與決策

數(shù)據(jù)的分析和決策中，數(shù)據(jù)分析與決策的核心就是數(shù)據(jù)挖掘。數(shù)據(jù)挖掘技術(shù)能對(duì)大數(shù)據(jù)從不同維度根據(jù)需要，快速的提取信息。數(shù)據(jù)分析一般分為數(shù)據(jù)集選取、數(shù)據(jù)預(yù)處理、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)建模和結(jié)果分析，五個(gè)步驟。而其中數(shù)據(jù)建模主要方式是通過(guò)構(gòu)建分類模型、聚類模型、預(yù)測(cè)模型和關(guān)聯(lián)模型來(lái)實(shí)現(xiàn)發(fā)現(xiàn)知識(shí)、提取信息的目標(biāo)。

（1）分類模型。將收集的工業(yè)信息應(yīng)用機(jī)器學(xué)習(xí)技術(shù)，通過(guò)監(jiān)督學(xué)習(xí)或無(wú)監(jiān)督學(xué)習(xí)，使程序識(shí)別數(shù)據(jù)類別，在這個(gè)過(guò)程中可人工規(guī)定分類標(biāo)準(zhǔn)，也可以讓程序自主劃分分類標(biāo)準(zhǔn)，繼而對(duì)數(shù)據(jù)進(jìn)行分類，從而構(gòu)建分類模型。

（2）聚類模型。利用模型識(shí)別和對(duì)抗神經(jīng)網(wǎng)絡(luò)技術(shù)通過(guò)對(duì)各類別數(shù)據(jù)的比對(duì)，對(duì)各類數(shù)據(jù)的特征量進(jìn)行關(guān)聯(lián)度比較，找出數(shù)據(jù)間的相似性，將相似的數(shù)據(jù)集分成一個(gè)類，從而進(jìn)行聚類分析，構(gòu)建聚類模型

（3）預(yù)測(cè)模型。實(shí)現(xiàn)預(yù)測(cè)有較多的技術(shù)手段，如決策樹(shù)、貝葉斯分類，集成學(xué)習(xí)模型，馬爾科夫模型等。其原理都是通過(guò)對(duì)訓(xùn)練集集中數(shù)據(jù)的反復(fù)訓(xùn)練，在防止過(guò)度擬合的同時(shí)，找到擬合度最佳的參數(shù)模型，從而構(gòu)建預(yù)測(cè)模型。

（4）關(guān)聯(lián)模型。關(guān)聯(lián)模型的構(gòu)建一般通過(guò)關(guān)聯(lián)規(guī)則分析來(lái)實(shí)現(xiàn)，由于工業(yè)生產(chǎn)過(guò)程中各個(gè)生產(chǎn)環(huán)節(jié)環(huán)環(huán)相扣，通過(guò)對(duì)大量數(shù)據(jù)的對(duì)比，進(jìn)行關(guān)聯(lián)規(guī)則分析，能夠找到關(guān)鍵指標(biāo)，從而建立關(guān)聯(lián)模型[3]。

在四種模型的構(gòu)建中，通常會(huì)運(yùn)用不同類型的數(shù)據(jù)挖掘算法，如關(guān)聯(lián)關(guān)系挖掘算法、分類與聚類算法、回歸與預(yù)測(cè)算法和機(jī)器學(xué)習(xí)算法等。算法的選擇與模型的構(gòu)建主要根據(jù)數(shù)據(jù)挖掘的不同目標(biāo)而確定，通過(guò)對(duì)目標(biāo)的分析和描述，最終確定構(gòu)建模型的算法和模型的框架。

模型構(gòu)建完畢后對(duì)測(cè)試集數(shù)據(jù)進(jìn)行運(yùn)行并分析，利用可視化技術(shù)形成圖表，最終形成輔助決策的預(yù)測(cè)信息。

3數(shù)據(jù)挖掘技術(shù)在工業(yè)信息化中的運(yùn)用

數(shù)據(jù)挖掘技術(shù)在工業(yè)中的運(yùn)用體現(xiàn)在方方面面，如在工業(yè)產(chǎn)品生產(chǎn)制造、銷售、售后的每個(gè)環(huán)節(jié)都將運(yùn)用到大數(shù)據(jù)技術(shù)。數(shù)據(jù)挖掘技術(shù)在每一個(gè)環(huán)節(jié)都能用得到，并能提高效率，在實(shí)現(xiàn)工業(yè)自動(dòng)化過(guò)程中很大一方面都需要依靠大數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)。建立工業(yè)信息數(shù)據(jù)庫(kù)，將有效的數(shù)據(jù)進(jìn)行輸入，然后再對(duì)數(shù)據(jù)進(jìn)行分析，提取有用的信息，提高工業(yè)的智能化程度。工業(yè)中將用到很多工業(yè)設(shè)備，及時(shí)對(duì)設(shè)備進(jìn)行診斷是很有必要的，能夠精準(zhǔn)地抓住設(shè)備所出現(xiàn)的問(wèn)題，然后進(jìn)行修理，提高機(jī)器的運(yùn)行效率，減少人工操作，將大大地提高機(jī)器作業(yè)能力。在工業(yè)生產(chǎn)領(lǐng)域，數(shù)據(jù)挖掘技術(shù)一般應(yīng)用在生產(chǎn)安排、質(zhì)量監(jiān)督、故障排查和供應(yīng)鏈優(yōu)化四個(gè)方面[4]。

（1）生產(chǎn)安排。由于傳感器網(wǎng)絡(luò)和自動(dòng)識(shí)別技術(shù)在整個(gè)生產(chǎn)過(guò)程中的應(yīng)用，通過(guò)對(duì)生產(chǎn)全過(guò)程的實(shí)時(shí)動(dòng)態(tài)監(jiān)控可以實(shí)現(xiàn)對(duì)物料使用情況的實(shí)時(shí)監(jiān)控、對(duì)設(shè)備健康狀況的預(yù)先排查，還可以通過(guò)數(shù)據(jù)挖掘技術(shù)分析預(yù)測(cè)完工期、磨具壽命等變量，預(yù)先發(fā)現(xiàn)生產(chǎn)過(guò)程中可能出現(xiàn)的問(wèn)題，能夠減少誤差，提高安全性，轉(zhuǎn)變被動(dòng)應(yīng)對(duì)突發(fā)事件的運(yùn)行模式，保證生產(chǎn)線穩(wěn)定順利運(yùn)行，通過(guò)及時(shí)主動(dòng)調(diào)整生產(chǎn)計(jì)劃，最終保證生產(chǎn)工作按時(shí)完成。

（2）質(zhì)量監(jiān)督。傳統(tǒng)質(zhì)量管理基于產(chǎn)品的質(zhì)量檢查和次品率，是一種節(jié)點(diǎn)管理手段，這一管理方式確實(shí)能有效保障產(chǎn)品質(zhì)量，但對(duì)于從整個(gè)生產(chǎn)過(guò)程的角度保證產(chǎn)品質(zhì)量以及對(duì)生產(chǎn)流程優(yōu)化改善的幫助并不明顯?；跀?shù)據(jù)挖掘技術(shù)的質(zhì)量監(jiān)督通過(guò)對(duì)生產(chǎn)過(guò)程各個(gè)環(huán)節(jié)重要參數(shù)的收集，形成時(shí)間序列數(shù)據(jù)，分析評(píng)估與次品相關(guān)的關(guān)鍵指標(biāo)，能夠直接在具體的生產(chǎn)環(huán)節(jié)及時(shí)發(fā)現(xiàn)導(dǎo)致次品產(chǎn)生的原因，及時(shí)進(jìn)行優(yōu)化改善，使生產(chǎn)企業(yè)在全面掌握產(chǎn)品質(zhì)量性能的基礎(chǔ)上形成質(zhì)量實(shí)時(shí)質(zhì)量診斷系統(tǒng)，智能定位質(zhì)量問(wèn)題[5]。

（3）故障排查。傳統(tǒng)故障診斷是在設(shè)備發(fā)生故障后，停運(yùn)生產(chǎn)線，通過(guò)專家判斷故障類型，并進(jìn)行維修，這屬于典型的事后管理，處置與維護(hù)具有滯后性?；跀?shù)據(jù)挖掘技術(shù)的故障排查是通過(guò)設(shè)備上的傳感器，實(shí)時(shí)收集設(shè)備運(yùn)轉(zhuǎn)的關(guān)鍵數(shù)據(jù)，如負(fù)荷、震動(dòng)、溫度、壓力、電流等。通過(guò)數(shù)據(jù)挖掘的數(shù)據(jù)分析，與生產(chǎn)數(shù)據(jù)、知識(shí)庫(kù)進(jìn)行比對(duì)，實(shí)現(xiàn)對(duì)設(shè)備故障的預(yù)測(cè)和診斷，并自動(dòng)生成維護(hù)建議，從而實(shí)現(xiàn)對(duì)設(shè)備故障的事前管理，提高工作效率。

（4）供應(yīng)鏈優(yōu)化。由自動(dòng)識(shí)別技術(shù)、物聯(lián)網(wǎng)以及傳感器技術(shù)構(gòu)建起完整的供應(yīng)鏈數(shù)據(jù)庫(kù)。利用該數(shù)據(jù)庫(kù)，通過(guò)回歸分析和聚類分析等數(shù)據(jù)挖掘手段，實(shí)時(shí)監(jiān)控全產(chǎn)業(yè)鏈供求變化，挖掘潛在供應(yīng)鏈風(fēng)險(xiǎn)。預(yù)測(cè)物料需求情況和供給情況，在維持低庫(kù)存的情況下防止避免物料供給不足，以實(shí)現(xiàn)庫(kù)存管理最優(yōu)化和物流成本最低化。

大數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)在工業(yè)中的運(yùn)用還體現(xiàn)在其他很多方面，數(shù)據(jù)化的發(fā)展很大程度上提高了工業(yè)的生產(chǎn)效率，提高我國(guó)的工業(yè)信息化、自動(dòng)化水平，保證我國(guó)的工業(yè)健康、穩(wěn)定、高效地發(fā)展[6]。

4結(jié)束語(yǔ)

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)挖掘技術(shù)對(duì)于工業(yè)信息化發(fā)展十分重要，面對(duì)傳統(tǒng)工業(yè)的轉(zhuǎn)型，為了能夠讓工業(yè)有序健康地發(fā)展，將數(shù)據(jù)挖掘、大數(shù)據(jù)分析等新型技術(shù)運(yùn)用到企業(yè)發(fā)展和生產(chǎn)中是促進(jìn)工業(yè)轉(zhuǎn)型升級(jí)的關(guān)鍵手段。提高工業(yè)的信息化水平和自動(dòng)化能力，是符合當(dāng)今時(shí)代對(duì)工業(yè)發(fā)展的要求，更符合《中國(guó)制造2025》的國(guó)家戰(zhàn)略。工業(yè)是國(guó)家的支柱性產(chǎn)業(yè)，優(yōu)化生產(chǎn)流程，提高生產(chǎn)效率能有效提高我國(guó)的工業(yè)能力，從而進(jìn)一步提升我國(guó)綜合經(jīng)濟(jì)實(shí)力。面對(duì)全球的信息風(fēng)暴，能夠快速準(zhǔn)確地將有用的信息挖掘出來(lái)，將其運(yùn)用到工業(yè)生產(chǎn)中，促進(jìn)我國(guó)的經(jīng)濟(jì)發(fā)展，將不同的學(xué)科信息交叉相結(jié)合，信息互換和交流能夠更好地提高技術(shù)水平，在工業(yè)發(fā)展中唯有技術(shù)才是保障也是助力，能夠有效地提高工業(yè)信息化水平。

參考文獻(xiàn)

[1] 何沙，胡堯，王林元，等.基于大數(shù)據(jù)技術(shù)的應(yīng)急決策指揮體系構(gòu)建——以中國(guó)國(guó)際石油合作突發(fā)事件為例[J].科技管理研究，2017（3）：11-12.

[2] 龔健.數(shù)據(jù)挖掘技術(shù)在農(nóng)業(yè)信息服務(wù)中的應(yīng)用研究[D].合肥：安徽農(nóng)業(yè)大學(xué)，2018，16（3）：109.

[3] 姚璐.大數(shù)據(jù)時(shí)代下企業(yè)管理及應(yīng)用[J].科技創(chuàng)業(yè)月刊，2018（1）： 82-83.

[4] 于文.大數(shù)據(jù)時(shí)代背景下數(shù)據(jù)挖掘技術(shù)與企業(yè)信息化[J].通訊世界，2016，23（2）：62.

[5] 趙穎.面向生產(chǎn)管控的工業(yè)大數(shù)據(jù)研究及應(yīng)用[J].計(jì)算機(jī)科學(xué)，2019，46（6A）：45-46.

[6] 許寧.基于大數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)在工業(yè)信息化中的應(yīng)用探究 [J].現(xiàn)代工業(yè)經(jīng)濟(jì)和信息化，2017，154（22）：50-54.