海量MES監(jiān)控數(shù)據(jù)的高效存儲與處理

郝昕+馬超

摘 要：隨著云制造和工業(yè)大數(shù)據(jù)時代的來臨，傳統(tǒng)的MES監(jiān)控系統(tǒng)正面臨著新的挑戰(zhàn)。海量的工業(yè)數(shù)據(jù)存儲需要更高的性能，日益增多的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)則需要更加高效的存儲功能。為了解決這一問題，文章研究并實現(xiàn)了基于Hadoop技術(shù)存儲數(shù)據(jù)的MES監(jiān)控系統(tǒng)，采用物聯(lián)網(wǎng)技術(shù)，通過傳感器網(wǎng)絡，監(jiān)控網(wǎng)絡，RFID網(wǎng)絡來獲取MES監(jiān)控系統(tǒng)有關(guān)設備，產(chǎn)品，人員的有關(guān)數(shù)據(jù)，數(shù)據(jù)存儲使用Hadoop技術(shù)，將數(shù)據(jù)存儲在遠端的分布式存儲數(shù)據(jù)庫中，減輕了本地數(shù)據(jù)庫的存儲壓力，提高了存儲能力和存儲速度。最后，文章以MES生產(chǎn)制造中的鉆攻機為測試用例，驗證了海量MES監(jiān)控數(shù)據(jù)的高效存儲與處理。

關(guān)鍵詞：Hadoop；HDFS；HBASE；MES監(jiān)控系統(tǒng)

中圖分類號：TP274 文獻標志碼：A 文章編號：2095-2945（2017）19-0031-02

引言

當今社會是云時代，隨著云計算的發(fā)展，越來越多的云應用開始融入到制造企業(yè)生產(chǎn)車間的日常業(yè)務，從原來僅僅使用本地化車間的制造資源與能力到現(xiàn)在逐漸開始使用云端的虛擬化制造資源與能力，從原來的本地數(shù)據(jù)存儲到現(xiàn)在的云存儲，云計算不知不覺中已經(jīng)開始慢慢改變制造企業(yè)生產(chǎn)車間的業(yè)務過程，因此，作為管理生產(chǎn)車間業(yè)務過程的制造執(zhí)行系統(tǒng)MES正面臨新的挑戰(zhàn)。

在當今的大數(shù)據(jù)時代下，MES監(jiān)控系統(tǒng)也發(fā)生了變革，MES監(jiān)控系統(tǒng)中越來越多的非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)也需要存儲到數(shù)據(jù)庫中，不斷挑戰(zhàn)著以前的關(guān)系型數(shù)據(jù)庫。但是隨著技術(shù)的增進，Hadoop的出現(xiàn)可以解決這個問題，Hadoop的設計目標是存儲海量數(shù)據(jù)，并為分布在網(wǎng)絡中的大量客戶端提供高效的數(shù)據(jù)訪問，并且Hadoop提供了HBASE4的機制，可以為MES監(jiān)控系統(tǒng)中的非結(jié)構(gòu)化數(shù)據(jù)，半結(jié)構(gòu)化數(shù)據(jù)提供存儲。

1 海量多源異構(gòu)的制造車間生產(chǎn)數(shù)據(jù)

在MES監(jiān)控系統(tǒng)中，我們需要實時獲取這些信息：

1.1設備有關(guān)數(shù)據(jù)

1.1.1 設備運行的狀態(tài)參數(shù)

主要指在設備上安放傳感器和建立傳感器采集網(wǎng)絡，通過傳感器網(wǎng)絡來采集反映設備運行狀態(tài)的數(shù)據(jù)，例如設備的振動，溫度等指標，也就是傳統(tǒng)意義上的監(jiān)控數(shù)據(jù)。同時也是MES監(jiān)控系統(tǒng)中最主要的數(shù)據(jù)。

1.1.2 設備運行的工況數(shù)據(jù)

主要指設備的工作情況，如負載，轉(zhuǎn)速，運行模式等工作的設定信息，此類數(shù)據(jù)往往能從控制器內(nèi)獲得，不同設備的工況數(shù)據(jù)衡量指標大不相同。

1.1.3 設備使用過程中的環(huán)境參數(shù)

指所有可能影響設備性能和運行狀態(tài)的環(huán)境信息，也就是設備的工作車間信息，如溫度，風速，濕度等信息。采集環(huán)境參數(shù)信息能夠幫助我們更好地理解設備運行所受環(huán)境影響的規(guī)律，幫助我們將由于設備狀態(tài)和環(huán)境變化引起的性能變化區(qū)分開來。

1.1.4 設備運行監(jiān)控視頻

在車間內(nèi)安裝攝像頭，以便攝錄車間內(nèi)設備的工作情況。用于在設備出現(xiàn)故障時，及時查看設備工作情況視頻，以便觀察設備出現(xiàn)故障前的工作狀態(tài)，進行設備故障分析，更好的進行設備維修。

1.1.5 設備工作計劃

從MES生產(chǎn)調(diào)度系統(tǒng)中實時獲取整個車間的最新生產(chǎn)計劃，以便生產(chǎn)車間及時進行生產(chǎn)設備調(diào)整，更快的應對生產(chǎn)計劃改變。

1.2 產(chǎn)品有關(guān)數(shù)據(jù)

1.2.1 產(chǎn)品工藝圖

指產(chǎn)品的設計階段中，產(chǎn)品的工藝流程圖，其記載了產(chǎn)品所需工藝和工藝加工順序，工藝加工時間，以及產(chǎn)品工藝所需車間設備。

1.2.2 產(chǎn)品生產(chǎn)流程

指產(chǎn)品在實際生產(chǎn)階段中，產(chǎn)品的RFID標簽記錄的產(chǎn)品的生產(chǎn)流程圖，其流程圖記錄了產(chǎn)品的生產(chǎn)工藝，及工藝所負責加工的設備信息，由于MES車間環(huán)境變化巨大，MES生產(chǎn)調(diào)度系統(tǒng)實時根據(jù)車間環(huán)境調(diào)整生產(chǎn)計劃，故產(chǎn)品的實際生產(chǎn)流程和產(chǎn)品工藝圖是有一定區(qū)別變化的。

1.3 人員有關(guān)數(shù)據(jù)

1.3.1 人員實時位置

通過在車間內(nèi)建立RFID收發(fā)網(wǎng)絡，生產(chǎn)人員佩戴RFID芯片，通過在不同的車間內(nèi)建立不同的載波信號區(qū)域，人員進入到不同的載波區(qū)域，RFID芯片激活，將RFID所記錄的信息傳送到服務器，以達到人員的實時位置管理。

1.3.2 人員加工計劃

記錄了加工人員所負責的生產(chǎn)設備的加工計劃，包括人員所負責的工藝，所負責的設備，加工時段。

2 基于物聯(lián)網(wǎng)技術(shù)的數(shù)據(jù)實時獲取

2.1 傳感器采集網(wǎng)絡

由于MES監(jiān)控系統(tǒng)需要對車間生產(chǎn)數(shù)據(jù)實時采集監(jiān)控并且后續(xù)還要對數(shù)據(jù)進行分析，所以我們采用無線網(wǎng)絡技術(shù)結(jié)合傳感器組建成傳感器網(wǎng)絡，傳感器憑借低廉的成本，以及對溫度，光線，震動，聲音等信息源感知的敏感性和精確性，可作為車間生產(chǎn)加工設備的感知器官，利用傳感器可以從生產(chǎn)車間獲取所需的環(huán)境參數(shù)，設備參數(shù)與運行狀況等詳細信息，為MES監(jiān)控系統(tǒng)提供基礎(chǔ)的原始信息。

2.2 監(jiān)控網(wǎng)絡

在生產(chǎn)車間內(nèi)放置攝像頭和視頻服務器，攝像頭所記錄的原始視頻信號傳到視頻服務器，經(jīng)視頻服務器編碼后，以TCP/TP協(xié)議通過網(wǎng)絡傳輸管理中心，網(wǎng)絡傳輸管理中心負責所有前段設備的管理，控制，報警處理，錄像，錄像回放，用戶管理等工作，并且在網(wǎng)絡傳輸管理中心為這些服務搭建專門的服務器，MES監(jiān)控系統(tǒng)需要實時查看車間情況時，通過向網(wǎng)絡傳輸管理中心發(fā)送請求，從數(shù)據(jù)存儲的服務器中調(diào)取數(shù)據(jù)，進行遠程查看。

2.3 RFID網(wǎng)絡

在生產(chǎn)過程中，我們可以在產(chǎn)品內(nèi)嵌入RFID芯片，來記錄產(chǎn)品的實際生產(chǎn)流程，我們可以在人員上佩戴RFID芯片，用于實時獲取人員的位置。

我們在不同車間內(nèi)安置不同的射頻信號發(fā)射器，將低頻的加密數(shù)據(jù)載波信號經(jīng)發(fā)射天線發(fā)送到不同的車間，這樣佩戴RFID芯片的工作人員在經(jīng)過不同的發(fā)射天線工作區(qū)域后RFID被激活，將加密的載有目標識別碼的信息經(jīng)卡內(nèi)高頻發(fā)射模塊發(fā)射出去，接收天線收到RFID卡發(fā)來的載波信號，經(jīng)車間內(nèi)讀寫設備提取出目標識別碼，并傳輸?shù)骄W(wǎng)絡傳輸管理中心，MES監(jiān)控系統(tǒng)與網(wǎng)絡傳輸管理中心進行信息交互，這樣在MES監(jiān)控系統(tǒng)中可實現(xiàn)對人員定位的管理。

3 基于HADOOP的MES監(jiān)控數(shù)據(jù)存儲

3.1 HBASE數(shù)據(jù)庫

傳統(tǒng)的MES監(jiān)控系統(tǒng)數(shù)據(jù)庫都是采用關(guān)系型數(shù)據(jù)庫，采用二維的表結(jié)構(gòu)，來存儲著一些結(jié)構(gòu)化數(shù)據(jù)，例如在傳統(tǒng)的MES監(jiān)控系統(tǒng)中，只需不斷采集設備工作狀態(tài)參數(shù)，設備環(huán)境參數(shù)等參數(shù)，并且將信息存儲到數(shù)據(jù)庫中就完成了MES監(jiān)控系統(tǒng)的流程。

我們可以用HBASE中的列式存儲和稀疏多維映射表技術(shù)來對MES監(jiān)控系統(tǒng)中海量、多源、異構(gòu)的制造車間生產(chǎn)數(shù)據(jù)進行數(shù)據(jù)庫存儲。

HBASE中稀疏多維映射表的技術(shù)是指，表中的數(shù)據(jù)通過一個行關(guān)鍵字（row key），一個列關(guān)鍵字（column key），以及一個時間戳（time stamp）進行索引和查詢定位，通過時間戳允許數(shù)據(jù)有多個版本。

{row key，colunmn family ，column name，timestamp}->value

3.2 設備有關(guān)數(shù)據(jù)存儲

我們在本文中以軸流式水輪機制造工藝中“鉆攻銑坡口”的所屬設備：鉆攻機為例。

鉆攻機可以批量生產(chǎn)加工小型五金零件，可以鉆孔，攻絲，銑切。適合材料銅鋁件，鑄件，一般鋼件。

設備運行狀態(tài)：

對于鉆攻機設備數(shù)據(jù)中的設備運行狀態(tài)參數(shù)，我們可以通過在機器設備上的傳感器來采集狀態(tài)參數(shù)，如主軸轉(zhuǎn)速，主軸錐度，設備的X軸偏移量，Y軸偏移量，Z軸偏移量等設備狀態(tài)參數(shù)。

在以往的系統(tǒng)中，Hbase的多維映射表技術(shù)如下：

{設備編號，生產(chǎn)車間，設備運行參數(shù)種類，時間戳}->設備運行參數(shù)值

HBASE中表結(jié)構(gòu)如表1。

但是對于工件制造加工過程中，主軸轉(zhuǎn)速和主軸錐度是實時變化的，反而對于X，Y，Z軸偏移量是很少變化的，并且在工件制造過程中操作次數(shù)較多的只是根據(jù)時間和設備型號來查詢主軸轉(zhuǎn)速，所以為了提供高效的查詢能力，我們改變HBASE的表結(jié)構(gòu)，對HBASE中的行健進行冗余設計，將rowkey和timestamp結(jié)合起來存儲在HBASE中，從兩個屬性值查詢變?yōu)橐粋€屬性值的查詢，提高了查詢效率。

4 結(jié)束語

本文在研究與實現(xiàn)基于Hadoop技術(shù)存儲的MES監(jiān)控系統(tǒng)，綜合運用了Hadoop技術(shù)，物聯(lián)網(wǎng)，大數(shù)據(jù)等先進信息技術(shù)，設計并實現(xiàn)了包含傳感器采集網(wǎng)絡，視頻采集網(wǎng)絡，RFID網(wǎng)絡的實時數(shù)據(jù)采集手段，和基于HBASE技術(shù)的數(shù)據(jù)庫，通過這些模塊來實時采集設備的各項數(shù)據(jù)和產(chǎn)品有關(guān)數(shù)據(jù)和車間加工人員的實時位置，將采集到的數(shù)據(jù)通過建立稀疏多維映射表來存儲到分布式文件系統(tǒng)中，便于文件的快速存儲和系統(tǒng)的快速讀取，提高了系統(tǒng)處理數(shù)據(jù)的能力，最后，采用MES生產(chǎn)車間內(nèi)的鉆攻機的有關(guān)生產(chǎn)數(shù)據(jù)，對MES監(jiān)控系統(tǒng)處理海量數(shù)據(jù)進行了測試和驗證。

參考文獻：

[1]張華強.關(guān)系型數(shù)據(jù)庫與NoSQL數(shù)據(jù)庫[J].數(shù)據(jù)庫與信息管理，2011（20）：4802-4804.

[2]程瑩.基于Hadoop及關(guān)系型數(shù)據(jù)庫的海量數(shù)據(jù)分析研究[J].中國聯(lián)通研究院云計算專欄，2010（11）：47-50.

[3]劉國靜.基于SOA架構(gòu)的企業(yè)應用研究[D].計算機應用技術(shù)：華東師范大學，2006.

[4]馬翠云.基于HBase的大規(guī)模數(shù)據(jù)存儲解決方案的設計和實現(xiàn)[D].通信與信息系統(tǒng)：山東大學，2015.

[5]蘇北并，周小波.基于RFID技術(shù)的煤礦安全追蹤系統(tǒng)[A].全國ISNBM學術(shù)交流會暨電腦開發(fā)與應用創(chuàng)刊20周年慶祝大會論文集：電腦開發(fā)與應用編輯部[C].2005：121-122.