• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于Hadoop的鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺研究

    2016-11-29 03:42:33常錦才
    軟件 2016年9期
    關(guān)鍵詞:鋼鐵集群分布式

    王 卓,辛 星,尹 曉,常錦才,2*

    (1. 華北理工大學 理學院,河北 唐山 063009;2. 河北省數(shù)據(jù)科學與應(yīng)用重點實驗室 河北 唐山 063009)

    基于Hadoop的鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺研究

    王卓1,辛星1,尹曉1,常錦才1,2*

    (1. 華北理工大學 理學院,河北 唐山063009;2. 河北省數(shù)據(jù)科學與應(yīng)用重點實驗室 河北 唐山063009)

    大數(shù)據(jù)平臺在鋼鐵企業(yè)的部署對產(chǎn)業(yè)轉(zhuǎn)型和升級有重要作用。鋼鐵產(chǎn)業(yè)大數(shù)據(jù)具有 明顯的實時性、動態(tài)性和不確定性等特點。為應(yīng)對Hadoop分布式文件系統(tǒng)在處理實時工業(yè)數(shù)據(jù)流顯現(xiàn)出的一些不足,提出了基于分布式NameNode節(jié)點的HDFS。對基于分布式NameNode節(jié)點的HDFS進行了總體設(shè)計,包括TopNameNode和分布式NameNode的主要功能和工作機制。分析了分布式NameNode節(jié)點的HDFS的性能優(yōu)點。提出了在虛擬化資源管理平臺上搭建基于Hadoop的動態(tài)可伸縮的分布式文件存儲平臺。將基于知識工程的方法和基于數(shù)據(jù)驅(qū)動的方法相結(jié)合,建立了一種新的混合故障診斷模型。最后對分布式鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺的優(yōu)勢進行分析。

    鋼鐵大數(shù)據(jù);HDFS;分布式NameNode;技術(shù)架構(gòu);故障診斷

    本文著錄格式:王卓,辛星,尹曉,等. 基于Hadoop的鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺研究[J]. 軟件,2016,37(9):47-51

    0 引言

    大數(shù)據(jù)平臺的盡早部署直接影響著整個鋼鐵產(chǎn)業(yè)的轉(zhuǎn)型升級和戰(zhàn)略突破。在美國工業(yè)聯(lián)網(wǎng)和德國工業(yè)4.0引領(lǐng)的第四次工業(yè)革命的背景下,若不能將大數(shù)據(jù)技術(shù)運用于鋼鐵實際生產(chǎn),實現(xiàn)鋼鐵產(chǎn)業(yè)智能化,中國鋼鐵將會在國際競爭中處于劣勢,甚至面臨被淘汰的危險。因此,把大數(shù)據(jù)和鋼鐵生產(chǎn)行業(yè)結(jié)合,實現(xiàn)鋼鐵工業(yè)4.0非常必要。大數(shù)據(jù)存儲方案和平臺是大數(shù)據(jù)的基礎(chǔ)和關(guān)鍵的一環(huán),傳統(tǒng)的存儲模式有存儲數(shù)據(jù)量小,計算速度慢,故障后解決困難,損失大的問題,而Hadoop HDFS分布式文件系統(tǒng)具有高容錯性,高可擴展性的特點,存儲平臺安全、穩(wěn)定、可靠[1],同時HDFS使工業(yè)生產(chǎn)的流式數(shù)據(jù)充分發(fā)揮其價值,減少鋼鐵工業(yè)的原料浪費,充分利用生產(chǎn)中的熱量,減少熱量浪費,同時又減少對環(huán)境的傷害。本文就Hadoop HDFS為適應(yīng)鋼鐵生產(chǎn)數(shù)據(jù)特點的優(yōu)化,存儲平臺的技術(shù)架構(gòu),指導生產(chǎn)的實現(xiàn)以及混合故障診斷展開討論。

    1 Hadoop發(fā)展現(xiàn)狀

    Hadoop作為Apache Nutch項目的一個子項目,從2002開始實現(xiàn)開發(fā),經(jīng)過4年的發(fā)展,逐步實現(xiàn)以MapReduce作為計算框架并與NDFS(Nutch distributed file system)結(jié)合的方式來支持Nutch的主要算法,直到2006成為一套完整而獨立的軟件,并正式起名為 Hadoop。

    Apache Hadoop軟件庫是一個框架。它的目的是把單一服務(wù)器擴展到成千上萬的機器,每個節(jié)點提供本地計算和存儲,而不是依靠硬件來實現(xiàn)高可用性。

    Hadoop主要包括以下模塊:

    (1)Hadoop Common:常見的實用程序,支持其他Hadoop模塊。

    (2)Hadoop分布式文件系統(tǒng)(HDFS):一個分布式文件系統(tǒng),它提供了高通量訪問應(yīng)用程序數(shù)據(jù)。

    (3)Hadoop YARN:一個集群作業(yè)調(diào)度和資源管理的框架。

    (4)Hadoop MapReduce:基于YARN的系統(tǒng),并行處理大型數(shù)據(jù)集。

    Hadoop目前在互聯(lián)網(wǎng)行業(yè)的發(fā)展已進入成熟階段,Hadoop設(shè)計之初的目標就定位于高可靠性、高可拓展性、高容錯性和高效性,正是這些設(shè)計上與生俱來的優(yōu)點,才使得Hadoop一出現(xiàn)就受到眾多大公司的青睞,同時也引起了研究界的普遍關(guān)注。Apache Hadoop技術(shù)已廣泛應(yīng)用在互聯(lián)網(wǎng)領(lǐng)域,雅虎使用多達4000個節(jié)點的Hadoop集群來支持廣告系統(tǒng)和Web搜索的研究;中國移動研究院基于Hadoop開發(fā)了“大云”(Big Cloud)系統(tǒng),不但用于相關(guān)數(shù)據(jù)分析,還對外提供服務(wù);百度每周的數(shù)據(jù)量可達200 TB,該公司使用Hadoop處理進行搜索日志分析和網(wǎng)頁數(shù)據(jù)挖掘工作;國內(nèi)的高校和科研院所也對基于Hadoop在數(shù)據(jù)存儲、資源管理、作業(yè)調(diào)度、性能優(yōu)化、系統(tǒng)高可用性和安全性方面進行研究。

    經(jīng)過多年的發(fā)展與完善,Apache Hadoop在2016年1月25日,發(fā)布了Hadoop最新的2.73版本。

    2 為適應(yīng)鋼鐵大數(shù)據(jù)特點的HDFS優(yōu)化研究

    2.1分布式NameNode節(jié)點總體結(jié)構(gòu)設(shè)計

    傳統(tǒng)Hadoop構(gòu)架中,只存在單一的NameNode節(jié)點。而鋼鐵企業(yè)的實時生產(chǎn)大數(shù)據(jù)具有時效性強,數(shù)據(jù)量大的問題。Hadoop傳統(tǒng)的單一NameNode節(jié)點,會有單點失效,性能瓶頸,擴展瓶頸等問題。一旦出現(xiàn)問題,對企業(yè)會造成一定的損失。雖然Hadoop使用SecondaryNameNode來備份NameNode的元數(shù)據(jù),然而NameNode出現(xiàn)問題時并不能實現(xiàn)自動切換,必須由人工介入,將會打亂企業(yè)的生產(chǎn)計劃[2]。因此,創(chuàng)新性地提出了分布式NameNode節(jié)點的HDFS設(shè)計。

    在HDFS集群中加入一個能夠可靠工作的TopNameNode節(jié)點,它負責管理所有的NameNode節(jié)點,使各個NameNode節(jié)點更好地協(xié)作,確保HDFS集群的正常運行。

    在采用分布式NameNode架構(gòu)的HDFS中,各個NameNode節(jié)點組成一個分布式的NameNode系統(tǒng),作為HDFS的主節(jié)點,它們對文件系統(tǒng)提供相同的服務(wù)。同時為保證TopNameNode和NameNode的高可用性[3-4],每個節(jié)點在集群中都有備份節(jié)點。分布式NameNode節(jié)點的HDFS系統(tǒng)結(jié)構(gòu)如圖1所示。

    圖1 分布式名稱節(jié)點的HDFS系統(tǒng)結(jié)構(gòu)圖Fig.1 HDFS System Structure Diagram Based on Distributed NameNode

    (1)TopNameNode節(jié)點

    TopNameNode節(jié)點是所有NameNode節(jié)點的控制節(jié)點,它要維護所有NameNode的健康狀態(tài)、所有DataNode的信息。其主要任務(wù)為:

    ① 監(jiān)控分布式NameNode系統(tǒng)的工作狀況:HDFS集群中的所有NameNode節(jié)點每隔一段時間向TopNameNode節(jié)點發(fā)送一次心跳信號,如果TopNameNode節(jié)點在指定時間內(nèi)沒有收到某個NameNode節(jié)點的心跳信號,便認為此節(jié)點故障。

    ②處理NameNode節(jié)點的故障:當TopNameNode節(jié)點發(fā)現(xiàn)某個NameNode節(jié)點發(fā)生故障時,立即啟動該NameNode節(jié)點的備份節(jié)點Secondary NameNode替換故障節(jié)點。

    ③轉(zhuǎn)發(fā)DataNode的信息,TopNameNode節(jié)點收集所有DataNode的狀態(tài)信息,再轉(zhuǎn)發(fā)給所有的NameNode節(jié)點。

    (2)NameNode節(jié)點

    NameNode節(jié)點與單一NameNode節(jié)點的任務(wù)基本一致。唯一的區(qū)別點在于:單一的NameNode節(jié)點包含了HDFS的所有元數(shù)據(jù),而分布式的NameNode節(jié)點中,元數(shù)據(jù)是分散存儲在各個NameNode節(jié)點中的。集群中所有NameNode節(jié)點都是對等的,一起為HDFS提供元數(shù)據(jù)服務(wù)。

    2.2HDFS可靠性的設(shè)計實現(xiàn)

    (1)安全模式

    HDFS啟動時,NameNode將進入安全模式。處于安全模式的NameNode無法進行任何的文件操作,內(nèi)部的副本創(chuàng)建也被禁止[5]。NameNode此時需和各DataNode通信,獲得DataNode保存的數(shù)據(jù)塊信息,并對數(shù)據(jù)塊信息進行檢查。只有通過了NameNode的檢查,此數(shù)據(jù)塊才被認為安全。當認為安全的數(shù)據(jù)塊所占的比例達到了配置值,NameNode才會退出。

    (2)TopNameNode

    若NameNode、DataNode節(jié)點向TopNameNode發(fā)送的心跳信息在指定時間內(nèi)未得到回復(fù),則認為TopNameNode發(fā)生了故障[6],進而把心跳信息發(fā)送給SecondaryTopNameNode;若SecondaryTop NameNode向TopNameNode發(fā)送的信息請求在指定時間內(nèi)未得到回復(fù),就代替其進行工作。這樣的保障機制使得TopNameNode/SecondaryTopNameNode能時刻維護集群中NameNode和DataNode節(jié)點的最新信息。

    (3)心跳包和副本重新創(chuàng)建

    為了保證NameNode和各個DataNode的聯(lián)系,分布式存儲平臺采用了心跳包(Heart beat)機制。位于整個HDFS核心的NameNode,通過周期性的活動來檢查DataNode的活性。NameNode周期性向管理的各個DataNode發(fā)送心跳包,而收到心跳包的DataNode則需回復(fù)。由于心跳包總是定時發(fā)送,NameNode把將要執(zhí)行的命令通過心跳包發(fā)送給DataNode,而DataNode收到心跳包,一方面回復(fù)NameNode,另一方面就開始了與用戶或者應(yīng)用的數(shù)據(jù)傳輸[7]。

    如偵測到了DataNode失效,那之前保存在此DataNode上的數(shù)據(jù)就變成不可用的[8-9]。那么,如果有的副本存儲在失效的DataNode上,則需要重新創(chuàng)建這個副本,放到另外可用的地方。其他需要創(chuàng)建副本的情況包括數(shù)據(jù)塊校驗失敗等。

    (4)數(shù)據(jù)一致性

    DataNode與應(yīng)用數(shù)據(jù)交互的大部分情況都是通過網(wǎng)絡(luò)進行的,而網(wǎng)絡(luò)數(shù)據(jù)傳輸帶來的一大問題就是數(shù)據(jù)是否能原樣到達[10]。為保證數(shù)據(jù)的一致性,HDFS采用了數(shù)據(jù)校驗,校驗和機制。

    (5)租約

    每當寫入文件之前,一個客戶端必須要獲得NameNode發(fā)放的一個租約。NameNode保證同一個文件只會發(fā)放一個允許寫的租約,那么就可以有效防止出現(xiàn)多人寫入的情況。

    2.3基于分布式NameNode節(jié)點的HDFS特性和優(yōu)點

    (1)NameNode/SecondaryNameNode實現(xiàn)了快速切換

    在原有的SecondaryNameNode機制的基礎(chǔ)上,分布式NameNode節(jié)點增加了TopNameNode,統(tǒng)籌管理各NameNode,在某個NameNode節(jié)點發(fā)生故障時,可迅速實現(xiàn)NameNode/SecondaryNameNode的切換,提高了HDFS的可用性。

    (2)分布式NameNode服務(wù)性能的提升

    HDFS集群中多個NameNode可同時為客戶端提供元數(shù)據(jù)服務(wù),對于元數(shù)據(jù)的請求,根據(jù)元數(shù)據(jù)存放策略可定位對應(yīng)的NameNode節(jié)點,解決了單一NameNode節(jié)點的單點性能瓶頸問題。

    (3)Hadoop集群更易擴展

    集群中的多個NameNode,大大增加了可用于存放元數(shù)據(jù)的內(nèi)存資源,集群中可擴展更多的DataNode,存儲更多的數(shù)據(jù),不再輕易受到單一NameNode節(jié)點內(nèi)存和存儲容量的限制。

    3 鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺技術(shù)架構(gòu)

    本文設(shè)計的鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺由虛擬化資源管理平臺和Hadoop分布式存儲平臺構(gòu)成。Hadoop分布式存儲系統(tǒng)部署在資源管理平臺提供的虛擬機池中[11]。其特點是可動態(tài)部署Hadoop Slave節(jié)點,快速搭建Hadoop分布式存儲系統(tǒng)。其技術(shù)架構(gòu)如圖2所示。

    圖2 基于Hadoop的鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺Fig.2 Big Data Storage Platform for Iron and Steel Enterprises Based on Hadoop

    虛擬化資源平臺基于CentOS操作系統(tǒng)。CentOS由Red Hat Enterprise Linux依照開放源代碼規(guī)定釋出的源代碼所編譯而成[12]。其硬件兼容性好,生命周期為7到10年,基本可以覆蓋硬件的生命周期。

    在搭建的分布式存儲平臺上,可搭建Apache Hive, Apache HBase, Apache Cassandra等數(shù)據(jù)庫系統(tǒng),對鋼鐵企業(yè)生產(chǎn)的實時數(shù)據(jù)處理分析,指導鋼鐵企業(yè)生產(chǎn)規(guī)劃,如圖3所示。

    圖3 鋼鐵工業(yè)大數(shù)據(jù)指導鋼鐵生產(chǎn)規(guī)劃示意圖Fig.3 Big Data of Iron and Steel Enterprises Directing Steel Production Planning Diagram

    4 基于數(shù)據(jù)驅(qū)動的混合故障診斷

    Hadoop HDFS具有能存儲海量歷史數(shù)據(jù)和采集實時流式數(shù)據(jù)的特點。可通過對歷史和實時數(shù)據(jù)的處理,進行故障檢測。將基于知識工程的方法和基于Hadoop的鋼鐵生產(chǎn)大數(shù)據(jù)分布式存儲平臺進行結(jié)合,主要利用基于數(shù)據(jù)驅(qū)動的方法來對故障進行檢測,利用基于知識工程的方法來對故障進行診斷[13]。數(shù)據(jù)驅(qū)動的混合故障診斷的框架如圖4所示。

    圖4 數(shù)據(jù)驅(qū)動的混合故障診斷的框架Fig.4 Hybrid Fault Diagnosis Framework Driven by Data

    混合故障診斷的實現(xiàn)流程如下:

    (1)應(yīng)用HDFS收集處理流式數(shù)據(jù),對數(shù)據(jù)進行處理。得到有效的數(shù)據(jù)。

    (2)利用基于數(shù)據(jù)驅(qū)動方法建立故障模型對數(shù)據(jù)進行處理,得出故障檢測結(jié)果。

    (3)應(yīng)用HDFS存儲量大的特點。對歷史數(shù)據(jù)進行挖掘。建立基于知識模型的專家系統(tǒng)[14]。

    (4)將故障結(jié)果輸入到基于知識的專家系統(tǒng),得到故障原因,實現(xiàn)決策支持。

    (5)若利用知識模型沒有對故障診斷成功,實時數(shù)據(jù)和故障檢測結(jié)果進行數(shù)據(jù)挖掘來實時地更新基于知識的模型。對實時的數(shù)據(jù)進行數(shù)據(jù)挖掘,得到出現(xiàn)的關(guān)鍵字,重要字段等,更新知識模型[15]。

    5 鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺優(yōu)勢分析

    5.1低成本的優(yōu)秀解決方案

    基于Hadoop的分布式存儲系統(tǒng)提供了低成本解決問題的方案,其本身無License限制,可輕松在上百臺普通PC上并發(fā)存儲大規(guī)模數(shù)據(jù)。鋼鐵企業(yè)無需購置高性能機器來滿足繁重的實時數(shù)據(jù)流處理。集群性能的提升與投入的資金呈線性關(guān)系,在成本控制方面的優(yōu)勢超過分析型數(shù)據(jù)庫的可擴展方面的優(yōu)勢。

    5.2可靠、高效、可伸縮的數(shù)據(jù)存儲平臺

    基于Hadoop的分布式文件存儲系統(tǒng)具有可靠,高效的特點,HDFS架構(gòu)如圖5所示

    圖5 分布式文件存儲系統(tǒng)架構(gòu)Fig.5 Hadoop Distributed File System Framework

    上文已討論分布式文件存儲系統(tǒng)高可靠性的實現(xiàn)。HDFS假設(shè)計算元素和存儲失敗,因此通過創(chuàng)建并維護多個工作數(shù)據(jù)副本,確保能對失敗的節(jié)點重新分布處理;由于存儲平臺通過并行方式存儲,通過并行處理加快處理速度,因此該平臺具有高效的特點;由于平臺的運算性能可線性疊加,處理的數(shù)據(jù)流可達PB、ZB的級別,可伸縮性強。

    5.3靈活的多服務(wù)應(yīng)用支持

    鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺基于Hadoop HDFS。HDFS的默認配置適合于大多數(shù)安裝的應(yīng)用,支持大多數(shù)平臺,支持shell命令行風格的HDFS目錄交互。Namenode和Datanode都內(nèi)建了網(wǎng)絡(luò)服務(wù)器,可方便地查看集群的狀態(tài)。這些優(yōu)點使得在云計算中運用Hadoop的分布式架構(gòu)成為可能,使云計算能夠不受平臺等的限制。

    6 結(jié)束語

    隨著工業(yè)互聯(lián)網(wǎng)的迅速發(fā)展,工業(yè)生產(chǎn)的實時數(shù)據(jù)量在不斷增長,HDFS在鋼鐵企業(yè)中的應(yīng)用受到了越來越多的關(guān)注,但其單點設(shè)計給鋼鐵生產(chǎn)企業(yè)所帶來的問題也日益凸顯。本文首先提出了一種分布式NameNode節(jié)點的HDFS模型,以此來解決HDFS單一NameNode的不足。針對鋼鐵企業(yè)對海量數(shù)據(jù)處理的迫切需求,提出了在虛擬化資源管理平臺上搭建基于Hadoop的動態(tài)可伸縮的海量數(shù)據(jù)存儲平臺,并給出其技術(shù)架構(gòu)。最后,給出了一種工業(yè)大數(shù)據(jù)下的混合故障診斷模型,并對分布式數(shù)據(jù)存儲平臺的優(yōu)勢進行了分析,為鋼鐵工業(yè)數(shù)據(jù)的實時存儲提供了新的解決方案。

    致謝:感謝華北理工大學大學生創(chuàng)新創(chuàng)業(yè)計劃項目(X2016128),河北省人力資源與社會保障廳留學回國人員科技活動項目(C2015005014)的資助。

    [1] 周斌. 基于Hadoop的海量工程數(shù)據(jù)關(guān)聯(lián)規(guī)劃挖掘方法研究[D]. 北京交通大學, 2016.

    [2] 李明明, 李偉. 基于HDFS的高可靠性存儲系統(tǒng)的研究[J].西安科技大學學報, 2016, 03: 428-430.

    [3] 王又立, 王晶. 一種基于Kerberos和HDFS的數(shù)據(jù)存儲平臺訪問控制策略[J]. 軟件, 2016, 37(01): 67-70.

    [4] 蔣濤, 周傲英, 高云君, 等. 不確定數(shù)據(jù)查詢處理[J]. 新型工業(yè)化, 2013, 3(5): 83-101.

    [5] 王來, 翟健宏. 基于HDFS的分布式存儲策略分析[J]. 智能計算機與應(yīng)用, 2016, 01: 5-8.

    [6] 李可, 李昕. 基于Hadoop生態(tài)集群管理系統(tǒng)Ambari的研究與分析[J]. 軟件, 2016, 37(02): 93-97.

    [7] 王少娟. 基于Hadoop的作業(yè)調(diào)度負載均衡算法研究[D].安徽理工大學, 2016.

    [8] 楊彬. 分布式文件系統(tǒng)HDFS處理小文件的優(yōu)化方案[J].軟件, 2014, 35(6): 65-69.

    [9] 楊海鵬, 戴波. 數(shù)據(jù)采集與監(jiān)控系統(tǒng)在石油化工企業(yè)中的應(yīng)用[J]. 新型工業(yè)化, 2014, 4(3): 44-51.

    [10] Tupe A, Priyadarshi A. Data Mining with Big Data and Privacy Preservation[J]. nature, 2016, 5(4).

    [11] Ma, Ke. Research and implementation of distributed storage system based on big data. 2016 IEEE International Conference on Big Data Analysis (ICBDA): IEEE, 2016:1-4.

    [12] Singh, Somya, Gaurav Raj, and Gurneet Kaur. Analysis of HDFS RPC and Hadoop with RDMA by evaluating write performance.2016 6th International Conference-Cloud System and Big Data Engineering (Confluence): IEEE, 2016: 368-372.

    [13] Wang, Chia-Hui, et al. Coupling GPU and MPTCP to improve Hadoop/MapReduce performance. 2016 2nd International Conference on Intelligent Green Building and Smart Grid (IGBSG): IEEE, 2016: 1-6.

    [14] Docherty J, Corbett H. Managing Change in the Public Relations Industry: The Impact and Potential of Big Data[J]. 2016.

    [15] Vega-Gorgojo G, Fjellheim R, Roman D, et al. Big Data in the Oil & Gas Upstream Industry-A Case Study on the Norwegian Continental Shelf[J]. OIL GAS-EUROPEAN MAGAZINE, 2016, 42(2): 66-68.

    Research on Big Data Storage Platform for Iron and Steel Enterprises Based on Hadoop

    WANG Zhuo1, XIN Xing1, Yin Xiao1, CHANG Jin-cai1,2
    (1. College of Sciences, North China University of Science and Technology, Tangshan 063009; 2. The Key Laboratory of Data Science and Applications of Hebei Province, Tangshan 063009)

    The deployment of big data platform in iron and steel enterprises has an important role in the industrial transformation and upgrading. The big data of iron and steel industries has the characteristics of real time, dynamic and uncertainty. HDFS is gradually showing some deficiencies with the real time industrial data stream, to cope with this, a HDFS based on distributed NameNode nodes is proposed. HDFS based on distributed NameNode nodes is designed generally, including the main functions and working mechanisms of TopNameNode node and distributed NameNode nodes. The performance benefits of HDFS based on distributed NameNode nodes are analyzed. A Solution that building a dynamic scalable distributed file storage platform based on Hadoop in the virtual resource management platform is proposed. A new hybrid fault diagnosis model is built combining method based on Knowledge Engineering with the data driven method. At last, advantages of the big data storage platform for Iron and steel enterprises based on Hadoop are analyzed.

    Big data on iron and steel enterprises; HDFS; Distributed nameNode; Technology framework; Fault diagnosis

    TP311.13

    A

    10.3969/j.issn.1003-6970.2016.09.011

    河北省人力資源與社會保障廳留學回國人員科技活動資助項目(C2015005014)。華北理工大學大學生創(chuàng)新創(chuàng)業(yè)計劃項目(X2016128)。

    通訊聯(lián)系人: 常錦才(1973-),男,博士,教授。

    猜你喜歡
    鋼鐵集群分布式
    《鋼鐵是怎樣煉成的》
    海上小型無人機集群的反制裝備需求與應(yīng)對之策研究
    “鋼鐵俠”
    一種無人機集群發(fā)射回收裝置的控制系統(tǒng)設(shè)計
    電子制作(2018年11期)2018-08-04 03:25:40
    撲面而來的“鋼鐵鳥”
    航空世界(2018年12期)2018-07-16 08:34:50
    分布式光伏熱錢洶涌
    能源(2017年10期)2017-12-20 05:54:07
    分布式光伏:爆發(fā)還是徘徊
    能源(2017年5期)2017-07-06 09:25:54
    Python與Spark集群在收費數(shù)據(jù)分析中的應(yīng)用
    勤快又呆萌的集群機器人
    鋼鐵是怎樣煉成的?
    性色av一级| 2021少妇久久久久久久久久久| 色播亚洲综合网| 建设人人有责人人尽责人人享有的 | 又爽又黄a免费视频| 久久久久精品性色| 在线 av 中文字幕| 一本久久精品| 午夜福利视频精品| 亚洲,一卡二卡三卡| 久久久精品94久久精品| 国产伦理片在线播放av一区| 免费看av在线观看网站| 国产女主播在线喷水免费视频网站| 18+在线观看网站| 日韩一区二区视频免费看| 精品人妻熟女av久视频| 国产老妇女一区| 久久久久九九精品影院| 亚洲国产高清在线一区二区三| 水蜜桃什么品种好| 欧美精品人与动牲交sv欧美| 丝袜喷水一区| 久久精品国产亚洲网站| 亚洲精品影视一区二区三区av| 中文欧美无线码| 极品教师在线视频| 久热久热在线精品观看| 亚洲精品乱码久久久v下载方式| 熟妇人妻不卡中文字幕| 国产欧美日韩一区二区三区在线 | 六月丁香七月| 毛片女人毛片| 午夜爱爱视频在线播放| 男人和女人高潮做爰伦理| 大片免费播放器 马上看| 亚洲婷婷狠狠爱综合网| 男人和女人高潮做爰伦理| 国产精品嫩草影院av在线观看| 亚洲人与动物交配视频| 少妇人妻精品综合一区二区| 亚洲成人久久爱视频| a级毛色黄片| 亚洲精品国产av蜜桃| 国产91av在线免费观看| 黄色欧美视频在线观看| 中文资源天堂在线| 国产成人freesex在线| 国产精品.久久久| 国内精品美女久久久久久| av在线观看视频网站免费| 久久99蜜桃精品久久| 黄片wwwwww| 菩萨蛮人人尽说江南好唐韦庄| 国产亚洲91精品色在线| 欧美另类一区| 丝袜美腿在线中文| 国内精品宾馆在线| av女优亚洲男人天堂| 天堂俺去俺来也www色官网| 直男gayav资源| 久久精品熟女亚洲av麻豆精品| 久久久久久久久久成人| 精品熟女少妇av免费看| 美女国产视频在线观看| 五月天丁香电影| 大又大粗又爽又黄少妇毛片口| 亚洲精品aⅴ在线观看| 精品久久久久久久久av| 少妇 在线观看| 另类亚洲欧美激情| 日本午夜av视频| 国精品久久久久久国模美| 国产精品蜜桃在线观看| 美女脱内裤让男人舔精品视频| 精品久久久久久电影网| 老司机影院成人| 成年女人在线观看亚洲视频 | 亚洲精品第二区| 国产精品国产av在线观看| 亚洲av中文av极速乱| 大片电影免费在线观看免费| 久久人人爽人人片av| 麻豆成人av视频| 精品人妻视频免费看| 嫩草影院新地址| 中文字幕制服av| 国产成人精品福利久久| 少妇人妻久久综合中文| 在线免费十八禁| 亚洲人成网站在线观看播放| 国产午夜精品久久久久久一区二区三区| 一级毛片久久久久久久久女| 精品亚洲乱码少妇综合久久| 午夜福利网站1000一区二区三区| 一级毛片久久久久久久久女| 又爽又黄a免费视频| 日本-黄色视频高清免费观看| 黑人高潮一二区| 中文乱码字字幕精品一区二区三区| 联通29元200g的流量卡| 日韩av不卡免费在线播放| 国国产精品蜜臀av免费| 97热精品久久久久久| 男女那种视频在线观看| 男女边摸边吃奶| 美女xxoo啪啪120秒动态图| 亚洲成人一二三区av| 岛国毛片在线播放| 五月玫瑰六月丁香| 久久人人爽人人片av| 久久精品国产亚洲av涩爱| av国产免费在线观看| 一个人观看的视频www高清免费观看| 亚洲图色成人| 麻豆久久精品国产亚洲av| 男女国产视频网站| 丝瓜视频免费看黄片| 99视频精品全部免费 在线| 色吧在线观看| 免费在线观看成人毛片| 国产精品一区二区在线观看99| 七月丁香在线播放| 午夜激情福利司机影院| 国产成人一区二区在线| 亚洲av男天堂| 国产视频内射| 看十八女毛片水多多多| 亚洲国产欧美在线一区| 干丝袜人妻中文字幕| 精品酒店卫生间| 国产成人免费观看mmmm| 成人亚洲欧美一区二区av| 久久精品国产自在天天线| videossex国产| 免费黄频网站在线观看国产| 汤姆久久久久久久影院中文字幕| 好男人视频免费观看在线| tube8黄色片| av网站免费在线观看视频| 国产精品女同一区二区软件| 久久久a久久爽久久v久久| 久久久亚洲精品成人影院| 午夜免费鲁丝| 国产免费又黄又爽又色| 日韩中字成人| 熟女人妻精品中文字幕| 成人免费观看视频高清| 亚洲精品国产成人久久av| 美女视频免费永久观看网站| 精品国产一区二区三区久久久樱花 | freevideosex欧美| 性色avwww在线观看| 国产免费又黄又爽又色| 国产在视频线精品| 久久久久精品久久久久真实原创| 春色校园在线视频观看| 大又大粗又爽又黄少妇毛片口| 亚洲av中文av极速乱| 国产综合精华液| 一级二级三级毛片免费看| 国产亚洲精品久久久com| av专区在线播放| 黄片无遮挡物在线观看| 国产精品熟女久久久久浪| 另类亚洲欧美激情| av免费在线看不卡| 亚洲精品中文字幕在线视频 | 久久久久久久国产电影| 国内少妇人妻偷人精品xxx网站| 超碰av人人做人人爽久久| 亚洲久久久久久中文字幕| 成年女人看的毛片在线观看| 啦啦啦中文免费视频观看日本| 中文在线观看免费www的网站| av网站免费在线观看视频| 午夜免费鲁丝| 久久这里有精品视频免费| 精品人妻视频免费看| 男插女下体视频免费在线播放| 欧美变态另类bdsm刘玥| 久久久久久久久大av| 国产成人aa在线观看| 国产成人freesex在线| 日韩三级伦理在线观看| 久久久久久久国产电影| 国产精品国产三级专区第一集| 精品少妇久久久久久888优播| 又爽又黄a免费视频| 亚洲av中文av极速乱| 性插视频无遮挡在线免费观看| 国产一级毛片在线| 国内少妇人妻偷人精品xxx网站| 一区二区三区四区激情视频| 午夜视频国产福利| 亚洲av.av天堂| 51国产日韩欧美| 免费大片黄手机在线观看| av又黄又爽大尺度在线免费看| 成人鲁丝片一二三区免费| 女人久久www免费人成看片| 久久久国产一区二区| 久热久热在线精品观看| 亚洲精品日韩在线中文字幕| 久久久色成人| 日韩,欧美,国产一区二区三区| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 在线天堂最新版资源| 国产高清国产精品国产三级 | 一级毛片黄色毛片免费观看视频| 日本爱情动作片www.在线观看| 精品久久久噜噜| 国产一区二区三区av在线| 国产亚洲av嫩草精品影院| 国产伦理片在线播放av一区| 国产成人福利小说| 真实男女啪啪啪动态图| 欧美亚洲 丝袜 人妻 在线| 精品久久久精品久久久| 亚洲国产日韩一区二区| 听说在线观看完整版免费高清| 精品亚洲乱码少妇综合久久| 亚洲精品成人久久久久久| 热99国产精品久久久久久7| 亚洲,欧美,日韩| 国产一区亚洲一区在线观看| 熟妇人妻不卡中文字幕| 国产一区二区三区av在线| 亚洲四区av| 精品少妇黑人巨大在线播放| 一级毛片电影观看| 又爽又黄a免费视频| 自拍偷自拍亚洲精品老妇| 国语对白做爰xxxⅹ性视频网站| 日韩成人伦理影院| 亚洲一级一片aⅴ在线观看| 亚洲精品中文字幕在线视频 | 秋霞伦理黄片| 色吧在线观看| av线在线观看网站| 97人妻精品一区二区三区麻豆| 男人爽女人下面视频在线观看| 成人免费观看视频高清| 精品少妇久久久久久888优播| 日韩电影二区| 久久精品国产自在天天线| 水蜜桃什么品种好| 亚洲av日韩在线播放| 69人妻影院| 日韩一区二区视频免费看| 亚洲欧美成人综合另类久久久| 在线 av 中文字幕| 99精国产麻豆久久婷婷| 免费观看性生交大片5| 成年女人在线观看亚洲视频 | 欧美一级a爱片免费观看看| 自拍偷自拍亚洲精品老妇| 婷婷色综合www| 中国美白少妇内射xxxbb| 七月丁香在线播放| 直男gayav资源| 91aial.com中文字幕在线观看| 亚洲国产色片| 国产av码专区亚洲av| 色视频在线一区二区三区| 99久久精品一区二区三区| 九九久久精品国产亚洲av麻豆| 日韩一区二区三区影片| 亚洲激情五月婷婷啪啪| 在线 av 中文字幕| 午夜福利在线观看免费完整高清在| av国产精品久久久久影院| 赤兔流量卡办理| 最近最新中文字幕免费大全7| 亚洲成人一二三区av| 日韩人妻高清精品专区| 在线免费十八禁| 欧美区成人在线视频| 少妇裸体淫交视频免费看高清| 免费少妇av软件| 国产伦精品一区二区三区视频9| 国产黄色视频一区二区在线观看| 日韩欧美 国产精品| 六月丁香七月| 亚洲经典国产精华液单| 一个人观看的视频www高清免费观看| av在线亚洲专区| 九色成人免费人妻av| 精品人妻一区二区三区麻豆| 一区二区av电影网| 欧美极品一区二区三区四区| 美女主播在线视频| 如何舔出高潮| 五月伊人婷婷丁香| 国产精品蜜桃在线观看| 日本午夜av视频| 国产乱来视频区| 午夜福利网站1000一区二区三区| 日本欧美国产在线视频| 欧美最新免费一区二区三区| 男男h啪啪无遮挡| 一个人看视频在线观看www免费| 亚洲精品国产成人久久av| 大又大粗又爽又黄少妇毛片口| 亚洲av.av天堂| 熟妇人妻不卡中文字幕| 久久久久精品久久久久真实原创| 午夜精品国产一区二区电影 | 最近手机中文字幕大全| 看十八女毛片水多多多| av卡一久久| 欧美+日韩+精品| 亚洲精品国产成人久久av| 男女无遮挡免费网站观看| 高清日韩中文字幕在线| 国产爽快片一区二区三区| 日韩欧美精品v在线| 少妇熟女欧美另类| 国产亚洲5aaaaa淫片| 久久久久精品性色| 欧美xxⅹ黑人| 好男人在线观看高清免费视频| 亚洲成色77777| 在线观看美女被高潮喷水网站| 国产淫语在线视频| 亚州av有码| 丝瓜视频免费看黄片| 少妇人妻一区二区三区视频| 国产69精品久久久久777片| 天天躁夜夜躁狠狠久久av| 日韩亚洲欧美综合| 亚洲欧美一区二区三区黑人 | 色视频在线一区二区三区| 日韩在线高清观看一区二区三区| 国产亚洲最大av| 日韩一区二区视频免费看| 国产亚洲91精品色在线| 成年女人在线观看亚洲视频 | 欧美激情国产日韩精品一区| 青青草视频在线视频观看| 日韩在线高清观看一区二区三区| 欧美性猛交╳xxx乱大交人| 午夜免费男女啪啪视频观看| 亚洲最大成人av| 小蜜桃在线观看免费完整版高清| 噜噜噜噜噜久久久久久91| 日韩一区二区视频免费看| 午夜激情久久久久久久| 联通29元200g的流量卡| 97在线视频观看| 大又大粗又爽又黄少妇毛片口| 五月玫瑰六月丁香| 欧美潮喷喷水| 亚洲精品国产成人久久av| 赤兔流量卡办理| 久久久精品94久久精品| 久久亚洲国产成人精品v| 丰满乱子伦码专区| 欧美变态另类bdsm刘玥| 精品一区在线观看国产| 亚洲精品一二三| 激情五月婷婷亚洲| 中国美白少妇内射xxxbb| 在线观看国产h片| 另类亚洲欧美激情| 欧美一区二区亚洲| 亚洲国产日韩一区二区| 欧美成人a在线观看| 精品酒店卫生间| 国产免费视频播放在线视频| 三级经典国产精品| 午夜老司机福利剧场| 老司机影院毛片| 欧美成人a在线观看| 亚洲经典国产精华液单| 亚洲va在线va天堂va国产| 精品国产一区二区三区久久久樱花 | 国产成人精品婷婷| 一区二区三区乱码不卡18| 联通29元200g的流量卡| 国产真实伦视频高清在线观看| 日韩欧美精品免费久久| 国产又色又爽无遮挡免| 日本午夜av视频| 亚洲精品日本国产第一区| 亚洲无线观看免费| 久久久成人免费电影| 亚洲人与动物交配视频| 免费大片黄手机在线观看| 777米奇影视久久| 欧美 日韩 精品 国产| 天堂中文最新版在线下载 | 国模一区二区三区四区视频| 精品视频人人做人人爽| av国产免费在线观看| 精品一区二区三区视频在线| 国产伦在线观看视频一区| 国产欧美另类精品又又久久亚洲欧美| 中文字幕亚洲精品专区| 国产免费一级a男人的天堂| 亚洲高清免费不卡视频| 免费看不卡的av| 高清日韩中文字幕在线| 成年免费大片在线观看| 三级男女做爰猛烈吃奶摸视频| 国产亚洲最大av| 成人美女网站在线观看视频| 看非洲黑人一级黄片| 久久99热6这里只有精品| 日本黄大片高清| 欧美zozozo另类| 国产乱人偷精品视频| 亚洲成人精品中文字幕电影| av卡一久久| 亚洲三级黄色毛片| 汤姆久久久久久久影院中文字幕| 精品少妇久久久久久888优播| 国产 一区 欧美 日韩| 国产真实伦视频高清在线观看| 99久久精品国产国产毛片| 天天一区二区日本电影三级| 国产国拍精品亚洲av在线观看| a级毛色黄片| 精品国产露脸久久av麻豆| av在线天堂中文字幕| 免费少妇av软件| 少妇人妻久久综合中文| 啦啦啦啦在线视频资源| 边亲边吃奶的免费视频| 国产成人a∨麻豆精品| 国产精品99久久久久久久久| 日本猛色少妇xxxxx猛交久久| 老女人水多毛片| 少妇人妻 视频| 亚洲av不卡在线观看| 婷婷色麻豆天堂久久| 老司机影院成人| 国产有黄有色有爽视频| 亚洲国产精品成人综合色| 在线播放无遮挡| 九九久久精品国产亚洲av麻豆| 黑人高潮一二区| 亚洲精品一区蜜桃| 男人舔奶头视频| 少妇熟女欧美另类| 亚洲精品久久久久久婷婷小说| 下体分泌物呈黄色| 九九在线视频观看精品| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 亚洲久久久久久中文字幕| 街头女战士在线观看网站| 亚洲国产精品专区欧美| 制服丝袜香蕉在线| 国产成人免费无遮挡视频| 看黄色毛片网站| 精品久久久久久久久av| tube8黄色片| 国产成人免费观看mmmm| 丝瓜视频免费看黄片| eeuss影院久久| 少妇熟女欧美另类| 日韩一本色道免费dvd| 日韩亚洲欧美综合| 日本免费在线观看一区| 美女内射精品一级片tv| 夫妻性生交免费视频一级片| 性插视频无遮挡在线免费观看| 国产精品一区二区三区四区免费观看| 深爱激情五月婷婷| 亚洲av在线观看美女高潮| 最新中文字幕久久久久| 18禁动态无遮挡网站| 精品人妻偷拍中文字幕| 国产亚洲av嫩草精品影院| 熟女电影av网| 少妇猛男粗大的猛烈进出视频 | 熟女av电影| 亚洲国产av新网站| 一级黄片播放器| 成人毛片60女人毛片免费| 啦啦啦中文免费视频观看日本| 午夜免费男女啪啪视频观看| 久久人人爽人人爽人人片va| 午夜精品一区二区三区免费看| 亚洲精品影视一区二区三区av| 九草在线视频观看| 久久精品久久精品一区二区三区| 亚洲无线观看免费| 美女xxoo啪啪120秒动态图| 亚洲精华国产精华液的使用体验| 精品一区在线观看国产| 小蜜桃在线观看免费完整版高清| 久久精品综合一区二区三区| 欧美潮喷喷水| 国产成人福利小说| 精品视频人人做人人爽| 国产男女内射视频| 久久久a久久爽久久v久久| 丰满人妻一区二区三区视频av| 精品人妻一区二区三区麻豆| 18禁裸乳无遮挡动漫免费视频 | 久久久久久伊人网av| 午夜爱爱视频在线播放| 熟女电影av网| 亚洲国产最新在线播放| 岛国毛片在线播放| 超碰av人人做人人爽久久| 国产高清三级在线| 婷婷色综合大香蕉| 建设人人有责人人尽责人人享有的 | 亚洲高清免费不卡视频| 亚洲经典国产精华液单| 欧美成人a在线观看| 老司机影院毛片| 王馨瑶露胸无遮挡在线观看| 久久久久久久久久人人人人人人| 男男h啪啪无遮挡| 国产精品.久久久| 亚洲精品影视一区二区三区av| 国产黄片美女视频| 精品久久久久久久末码| 女人久久www免费人成看片| 丝袜美腿在线中文| 精品国产露脸久久av麻豆| 亚洲最大成人手机在线| 纵有疾风起免费观看全集完整版| 99热这里只有是精品在线观看| 亚洲综合色惰| 人人妻人人看人人澡| 久久午夜福利片| 神马国产精品三级电影在线观看| av线在线观看网站| 国产高清国产精品国产三级 | 成人国产av品久久久| 久久久久久伊人网av| 久久久久久久国产电影| 看非洲黑人一级黄片| 中文字幕亚洲精品专区| 九九久久精品国产亚洲av麻豆| 新久久久久国产一级毛片| www.色视频.com| 在线观看人妻少妇| 各种免费的搞黄视频| 国产免费又黄又爽又色| 欧美另类一区| 免费看不卡的av| 搡老乐熟女国产| 亚洲性久久影院| 听说在线观看完整版免费高清| 另类亚洲欧美激情| 超碰av人人做人人爽久久| 在线精品无人区一区二区三 | 男男h啪啪无遮挡| 插逼视频在线观看| 国语对白做爰xxxⅹ性视频网站| 制服丝袜香蕉在线| 黄色视频在线播放观看不卡| 日韩一本色道免费dvd| 国产69精品久久久久777片| 美女主播在线视频| 欧美高清性xxxxhd video| 丰满人妻一区二区三区视频av| 国产成人精品一,二区| 欧美另类一区| 一个人看视频在线观看www免费| 国产高清有码在线观看视频| 老司机影院毛片| 美女cb高潮喷水在线观看| 亚洲av欧美aⅴ国产| 国产精品一二三区在线看| 欧美日韩在线观看h| 中文字幕免费在线视频6| 国产精品一及| 成人综合一区亚洲| 美女xxoo啪啪120秒动态图| 黄色配什么色好看| 日韩欧美精品免费久久| 在线看a的网站| 久久久色成人| 亚洲精品日韩在线中文字幕| 国产精品一二三区在线看| 精华霜和精华液先用哪个| 亚洲人成网站在线播| 亚洲伊人久久精品综合| 久久久久久久亚洲中文字幕| 精品久久国产蜜桃| 人人妻人人爽人人添夜夜欢视频 | 在线播放无遮挡| 69av精品久久久久久| 免费av不卡在线播放| 在现免费观看毛片| av在线蜜桃| 久久久久性生活片| 又大又黄又爽视频免费| 日本一本二区三区精品| 欧美国产精品一级二级三级 | 在线免费十八禁| 国产精品国产三级专区第一集| 成人亚洲精品av一区二区| 各种免费的搞黄视频| 国产精品国产av在线观看| 91久久精品国产一区二区成人| 夜夜看夜夜爽夜夜摸| 女的被弄到高潮叫床怎么办| 国产黄a三级三级三级人| 欧美日韩综合久久久久久| 欧美3d第一页| 九色成人免费人妻av| 欧美区成人在线视频| 国产精品久久久久久精品古装| 最近最新中文字幕免费大全7| 九草在线视频观看| 人妻系列 视频| 亚洲自偷自拍三级| 亚洲av二区三区四区|