• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于Hadoop的鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺研究

    2016-11-29 03:42:33常錦才
    軟件 2016年9期
    關(guān)鍵詞:鋼鐵集群分布式

    王 卓,辛 星,尹 曉,常錦才,2*

    (1. 華北理工大學 理學院,河北 唐山 063009;2. 河北省數(shù)據(jù)科學與應(yīng)用重點實驗室 河北 唐山 063009)

    基于Hadoop的鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺研究

    王卓1,辛星1,尹曉1,常錦才1,2*

    (1. 華北理工大學 理學院,河北 唐山063009;2. 河北省數(shù)據(jù)科學與應(yīng)用重點實驗室 河北 唐山063009)

    大數(shù)據(jù)平臺在鋼鐵企業(yè)的部署對產(chǎn)業(yè)轉(zhuǎn)型和升級有重要作用。鋼鐵產(chǎn)業(yè)大數(shù)據(jù)具有 明顯的實時性、動態(tài)性和不確定性等特點。為應(yīng)對Hadoop分布式文件系統(tǒng)在處理實時工業(yè)數(shù)據(jù)流顯現(xiàn)出的一些不足,提出了基于分布式NameNode節(jié)點的HDFS。對基于分布式NameNode節(jié)點的HDFS進行了總體設(shè)計,包括TopNameNode和分布式NameNode的主要功能和工作機制。分析了分布式NameNode節(jié)點的HDFS的性能優(yōu)點。提出了在虛擬化資源管理平臺上搭建基于Hadoop的動態(tài)可伸縮的分布式文件存儲平臺。將基于知識工程的方法和基于數(shù)據(jù)驅(qū)動的方法相結(jié)合,建立了一種新的混合故障診斷模型。最后對分布式鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺的優(yōu)勢進行分析。

    鋼鐵大數(shù)據(jù);HDFS;分布式NameNode;技術(shù)架構(gòu);故障診斷

    本文著錄格式:王卓,辛星,尹曉,等. 基于Hadoop的鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺研究[J]. 軟件,2016,37(9):47-51

    0 引言

    大數(shù)據(jù)平臺的盡早部署直接影響著整個鋼鐵產(chǎn)業(yè)的轉(zhuǎn)型升級和戰(zhàn)略突破。在美國工業(yè)聯(lián)網(wǎng)和德國工業(yè)4.0引領(lǐng)的第四次工業(yè)革命的背景下,若不能將大數(shù)據(jù)技術(shù)運用于鋼鐵實際生產(chǎn),實現(xiàn)鋼鐵產(chǎn)業(yè)智能化,中國鋼鐵將會在國際競爭中處于劣勢,甚至面臨被淘汰的危險。因此,把大數(shù)據(jù)和鋼鐵生產(chǎn)行業(yè)結(jié)合,實現(xiàn)鋼鐵工業(yè)4.0非常必要。大數(shù)據(jù)存儲方案和平臺是大數(shù)據(jù)的基礎(chǔ)和關(guān)鍵的一環(huán),傳統(tǒng)的存儲模式有存儲數(shù)據(jù)量小,計算速度慢,故障后解決困難,損失大的問題,而Hadoop HDFS分布式文件系統(tǒng)具有高容錯性,高可擴展性的特點,存儲平臺安全、穩(wěn)定、可靠[1],同時HDFS使工業(yè)生產(chǎn)的流式數(shù)據(jù)充分發(fā)揮其價值,減少鋼鐵工業(yè)的原料浪費,充分利用生產(chǎn)中的熱量,減少熱量浪費,同時又減少對環(huán)境的傷害。本文就Hadoop HDFS為適應(yīng)鋼鐵生產(chǎn)數(shù)據(jù)特點的優(yōu)化,存儲平臺的技術(shù)架構(gòu),指導生產(chǎn)的實現(xiàn)以及混合故障診斷展開討論。

    1 Hadoop發(fā)展現(xiàn)狀

    Hadoop作為Apache Nutch項目的一個子項目,從2002開始實現(xiàn)開發(fā),經(jīng)過4年的發(fā)展,逐步實現(xiàn)以MapReduce作為計算框架并與NDFS(Nutch distributed file system)結(jié)合的方式來支持Nutch的主要算法,直到2006成為一套完整而獨立的軟件,并正式起名為 Hadoop。

    Apache Hadoop軟件庫是一個框架。它的目的是把單一服務(wù)器擴展到成千上萬的機器,每個節(jié)點提供本地計算和存儲,而不是依靠硬件來實現(xiàn)高可用性。

    Hadoop主要包括以下模塊:

    (1)Hadoop Common:常見的實用程序,支持其他Hadoop模塊。

    (2)Hadoop分布式文件系統(tǒng)(HDFS):一個分布式文件系統(tǒng),它提供了高通量訪問應(yīng)用程序數(shù)據(jù)。

    (3)Hadoop YARN:一個集群作業(yè)調(diào)度和資源管理的框架。

    (4)Hadoop MapReduce:基于YARN的系統(tǒng),并行處理大型數(shù)據(jù)集。

    Hadoop目前在互聯(lián)網(wǎng)行業(yè)的發(fā)展已進入成熟階段,Hadoop設(shè)計之初的目標就定位于高可靠性、高可拓展性、高容錯性和高效性,正是這些設(shè)計上與生俱來的優(yōu)點,才使得Hadoop一出現(xiàn)就受到眾多大公司的青睞,同時也引起了研究界的普遍關(guān)注。Apache Hadoop技術(shù)已廣泛應(yīng)用在互聯(lián)網(wǎng)領(lǐng)域,雅虎使用多達4000個節(jié)點的Hadoop集群來支持廣告系統(tǒng)和Web搜索的研究;中國移動研究院基于Hadoop開發(fā)了“大云”(Big Cloud)系統(tǒng),不但用于相關(guān)數(shù)據(jù)分析,還對外提供服務(wù);百度每周的數(shù)據(jù)量可達200 TB,該公司使用Hadoop處理進行搜索日志分析和網(wǎng)頁數(shù)據(jù)挖掘工作;國內(nèi)的高校和科研院所也對基于Hadoop在數(shù)據(jù)存儲、資源管理、作業(yè)調(diào)度、性能優(yōu)化、系統(tǒng)高可用性和安全性方面進行研究。

    經(jīng)過多年的發(fā)展與完善,Apache Hadoop在2016年1月25日,發(fā)布了Hadoop最新的2.73版本。

    2 為適應(yīng)鋼鐵大數(shù)據(jù)特點的HDFS優(yōu)化研究

    2.1分布式NameNode節(jié)點總體結(jié)構(gòu)設(shè)計

    傳統(tǒng)Hadoop構(gòu)架中,只存在單一的NameNode節(jié)點。而鋼鐵企業(yè)的實時生產(chǎn)大數(shù)據(jù)具有時效性強,數(shù)據(jù)量大的問題。Hadoop傳統(tǒng)的單一NameNode節(jié)點,會有單點失效,性能瓶頸,擴展瓶頸等問題。一旦出現(xiàn)問題,對企業(yè)會造成一定的損失。雖然Hadoop使用SecondaryNameNode來備份NameNode的元數(shù)據(jù),然而NameNode出現(xiàn)問題時并不能實現(xiàn)自動切換,必須由人工介入,將會打亂企業(yè)的生產(chǎn)計劃[2]。因此,創(chuàng)新性地提出了分布式NameNode節(jié)點的HDFS設(shè)計。

    在HDFS集群中加入一個能夠可靠工作的TopNameNode節(jié)點,它負責管理所有的NameNode節(jié)點,使各個NameNode節(jié)點更好地協(xié)作,確保HDFS集群的正常運行。

    在采用分布式NameNode架構(gòu)的HDFS中,各個NameNode節(jié)點組成一個分布式的NameNode系統(tǒng),作為HDFS的主節(jié)點,它們對文件系統(tǒng)提供相同的服務(wù)。同時為保證TopNameNode和NameNode的高可用性[3-4],每個節(jié)點在集群中都有備份節(jié)點。分布式NameNode節(jié)點的HDFS系統(tǒng)結(jié)構(gòu)如圖1所示。

    圖1 分布式名稱節(jié)點的HDFS系統(tǒng)結(jié)構(gòu)圖Fig.1 HDFS System Structure Diagram Based on Distributed NameNode

    (1)TopNameNode節(jié)點

    TopNameNode節(jié)點是所有NameNode節(jié)點的控制節(jié)點,它要維護所有NameNode的健康狀態(tài)、所有DataNode的信息。其主要任務(wù)為:

    ① 監(jiān)控分布式NameNode系統(tǒng)的工作狀況:HDFS集群中的所有NameNode節(jié)點每隔一段時間向TopNameNode節(jié)點發(fā)送一次心跳信號,如果TopNameNode節(jié)點在指定時間內(nèi)沒有收到某個NameNode節(jié)點的心跳信號,便認為此節(jié)點故障。

    ②處理NameNode節(jié)點的故障:當TopNameNode節(jié)點發(fā)現(xiàn)某個NameNode節(jié)點發(fā)生故障時,立即啟動該NameNode節(jié)點的備份節(jié)點Secondary NameNode替換故障節(jié)點。

    ③轉(zhuǎn)發(fā)DataNode的信息,TopNameNode節(jié)點收集所有DataNode的狀態(tài)信息,再轉(zhuǎn)發(fā)給所有的NameNode節(jié)點。

    (2)NameNode節(jié)點

    NameNode節(jié)點與單一NameNode節(jié)點的任務(wù)基本一致。唯一的區(qū)別點在于:單一的NameNode節(jié)點包含了HDFS的所有元數(shù)據(jù),而分布式的NameNode節(jié)點中,元數(shù)據(jù)是分散存儲在各個NameNode節(jié)點中的。集群中所有NameNode節(jié)點都是對等的,一起為HDFS提供元數(shù)據(jù)服務(wù)。

    2.2HDFS可靠性的設(shè)計實現(xiàn)

    (1)安全模式

    HDFS啟動時,NameNode將進入安全模式。處于安全模式的NameNode無法進行任何的文件操作,內(nèi)部的副本創(chuàng)建也被禁止[5]。NameNode此時需和各DataNode通信,獲得DataNode保存的數(shù)據(jù)塊信息,并對數(shù)據(jù)塊信息進行檢查。只有通過了NameNode的檢查,此數(shù)據(jù)塊才被認為安全。當認為安全的數(shù)據(jù)塊所占的比例達到了配置值,NameNode才會退出。

    (2)TopNameNode

    若NameNode、DataNode節(jié)點向TopNameNode發(fā)送的心跳信息在指定時間內(nèi)未得到回復(fù),則認為TopNameNode發(fā)生了故障[6],進而把心跳信息發(fā)送給SecondaryTopNameNode;若SecondaryTop NameNode向TopNameNode發(fā)送的信息請求在指定時間內(nèi)未得到回復(fù),就代替其進行工作。這樣的保障機制使得TopNameNode/SecondaryTopNameNode能時刻維護集群中NameNode和DataNode節(jié)點的最新信息。

    (3)心跳包和副本重新創(chuàng)建

    為了保證NameNode和各個DataNode的聯(lián)系,分布式存儲平臺采用了心跳包(Heart beat)機制。位于整個HDFS核心的NameNode,通過周期性的活動來檢查DataNode的活性。NameNode周期性向管理的各個DataNode發(fā)送心跳包,而收到心跳包的DataNode則需回復(fù)。由于心跳包總是定時發(fā)送,NameNode把將要執(zhí)行的命令通過心跳包發(fā)送給DataNode,而DataNode收到心跳包,一方面回復(fù)NameNode,另一方面就開始了與用戶或者應(yīng)用的數(shù)據(jù)傳輸[7]。

    如偵測到了DataNode失效,那之前保存在此DataNode上的數(shù)據(jù)就變成不可用的[8-9]。那么,如果有的副本存儲在失效的DataNode上,則需要重新創(chuàng)建這個副本,放到另外可用的地方。其他需要創(chuàng)建副本的情況包括數(shù)據(jù)塊校驗失敗等。

    (4)數(shù)據(jù)一致性

    DataNode與應(yīng)用數(shù)據(jù)交互的大部分情況都是通過網(wǎng)絡(luò)進行的,而網(wǎng)絡(luò)數(shù)據(jù)傳輸帶來的一大問題就是數(shù)據(jù)是否能原樣到達[10]。為保證數(shù)據(jù)的一致性,HDFS采用了數(shù)據(jù)校驗,校驗和機制。

    (5)租約

    每當寫入文件之前,一個客戶端必須要獲得NameNode發(fā)放的一個租約。NameNode保證同一個文件只會發(fā)放一個允許寫的租約,那么就可以有效防止出現(xiàn)多人寫入的情況。

    2.3基于分布式NameNode節(jié)點的HDFS特性和優(yōu)點

    (1)NameNode/SecondaryNameNode實現(xiàn)了快速切換

    在原有的SecondaryNameNode機制的基礎(chǔ)上,分布式NameNode節(jié)點增加了TopNameNode,統(tǒng)籌管理各NameNode,在某個NameNode節(jié)點發(fā)生故障時,可迅速實現(xiàn)NameNode/SecondaryNameNode的切換,提高了HDFS的可用性。

    (2)分布式NameNode服務(wù)性能的提升

    HDFS集群中多個NameNode可同時為客戶端提供元數(shù)據(jù)服務(wù),對于元數(shù)據(jù)的請求,根據(jù)元數(shù)據(jù)存放策略可定位對應(yīng)的NameNode節(jié)點,解決了單一NameNode節(jié)點的單點性能瓶頸問題。

    (3)Hadoop集群更易擴展

    集群中的多個NameNode,大大增加了可用于存放元數(shù)據(jù)的內(nèi)存資源,集群中可擴展更多的DataNode,存儲更多的數(shù)據(jù),不再輕易受到單一NameNode節(jié)點內(nèi)存和存儲容量的限制。

    3 鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺技術(shù)架構(gòu)

    本文設(shè)計的鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺由虛擬化資源管理平臺和Hadoop分布式存儲平臺構(gòu)成。Hadoop分布式存儲系統(tǒng)部署在資源管理平臺提供的虛擬機池中[11]。其特點是可動態(tài)部署Hadoop Slave節(jié)點,快速搭建Hadoop分布式存儲系統(tǒng)。其技術(shù)架構(gòu)如圖2所示。

    圖2 基于Hadoop的鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺Fig.2 Big Data Storage Platform for Iron and Steel Enterprises Based on Hadoop

    虛擬化資源平臺基于CentOS操作系統(tǒng)。CentOS由Red Hat Enterprise Linux依照開放源代碼規(guī)定釋出的源代碼所編譯而成[12]。其硬件兼容性好,生命周期為7到10年,基本可以覆蓋硬件的生命周期。

    在搭建的分布式存儲平臺上,可搭建Apache Hive, Apache HBase, Apache Cassandra等數(shù)據(jù)庫系統(tǒng),對鋼鐵企業(yè)生產(chǎn)的實時數(shù)據(jù)處理分析,指導鋼鐵企業(yè)生產(chǎn)規(guī)劃,如圖3所示。

    圖3 鋼鐵工業(yè)大數(shù)據(jù)指導鋼鐵生產(chǎn)規(guī)劃示意圖Fig.3 Big Data of Iron and Steel Enterprises Directing Steel Production Planning Diagram

    4 基于數(shù)據(jù)驅(qū)動的混合故障診斷

    Hadoop HDFS具有能存儲海量歷史數(shù)據(jù)和采集實時流式數(shù)據(jù)的特點。可通過對歷史和實時數(shù)據(jù)的處理,進行故障檢測。將基于知識工程的方法和基于Hadoop的鋼鐵生產(chǎn)大數(shù)據(jù)分布式存儲平臺進行結(jié)合,主要利用基于數(shù)據(jù)驅(qū)動的方法來對故障進行檢測,利用基于知識工程的方法來對故障進行診斷[13]。數(shù)據(jù)驅(qū)動的混合故障診斷的框架如圖4所示。

    圖4 數(shù)據(jù)驅(qū)動的混合故障診斷的框架Fig.4 Hybrid Fault Diagnosis Framework Driven by Data

    混合故障診斷的實現(xiàn)流程如下:

    (1)應(yīng)用HDFS收集處理流式數(shù)據(jù),對數(shù)據(jù)進行處理。得到有效的數(shù)據(jù)。

    (2)利用基于數(shù)據(jù)驅(qū)動方法建立故障模型對數(shù)據(jù)進行處理,得出故障檢測結(jié)果。

    (3)應(yīng)用HDFS存儲量大的特點。對歷史數(shù)據(jù)進行挖掘。建立基于知識模型的專家系統(tǒng)[14]。

    (4)將故障結(jié)果輸入到基于知識的專家系統(tǒng),得到故障原因,實現(xiàn)決策支持。

    (5)若利用知識模型沒有對故障診斷成功,實時數(shù)據(jù)和故障檢測結(jié)果進行數(shù)據(jù)挖掘來實時地更新基于知識的模型。對實時的數(shù)據(jù)進行數(shù)據(jù)挖掘,得到出現(xiàn)的關(guān)鍵字,重要字段等,更新知識模型[15]。

    5 鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺優(yōu)勢分析

    5.1低成本的優(yōu)秀解決方案

    基于Hadoop的分布式存儲系統(tǒng)提供了低成本解決問題的方案,其本身無License限制,可輕松在上百臺普通PC上并發(fā)存儲大規(guī)模數(shù)據(jù)。鋼鐵企業(yè)無需購置高性能機器來滿足繁重的實時數(shù)據(jù)流處理。集群性能的提升與投入的資金呈線性關(guān)系,在成本控制方面的優(yōu)勢超過分析型數(shù)據(jù)庫的可擴展方面的優(yōu)勢。

    5.2可靠、高效、可伸縮的數(shù)據(jù)存儲平臺

    基于Hadoop的分布式文件存儲系統(tǒng)具有可靠,高效的特點,HDFS架構(gòu)如圖5所示

    圖5 分布式文件存儲系統(tǒng)架構(gòu)Fig.5 Hadoop Distributed File System Framework

    上文已討論分布式文件存儲系統(tǒng)高可靠性的實現(xiàn)。HDFS假設(shè)計算元素和存儲失敗,因此通過創(chuàng)建并維護多個工作數(shù)據(jù)副本,確保能對失敗的節(jié)點重新分布處理;由于存儲平臺通過并行方式存儲,通過并行處理加快處理速度,因此該平臺具有高效的特點;由于平臺的運算性能可線性疊加,處理的數(shù)據(jù)流可達PB、ZB的級別,可伸縮性強。

    5.3靈活的多服務(wù)應(yīng)用支持

    鋼鐵生產(chǎn)大數(shù)據(jù)存儲平臺基于Hadoop HDFS。HDFS的默認配置適合于大多數(shù)安裝的應(yīng)用,支持大多數(shù)平臺,支持shell命令行風格的HDFS目錄交互。Namenode和Datanode都內(nèi)建了網(wǎng)絡(luò)服務(wù)器,可方便地查看集群的狀態(tài)。這些優(yōu)點使得在云計算中運用Hadoop的分布式架構(gòu)成為可能,使云計算能夠不受平臺等的限制。

    6 結(jié)束語

    隨著工業(yè)互聯(lián)網(wǎng)的迅速發(fā)展,工業(yè)生產(chǎn)的實時數(shù)據(jù)量在不斷增長,HDFS在鋼鐵企業(yè)中的應(yīng)用受到了越來越多的關(guān)注,但其單點設(shè)計給鋼鐵生產(chǎn)企業(yè)所帶來的問題也日益凸顯。本文首先提出了一種分布式NameNode節(jié)點的HDFS模型,以此來解決HDFS單一NameNode的不足。針對鋼鐵企業(yè)對海量數(shù)據(jù)處理的迫切需求,提出了在虛擬化資源管理平臺上搭建基于Hadoop的動態(tài)可伸縮的海量數(shù)據(jù)存儲平臺,并給出其技術(shù)架構(gòu)。最后,給出了一種工業(yè)大數(shù)據(jù)下的混合故障診斷模型,并對分布式數(shù)據(jù)存儲平臺的優(yōu)勢進行了分析,為鋼鐵工業(yè)數(shù)據(jù)的實時存儲提供了新的解決方案。

    致謝:感謝華北理工大學大學生創(chuàng)新創(chuàng)業(yè)計劃項目(X2016128),河北省人力資源與社會保障廳留學回國人員科技活動項目(C2015005014)的資助。

    [1] 周斌. 基于Hadoop的海量工程數(shù)據(jù)關(guān)聯(lián)規(guī)劃挖掘方法研究[D]. 北京交通大學, 2016.

    [2] 李明明, 李偉. 基于HDFS的高可靠性存儲系統(tǒng)的研究[J].西安科技大學學報, 2016, 03: 428-430.

    [3] 王又立, 王晶. 一種基于Kerberos和HDFS的數(shù)據(jù)存儲平臺訪問控制策略[J]. 軟件, 2016, 37(01): 67-70.

    [4] 蔣濤, 周傲英, 高云君, 等. 不確定數(shù)據(jù)查詢處理[J]. 新型工業(yè)化, 2013, 3(5): 83-101.

    [5] 王來, 翟健宏. 基于HDFS的分布式存儲策略分析[J]. 智能計算機與應(yīng)用, 2016, 01: 5-8.

    [6] 李可, 李昕. 基于Hadoop生態(tài)集群管理系統(tǒng)Ambari的研究與分析[J]. 軟件, 2016, 37(02): 93-97.

    [7] 王少娟. 基于Hadoop的作業(yè)調(diào)度負載均衡算法研究[D].安徽理工大學, 2016.

    [8] 楊彬. 分布式文件系統(tǒng)HDFS處理小文件的優(yōu)化方案[J].軟件, 2014, 35(6): 65-69.

    [9] 楊海鵬, 戴波. 數(shù)據(jù)采集與監(jiān)控系統(tǒng)在石油化工企業(yè)中的應(yīng)用[J]. 新型工業(yè)化, 2014, 4(3): 44-51.

    [10] Tupe A, Priyadarshi A. Data Mining with Big Data and Privacy Preservation[J]. nature, 2016, 5(4).

    [11] Ma, Ke. Research and implementation of distributed storage system based on big data. 2016 IEEE International Conference on Big Data Analysis (ICBDA): IEEE, 2016:1-4.

    [12] Singh, Somya, Gaurav Raj, and Gurneet Kaur. Analysis of HDFS RPC and Hadoop with RDMA by evaluating write performance.2016 6th International Conference-Cloud System and Big Data Engineering (Confluence): IEEE, 2016: 368-372.

    [13] Wang, Chia-Hui, et al. Coupling GPU and MPTCP to improve Hadoop/MapReduce performance. 2016 2nd International Conference on Intelligent Green Building and Smart Grid (IGBSG): IEEE, 2016: 1-6.

    [14] Docherty J, Corbett H. Managing Change in the Public Relations Industry: The Impact and Potential of Big Data[J]. 2016.

    [15] Vega-Gorgojo G, Fjellheim R, Roman D, et al. Big Data in the Oil & Gas Upstream Industry-A Case Study on the Norwegian Continental Shelf[J]. OIL GAS-EUROPEAN MAGAZINE, 2016, 42(2): 66-68.

    Research on Big Data Storage Platform for Iron and Steel Enterprises Based on Hadoop

    WANG Zhuo1, XIN Xing1, Yin Xiao1, CHANG Jin-cai1,2
    (1. College of Sciences, North China University of Science and Technology, Tangshan 063009; 2. The Key Laboratory of Data Science and Applications of Hebei Province, Tangshan 063009)

    The deployment of big data platform in iron and steel enterprises has an important role in the industrial transformation and upgrading. The big data of iron and steel industries has the characteristics of real time, dynamic and uncertainty. HDFS is gradually showing some deficiencies with the real time industrial data stream, to cope with this, a HDFS based on distributed NameNode nodes is proposed. HDFS based on distributed NameNode nodes is designed generally, including the main functions and working mechanisms of TopNameNode node and distributed NameNode nodes. The performance benefits of HDFS based on distributed NameNode nodes are analyzed. A Solution that building a dynamic scalable distributed file storage platform based on Hadoop in the virtual resource management platform is proposed. A new hybrid fault diagnosis model is built combining method based on Knowledge Engineering with the data driven method. At last, advantages of the big data storage platform for Iron and steel enterprises based on Hadoop are analyzed.

    Big data on iron and steel enterprises; HDFS; Distributed nameNode; Technology framework; Fault diagnosis

    TP311.13

    A

    10.3969/j.issn.1003-6970.2016.09.011

    河北省人力資源與社會保障廳留學回國人員科技活動資助項目(C2015005014)。華北理工大學大學生創(chuàng)新創(chuàng)業(yè)計劃項目(X2016128)。

    通訊聯(lián)系人: 常錦才(1973-),男,博士,教授。

    猜你喜歡
    鋼鐵集群分布式
    《鋼鐵是怎樣煉成的》
    海上小型無人機集群的反制裝備需求與應(yīng)對之策研究
    “鋼鐵俠”
    一種無人機集群發(fā)射回收裝置的控制系統(tǒng)設(shè)計
    電子制作(2018年11期)2018-08-04 03:25:40
    撲面而來的“鋼鐵鳥”
    航空世界(2018年12期)2018-07-16 08:34:50
    分布式光伏熱錢洶涌
    能源(2017年10期)2017-12-20 05:54:07
    分布式光伏:爆發(fā)還是徘徊
    能源(2017年5期)2017-07-06 09:25:54
    Python與Spark集群在收費數(shù)據(jù)分析中的應(yīng)用
    勤快又呆萌的集群機器人
    鋼鐵是怎樣煉成的?
    国产在线一区二区三区精| 久久久精品94久久精品| 国产99久久九九免费精品| 亚洲欧美一区二区三区久久| 欧美人与性动交α欧美软件| 久久久久网色| 国产亚洲一区二区精品| 一个人免费看片子| 亚洲久久久国产精品| 成人免费观看视频高清| 男女免费视频国产| 男女下面插进去视频免费观看| 只有这里有精品99| 国产成人欧美在线观看 | 久久天堂一区二区三区四区| 男女床上黄色一级片免费看| 国产一区二区三区综合在线观看| 国产精品一区二区在线观看99| 高清黄色对白视频在线免费看| 国产精品成人在线| 亚洲国产av影院在线观看| 多毛熟女@视频| 国产成人免费无遮挡视频| 免费日韩欧美在线观看| 999久久久国产精品视频| 亚洲国产看品久久| 亚洲av日韩精品久久久久久密 | 久久这里只有精品19| 国产色视频综合| 少妇人妻久久综合中文| 久久久久久久精品精品| 一级a爱视频在线免费观看| 天天躁夜夜躁狠狠躁躁| 亚洲男人天堂网一区| 欧美日韩亚洲综合一区二区三区_| 视频在线观看一区二区三区| 国产成人免费观看mmmm| 国产av国产精品国产| 天天躁日日躁夜夜躁夜夜| 国产黄色视频一区二区在线观看| 丝瓜视频免费看黄片| 日韩精品免费视频一区二区三区| 成人亚洲精品一区在线观看| 伊人亚洲综合成人网| 精品熟女少妇八av免费久了| 成人三级做爰电影| 女人爽到高潮嗷嗷叫在线视频| 国产免费一区二区三区四区乱码| 国产日韩欧美视频二区| 日韩精品免费视频一区二区三区| 国产男女超爽视频在线观看| 只有这里有精品99| xxx大片免费视频| 色视频在线一区二区三区| www日本在线高清视频| 国产无遮挡羞羞视频在线观看| 新久久久久国产一级毛片| 国产一卡二卡三卡精品| 亚洲黑人精品在线| 各种免费的搞黄视频| 精品少妇久久久久久888优播| 99国产精品一区二区三区| 免费在线观看影片大全网站 | 精品人妻在线不人妻| 在线精品无人区一区二区三| 日韩,欧美,国产一区二区三区| 免费观看av网站的网址| 丝袜人妻中文字幕| 又粗又硬又长又爽又黄的视频| 亚洲av电影在线观看一区二区三区| 精品国产国语对白av| 久久人人爽人人片av| 精品人妻一区二区三区麻豆| 一本一本久久a久久精品综合妖精| 少妇裸体淫交视频免费看高清 | 亚洲欧美日韩高清在线视频 | 亚洲欧洲精品一区二区精品久久久| 国语对白做爰xxxⅹ性视频网站| 精品国产超薄肉色丝袜足j| 日韩视频在线欧美| 日韩熟女老妇一区二区性免费视频| 亚洲精品自拍成人| 爱豆传媒免费全集在线观看| 久久国产亚洲av麻豆专区| 精品国产国语对白av| 亚洲精品中文字幕在线视频| 国产精品国产av在线观看| 国产精品久久久人人做人人爽| 老司机影院毛片| 久久九九热精品免费| 啦啦啦在线观看免费高清www| 丁香六月欧美| 亚洲国产欧美日韩在线播放| 国产一卡二卡三卡精品| 伊人亚洲综合成人网| 一本—道久久a久久精品蜜桃钙片| 国精品久久久久久国模美| 狂野欧美激情性bbbbbb| 久久亚洲精品不卡| 最近最新中文字幕大全免费视频 | 亚洲av片天天在线观看| 久久人人97超碰香蕉20202| 国产一卡二卡三卡精品| 久久99精品国语久久久| 欧美精品高潮呻吟av久久| 国产午夜精品一二区理论片| 精品国产乱码久久久久久男人| 久9热在线精品视频| 欧美少妇被猛烈插入视频| 国精品久久久久久国模美| 日本欧美国产在线视频| 亚洲成人国产一区在线观看 | 免费在线观看视频国产中文字幕亚洲 | 亚洲欧美精品自产自拍| 久久国产精品大桥未久av| 国产精品成人在线| av又黄又爽大尺度在线免费看| 黄色毛片三级朝国网站| www日本在线高清视频| 欧美日韩精品网址| 成年动漫av网址| 天天添夜夜摸| 亚洲免费av在线视频| av网站在线播放免费| 丰满迷人的少妇在线观看| 91精品国产国语对白视频| 亚洲成人免费电影在线观看 | 亚洲精品乱久久久久久| 亚洲专区国产一区二区| 亚洲精品美女久久av网站| 女警被强在线播放| 欧美 亚洲 国产 日韩一| 日本欧美视频一区| 国产精品成人在线| 国精品久久久久久国模美| 精品亚洲乱码少妇综合久久| 男女免费视频国产| 看免费av毛片| 精品国产一区二区三区四区第35| 丝袜人妻中文字幕| 黄色毛片三级朝国网站| 亚洲精品久久成人aⅴ小说| 久久精品成人免费网站| 王馨瑶露胸无遮挡在线观看| 亚洲欧美色中文字幕在线| 亚洲国产欧美一区二区综合| 亚洲色图综合在线观看| 欧美97在线视频| 成人国语在线视频| 中国美女看黄片| svipshipincom国产片| 一级黄片播放器| www.999成人在线观看| 菩萨蛮人人尽说江南好唐韦庄| 日本欧美国产在线视频| 捣出白浆h1v1| 成人三级做爰电影| 成年av动漫网址| 男女之事视频高清在线观看 | 亚洲精品中文字幕在线视频| 国产av精品麻豆| 午夜激情久久久久久久| 午夜视频精品福利| 99国产综合亚洲精品| 日本vs欧美在线观看视频| 高清不卡的av网站| 亚洲欧美中文字幕日韩二区| avwww免费| 伊人亚洲综合成人网| 国产麻豆69| 美女福利国产在线| 午夜福利视频在线观看免费| 51午夜福利影视在线观看| 最新在线观看一区二区三区 | 在线观看一区二区三区激情| 久久精品国产亚洲av涩爱| 久久精品亚洲av国产电影网| 中国国产av一级| 欧美乱码精品一区二区三区| 欧美精品高潮呻吟av久久| 国产成人精品久久久久久| 最新在线观看一区二区三区 | 国产精品免费视频内射| 熟女av电影| 婷婷色麻豆天堂久久| 久久午夜综合久久蜜桃| 老熟女久久久| 欧美日韩亚洲综合一区二区三区_| 亚洲av男天堂| 咕卡用的链子| 巨乳人妻的诱惑在线观看| 免费女性裸体啪啪无遮挡网站| 免费不卡黄色视频| av电影中文网址| 亚洲成人免费av在线播放| 大陆偷拍与自拍| 日韩一卡2卡3卡4卡2021年| 亚洲中文日韩欧美视频| 狠狠精品人妻久久久久久综合| 大香蕉久久网| 女人精品久久久久毛片| 又黄又粗又硬又大视频| 丝袜喷水一区| 永久免费av网站大全| 日韩av免费高清视频| 亚洲欧美中文字幕日韩二区| 亚洲国产精品国产精品| 90打野战视频偷拍视频| 青草久久国产| av国产久精品久网站免费入址| 精品人妻一区二区三区麻豆| 51午夜福利影视在线观看| 免费av中文字幕在线| 国产精品免费视频内射| 久久精品国产亚洲av涩爱| bbb黄色大片| 咕卡用的链子| 久久国产精品男人的天堂亚洲| 大型av网站在线播放| 黑人猛操日本美女一级片| 亚洲欧美日韩另类电影网站| 国产一卡二卡三卡精品| 日本一区二区免费在线视频| 国产99久久九九免费精品| 男人舔女人的私密视频| 精品国产乱码久久久久久男人| 国产男人的电影天堂91| 精品国产超薄肉色丝袜足j| 亚洲av美国av| 一区二区av电影网| 成年人午夜在线观看视频| 在线观看免费视频网站a站| 日韩人妻精品一区2区三区| 成人影院久久| 三上悠亚av全集在线观看| 国产精品九九99| 日本wwww免费看| 午夜91福利影院| 美女午夜性视频免费| 在线看a的网站| 久久久国产一区二区| 老司机亚洲免费影院| 涩涩av久久男人的天堂| 国产成人精品久久久久久| 久久久久视频综合| 下体分泌物呈黄色| 亚洲国产精品999| 成人手机av| 一区二区三区四区激情视频| 极品少妇高潮喷水抽搐| 色精品久久人妻99蜜桃| 日日夜夜操网爽| 99久久人妻综合| 少妇裸体淫交视频免费看高清 | av国产久精品久网站免费入址| 免费少妇av软件| 国产精品 国内视频| 国产视频首页在线观看| 婷婷色av中文字幕| 国产高清不卡午夜福利| 成年女人毛片免费观看观看9 | av片东京热男人的天堂| 国产成人免费无遮挡视频| 男女午夜视频在线观看| 天天躁夜夜躁狠狠久久av| 夫妻午夜视频| 亚洲精品国产av蜜桃| 精品国产一区二区三区久久久樱花| 成人国语在线视频| 99热全是精品| 老汉色av国产亚洲站长工具| 极品人妻少妇av视频| 午夜91福利影院| 亚洲国产看品久久| 大香蕉久久成人网| 在线观看免费高清a一片| 99久久人妻综合| 永久免费av网站大全| 制服人妻中文乱码| 晚上一个人看的免费电影| 久久国产精品大桥未久av| 高清av免费在线| 婷婷成人精品国产| 精品国产乱码久久久久久男人| xxx大片免费视频| 一区二区三区激情视频| 久久人妻熟女aⅴ| av在线播放精品| 日本色播在线视频| 亚洲中文日韩欧美视频| 久久久久精品人妻al黑| 91老司机精品| 宅男免费午夜| 搡老乐熟女国产| 日本欧美视频一区| 在线av久久热| 人人妻,人人澡人人爽秒播 | 国产老妇伦熟女老妇高清| 人人妻人人澡人人爽人人夜夜| 亚洲国产精品一区三区| 国产精品久久久人人做人人爽| 日韩中文字幕视频在线看片| 国产亚洲精品第一综合不卡| 日本wwww免费看| 老司机靠b影院| 亚洲精品自拍成人| 97精品久久久久久久久久精品| 亚洲欧美一区二区三区黑人| 久久精品国产综合久久久| 国产成人欧美| 国产精品偷伦视频观看了| 亚洲一区中文字幕在线| 国产亚洲精品久久久久5区| 亚洲中文日韩欧美视频| 视频区欧美日本亚洲| 人人澡人人妻人| 午夜福利一区二区在线看| 中文精品一卡2卡3卡4更新| 亚洲图色成人| 视频区图区小说| 蜜桃国产av成人99| 制服诱惑二区| 亚洲精品中文字幕在线视频| 成人手机av| 欧美成人午夜精品| 中国美女看黄片| 国产精品久久久久久精品电影小说| 叶爱在线成人免费视频播放| 亚洲国产最新在线播放| 91精品三级在线观看| av一本久久久久| 亚洲精品久久成人aⅴ小说| 大码成人一级视频| 少妇精品久久久久久久| 一本—道久久a久久精品蜜桃钙片| 999久久久国产精品视频| 男人操女人黄网站| 黄色 视频免费看| 这个男人来自地球电影免费观看| 老司机在亚洲福利影院| 国产精品久久久久久人妻精品电影 | 中文字幕人妻熟女乱码| 亚洲国产成人一精品久久久| 日韩伦理黄色片| 亚洲精品国产区一区二| 观看av在线不卡| 亚洲精品国产区一区二| 99香蕉大伊视频| 超碰97精品在线观看| 这个男人来自地球电影免费观看| 99热全是精品| 青草久久国产| 免费在线观看影片大全网站 | 一二三四在线观看免费中文在| 亚洲七黄色美女视频| 一本久久精品| 久久精品国产亚洲av高清一级| 我要看黄色一级片免费的| 午夜福利在线免费观看网站| 亚洲欧美一区二区三区久久| 久久中文字幕一级| 夜夜骑夜夜射夜夜干| 黑丝袜美女国产一区| 在线观看免费高清a一片| 国产精品九九99| av在线播放精品| 日韩,欧美,国产一区二区三区| 一级毛片女人18水好多 | 欧美人与性动交α欧美软件| 久久精品国产亚洲av高清一级| 国产精品久久久久成人av| 狠狠婷婷综合久久久久久88av| 丰满少妇做爰视频| 亚洲欧美一区二区三区黑人| 下体分泌物呈黄色| 又大又爽又粗| 亚洲精品国产区一区二| 国产极品粉嫩免费观看在线| 亚洲av成人不卡在线观看播放网 | 亚洲av片天天在线观看| 久久人妻福利社区极品人妻图片 | 婷婷色麻豆天堂久久| 久久人人爽人人片av| 国产精品国产三级专区第一集| 午夜两性在线视频| 久9热在线精品视频| 欧美成人精品欧美一级黄| 欧美成狂野欧美在线观看| 蜜桃国产av成人99| 亚洲av成人精品一二三区| 丝瓜视频免费看黄片| 亚洲伊人久久精品综合| 91成人精品电影| 亚洲精品乱久久久久久| 久久亚洲精品不卡| 亚洲av电影在线观看一区二区三区| 欧美激情 高清一区二区三区| 亚洲情色 制服丝袜| 亚洲,欧美精品.| 成人18禁高潮啪啪吃奶动态图| 国产伦理片在线播放av一区| 黄色怎么调成土黄色| 日本黄色日本黄色录像| 美女福利国产在线| 国产亚洲精品久久久久5区| av不卡在线播放| cao死你这个sao货| 又紧又爽又黄一区二区| 欧美日韩视频精品一区| 欧美日韩亚洲高清精品| 两人在一起打扑克的视频| 精品亚洲成a人片在线观看| 爱豆传媒免费全集在线观看| 日韩精品免费视频一区二区三区| 欧美大码av| 尾随美女入室| 久久国产亚洲av麻豆专区| 久久久国产精品麻豆| 91精品国产国语对白视频| 成在线人永久免费视频| 亚洲自偷自拍图片 自拍| 日本a在线网址| 免费日韩欧美在线观看| 欧美精品人与动牲交sv欧美| 久久精品久久久久久久性| 两性夫妻黄色片| 久久久久久久大尺度免费视频| 国产麻豆69| 天天躁狠狠躁夜夜躁狠狠躁| 国产男女内射视频| 亚洲,欧美精品.| 亚洲 欧美一区二区三区| 看十八女毛片水多多多| 日本欧美国产在线视频| 亚洲精品久久久久久婷婷小说| 国产无遮挡羞羞视频在线观看| 亚洲人成电影免费在线| 一个人免费看片子| 黑人猛操日本美女一级片| 亚洲第一青青草原| 在线观看免费高清a一片| 久久人妻福利社区极品人妻图片 | 后天国语完整版免费观看| 日韩制服骚丝袜av| 亚洲av成人不卡在线观看播放网 | 色婷婷久久久亚洲欧美| 视频在线观看一区二区三区| 国产成人欧美| 亚洲av男天堂| 在线观看免费视频网站a站| 青春草亚洲视频在线观看| 19禁男女啪啪无遮挡网站| 9191精品国产免费久久| 国产福利在线免费观看视频| 久久人人爽人人片av| 美女主播在线视频| 涩涩av久久男人的天堂| 国产成人啪精品午夜网站| 亚洲精品一二三| 一区二区三区四区激情视频| 一级毛片黄色毛片免费观看视频| 下体分泌物呈黄色| 青草久久国产| 国产在线一区二区三区精| 国产成人欧美在线观看 | 91精品伊人久久大香线蕉| 中文字幕人妻丝袜制服| 97人妻天天添夜夜摸| 欧美日韩成人在线一区二区| 国产高清视频在线播放一区 | 一本久久精品| 色精品久久人妻99蜜桃| 少妇粗大呻吟视频| 狂野欧美激情性xxxx| 80岁老熟妇乱子伦牲交| 久久综合国产亚洲精品| 视频区欧美日本亚洲| 免费日韩欧美在线观看| 大香蕉久久成人网| 亚洲av在线观看美女高潮| 高清av免费在线| 亚洲第一青青草原| 精品卡一卡二卡四卡免费| 亚洲欧美一区二区三区黑人| 日韩中文字幕欧美一区二区 | 亚洲伊人色综图| av片东京热男人的天堂| 国产av一区二区精品久久| 久久青草综合色| 欧美大码av| 五月开心婷婷网| av不卡在线播放| 欧美日韩成人在线一区二区| 老熟女久久久| 男女边吃奶边做爰视频| 国产精品二区激情视频| 少妇猛男粗大的猛烈进出视频| 色网站视频免费| 欧美日韩精品网址| 亚洲人成电影观看| 中文字幕制服av| 精品久久久久久电影网| 久久亚洲精品不卡| 丁香六月欧美| 人成视频在线观看免费观看| 久久久久久免费高清国产稀缺| 99久久精品国产亚洲精品| 考比视频在线观看| 在线观看免费高清a一片| 大型av网站在线播放| 蜜桃国产av成人99| av又黄又爽大尺度在线免费看| 欧美激情 高清一区二区三区| 国产免费一区二区三区四区乱码| 日韩av在线免费看完整版不卡| 18禁观看日本| 欧美中文综合在线视频| 日韩,欧美,国产一区二区三区| 欧美性长视频在线观看| 亚洲色图 男人天堂 中文字幕| 女人高潮潮喷娇喘18禁视频| www.熟女人妻精品国产| 久久女婷五月综合色啪小说| 9热在线视频观看99| 中文字幕人妻熟女乱码| 国产精品香港三级国产av潘金莲 | 99国产综合亚洲精品| 777久久人妻少妇嫩草av网站| 一区在线观看完整版| 搡老岳熟女国产| 精品第一国产精品| 国产亚洲精品久久久久5区| 精品国产超薄肉色丝袜足j| 久久久久久亚洲精品国产蜜桃av| a级片在线免费高清观看视频| 精品卡一卡二卡四卡免费| 男女边摸边吃奶| 天天躁夜夜躁狠狠躁躁| 黑人猛操日本美女一级片| 日韩熟女老妇一区二区性免费视频| 下体分泌物呈黄色| 视频区图区小说| 人妻 亚洲 视频| 亚洲精品久久午夜乱码| 欧美xxⅹ黑人| 婷婷色av中文字幕| 午夜激情久久久久久久| 大香蕉久久网| 久久久久国产精品人妻一区二区| 99香蕉大伊视频| avwww免费| 男男h啪啪无遮挡| 亚洲国产欧美一区二区综合| 国产深夜福利视频在线观看| av一本久久久久| 人体艺术视频欧美日本| 亚洲三区欧美一区| 狂野欧美激情性xxxx| 老汉色av国产亚洲站长工具| 亚洲国产精品成人久久小说| 亚洲欧美成人综合另类久久久| h视频一区二区三区| 丁香六月欧美| 1024视频免费在线观看| 在线观看人妻少妇| 久久综合国产亚洲精品| 久久99一区二区三区| 天天躁夜夜躁狠狠躁躁| svipshipincom国产片| 成人亚洲欧美一区二区av| 久久精品久久久久久久性| 久久久久国产一级毛片高清牌| 亚洲精品美女久久久久99蜜臀 | 亚洲天堂av无毛| 日韩 欧美 亚洲 中文字幕| 国产成人免费无遮挡视频| 中国美女看黄片| 久久久国产欧美日韩av| 青青草视频在线视频观看| 国产成人精品无人区| 成人国产一区最新在线观看 | 看十八女毛片水多多多| 国产日韩欧美视频二区| 在线av久久热| 看免费成人av毛片| 久久国产精品影院| 亚洲av男天堂| 捣出白浆h1v1| 亚洲专区国产一区二区| 99久久精品国产亚洲精品| 国产精品二区激情视频| 老司机亚洲免费影院| 视频区图区小说| 尾随美女入室| 男人爽女人下面视频在线观看| 久久久精品国产亚洲av高清涩受| 国产又色又爽无遮挡免| 又黄又粗又硬又大视频| 久久精品久久久久久噜噜老黄| 久久天堂一区二区三区四区| 超碰成人久久| 精品熟女少妇八av免费久了| 午夜免费男女啪啪视频观看| 亚洲精品国产av成人精品| 男人操女人黄网站| 少妇被粗大的猛进出69影院| 我要看黄色一级片免费的| 18禁黄网站禁片午夜丰满| 亚洲国产精品999| 美女国产高潮福利片在线看| 极品人妻少妇av视频| 久久精品国产亚洲av涩爱| 久热爱精品视频在线9| 爱豆传媒免费全集在线观看| av有码第一页|