寶鋼5 m厚板工廠級數(shù)據(jù)中心開發(fā)

閆 博,劉 曄,丁建華,焦四海

(寶山鋼鐵股份有限公司中央研究院,上海 201999)

建立數(shù)據(jù)中心是鋼鐵制造業(yè)實現(xiàn)數(shù)據(jù)化與智能制造的基礎(chǔ)[1]。數(shù)據(jù)中心一方面提供數(shù)據(jù)采集接口,對企業(yè)經(jīng)營管理的業(yè)務(wù)數(shù)據(jù)、機器設(shè)備互聯(lián)數(shù)據(jù)以及銷售運維等外部數(shù)據(jù)進行采集、清洗;另一方面,基于工業(yè)大數(shù)據(jù)處理、分析、建模等關(guān)鍵技術(shù),根據(jù)具體應(yīng)用場景及需求,結(jié)合領(lǐng)域知識和算法,實現(xiàn)頂層應(yīng)用支撐,產(chǎn)生應(yīng)用價值。

開發(fā)數(shù)據(jù)中心,最大挑戰(zhàn)是解決數(shù)據(jù)的關(guān)聯(lián)性問題,這也是構(gòu)建數(shù)據(jù)應(yīng)用的基礎(chǔ)。普遍采用自動化四級控制系統(tǒng)的鋼鐵業(yè),L1到L4分別用于基礎(chǔ)自動化、過程控制、生產(chǎn)制造控制和產(chǎn)銷管理,有時候也把特殊儀表作為單獨的L0級。在生產(chǎn)過程中,在L0到L4不同層級上產(chǎn)生不同體量、不同頻度的海量數(shù)據(jù)。相應(yīng)數(shù)據(jù)采集的頻率也有很大的區(qū)別。L0/L1以毫秒為單位,L2是以毫秒、秒為單位,主要過程控制還在秒級到分鐘級,所以L0-L2實時性是重要的關(guān)注點;L3實時性相對較低,數(shù)據(jù)總體頻度以天為單位,最快也會是以小時為單位;L4實時性更低,數(shù)據(jù)總體頻度以周為單位。這些數(shù)據(jù)按照系統(tǒng)架構(gòu)存儲在不同的平臺上,呈現(xiàn)復(fù)雜的多頻度異構(gòu)特征,從結(jié)構(gòu)特點上可分為時間序列數(shù)據(jù)、二維數(shù)據(jù)、多維數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)多個種類,在頻度上覆蓋毫秒級、秒級、分鐘級直到大跨度數(shù)據(jù)各類情況。雖然總體上滿足了從市場到現(xiàn)場的信息流程傳遞的要求,但基本上是自上而下地接受指令并完成制造過程設(shè)計與控制、生產(chǎn)工序的過程控制、機械設(shè)備的基本動作控制。數(shù)據(jù)逐層傳遞,往往因為數(shù)據(jù)時頻上的差異,丟失了大量的細節(jié),甚至不能完成有效的數(shù)據(jù)傳遞,加之與業(yè)務(wù)邏輯的強耦合性,關(guān)聯(lián)特征標志的提取過程非常復(fù)雜,所以數(shù)據(jù)很難得到充分利用。因此解決這一挑戰(zhàn),各專業(yè)的融通發(fā)展最為重要,一方面制造業(yè)對于數(shù)字化及智能制造的認知還存在不足,更為關(guān)鍵的是ICT從業(yè)者往往對工業(yè)領(lǐng)域缺少業(yè)務(wù)專業(yè)積累和知識沉淀,缺少將制造業(yè)與ICT技術(shù)融會貫通的實踐經(jīng)驗[2]。

韓國POSCO開發(fā)的PosFrame平臺以及印度塔塔公司的一些實踐,把工序和工件、產(chǎn)品數(shù)字化,并把這些工序和工件、產(chǎn)品數(shù)字化所得到的數(shù)據(jù)收集、關(guān)聯(lián)、儲存,通過智能分析的手段獲得知識,去指導(dǎo)或直接用于控制,來改善運營的經(jīng)濟技術(shù)指標、產(chǎn)品的質(zhì)量水平、優(yōu)化生產(chǎn)工藝乃至提升安全性等。但是,如何更系統(tǒng)地進行生產(chǎn)過程、工件、產(chǎn)品的數(shù)字化,在什么范圍建立數(shù)據(jù)采集、規(guī)整、存貯、分析和應(yīng)用開發(fā)系統(tǒng)更合理,如何實現(xiàn)數(shù)據(jù)的覆蓋面和運行高效的協(xié)同等,實際上都還是一些開放的問題。

寶鋼以5 m厚板廠為樣板對象,結(jié)合生產(chǎn)實際、業(yè)務(wù)需求驅(qū)動,開展了一系列數(shù)字化及智能制造的研發(fā)應(yīng)用實踐,建立了工廠級數(shù)據(jù)中心。該厚板廠于2005年建成投產(chǎn),年產(chǎn)量200萬t,建廠之初就采用了四級計算機控制系統(tǒng),其架構(gòu)符合GB/T 20720.1—2019/IEC 62264-1:2003和ANSI/ISA-95.00.01—2000企業(yè)控制系統(tǒng)集成的標準中的連續(xù)控制模式。

1 方案設(shè)計

寶鋼5 m厚板的數(shù)據(jù)中心和智能制造平臺PIDAS,其中PIDAS是Process Intelligent Data Application System的簡稱,旨在創(chuàng)建鋼鐵制造業(yè)過程智能化與數(shù)據(jù)應(yīng)用系統(tǒng),其中工廠級數(shù)據(jù)中心做為PIDAS的核心,總體開發(fā)思路是充分利用現(xiàn)有自動化四級控制系統(tǒng)的基礎(chǔ)設(shè)施與數(shù)據(jù)資源,開發(fā)多頻度異構(gòu)工業(yè)數(shù)據(jù)采集、處理與存儲技術(shù),解決工業(yè)數(shù)據(jù)的關(guān)聯(lián)問題,具體包括硬件平臺與軟件平臺兩個部分。

數(shù)據(jù)中心的硬件平臺建立了基礎(chǔ)計算與存儲集群以及專用的數(shù)據(jù)交互與采集網(wǎng)絡(luò)。其中自主開發(fā)的計算與存儲集群為上層應(yīng)用提供動態(tài)、高效和安全的計算與存儲服務(wù);數(shù)據(jù)交互與采集網(wǎng)絡(luò),在縱向上連接生產(chǎn)系統(tǒng)L0～L4層級生產(chǎn)控制與制造管理系統(tǒng),在橫向上跨工序連接煉鋼、連鑄、加熱、軋制、冷卻到精整以及離線熱處理,并預(yù)留連接下級工序工廠的接口,全面實現(xiàn)制造過程各類異構(gòu)數(shù)據(jù)的物理聯(lián)通。

數(shù)據(jù)中心的軟件平臺充分利用國內(nèi)外先進技術(shù),建立自主的、安全高效的工廠級數(shù)據(jù)應(yīng)用技術(shù)棧,避免商業(yè)軟件的近期壁壘與遠期風險,在當前技術(shù)封鎖日趨嚴重的國際形勢下意義重大。利用形成的技術(shù)棧,自主研發(fā)了數(shù)據(jù)存儲框架、消息調(diào)度框架、數(shù)據(jù)采集框架、數(shù)據(jù)應(yīng)用框架、高級功能框架、監(jiān)測與報警框架。利用自主開發(fā)的多頻度異構(gòu)工業(yè)數(shù)據(jù)采集、處理與存儲技術(shù),主要解決數(shù)據(jù)的邏輯聯(lián)通性(包括可獲取性、異構(gòu)性、關(guān)聯(lián)性等問題),通過對各類數(shù)據(jù)的充分理解和研究,PIDAS系統(tǒng)通過實現(xiàn)一系列數(shù)據(jù)采集工具,在消息調(diào)度系統(tǒng)的統(tǒng)一指揮協(xié)作下,在物理互聯(lián)互通的基礎(chǔ)上,實現(xiàn)了工業(yè)數(shù)據(jù)高效采集、過濾、標簽和關(guān)聯(lián)的相關(guān)方法,解決了數(shù)據(jù)定義、質(zhì)量與關(guān)聯(lián)等方面的問題,為數(shù)據(jù)的最終應(yīng)用建立了良好的數(shù)據(jù)基礎(chǔ)。

通過圖1所示的系統(tǒng)架構(gòu),PIDAS數(shù)據(jù)中心密切結(jié)合了軋鋼工廠相關(guān)的營銷、制造、生產(chǎn)、設(shè)備、管理、操作、研發(fā)等不同方面的工作需要,覆蓋了軋鋼工廠全流程的數(shù)據(jù),針對不同角色、不同場景開發(fā)實現(xiàn)了相應(yīng)的數(shù)字化、智能化應(yīng)用功能。

2 方案實施

2.1 數(shù)據(jù)中心硬件平臺

厚板軋鋼工廠的硬件平臺,包括數(shù)據(jù)中心基礎(chǔ)硬件平臺和數(shù)據(jù)采集網(wǎng)絡(luò)。

2.1.1 基礎(chǔ)硬件平臺

數(shù)據(jù)中心基礎(chǔ)硬件平臺圍繞工廠級綜合數(shù)據(jù)中心的異構(gòu)數(shù)據(jù)采集與智能化控制進行設(shè)計開發(fā),性能、功能和穩(wěn)定性滿足平臺要求。該數(shù)據(jù)中心具備以下特征:

(1) 總存儲空間在200TB以上,為整個厚板大數(shù)據(jù)系統(tǒng)的存儲基礎(chǔ);

(2) 提供運行和管理30～40臺獨立服務(wù)器的能力,作為整個厚板大數(shù)據(jù)系統(tǒng)的計算基礎(chǔ);

(3) 具備在線熱備份能力;

(4) 硬件構(gòu)架具有較強的無縫擴展能力;

(5) 硬件構(gòu)架具有較強的熱恢復(fù)能力。

該基礎(chǔ)硬件平臺為軋鋼工廠數(shù)字化和智能制造解決方案的數(shù)據(jù)綜合性應(yīng)用層、大數(shù)據(jù)應(yīng)用層、人工智能應(yīng)用層的開發(fā)部署提供了基礎(chǔ)條件。

為了滿足上述的技術(shù)特征,數(shù)據(jù)中心使用了平臺虛擬化技術(shù)進行規(guī)劃、實現(xiàn),包括計算虛擬化和存儲虛擬化。通過使用控制程序(Control Program,即Virtual Machine Monitor或 Hypervisor),隱藏特定計算平臺的實際物理特性,為數(shù)據(jù)中心提供抽象的、統(tǒng)一的、模擬的計算環(huán)境。

采用虛擬化技術(shù),將一臺服務(wù)器的資源分配給了數(shù)臺虛擬化的服務(wù)器,有效利用了資源,確保應(yīng)用程序發(fā)揮出最高的可用性和性能,大幅提升效率;保證了在共享物理資源的同時相互完全隔離,在可用性和安全性方面,虛擬環(huán)境中運行的應(yīng)用程序遠優(yōu)于在傳統(tǒng)的非虛擬化系統(tǒng)中運行的應(yīng)用程序;虛擬服務(wù)器獨立于硬件進行工作,通過改進災(zāi)難恢復(fù)(信息技術(shù)與管理概念,指自然或人為災(zāi)害后,重新啟用信息系統(tǒng)的數(shù)據(jù)、硬件及軟件設(shè)備,恢復(fù)正常商業(yè)運作的過程)解決方案提高了業(yè)務(wù)連續(xù)性,當一臺服務(wù)器出現(xiàn)故障時可在最短時間內(nèi)恢復(fù)且不影響整個集群的運作,使數(shù)據(jù)中心的運行更加可靠;降低了部署成本,也間接降低了安全等其他方面的成本;系統(tǒng)兼容性大幅提升,所有的虛擬服務(wù)器都與正常的x86系統(tǒng)相兼容,可部署多套不同的系統(tǒng),將因兼容性造成問題的可能性降至最低;此外,平臺運維管理難度、工作量也大幅下降。

2.1.2 數(shù)據(jù)采集網(wǎng)絡(luò)

數(shù)據(jù)采集網(wǎng)絡(luò)是數(shù)據(jù)中心的基礎(chǔ)。該數(shù)據(jù)采集網(wǎng)絡(luò)由硬件防火墻、主網(wǎng)絡(luò)節(jié)點和采集終端集群組成。該數(shù)據(jù)采集網(wǎng)絡(luò)保證了厚板數(shù)據(jù)采集的能力和范圍,為確保數(shù)據(jù)中心數(shù)據(jù)采集內(nèi)容完整性、實時性提供了硬件保障。

整個網(wǎng)絡(luò)拓撲的設(shè)計、配置和管理均自主完成,采用了終端節(jié)點的端口隔離和VLAN技術(shù),數(shù)據(jù)采集網(wǎng)絡(luò)與主干業(yè)務(wù)網(wǎng)絡(luò)之間隔離,保證指定的IP、端口、應(yīng)用可以通過,其他不明數(shù)據(jù)不能通過,設(shè)置訪問控制列表,對通訊端口和IP進行檢查后再進行接入。既保證了數(shù)據(jù)中心網(wǎng)絡(luò)的安全性,同時也保證了數(shù)據(jù)采集效率。

數(shù)據(jù)采集工作完全覆蓋寶鋼5 m厚板從軋制線到精整、剪切和熱處理等生產(chǎn)關(guān)鍵工序,如圖2所示,包括二切、爐前、加熱、軋制、預(yù)矯直、冷卻、熱矯直、精整、追加小工序、熱處理、檢驗,并將表面檢測儀表和探傷儀表等特殊儀表、專業(yè)儀表納入到數(shù)據(jù)采集工作中。集中了厚板產(chǎn)線各工序設(shè)備層L0、基礎(chǔ)自動化層L1、過程控制層L2、制造執(zhí)行層L3、產(chǎn)銷管理層L4、數(shù)據(jù)倉庫等各層級數(shù)據(jù)。

圖2 PIDAS數(shù)據(jù)采集網(wǎng)絡(luò)示意圖

2.2 數(shù)據(jù)中心軟件平臺

數(shù)據(jù)中心軟件平臺是支撐PIDAS系統(tǒng)高層功能的底層專用系統(tǒng)框架。實現(xiàn)系統(tǒng)的存儲、調(diào)度、采集、應(yīng)用和監(jiān)測等方面的基礎(chǔ)軟件功能,對數(shù)據(jù)綜合應(yīng)用層、數(shù)據(jù)知識性應(yīng)用層、數(shù)據(jù)智能應(yīng)用層的各類應(yīng)用軟件功能提供底層基礎(chǔ)。能夠滿足軋鋼工廠對實時數(shù)據(jù)(毫秒級別)、準實時數(shù)據(jù)(秒級別)、過程數(shù)據(jù)(分鐘級別)、倉庫數(shù)據(jù)(月級別)的存儲和查詢的容量和性能要求。

軟件平臺具體包括數(shù)據(jù)存儲框架(DSF,Data Storage Frame)、消息調(diào)度框架(MDF,Message Dispatch Frame)、數(shù)據(jù)采集框架(DCF,Data Collection Frame)、數(shù)據(jù)應(yīng)用框架(DAF,Data Application Frame)、高級功能框架(AAF,Advanced Application Frame)、監(jiān)測與報警框架(MDF,Monitor and Alert Frame)等。

數(shù)據(jù)存儲框架(DSF)提供分布式的多類型數(shù)據(jù)存儲系統(tǒng),如圖3所示,實現(xiàn)統(tǒng)一的數(shù)據(jù)存儲框架,支撐整個厚板大數(shù)據(jù)系統(tǒng)數(shù)據(jù)的存儲和獲取功能,同時實現(xiàn)數(shù)據(jù)整理功能,該功能將采集服務(wù)獲得的數(shù)據(jù)進行整理,包括標簽、關(guān)聯(lián)和統(tǒng)計處理等,并將處理的結(jié)果存入DSF底層存儲單元。

DSF為數(shù)據(jù)庫類型數(shù)據(jù)(Oracle,DB2)開發(fā)通用型數(shù)據(jù)采集庫;為結(jié)構(gòu)化文檔類型(JSON,XML,ENV)、非結(jié)構(gòu)化文檔類型(正則表達式,模式匹配)開發(fā)通用型數(shù)據(jù)采集庫;為PLC數(shù)據(jù)類型(PDA)開發(fā)通用型數(shù)據(jù)采集庫;利用通用型數(shù)據(jù)采集庫針對每個數(shù)據(jù)采集對象開發(fā)具體的數(shù)據(jù)采集服務(wù);針對特種儀表,開發(fā)相應(yīng)的數(shù)據(jù)采集服務(wù);對于專業(yè)儀表,在專業(yè)采集系統(tǒng)上二次開發(fā),開發(fā)出相應(yīng)的數(shù)據(jù)采集服務(wù)。

數(shù)據(jù)采集框架(DCF)負責對各種類型的數(shù)據(jù)采集任務(wù)進行管理和調(diào)度,其中包括增、減和配置采集任務(wù),采集任務(wù)觸發(fā)管理,多個采集任務(wù)并發(fā)、串行管理,采集任務(wù)執(zhí)行結(jié)果的管理,錯誤信息管理等。

數(shù)據(jù)應(yīng)用框架(DAF)負責對建立其上的各種類型的數(shù)據(jù)應(yīng)用(DAs)提供公共功能的支撐,其中包括如何同步地完成數(shù)據(jù)服務(wù)請求、如何異步的完成數(shù)據(jù)服務(wù)請求、各類統(tǒng)計算法的實現(xiàn)、各類分析算法的實現(xiàn)、各類圖表的生成、各類報告的渲染、權(quán)限管理等。

圖3 數(shù)據(jù)存儲框架(DSF)數(shù)據(jù)處理過程示意圖

2.3 數(shù)據(jù)中心安全措施

為保證工廠級數(shù)據(jù)中心的網(wǎng)絡(luò)與數(shù)據(jù)安全,硬件方面,在基礎(chǔ)自動化、過程控制網(wǎng)絡(luò)的出口處部署工業(yè)安全防護墻,通過防火墻再接入數(shù)據(jù)采集網(wǎng)絡(luò)。數(shù)據(jù)采集網(wǎng)絡(luò)與公司內(nèi)部信息網(wǎng)之間,部署商用防火墻進行隔離,保證指定的IP、端口、應(yīng)用可以通過,其他不明數(shù)據(jù)不能通過。由于數(shù)據(jù)接入點較多,1臺主機感染病毒就會對系統(tǒng)產(chǎn)生較大影響,數(shù)據(jù)采集網(wǎng)絡(luò)在主機接入的交換機端口上啟用訪問控制列表,限制通訊的端口和IP后再進行接入。

軟件方面,數(shù)據(jù)中心軟件平臺的系統(tǒng)運行監(jiān)測和報警框架(MAF)是一個分布式的系統(tǒng)狀態(tài)主動監(jiān)測和報警系統(tǒng)。MAF負責監(jiān)測DAF、DCF和DSF內(nèi)每個節(jié)點的系統(tǒng)運行情況,包括計算負載、內(nèi)存使用量、存儲空間、網(wǎng)絡(luò)狀況等,并根據(jù)配置對出現(xiàn)的問題進行報警。

3 應(yīng)用實踐

做為厚板數(shù)字化和智能制造平臺PIDAS的核心,寶鋼5 m厚板工廠級數(shù)據(jù)中心從2015年逐步建立以來,已穩(wěn)定運行5年多時間。

由圖4可以清晰地看到,PIDAS建立的數(shù)據(jù)中心絕不是傳統(tǒng)意義上的MES或類似的制造管理系統(tǒng)的數(shù)據(jù)庫,它是實現(xiàn)了厚板工廠級跨工序、跨平臺、跨層級的數(shù)據(jù)收集、規(guī)整、標簽、存儲、查詢、分析和智能應(yīng)用功能,解決了厚板廠工業(yè)異構(gòu)數(shù)據(jù)高效采集、存儲、使用難題的工廠級的數(shù)據(jù)中心。更深層次上,正是由于建立了跨工序、跨平臺、跨層級的數(shù)據(jù)中心,使得當前PIDAS不僅可以為制造管理系統(tǒng)提供更豐富、更先進的制造管理模型,而且也為生產(chǎn)過程管控提供更優(yōu)化、更精準的過程控制模型。比如基于數(shù)據(jù)中心的業(yè)務(wù)價值多視角的可視化技術(shù),解決了工業(yè)數(shù)據(jù)多維度表征,滿足業(yè)務(wù)需求的可視化難題;基于數(shù)據(jù)中心的業(yè)務(wù)知識化建模與持久化技術(shù),解決了流程型工業(yè)數(shù)據(jù)價值挖掘的難題,建立了從流程型工業(yè)數(shù)據(jù)提煉知識,再將知識應(yīng)用于在線控制的創(chuàng)新路徑;基于數(shù)據(jù)中心的多系統(tǒng)動態(tài)協(xié)同智能控制技術(shù),解決大數(shù)據(jù)與智能化在流程型工業(yè)中缺少應(yīng)用場景、無法落地的難題,實現(xiàn)了真正有價值的應(yīng)用,開啟了軋鋼工廠智能化控制的路徑。

通過上述的數(shù)據(jù)中心與在其基礎(chǔ)上開發(fā)的各類應(yīng)用,寶鋼5 m厚板取得了效率、效能和質(zhì)量的快速提升,并獲得了知識傳承上的好處,為企業(yè)創(chuàng)造了巨大的經(jīng)濟效益和社會效益。

圖4 當前PIDAS在工廠控制系統(tǒng)所處位置示意圖

4 結(jié)論

(1) PIDAS數(shù)據(jù)中心的開發(fā)是5 m厚板工廠從自動化、信息化過渡、升級到數(shù)字化、網(wǎng)絡(luò)化、智能化的核心與基礎(chǔ)。通過開發(fā)多頻度異構(gòu)工業(yè)數(shù)據(jù)采集、處理與存儲技術(shù),解決了工業(yè)數(shù)據(jù)中心建設(shè)的核心問題。

(2) 建立軋鋼工廠PIDAS數(shù)據(jù)中心的硬件平臺,包括數(shù)據(jù)中心基礎(chǔ)硬件平臺和數(shù)據(jù)采集網(wǎng)絡(luò),使得寶鋼5 m厚板的數(shù)據(jù)采集工作完全覆蓋從軋制線到精整、剪切和熱處理等生產(chǎn)關(guān)鍵工序,包括特殊儀表、專業(yè)儀表,集中了厚板產(chǎn)線各工序設(shè)備層L0、基礎(chǔ)自動化層L1、過程控制層L2、制造執(zhí)行層L3、產(chǎn)銷管理層L4、數(shù)據(jù)倉庫等各層級數(shù)據(jù),為實現(xiàn)軋鋼工廠數(shù)字化和智能制造提供了基礎(chǔ)條件。

(3) 建立軋鋼工廠PIDAS數(shù)據(jù)中心的軟件平臺,實現(xiàn)系統(tǒng)的存儲、調(diào)度、采集、應(yīng)用和監(jiān)測等方面的基礎(chǔ)軟件功能,對數(shù)據(jù)綜合性應(yīng)用、知識性應(yīng)用、智能性應(yīng)用的各類應(yīng)用軟件功能提供底層基礎(chǔ)。能夠滿足軋鋼工廠對實時數(shù)據(jù)(毫秒級別)、準實時數(shù)據(jù)(秒級別)、過程數(shù)據(jù)(分鐘級別)、倉庫數(shù)據(jù)(月級別)的存儲和查詢的容量和性能要求。

(4) 寶鋼5 m厚板充分利用現(xiàn)有基礎(chǔ)設(shè)施與數(shù)據(jù)資源,緊密關(guān)聯(lián)核心業(yè)務(wù)、數(shù)值應(yīng)用場景,實現(xiàn)了跨生產(chǎn)工序、跨控制層級、跨數(shù)據(jù)采集和存儲平臺的數(shù)據(jù)中心。