探討山西省高速公路收費中心數據處理系統(tǒng)架構改造設計

郭軍梅

（山西省交通信息通信公司，山西 太原 030006）

近年來，山西省高速公路建設規(guī)模發(fā)生了突飛猛進的發(fā)展，當前信息化及網絡化技術日新月異，隨著山西省高速公路里程數的逐年增長，車流量及網絡數據流量也成倍增長，對網絡帶寬與數據存儲、處理的要求也越來越高，山西省收費中心機房是全省收費數據轉發(fā)、處理及存儲的中心，其核心地位要求所有設備及配置具有高可靠性、可擴展性、先進性的架構設計，所以應配置較高端、可靈活擴展的核心處理存儲設備。而目前收費中心服務器及存儲設備是2007年建設并運行的，隨著長時間的運行，收費結算中心的設備面臨著老化，系統(tǒng)設計瓶頸、性能基本飽和、業(yè)務需求增加等現實問題，升級改造迫在眉睫，為此，本文主要研究收費中心數據處理及存儲改造時架構設計問題。

1 山西省高速公路數據處理存儲系統(tǒng)現狀

數據處理存儲系統(tǒng)是收費中心網絡系統(tǒng)的核心，由4臺小型機、一臺磁盤陣列、兩臺光纖通道交換機及備份軟件組成，小型機采用N+1熱備運行方式，利用集群軟件組成一個3節(jié)點的cluster，其中兩臺小型機sever195sever196運行兩個數據庫實例，分別對全省收費數據進行處理及存儲，另外一臺sever197做為備份服務器，平時3臺主機同時工作，兩臺承載生產業(yè)務，當其中一臺出現故障，應用業(yè)務自動切換到備用主機上，故障修復后，應用業(yè)務切換回原主機運行，sever194做為應用測試及備份數據恢復測試使用，結構網絡圖如圖1、圖2。

圖1 收費中心數據處理存儲系統(tǒng)現狀結構網絡圖

圖2 收費中心數據處理存儲系統(tǒng)現狀架構圖

1.1 系統(tǒng)設備老化

4臺小型機、光纖交換機及磁盤陣列是2007年更換的設備，24 h不停機已運行8年之久，一般根據電子設備工作壽命及更新換代5～8年來計算，該批設備已停產，配件已無法在市場上采購到，而且在運行當中多次出現主板、電源、光纖模塊老化等故障。

1.2 系統(tǒng)性能及設備容量基本飽和

根據2007年收費存儲系統(tǒng)更換方案的設計，當時山西省高速公路通車里程約為2000 km，而2016年通車里程達5265 km，約是當時的2.6倍，當時全省通車運營的收費站有160個，目前通車運營的收費站為307個，是原來的1.9倍?，F金及非現金的磁盤陣列存儲量及每天數據增長量如表1所示。

表1 數據量增長表

隨著高速公路通車里程的增長，收費站數量逐年增加，隨之帶來的是網絡邊界與設備的不斷擴容，以上數據表明2011年以后數據量呈現猛增的趨勢，因此對數據處理系統(tǒng)提出了更高的要求。通過查看服務器設備CPU使用率與內存占用率，發(fā)現CPU使用率已達90%，內存占用率已達95%以上，磁陣硬盤剩余空間只有1.5 T左右，因此數據處理服務器處于高負荷運行狀態(tài)，升級更換核心存儲設備迫在眉睫。

1.3 未來業(yè)務應用的需求

在信息化蓬勃發(fā)展的今天，應用業(yè)務及新技術應用增長異常迅猛，高速公路產生的收費數據業(yè)務不僅內容多，結構也會發(fā)生較大的變化，尤其是在2015年全國29省市ETC聯網以后，新業(yè)務形式會在收費系統(tǒng)中大量地應用，根據山西省高速公路管理局2017年的計劃，本年度內將在全省所有車道增加全車牌高清識別系統(tǒng)，收費數據中不僅有各類報表、還增加了圖片，以后還可能有視頻、音頻等，另外管理者對數據的專項校核、數據的查詢頻率也相應增大，全國聯網前收費中心要求數據進行月報，聯網后交通部路網監(jiān)測及應急處置中心要求數據進行旬報，數據的查詢、統(tǒng)計消耗大量的系統(tǒng)資源，對小型機處理能力提出了極大的挑戰(zhàn)。因此，不僅需要提升網絡設備性能，增加網絡的接入帶寬，更主要的是提升核心服務器的數據處理及存儲的性能和容量。

2 改造的架構設計

2.1 新架構設計原則

2.1.1 可用性

分為用、可用兩個方面，滿足需求，考慮應用增速，預留富余能力。

a）用 系統(tǒng)能力要符合應用需求。

b）可用 要有足夠的冗余度，考慮今后5～8年應用需求，保證應用持續(xù)可使用。

2.1.2 成本

分為構建成本、運維成本兩個方面，滿足第一原則的前提下，越低越好。

a）構建成本 系統(tǒng)構建需要的硬件、軟件、實施費用等。

b）運維成本 系統(tǒng)上線后，維保、升級、擴容的費用。

2.1.3 可擴展性

每一個方案在設計時不能只針對當前需求去設計，在設計之初就要考慮好擴展的問題，擴展性從兩個方向考慮。

a）技術的發(fā)展方向。在目前技術的基礎上，要考慮未來5年之內技術的發(fā)展方向及業(yè)務需求。

b）選擇的自由度。

2.1.4 日常運維

應考慮有效監(jiān)控、維護簡單、便捷與可視化。主要有以下4點：

a）易檢查；

b）易管理；

c）維護簡單；

d）能耗低。

2.2 新架構設計方案

根據以上數據處理服務器、存儲系統(tǒng)現狀及問題本文提出3種改造架構。

2.2.1 傳統(tǒng)UNIX小型機架構

圖3 傳統(tǒng)UNIX小型機架構圖

傳統(tǒng)UNIX架構，3臺小型機+SAN網絡+FC存儲+SF+Oracle+NBU，將目前oracle9i升級到11g或12c。

a）采用2+1集群配置，搭建oracle集群，一備二有效利用硬件資源。

b）通過SF軟件強大的snap功能，每日進行數據庫快照容災，有效保障數據安全，將數據恢復時間從天縮短至分鐘級，規(guī)避人為誤操作。

c）通過SF軟件專有的ODM功能，大幅提升oracle運行速度。

d）當前7.1版的NBU不支持oracle11g，需升級NBU到最新7.7.2。

優(yōu)點 技術成熟，穩(wěn)定性高。

缺點 硬件成本高，后期維護費用大。小型機技術處于淘汰階段，發(fā)展不明朗。

2.2.2 X86超融合架構

圖4 X86超融合架構圖

全新X86 VSAN架構，X86服務器+IB網絡+SF+Oracle+NBU，將目前oracle9i升級到11g或12c。

采用4節(jié)點集群配置，搭建FSS集群，2U機架式X86服務器，本地高性能SSD盤+大容量SAS盤混用。

a）FSS軟件搭建VSAN架構，利用本地盤替代傳統(tǒng)存儲，在節(jié)省成本的同時，大幅提高IO性能。

b）通過SF軟件專有的ODM功能，大幅提升oracle運行速度。

c）當前 7.1版 NBU不支持oracle11g，需升級NBU到最新7.7.2。為提高備份速度建議采購專用的X86服務器用于備份，配合未來機房的萬兆網環(huán)境，實現數據庫快速備份。

優(yōu)點 IT技術發(fā)展方向，價格低廉、高性能、低維護成本。

缺點 X86架構穩(wěn)定性差，日常故障較小型機多。

2.2.3 X86高可用架構

圖5 X86高可用架構圖

傳統(tǒng)架構X86化，X86服務器+萬兆網絡+混合式存儲+SF+NBU，將目前oracle9i升級到11g或12c。

采用2+1集群配置，搭建X86集群，一備二有效利用硬件資源。

a）采用混合式存儲，充分利用閃存盤的高性能和SAS盤的高容量特性，配合先進的消重技術，用最小的空間，獲取最大的容量，最高的性能。

b）通過SF軟件強大的snap功能，每日進行數據庫快照容災，將數據恢復時間從天縮短至分鐘級，有效保障數據安全，規(guī)避人為誤操作。

c）通過SF軟件專有的ODM功能，大幅提升oracle運行速度。

d）當前7.1版 NBU不支持oracle11g，需升級NBU到最新7.7.2。為提高備份速度建議采購專用的X86服務器用于備份，配合機房的萬兆網環(huán)境，實現數據庫快速備份。

e）利用混合式存儲大容量特性，結合NBU7.7.2新特性將日常備份任務從物理帶庫遷移至磁盤空間，大幅提高備份速度。

優(yōu)點 IT技術發(fā)展方向，價格低廉、高性能、高容量、低維護成本。

缺點 穩(wěn)定性介于1、2方案之間，成本介于1、2方案之間。

2.3 選擇一種方案應主要從3方面考慮

2.3.1 技術發(fā)展方向，X86替代小型機為大勢所趨

目前整個電子行業(yè)增速最快的兩個行業(yè)就是手機和服務器。服務器每年有6%以上的增速，而這些年Intel X86架構的服務器已經占據了90%以上的份額，隨著英特爾至強處理器的性能不斷提升，業(yè)內有種說法是X86服務器有搶占小型機市場的趨勢。

圖62016 年——2018年全球服務器出貨量（單位：千臺）

2.3.2 數據處理能力

新的X86架構CPU突破了主頻，核數的瓶頸，計算能力有質的突破。

表2 服務器與小型機數據處理能力比較

2.3.3 經濟性、穩(wěn)定性、可擴展性

表3 各種服務器成本費用、性能值比較表

從以上分析可以看出，X86服務器在穩(wěn)定性方面不及小型機，但是硬件成本、軟件成本、后期的維護成本要遠低于小型機。中國移動設計院根據河南移動實際情況進行的對比分析，小型機、X86服務器5年的成本TCO分別為702萬及47.3萬元，按照相同可靠性組建小型機及X86服務器集群，X86服務器的投資效率比小型機高58%[1]。

在可擴展性能上，X86平臺橫向的向外擴展功能能滿足大多數企業(yè)關鍵應用環(huán)境的負載需求，包括對內存和CPU要求都較高的數據庫、商業(yè)應用和虛擬化。

X86經過20多年的發(fā)展，通用性和標準化相當成熟，更加適合于企業(yè)長遠應用和需求擴展，更加容易維護與更新。

通過以上的分析，綜合考慮各種因素，結合收費中心數據存儲系統(tǒng)現狀及未來發(fā)展方向，推薦采用X86高可用架構，進行系統(tǒng)有計劃、有重點、有步驟地設計及改造。