高速公路云平臺系統(tǒng)架構(gòu)及關(guān)鍵資源配置設(shè)計

劉 攀

(河南省交通規(guī)劃設(shè)計研究院股份有限公司，河南 鄭州 450052)

當(dāng)前，我國信息化建設(shè)總體上正處于由網(wǎng)絡(luò)應(yīng)用向集約化整合與協(xié)同應(yīng)用過渡階段.交通運輸行業(yè)長期注重業(yè)務(wù)管理電子化，在公路管理、道路運輸管理、航務(wù)管理等領(lǐng)域逐步形成了一套信息管理系統(tǒng)、積攢了一套寶貴的行業(yè)管理數(shù)據(jù).“十三五”期間，物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)、大數(shù)據(jù)管理等新一代信息技術(shù)在交通運輸行業(yè)得到了廣泛應(yīng)用.高速公路云計算平臺中心主要為新一代高速公路智能、信息化路側(cè)和通信系統(tǒng)、高精度地圖與智慧管控系統(tǒng)等提供計算、存儲資源，實現(xiàn)路側(cè)信息化設(shè)備采集的數(shù)據(jù)接入與處理、與GPS/北斗地面增強基站系統(tǒng)的定位交互.本文在分析交通行業(yè)云平臺建設(shè)現(xiàn)狀的基礎(chǔ)上，介紹高速公路私有云平臺系統(tǒng)架構(gòu)，對系統(tǒng)關(guān)鍵技術(shù)進行了研究，提出云平臺關(guān)鍵資源配置設(shè)計方案.

1 高速公路交通云平臺應(yīng)用現(xiàn)狀

近年來，隨著交通信息化的發(fā)展，交通行業(yè)云平臺主要應(yīng)用在軌道交通、物流及高速公路上，主要分為自建的私有云和政府建設(shè)的政務(wù)云兩個類別.政務(wù)云通常由各省政府建設(shè)，包括政務(wù)專有云、政務(wù)公共云、政務(wù)數(shù)據(jù)共享交換平臺.其中，政務(wù)公共云承載面向互聯(lián)網(wǎng)的政務(wù)信息系統(tǒng)及公眾服務(wù)系統(tǒng)，政務(wù)專有云承載內(nèi)部管理及業(yè)務(wù)系統(tǒng)，它們通過政務(wù)數(shù)據(jù)共享交換平臺與網(wǎng)上政務(wù)服務(wù)平臺進行對接，為全省信息化系統(tǒng)提供計算資源、存儲資源和信息安全保護.

高速公路云平臺建設(shè)通常采用自建私有云模式.李德生[1]就取消省界站前后云平臺的需求和功能設(shè)計的變化，進行了系統(tǒng)分析，結(jié)合當(dāng)前政策、技術(shù)背景與現(xiàn)實業(yè)務(wù)需求，討論了基于取消省界站模式下的云平臺系統(tǒng)設(shè)計.尹蔚峰、王棟[2]利用云計算技術(shù)，對江蘇高速公路協(xié)同指揮調(diào)度平臺進行架構(gòu)設(shè)計，主要解決不同對象之間的數(shù)據(jù)調(diào)度，開創(chuàng)了高速公路路網(wǎng)指揮調(diào)度新應(yīng)用.

雖然高速公路云平臺建設(shè)已經(jīng)普及，但由于各地在政策、數(shù)據(jù)使用上都有其不同的特點及獨特需求.因此，其在云資源的規(guī)劃中，依舊需要結(jié)合數(shù)據(jù)存儲量級、資源調(diào)度彈性需求，進行合理的計算資源、存儲資源及網(wǎng)絡(luò)資源的規(guī)劃設(shè)計，以避免在實際使用中資源浪費或冗余不足的情況，真正實現(xiàn)云內(nèi)資源的合理調(diào)配.

2 高速公路云平臺系統(tǒng)架構(gòu)

高速公路云平臺主要用于部署業(yè)務(wù)綜合管理平臺、車路協(xié)同系統(tǒng)的云端平臺、高精度地圖平臺等，以滿足資源彈性調(diào)度、擴展等方面的需求.云平臺主要由基礎(chǔ)設(shè)施層、資源池層、云服務(wù)層和管理域組成，系統(tǒng)架構(gòu)如圖1所示.

圖1 高速公路云平臺總體架構(gòu)圖

2.1 基礎(chǔ)設(shè)施層

基礎(chǔ)設(shè)施層是云平臺的基礎(chǔ)，包括服務(wù)器、存儲、網(wǎng)絡(luò)、安全等物理基礎(chǔ)設(shè)施.云平臺將這些設(shè)施集中部署，以組建數(shù)據(jù)中心.

2.2 資源池層

資源池層可以接入計算(虛擬機)資源池、存儲(塊存儲、對象存儲、文件存儲、集中式存儲)資源池、網(wǎng)絡(luò)資源池以及安全資源池等.各種資源池可以根據(jù)項目需要進行構(gòu)建.資源池在構(gòu)建時，需要根據(jù)業(yè)務(wù)特點進行資源池分類.突發(fā)類業(yè)務(wù)需要進行動態(tài)資源分配，以保證核心業(yè)務(wù)高峰期時能正常訪問數(shù)據(jù).對于不確定的新增性業(yè)務(wù)，資源池需留有余量，以保證業(yè)務(wù)的快速部署和上線.

計算資源池：計算資源池主要由x86服務(wù)器構(gòu)成，其統(tǒng)一部署虛擬化軟件，以虛擬機的形式承載中心應(yīng)用系統(tǒng).所有的應(yīng)用服務(wù)器虛擬為計算資源池，其對于計算資源的分配不再是常規(guī)的按照物理硬件分配，而是將核心的 CPU 和內(nèi)存作為資源分配的主體.這樣做的好處是計算資源可以在中斷應(yīng)用或業(yè)務(wù)的情況下被動態(tài)地、快速地重新分配，同一計算資源在不同時間段可以被不同的應(yīng)用或者虛擬機使用.

存儲資源池：存儲資源池包含虛擬化平臺所需集中式存儲設(shè)備和分布式存儲設(shè)備.根據(jù)存儲需求的不同，存儲資源池由塊存儲設(shè)備、對象存儲設(shè)備、文件存儲設(shè)備分別提供服務(wù).存放在存儲資源池中的數(shù)據(jù)，包括應(yīng)用數(shù)據(jù)、數(shù)據(jù)庫以及所有的虛擬機，其可最大限度地保證應(yīng)用的高可用性.

網(wǎng)絡(luò)資源池：網(wǎng)絡(luò)采用云平臺建設(shè)分布式存儲系統(tǒng).分布式存儲本身節(jié)點之間存在大量的數(shù)據(jù)交互，為避免影響業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)發(fā)，網(wǎng)絡(luò)采用三平面設(shè)計，即建設(shè)業(yè)務(wù)網(wǎng)絡(luò)、存儲網(wǎng)絡(luò)、管理網(wǎng)絡(luò).

2.3 云服務(wù)層

云服務(wù)層作為云服務(wù)的管理及運營平臺,主要包括服務(wù)自動化層、服務(wù)接入層(服務(wù)console層)及服務(wù)門戶層.

服務(wù)自動化層通過對資源池層IaaS、災(zāi)備資源的封裝，實現(xiàn)云資源服務(wù)的發(fā)現(xiàn)、路由、編排、計量、接入等功能，實現(xiàn)從資源到服務(wù)的轉(zhuǎn)換.

服務(wù)接入層是云管理平臺的對外呈現(xiàn)，分為用戶門戶及管理員門戶.用戶門戶面向管理員門戶，管理員門戶面向系統(tǒng)管理員等.用戶可通過服務(wù)租戶自助操作門戶(服務(wù)console),實現(xiàn)對服務(wù)的操作、使用、監(jiān)控等全周期管理.

2.4 管理域

管理域包括運營域和運維域，它主要提供運營管理門戶、云服務(wù)申請和自助服務(wù)控制臺等，包括支持VPC管理、租戶管理、服務(wù)目錄、服務(wù)控制臺、計量等運營管理功能.

3 云平臺關(guān)鍵技術(shù)

云平臺關(guān)鍵技術(shù)包括虛擬化技術(shù)、分布式存儲技術(shù)、動態(tài)資源調(diào)度技術(shù)等.

3.1 虛擬化技術(shù)

虛擬化技術(shù)是云平臺架構(gòu)中的核心技術(shù).虛擬化技術(shù)主要有計算虛擬化、網(wǎng)絡(luò)虛擬化和存儲虛擬化，云平臺通過虛擬化技術(shù)，可以靈活地使用物理資源構(gòu)建不同規(guī)模、不同能力的資源池，用于動態(tài)調(diào)配計算、網(wǎng)絡(luò)、存儲資源.

計算虛擬化：通過對服務(wù)器硬件虛擬化，在傳統(tǒng)的x86服務(wù)器上建設(shè)多個獨立的虛擬云主機，可以根據(jù)業(yè)務(wù)系統(tǒng)性能需要以及安全級別選擇建設(shè)不同的云主機.計算虛擬化支持多路CPU虛擬技術(shù)，可為每個虛擬機提供一個或者多個虛擬CPU(VCPU)，可以對虛擬機的生命周期進行管理.

網(wǎng)絡(luò)虛擬化：云平臺支持VPC內(nèi)部專有網(wǎng)絡(luò)的劃分、建立，允許用戶自定義網(wǎng)絡(luò)環(huán)境，為不同的業(yè)務(wù)系統(tǒng)及用戶提供專有的網(wǎng)絡(luò)和交換機，滿足網(wǎng)絡(luò)內(nèi)部邏輯上的物理隔離.

存儲虛擬化：通過在通用x86服務(wù)器上部署分布式存儲系統(tǒng)，把所有服務(wù)器的本地硬盤組織成一個虛擬存儲資源池.

3.2 分布式存儲技術(shù)

存儲根據(jù)其類型，可分為塊存儲、對象存儲和文件存儲.在主流的分布式存儲技術(shù)中，HDFS/GPFS/GFS屬于文件存儲，Swift屬于對象存儲，而Ceph可支持塊存儲、對象存儲和文件存儲[3].采用分布式存儲技術(shù)的分布式存儲系統(tǒng)是一種具備良好的線性擴展能力(Scale-out)、高可靠、高性能、智能化、易運維的統(tǒng)一存儲模式.

塊存儲功能：基于塊的存儲接口是最常見的存儲數(shù)據(jù)方法，它們基于旋轉(zhuǎn)介質(zhì)，像硬盤、CD、軟盤、甚至傳統(tǒng)的9磁道磁帶.塊存儲功能可應(yīng)對虛擬化平臺、數(shù)據(jù)庫系統(tǒng)等場景，通過標準塊服務(wù)為高性能業(yè)務(wù)場景提供更高IOPS的存儲系統(tǒng).

文件存儲功能：文件存儲功能提供文件存儲服務(wù).在不借助第三方程序功能的基礎(chǔ)上，計算機可對文件構(gòu)建多副本機制，提升海量文件存儲的可靠性和可用性，具備傳統(tǒng)NAS和統(tǒng)一存儲不具備的靈活性.

對象存儲功能：對象存儲也叫基于對象的存儲，是用來描述解決和處理離散單元方法的通用術(shù)語，這些離散單元被稱為對象.就像文件一樣，對象包含數(shù)據(jù)，但是，和文件不同的是，對象在同一層結(jié)構(gòu)中不會再有層級結(jié)構(gòu).每個對象都在一個被稱作存儲池的扁平地址空間的同一級別里.文件和對象都有與它們所包含的數(shù)據(jù)相關(guān)的元數(shù)據(jù)，但是，對象是以擴展元數(shù)據(jù)為特征的.每個對象都會被分配一個唯一的標識符，計算機允許一個服務(wù)器或者最終用戶來檢索對象，而無須知道數(shù)據(jù)的物理地址.

采用分布式存儲技術(shù)，有如下優(yōu)勢.

線性擴展能力：分布式存儲系統(tǒng)所有的部件都可以進行線性擴展，橫向擴展的數(shù)量無理論限制.當(dāng)用戶需要更多的存儲資源時，他們只需以磁盤或服務(wù)器為單位進行擴容.集群容量可以根據(jù)實際業(yè)務(wù)需要逐步進行擴展，新加入的服務(wù)器節(jié)點可以在不中斷業(yè)務(wù)的情況下自動納入存儲資源池，動態(tài)地遷移數(shù)據(jù)，這極大地縮短了擴容的時間，降低了擴容的難度.

高可靠：用戶可以根據(jù)實際的業(yè)務(wù)需求為數(shù)據(jù)設(shè)置副本數(shù)量，分布式存儲系統(tǒng)支持用戶為每個存儲區(qū)設(shè)置不同的副本數(shù)目，而且可以設(shè)置不同的副本分布策略.高可靠的最低限度是為了保障不同的副本可分布在不同的服務(wù)器和物理硬盤上，極大地提高了數(shù)據(jù)的容錯性.

高性能：分布式存儲系統(tǒng)存儲容量和性能可隨著服務(wù)器節(jié)點的增加而線性增加，提供比傳統(tǒng)存儲更優(yōu)秀的性能.

3.3 動態(tài)資源調(diào)度技術(shù)

動態(tài)資源調(diào)度技術(shù)可以持續(xù)自動的平衡資源池中的容量，通過將物理計算節(jié)點進行池化管理，實現(xiàn)虛擬資源的均衡、集中等多種分布方式.當(dāng)用戶提交云資源申請時，云平臺系統(tǒng)依據(jù)實時采集的數(shù)據(jù)，分析資源池的運行狀態(tài)，在最合適的虛擬資源池中為用戶提供服務(wù).在資源池的負載情況超過預(yù)警值時，云平臺系統(tǒng)會將新的資源請求轉(zhuǎn)移到鄰近資源池.

4 云平臺關(guān)鍵資源配置設(shè)計

計算資源池承載云平臺中業(yè)務(wù)系統(tǒng)的所有計算需求，存儲資源用于提供結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的存儲空間，網(wǎng)絡(luò)資源負責(zé)提供云平臺中的數(shù)據(jù)傳輸通道，它們是云平臺建設(shè)的關(guān)鍵點.

4.1 計算資源

計算資源池承載云平臺中業(yè)務(wù)系統(tǒng)的所有計算需求，設(shè)計師在對計算資源池進行設(shè)計時，既要保證整個計算平臺的運行穩(wěn)定，又不能過多地追求高性能，要做到合理選型，合理分配.

虛擬服務(wù)器系統(tǒng)以x86平臺服務(wù)器作為基礎(chǔ)平臺，其在基礎(chǔ)平臺上通過部署云計算虛擬化軟件完成資源池化，根據(jù)業(yè)務(wù)系統(tǒng)的不同需求生成不同配置的服務(wù)模板和虛擬機.

設(shè)計師在對計算資源進行規(guī)劃時，要參考當(dāng)前業(yè)務(wù)運行環(huán)境與新業(yè)務(wù)系統(tǒng)的實際需求，統(tǒng)計出不同虛擬機類型的虛擬資源的使用量.這里還要考慮關(guān)鍵虛擬機的可用預(yù)留空間以及未來三年業(yè)務(wù)擴容的預(yù)留需求.

把虛擬計算資源的需求轉(zhuǎn)化成物理資源，其計算思路為確定虛擬資源的分類規(guī)格，選定擬采用的服務(wù)器 CPU/內(nèi)存，確定 CPU/內(nèi)存的計算能力，核算出單臺服務(wù)器所能承載的最大虛擬機數(shù)目，根據(jù)虛擬機總數(shù)目，確認物理服務(wù)器數(shù)目,具體計算如表1所示.

4.2 存儲資源

云平臺采用分布式存儲，除配置分布式存儲軟件和冗余的萬兆交換機(光口)外，云平臺提供實際處理能力和存儲能力的標準x86服務(wù)器的配置原則如下：

1)CPU配置原則

分布式存儲軟件可運行的每個節(jié)點，為保障多業(yè)務(wù)并行接入、結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)混合存儲的特點，一般采用2個8核心的處理器.

2)內(nèi)存配置原則

分布式存儲系統(tǒng)下的x86服務(wù)器每個節(jié)點配置的內(nèi)存配置原則為1TB存儲容量配置1GB內(nèi)存，例如每節(jié)點存儲容量為120TB，則需要配置至少120GB的內(nèi)存.在非高并發(fā)情況下，每節(jié)點容量可遠高于最大內(nèi)存支持能力.在高并發(fā)情況下，分布式存儲系統(tǒng)應(yīng)配置SSD來作為內(nèi)存的擴充，滿足緩存容量的要求.

3)SSD配置原則

分布式存儲系統(tǒng)下，為了在有限的設(shè)備空間內(nèi)獲得最大的存儲容量和系統(tǒng)性能，分布式存儲軟件應(yīng)部署在SSD上.

4)硬盤配置原則

分布式存儲具備優(yōu)異的軟件架構(gòu)設(shè)計和硬件節(jié)點集成能力，數(shù)據(jù)存儲磁盤無需采用10k/15k轉(zhuǎn)速的SAS硬盤，而是采用單盤大容量的SATA/NL-SAS硬盤.分布式存儲系統(tǒng)可選擇主流、穩(wěn)定的4TB和6TB硬盤，根據(jù)實際容量需求和服務(wù)器磁盤槽位數(shù)進行配置.

5)網(wǎng)卡配置原則

分布式存儲系統(tǒng)的數(shù)據(jù)分散在不同的物理節(jié)點上.因此，存儲網(wǎng)絡(luò)應(yīng)最大限度地減小響應(yīng)延時，分布式存儲系統(tǒng)通過配置冗余的萬兆交換機(光口)作為交換節(jié)點，每臺物理服務(wù)器需配置至少1塊雙口萬兆網(wǎng)卡(光口)來進行設(shè)備接入.

4.3 網(wǎng)絡(luò)資源

網(wǎng)絡(luò)方案設(shè)計遵循高可靠性、高安全性原則，采用網(wǎng)絡(luò)三平面設(shè)計.

云平臺采用虛擬化技術(shù)，為云平臺管理系統(tǒng)數(shù)據(jù)傳輸、存儲數(shù)據(jù)傳輸、虛擬機內(nèi)業(yè)務(wù)數(shù)據(jù)傳輸之間提供道路.數(shù)據(jù)中心將內(nèi)部網(wǎng)絡(luò)劃分管理、業(yè)務(wù)、存儲三個平面，以支持上述業(yè)務(wù)數(shù)據(jù)的傳輸，三個網(wǎng)絡(luò)物理平面之間相互隔離，互不影響.服務(wù)器通過不同網(wǎng)卡接入不同網(wǎng)絡(luò)平面，如圖2所示.

圖2 云平臺網(wǎng)絡(luò)拓撲圖

云平臺的二層網(wǎng)絡(luò)結(jié)構(gòu)采用扁平化組網(wǎng)方式，分為核心層和接入層.核心交換機承擔(dān)著核心交換和數(shù)據(jù)匯聚的任務(wù)，其通過扁平化組網(wǎng)方式來降低網(wǎng)絡(luò)復(fù)雜度，提高轉(zhuǎn)發(fā)效率.云平臺采用虛擬化集群和堆疊技術(shù)，解決二層網(wǎng)絡(luò)架構(gòu)鏈路環(huán)路問題，提高整體架構(gòu)的可靠性.鑒于高速管理業(yè)務(wù)系統(tǒng)的高安全性、高擴展能力和可管理性的業(yè)務(wù)需求，云服務(wù)平臺計算中心網(wǎng)絡(luò)架構(gòu)的總體規(guī)劃要遵循區(qū)域化、層次化和模塊化的設(shè)計理念，明確網(wǎng)絡(luò)層次與各自的功能，提高承載的業(yè)務(wù)系統(tǒng)的可擴展性、可管理能力和安全性.

層次化設(shè)計：云服務(wù)平臺的網(wǎng)絡(luò)系統(tǒng)整體采用核心層、接入層的二層網(wǎng)絡(luò)架構(gòu)，扁平化組網(wǎng)結(jié)構(gòu)利于網(wǎng)絡(luò)的擴展和維護.

功能分區(qū)和模塊化設(shè)計：網(wǎng)絡(luò)架構(gòu)按照功能分為管理區(qū)(包含云平臺管理節(jié)點、網(wǎng)絡(luò)節(jié)點和設(shè)備帶外管理)、NAS存儲區(qū)、業(yè)務(wù)區(qū)(包含計算資源區(qū)、分布式存儲區(qū)).

從網(wǎng)絡(luò)類型角度分析，云計算數(shù)據(jù)中心網(wǎng)絡(luò)分為業(yè)務(wù)網(wǎng)、管理網(wǎng)、存儲網(wǎng)和帶外管理網(wǎng)，為了避免單點故障，所有網(wǎng)絡(luò)設(shè)計采用冗余架構(gòu)設(shè)計.

業(yè)務(wù)網(wǎng)：業(yè)務(wù)網(wǎng)是承載云計算數(shù)據(jù)中心的上層業(yè)務(wù)系統(tǒng)正常運行的網(wǎng)絡(luò)系統(tǒng).其主要包括：從服務(wù)器計算資源區(qū)到接入交換區(qū)、接入交換區(qū)到核心交換區(qū)以及核心交換區(qū)之間的業(yè)務(wù)互聯(lián).

管理網(wǎng)：管理網(wǎng)包括云平臺管理網(wǎng)、心跳網(wǎng)，主要作用是在業(yè)務(wù)負載較重時，確保虛擬機的正常遷移,實時監(jiān)控虛擬機之間的心跳狀態(tài).

存儲網(wǎng)：存儲網(wǎng)主要是完成云計算數(shù)據(jù)中心業(yè)務(wù)系統(tǒng)數(shù)據(jù)存儲的通道.業(yè)務(wù)數(shù)據(jù)根據(jù)數(shù)據(jù)的多樣性進行分類，分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù).從數(shù)據(jù)本身來講，數(shù)據(jù)還包括虛擬化平臺的虛擬機文件數(shù)據(jù).

帶外管理網(wǎng)：帶外管理網(wǎng)主要用于傳輸管理數(shù)據(jù)、統(tǒng)計信息等，其將網(wǎng)管數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)隔離開，充分保障業(yè)務(wù)網(wǎng)絡(luò)的安全.

5 結(jié)語

云平臺建設(shè)是未來高速公路信息化發(fā)展的重要基礎(chǔ)，高速公路云平臺可以為交通運輸行業(yè)部門協(xié)同共享、智能化管理、大數(shù)據(jù)分析、便捷化服務(wù)等工作提供技術(shù)支撐，對建設(shè)“暢、安、舒、美”的出行環(huán)境有著重要意義.例如將高速公路沿線視頻系統(tǒng)(包括道路、隧道、服務(wù)區(qū)、收費廣場、超限檢測站點、ETC 門架以及移動視頻等)接入云平臺，對各運營公司監(jiān)控圖像、數(shù)據(jù)進行共享.其目的有利于打破區(qū)域限制、信息孤島和碎片化應(yīng)用的限制，充分整合優(yōu)勢資源，實現(xiàn)視頻資源共享共用，構(gòu)筑協(xié)同調(diào)度指揮基石，提升高速公路網(wǎng)日常監(jiān)測與協(xié)調(diào)管理效率.