基于LKJ信息系統(tǒng)跨平臺及安全性研究與應(yīng)用

陽亦斌，楊 將，歐盛芬

(湖南中車時代通信信號有限公司，長沙 410119)

1 概述

隨著2018年國家《網(wǎng)絡(luò)安全法》，2019年底《信息安全技術(shù)網(wǎng)絡(luò)安全等級保護基本要求》的正式實施，在中國制造向中國智造轉(zhuǎn)型的關(guān)鍵期，“國產(chǎn)、自主可控”已成為我國信息技術(shù)產(chǎn)業(yè)發(fā)展的時代標志，中國國家鐵路集團有限公司（以下簡稱“國鐵集團”）以及下屬18個鐵路局集團有限公司將信息系統(tǒng)網(wǎng)絡(luò)安全提升到前所未有的高度。為落實《中共中國鐵路總公司黨組關(guān)于進一步加強鐵路網(wǎng)絡(luò)安全和信息化工作的通知》（鐵總黨[2019]28號）的要求，由國鐵集團信息公司牽頭，聯(lián)合中華人民共和國公安部、中國鐵道科學(xué)研究院集團有限公司測評中心，2019年7月對全路3 896個信息系統(tǒng)進行網(wǎng)絡(luò)安全等級保護定級。按照《國鐵集團工電部關(guān)于做好工電信息系統(tǒng)整改相關(guān)工作的通知》(工電綜技電[2019]132號)的要求，全路各鐵路局集團有限公司對信息應(yīng)用系統(tǒng)開展全面安全性整改。

LKJ信息系統(tǒng)具體包含LKJ設(shè)備運行監(jiān)測管理系統(tǒng)、LKJ數(shù)據(jù)無線換裝系統(tǒng)、電務(wù)車載設(shè)備生產(chǎn)管理平臺、調(diào)車防護等系統(tǒng)。其中LKJ設(shè)備運行監(jiān)測管理系統(tǒng)和LKJ數(shù)據(jù)無線換裝系統(tǒng)已被定級為信息安全等級保護第三級，各系統(tǒng)主要采用國外X86服務(wù)器，閉源Windows操作系統(tǒng)平臺，數(shù)據(jù)庫采用Oracle系列版本，消息中間件采用IBM MQ，整個業(yè)務(wù)系統(tǒng)體系基本搭建在國外的平臺基礎(chǔ)之上。

2 可行性替代分析

目前LKJ信息系統(tǒng)主要采用Windows服務(wù)器、IBM MQ中間件、Oracle數(shù)據(jù)庫等國外的技術(shù)和產(chǎn)品，因此需從操作系統(tǒng)、數(shù)據(jù)庫、消息中間件、業(yè)務(wù)系統(tǒng)等層面進行全面安全可控跨平臺移植。原始系統(tǒng)技術(shù)選型分析示意如圖1所示。

2.1 操作系統(tǒng)

圖1 原始系統(tǒng)技術(shù)選型分析示意圖Fig.1 Analysis diagram of original system technology selection

LKJ信息系統(tǒng)對操作系統(tǒng)的應(yīng)用要求主要體現(xiàn)在安全性、穩(wěn)定性、兼容性、易用性和可維護性方面。Linux作為運行在全球數(shù)據(jù)中心服務(wù)器、大型計算機、超級計算機上的開源操作系統(tǒng)，應(yīng)用廣泛，可滿足LKJ信息系統(tǒng)應(yīng)用要求。Linux發(fā)行版本多，本文主要對主流Linux版本分支，結(jié)合應(yīng)用需求進行對比分析。具體對比如表1所示。

表1 Linux版本分支對比表Tab.1 Comparison table of Linux revision branch

從表1中看出，Rhel、CentOS、Debian適用于服務(wù)器，穩(wěn)定性和兼容性是其追求的主要目標，其內(nèi)核版本的更新頻率較低；Fedora、Ubuntu、優(yōu)麒麟、Deepin主要應(yīng)用于個人辦公桌面，穩(wěn)定性要求不高，追求功能的新穎性。綜合本次業(yè)務(wù)需求，采用CentOS 8.x作為數(shù)據(jù)庫、消息中間件、通信子系統(tǒng)、業(yè)務(wù)子系統(tǒng)的操作系統(tǒng)承載平臺，并在CentOS基礎(chǔ)上進行優(yōu)化定制和安全加固。

2.2 數(shù)據(jù)庫

Mysql被公認為是最流行的開源關(guān)系型數(shù)據(jù)庫，PostgreSQL被公認為是最先進的開源關(guān)系型數(shù)據(jù)庫，是Oracle的“開源版數(shù)據(jù)庫”。目前既有LKJ信息系統(tǒng)采用Oracle數(shù)據(jù)庫，PostgreSQL、Mysql數(shù)據(jù)庫均能滿足替代要求，重點從語法對數(shù)據(jù)庫移植復(fù)雜度、工作量和成本進行分析。具體對比如表2、3所示。

PostgreSQL、Mysql、Qracle、Ms sql server等數(shù)據(jù)庫語法結(jié)構(gòu)差異較小，差異主要來源于數(shù)據(jù)庫提供的功能、數(shù)據(jù)庫字段類型、系統(tǒng)提供的函數(shù)。PostgreSQL在數(shù)據(jù)移植難度、數(shù)據(jù)完整性、大數(shù)據(jù)量操作、密集運算、重型負載方面的表現(xiàn)都要好于 Mysql數(shù)據(jù)庫和 Ms sql server，因此采用PostgreSQL數(shù)據(jù)庫。

2.3 消息中間件

消息中間件是指利用高效可靠的消息傳遞機制進行與平臺無關(guān)的數(shù)據(jù)交流，并基于數(shù)據(jù)通信來進行分布式系統(tǒng)的集成。通過提供消息傳遞和消息排隊模型，它可以在分布式環(huán)境下提供應(yīng)用解耦、彈性伸縮、冗余存儲、流量削峰、異步通信、數(shù)據(jù)同步等功能，屬于分布式系統(tǒng)架構(gòu)中的一個重要組件。

表2 數(shù)據(jù)類型對比表Tab.2 Comparison table of data type

表3 語法函數(shù)對比表Tab.3 Comparison table of syntax functions

目前開源的消息中間件種類較多，常見的有ActiveMQ、RabbitMQ、Kafka、Rocketmq、ZeroMQ等產(chǎn)品。根據(jù)LKJ信息系統(tǒng)業(yè)務(wù)的需要，對中間件進行定制、調(diào)優(yōu)、改進、固化。具體對比如表4所示。

綜上從消息中間件在持久化、可靠性(消息)、性能、易用性(使用難度)等多個維度進行了對比分析，單純從吞吐量和TPS角度分析，Kafka、Memcacheq、ZeroMQ性能較好，經(jīng)過測試，Kafaka在單臺服務(wù)器上處理小消息時TPS能夠達到100 W/S，在同等條件下RabbitMQ的吞吐量只有Kafka的1/10至1/5之間，但RabbitMQ在使用RAM模式時，其性能較高。Rocketmq和ActiveMQ的性能居于其間，約幾十萬條每秒?；谀壳皩嶋HLKJ信息系統(tǒng)需求，并綜合性能考慮，Kafaka更具有優(yōu)勢。

表4 中間件對比表Tab.4 Comparison table of middleware

2.4 車地平臺化通信

根據(jù)LKJ信息系統(tǒng)跨平臺設(shè)計總體要求，實現(xiàn)高并發(fā)、高穩(wěn)定車地平臺化通信，支持TCP和UDP協(xié)議，支持IPV4和IPV6網(wǎng)絡(luò)協(xié)議，支持車地通信協(xié)議的用戶自定義，且基于國產(chǎn)或開源操作系統(tǒng)。

Epoll是Linux下多路復(fù)用IO接口Select/Poll的增強版本，它能顯著提高程序在大量并發(fā)連接中只有少量活躍的情況下系統(tǒng)CPU利用率。在獲取事件時，無需遍歷整個被偵聽的描述符集，只要遍歷那些被內(nèi)核IO事件異步喚醒而加入Ready隊列的描述符集合。Epoll除了提供Select/Poll那種IO事件的電平觸發(fā)（Level Triggered）外，還提供了邊沿觸發(fā)（Edge Triggered），使得用戶空間程序有可能緩存IO狀態(tài)，減少Epoll_Wait/Epoll_Pwait的調(diào)用，提高應(yīng)用程序效率。綜合考慮采用基于開源的Epoll第三方通信庫進行設(shè)計完成替代。

3 跨平臺設(shè)計與實現(xiàn)

3.1 系統(tǒng)架構(gòu)

LKJ信息系統(tǒng)由操作系統(tǒng)、數(shù)據(jù)庫、消息中間件、及各個子系統(tǒng)等組成。LKJ信息系統(tǒng)跨平臺總體系統(tǒng)架構(gòu)示意如圖2所示。

對本方案中涉及到的關(guān)鍵信息進行分層，總體可以分為車載設(shè)備、車地傳輸層(通信子系統(tǒng))、數(shù)據(jù)分發(fā)層(消息中間件：Kafka)、數(shù)據(jù)處理層、數(shù)據(jù)存儲層(數(shù)據(jù)庫：PostgreSQL)、應(yīng)用服務(wù)層、終端應(yīng)用層，以及操作系統(tǒng)承載層(操作系統(tǒng)：Linux CentOS 8.x 平臺操作系統(tǒng) )。

3.2 技術(shù)架構(gòu)

LKJ信息系統(tǒng)跨平臺技術(shù)架構(gòu)示意如圖3所示。

根據(jù)LKJ信息系統(tǒng)跨平臺設(shè)計總體要求，所有子系統(tǒng)均進行跨平臺設(shè)計，兼容Linux和Windows平臺。各個子系統(tǒng)均使用標準的C/C++語言和STL標準模板庫，避免使用與系統(tǒng)相關(guān)的API接口；使用PostgreSQL數(shù)據(jù)庫，均支持在Linux平臺和Windows平臺上部署，具有良好的跨平臺部署能力；使用Kafka消息中間件，在業(yè)界比較常用且有大量實踐案例，API支持多種語言，支持Windows和Linux雙平臺。系統(tǒng)采用Reactor網(wǎng)絡(luò)編程模型，利用Reactor實例、多路復(fù)用器、事件處理器以及事件源四個核心組件，引入開源高性能事件驅(qū)動I/O庫，進行平臺通用模塊框架設(shè)計，實現(xiàn)對Linux CentOS/Windows Server操作系統(tǒng)平臺的兼容。

圖2 總體系統(tǒng)架構(gòu)示意圖Fig.2 Overall system architecture

圖3 技術(shù)架構(gòu)示意圖Fig.3 Technical architecture

3.3 平臺化通信設(shè)計

根據(jù)對LKJ信息系統(tǒng)通信子系統(tǒng)性能分析，影響高并發(fā)、高性能的主要技術(shù)瓶頸在網(wǎng)絡(luò)IO的快速收發(fā)、業(yè)務(wù)包的高速處理和轉(zhuǎn)發(fā)。

通過網(wǎng)絡(luò)IO模型的選型，使用復(fù)雜度O(1)的Epoll模型，在網(wǎng)絡(luò)IO層面實現(xiàn)快速的網(wǎng)絡(luò)吞吐，為了充分使用SMP多核的并發(fā)處理優(yōu)勢，在包的解析處理和轉(zhuǎn)發(fā)層面，通信子系統(tǒng)使用可配置數(shù)量的業(yè)務(wù)線程池技術(shù)，避免線程頻繁的創(chuàng)建和銷毀，并充分利用硬件多核資源，以應(yīng)對在多終端大并發(fā)連接情況下對通信數(shù)據(jù)包的高效處理。

在通信子系統(tǒng)內(nèi)部，按照消息流向，可以架構(gòu)為消息收發(fā)(Epoll)、消息處理(工作線程池)、消息分發(fā)(內(nèi)部消息中間件處理)這3個流程。

通信子系統(tǒng)基礎(chǔ)架構(gòu)示意如圖4所示。

圖4 通信子系統(tǒng)基礎(chǔ)架構(gòu)示意圖Fig.4 Communication subsystem infrastructure

3.4 操作系統(tǒng)設(shè)計

目前LKJ信息系統(tǒng)采用國外Windows操作系統(tǒng)平臺，通過前期可行性替代研究，同時考慮對Kafka消息中間件、PostgreSQL數(shù)據(jù)庫版本的支持，通過定制化的Linux操作系統(tǒng)平臺，是實現(xiàn)操作系統(tǒng)安全可控的有效替換方案。CentOS是基于Linux 平臺的操作系統(tǒng)，其內(nèi)核kernel代碼全部安全可控，可定制成具有高性能、高可用、高可靠和高易用等特征，支持多核、雙態(tài)、多進程，可用于業(yè)務(wù)功能復(fù)雜、擴展性、穩(wěn)定性、安全性較高的綜合業(yè)務(wù)，滿足業(yè)務(wù)對系統(tǒng)的實時性需求，同時支持QT應(yīng)用或Web應(yīng)用開發(fā)，并支持運行上層桌面，方便集成應(yīng)用組件。操作系統(tǒng)軟件架構(gòu)示意如圖5所示。

圖5 操作系統(tǒng)軟件架構(gòu)示意圖Fig.5 Operating system software architecture

3.5 數(shù)據(jù)庫設(shè)計

通過對業(yè)務(wù)場景的需求分析以及數(shù)據(jù)庫軟件技術(shù)選型，LKJ信息系統(tǒng)跨平臺選用PostgreSQL12（64位）數(shù)據(jù)庫作為系統(tǒng)架構(gòu)的數(shù)據(jù)庫系統(tǒng)。

1）數(shù)據(jù)庫接口機設(shè)計

在需要入庫的業(yè)務(wù)和數(shù)據(jù)庫之間，建立一層緩存機制，避免大量數(shù)據(jù)入庫時PostgreSQL數(shù)據(jù)庫處理不過來導(dǎo)致阻塞，影響查詢等業(yè)務(wù)；接口機會匯聚多個入庫請求，批量進行入庫提交，以極大的提供入庫的效率；在PostgreSQL數(shù)據(jù)庫發(fā)生異常時，接口機會將入庫數(shù)據(jù)緩存到文件中，當數(shù)據(jù)庫上線時，再將數(shù)據(jù)插入至數(shù)據(jù)庫中，提高系統(tǒng)整體的容災(zāi)能力。

為保證接口機數(shù)據(jù)高速寫入，數(shù)據(jù)緩存采用內(nèi)存緩存和磁盤文件相結(jié)合的方式。接口機的數(shù)據(jù)先寫入到內(nèi)存中，當小塊數(shù)據(jù)緩存到較大數(shù)據(jù)量時，再調(diào)用接口批量寫入到磁盤文件中，通過內(nèi)存緩存累積成大塊IO寫入文件，來提高寫入磁盤的效率。

入庫數(shù)據(jù)流示意如圖6所示。

圖6 入庫數(shù)據(jù)流示意圖Fig.6 Inbound data flow

2）PostgreSQL數(shù)據(jù)庫優(yōu)化

LKJ信息系統(tǒng)跨平臺設(shè)計需完成既有基于Oracle數(shù)據(jù)庫的腳本移植（包括數(shù)據(jù)結(jié)構(gòu)、字段類型、字段長度）、數(shù)據(jù)庫內(nèi)置存儲過程觸發(fā)器定時任務(wù)的移植，客戶端訪問數(shù)據(jù)庫語句的代碼移植，數(shù)據(jù)庫的優(yōu)化遵循由“硬”及“軟”的方式進行調(diào)優(yōu)。

數(shù)據(jù)庫調(diào)優(yōu)主要考慮LKJ信息系統(tǒng)單表海量數(shù)據(jù)，為確保操作數(shù)據(jù)的效率，對數(shù)據(jù)庫進行分表分區(qū)設(shè)計，提升數(shù)據(jù)庫的并發(fā)訪問能力，避免單臺數(shù)據(jù)庫服務(wù)器成為瓶頸。按照日期對主表進行水平拆分，以一日一表的原則建立表結(jié)構(gòu)相同的虛擬主表，按照每5 s 1 000條實時數(shù)據(jù)的量來進行計算，日表數(shù)據(jù)量約172.8萬條。為避免主表拆分后對用戶查詢數(shù)據(jù)帶來的額外開銷，數(shù)據(jù)庫設(shè)計時提供存儲過程調(diào)用，用戶操作主表，將查詢語句提交給存儲過程，存儲過程根據(jù)傳入的時間及條件，返回翻譯后的查詢、修改、刪除等語句供業(yè)務(wù)系統(tǒng)調(diào)用，用戶不再關(guān)注數(shù)據(jù)存放在哪張?zhí)摂M主表中。

數(shù)據(jù)庫虛擬主表示意如圖7所示。

圖7 數(shù)據(jù)庫虛擬主表示意圖Fig.7 Database virtual main table

3）PostgreSQL數(shù)據(jù)庫可靠性設(shè)計

雙機熱備，以主備兩臺數(shù)據(jù)庫為基礎(chǔ)構(gòu)建高可用框架，提升整套數(shù)據(jù)系統(tǒng)的穩(wěn)定性、數(shù)據(jù)安全性和性能，雙機方案基于ROSE HA框架進行部署。ROSE負責數(shù)據(jù)庫雙機的資源管理層和消息傳遞，負責仲裁指定誰雙機中的活動節(jié)點、IP地址的轉(zhuǎn)移、本地資源管理系統(tǒng)、雙機的心跳信息（heartbeat），以及負責數(shù)據(jù)庫服務(wù)的啟動、停止和狀態(tài)查看。

數(shù)據(jù)同步，主數(shù)據(jù)庫A對外提供讀寫，將數(shù)據(jù)同步至從數(shù)據(jù)庫B，從數(shù)據(jù)庫B不斷從主數(shù)據(jù)庫A接收到數(shù)據(jù)并入庫，主從數(shù)據(jù)同步基于時間點的備份（簡稱PITR），其中把數(shù)據(jù)庫變動日志記錄WAL日志傳送到另外一臺服務(wù)器上有兩種方式，WAL日志歸檔（base-file）和流復(fù)制（streaming replication）。

數(shù)據(jù)庫異常及恢復(fù)，當數(shù)據(jù)庫雙機處于正常運行狀態(tài)時，浮動IP位于數(shù)據(jù)庫主數(shù)據(jù)庫A上，客戶端數(shù)據(jù)采集器通過浮動IP連接到A的接口機，數(shù)據(jù)由A進行緩存并入庫，客戶端通過該IP地址進行數(shù)據(jù)庫連接和操作。從數(shù)據(jù)庫B異常時，不影響數(shù)據(jù)庫A的正常工作，待數(shù)據(jù)庫B恢復(fù)后，繼續(xù)進行數(shù)據(jù)的同步；主數(shù)據(jù)庫A異常時，雙機軟件會將浮動IP切換到從數(shù)據(jù)庫B，從數(shù)據(jù)庫B上的數(shù)據(jù)接口機接收外部傳入的數(shù)據(jù)并緩存到本地文件中，此時數(shù)據(jù)并不入庫，只提供數(shù)據(jù)的讀取操作，不提供數(shù)據(jù)的修改、刪除、插入操作。待主數(shù)據(jù)庫A修復(fù)后，雙機軟件將切回至主數(shù)據(jù)庫A，此時主數(shù)據(jù)庫接口機主動將從數(shù)據(jù)庫B緩存的本地數(shù)據(jù)文件拷貝至主數(shù)據(jù)庫A，由主數(shù)據(jù)庫A上的入庫接口機進行入庫操作，以保證數(shù)據(jù)的完整性。

4 結(jié)束語

鑒于目前國內(nèi)外形勢，結(jié)合《信息安全技術(shù)網(wǎng)絡(luò)安全等級保護基本要求》，本文采用基于國產(chǎn)或開源的操作系統(tǒng)、數(shù)據(jù)庫、消息中間件等對LKJ信息系統(tǒng)進行跨平臺設(shè)計、轉(zhuǎn)型給出具體替代方案。通過部署與試用，所設(shè)計的替代方案滿足LKJ信息系統(tǒng)工程化應(yīng)用所需的安全性、可靠性及其他各項性能指標要求，有效保障了既有LKJ信息系統(tǒng)應(yīng)用的平穩(wěn)過渡，為今后在軌道交通領(lǐng)域信息系統(tǒng)自主化設(shè)計提供了具體思路。