基于國產(chǎn)CPU的并行冗余計算機(jī)系統(tǒng)研究

黃 晨，汪文明，張義超，岳 瑋

(北京宇航系統(tǒng)工程研究所，北京 100076)

基于國產(chǎn)CPU的并行冗余計算機(jī)系統(tǒng)研究

黃 晨，汪文明，張義超，岳 瑋

(北京宇航系統(tǒng)工程研究所，北京 100076)

目前國家不斷推進(jìn)的國產(chǎn)自主可控信息系統(tǒng)建設(shè)，其核心國產(chǎn)計算機(jī)系統(tǒng)由于技術(shù)成熟度低、市場推廣晚等原因，暴露出可靠性低、穩(wěn)定性差的問題，直接導(dǎo)致系統(tǒng)功能無法成功應(yīng)用;圍繞國產(chǎn)化計算機(jī)系統(tǒng)的并行冗余架構(gòu)開展研究，通過計算機(jī)系統(tǒng)架構(gòu)的軟硬件設(shè)計，以及高速緩存一致性架構(gòu)、高速互聯(lián)總線和三狀態(tài)轉(zhuǎn)換機(jī)制方法的應(yīng)用，基于國產(chǎn)CPU 并行冗余計算機(jī)系統(tǒng)，可以有效消除備份計算機(jī)系統(tǒng)進(jìn)行當(dāng)班切換時，存在的切換時間延時和切換過程數(shù)據(jù)丟失的問題;通過試驗(yàn)驗(yàn)證，該系統(tǒng)可以完成計算機(jī)系統(tǒng)中CPU處理器和功能橋片故障模式的容錯處理，并保障信息數(shù)據(jù)的完整性和實(shí)時性，有效提高設(shè)備中計算機(jī)系統(tǒng)的工作可靠性與穩(wěn)定性。

并行冗余計算機(jī)系統(tǒng)； HyperTransport總線；高速緩存一致性協(xié)議

0 引言

然而計算機(jī)系統(tǒng)作為電氣系統(tǒng)的控制中樞與數(shù)據(jù)中心，其地位和作用都是舉足輕重的，計算機(jī)系統(tǒng)絲毫的差錯與謬誤的出現(xiàn)，輕則能夠造成任務(wù)的延誤，重則可能危及到全局成敗。

為了提升國產(chǎn)計算機(jī)系統(tǒng)的可靠性，目前的電氣系統(tǒng)在應(yīng)用時通常都采用雙計算機(jī)系統(tǒng)的設(shè)計，主從計算機(jī)系統(tǒng)采用相同的初始設(shè)置，一旦主計算機(jī)系統(tǒng)出現(xiàn)工作異常，經(jīng)指揮決策后，關(guān)閉主計算機(jī)系統(tǒng)，啟動從計算機(jī)系統(tǒng)來代替原計算機(jī)，繼續(xù)完成相關(guān)工作，保證任務(wù)的繼續(xù)完成。然而這種工作模式存在著一定的弊端，首先，該模式下，由主計算機(jī)系統(tǒng)到從計算機(jī)系統(tǒng)的切換需要一定的等待時間，然而在某些特定工作場合下，設(shè)備的工作停滯是難以承受的；其次，計算機(jī)系統(tǒng)切換后，必定存在一定程度的數(shù)據(jù)丟失，或者進(jìn)程丟失，往往會帶來不可挽回的損失。為了解決備份計算機(jī)系統(tǒng)切換所存在的隱患，本文對基于國產(chǎn)CPU處理器的并行冗余計算機(jī)系統(tǒng)進(jìn)行針對性研究，旨在提升國產(chǎn)計算機(jī)系統(tǒng)的工作可靠性。

1 系統(tǒng)結(jié)構(gòu)及原理

本并行冗余計算機(jī)系統(tǒng)結(jié)構(gòu)組成如圖1所示，包含主從兩個計算機(jī)系統(tǒng)，兩個計算機(jī)系統(tǒng)的硬件組成基本相同，每個計算機(jī)系統(tǒng)的結(jié)構(gòu)均按照機(jī)箱插卡模塊的樣式完成設(shè)計，通過VPX接口插入設(shè)備機(jī)箱的插槽之中，兩個模塊之間的互連總線經(jīng)VPX接口與機(jī)箱背板完成走線。

圖1 并行冗余計算機(jī)系統(tǒng)結(jié)構(gòu)圖

兩個計算機(jī)系統(tǒng)構(gòu)成分布式存儲結(jié)構(gòu)。多個存儲單元與處理單元分布在整個系統(tǒng)之中，通過專門的互連網(wǎng)絡(luò)結(jié)構(gòu)連接在一起組成分布式的共享內(nèi)存空間。每一個處理器可以訪問自己的存儲器，也可以訪問其他處理器的存儲器或共享的存儲器。通過硬件維護(hù)的高速緩存一致性協(xié)議，使得各個處理器對于本地及遠(yuǎn)程存儲單元的影響都是統(tǒng)一的[1]。

正常工作時，由主計算機(jī)系統(tǒng)的芯片組完成系統(tǒng)控制與數(shù)據(jù)管理工作，從計算機(jī)系統(tǒng)的芯片組通過16位的HT(HyperTransport)總線跟蹤主計算機(jī)系統(tǒng)處理器的進(jìn)程操作及工作狀態(tài)，包括CPU進(jìn)程信息、電子盤存儲信息等，并在從計算機(jī)系統(tǒng)的電子盤之中同步備份主計算機(jī)系統(tǒng)的電子盤中的操作數(shù)據(jù)，利用高速緩存一致性協(xié)議，保證兩個計算機(jī)系統(tǒng)的處理器核、內(nèi)存以及電子盤之間的數(shù)據(jù)與緩存狀態(tài)均保持一致。正常工作時信號通路如圖2所示。

圖2 正常工作時信號通路示意圖

當(dāng)主計算機(jī)系統(tǒng)的橋片或者接口芯片出現(xiàn)問題，導(dǎo)致工作異常時，主計算機(jī)系統(tǒng)的處理器可以通過HT總線將信息或指令傳輸給從計算機(jī)系統(tǒng)的處理器，通過從計算機(jī)系統(tǒng)所具有的橋片或接口芯片繼續(xù)完成系統(tǒng)工作或任務(wù)。橋片故障時信號通路如圖3所示。

圖3 橋片故障時信號通路示意圖

當(dāng)主計算機(jī)系統(tǒng)的處理器出現(xiàn)異常時，從計算機(jī)系統(tǒng)的處理器將依靠HT總線接口的硬件所支持的系統(tǒng)高速緩存一致性維護(hù)，達(dá)到系統(tǒng)工作的近似無縫切換，保證系統(tǒng)工作的正常，CPU故障時信號通路如圖4所示。避免了由于計算機(jī)系統(tǒng)的工作異常，導(dǎo)致工作流程終止，甚至重要數(shù)據(jù)丟失等難以挽回的危害，從而有效提高系統(tǒng)可靠性，實(shí)現(xiàn)了計算機(jī)系統(tǒng)的熱備冗余備份。

呂凌子把5萬元現(xiàn)金重新揣回了家。呂凌子原以為5萬元可以將事情做個了斷，然而事情并沒有朝著她所期待的方向發(fā)展，并沒有她想象中那么順利。

圖4 CPU故障時信號通路示意圖

2 系統(tǒng)硬件設(shè)計

出于安全性和自主性考慮，本計算機(jī)系統(tǒng)采用中國科學(xué)院計算所自主研發(fā)的龍芯3A CPU處理器作為核心處理器開展研究。

本并行冗余計算機(jī)系統(tǒng)包含主備兩個計算機(jī)系統(tǒng)，構(gòu)成雙冗余模式，如圖5所示。

圖5 并行計算機(jī)系統(tǒng)架構(gòu)組成

兩個計算機(jī)系統(tǒng)的硬件組成設(shè)計基本相同，均由CPU單元、南北橋單元、存儲單元、接口單元4部分組成。CPU單元主要包含龍芯3A四核處理器；南北橋單元主要由RS780E北橋芯片和SB710南橋芯片構(gòu)成；存儲單元則包括DDR內(nèi)存、啟動配置ROM和電子硬盤3大類；接口擴(kuò)展芯片則依據(jù)系統(tǒng)需求具體設(shè)計，可以包含網(wǎng)絡(luò)信號、串并行接口總線、視頻信號、音頻信號等等。 兩個芯片組之間通過16位HyperTransport總線接口實(shí)現(xiàn)兩個CPU間互連，利用高速緩存一致性協(xié)議，保證兩處理器核間數(shù)據(jù)及指令緩存的一致性。

并行計算機(jī)系統(tǒng)利用龍芯3A處理器內(nèi)部結(jié)構(gòu)搭建并行互連體系結(jié)構(gòu)，結(jié)構(gòu)示意圖如圖6所示。

圖6 并行互連體系架構(gòu)示意圖

CPU芯片內(nèi)含有4個處理器核，每個處理器核內(nèi)具有獨(dú)立的一級數(shù)據(jù)緩存和一級指令緩存，一級緩存由各處理器核私有；芯片內(nèi)的二級高速緩存被片內(nèi)的所有處理器核共享，根據(jù)地址可以分成供并行訪問的4個交錯體。每個芯片具有兩級AXI交叉開關(guān)，X1和X2，處理器核通過X1訪問二級緩存塊，二級緩存通過X2訪問兩個內(nèi)存控制器，內(nèi)存地址分布和二級緩存地址分布一致，以簡化二級緩存和內(nèi)存之間的通路并降低二級緩存訪問失效的延遲[2]。

HT控制器通過DMA控制器與X1相連，由DMA負(fù)責(zé)IO的DMA控制及片間、IO訪問和處理器訪問之間的數(shù)據(jù)一致性維護(hù)，由于交叉開關(guān)不區(qū)分處理器端口和互連端口，HT接口也可視為特殊的處理器處理。

互連結(jié)構(gòu)體系中的存儲單元與處理器節(jié)點(diǎn)可以分布在系統(tǒng)內(nèi)不同位置，其中的存儲單元可以通過互連網(wǎng)絡(luò)被各個處理器所共享?；ミB體系結(jié)構(gòu)中采用X-Y路由算法，點(diǎn)到點(diǎn)的路由是固定的，可以保證點(diǎn)對點(diǎn)數(shù)據(jù)包嚴(yán)格有序傳輸；每個模塊均會被分配給一個與邏輯位置相關(guān)的全局ID號，以決定轉(zhuǎn)發(fā)端口路由。

CPU級間互連的HyperTransport總線是基于報文的、點(diǎn)對點(diǎn)串行鏈路結(jié)構(gòu)，將芯片內(nèi)部低頻并行信號通過發(fā)送端物理層DA轉(zhuǎn)換接口處理為高頻串行信號，每個時鐘沿傳輸并行信號中的一位，通過LVDS信號傳輸線，到達(dá)接收端，再由接收端物理層AD轉(zhuǎn)換接口還原為低速并行信號。HT總線信號分為三類：

1)鏈路信號：32位CAD傳輸信號、1位CTL控制信號、4位CLK時鐘信號，用于控制、傳輸數(shù)據(jù)；

2)復(fù)位信號：PWROK和RESET信號，用于初始化和復(fù)位鏈路；

3)管理信號：LDTSTOP和LDTREQ信號。

HT總線采用單向點(diǎn)對點(diǎn)傳輸技術(shù)，將CAD信號分成兩組，按照不同方向單向傳輸，可達(dá)GB/s，在處理器芯片上按照接收端和發(fā)送端分別處理，傳輸效率與有效帶寬均遠(yuǎn)大于雙向信號總線，簡化板級設(shè)計工作。

HT總線采用包交換方式進(jìn)行信號傳輸，將總線操作分為控制包和數(shù)據(jù)包兩大類，控制包還包括讀命令包、寫命令包、讀響應(yīng)包、寫響應(yīng)包，每組傳輸總線使用一位控制信號線來區(qū)分傳輸?shù)臑榭刂瓢€是數(shù)據(jù)包。

HT總線采用虛通道技術(shù)，將HT協(xié)議劃分為三種不同的數(shù)據(jù)流：無響應(yīng)請求通道、需響應(yīng)請求通道、響應(yīng)通道，將一個物理鏈路劃分為若干相互獨(dú)立的邏輯通道。針對這三種通道，還設(shè)置了六種緩沖區(qū)類型，實(shí)現(xiàn)每個虛通道的緩沖流控自行維護(hù)，避免命令之間的互鎖，提供了亂序執(zhí)行的基礎(chǔ)條件，實(shí)現(xiàn)不同數(shù)據(jù)流在同一信號線上的并發(fā)傳輸，提高總線傳輸?shù)男屎托阅躘3]。

3 系統(tǒng)軟件設(shè)計

并行冗余計算機(jī)系統(tǒng)采用基于目錄的高速緩存一致性協(xié)議，系統(tǒng)內(nèi)共享二級緩存與各個處理器核內(nèi)私有指令緩存和數(shù)據(jù)緩存之間的數(shù)據(jù)一致性，由系統(tǒng)中共享存儲層次的目錄維護(hù)。目錄與其數(shù)據(jù)的存儲位置相關(guān)聯(lián)，目錄的管理由各個存儲單元所在的存儲節(jié)點(diǎn)目錄決定，目錄控制器存儲的相關(guān)一致性信息包括存儲單元的狀態(tài)和擁有此存儲單元備份的處理器號。

每個共享存儲單元的狀態(tài)由這個共享存儲單元自身維護(hù)，這個狀態(tài)標(biāo)識了當(dāng)前這個共享存儲單元在其它處理節(jié)點(diǎn)中私有緩存的使用方式，并且記錄了哪些處理器的私有高速緩存中擁有該共享存儲單元的備份。系統(tǒng)中任意一個處理器需要對共享存儲單元進(jìn)行操作時，都直接與這個共享存儲單元本身交互，由這個共享存儲單元的狀態(tài)控制器再與其它處理器中的緩存?zhèn)浞萁换?，通過一致性協(xié)議控制整個系統(tǒng)中的緩存數(shù)據(jù)一致性。

龍芯3A處理器的一級緩存由各處理器私有，二級緩存和內(nèi)存采用全局編制，由所有處理器共享。緩存塊的目錄信息在宿主二級緩存中維護(hù)，目錄使用32位寬度的位向量來記錄擁有每個緩存?zhèn)浞莸囊患壘彺婢幪?，因此硬件能自動維護(hù)各指令和數(shù)據(jù)緩存之間的一致性，同時也就維護(hù)了全系統(tǒng)各級存儲結(jié)構(gòu)間的數(shù)據(jù)一致性。

一級緩存塊采用三狀態(tài)轉(zhuǎn)換機(jī)制，無效狀態(tài)、共享狀態(tài)和獨(dú)占狀態(tài)，無效表示這個緩存塊中沒有有效數(shù)據(jù)，獨(dú)占表示這個緩存塊中的數(shù)據(jù)有效且未經(jīng)修改，共享表示這個緩存塊中的數(shù)據(jù)已經(jīng)被修改而且還未寫回下級緩存。三種狀態(tài)的相互轉(zhuǎn)移圖如圖7所示。

圖7 并行互連體系架構(gòu)示意圖

4 實(shí)驗(yàn)結(jié)果與分析

并行冗余計算機(jī)系統(tǒng)工作主頻為800 MHz，將系統(tǒng)工作周期設(shè)定為125 μs，主副計算機(jī)系統(tǒng)同步周期設(shè)定每間隔125 ms主副計算機(jī)系統(tǒng)完成一次硬盤數(shù)據(jù)同步備份。通過在計算機(jī)系統(tǒng)二次供電母線增加功能開關(guān)的方式，進(jìn)行故障注入，分別將主計算機(jī)系統(tǒng)的CPU處理器或接口橋片的供電關(guān)斷，實(shí)現(xiàn)應(yīng)急故障模擬。經(jīng)測試驗(yàn)證，該并行冗余計算機(jī)系統(tǒng)可以通過加載CPU寄存器信息和內(nèi)存信息，實(shí)現(xiàn)計算機(jī)系統(tǒng)運(yùn)算及通信內(nèi)容的無縫切換，而依靠CPU芯片內(nèi)的Cache一致性設(shè)計和三狀態(tài)轉(zhuǎn)換機(jī)制，成功保障了寄存器信息與內(nèi)存信息的高度同步性。

5 結(jié)束語

本文首先對于并行冗余計算機(jī)系統(tǒng)的功能應(yīng)用進(jìn)行了介紹與分析，然后又介紹了并行冗余計算機(jī)系統(tǒng)的構(gòu)成，并對于該系統(tǒng)的硬件和軟件設(shè)計的關(guān)鍵技術(shù)進(jìn)行了細(xì)致全面的分析，為該系統(tǒng)的實(shí)現(xiàn)提供了基礎(chǔ)與參考，最后通過故障注入方式，對于系統(tǒng)的容錯備份功能進(jìn)行了驗(yàn)證。并行冗余計算機(jī)系統(tǒng)在的應(yīng)用，對于國產(chǎn)自主可控計算機(jī)設(shè)備的可靠性改進(jìn)具有重要意義，為任務(wù)的成功完成提供有效支撐。

[1] Chen D, Su H, Yew P. The impact of synchronization and granularity on parallel systems[C]. Proceedings of 17th Annual International Symposium on Computer Architecture, 1990,239-248.

[2] 王煥東,高 翔,陳云霽,等.龍芯3號互聯(lián)系統(tǒng)的設(shè)計與實(shí)現(xiàn)[J],計算機(jī)研究與發(fā)展,2008(45):2001-2010.

[3] HyperTranspon Technology Consortium. Hyper TransportTM1/O Link Specification Revision 1.03.http://www.bypertransprot.org/default.cfm?page=Hyper[EB/OL].TransportSpecificationslx, 2008-11-20.

Research of Parallel Redundant Computer System Based on Domestic CPU

Huang Chen, Wang Wenming, Zhang Yichao, Yue Wei

(BeiJing Institute of Aerospace Systems Engineering,Beijing 100076,China)

The construction of the domestic information system at present the country continues to advance, the core of the domestic computer system due to the low degree of technological maturity, market promotion and other reasons later exposed, low reliability, poor stability, led directly to the system function cannot be successfully applied. The parallel redundant architecture research on localization of computer system, the hardware and software design of computer system architecture, application and conversion mechanism method of cache coherence architecture, high-speed interconnection bus and three state, domestic CPU parallel computer system based on redundancy, can effectively eliminate the backup computer system on duty when switching the switch time delay the problem of data loss and switching process. Through the test, the system can complete the fault-tolerant computer system of CPU processor and the function of bridge chip fault modes, and ensure the completeness and timeliness of information data, effectively improving the working reliability and stability of the computer system in equipment.

parallel redundant computer system; HyperTransport bus; cache coherent protocol

2017-02-13；

2017-03-31。

黃 晨(1986-)，男，山東龍口人，工程師，主要從事重點(diǎn)研究信息應(yīng)用系統(tǒng)線路綜合設(shè)計方向的研究。

1671-4598(2017)07-0257-03

10.16526/j.cnki.11-4762/tp.2017.07.064

TP3

A