基于PCI-E總線的智能變電站網(wǎng)絡(luò)記錄分析儀研制

檀永， 侯明國(guó)， 沈健(國(guó)電南瑞科技股份有限公司，江蘇 南京 210061)

基于PCI-E總線的智能變電站網(wǎng)絡(luò)記錄分析儀研制

檀永， 侯明國(guó)， 沈健
(國(guó)電南瑞科技股份有限公司，江蘇 南京 210061)

網(wǎng)絡(luò)記錄分析儀是智能變電站內(nèi)的網(wǎng)絡(luò)數(shù)據(jù)記錄、監(jiān)視、分析設(shè)備，它可提前發(fā)現(xiàn)通信網(wǎng)絡(luò)的薄弱環(huán)節(jié)和故障設(shè)備，預(yù)防電力系統(tǒng)事故的發(fā)生，并在發(fā)生電力系統(tǒng)故障時(shí)，還原電力系統(tǒng)一次設(shè)備故障波形以及二次設(shè)備動(dòng)作行為記錄，便于事故發(fā)生后進(jìn)行分析和快速查找故障原因。智能變電站內(nèi)海量網(wǎng)絡(luò)數(shù)據(jù)的實(shí)時(shí)采集、高速存儲(chǔ)、高效提取是研制網(wǎng)絡(luò)記錄分析儀的難點(diǎn)。在深入分析第三代總線通信接口標(biāo)準(zhǔn)PCI-E總線的基礎(chǔ)上，詳細(xì)介紹了一種基于PCI-E總線的智能變電站網(wǎng)絡(luò)記錄分析儀硬件平臺(tái)，同時(shí)簡(jiǎn)要概述了驅(qū)動(dòng)軟件的設(shè)計(jì)要點(diǎn)，為網(wǎng)絡(luò)記錄分析儀海量網(wǎng)絡(luò)數(shù)據(jù)的采集、存儲(chǔ)提供了一個(gè)切實(shí)可行的實(shí)現(xiàn)方案。

智能變電站；網(wǎng)絡(luò)記錄分析儀；PCI-E；DMA; MSI

0 引 言

近年來，隨著智能變電站的迅速發(fā)展，變電站站控層、間隔層、過程層的通信網(wǎng)絡(luò)報(bào)文已經(jīng)成為變電站智能設(shè)備間信息交互和共享的主要方式。各智能電子設(shè)備和通信網(wǎng)絡(luò)的健康狀況將直接影響整個(gè)智能變電站的通信，網(wǎng)絡(luò)報(bào)文的發(fā)送端、接收端及通信網(wǎng)絡(luò)異?；蚬收暇赡軐?dǎo)致電力系統(tǒng)重大事故，因此需要對(duì)網(wǎng)絡(luò)報(bào)文進(jìn)行有效的監(jiān)視、記錄和診斷，提前發(fā)現(xiàn)通信網(wǎng)絡(luò)的薄弱環(huán)節(jié)和故障設(shè)備，預(yù)防電力系統(tǒng)事故的發(fā)生。當(dāng)電力系統(tǒng)故障發(fā)生時(shí)，不僅需要對(duì)網(wǎng)絡(luò)原始報(bào)文進(jìn)行記錄，還需要將網(wǎng)絡(luò)報(bào)文進(jìn)行解析，還原為電力系統(tǒng)一次設(shè)備故障波形以及二次設(shè)備動(dòng)作行為的記錄，便于進(jìn)行分析和快速查找故障原因。為更好的規(guī)劃網(wǎng)絡(luò)記錄分析儀的產(chǎn)品功能及檢測(cè)規(guī)范，國(guó)家電網(wǎng)公司于2012年發(fā)布了兩項(xiàng)企業(yè)標(biāo)準(zhǔn)：《Q/GDW 715-2012 智能變電站網(wǎng)絡(luò)報(bào)文記錄及分析裝置技術(shù)條件》[1]和《Q/GDW 733-2012 智能變電站網(wǎng)絡(luò)報(bào)文記錄及分析裝置檢測(cè)規(guī)范》[2]。

隨著數(shù)據(jù)采集和傳感技術(shù)的不斷發(fā)展，海量數(shù)據(jù)的高速、實(shí)時(shí)、可靠傳輸已成為一種必然趨勢(shì)。原有的PCI總線因傳輸速率低、系統(tǒng)帶寬小等缺點(diǎn)，已無法滿足高速數(shù)據(jù)采集傳輸?shù)囊?。與PCI總線相比，PCI-E總線是Intel公司于1997年提出的第三代I/O總線技術(shù)，在2012年推出了PCI-E 1.0標(biāo)準(zhǔn)[3]，其速率為2.5 Gbps，目前PCI-E總線已發(fā)展至3.0標(biāo)準(zhǔn)，速率可達(dá)10 Gbps。PCI-E總線采用點(diǎn)對(duì)點(diǎn)串行通信方式，采用LVDS串行鏈路接口和時(shí)鐘數(shù)據(jù)恢復(fù)同步技術(shù)，并利用8b/10b編碼機(jī)制將時(shí)鐘信號(hào)嵌入數(shù)據(jù)信號(hào)，保證數(shù)據(jù)傳輸?shù)目煽啃?。將PCI-E總線應(yīng)用于智能變電站網(wǎng)絡(luò)記錄分析儀中，可滿足智能變電站內(nèi)海量網(wǎng)絡(luò)數(shù)據(jù)的實(shí)時(shí)采集、高速存儲(chǔ)、高效提取的需求。

1 PCI-E總線體系概述

PCI-E總線是一個(gè)面向連接的、可靠的、高速的點(diǎn)對(duì)點(diǎn)串行通信協(xié)議，它簡(jiǎn)化了應(yīng)用軟件、硬件設(shè)計(jì)的復(fù)雜度。它采用了三層體系結(jié)構(gòu)[4]，與OSI互聯(lián)網(wǎng)參考模型有相似之處，但PCI-E總線的各層都是使用硬件邏輯實(shí)現(xiàn)的。其體系結(jié)構(gòu)如圖1所示。PCI-E設(shè)備發(fā)送數(shù)據(jù)包(Packet)時(shí)，報(bào)文依次經(jīng)過傳輸層、數(shù)據(jù)鏈路層、物理層，最終發(fā)送出去。而接收端的數(shù)據(jù)包也需要依次通過物理層、數(shù)據(jù)鏈路和傳輸層，到達(dá)PCI-E設(shè)備。

圖1 PCI-E體系結(jié)構(gòu)

傳輸層是PCI-E總線層次結(jié)構(gòu)的最高層，它用于處理PCI-E總線規(guī)定的各種傳輸事物，如存儲(chǔ)器讀寫、I/O讀寫、配置讀寫總線等。該層內(nèi)傳輸?shù)膱?bào)文稱為TLP(Transaction Layer Packet)報(bào)文。傳輸層將保證PCI-E報(bào)文的有序傳輸。數(shù)據(jù)鏈路層主要用于保證數(shù)據(jù)包可以可靠、完整地在傳輸層與物理層之間傳遞。數(shù)據(jù)鏈路層使用ACK/NAK協(xié)議實(shí)現(xiàn)差錯(cuò)控制，提高報(bào)文傳遞的可靠性。該層內(nèi)傳輸?shù)膱?bào)文稱為DLLP(Data Link Layer Packet)報(bào)文。PCI-E總線的物理層為PCI-E設(shè)備間的數(shù)據(jù)通信提供傳送介質(zhì)，為數(shù)據(jù)傳送提供可靠的物理環(huán)境。

2 網(wǎng)絡(luò)記錄分析儀的硬件平臺(tái)設(shè)計(jì)

2.1 網(wǎng)絡(luò)數(shù)據(jù)綜合監(jiān)測(cè)系統(tǒng)概述

智能變電站內(nèi)，典型的網(wǎng)絡(luò)數(shù)據(jù)綜合監(jiān)測(cè)系統(tǒng)如圖2所示。網(wǎng)絡(luò)記錄分析儀通過接入過程層的SV網(wǎng)絡(luò)和GOOSE網(wǎng)絡(luò)的交換機(jī)采集智能二次設(shè)備的網(wǎng)絡(luò)收發(fā)數(shù)據(jù)，或者采用點(diǎn)對(duì)點(diǎn)方式與設(shè)備直連。網(wǎng)絡(luò)記錄分析儀同時(shí)也可采集站控層設(shè)備的網(wǎng)絡(luò)報(bào)文，如監(jiān)控系統(tǒng)、保信子站等。

圖2 網(wǎng)絡(luò)數(shù)據(jù)綜合監(jiān)測(cè)系統(tǒng)示例

網(wǎng)絡(luò)記錄分析儀將對(duì)采集的網(wǎng)絡(luò)報(bào)文進(jìn)行有效的監(jiān)視、記錄和診斷，它可以實(shí)時(shí)分析采集的報(bào)文數(shù)據(jù)，提前發(fā)現(xiàn)通信網(wǎng)絡(luò)的薄弱環(huán)節(jié)和故障設(shè)備，預(yù)防電力系統(tǒng)事故的發(fā)生。同時(shí)，網(wǎng)絡(luò)記錄分析儀還可以對(duì)存儲(chǔ)的網(wǎng)絡(luò)報(bào)文進(jìn)行離線分析，尤其在發(fā)生電力系統(tǒng)故障時(shí)，可以還原電力系統(tǒng)一次設(shè)備故障波形以及二次設(shè)備動(dòng)作行為的記錄，便于快速查找故障原因。

2.2 網(wǎng)絡(luò)記錄分析儀硬件平臺(tái)設(shè)計(jì)

根據(jù)《Q/GDW 715-2012 智能變電站網(wǎng)絡(luò)報(bào)文記錄及分析裝置技術(shù)條件》要求，站控層設(shè)備接入網(wǎng)絡(luò)記錄分析儀可采用RJ45接口和/或光纖接口，過程層宜采用光纖接口接入，其以太網(wǎng)監(jiān)聽端口數(shù)不少于8個(gè)百兆口。裝置正常工作時(shí)，總的報(bào)文處理能力應(yīng)不小于240 Mbps；裝置滿負(fù)荷工作時(shí)，總的報(bào)文處理能力應(yīng)大于等于400 Mbps。同時(shí)，該技術(shù)條件還要求，網(wǎng)絡(luò)記錄分析儀應(yīng)在24 h內(nèi)，連續(xù)存儲(chǔ)所有網(wǎng)絡(luò)報(bào)文。本文結(jié)合以上技術(shù)要求，為滿足其高速采集、大容量存儲(chǔ)的需求，設(shè)計(jì)了基于PCI-E架構(gòu)的網(wǎng)絡(luò)記錄分析儀，如圖3所示。

圖3 基于PCI-E的網(wǎng)絡(luò)記錄分析儀硬件架構(gòu)

該平臺(tái)中，主CPU采用了飛思卡爾基于PowerPC E500內(nèi)核推出的一款高性能、低功耗雙核微處理器P2020，該處理器最高主頻可達(dá)1.2 GHz，具有三路PCI-E接口，均支持PCI-E 1.0a標(biāo)準(zhǔn)，理論傳輸速率可達(dá)到2.5 Gbps。

P2020的一路PCI-E通道與FPGA通信，用于實(shí)現(xiàn)高速數(shù)據(jù)采集，F(xiàn)PGA將接收的網(wǎng)絡(luò)報(bào)文通過該P(yáng)CI-E總線寫入主存中。一路PCI-E與硬件壓縮卡相接，P2020將FPGA寫入主存中報(bào)文通過該硬件壓縮卡壓縮后再寫入SATA硬盤，由于使用了硬件壓縮和得益于PCI-E總線的高速傳輸性，可大大減少CPU的占用率，同時(shí)提高了系統(tǒng)的存儲(chǔ)報(bào)文能力。由于P2020不含有片上SATA控制器，因此本設(shè)計(jì)使用了P2020的第三路PCI-E連接了SATA控制器，由于PCI-E總線傳輸高速率、高帶寬的特性，因此使用PCI-E總線外接SATA控制器依然可以達(dá)到很SATA的讀寫性能。

利用FPGA實(shí)現(xiàn)以太網(wǎng)報(bào)文采集是本方案的一個(gè)重點(diǎn)。它實(shí)現(xiàn)了八個(gè)獨(dú)立的以太網(wǎng)控制器(Mac)，通過RMII方式與外部的以太網(wǎng)收發(fā)器芯片相接，用于實(shí)現(xiàn)以八路百兆以太網(wǎng)網(wǎng)絡(luò)數(shù)據(jù)的采集。為提高網(wǎng)絡(luò)記錄分析儀的吞吐能力以及降低FPGA軟件設(shè)計(jì)的復(fù)雜度，F(xiàn)PGA將采集的報(bào)文首先緩存于DDR2中，然后通過DMA的方式，將收到的報(bào)文通過PCI-E總線寫入P2020的主存中。

該平臺(tái)還提供了兩路以太網(wǎng)管理通信接口，由P2020芯片內(nèi)部的以太網(wǎng)控制器TSEC1和TSEC3通過外接RMII接口的PHY芯片實(shí)現(xiàn)。

3 PCI-E總線DMA驅(qū)動(dòng)軟件設(shè)計(jì)

由于網(wǎng)絡(luò)記錄分析儀不僅要求實(shí)現(xiàn)大容量數(shù)據(jù)的高速采集和高效存儲(chǔ)，還需具備分析、診斷等復(fù)雜功能，因此其驅(qū)動(dòng)程序不僅要滿足高速采集、高效存儲(chǔ)的要求，還應(yīng)當(dāng)盡量的減少主CPU的資源占用率和內(nèi)存消耗。使用DMA方式傳輸數(shù)據(jù)，是滿足上述要求的一個(gè)有效方法。文獻(xiàn)[5]和文獻(xiàn)[6]詳細(xì)介紹了如何在FPGA側(cè)實(shí)現(xiàn)DMA引擎，以達(dá)到高速傳輸?shù)哪康?。本設(shè)計(jì)則通過將DMA與MSI中斷相結(jié)合的方式，實(shí)現(xiàn)以太網(wǎng)報(bào)文的高速采集與高效傳輸。其中，MSI/MSI-X中斷是PCI-E設(shè)備必須支持的一種中斷機(jī)制，它的本質(zhì)是取消了傳統(tǒng)中斷中使用的INTx信號(hào)，而使用存儲(chǔ)器寫請(qǐng)求TLP報(bào)文向處理器提交中斷請(qǐng)求。

本設(shè)計(jì)中，F(xiàn)PGA申請(qǐng)了通過BAR0申請(qǐng)了一段16 K字節(jié)的內(nèi)存空間，用于實(shí)現(xiàn)DMA控制。其定義如表1所示。

表1 BAR0空間數(shù)據(jù)定義

其中，dma_ctrl 是DMA控制使能寄存器。主CPU通過寫1啟動(dòng)DMA傳輸，寫0則禁止DMA傳輸。cpu_addr是CPU緩存首地址寄存器，用于存放CPU接收?qǐng)?bào)文的緩沖區(qū)首地址。在本設(shè)計(jì)中，主CPU申請(qǐng)了一段總大小為32 M字節(jié)的內(nèi)存空間作為環(huán)形緩沖區(qū)，每個(gè)緩沖區(qū)的空間為256 K字節(jié)，用于接收FPGA發(fā)送的以太網(wǎng)報(bào)文數(shù)據(jù)。當(dāng)接入網(wǎng)絡(luò)記錄分析的報(bào)文流量達(dá)到400 Mbps時(shí)，該32 M緩沖區(qū)約可緩存400 ms左右的數(shù)據(jù)。writePtr是CPU緩沖區(qū)的寫指針，每當(dāng)FPGA寫滿一個(gè)256 K字節(jié)的緩沖區(qū)空間后，F(xiàn)PGA會(huì)將該寄存器值加1，同時(shí)，F(xiàn)PGA也將觸發(fā)一個(gè)MSI中斷，用于告知主CPU一個(gè)256 K字節(jié)的緩沖區(qū)已經(jīng)被填滿，CPU可以將該緩沖區(qū)內(nèi)的數(shù)據(jù)取走。因此主CPU側(cè)的驅(qū)動(dòng)軟件，將會(huì)根據(jù)FPGA觸發(fā)的中斷請(qǐng)求，實(shí)時(shí)的接收網(wǎng)絡(luò)報(bào)文，這提高了主CPU的實(shí)時(shí)響應(yīng)能力，同時(shí)也避免了使用查詢方式而導(dǎo)致的資源浪費(fèi)。

4 實(shí)驗(yàn)數(shù)據(jù)

為驗(yàn)證本硬件平臺(tái)的最大報(bào)文接收能力，本文使用Spirent公司的Smartbits 600B數(shù)據(jù)網(wǎng)絡(luò)測(cè)試平臺(tái)進(jìn)行了試驗(yàn)驗(yàn)證。Smartbits 600B發(fā)送了7種典型幀長(zhǎng)的以太網(wǎng)報(bào)文，如表2所示，通過比較15分鐘內(nèi)測(cè)試儀發(fā)送的報(bào)文字節(jié)數(shù)與P2020接收?qǐng)?bào)文字節(jié)數(shù)，可驗(yàn)證本平臺(tái)的報(bào)文接收能力。經(jīng)驗(yàn)證，本設(shè)計(jì)的最大報(bào)文接收能力可達(dá)到800 Mbps，完全滿足《Q/GDW 715-2012 智能變電站網(wǎng)絡(luò)報(bào)文記錄及分析裝置技術(shù)條件》和《Q/GDW 733-2012 智能變電站網(wǎng)絡(luò)報(bào)文記錄及分析裝置檢測(cè)規(guī)范》要求。

表2 最大報(bào)文接收能力監(jiān)測(cè)

5 結(jié)束語

隨著智能變電站技術(shù)的不斷發(fā)展，接入網(wǎng)絡(luò)記錄分析儀的智能一二次設(shè)備逐漸增多，通信網(wǎng)絡(luò)容量逐漸增大，這對(duì)網(wǎng)絡(luò)記錄分析儀的數(shù)據(jù)采集和處理能力提出了更高的需求。本文將PCI-E總線技術(shù)應(yīng)用于智能變電站網(wǎng)絡(luò)記錄分析的硬件平臺(tái)中，滿足了其海量網(wǎng)絡(luò)數(shù)據(jù)的實(shí)時(shí)采集、高速存儲(chǔ)、高效提取的需求，為網(wǎng)絡(luò)記錄分析儀的平臺(tái)設(shè)計(jì)提供了切實(shí)可行的實(shí)現(xiàn)方案。

[1] 宋小會(huì)，金華蓉，劉明慧,等，Q/GDW 715-2012 智能變電站網(wǎng)絡(luò)報(bào)文記錄及分析裝置技術(shù)條件[S]．北京：國(guó)家電網(wǎng)公司，2012.

[2] 黃鑫，李芹，王永福,等，Q/GDW 733-2012 智能變電站網(wǎng)絡(luò)報(bào)文記錄及分析裝置檢測(cè)規(guī)范[S]．北京：國(guó)家電網(wǎng)公司，2012.

[3] PCI Express Base Specification 1.0a[S]．PCI SIG，2003.

[4] 王齊.PCI Express體系結(jié)構(gòu)導(dǎo)讀[M]．北京：機(jī)械工業(yè)出版社，2010.

[5] 王嘉良，趙曙光.用FPGA實(shí)現(xiàn)PCI-E接口和DMA控制器設(shè)計(jì)[J].計(jì)算機(jī)技術(shù)與發(fā),2011,121(6):181-185.

[6] 李木國(guó)，黃影，劉于之.基于PCI-E總線的高速數(shù)據(jù)采集卡設(shè)計(jì)與實(shí)現(xiàn)[J].測(cè)控技術(shù),2013,32(7):19-21.

Development of a Network Recording Analyzer in the Smart Substation Based on PCI-E Bus

TAN Yong, HOU Ming-guo, SHEN Jian
(State Grid NARI Technology Co., Ltd.,Nanjing Jiangsu 210061, China)

The network recording analyzer is a device for recording, monitoring and analyzing network data in the smart substation, which can find weak links and the malfunction equipment of the communication network in advance, prevent failures in the electric power system, and restore the faulty waveform of the primary equipment of the power system as well as the records of the action and behavior of its secondary equipment in case of power system failures, thus facilitating analysis and quick trouble-shooting once an accident happens. Real-time acquisition, high-speed storage and efficient extraction of massive network data in the smart substation are the difficult points in the development of a network recording analyzer. Based on a deep analysis of PCI-E, this paper gives a details introduction of a hardware platform for the network recording analyzer of the smart substation based on PCI-E bus, and briefly describes the key points for the design of the driver software, thus providing a feasible implementation scheme for the acquisition and storage of massive network data in the network recording analyzer.

smart substation;network recording analyzer; PCI-E; DMA; MSI

10.3969/j.issn.1000-3886.2015.05.026

TM76

A

1000-3886(2015)05-0081-03

檀永(1983-)，男，江蘇南京人，碩士，主要研究方向：電力系統(tǒng)自動(dòng)化。 侯明國(guó)(1982-)，男，湖北恩施人，工程師，碩士研究生，主要研究方向：電力系統(tǒng)自動(dòng)化。 沈健(1979-)，男，江蘇南京人，碩士，高級(jí)工程師，主要研究方向：電力系統(tǒng)自動(dòng)化。

定稿日期: 2014-11-05