SHINE束線站定時系統(tǒng)束團編號的數(shù)據(jù)采集

尹 亮 曾孟麒 尹聰聰,2 懷 平,2

1（上?？萍即髮W(xué) 上海 200120）

2（中國科學(xué)院上海高等研究院 上海 201210）

上海硬X 射線自由電子激光裝置（Shanghai High Repetition rate XFEL (X-ray Free Electron Laser) and Extreme light facility，SHINE）是一臺基于超導(dǎo)直線加速器的大型科學(xué)研究裝置，可以產(chǎn)生超高亮度、超短脈沖、波長可調(diào)的相干X射線，在物理、化學(xué)、材料、生命科學(xué)等諸多領(lǐng)域都有非常廣泛和極為重要的應(yīng)用［1-2］。高重復(fù)頻率的自由電子激光裝置對定時系統(tǒng)的可靠性和準(zhǔn)確性提出了更高的要求，并且單脈沖實驗對定時提出了很大的挑戰(zhàn)。

定時系統(tǒng)作為整個硬X射線自由電子激光運行的時鐘，精準(zhǔn)控制著SHINE所有需要同步觸發(fā)的設(shè)備，SHINE 的3 條光束線和10 個實驗站具體數(shù)十個需要定時信號的設(shè)備，典型的包括在線成像的Camera、波前測量裝置、硬X 射線能譜儀、脈沖能量診斷設(shè)備、丟束檢測設(shè)備、脈沖時間診斷設(shè)備、THz脈沖寬度測量設(shè)備及高重頻面探測器等。SHINE束線站定時系統(tǒng)有兩個基本功能：一是能夠準(zhǔn)確接收加速器提供的定時信號并將定時信號通過交換機發(fā)送到各條束線站；二是為束線站設(shè)備提供統(tǒng)一的時鐘脈沖信號以及束團編號，使設(shè)備產(chǎn)生帶有時間標(biāo)簽的物理實驗數(shù)據(jù)，方便后續(xù)通過統(tǒng)一的時間標(biāo)簽來對實驗數(shù)據(jù)進行分析以及管理，束團編號對束流的參數(shù)分析也具有重大的作用?？紤]到定時系統(tǒng)的需求，觸發(fā)信號抖動的設(shè)計指標(biāo)要小于30 ps。

國內(nèi)外的大型物理實驗裝置已經(jīng)實現(xiàn)了多種定時觸發(fā)系統(tǒng)，主要包括基帶分布系統(tǒng)、事件分布系統(tǒng)以及White Rabbit 定時系統(tǒng)等［3］?；鶐Х植枷到y(tǒng)是脈沖信號直接通過從源端發(fā)送到輸出端，但是需要使用昂貴的穩(wěn)相光纖才能達到比較好的時鐘準(zhǔn)確性，是比較陳舊的技術(shù)；事件分布系統(tǒng)是將事件碼從事件發(fā)生器經(jīng)扇出模塊以廣播的形式發(fā)送到事件接收端，在事件接收端根據(jù)事件碼產(chǎn)生對應(yīng)的脈沖信號用以觸發(fā)目標(biāo)設(shè)備工作［4-6］。上海同步輻射光源、北京正負(fù)電子對撞機II 期、瑞士X 射線自由電子激光（SwissFEL）、合肥先進光源等都采用了事件定時系統(tǒng)［7-11］；White Rabbit 定時系統(tǒng)是基于標(biāo)準(zhǔn)以太網(wǎng)的時鐘同步技術(shù)，在2008 年由歐洲核子中心（European Organization for Nuclear Research，CERN）和全球解決方案倡議組織（The Global Solutions Initiative，GSI）聯(lián)合提出，能夠?qū)崿F(xiàn)同步精度好于100 ps，同步準(zhǔn)確度好于亞納米量級［12-14］。在蘭州重離子加速器的束流位置測量（Beam Position Monitor，BPM）以及大型高海拔空氣簇射觀測站項目（Large Hign Altitude Air Shower Observatory，LHAASO）中都被采用［15-16］。

SHINE定時系統(tǒng)的頻率為1.003 086 MHz，事件分布系統(tǒng)和標(biāo)準(zhǔn)的White Rabbit 定時系統(tǒng)（采用125 MHz基準(zhǔn)時鐘）都不能滿足需求，需要采用自定義頻率的White Rabbit 方案（采用1.003 086 MHz 的基準(zhǔn)時鐘）來實現(xiàn)［17］。SHINE 定時系統(tǒng)開發(fā)了原型系統(tǒng)，能夠?qū)崿F(xiàn)同步觸發(fā)信號傳輸、隨機事件觸發(fā)傳輸以及從節(jié)點之間數(shù)據(jù)的交互［18］。SHINE定時系統(tǒng)將成為國內(nèi)第一個具備實時提供束團編號的定時系統(tǒng)，來為探測器數(shù)據(jù)分析、束流檢測提供依據(jù)。

本文在現(xiàn)有研究的基礎(chǔ)上，基于White Rabbit的束團編號數(shù)據(jù)采集方案，通過對定時系統(tǒng)的物理需求分析，完成了定時束團編號采集軟件開發(fā)和測試，奠定了采集數(shù)據(jù)打上全局高精度束團編號的基礎(chǔ)。

1 背景

SHINE 束線站的定時系統(tǒng)采用White Rabbit 技術(shù)，束線站的定時參考信號由加速器定時系統(tǒng)提供，是一個頻率為1.003 086 MHz（1 300 MHz 的144×9分頻的頻率）的脈沖信號。如圖1所示，該脈沖信號輸入到定時系統(tǒng)的主節(jié)點中，再通過交換機（White Rabbit Switch，WRS）扇出到對應(yīng)的從節(jié)點（White Rabbit Node，WRN），從節(jié)點包括了兩種類型的嵌入型從節(jié)點和扇出型從節(jié)點。扇出型從節(jié)點提供脈沖觸發(fā)信號，用于觸發(fā)不需要束團編號的探測器。嵌入型從節(jié)點同時提供脈沖觸發(fā)信號和束團編號，用于觸發(fā)需要時間標(biāo)簽的單脈沖工作探測器。加速器的每一個束團都有對應(yīng)的束團編號，在從節(jié)點可以通過設(shè)置束團簇的重復(fù)頻率、束團簇中的有效束團、束團簇掩碼來實現(xiàn)特定頻率的脈沖信號。

圖1 SHINE束線站定時系統(tǒng)架構(gòu)Fig.1 Framework of timing system for SHINE beamlines and endstations

2 定時束團編號的方案

SHINE 目前考慮使用WRS 交換機、WRN 嵌入型從節(jié)點以及WRN 扇出型從節(jié)點來實現(xiàn)定時系統(tǒng)。一級WRS 交換機用來接收來自外部的時鐘源或者自身的T0 基準(zhǔn)觸發(fā)信號，通過18 路輸出信號將T0扇出至二級WRS交換機，二級WRS交換機再將信號扇出到從節(jié)點，如圖2所示。

圖2 SHINE束線站定時束團編號數(shù)據(jù)采集方案Fig.2 Bunch ID acquisition scheme of SHINE beamlines and endstations

從節(jié)點包括WRN 扇出型從節(jié)點，連接不需要束團編號，只需要脈沖信號驅(qū)動的探測器；WRN 嵌入型從節(jié)點，連接需要束團編號以及時序驅(qū)動的探測器。WRN扇出型從節(jié)點將輸入信號扇出到10路輸出信號，通過SMA 接口驅(qū)動設(shè)備工作。WRN 嵌入型從節(jié)點是一塊FPGA 夾層卡（FPGA Mezzanine Card，F(xiàn)MC）子板，需要連接在載板上才能正常工作。

定時系統(tǒng)需要保證觸發(fā)信號的精準(zhǔn)性，交換機和從節(jié)點之間采用單模光纖進行連接，由于不同長度的光纖會帶來不同的延遲，需要在標(biāo)定階段去測試光纖的不對稱系數(shù)，來補償光纖長度對延遲的影響。同時，交換機和從節(jié)點的小型可插拔（Small Form Pluggable，SFP）模塊在發(fā)送信號和接收信號時也會有延遲，這部分延遲也需要在標(biāo)定階段進行補償。通過標(biāo)定，能夠保證每一路扇出信號的時間同步，保證各子系統(tǒng)在相同時刻接收到觸發(fā)信號。

為了驗證束線站定時系統(tǒng)的設(shè)計方案，本文在實驗室搭建束團編號采集的測試系統(tǒng)，開展嵌入型節(jié)點的束團編號采集測試研究。定時系統(tǒng)的測試系統(tǒng)由一級WRS交換機、二級WRS交換機、嵌入型從節(jié)點、束團編號采集載板、Basler相機等組成。一級WRS交換機能夠為整個系統(tǒng)提供1.003 086 MHz的時鐘信號，Basler 相機作為單脈沖觸發(fā)的光束成像探測器，同時需要脈沖信號和束團編號。嵌入型從節(jié)點的觸發(fā)信號被分為兩路，一路通過MC-1 的SMA 口輸出信號給Basler 相機，Basler 相機可以根據(jù)晶體管晶體管邏輯（Transistor Transistor Logic，TTL）電平上升沿觸發(fā)其圖像數(shù)據(jù)采集，并將采集數(shù)據(jù)發(fā)送到上位機。同時嵌入型從節(jié)點可以通過FMC 接口與載板之間進行通信，載板實現(xiàn)了MC-1上升沿時刻對應(yīng)束團編號的采集，并將采集的束團編號通過Zynq 搭建的TCP 以太網(wǎng)傳輸?shù)缴衔粰C。上位機將采集的束團編號與相機圖像保存在數(shù)據(jù)庫，每一個圖像都有唯一標(biāo)識的束團編號。

3 系統(tǒng)設(shè)計

束線站束團編號的采集測試系統(tǒng)總體設(shè)計框圖如圖3所示，開發(fā)內(nèi)容包括兩部分：采集系統(tǒng)的軟件開發(fā)和上位機軟件開發(fā)。

圖3 SHINE束線站數(shù)據(jù)采集框圖Fig.3 Block design of data acquisition scheme of SHINE beamline station

3.1 束團編號采集系統(tǒng)的設(shè)計

在SHINE 束線站的束團編號數(shù)據(jù)采集電子學(xué)中，主要采用Xilinx 公司設(shè)計的ZCU106 數(shù)據(jù)采集板，該采集板基于Zynq-UltraScale+芯片。Zynq-UltraScale+芯片分為PS（Processing System）端和PL（Programmable Logic）端，其中PS 端是ARM，PL 端是FPGA。Zynq 負(fù)責(zé)多項任務(wù)，主要包括了嵌入型子板的供電；Bunch ID 的解碼、采樣、處理、傳輸；基于LwIP（Light Weight）的TCP 以太網(wǎng)傳輸。根據(jù)需求在Zynq-UltraScale+芯片的PL 端進行固件開發(fā)，在Vivado 2020.1 使用Verilog 硬件描述語言編寫邏輯；在PS 端編寫數(shù)據(jù)傳輸?shù)穆銠C開發(fā)，在Vitis 2020.1使用C語言編寫TCP的數(shù)據(jù)傳輸協(xié)議棧。

在每個束團周期內(nèi)，嵌入型WRN 從節(jié)點通過FMC 向載板的FPGA 發(fā)送SYNC CLK 同步時鐘和Serial data 編碼信息，載板可以直接使用WRN 提供的Sync Clock作為系統(tǒng)時鐘或者通過PLL來作后續(xù)處理。編碼信息在SYNC CLK 的時鐘上升沿發(fā)生跳變，在一個周期發(fā)送1 bit，包含的信息有束團編號（當(dāng)前機器時鐘脈沖對應(yīng)的束團編號，為48 bits）、RT-x（當(dāng)前機器時鐘周期內(nèi)是否有隨機觸發(fā)）、MC-x（當(dāng)前機器時鐘周期內(nèi)觸發(fā)信號是否存在）。將編碼信息經(jīng)過狀態(tài)機（Finite State Machine，F(xiàn)SM）解碼，可以得到每一個時鐘周期的束團編號。

嵌入型WRN 從節(jié)點只有一路信號MC-1 被引出到前面板，MC-1 信號被分為兩路信號，一路信號通過子板的SMA 口輸出給外部探測器進行硬件觸發(fā)，另外一路信號通過FMC 輸出給載板。載板的Data Sampling 模塊接收MC-1 信號、SYNC CLK 信號和束團編號Bunch ID，通過SYNC CLK時鐘采樣并解析束團編號。對MC-1 進行邊沿檢測，采樣MC-1上升沿時刻對應(yīng)的束團編號，通過AXI-Stream協(xié)議將束團編號發(fā)送到AXI Stream Data FIFO 模塊。Data Sampling 模塊受到AXI Lite 模塊發(fā)送的size信號和delay信號的控制，delay用于束團編號的延時修復(fù)，方便對束團編號進行調(diào)整；size 是每輪DMA（Direct memory access）的數(shù)據(jù) 量，當(dāng)設(shè)為1 024 時，即每次采集到1 024 個數(shù)據(jù)時完成一次DMA發(fā)送。AXI Stream Data FIFO模塊負(fù)責(zé)將接收的數(shù)據(jù)以FIFO的形式保存下來，當(dāng)累計的數(shù)據(jù)量達到size后，發(fā)送給AXI DMA模塊，AXI DMA模塊將FPGA 采集的數(shù)據(jù)發(fā)送到Zynq 的PS 端DDR4（Double-Data-Rate Fourth Generation）。

在Zynq 的PS 端，可以采用裸機下的LwIP 協(xié)議，這是一個輕量級的以太網(wǎng)協(xié)議棧，它能夠快速搭建TCP 以太網(wǎng)，將PL 發(fā)送到PS 端DDR4 中的數(shù)據(jù)封裝成TCP 包。TCP 數(shù)據(jù)包將通過RJ45 連接到電腦，最終通過上位機進行束團編號的采集。同時，在PS端可以通過串口來收發(fā)數(shù)據(jù)，修改AXI Lite模塊中的size和delay數(shù)值。

3.2 上位機軟件設(shè)計

本測試系統(tǒng)采用Basler相機作為硬件觸發(fā)的探測器，開發(fā)相關(guān)的上位機應(yīng)用程序。上位機軟件開發(fā)采用Python語言，基于PyQt的 GUI應(yīng)用程序工具包編寫上位機軟件。該軟件需要實現(xiàn)的功能包括嵌入型子板的MC-1 信號通過SMA 傳輸給相機，通過串口發(fā)送命令對Zynq 的size 和delay 進行初始化配置，使得數(shù)據(jù)采集按照預(yù)定的模式來工作。

上位機軟件使用兩路線程，其中一路線程使用Socket套接字接收Zynq發(fā)送的TCP包并進行解析，能夠采集Zynq 發(fā)送的束團編號；另一路線程采用Basler相機的pypylon庫驅(qū)動相機工作，并將相機采集圖片保存。上位機能使用Begin按鈕開啟數(shù)據(jù)采集，使用Stop按鈕關(guān)閉數(shù)據(jù)采集。

Basler 相機采集每張圖片都有序號，每采集一張圖片序號增加。束團編號的TCP包頭帶有幀號，每發(fā)生一輪TCP傳輸，幀號也會增加。相同頻率的脈沖觸發(fā)下，采集的相鄰束團編號差值是固定的。當(dāng)相機采集的圖片序號不連續(xù)、TCP發(fā)生幀號丟失、采集的相鄰束團編號差值變化時，說明采集的數(shù)據(jù)有丟包情況，將出現(xiàn)丟包的數(shù)據(jù)進行丟棄。

應(yīng)用程序邏輯如圖4 所示，最終采集的束團編號以及圖片路徑都保存到MySQL數(shù)據(jù)庫中。

圖4 應(yīng)用程序邏輯圖Fig.4 Logic diagram of application program

4 測試功能驗證

4.1 信號同步

如圖5 所示，測試環(huán)境使用WRS 交換機、WRN嵌入型節(jié)點、WRN 扇出型節(jié)點、Zynq 以及Basler 相機來搭建。WRN嵌入型節(jié)點是實現(xiàn)了White Rabbit協(xié)議的通用FMC 標(biāo)準(zhǔn)子卡，可以給FMC 載板提供同步準(zhǔn)確度好于1 ns，同步抖動小于30 ps的時鐘信號。實驗室使用的載板是一塊ZCU106，能夠幫助快速搭建高速數(shù)據(jù)采集的平臺，包括了四核ARM Cortex-A53 應(yīng)用處理器以及雙核Cortex-R5 實時處理器以及ZU7EV器件。

圖5 SHINE定時系統(tǒng)測試系統(tǒng)圖片F(xiàn)ig.5 Photo of testing system of SHINE timing system

SHINE束線站定時系統(tǒng)需要滿足時鐘信號精度達到1 ns，晃動小于30 ps。在實驗室搭建測試環(huán)境，第一臺WRS 交換機作為一級交換機，發(fā)送1.003 086 MHz 的同步時鐘信號；第二臺WRS 交換機作為二級交換機，接收一級交換機的時鐘信號，并通過光纖傳送給WRN 嵌入型節(jié)點和WRN 扇出型節(jié)點。

一級交換機輸出的偽秒脈沖（False Pulse Per Second，F(xiàn)PPS）信號作為T1，二級交換機輸出的FPPS 信號作為T2，WRN 嵌入型從節(jié)點的MC-1 輸出信號作為T3，WRN扇出型從節(jié)點的MC-1輸出信號作為T4。將T1、T2、T3、T4 接入示波器，其中T1為示波器的觸發(fā)信號，對4 路信號進行了測試。如圖6所示，T1與T3、T1與T4的時間信號精度能夠保證在50 ps左右，晃動能夠達到10 ps以內(nèi)，滿足設(shè)計的需求。

圖6 SHINE定時系統(tǒng)時間延遲測試結(jié)果截圖Fig.6 Snapshot of testing results of the time delay of the SHINE timing system

4.2 束團編號采集功能驗證

嵌入型WRN 子節(jié)點的SMA 信號可以觸發(fā)Basler相機進行圖像采集，實驗室使用的Basler相機型號是acA2440-20gm，能夠在束線站上用來監(jiān)控光路。Basler 相機的工作頻率受限，可以通過串口配置嵌入型從節(jié)點使其輸出頻率為10.030 86 Hz 的脈沖信號，SMA 連接光電耦合I/O 輸入線路Line1，在MC-1時鐘上升沿將會硬件觸發(fā)相機采集圖片。

在實驗室條件下，對數(shù)據(jù)采集系統(tǒng)進行了測試驗證。實驗中使用上位機發(fā)送串口命令設(shè)置束團編號采集的size和delay，如圖7所示，其中size的數(shù)值設(shè)置為1 024，delay的數(shù)值設(shè)置為0。當(dāng)上位機開始工作時，每當(dāng)定時系統(tǒng)的MC-1的觸發(fā)到來時，一路子線程采集Bunch ID并將數(shù)據(jù)保存在數(shù)據(jù)庫中，上位機的BunchID number 將顯示采集束團編號的數(shù)量；另一路子線程采集硬件觸發(fā)的Basler相機圖像，并將圖像路徑保存在數(shù)據(jù)庫中，上位機的Basler number 將顯示采集圖像的數(shù)量。如果上位機未出現(xiàn)丟包的情況，那么采集的Bunch ID數(shù)量將與圖像幀數(shù)相同。

圖7 采集數(shù)據(jù)界面Fig.7 User interface of data acquisition

通過多輪實驗測試，BunchID number 和Basler number始終保持相同，說明采集的Bunch ID和圖像幀數(shù)相同，沒有出現(xiàn)丟包的情況，滿足設(shè)計的需求。

5 結(jié)語

本文基于White Rabbit 協(xié)議的硬件設(shè)備，搭建了定時Bunch ID采集測試系統(tǒng)，采用Xilinx的Zynq搭建了采集電子學(xué)系統(tǒng)，使用Basler相機進行測試。結(jié)果顯示，該套定時系統(tǒng)實現(xiàn)了相機硬件觸發(fā)時采集的圖像和束團編號的對應(yīng)。定時系統(tǒng)的束團編號采集是硬X射線自由電子激光光束線的關(guān)鍵技術(shù)之一，本文搭建的采集系統(tǒng)開發(fā)周期較短，便于修改，并且可以應(yīng)用到束線站其他類型的單脈沖探測器，為今后各種類型探測器的束團編號采集提供了基礎(chǔ)，后續(xù)將對其他探測器進行進一步的開發(fā)。

作者貢獻聲明尹亮負(fù)責(zé)系統(tǒng)軟件的開發(fā)，參與實驗硬件環(huán)境搭建，參與研究過程和問題討論，論文撰寫和修改；曾孟麒參與研究問題和問題討論；尹聰聰負(fù)責(zé)SHINE束線站定時系統(tǒng)的工程設(shè)計、技術(shù)路線制訂與平臺建設(shè)，論文修改指導(dǎo)；懷平負(fù)責(zé)SHINE束線站定時系統(tǒng)總體目標(biāo)的設(shè)計、項目管理，論文修改指導(dǎo)，研究經(jīng)費支持。