建設(shè)FAST數(shù)據(jù)國際開放云平臺(tái)

謝曉堯

2021年2月5日，習(xí)近平總書記在貴州接見FAST相關(guān)人員時(shí)曾說過： “中國天眼，這是國之重器，黨中央一直都是關(guān)心的，支持推動(dòng)的，我在前一段時(shí)間就此也做了批示，我一直關(guān)注天眼建設(shè)運(yùn)行和你們持續(xù)做的這些科研工作。FAST要向國際開放，進(jìn)行國際合作?！?/p>

按照習(xí)近平總書記的指示，F(xiàn)AST建設(shè)工作組步步為營，一件事接著一件事地落實(shí)走到今天，交出了一份完美的答卷。高質(zhì)量建設(shè)國家大數(shù)據(jù)綜合試驗(yàn)區(qū)，大力發(fā)展數(shù)字經(jīng)濟(jì)，加快數(shù)字產(chǎn)業(yè)化、產(chǎn)業(yè)數(shù)字化，積極開發(fā)及數(shù)據(jù)流通交易市場，建成全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系樞紐節(jié)點(diǎn)，形成超大型數(shù)據(jù)中心集成，提升數(shù)據(jù)化治理水平，打造中國數(shù)谷……

本次數(shù)博會(huì)，有一個(gè)重要的事件，這是本次數(shù)博會(huì)最大的亮點(diǎn)之一，也是貴州大數(shù)據(jù)發(fā)展的重大節(jié)點(diǎn)，那就是國家發(fā)改委宣布貴州是全國一體化大數(shù)據(jù)中心的八大樞紐節(jié)點(diǎn)之一。

“天演·創(chuàng)變·啟新——天文論壇”是中共貴州省委、貴州省人民政府關(guān)于《實(shí)施數(shù)字經(jīng)濟(jì)戰(zhàn)略搶新機(jī)》的體現(xiàn)，更是落實(shí)習(xí)近平總書記在貴州的講話精神。正如習(xí)近平總書記所言：“推進(jìn)FAST為代表的創(chuàng)新基礎(chǔ)設(shè)施建設(shè)，圍繞‘中國天眼這一‘國之重器，建設(shè)FAST數(shù)據(jù)國際開放云平臺(tái)和公共算力平臺(tái)，建設(shè)FAST科學(xué)研究與數(shù)據(jù)處理中心和FAST射電觀測陣列，開展天文數(shù)據(jù)存儲(chǔ)、處理研究，構(gòu)建集觀測、科研、存算于一體的FAST數(shù)據(jù)服務(wù)生態(tài)。”

在2016年9月25日FAST竣工之前，貴州省就建立了國家天文學(xué)貴州師范大學(xué)FAST早期科學(xué)數(shù)據(jù)中心，同時(shí)開展數(shù)據(jù)處理技術(shù)的驗(yàn)證實(shí)驗(yàn)。首先是處理FAST巡天數(shù)據(jù)。一路走來，貴師大FAST科學(xué)數(shù)據(jù)中心和國家天文臺(tái)合作得非常好。2021年4月9日，數(shù)據(jù)中心和國家天文臺(tái)共同成立了“中國天眼聯(lián)合研究中心”，利用貴州師范大學(xué)參加的國家未來網(wǎng)絡(luò)重大科技基礎(chǔ)設(shè)施優(yōu)勢，國家天文臺(tái)為貴州師范大學(xué)建設(shè)天文數(shù)據(jù)國際共享云平臺(tái)提供幫助。

同時(shí)，貴師大FAST科學(xué)數(shù)據(jù)中心與中科院南美天文中心簽署了南美天文數(shù)據(jù)貴師大鏡像中心協(xié)議，雙方同意南美天文研究中心ALMA亞毫米波觀測數(shù)據(jù)國內(nèi)鏡像落戶貴州。

全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實(shí)施方案，一共是8個(gè)節(jié)點(diǎn)，成渝地區(qū)、京津冀地區(qū)、長三角地區(qū)、粵港澳大灣區(qū)，還有貴州、甘肅、寧夏、內(nèi)蒙古。這對(duì)于貴州省意義非凡，這次強(qiáng)調(diào)的是東數(shù)西算，什么意思？就是在實(shí)時(shí)性要求不高的數(shù)據(jù)，最好利用西部的資源進(jìn)行東數(shù)西算。

目前，F(xiàn)AST數(shù)據(jù)國際開放云平臺(tái)架構(gòu)正在實(shí)施中，要給全世界和國內(nèi)的高等院校、科研院所提供用戶服務(wù)，通過網(wǎng)絡(luò)、公有云、私有云，也就是提供存儲(chǔ)計(jì)算資源，來實(shí)現(xiàn)FAST數(shù)據(jù)的國際和國內(nèi)開放。

在國際、國內(nèi)開放里面，云計(jì)算的架構(gòu)，在IAAS就是基礎(chǔ)設(shè)施及服務(wù)這塊上，已經(jīng)提供了服務(wù)器存儲(chǔ)，在PAAS及服務(wù)這一端，直接提供了搜索計(jì)算，數(shù)據(jù)中臺(tái)里面智能識(shí)別和綜合查詢，在SAAS提供可視化計(jì)算和任務(wù)調(diào)度與監(jiān)控。

首先，F(xiàn)AST數(shù)據(jù)國際開放云平臺(tái)的IAAS建設(shè)，實(shí)際上就是算力的建設(shè)、生產(chǎn)力的建設(shè)。生產(chǎn)力的建設(shè)就是提供各種不同的計(jì)算資源，需要節(jié)點(diǎn)運(yùn)算很高的情況下，提供一臺(tái)服務(wù)器，加8塊GPU卡，現(xiàn)在有20臺(tái)這種節(jié)點(diǎn)，為這個(gè)云平臺(tái)進(jìn)行服務(wù)，算力可以達(dá)到1Pb以上。

有些用戶要求要少一點(diǎn)，就采用一臺(tái)工作站，一個(gè)CPU+兩塊GPU，這樣的算力有60個(gè)計(jì)算節(jié)點(diǎn)提供給用戶服務(wù)，算力達(dá)到了1Pb。還可以提供2個(gè)GPU+一個(gè)CPU的服務(wù)器，這個(gè)有14個(gè)計(jì)算節(jié)點(diǎn)的算力提供給用戶。還有60臺(tái)單節(jié)點(diǎn)單機(jī)的一塊CPU+一塊GPU卡，這樣有60個(gè)計(jì)算節(jié)點(diǎn)可以給用戶提供云平臺(tái)的算力要求，這叫低價(jià)格結(jié)構(gòu)，是我們知識(shí)產(chǎn)權(quán)的混合計(jì)算節(jié)點(diǎn)。

超算中心的專家介紹到，超算中心現(xiàn)在的投入都是幾億、幾十億，現(xiàn)在這一套下來154個(gè)節(jié)點(diǎn)，投入大概就是一千多萬?，F(xiàn)在154個(gè)節(jié)點(diǎn)理論峰值可以到2.8PFlops（單精度浮點(diǎn)運(yùn)算），2019年6月世界超算五百名的排名最后一名是2.1PFlops，這樣對(duì)比，我們現(xiàn)在算力已經(jīng)到世界五百強(qiáng)，但我們用最低投入實(shí)現(xiàn)了這個(gè)目標(biāo)。

第二，F(xiàn)AST數(shù)據(jù)國際開放云平臺(tái)建設(shè)，還是IAAS，只是它是生產(chǎn)資料的建設(shè)，是存儲(chǔ)的建設(shè)。在黑洞事件里面，一個(gè)黑洞事件一共是10個(gè)Pb的內(nèi)容，10個(gè)Pb的數(shù)據(jù)，最后計(jì)算生成黑洞的圖片。從FAST數(shù)據(jù)可以看，19個(gè)波束，每秒38個(gè)Gb，一年96Pb，數(shù)據(jù)量非常大。所以，F(xiàn)AST的數(shù)據(jù)壓力是非常大的。

最早的時(shí)候，國家天文臺(tái)共同建設(shè)的早期科學(xué)數(shù)據(jù)中心存儲(chǔ)只有2個(gè)Pb，數(shù)據(jù)基本上可以溝通，但是現(xiàn)在顯然不夠了，最近新增加了20個(gè)Pb作為FAST數(shù)據(jù)的存儲(chǔ)。

同時(shí)，F(xiàn)AST這么多數(shù)據(jù)計(jì)算完以后，把它叫做冷數(shù)據(jù)，剩下的計(jì)算完的數(shù)據(jù)可以放到物理池里面，這樣就可以節(jié)約很多經(jīng)費(fèi)，這些數(shù)據(jù)就沒有放硬盤，不需要消耗電力，需要的時(shí)候再調(diào)用出來。

FAST的接收頻段是分米波這塊，70M到3個(gè)G，低頻段的，我們把南美天文中心的數(shù)據(jù)引進(jìn)過來，最主要就是在高頻段，這個(gè)頻段對(duì)于國內(nèi)天文學(xué)家的研究非常重要。

FAST國際數(shù)據(jù)開放云平臺(tái)IAAS的建設(shè)，是網(wǎng)絡(luò)的建設(shè)。FAST到我們實(shí)驗(yàn)室，原來竣工的時(shí)候是2Gb的專線到我們學(xué)校實(shí)驗(yàn)室。由于數(shù)據(jù)量很大，所以最近升成10Gb，也不夠了，費(fèi)用也很高。很快，因?yàn)镕AST要往北京傳數(shù)據(jù)，國家有一個(gè)項(xiàng)目，是國家未來網(wǎng)絡(luò)工程，是國家在通信與信息領(lǐng)域建設(shè)的第一個(gè)，也是唯一一項(xiàng)國家的重大科學(xué)基礎(chǔ)設(shè)施項(xiàng)目。該項(xiàng)目是2013年立項(xiàng)，2019年開始建設(shè)。這個(gè)項(xiàng)目涉及到國家下一步很多在通信上的建設(shè)，這是目前整個(gè)網(wǎng)絡(luò)的架構(gòu)，除了拉薩沒有通以外，基本上全部通了。到了北京以后，整個(gè)網(wǎng)絡(luò)連接聯(lián)通、電信、廣電、教育科研網(wǎng)、移動(dòng)網(wǎng)、中國科技網(wǎng)，全部可以四通八達(dá)。這樣的話，國家未來網(wǎng)絡(luò)貴州主節(jié)點(diǎn)，因?yàn)槲覀儌靼l(fā)數(shù)據(jù)，所以主節(jié)點(diǎn)就落戶在我們實(shí)驗(yàn)室，到北京是100Gb，這個(gè)資源貴州應(yīng)該把它用好。

2020年5月15日，國家未來網(wǎng)絡(luò)工程實(shí)現(xiàn)北京節(jié)點(diǎn)中科院數(shù)據(jù)中心——貴州主節(jié)點(diǎn)貴州師范大學(xué)FAST早期數(shù)據(jù)中心的互聯(lián)互通，并實(shí)時(shí)從貴陽向北京傳送了FAST數(shù)據(jù)文件。

隨著國家的國力強(qiáng)大以后，海下光纜可以做到的。這是目前FAST陣列先導(dǎo)陣，在貴州要選五個(gè)點(diǎn)，和FAST連起來，到北京是通的，到上海是通的，現(xiàn)在就缺新疆和云南，新疆110米、云南120米的望遠(yuǎn)鏡上來以后完全可以和我們連起來，就形成一個(gè)非常大的陣列，這個(gè)前景是非常好的。

FAST國際數(shù)據(jù)開放云平臺(tái)的PAAS建設(shè)，就是平臺(tái)建設(shè)，就是剛才講的數(shù)據(jù)中臺(tái)，在數(shù)據(jù)中臺(tái)必須要提供軟件、計(jì)算、分析、查詢等流程。計(jì)算完以后，要識(shí)別，這就是我們自主知識(shí)產(chǎn)權(quán)用人工智能開發(fā)的脈沖星候選體的識(shí)別軟件系統(tǒng)。在這個(gè)基礎(chǔ)上，大家都要來用，作為一個(gè)開放的平臺(tái)，還有一個(gè)數(shù)據(jù)庫檢索的問題，所以我們也構(gòu)建了剛才提到的脈沖星及侯選體數(shù)據(jù)庫平臺(tái)，這也是正在做的世界上第一個(gè)這種數(shù)據(jù)庫平臺(tái)。

下一步，主要是在脈沖星方面，F(xiàn)AST數(shù)據(jù)國際開放云平臺(tái)的SAAS建設(shè)，也就是它的軟件及服務(wù)。這個(gè)是在整個(gè)任務(wù)上各個(gè)節(jié)點(diǎn)計(jì)算，任務(wù)的軟件監(jiān)測。試想，把這個(gè)平臺(tái)要給全世界科學(xué)家開放，必須要做到各個(gè)節(jié)點(diǎn)計(jì)算任務(wù)的監(jiān)測。我們專門有一個(gè)可視化的平臺(tái)，目前一共有162個(gè)的計(jì)算節(jié)點(diǎn)正常工作，兩個(gè)節(jié)點(diǎn)處于低效率的運(yùn)行狀態(tài)，本次計(jì)算任務(wù)已經(jīng)耗時(shí)3324個(gè)小時(shí)，這是剩下要完成的任務(wù)，差不多要完成了，整個(gè)CPU占用率達(dá)到88.3%，綜合的負(fù)載達(dá)到42.95%。

總結(jié)一下，共享平臺(tái)數(shù)據(jù)量的計(jì)算問題，CRAFTS項(xiàng)目2020年共進(jìn)行了73次觀測，時(shí)長589.5小時(shí)，2020年一年我們實(shí)驗(yàn)室共計(jì)算了三次觀測，一共72.5小時(shí)，計(jì)算量為1.4PB，為總時(shí)長的12.3%，計(jì)算用時(shí)65天。目前的算力還可以應(yīng)付國際開放以后需要占用的時(shí)間，這是從時(shí)間上分析得到的。最后，這個(gè)云平臺(tái)既然對(duì)國際開放，那安全是非常重要的。沒有網(wǎng)絡(luò)安全就沒有國家安全，所以安全是必須考慮范圍。恰好我們有一個(gè)很好的安全團(tuán)隊(duì)，對(duì)于FAST數(shù)據(jù)傳輸和傳輸安全里面的一個(gè)考慮。同時(shí)，現(xiàn)在正在投資150萬在FAST的樓上正在做態(tài)勢感知，F(xiàn)AST數(shù)據(jù)國際開放云平臺(tái)的安全系統(tǒng)，大概兩個(gè)月就可以結(jié)束了，所以整個(gè)網(wǎng)絡(luò)安全全部在可控范圍內(nèi)，是可以放心。

FAST及天文數(shù)據(jù)向國際國內(nèi)開放，2021年4月FAST數(shù)據(jù)正式向國際開放，進(jìn)行國際合作，建設(shè)FAST數(shù)據(jù)國際開放云平臺(tái)，支撐FAST國際開放，提升貴州整體基礎(chǔ)研究的水平和能見度，帶動(dòng)貴州相關(guān)高科技產(chǎn)業(yè)發(fā)展。這個(gè)很重要，強(qiáng)調(diào)是帶動(dòng)貴州整體基礎(chǔ)研究的水平和能見度，因?yàn)橛辛舜髷?shù)據(jù)，才有了今天一體化數(shù)據(jù)中心的國家樞紐?，F(xiàn)在一提到貴州，不光是有茅臺(tái)，還有FAST，這個(gè)東西非常重要，這就是能見度。