算網(wǎng)融合關(guān)鍵技術(shù)和發(fā)展路徑研究

李振文，李 芳，趙俊峰（中國(guó)信息通信研究院，北京 100191）

0 引言

“東數(shù)西算”工程是我國(guó)為促進(jìn)信息基礎(chǔ)設(shè)施優(yōu)化升級(jí)、推動(dòng)數(shù)字經(jīng)濟(jì)加速發(fā)展而提出的一項(xiàng)重大戰(zhàn)略工程，而“東數(shù)西算”工程要實(shí)現(xiàn)算力全國(guó)調(diào)度，就需要算網(wǎng)融合的支撐。所謂算網(wǎng)融合，是以通信網(wǎng)絡(luò)設(shè)施和計(jì)算設(shè)施的融合發(fā)展為基礎(chǔ)，通過計(jì)算、存儲(chǔ)及網(wǎng)絡(luò)資源統(tǒng)一編排管控，滿足業(yè)務(wù)對(duì)網(wǎng)絡(luò)和算力靈活泛在、彈性敏捷需求的一種新型業(yè)務(wù)模式。在此背景下，算網(wǎng)融合的架構(gòu)和技術(shù)成為業(yè)界研究熱點(diǎn)。

1 算網(wǎng)已有架構(gòu)和調(diào)度技術(shù)分析

1.1 算網(wǎng)融合是實(shí)現(xiàn)云、算、網(wǎng)資源的統(tǒng)一管理和調(diào)度

算網(wǎng)融合本質(zhì)上希望打破云計(jì)算、存儲(chǔ)資源和網(wǎng)絡(luò)資源各自獨(dú)立、無法協(xié)同的現(xiàn)狀。運(yùn)營(yíng)主體和服務(wù)方式方面，算網(wǎng)融合的運(yùn)營(yíng)者除電信運(yùn)營(yíng)商之外，還有云廠商和第三方企業(yè)；運(yùn)營(yíng)者可提供多樣化網(wǎng)絡(luò)接入，具備算力感知、一體化管理和編排調(diào)度能力，可實(shí)現(xiàn)算網(wǎng)服務(wù)的彈性供給、自主定制、隨需交易；支撐技術(shù)方面，算網(wǎng)融合既需要SDN、NFV 以及轉(zhuǎn)發(fā)面的Vx-LAN、EVPN、SR/SRv6 等現(xiàn)有技術(shù)的增強(qiáng)，也需要新技術(shù)如算網(wǎng)統(tǒng)一度量和交易、編排調(diào)度、算力資源發(fā)布以及APN6、CFN、RDMA等技術(shù)的支撐。

1.2 云、算側(cè)資源管理與調(diào)度架構(gòu)

隨著以容器和微服務(wù)為代表的云原生技術(shù)的發(fā)展，算力資源統(tǒng)一管理和調(diào)度技術(shù)成為目前行業(yè)研究熱點(diǎn)，當(dāng)前應(yīng)用較多的算力調(diào)度系統(tǒng)以超算和HPC 的資源調(diào)度為主，主要有IBM 公司的LFS、Altair 公司的PBS pro以及開源的Slurm等。面向大模型訓(xùn)練等智算場(chǎng)景，微軟在其CycleCloud 上將超算算力調(diào)度系統(tǒng)和云的Kubernetes 進(jìn)行結(jié)合，為用戶提供可專用于AI 大模型訓(xùn)練的環(huán)境。此外國(guó)內(nèi)企業(yè)也已經(jīng)開始了對(duì)算力調(diào)度系統(tǒng)的研究，并推出了如Quick Pool、SkyForm等產(chǎn)品。Slurm在科研機(jī)構(gòu)和院校中應(yīng)用較多，其架構(gòu)如圖1 所示，采用Slurmctld 服務(wù)監(jiān)測(cè)資源和作業(yè)。各計(jì)算節(jié)點(diǎn)啟動(dòng)Slurmd 守護(hù)進(jìn)程，被作為遠(yuǎn)程shell使用（等待作業(yè)、執(zhí)行作業(yè)、返回狀態(tài)、再等待更多作業(yè)）。Slurmdbd（Slurm DataBase Daemon）數(shù)據(jù)庫守護(hù)進(jìn)程，將多個(gè)Slurm 管理的集群的記賬信息記錄在同一個(gè)數(shù)據(jù)庫中。用戶可以使用一系列命令工具如Srun（運(yùn)行作業(yè)）等對(duì)作業(yè)進(jìn)行管理。另外還可以通過Slurmrestd（Slurm REST API Daemon）服務(wù)，使用REST API與Slurm 進(jìn)行交互。節(jié)點(diǎn)是Slurm 調(diào)度的單位之一，每個(gè)節(jié)點(diǎn)都有自己的資源，如CPU、內(nèi)存、GPU 等。節(jié)點(diǎn)由Slurm 自動(dòng)分配給作業(yè)，通常只需要用戶指定數(shù)量。但如果有特別的需要，用戶也可以直接給定節(jié)點(diǎn)列表或者用參數(shù)排除一些節(jié)點(diǎn)。

圖1 Slurm架構(gòu)

Kubernetes 也是一個(gè)開源平臺(tái)，用于管理容器化的工作負(fù)載和服務(wù)，在大規(guī)模集群的資源管理中應(yīng)用廣泛（見圖2）。Pod 是在Kubernetes 集群中運(yùn)行部署應(yīng)用或服務(wù)的最小單元，可支持多容器。Node 節(jié)點(diǎn)主要作為計(jì)算節(jié)點(diǎn)，實(shí)現(xiàn)本地Pod 的部署運(yùn)行和相關(guān)計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源的納管［1］。在Kubernetes 中，通過調(diào)度將Pod 放置到合適的Node 節(jié)點(diǎn)上，調(diào)度器通過Kubernetes 的監(jiān)測(cè)機(jī)制來發(fā)現(xiàn)集群中尚未被調(diào)度到節(jié)點(diǎn)上的Pod。它會(huì)依據(jù)提前設(shè)置的調(diào)度原則來做出調(diào)度選擇。kube-scheduler 是Kubernetes 集群的默認(rèn)調(diào)度器。kube-scheduler 給一個(gè)Pod 做調(diào)度選擇時(shí)包含過濾和打分2 個(gè)步驟，其中過濾階段會(huì)過濾掉候選節(jié)點(diǎn)中不滿足可用資源需求的節(jié)點(diǎn)，形成可調(diào)度節(jié)點(diǎn)列表，而打分階段，調(diào)度器會(huì)根據(jù)預(yù)設(shè)的打分規(guī)則為每一個(gè)可調(diào)度節(jié)點(diǎn)打分，最終選出一個(gè)最合適的節(jié)點(diǎn)來運(yùn)行Pod。在做調(diào)度決定時(shí)需要考慮的因素包括單獨(dú)和整體的資源請(qǐng)求、硬件/軟件/策略限制、親和以及反親和要求、數(shù)據(jù)局部性、負(fù)載間的干擾等。

圖2 Kubernetes集群的組件

1.3 網(wǎng)側(cè)資源管理與調(diào)度架構(gòu)

VxLAN+EVPN 方案是數(shù)據(jù)中心網(wǎng)絡(luò)的重要部署方案。VxLAN 技術(shù)通過將原始報(bào)文封裝在UDP 報(bào)文中，可以將傳統(tǒng)的二層網(wǎng)絡(luò)擴(kuò)展到三層網(wǎng)絡(luò)，實(shí)現(xiàn)數(shù)據(jù)中心網(wǎng)絡(luò)的虛擬化，提高網(wǎng)絡(luò)的可擴(kuò)展性和靈活性。EVPN 技術(shù)則是一種基于BGP 的以太網(wǎng)虛擬專用網(wǎng)技術(shù)，利用EVPN 構(gòu)建VxLAN 的控制平面，解決Vx-LAN 需要通過泛洪的方式學(xué)習(xí)終端主機(jī)地址的問題，從而提供跨數(shù)據(jù)中心的數(shù)據(jù)傳輸和VPN服務(wù)。

同時(shí)，VxLAN 和SDN 聯(lián)合部署已經(jīng)成為智能化云數(shù)據(jù)中心的必要組件，VxLAN 作為數(shù)據(jù)平面解耦租戶網(wǎng)絡(luò)和物理網(wǎng)絡(luò)，SDN 將租戶的控制能力集成到云管平臺(tái)，與計(jì)算、存儲(chǔ)資源聯(lián)合調(diào)度，提升了數(shù)據(jù)中心內(nèi)業(yè)務(wù)承載的靈活性（見圖3）。

圖3 SDN+VxLAN數(shù)據(jù)中心網(wǎng)絡(luò)承載方案

1.4 小結(jié)

云、算側(cè)算力調(diào)度系統(tǒng)實(shí)現(xiàn)了集群內(nèi)算力任務(wù)和容器化資源的調(diào)度管理，在進(jìn)行負(fù)載均衡時(shí)可以考慮CPU、內(nèi)存和網(wǎng)絡(luò)帶寬利用率等因素，并且通過調(diào)度算法的不斷優(yōu)化，使得集群內(nèi)節(jié)點(diǎn)的利用率更高，但是這里的網(wǎng)絡(luò)資源信息還相對(duì)粗放，沒有精確的帶寬、時(shí)延等信息，使得用戶獲取到的算力服務(wù)路徑不一定是最優(yōu)路徑，這個(gè)問題同樣存在于DNS 域名解析服務(wù)器進(jìn)行終端請(qǐng)求的應(yīng)答過程中。

在網(wǎng)絡(luò)側(cè)，VxLAN+EVPN 作為Overlay 的方案，較好地解決了數(shù)據(jù)中心間虛機(jī)遷移的問題，但同時(shí)也存在無法支撐將Underlay網(wǎng)絡(luò)資源的信息與算力資源信息融合到一起進(jìn)行調(diào)度的問題，所以為了更好地支撐算網(wǎng)融合，需要SRv6 等更具有潛力的網(wǎng)絡(luò)技術(shù)。另外，針對(duì)AI 分布式訓(xùn)練和HPC 高性能計(jì)算場(chǎng)景，RDMA技術(shù)也已經(jīng)被廣泛應(yīng)用于智算集群內(nèi)的互聯(lián)。

2 算網(wǎng)融合目標(biāo)架構(gòu)和關(guān)鍵技術(shù)分析

2.1 整體目標(biāo)架構(gòu)相關(guān)標(biāo)準(zhǔn)進(jìn)展

中國(guó)三大運(yùn)營(yíng)商、設(shè)備商、服務(wù)器廠商等在CCSA立項(xiàng)了《算力網(wǎng)絡(luò)總體技術(shù)要求》，目前已完成報(bào)批稿，主要規(guī)定了算力網(wǎng)絡(luò)的總體技術(shù)架構(gòu)和技術(shù)要求，包括算力網(wǎng)絡(luò)的總體架構(gòu)和接口描述，以及算力服務(wù)技術(shù)要求、算力路由技術(shù)要求、算網(wǎng)編排管理技術(shù)要求等，其中算力網(wǎng)絡(luò)總體功能邏輯架構(gòu)如圖4 所示。

圖4 算力網(wǎng)絡(luò)總體功能邏輯架構(gòu)

為了實(shí)現(xiàn)對(duì)算力和網(wǎng)絡(luò)的感知、互聯(lián)和協(xié)同調(diào)度，算力網(wǎng)絡(luò)架構(gòu)體系從邏輯功能上劃分為算力服務(wù)層、算力路由層、算網(wǎng)管理層、算網(wǎng)基礎(chǔ)設(shè)施層四大功能模塊，具體如下。

a）算力服務(wù)層。提供算力的各類能力及應(yīng)用，并將用戶對(duì)業(yè)務(wù)SLA 的請(qǐng)求（包括算力請(qǐng)求等參數(shù)）傳遞給算力路由層。

b）算力路由層?；诔橄蠛蟮挠?jì)算資源發(fā)現(xiàn)，實(shí)現(xiàn)對(duì)算力節(jié)點(diǎn)的資源信息感知；另一方面，通過在用戶請(qǐng)求中攜帶業(yè)務(wù)需求，實(shí)現(xiàn)對(duì)用戶業(yè)務(wù)需求的感知。綜合考慮用戶業(yè)務(wù)請(qǐng)求、網(wǎng)絡(luò)信息和算力資源信息，將業(yè)務(wù)靈活按需調(diào)度到不同的算力節(jié)點(diǎn)中，同時(shí)將計(jì)算結(jié)果反饋到算力服務(wù)層。算力路由層的部署實(shí)現(xiàn)支持集中式方式和分布式方式。

c）算網(wǎng)編排管理層。實(shí)現(xiàn)對(duì)算力服務(wù)的運(yùn)營(yíng)與編排管理、對(duì)算力路由的管理、對(duì)算力資源的管理以及對(duì)網(wǎng)絡(luò)資源的管理，其中算力資源管理包括基于統(tǒng)一的算力度量衡體系，完成對(duì)算力資源的統(tǒng)一抽象描述，進(jìn)而實(shí)現(xiàn)對(duì)算力資源的度量與建模、注冊(cè)和OAM管理等功能；以支持網(wǎng)絡(luò)對(duì)算力資源的可感知、可度量、可管理和可控制。

d）算網(wǎng)基礎(chǔ)設(shè)施層。為滿足新興業(yè)務(wù)的多樣性計(jì)算需求，基于提供信息傳輸?shù)木W(wǎng)絡(luò)基礎(chǔ)設(shè)施，在網(wǎng)絡(luò)中提供泛在異構(gòu)計(jì)算資源，包括單核CPU、多核CPU、CPU+GPU+FPGA 等多種算力組合。其中算網(wǎng)基礎(chǔ)設(shè)施層作為算力網(wǎng)絡(luò)的新型基礎(chǔ)設(shè)施層，算力服務(wù)層、算力路由層和算網(wǎng)編排管理層作為實(shí)現(xiàn)算力網(wǎng)絡(luò)可感、可控、可管的三大核心功能模塊，實(shí)現(xiàn)對(duì)算力和網(wǎng)絡(luò)資源的感知、控制和管理［2］。

2.2 支撐算力運(yùn)營(yíng)和交易的關(guān)鍵技術(shù)

2.2.1 算力資源建模，包含算力度量、算力分級(jí)等

算力是設(shè)備或平臺(tái)為完成某種業(yè)務(wù)所具備的處理業(yè)務(wù)信息的關(guān)鍵核心能力，根據(jù)所運(yùn)行算法和所涉及的數(shù)據(jù)計(jì)算類型不同，可將算力分為邏輯運(yùn)算能力、并行計(jì)算能力和神經(jīng)網(wǎng)絡(luò)計(jì)算能力。算力的統(tǒng)一量化是算力調(diào)度、使用的基礎(chǔ)。對(duì)不同的計(jì)算類型，不同廠商的芯片有各自不同的設(shè)計(jì)，這就涉及異構(gòu)算力的統(tǒng)一度量。不同芯片所提供的算力可通過度量函數(shù)映射到統(tǒng)一的量綱。

算力分級(jí)可以供算力提供者設(shè)計(jì)業(yè)務(wù)套餐時(shí)參考，也可作為算力平臺(tái)設(shè)計(jì)者在設(shè)計(jì)算力網(wǎng)絡(luò)平臺(tái)時(shí)對(duì)算力資源的選型依據(jù)。智能應(yīng)用對(duì)算力的訴求主要是浮點(diǎn)計(jì)算能力，因此業(yè)務(wù)所需浮點(diǎn)計(jì)算能力的大小可作為算力分級(jí)的依據(jù)。當(dāng)前算力可分為超大型算力、大型算力、中型算力和小型算力4個(gè)等級(jí)。

2.2.2 算力交易

泛在計(jì)算的算力交易平臺(tái)是一套基于區(qū)塊鏈的去中心化、低成本、保護(hù)隱私的可信平臺(tái)。平臺(tái)的計(jì)算節(jié)點(diǎn)由多種形態(tài)的算力設(shè)備組成，包含大型GPU 設(shè)備或FPGA 服務(wù)器集群、中小型企業(yè)閑散的空余服務(wù)器及個(gè)人閑置的計(jì)算節(jié)點(diǎn)等。平臺(tái)可以實(shí)現(xiàn)自動(dòng)算力交易、自動(dòng)算力匹配、費(fèi)用結(jié)算功能。在算力賣家向算力買家提供服務(wù)的過程中，后者提出使用請(qǐng)求，算力交易平臺(tái)根據(jù)用戶需求自動(dòng)尋找、匹配算力節(jié)點(diǎn)，并生成相應(yīng)的賬單；在得到買家認(rèn)可后，平臺(tái)調(diào)度相應(yīng)的算力資源為買家提供服務(wù)，隨后執(zhí)行算力業(yè)務(wù)的節(jié)點(diǎn)根據(jù)提供的算力獲得相應(yīng)的報(bào)酬。

2.3 支撐算網(wǎng)資源融合管理調(diào)度的關(guān)鍵技術(shù)

2.3.1 算網(wǎng)轉(zhuǎn)發(fā)技術(shù)——SRv6

SRv6是源路由技術(shù)的一種，它采用現(xiàn)有的IPv6轉(zhuǎn)發(fā)技術(shù)，通過靈活的IPv6 擴(kuò)展頭，實(shí)現(xiàn)網(wǎng)絡(luò)可編程。為了實(shí)現(xiàn)SRv6轉(zhuǎn)發(fā)，需要向IPv6報(bào)文中插入一個(gè)段路由頭（Segment Routing Header，SRH）的擴(kuò)展頭，存儲(chǔ)IPv6 的Segment List 信息。報(bào)文轉(zhuǎn)發(fā)時(shí)，依靠Segments Left 和Segment List 字段共同決定IPv6 目的地址（IPv6 DA）信息，從而指導(dǎo)報(bào)文的轉(zhuǎn)發(fā)路徑和行為。未經(jīng)壓縮的SRv6 SID 是128 位，主要由標(biāo)識(shí)節(jié)點(diǎn)位置的LOC字段（IPv6 前綴格式，可路由）、標(biāo)識(shí)服務(wù)和功能的FUNC 字段（本地識(shí)別）以及ARG 字段3 個(gè)部分組成。SRv6 網(wǎng)絡(luò)編程標(biāo)準(zhǔn)中，SRv6 節(jié)點(diǎn)（Endpoint）通過本地定義的行為（Behavior）處理SRv6 報(bào)文。SRv6 定義了多種Endpoint Behavior，每個(gè)節(jié)點(diǎn)需要實(shí)例化它們并分配SID，同時(shí)通過路由協(xié)議發(fā)布，以通知其他SRv6節(jié)點(diǎn)本節(jié)點(diǎn)能提供的Behavior。常用的Endpoint Behavior 有END、END.X、END.DT4、END.DT6 等，實(shí)現(xiàn)Underlay選路、Overlay業(yè)務(wù)承載等功能［3］。

2.3.2 算網(wǎng)感知技術(shù)——APN6

APN6是在數(shù)據(jù)平面利用IPv6報(bào)文擴(kuò)展頭（Extension Headers），如逐跳選項(xiàng)頭（Hop-by-Hop Options Header）、段路由頭（Segment Routing Header）的可編程空間，攜帶應(yīng)用的相關(guān)信息（標(biāo)識(shí)和需求）到網(wǎng)絡(luò)中，網(wǎng)絡(luò)設(shè)備依據(jù)這些信息為其提供相應(yīng)的網(wǎng)絡(luò)服務(wù)，如將報(bào)文映射進(jìn)相應(yīng)的能夠保障其SLA 的SRv6路徑等。應(yīng)用感知信息可以由用戶終端設(shè)備或應(yīng)用直接生成，也可以由網(wǎng)絡(luò)邊緣設(shè)備生成，分別對(duì)應(yīng)APN6的主機(jī)側(cè)方案和網(wǎng)絡(luò)側(cè)方案［4］。

2.3.3 算網(wǎng)融合路由技術(shù)——CFN

為了解決邊緣計(jì)算系統(tǒng)中網(wǎng)絡(luò)信息和算力信息割裂，無法統(tǒng)一納管和進(jìn)行最優(yōu)資源調(diào)度的問題，Yizhou Li 等提出了CFN 的概念，并在IETF 提交了草案：Framework of Compute First Networking（CFN）［5］，架構(gòu)和原理如圖5所示。

圖5 CFN網(wǎng)絡(luò)拓?fù)?/p>

CFN 網(wǎng)絡(luò)按角色分為服務(wù)器節(jié)點(diǎn)、CFN 節(jié)點(diǎn)和客戶端。CFN 通過控制面完成算力資源信息的全網(wǎng)同步。服務(wù)節(jié)點(diǎn)將本地服務(wù)狀態(tài)注冊(cè)到CFN 節(jié)點(diǎn)的數(shù)據(jù)庫表項(xiàng)中。本地服務(wù)狀態(tài)一般包括服務(wù)的唯一標(biāo)識(shí)（Service ID）、服務(wù)IP 地址和計(jì)算資源情況等。CFN節(jié)點(diǎn)將本地服務(wù)狀態(tài)封裝到CFN 路由協(xié)議報(bào)文中并擴(kuò)散到其他CFN 節(jié)點(diǎn)。CFN 節(jié)點(diǎn)基于CFN 路由協(xié)議將本地以及收到的其他CFN 節(jié)點(diǎn)擴(kuò)散的服務(wù)狀態(tài)信息匯總生成服務(wù)信息路由表。CFN 數(shù)據(jù)面完成客戶端對(duì)服務(wù)節(jié)點(diǎn)Service ID 請(qǐng)求的路由轉(zhuǎn)發(fā)。與客戶端距離最近的CFN 節(jié)點(diǎn)收到請(qǐng)求后，根據(jù)網(wǎng)絡(luò)資源、計(jì)算資源情況進(jìn)行綜合評(píng)估，選擇一個(gè)服務(wù)節(jié)點(diǎn)以及相關(guān)聯(lián)的CFN 出口節(jié)點(diǎn)，將原請(qǐng)求數(shù)據(jù)包封裝并發(fā)送。CFN Egress節(jié)點(diǎn)收到數(shù)據(jù)包，根據(jù)Service ID 查找對(duì)應(yīng)服務(wù)節(jié)點(diǎn)IP，將數(shù)據(jù)封裝并發(fā)送。外層數(shù)據(jù)包源地址為客戶端IP，目的地址為服務(wù)節(jié)點(diǎn)IP。報(bào)文封裝的內(nèi)層數(shù)據(jù)包源地址為客戶端IP，目的地址為Service ID。服務(wù)節(jié)點(diǎn)收到數(shù)據(jù)包后在本地查詢與Service ID 綁定的服務(wù)地址，調(diào)用對(duì)應(yīng)的服務(wù)，將結(jié)果返回給客戶端［3］。

3 結(jié)束語

在我國(guó)提出“東數(shù)西算”的大背景下，我國(guó)電信運(yùn)營(yíng)商希望借助政策發(fā)展的契機(jī)，在售賣網(wǎng)絡(luò)管道和出租數(shù)據(jù)中心基礎(chǔ)資源的同時(shí)，釋放更多的管道潛能，所以積極投入算力與網(wǎng)絡(luò)相融合的研究中，并在國(guó)際、國(guó)內(nèi)標(biāo)準(zhǔn)組織推動(dòng)制定了一系列算網(wǎng)融合的標(biāo)準(zhǔn)架構(gòu)，但要真正實(shí)現(xiàn)算網(wǎng)融合的規(guī)模商用，無論是商業(yè)模式還是技術(shù)實(shí)現(xiàn)細(xì)節(jié)上都還存在較大差距。上述標(biāo)準(zhǔn)框架中，目標(biāo)架構(gòu)和業(yè)務(wù)流程都比較完善，但同時(shí)這種非常完善的架構(gòu)也會(huì)帶來系統(tǒng)復(fù)雜度的大幅增加。由于要將CPU、GPU、FPGA 以及內(nèi)存和存儲(chǔ)等異構(gòu)算力資源進(jìn)行歸一化度量，需要研究算力的度量標(biāo)準(zhǔn)；另外，還需要建設(shè)算力交易平臺(tái)，解決算力的交易問題并進(jìn)行標(biāo)準(zhǔn)化。從實(shí)現(xiàn)路徑上，建議基于現(xiàn)有云、算側(cè)和網(wǎng)側(cè)的調(diào)度系統(tǒng)和SRv6、APN 和CFN、RDMA 等關(guān)鍵技術(shù)，采用邊研究邊實(shí)踐的策略，分3 個(gè)階段逐步推進(jìn)。

第1階段：?jiǎn)芜\(yùn)營(yíng)商場(chǎng)景。運(yùn)營(yíng)商內(nèi)部負(fù)責(zé)云和網(wǎng)絡(luò)的運(yùn)營(yíng)團(tuán)隊(duì)間不考慮算力資源交易和結(jié)算流程，這樣一方面簡(jiǎn)化了算力運(yùn)營(yíng)和交易相關(guān)平臺(tái)的實(shí)現(xiàn)，另一方面，從流程上簡(jiǎn)化了算力需求者提出需求后，在進(jìn)行算力資源匹配后交易確認(rèn)環(huán)節(jié)引入的處理時(shí)延。算力資源池也限制運(yùn)營(yíng)商的自有資源，減少資源種類，更易進(jìn)行度量。

第2階段：?jiǎn)芜\(yùn)營(yíng)商、單云場(chǎng)景。運(yùn)營(yíng)商內(nèi)部負(fù)責(zé)云和網(wǎng)絡(luò)的運(yùn)營(yíng)團(tuán)隊(duì)間，以及運(yùn)營(yíng)商和第三方云供應(yīng)商之間基于算力運(yùn)營(yíng)和交易平臺(tái)，實(shí)現(xiàn)了算力資源的交易和結(jié)算；算力資源池也拓展至本運(yùn)營(yíng)商的自有算力資源和第三方云供應(yīng)商的算力資源。

第3階段：多運(yùn)營(yíng)商、多云場(chǎng)景。不同運(yùn)營(yíng)商間、運(yùn)營(yíng)商與第三方云供應(yīng)商間都實(shí)現(xiàn)了算力運(yùn)營(yíng)和交易，運(yùn)營(yíng)商既可以是算力資源的購(gòu)買者，也可以是算力資源的售賣者；同時(shí)，一些企業(yè)和個(gè)人終端的零散算力資源也可以進(jìn)行交易。