國產芯片分布式存儲設備的測試及其在4K制播中的應用

李希堯

（作者單位：中央廣播電視總臺）

2013年棱鏡門事件爆發(fā)并持續(xù)發(fā)酵，各國意識到自身在信息系統(tǒng)安全上存在極大短板[1]，許多重要的數據未能得到妥善保護。而這些信息系統(tǒng)的漏洞和重要資料的泄露給經濟甚至國家安全造成了極壞的影響，堅持獨立發(fā)展是擺脫受制于人、提高安全水平的必由之路。傳媒行業(yè)是國家重要的意識形態(tài)宣傳陣地，承擔著傳播主流價值觀，引導社會輿論，促進社會穩(wěn)定等重要使命。提高節(jié)目制播系統(tǒng)的國產化比率，保障制播系統(tǒng)安全穩(wěn)定運行是媒體技術人員的一項重要工作。多年來，筆者在不斷地進行摸索和研究，也對一些設備和系統(tǒng)進行了測試、試用與使用。本文主要根據國產芯片分布式存儲設備的發(fā)展情況以及超高清視頻制作的特點，對國產芯片分布式存儲設備進行實測真用，探討國產芯片分布式存儲支撐中大型超高清制播系統(tǒng)的技術可行性。

1 基于國產芯片的分布式存儲發(fā)展現狀

在以數據為中心的信息時代，存儲成為互聯網技術（Internet Technology, IT）基礎設施的核心，其提供底層動力，驅動了千行百業(yè)數字化轉型。近幾年5G技術、超高清視頻、人工智能、云計算、區(qū)塊鏈、產業(yè)互聯網、泛在感知等新技術、新模式、新應用迅速發(fā)展，激發(fā)海量非結構化數據快速增長，帶動存儲產業(yè)轉型升級，技術、設備不斷推陳出新。根據國際數據公司（International Data Corporation, IDC）2021中國區(qū)存儲市場報告，國內廠商已占據中國存儲市場70%以上的份額，取得了不錯的成績。但是國產分布式存儲產品中，基于intel處理器和紅帽（Redhat）公司的分布式文件系統(tǒng)（Ceph）軟件代碼的產品仍占大部分份額，依舊面臨著一些不可控的產業(yè)鏈風險。

存儲行業(yè)生態(tài)具有相對封閉和與上游應用相對松耦合的特點，各個國內廠商在基于國產芯片的存儲產品研發(fā)上發(fā)展也比較迅速，陸續(xù)推出了基于國產芯片的分布式存儲產品。這類產品普遍具備以下關鍵技術：

（1）國產芯片。中央處理器（Central Processing Unit, CPU）采用國產自研產品，保證全產業(yè)鏈的安全可控。當前有華為、飛騰、海思、龍芯、申威等控制器CPU產品[2]。其他如固態(tài)硬盤（Solid State Disk, SSD）主控芯片、網卡芯片、管理芯片等也有國產自研產品。

（2）關鍵部件自研自產。存儲控制器、接口卡、SSD顆粒、SSD硬盤等均可自研自產，同時通過在硬盤介質上硅進磁退，可以全面提升存儲的綠色節(jié)能水平，降低了設備的總體擁有成本（Total Cost of Ownership, TCO），在降低單盤能耗、整機能耗，減少單位容量所占盤空間，提高單位空間密度容量上均有很大進步，同時相較于機械硬盤（Hard Disk Drive, HDD），其每秒進行讀寫操作的次數（Input/Output Operations Per Second, IOPS）性能顯著提升，時延顯著降低，可極大地提高存儲整機性能。

（3）整機硬件自研自產。整機硬件包括底板管理控制器（Baseboard Management Controller, BMC）管理芯片、主板、內存、電源、硬盤框等，這些均可自主設計，獨立完成生產。

（4）存儲軟件自開發(fā)。存儲的操作系統(tǒng)（Operating System）軟件、系統(tǒng)內核驅動、磁盤管理軟件、任務調度軟件、緩存管理軟件、訪問協(xié)議軟件等均可基于國產芯片獨立研發(fā)；同時，絕大部分國內廠商的國產芯片分布式存儲產品管理界面和功能設計可與自身基于intel架構的產品統(tǒng)一，方便用戶日常運維管理和使用。

具有以上特點的國產芯片分布式存儲設備做到了端到端自研、軟硬協(xié)同，安全可信，同時功能齊全，性能上也能做到又快又穩(wěn)，成為國產化IT基礎架構下的基石。

2 超高清節(jié)目制播系統(tǒng)的發(fā)展推動存儲升級

在電視節(jié)目制播系統(tǒng)中，國內大部分網絡制播系統(tǒng)都采用了基于IP化的系統(tǒng)結構，使用千兆、萬兆或25G混合組網，以滿足不同設備的網絡接入需求。該系統(tǒng)具有結構簡單、易于擴展、運行穩(wěn)定性高等特點。視音頻文件均為非結構化數據，在基于IP化的網絡制播系統(tǒng)中，這部分文件數據主要采用文件存儲設備進行儲存，供制播業(yè)務訪問使用。客戶端通過使用通用網絡文件系統(tǒng)（Common Internet File System, CIFS）、網絡文件系統(tǒng)（Network File System, NFS）、簡單存儲服務（Simple Storage Service, S3）等協(xié)議訪問存儲，進行素材上下載、視音頻編輯、節(jié)目轉碼合成等操作?；贗P化的分布式文件存儲系統(tǒng)是目前應用最廣泛的網絡制播系統(tǒng)建設方案。

中央廣播電視總臺4K超高清頻道于2018年10月1日開播，成為我國首個覆蓋全國的4K超高清電視頻道。4K超高清視頻制播系統(tǒng)在性能、功能、穩(wěn)定性上對存儲設備提出了更高的要求。4K超高清視頻的編輯碼率為500～1 500 Mbps[3]，在非線性編輯制作、包裝、節(jié)目合成轉碼過程中，往往需要多臺設備的多軌4K穩(wěn)定流疊加訪問存儲，4K制作系統(tǒng)對存儲設備的性能、穩(wěn)定性都是極大的考驗，分布式文件存儲設備具有高容量、高帶寬、低延時等特點才能支撐4K超高清制播業(yè)務。原有采用HDD硬盤作為介質的分布式文件存儲在單節(jié)點性能上很難適應大規(guī)模IP化超高清制播系統(tǒng)業(yè)務的發(fā)展，超高清節(jié)目制播實踐引領了存儲設備的更新換代。

3 網絡制播系統(tǒng)選擇基于IP的分布式存儲的原因

隨著萬兆以太網絡技術的發(fā)展，制播系統(tǒng)在過渡到高清節(jié)目網絡制播系統(tǒng)后，采用了基于IP的分布式存儲作為核心存儲[4]，基于IP的分布式存儲具有高可靠性、高擴展性、高性能、高數據一致性等特點。分布式存儲基于全對稱架構，3節(jié)點即可起配，隨著節(jié)點數的增加，容量、帶寬可準線性增加（在一定節(jié)點數量范圍內，品牌存在差異），支持在線增減節(jié)點擴縮容，無單獨元數據節(jié)點，每個節(jié)點均可以對外提供服務，采用彈性糾刪碼（EC模式）對數據進行保護，可提供99.999 9%的數據可靠性和最高90%以上的磁盤空間利用率，單文件系統(tǒng)的容量可達幾百PB甚至EB級以上?；贗P的分布式存儲的各項特點特別符合廣電行業(yè)網絡制播系統(tǒng)，所以采用HDD磁盤作為介質的基于IP的分布式存儲成為市場主流延續(xù)至今。

4 4K超高清網絡制播系統(tǒng)對分布式存儲的選擇

近幾年，國內外超高清視頻產業(yè)正在快速發(fā)展，原有采用HDD硬盤作為介質的分布式文件存儲由于單節(jié)點帶寬吞吐量小和HDD磁盤IOPS性能差等問題，很難適應大規(guī)模網絡化4K超高清制播業(yè)務的發(fā)展。國內主流4K超高清視頻的編輯碼率為500～1 500 Mbps，為滿足4K超高清視頻編輯對存儲高容量、高帶寬、低延時的性能要求，各大存儲廠商也陸續(xù)推出了基于SSD硬盤并配有25 G或以上網絡端口的分布式文件存儲產品。此類產品發(fā)揮了SSD硬盤高IOPS、低能耗、帶寬吞吐量大的特性，與以HDD硬盤為介質的分布式存儲相比，單節(jié)點性能有極大提升，所以采用SSD硬盤作為介質的基于IP的分布式存儲設備是4K超高清網絡制播系統(tǒng)核心存儲的最優(yōu)選擇。

5 根據4K超高清視頻制作特點對國產芯片分布式存儲進行測試

為了測試基于國產芯片的分布式存儲設備的性能、功能是否能夠滿足4K超高清視音頻制播系統(tǒng)的要求，本文采用了《面向超高清節(jié)目制播的IP分布式存儲測試方法》的測試內容和測試方法[5]，對某型國產芯片分布式存儲設備進行了全面的測試，被測分布式存儲設備信息如表1所示：

表1 分布式存儲設備信息

測試客戶端設備基本信息：

使用5臺X86架構服務器，安裝Windows Server 2019操作系統(tǒng)，具有2顆AMD726CPU、128 G內存、1塊1.92 TB SSD硬盤、10 Gbps網卡。

使用5臺X86架構工作站，安裝Windows 10 Pro操作系統(tǒng)，具有1顆Intel Core i5 8500CPU、8 G內存、1 TB SSD硬盤、10 Gbps網卡。

筆者通過構建測試系統(tǒng)（見圖1），從該型號國產芯片分布式存儲設備的功能方面、可維護性方面、性能方面、可靠性方面出發(fā)，進行了系統(tǒng)的、全面的模擬測試，得出以下測試結果（見表2—5）：

圖1 測試系統(tǒng)組網圖

表2 國產芯片分布式存儲功能測試結果

表3 國產芯片分布式存儲可維護性測試結果

表4 國產芯片分布式存儲性能測試結果

表5 國產芯片分布式存儲可靠性測試結果

通過以上測試結果可以得出以下結論，本次測試的國產芯片分布式存儲由5個存儲節(jié)點構成，在性能上該存儲設備寫吞吐速度可達9.1 GB/s，讀吞吐速度可達8.9 GB/s，可支持140路4K視頻穩(wěn)定流并發(fā)讀取。每個節(jié)點的平均讀速度可達1.78 GB/s，寫速度可達1.8 GB/s，每個節(jié)點可支持28路4K視頻穩(wěn)定流并發(fā)讀取，在功能、可維護性、性能及可靠性方面均滿足中大型4K超高清視頻制播系統(tǒng)對分布式存儲設備的各項要求。

6 國產芯片分布式存儲設備在4K超高清節(jié)目制作中的實際使用

通過模擬測試，該型號的國產芯片分布式存儲設備各方面指標有了全面可靠的數據支撐，理論上該型號分布式存儲設備可以支撐4K超高清視頻制播系統(tǒng)的存儲需求。但只有在實際業(yè)務場景中進行使用，完成4K超高清視頻制作，才能驗證基于國產芯片的分布式存儲設備是否能夠做到真替真用，滿足業(yè)務需求。

筆者將此型號國產芯片分布式存儲設備通過萬兆網絡接入一個大型周播現場音樂類節(jié)目的超高清視頻后期制作系統(tǒng)中。該超高清制作系統(tǒng)包含了多臺萬兆網絡4K精編工作站、包裝工作站、合成工作站等，該節(jié)目素材收錄、制作、包裝、打包合成均為500 Mbps碼率的4K文件，每次集中錄制兩期節(jié)目并制作，產生的4K超高清素材量在200 TB左右。節(jié)目錄制完成后，需由多名編輯人員在限定時間內同時在多臺精編工作站編輯該節(jié)目素材，再完成調色、渲染、節(jié)目包裝等工作，并生成最終播出的節(jié)目，以滿足節(jié)目播出周期的時效性要求。在為期8個月的試用中，該型號國產芯片分布式存儲設備共完成了約630 h的素材和成品節(jié)目的存儲與制作工作。

使用期間，該存儲設備充分滿足了4K制作系統(tǒng)對存儲高帶寬、高容量、低延時的需求，很好地支撐了該節(jié)目4K原碼多臺精編工作站并發(fā)、多軌并發(fā)、復雜包裝和特效制作工作，未出現由于存儲性能和功能問題導致的影響節(jié)目制作的問題，進一步在實踐中證明了國產芯片分布式存儲設備可以充分滿足中大型4K超高清視頻制播系統(tǒng)的存儲需求。

7 結語

本文通過分析信息系統(tǒng)獨立發(fā)展的必要性，對當前基于國產芯片的分布式存儲發(fā)展情況進行研究，并結合傳媒行業(yè)特點，分析了4K超高清視頻制播系統(tǒng)對存儲的需求，建立了測試系統(tǒng)，采用《面向超高清節(jié)目制播的IP分布式存儲測試方法》，對某型號基于國產芯片的分布式存儲設備進行了較為全面的測試。測試數據充分證明了國產芯片分布式存儲設備功能、性能等方面均可滿足支撐4K超高清視頻制播系統(tǒng)的要求。

同時，通過將該型號國產芯片分布式存儲設備接入正式的4K超高清制作系統(tǒng)中，支撐某大型周播現場音樂類4K超高清節(jié)目的后期制作，證實了其可用性，為相關人員在建設4K超高清制播系統(tǒng)過程中選擇和使用基于國產芯片的分布式存儲設備提供參考。