基于多協議互通的大模型訓練存儲系統

一、前言

近年來，以GPT-4、PaLM為代表的千億級參數大模型推動了人工智能技術的跨越式發(fā)展，但其訓練過程對存儲系統的性能、擴展性和成本提出了前所未有的挑戰(zhàn)。研究表明，大模型訓練任務中的大量時間消耗在數據I/O與存儲協同上，而傳統存儲方案因協議割裂、資源孤島等問題，難以滿足數據收集、數據預處理、訓練、驗證、推理全流程的差異化需求[。例如，GPT-3訓練中單次Checkpoint寫入量高達7TB，若存儲帶寬不足 20GB/s ，單次存儲耗時約5分鐘，以30分鐘保存一次為例，GPU集群的閑置率將超過 15% 。

現有的單一協議存儲方案（如HDFS、S3、NVMe-oF）雖在特定場景中表現優(yōu)異，但無法兼顧大模型訓練的階段性需求。例如，HDFS的元數據擴展性缺陷導致預處理效率驟降，對象存儲的高延遲特性則嚴重影響Checkpoint恢復速度。為此，基于多協議互通的統一存儲架構，通過全局命名空間、協議無損轉換與智能數據分層技術，實現存儲資源的動態(tài)優(yōu)化分配。

二、大模型訓練流程及其存儲需求

大模型訓練可劃分為四個階段，各階段的數據訪問模式與性能需求差異顯著[2]。

數據采集：數據收集階段需要處理來自多源的原始數據，包括文本、圖像、語音等非結構化數據。例如，GPT-4的訓練數據覆蓋約45TB的互聯網文本、數百萬小時的語音及圖像數據。此階段要求存儲系統具備海量數據存儲能力與元數據管理效率。對象存儲（如AWSS3）憑借無限擴展性和低成本優(yōu)勢成為主流選擇，但其扁平化命名空間導致數據來源追蹤困難。例如，當需要回溯某批數據的采集時間、版權信息時，需額外構建外部元數據庫，增加了架構復雜度。

數據預處理：原始數據（圖像、文本、音視頻）需經過清洗、標注、格式轉換等操作，生成結構化訓練集。涉及數據清洗、標注、格式轉換等操作。

訓練與調優(yōu)：該階段訓練流程的核心需支持多機、多卡并行計算與頻繁的參數更新。以混合并行訓練為例，Megatron-TuringNLG530B模型在數千塊GPU上運行時，每個計算節(jié)點需以微秒級延遲訪問模型參數分片。HDFS等分布式文件系統雖能通過數據分塊提升吞吐量，但其小文件處理能力不足的問題在訪問數千萬個中間狀態(tài)文件時尤為突出。同時，模型調優(yōu)過程中產生的臨時數據（如梯度矩陣）需要高速存儲介質的支持，而對象存儲的高延遲特性難以滿足實時寫入需求。

推理部署：該階段強調低延遲與高可用性。當訓練完成的模型部署至生產環(huán)境時，存儲系統需保障權重文件的毫秒級加載能力。塊存儲（如iSCSI）通過直接掛載卷提供極致性能，但在多云環(huán)境下存在協議兼容性問題。例如，當模型需同時在本地數據中心和公有云上部署時，跨平臺的塊設備映射可能導致配置復雜度指數級上升。

三、典型存儲協議分析

（一）文件存儲

文件存儲以目錄樹結構和字節(jié)級隨機訪問為核心特征，典型代表包括GPFS、Lustre等。在數據預處理階段，文件存儲可有效支持Python、Spark等工具鏈的本地化文件操作，但其擴展性受限于集中式元數據管理。例如，當存儲1O億個文件時，Lustre的MDT（MetadataTarget）服務器響應延遲可能超過 500ms ，導致數據清洗作業(yè)的整體完成時間增加 30% 以上。此外，跨集群文件同步依賴定制化工具（如rsync），在數據收集階段難以實現多地域數據源的實時聚合。同時，面對海量文件時，目錄樹結構會顯著增加元數據管理的復雜性，系統在處理文件查找、權限校驗等操作時容易成為性能瓶頸。這種集中管理模式還可能引發(fā)單點故障問題，導致整體系統的魯棒性降低，無法滿足大規(guī)模分布式數據處理的高并發(fā)需求。

（二）對象存儲

對象存儲采用扁平命名空間和RESTful接口，適合海量非結構化數據存儲[]。AWSS3等商業(yè)對象系統在數據收集階段表現出顯著優(yōu)勢，單個存儲桶可容納數萬億對象。然而，對象存儲元數據管理能力薄弱，對象標簽僅支持簡單的鍵值對屬性，無法描述復雜的數據血緣關系。例如，在醫(yī)療大模型訓練中，原始數據可能涉及患者ID、檢查時間、診斷記錄等多維屬性，傳統對象存儲難以構建高效的聯合查詢機制。更嚴重的是，對象存儲的最終一致性模型可能導致模型調優(yōu)階段出現數據版本沖突，當多個訓練節(jié)點同時讀取標注數據集時，可能獲取不一致的數據快照。此外，對象存儲在高并發(fā)訪問條件下，接口調用瓶頸尤為明顯，系統響應延時易受影響。用戶需額外設計備份策略，防范數據丟失風險，這些缺陷促使業(yè)界不斷優(yōu)化元數據管理和一致性算法。

（三）塊存儲協議

塊存儲（BlockStorage）將存儲空間劃分為固定大小的塊（通常為 512B～4KB ，通過邏輯塊地址（LBA）直接訪問，不感知文件系統結構。典型的塊存儲協議包括iSCSI、NVMe-oF等。塊存儲提供低延遲與高IOPS，但其缺乏跨節(jié)點共享能力，且硬件成本高昂。在部分千億參數大模型存儲系統中，NVMeSSD硬件成本可以占總預算的 40% 。此外，塊存儲難以支持EB級數據擴展，面對不斷增加的存儲需求，需頻繁停機擴容，破壞訓練連續(xù)性。

（四）HDFS

HDFS作為大數據生態(tài)的基石，通過數據本地化計算優(yōu)化吞吐量。在模型調優(yōu)階段，TensorFlow等框架可利用HDFS的分塊機制實現高效數據讀取。但其架構存在根本性缺陷：NameNode單點故障問題雖通過HA方案緩解，但聯邦命名空間機制導致數據訪問路徑復雜化。例如，當訓練任務需要同時訪問存儲在HDFS集群A的原始數據和集群B的預處理數據時，必須通過跨集群復制或自定義訪問接口實現，顯著增加開發(fā)運維成本。此外，HDFS對小文件的支持效率低下，存儲百萬個KB級標注文件時，NameNode內存占用可能超過50GB，遠超典型服務器的硬件配置。

四、多協議互通存儲方案

隨著大模型訓練場景的復雜化，單一存儲協議難以滿足全流程需求。多協議互通存儲通過打破協議壁壘、實現數據共享，成為解決存儲資源孤島與效率瓶頸的關鍵技術。為打破協議壁壘，業(yè)界提出多協議互通存儲方案，其核心在于構建協議轉換層，實現數據跨協議共享。此外，多協議互通存儲系統通過靈活設計的協議轉換層與全局元數據管理，實現不同數據格式的高效融合，有效減少冗余復制和傳輸延時。同時，它優(yōu)化資源利用，降本，保障全流程高效運行，解決了傳統單一協議在大模型訓練中遇到的瓶頸問題。

（一）互通核心邏輯

多協議互通指同一份數據無需格式轉換即可通過不同協議（如文件、對象、塊存儲）訪問，其核心在于數據語義無損與存儲資源全局共享，優(yōu)勢包括以下幾點：

存儲成本優(yōu)化：避免冗余副本，節(jié)省存儲空間與網絡帶寬。以天文觀測場景為例，傳統多協議存儲需為不同處理階段保留多份數據副本，而融合存儲方案可減少這些冗余存儲開銷。

流程效率提升：消除數據轉換延遲，加速訓練任務迭代。

架構簡化：統一管理界面降低運維復雜度，全局權限聯動機制允許用戶通過任意協議修改權限，其他協議實時生效，減少管理沖突。

（二）典型互通范式

1.基于協議網關

該方案通過硬件或軟件中間件實現協議轉換。例如，AWSStorageGateway可將本地NFS文件接口映射為S3對象接口，使得預處理工具可直接訪問對象存儲數據。但這種架構存在顯著的性能損耗。測試表明，通過網關訪問對象存儲時，隨機讀延遲增加約 40% 且?guī)捓寐氏陆抵谅憬饘俅鎯Φ?65% 。此外，協議轉換導致元數據語義丟失，文件屬性（如創(chuàng)建者、修改時間）無法完整映射為對象標簽。

2.基于虛擬文件系統

該方案采用虛擬文件系統實現協議透明化訪問。典型的實現方式（如CephFS）通過RADOS統一存儲層同時支持POSIX文件接口和S3對象接口，用戶可將同一數據集分別以文件目錄或對象桶的形式訪問。這種方式雖簡化了協議兼容性問題，但不同接口間的語義差異仍可能引發(fā)數據一致性問題。例如，當通過S3接口追加寫入日志文件時，文件接口讀取可能無法實時獲取更新內容，導致模型調優(yōu)階段出現訓練數據缺失。

3.基于統一元數據

該方案基于統一的元數據層，實現跨協議語義統一。以JuiceFS為代表的現代存儲系統，通過分布式元數據庫（如Redis、TiKV）統一管理文件、對象、塊存儲的元數據。在數據收集階段，原始數據以對象形式存入存儲后端，同時其元數據（如數據來源、格式、權限）被記錄在全局數據庫中。在預處理階段，工具鏈可通過文件接口訪問這些對象，系統自動將POSIX操作轉換為對象存儲指令。此方案在AlphaFold訓練任務中取得顯著成效，數據準備時間減少 58% ，但面臨元數據事務處理的性能挑戰(zhàn)，當并發(fā)寫入百萬級文件時，元數據庫可能成為新的瓶頸。

4.互通技術挑戰(zhàn)

盡管多協議互通存儲顯著提升效率，但其實現仍面臨多重技術挑戰(zhàn)：一是協議語義差異，文件存儲的目錄鎖機制與對象存儲的覆蓋寫入語義不兼容，導致并發(fā)訪問沖突；二是額外的性能損耗，協議轉換需消耗額外計算資源；三是提升運維復雜性，統一存儲架構需管理多協議元數據與權限策略，對運維人員技能要求極高，分布式融合存儲的故障排查耗時較傳統方案大幅提升。

五、統一存儲技術解析

為克服傳統多協議互通的局限性，當前面向AI大模型訓練的存儲系統需要實現統一存儲架構，該方案需要在三大方面實現技術創(chuàng)新。

（一）統一命名空間

通過虛擬化技術整合文件、對象、塊存儲資源，形成全局數據視圖。通過全局視圖，文件系統可將對象存儲桶掛載為目錄節(jié)點，訓練用戶可通過文件路徑直接訪問對象數據。在數據收集階段，多源異構數據可直接寫入統一命名空間，避免傳統架構中必須進行跨協議數據遷移的額外開銷。測試數據顯示，在GPT-3訓練任務中，該技術使數據聚合效率提升 72% ，且存儲空間碎片化問題減少 85% 。

（二）全局元數據管理

基于分布式鍵值數據庫實現跨協議元數據一致性。Ceph的MDS（MetadataServer）將文件系統的inode信息與對象的元數據標簽統一存儲在RADOS層，確保通過不同協議訪問同一數據實體時獲得一致的屬性視圖。例如，當用戶通過S3接口更新數據標簽時，對應的文件修改時間、權限屬性同步生效。在模型調優(yōu)階段，這種機制可避免因元數據不一致導致的訓練中斷。

（三）智能數據分層

依據數據熱度動態(tài)遷移存儲介質，實現性能與成本的平衡。NetAppFabricPool在數據預處理階段將活躍數據集保留在NVMe閃存層，提供微秒級延遲。當數據進入模型調優(yōu)階段后，系統根據訪問頻率自動將冷數據下沉至QLCSSD或對象存儲層。在 LLaMA-2^[4] 的訓練任務中，該技術使得存儲成本降低 42% ，同時保障熱點數據的讀取帶寬維持在 25GB/s 以上。更先進的系統（如DellPowerScale）引入機器學習模型預測數據訪問模式，其LSTM網絡對未來24小時數據熱度的預測準確率達91% ，使得分層決策提前量縮短至5分鐘。

六、統一存儲與大模型訓練的適配

在實際的大模型訓練場景中，統一存儲通過多維度優(yōu)化創(chuàng)造顯著價值。

在數據生命周期管理方面，統一存儲支持從原始數據到訓練產物的全流程貫通。NVIDIADGXSuperPOD采用VASTData統一存儲方案，在訓練5300億參數的MT-NLG模型時，數據收集階段直接寫入對象存儲層，預處理工具通過文件接口訪問并處理數據，最終模型權重通過塊接口掛載至推理服務器。這種端到端的數據流避免了傳統架構中多次的數據拷貝操作，使整體訓練周期大為縮短。通過端到端數據流方案，各階段數據無縫對接，有效避免了傳統架構中數據反復拷貝引起的時間延遲和資源浪費。同時，統一存儲不僅簡化了數據管理流程，減少了數據搬遷環(huán)節(jié)，還大幅提升了訓練效率與模型迭代速度，確保系統穩(wěn)定、響應迅速，為超大規(guī)模模型訓練提供堅實的數據基礎保障。

在資源利用率優(yōu)化方面，智能分層技術顯著降低存儲成本。例如，GoogleTPU-v4集群配合統一存儲系統，將預處理中間數據的熱層保留時間從12小時壓縮至2小時，冷層數據壓縮率提升至1：6。在 PaLM-540B^[5] 模型的訓練中，該策略使得存儲總體擁有成本（TCO）下降 38% ，同時保障了模型檢查點（Checkpoint）的秒級恢復能力。此外，該方案將熱數據智能緩存于高速存儲介質，避免多余數據復制與傳輸延遲，同時冷數據高效壓縮顯著降低長期存儲成本，確保數據調用響應迅速，全面提升系統資源利用率，保障模型訓練高效穩(wěn)定運行。

在運維管理層面，統一監(jiān)控與策略引擎簡化了混合負載管理。例如，AzureML的存儲服務集成Prometheus和Grafana，可實時追蹤文件、對象、塊存儲的IOPS、延遲、容量等200余項指標，并自動生成協議使用優(yōu)化建議。當檢測到某次訓練任務頻繁訪問小文件時，系統自動將這些文件合并為對象存儲中的大文件，使元數據操作量大幅減少，從而提升GPU的利用率。在運維管理層面，統一監(jiān)控與策略引擎大大簡化了混合負載管理流程。以AzureML存儲服務為例，其集成Prometheus和Grafana工具，實時監(jiān)控文件、對象和塊存儲的IOPS、延遲、容量等200余項關鍵指標，為運維人員提供全面數據支持。當系統檢測到某次訓練任務頻繁訪問小文件時，便自動觸發(fā)優(yōu)化策略，將這些小文件合并成大文件存儲，極大地減少了元數據操作次數，不僅降低了系統負載和管理復雜性，還有效提升了GPU的利用率，確保模型訓練和實時推理過程更加高效穩(wěn)定，同時為運維團隊減輕了日常監(jiān)控和故障排查的壓力，進一步提升了整體系統的可靠性和響應速度。

七、結語

大模型訓練的存儲需求正在推動存儲架構的范式轉變。統一存儲通過統一命名空間、全局元數據管理、智能分層等技術，在性能、成本、管理復雜度之間實現動態(tài)平衡。未來，隨著存算分離架構的普及和持久內存技術的成熟，統一存儲將進一步與AI框架深度集成，形成智能協同范式。對企業(yè)而言，構建面向大模型的多協議統一存儲系統，不僅是突破存儲瓶頸的技術選擇，更是提升AI競爭力的核心戰(zhàn)略舉措。

參考文獻

[1]秦小林，古徐，李弟誠，等.大語言模型綜述與展望[J].計算機應用，2025，45（03）：685-696.

[2]蔡睿，葛軍，孫哲，等.AI預訓練大模型發(fā)展綜述[J].小型微型計算機系統，2024，45（10）：2327-2337.

[3]李學龍，龔海剛.大數據系統綜述[J].中國科學：信息科學，2015，45（01）：1-44.

[4]Touvron H，Martin L，Stone K，etal.Llama 2：Open foundationand fine-tunedchatmodels[J].arXivpreprint arXiv：2307.09288，2023.

[5]Chowdhery A，Narang S，Devlin J，et al.PaLM：Scaling Language Modeling with Pathways[J].Journal of Machine Learning Research，2023，24（01）：113.

作者單位：海裝駐某地區(qū)代表室

■責任編輯：王穎振 鄭凱津