字数 1119，阅读大约需 6 分钟
DeepSeek开源周第五天：6.6TiB/s炸场！3FS重新定义AI存储基建
在人工智能领域，数据存储与处理的性能瓶颈一直是制约技术发展的关键因素。中国AI领军企业DeepSeek在开源周的收官之际，向世界展示了其突破性的创新成果，正式发布专为现代算力场景设计的高性能并行文件系统3FS（Fire-Flyer File System）及配套数据处理框架Smallpond。这一发布以6.6TiB/s的集群吞吐量创下行业新纪录，标志着分布式存储技术迈入新纪元。
性能颠覆：架构创新定义新标准
3FS文件系统通过去中心化架构与强一致性语义设计，彻底颠覆了传统存储系统的中心化瓶颈。在180节点的集群规模下，3FS实现了6.6TiB/s聚合读取吞吐量，单节点的KVCache查找峰值突破40GiB/s。为了验证3FS的性能，DeepSeek进行了GraySort基准测试，在25节点的集群中，3FS达到了3.66TiB/min的成绩，较传统方案大幅提升。3FS系统对SSD与RDMA网络特性进行了深度优化，最大限度地发挥了硬件潜力。
场景重构：全链路赋能AI工作流
作为DeepSeek V3/R1版本的核心基础设施，3FS已全面渗透到AI工作流的各个关键环节。在数据预处理阶段，3FS大幅缩短了数据准备时间；在检查点存储环节，确保了模型训练的稳定性和准确性；在向量搜索与推理缓存阶段，提供了实时响应能力。其共享存储层设计显著简化了分布式开发复杂度。
与3FS相辅相成的Smallpond框架，构建起了轻量化的PB级数据处理能力。通过Smallpond，用户可以实现“无服务化”的数据工程，轻松完成数据的清洗、转换与加载，形成从存储到计算的完整生态闭环。
开源战略：加速AI基建民主化进程
此次3FS与Smallpond的双重开源，延续了DeepSeek的技术开放节奏。通过将经过自身AI业务验证的系统公之于众，DeepSeek正在推动整个行业突破数据密集型应用的存储瓶颈。分析认为，这套方案或将对Ceph、Lustre等传统分布式系统形成冲击，特别是在大模型训练等场景开辟新范式。
3FS通过去中心化架构与强一致性语义设计，在180节点集群中实现了6.6TiB/s聚合读取吞吐，单节点KVCache查找峰值突破40GiB/s。其在GraySort基准测试中的表现更是达到了3.66TiB/min，相较于传统方案呈现出显著提升。系统深度优化了SSD与RDMA网络特性，将硬件带宽利用率推向极致，为千卡级AI训练集群提供了稳定可靠的数据供给。
3FS的引入，使得AI工作流的各个环节得到了全面的赋能。数据预处理、检查点存储、向量搜索及推理缓存等关键环节，都得益于3FS的高性能和强一致性保障。其共享存储层设计，简化了分布式开发的复杂度，使得开发者能够更加专注于业务逻辑的实现。
Smallpond框架的开源，为AI工作流提供了强大的数据处理能力。依托DuckDB实现的“无服务化”数据工程，使得数据处理变得更加高效和灵活。从存储到计算的完整生态闭环，为AI应用的开发和部署提供了一站式的解决方案。
DeepSeek的开源战略，不仅为AI存储基建树立了新的标杆，更为全球AI技术的发展注入了新的活力。通过将经过自身AI业务验证的系统公之于众，DeepSeek为整个行业提供了一套高效、可靠的解决方案，有望推动AI技术的进步与应用的普及。
引用链接
[1] 3FS: https://github.com/deepseek-ai/3FS[2] Smallpond: https://github.com/deepseek-ai/smallpond
