2025年2月28日,DeepSeek 在开源周的第五天发布了 3FS(Fire-Flyer File System),这是一个专为现代 SSD 和 RDMA 网络带宽设计的高性能并行文件系统。该系统在数据访问性能上表现出色,特别适用于深度学习等数据密集型应用。
3FS 在180节点集群中实现了6.6 TiB/s的聚合读取吞吐量,在25节点的GraySort基准测试中达到了3.66 TiB/min的吞吐量。每个客户端节点的KVCache查找峰值吞吐量超过40 GiB/s。3FS采用去中心化架构,提供强一致性语义。
该文件系统在DeepSeek V3 / R1版本中广泛应用,涵盖了数据预处理、数据集加载、检查点保存/加载等关键过程,同时DeepSeek还开源了基于3FS的处理框架Smallpond。
DeepSeek | GitHub
📮投稿 ☘️频道 🌸聊天 🗞𝕏
via 科技圈🎗在花频道📮 - Telegram Channel