DeepSeek 开源日第 5 天:发布高性能并行文件系统 3FS,数据吞吐量高达 6.6 TiB/s

2025年2月28日,DeepSeek 在开源周的第五天发布了 3FS(Fire-Flyer File System),这是一个专为现代 SSD 和 RDMA 网络带宽设计的高性能并行文件系统。该系统在数据访问性能上表现出色,特别适用于深度学习等数据密集型应用。

3FS 在180节点集群中实现了6.6 TiB/s的聚合读取吞吐量,在25节点的GraySort基准测试中达到了3.66 TiB/min的吞吐量。每个客户端节点的KVCache查找峰值吞吐量超过40 GiB/s。3FS采用去中心化架构,提供强一致性语义。

该文件系统在DeepSeek V3 / R1版本中广泛应用,涵盖了数据预处理、数据集加载、检查点保存/加载等关键过程,同时DeepSeek还开源了基于3FS的处理框架Smallpond。

DeepSeek | GitHub

📮投稿  ☘️频道  🌸聊天  🗞𝕏

via 科技圈🎗在花频道📮 - Telegram Channel
 
 
Back to Top
oaibest.com 2023-2025
[email protected]