🤖 Anthropic 借助 Claude，用 Rust 重写服务 API，CPU 用量降四至五成

Anthropic 的 Messages API 最初是跑在单一 GCP 区域的 Python 单体服务。随着流量增长，CPU（而非 GPU）成为瓶颈。团队决定整体迁移到 Rust，尽管起步时“会议室里一个 Rust 开发者都没有”

工程师负责系统设计和验证，Claude 负责代码实现。团队通过对照新旧系统的输出来验证迁移结果。

团队称，迁移后 CPU 用量降低约 40% 至 50%，首个 token 的响应时间缩短约 10% 至 20%。

Latent Space

🌸 科技圈· 茶馆 · 投稿

via 在花🎗️科技圈 - Telegram Channel