字节跳动讨论训练超 5 万亿参数大模型
字节跳动正讨论训练一个参数规模超 5 万亿的大模型,由 Seed Foundation 负责人项亮主导,与大语言模型预训练数据负责人沈科合作。该计划目前仍处于早期阶段,若落地将超越阿里 Qwen 3.8-Max 和月之暗面 K3,成为国内已知参数规模最大的模型。
两周前的 Seed 全员会上,张一鸣明确反对蒸馏路线,认为其只是复制 Claude 已有能力、难以实现超越,鼓励团队以追求智能上限为目标,接受短期落后并做出有特色的模型。他认可编程是当下关键方向,已整合火山引擎、飞书和豆包资源重点补课,但也提醒不应被短期热点完全牵着走。目前 Seed 正重新梳理组织、取消赛马机制,收拢资源以推动该项目。
晚点 LatePost
🌸 在花频道 · 茶馆水群 · 投稿通道
via 科技圈🎗在花频道📮 - Telegram Channel
字节跳动正讨论训练一个参数规模超 5 万亿的大模型,由 Seed Foundation 负责人项亮主导,与大语言模型预训练数据负责人沈科合作。该计划目前仍处于早期阶段,若落地将超越阿里 Qwen 3.8-Max 和月之暗面 K3,成为国内已知参数规模最大的模型。
两周前的 Seed 全员会上,张一鸣明确反对蒸馏路线,认为其只是复制 Claude 已有能力、难以实现超越,鼓励团队以追求智能上限为目标,接受短期落后并做出有特色的模型。他认可编程是当下关键方向,已整合火山引擎、飞书和豆包资源重点补课,但也提醒不应被短期热点完全牵着走。目前 Seed 正重新梳理组织、取消赛马机制,收拢资源以推动该项目。
晚点 LatePost
🌸 在花频道 · 茶馆水群 · 投稿通道
via 科技圈🎗在花频道📮 - Telegram Channel