ChatGPT / AI新闻聚合
2 天前
阿里黑科技炸场!0.6B 小模型“魔改”成 17B MoE,激活参数仅 5%,CPU 直接跑 30token/s!
via
AI新闻资讯
(author: AI Base)
Telegraph
阿里黑科技炸场!0.6B 小模型“魔改”成 17B MoE,激活参数仅 5%,CPU 直接跑 30token/s!
阿里国际数字商业团队近日在 Marco-MoE 系列模型中重磅推出新成员——Marco-Mini-Instruct,再次展现了“以小博大”的极致效率理念。该模型总参数量17.3B,激活参数量却仅0.86B(约占5%),推理效率极高,甚至在普通 CPU 上即可实现流畅运行。 极致轻量化:CPU 也能跑飞起 根据官方估算,若采用8bit 量化并搭配4条 DDR42400内存,该模型推理速度可达约30token/s。这一性能让 MoE 架构真正走向“人人可用”的阶段,极大降低了本地部署门槛。 核心创新:Upcycling…
Home
Tags
免费GPT聊天
Best AI API中转2.8折起
Best AI 服务状态
电报频道
Powered by
BroadcastChannel
&
Sepia
Copyright © 2025 BESTAI. All rights reserved.
BEST AI API中转 - OpenAI DeepSeek Claude Gemini Grok MidJourney API 2.8折起
[email protected]