上海 AI 实验室发布科学多模态模型书生Intern-S1-Pro
上海 AI 实验室于 2 月 4 日正式发布了全球开源参数规模最大的科学多模态模型 ——“书生 Intern-S1-Pro”。这一突破性的模型基于 “通专融合” 技术架构 SAGE,所拥有的参数数量高达 1 万亿,成为当前开源社区中的一颗耀眼明珠。
“书生 Intern-S1-Pro” 模型的核心科学能力达到了国际领先水平,特别是在高难度综合学科评测中,显示出超强的逻辑推理能力,甚至可以达到奥林匹克竞赛金牌选手的水平。同时,该模型在处理真实科研流程中的智能体能力上,位居开源模型的第一梯队,这无疑为科研人员提供了更加强大的工具。
这款模型采用了混合专家架构(MoE),共配置了 512 个专家,每次调用时仅激活 8 个专家,使用 22 亿个参数。这样的设计不仅使得模型在计算效率上得到了优化,也大大降低了资源消耗。在底层架构上,“书生 Intern-S1-Pro” 实现了两项重要突破。首先,通过引入傅里叶位置编码和重构时序编码器,模型获得了从微观生命信号到宏观宇宙波动的 “物理直觉”,具备了更强的理解能力。其次,采用高效路由机制,解决了训练万亿参数模型时的稳定性和算力效率瓶颈,为超大规模模型的训练奠定了基础。
值得一提的是,“书生 Intern-S1-Pro” 不仅是一个学术模型,更为未来构建开放共享的 AGI4S(人工智能为科学)基础设施打下了坚实的基础。通过原创的模型架构与自主的算力技术,上海 AI 实验室展现了中国在人工智能领域的实力与潜力。
为了让更多的用户体验这一先进模型,上海 AI 实验室还提供了在线体验和开源地址,方便开发者和研究者进行进一步的探索。
via AI新闻资讯 (author: AI Base)
上海 AI 实验室于 2 月 4 日正式发布了全球开源参数规模最大的科学多模态模型 ——“书生 Intern-S1-Pro”。这一突破性的模型基于 “通专融合” 技术架构 SAGE,所拥有的参数数量高达 1 万亿,成为当前开源社区中的一颗耀眼明珠。
“书生 Intern-S1-Pro” 模型的核心科学能力达到了国际领先水平,特别是在高难度综合学科评测中,显示出超强的逻辑推理能力,甚至可以达到奥林匹克竞赛金牌选手的水平。同时,该模型在处理真实科研流程中的智能体能力上,位居开源模型的第一梯队,这无疑为科研人员提供了更加强大的工具。
这款模型采用了混合专家架构(MoE),共配置了 512 个专家,每次调用时仅激活 8 个专家,使用 22 亿个参数。这样的设计不仅使得模型在计算效率上得到了优化,也大大降低了资源消耗。在底层架构上,“书生 Intern-S1-Pro” 实现了两项重要突破。首先,通过引入傅里叶位置编码和重构时序编码器,模型获得了从微观生命信号到宏观宇宙波动的 “物理直觉”,具备了更强的理解能力。其次,采用高效路由机制,解决了训练万亿参数模型时的稳定性和算力效率瓶颈,为超大规模模型的训练奠定了基础。
值得一提的是,“书生 Intern-S1-Pro” 不仅是一个学术模型,更为未来构建开放共享的 AGI4S(人工智能为科学)基础设施打下了坚实的基础。通过原创的模型架构与自主的算力技术,上海 AI 实验室展现了中国在人工智能领域的实力与潜力。
为了让更多的用户体验这一先进模型,上海 AI 实验室还提供了在线体验和开源地址,方便开发者和研究者进行进一步的探索。
via AI新闻资讯 (author: AI Base)