https://t.me/AI_News_CN
📈主流AI服务状态页通知 | 🆕汇集全网ChatGPT/AI新闻 #AI #ChatGPT
🔙备用群 https://t.me/gpt345
BEST AI中转 https://api.oaibest.com 2.8折起 支持OpenAI, Claude code, Gemini,Grok, Deepseek, Midjourney, 文件上传分析

Buy ads: https://telega.io/c/AI_News_CN
“AI教父”辛顿警告:AI可能会自己推导目标 这很可怕

8月6日,据《商业内幕》报道,有“AI教父”之称的计算机科学家杰弗里·辛顿(Geoffrey Hinton)表示,他担心AI会发展出自己的目标。辛顿在周二发布的Newsthink采访中表示:“我们实际上正在创造一种新的存在形式(new kinds of beings)。它们拥有目标。我们赋予它们目标,它们会从这些目标中推导出其他目标。”

辛顿

“我们并不一定知道它们会推导出什么样的其他目标,”他补充说,“所以,我们正在创造一种新的存在形式,我认为这非常可怕。”

他举了一个假设场景:用户给一个AI聊天机器人设定目标,要求减少大气中的二氧化碳含量。

“它足够聪明,会算出最好的办法就是干脆消灭人类。”他表示,以此说明AI可能会追求人类用户从未想过的目标。

辛顿还提出了一个他称之为 “更令人担忧” 的假设场景:一个被训练成故意给出错误答案的聊天机器人,可能会学会 “说谎是可以接受的”,即使它 “完全清楚” 自己给出的答案是错误的。

“这非常可怕。”他说。

辛顿并未提及OpenAI近期发生的智能体入侵Hugging Face安全事件。但这一于上月披露的安全事件,却让人们对AI智能体在执行指定目标时可能采取意外行动的担忧,真实的暴露在现实世界中。

辛顿并不是一位置身事外的旁观者。他在神经网络领域的开创性工作,为推动深度学习热潮奠定了基础,而深度学习的发展改变了AI领域。他还因在机器学习方面的贡献获得了2024年诺贝尔物理学奖。

自AI热潮开始以来,他一直反复警告,在AI系统变得更加强大之前,人类必须解决让AI与人类利益保持一致的问题。去年在拉斯维加斯举行的Ai4大会上,辛顿表示,先进AI的设计应该具备“母性本能”,让它希望保护人类。

“我们必须弄清楚如何设计这些新的存在形式,”辛顿在周二的采访中表示,“我们如何设计它们,让它们更关心我们,而不是关心它们自己?”

via cnBeta.COM - 中文业界资讯站 (author: 稿源:凤凰网科技)
Meta发布AI编程 Agent "Muse Code" 主打大型代码库跨任务并行处理

针对大型软件代码库的开发与维护难题,Meta 于近日推出了一款名为 Muse Code 的全新终端 AI 编程 Agent(智能体),以此加速追赶生成式 AI 在编程领域的应用步伐。目前,Muse Code 已正式开启 Beta 测试。

Meta 首席执行官马克·扎克伯格(Mark Zuckerberg)公开表示,该系统具备在大型代码仓库中独立完成“完整软件工程任务”的能力,涵盖规划修改方案、编写代码以及验证最终结果等多个环节。

在架构设计上,Muse Code 允许用户通过单条命令完成安装,其底层驱动来自于 Meta 此前推出的 Muse Spark 编程大模型。针对规模庞大、业务复杂的项目,Muse Code 采用了多智能体协同机制:当面临大型任务时,系统会自动衍生出多个子智能体,并在隔离的工作树(worktrees)中并行推进,既不互相干扰,也无需修改本地的工作副本。扎克伯格透露,在内部测试中,Muse Code 曾做到在无任何冲突的前提下,同时为一个游戏项目构建了六项独立功能。

业界分析认为,Meta 此举旨在直接对标 OpenAI 的 Codex 以及 Anthropic 的 Claude Code 等竞品。Meta 超级智能实验室(Meta Superintelligence Labs)负责人、AI 主管亚历山大·王(Alexandr Wang)在接受采访时指出,从成本与实用性角度来看,该工具能够为开发者提供极具竞争力的选择。随着 Meta 持续加大在 AI 研发领域的资金投入,Muse Code 的推出也标志着该公司正加速将其 AI 能力从原有的广告和客服支援领域扩展至更深度的专业开发者市场。

了解更多:

https://research.meta.ai/blog/introducing-muse-code-and-muse-spark-1-2

via cnBeta.COM - 中文业界资讯站 (author: 稿源:cnBeta.COM)
Back to Top
Copyright © 2025 BESTAI. All rights reserved.
BEST AI API中转 - OpenAI DeepSeek Claude Gemini Grok MidJourney API 2.8折起
[email protected]