OpenAI 首席科学家警告：AI 或很快进入自我进化阶段，希望业界自愿放缓

OpenAI 首席科学家雅库布·帕乔基（Jakub Pachocki）警告称，人工智能正在以极快速度演进，以至于越来越难以为人类所理解和控制，并表示他期望 AI 实验室出于安全考虑自愿放慢开发速度。

“用不了多久，模型就能自我改进”

帕乔基在周日发布的一篇文章中写道，在相对较短的时间内，AI 模型已经能够操作电脑、与人类及其他 AI 系统协作，并开展研究项目。他称，用不了多久，这些模型还将能够在没有人类干预的情况下改进自身，这一过程被称为“递归式自我改进”。

“这是一个需要极度谨慎的时刻。”帕乔基写道，“我担心，没有人为机器智能持续快速提升所带来的后果做好准备。”

建立共同安全门槛前，自愿放缓应成常态

他写道，开发者可以尝试更严格地引导 AI，使其与人类利益保持一致，也可以“在必要时放慢未来的开发速度”。他说：“我预计并希望，在建立共同安全门槛之前，自愿放缓开发将成为普遍现象。”

这一表态与 OpenAI 近期披露的数据相互呼应：公司一方面正用智能体加快 AI 研发，另一方面也承认无法假设对齐和安全能力一定能追上模型能力，更强大的系统可能更难监控。帕乔基此前也表示，目前没有任何实验室将 AI 的对齐和监控做到足够可靠，并呼吁各国政府把国际协调提升为优先事项。

via AI新闻资讯 (author: AI Base)