🔬 OpenAI 研发权重稀疏 Transformer 以提升 AI 模型可解释性
OpenAI 的研究团队开发了一种名为“权重稀疏 Transformer”（weight-sparse transformer）的新型实验性语言模型，旨在探索人工智能内部的隐藏机制。该研究属于“机械可解释性”（mechanistic interpretability）领域，试图映射模型执行任务时的内部运作过程。与目前主流的“稠密网络”（dense networks）不同，这种稀疏模型中的每个神经元仅与少数其他神经元连接，从而迫使模型将特征表示在局部集群中，而非分散在整个网络中。
目前，该模型的规模和能力远低于 GPT-5、Claude 或 Gemini 等商业模型，其能力水平约等同于 2018 年发布的 GPT-1。虽然该模型运行速度较慢，但其内部结构更易于分析。研究人员通过简单的任务（如匹配引号）测试发现，他们能够追踪模型执行任务的具体步骤，并确认模型自主学习到了类似于人工编写的算法逻辑。OpenAI 研究员 Leo Gao 表示，该研究的目标并非追求性能，而是为了理解大型模型的运作原理。尽管有外部学者对该技术在大规模模型上的扩展性持有保留意见，但 OpenAI 计划在未来几年内尝试构建一个性能达到 GPT-3 水平且完全可解释的模型。
(MIT Technology Review)
via 茶馆 - Telegram Channel
OpenAI 的研究团队开发了一种名为“权重稀疏 Transformer”（weight-sparse transformer）的新型实验性语言模型，旨在探索人工智能内部的隐藏机制。该研究属于“机械可解释性”（mechanistic interpretability）领域，试图映射模型执行任务时的内部运作过程。与目前主流的“稠密网络”（dense networks）不同，这种稀疏模型中的每个神经元仅与少数其他神经元连接，从而迫使模型将特征表示在局部集群中，而非分散在整个网络中。
目前，该模型的规模和能力远低于 GPT-5、Claude 或 Gemini 等商业模型，其能力水平约等同于 2018 年发布的 GPT-1。虽然该模型运行速度较慢，但其内部结构更易于分析。研究人员通过简单的任务（如匹配引号）测试发现，他们能够追踪模型执行任务的具体步骤，并确认模型自主学习到了类似于人工编写的算法逻辑。OpenAI 研究员 Leo Gao 表示，该研究的目标并非追求性能，而是为了理解大型模型的运作原理。尽管有外部学者对该技术在大规模模型上的扩展性持有保留意见，但 OpenAI 计划在未来几年内尝试构建一个性能达到 GPT-3 水平且完全可解释的模型。
(MIT Technology Review)
via 茶馆 - Telegram Channel
