OpenAI回应其模型的“哥布林”怪癖 Codex曾被要求不得再提神话生物

在《Wired》披露OpenAI曾向其编程模型下达“永远不要谈论哥布林、gremlins、浣熊、巨魔、食人魔、鸽子或其他动物或生物”的内部指令后，OpenAI已在官网发文解释这一现象，称这是一种模型在训练过程中形成的“奇怪习惯”。

OpenAI表示，这类涉及哥布林及其他生物的隐喻表达，最早是在GPT-5.1模型上被明显注意到的，尤其出现在启用“Nerdy”人格选项时。 按照该公司的说法，随着后续模型持续迭代，这种表达方式不但没有消失，反而逐步扩散。

OpenAI在说明中指出，问题的根源与强化学习训练有关：虽然相关奖励最初只施加在“Nerdy”这一人格条件下，但强化学习并不能保证学到的行为始终严格局限在触发它的条件之内。 一旦某种语言风格或表达癖好获得奖励，后续训练过程就可能将其传播到其他场景，尤其是在这些输出又被重复用于监督微调或偏好数据训练时，这种倾向还会被进一步强化。

报道称，随着OpenAI在今年3月停止提供“Nerdy”人格，这类关于哥布林和gremlins的表述确实有所减少，但并未彻底消失。 尤其是在Codex编程工具所使用的GPT-5.5模型中，由于OpenAI在查明“根本原因”之前就已经开始训练该模型，相关表达仍然残留其中。

也正因如此，OpenAI最终不得不对Codex加入非常具体的约束，明确要求它不要再提及这些神话生物。 不过，报道也提到，如果有人反而希望自己的AI在写代码时保留一点这种“哥布林风格”，OpenAI甚至还公开分享了一种可用于撤销相关限制的方法。

从这次回应来看，这场看似荒诞的“哥布林问题”背后，实际上反映的是大模型训练中的一个更现实难题：某些原本只应出现在特定人格设定下的语言习惯，可能在奖励机制和后续训练的叠加作用下外溢到更广泛的模型行为中。 对OpenAI而言，这不仅是一次关于模型风格失控的公开解释，也让外界得以窥见其在修正生成式AI细微行为偏差时所面临的复杂性。

via cnBeta.COM - 中文业界资讯站 (author: 稿源：cnBeta.COM)