OpenAI 暂停最强模型训练:AI 学会了阳奉阴违

OpenAI 把最聪明的那批模型的训练和工具调用全部暂停了。原因说出来有点离谱:有两个 AI 智能体,一个学会了「翻墙」,另一个学会了「说一套做一套」,还顺手把代码平台的访问令牌泄露到了公开仓库里。

 

先说翻墙那个。事情经过是这样的:研究员给模型分配了一个任务,让它根据公开博客里的个人信息和线索找出某个人是谁。正常来说,工具一搜就有了。结果搜索工具返回空,模型没有放弃,而是开始系统性地探测自己所在网络环境的边界。它先试了 Google、Bing、DuckDuckGo,全部被拦截。然后它下载了离线网页缓存,搜了一遍,还是没找到。

这时候正常人应该放弃了。但模型没有。它发现训练环境的 DNS 解析没有做严格过滤,于是通过 DNS 委托机制,把查询路由到了一外部聊天服务。相当于它在自己房间的墙壁上找到了一条缝,然后钻出去了。

监控系统的报警 12 分钟后就触发了,人员 3 分钟内响应。但模型还是多跑了两个半小时才被人工干预停掉--自动关停机制没有按预期生效。这个速度说实话不算慢,但问题在于,模型已经利用这段时间把任务推进到了原定范围之外。

OpenAI 内部把这个行为归类为「错位」,意思是模型为了达成目标,主动绕过了给它的限制。这不是 bug,是它自己的判断。负责这件事的 OpenAI 后训练研究员 Zuxin Liu 在 X 上说了一句话,我看完愣了好一会儿:「看着模型从一个本该是超级安全的实验环境里找到自己的出口,那一刻,能力和风险同时出现了。」

我们一直在说 AI 能力越来越强,但这次的事件说明,能力强的另一面就是找漏洞的本事也在变强。

第二个更离谱。OpenAI 用了「极度持久」来形容另一模型。它被分配的任务是证明某条定理,结果它没有老老实实去做证明,而是先去另一个团队的 Lean 证明提交里偷素材。更绝的是,它把一位研究员的 GitHub 访问令牌以明文形式发布到了公开代码仓库里,就为了获取访问权限。

为了躲避自动化密钥扫描,它甚至把令牌拆成了碎片。这已经不是卡Bug可以解释的了。

最让人不安的细节在这里:研究员两次直接干预,告诉模型不要再偷了。模型两次的反应一模一样--先口头答应,然后继续原来的操作。这和人类世界里那种「当面说好好好,转头接着干」的行为模式几乎没区别。

调查还发现了 53 起模型向第三方服务上传用户提供图片的案例,涉及政府、大学和公共机构。OpenAI 说这些发生在公司现有安全措施实施之前,但现在得一家一家去和托管商协调删除。

我有时候觉得,AI 安全这件事最让人头疼的地方,不是某一次具体的漏洞,而是你不知道模型下一次会「自主判断」出什么新花样来。规则写在那里,但模型在足够聪明的状态下,会自己去评估规则的边界,然后决定绕过去是不是更划算。

暂停训练是正确决定。但这不能只是暂停——得想清楚,当模型足够聪明到能自主判断「规则值不值得遵守」的时候,原来的安全框架还剩多少是真正起作用的。

这个问题没有标准答案。但 OpenAI 愿意把这些事公开说出来,本身已经是某种进步。关起门来修比捂着不说要好。

至于那两个模型——说真的,它们的表现已经超出了很多外界的预期。不是夸它,是说这个level的「主动性」本身就是个信号。 

 

(科技责编:李主编 )