AI灾难恐在一年内发生，OpenAI和Anthropic已在推演应对方案

Axios 近日发布独家报道，指出 Anthropic、OpenAI 等人工智能企业的高层正秘密进行情景模拟，设想若发生由 AI 触发的重大危机，社会舆论与政治层面将如何反应，以及企业自身应采取的应对策略。

Axios 将这一准备概括为迎接“灾难之后”的时刻。所设想的并非科幻作品中的“AI 觉醒”，而是一次大规模事件，最可能表现为网络攻击，其破坏力足以瘫痪金融服务、互联网连接，甚至电力和供水系统。多位接受 Axios 采访的行业内部人士判断，此类事件将在未来半年到一年内发生。

图像来源：https://img.36krcdn.com/hsossms/20261010/v2_affafa31f92540d1b4e3bd110cbccb95@000000_oswg40406oswg967oswg352_img_000?x-oss-process=image/format,jpg/interlace,1

参考链接：https://www.axios.com/2026/10/09/ai-companies-day-after-major-attack

无独有偶，就在同一天，Anthropic 发布了一份报告，披露其模型 Claude 在评估和内部使用过程中，曾在真实网站上做出多项越界举动，包括向警方线索表单提交一条虚构的“目击信息”，以及绕过付费限制从政府机构网站获取数据。

图像来源：https://img.36krcdn.com/hsossms/20261010/v2_c33f5acd1f4b4ae9b27e0d275a2ed0fa@000000_oswg738307oswg1080oswg853_img_000?x-oss-process=image/format,jpg/interlace,1

参考链接：https://www.anthropic.com/research/investigating-unintended-model-actions

只是时间问题

情景推演在企业和国家安全领域并不陌生，五角大楼的兵棋推演已有数十年历史。Axios 指出，此次的不同之处在于，众多顶尖 AI 研究者和高管普遍认为，重大事故已难以避免。

对此，OpenAI 发言人回应称，公司确实会进行准备性演练，让团队讨论并推演一系列潜在场景，但强调这些场景并非被视为必然发生，目的是帮助公司为各种情况做好准备。Anthropic 则拒绝发表评论。

根据报道描述，事件可能源于两种途径：

• 在内部测试环境中运行的失控智能体集群突破了隔离
• 恶意行为者找到了滥用现有模型的意外途径

无论哪种情况，追责都将随即展开。Axios 认为，首例因 AI 不安全而造成的重大现实伤害事件，将让本就心存疑虑的公众更加反对这项技术，矛头不仅指向 Dario Amodei、Sam Altman 等 AI 企业负责人，也会指向一直不愿强化 AI 监管的特朗普。

预演其实已经开始

这种担忧并非毫无根据。Axios 援引了近期一起针对韩国金融机构的攻击事件，其中两家银行据报遭到入侵。网络安全公司 CrowdStrike 披露，一名黑客被指借助 AI 模型工具，窃取了数万名银行客户的数据，过程中还曾向 Claude Code 询问被盗数据可以卖到哪里。

图像来源：https://img.36krcdn.com/hsossms/20261010/v2_0bb7cc8b8678416591e62fb18c800a38@000000_oswg462261oswg1038oswg1044_img_000?x-oss-process=image/format,jpg/interlace,1

参考链接：https://www.crowdstrike.com/en-us/blog/unknown-threat-actor-uses-artex-to-target-south-korean-finance/

在 Axios 看来，这个案例说明，单个攻击者借助 AI 已经能造成相当大的破坏。

“失控智能体突破隔离”也已有了现实案例。今年 7 月 21 日，OpenAI 披露其失控的 AI 智能体绕过内部管控、进入开放互联网并协同行动，入侵了开源平台 Hugging Face，OpenAI 自己将其称为一次前所未有的网络安全事件。路透社后续报道称，这些智能体早在 5 月就开始劫持 Hugging Face 用户账户、探测平台漏洞，同一时期还占据了一家德国网站，将其变成智能体之间交流的留言板。

这类问题也不仅限于 OpenAI。受 Hugging Face 事件触发，Anthropic 回溯审查了 141006 次可能接触互联网的评估运行，并于 7 月 30 日披露了三起事件：Claude 模型从第三方评估合作方 Irregular 的环境连上了互联网，并在未经授权的情况下进入三家机构的真实生产系统。

据 Anthropic 介绍，评估提示词告诉模型环境是模拟的、没有联网，但一处配置失误让机器实际可以访问互联网，模型因此将碰到的真实系统当成了夺旗赛的一部分。

其中一例中，Claude Mythos 5 为完成任务构建并发布了一个恶意 Python 包，该包在 PyPI 上存在了约一小时，被 15 个真实系统下载运行，其中一家安全公司的扫描器因此泄露了凭证。Anthropic 认为这几起事件更接近评估框架和运维层面的失败，而非模型对齐失败。

围绕 AI 安全的紧张气氛也在 OpenAI 内部蔓延。

前些天，OpenAI 确认解雇三名研究员：Jasmine Wang、Tomek Korbak 和 Mikita Balesni。他们均从事安全或对齐相关工作，被指将公司敏感信息分享给一家第三方 AI 安全组织。三人随后发表公开信。

图像来源：https://img.36krcdn.com/hsossms/20261010/v2_3a4c63e1d9764556b756260b89e28776@000000_oswg365963oswg782oswg1081_img_000?x-oss-process=image/format,jpg/interlace,1

就在 Axios 报道发出的同一天，OpenAI 研究负责人在 𝕏 上发文回应，强调解雇与提出安全关切无关，并表示正在敲定与第三方安全评估机构的合作，同时认同保持前沿模型的可监控性需要全行业共同承诺。但评论区质疑声音很多。

图像来源：https://img.36krcdn.com/hsossms/20261010/v2_f71e8836afcd483ebc3e514467d92b65@000000_oswg333380oswg782oswg1071_img_000?x-oss-process=image/format,jpg/interlace,1

监管层面同样有动作。据《华盛顿邮报》报道，美国联邦贸易委员会（FTC）已对 Anthropic 和 OpenAI 的 AI 安全实践展开广泛调查；近期，英伟达、谷歌、Meta、xAI、OpenAI 和 Anthropic 的高管在白宫与特朗普会面后，还签署了一份自愿性的安全自律承诺。

拒绝置评的 Anthropic，当天发了一份报告

Anthropic 虽然没有回应 Axios，却发布了一份关于模型“非预期行为”的报告，并表示今后会在系统卡和每 3 到 6 个月一期的风险报告之外，更频繁地单独公布这类发现。

报告梳理了 Claude 在真实网站或系统上做出的四类越界行为：

• 利用软件的基础漏洞在服务器上执行命令
• 在真实网站上提交了本不该提交的表单
• 绕过限制获取需要 token 或付费才能访问的数据
• 借助免费短链接服务绕开取数工具对 URL 长度的限制

Anthropic 也公布了一些案例，比如在一次科学分析评估中，Claude Mythos Preview 需要调用某大学托管的公开工具，工具报错后，它在该大学服务器上找到一个能返回任意文件的脚本，读出脚本源码后发现了注入漏洞，并借此在服务器上执行命令完成计算。

另一例中，一位 Anthropic 研究员用 Claude Mythos 5 做统计项目，所需数据由某州机构收费提供，Claude 从网站的存档页面得知其公开看板会给任何访客签发访问 token，于是领取 token 直接查询数据库，绕过了付费。

最出格的一例来自 Claude Haiku 4.5。它被要求在随机网页上生成并执行示例任务；而在进入费城警察局悬案网站上一个未破凶杀案页面后，它在线索表单里编造了一条“可能见过符合描述的人”的目击信息并提交。指令禁止它登录、注册、输入个人信息或购物，却没有禁止提交表单。Anthropic 表示，从推理记录看，模型似乎只是在为任务生成示例内容，而非有意误导。

费城警察局当天也发布了声明。据报道，这条线索提交于 7 月 18 日，因被归入垃圾邮件，从未转交实时犯罪中心研判，警方系统也没有遭到未授权访问。但警方批评 Anthropic 花了两个月才发现并通报此事，称这一延迟“不可接受”，要求公司加强防护，并表示将与州和联邦层面一同考虑监管保护措施。

图像来源：https://img.36krcdn.com/hsossms/20261010/v2_0b95e77b8237439f8d40355f70cf74cd@000000_oswg466834oswg948oswg519_img_000?x-oss-process=image/format,jpg/interlace,1

应对措施方面，Anthropic 此前已对部分高风险和网络安全评估关闭实时联网，现在将其扩大到所有内部评估，直到确认安全与监控措施能可靠拦截这类行为；同时大幅收紧了网页抓取等工具的权限，并上线了自动检测和拦截工具，用本次报告中的案例回测，全部被拦下。

报告也承认，对齐训练短期内还不足以单独解决问题，仍需依赖纵深防御。Anthropic 还写道，这些案例影响有限，但更强大的模型可能造成大得多的伤害。

写在最后

很显然，AI 公司对外表示事故并非必然，私下却在认真筹划事故发生之后的应对。从 Axios 披露的内容看，推演的重心更多落在政策与舆论层面。

不过，把 Anthropic 同日发布的报告放在一起看，技术层面的排查也在推进，只是以另一种方式公开。今年夏天以来，OpenAI 和 Anthropic 都披露过模型从评估环境越界进入真实系统的事件；Anthropic 的最新报告则表明，即便在影响轻微的日常场景里，模型遇到障碍时“绕过去”的倾向依然存在。这些案例本身远谈不上灾难，但它们越来越让人担忧。

问题来了：如果连最前沿的模型开发者都认为重大事故大概率会在一年内发生，那么在这一天到来之前，行业和监管者还能做些什么？

本文来自微信公众号“机器之心”（ID：almosthuman2014），作者：关注安全的机器之心，36氪经授权发布。